蔡輝虎

（閩南理工學(xué)院信息管理學(xué)院 福建 泉州 362700）

0 引言

隨著互聯(lián)網(wǎng)信息的普及，人們獲得信息的方式更加多樣化，海量的信息使得人們難以準(zhǔn)確地找到自己需要的信息。 在這樣的背景下，推薦系統(tǒng)的作用越來(lái)越受到人們的重視。 推薦系統(tǒng)利用人們的歷史記錄、行為、偏好等多種信息來(lái)進(jìn)行推薦，幫助人們快速準(zhǔn)確地找到自己需要的信息，提高了信息的利用效率。 推薦系統(tǒng)在多個(gè)領(lǐng)域有著廣泛應(yīng)用。 在商業(yè)領(lǐng)域，它可以幫助企業(yè)實(shí)現(xiàn)精確的市場(chǎng)分析，從而提升銷售額。 在旅游領(lǐng)域，推薦系統(tǒng)能根據(jù)用戶需求提供個(gè)性化服務(wù)，輔助他們規(guī)劃旅程。 在餐飲領(lǐng)域，它能依據(jù)用戶口味推薦相應(yīng)餐飲，提升用戶滿意度。 在推薦系統(tǒng)研究中，基于協(xié)同過(guò)濾的方法是最經(jīng)典且常用的方法之一。 通過(guò)學(xué)習(xí)用戶歷史行為和偏好，該方法能進(jìn)行準(zhǔn)確可靠的推薦［1］。 此外，混合推薦系統(tǒng)也是一個(gè)研究熱點(diǎn)。 通過(guò)結(jié)合多種不同類型的推薦算法，可以提高推薦的準(zhǔn)確度和可靠性。

總之，推薦系統(tǒng)已經(jīng)成為當(dāng)今信息社會(huì)中不可或缺的重要組成部分。 它在解決信息過(guò)載、提高信息利用效率、個(gè)性化服務(wù)等方面發(fā)揮著越來(lái)越重要的作用。 未來(lái)，推薦系統(tǒng)將會(huì)在更多的領(lǐng)域得到應(yīng)用，為人們提供更好的信息服務(wù)。

1 協(xié)同過(guò)濾推薦系統(tǒng)

推薦系統(tǒng)是一種用于預(yù)測(cè)用戶對(duì)物品偏好的技術(shù)。在推薦系統(tǒng)中，協(xié)同過(guò)濾是一種常用的技術(shù)，其核心是使用機(jī)器學(xué)習(xí)算法來(lái)推薦物品［2］。 該技術(shù)可以分為基于記憶的算法和基于模型的算法。 協(xié)同過(guò)濾中的內(nèi)核是指機(jī)器學(xué)習(xí)算法，其中監(jiān)督學(xué)習(xí)是主要的基于內(nèi)核的方法。 但是，近年來(lái)基于模型的算法更加流行，因?yàn)槠渚哂懈叩臏?zhǔn)確性。 其中矩陣分解是目前最常用的方法之一，它可以提供精確的推薦效果，并且易于理解和嵌入到系統(tǒng)中。 推薦系統(tǒng)的預(yù)測(cè)是通過(guò)對(duì)用戶和項(xiàng)目的點(diǎn)擊行為進(jìn)行分析來(lái)實(shí)現(xiàn)的。 通過(guò)分析這些行為數(shù)據(jù)，可以獲得潛在的偏好，并用于生成推薦結(jié)果。 然而，基于協(xié)同過(guò)濾的推薦系統(tǒng)存在一些缺點(diǎn)，例如無(wú)法考慮到非協(xié)作數(shù)據(jù)，例如圖片、文本、音頻、視頻和會(huì)話等［3］。 為此，推薦系統(tǒng)的研究正在朝著基于深度學(xué)習(xí)的解決方案方向發(fā)展。 這種方法使用不同類型的深度學(xué)習(xí)架構(gòu)，如卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、多層感知器和自編碼器等，根據(jù)數(shù)據(jù)類型實(shí)現(xiàn)不同的特征提取和建模方法，以提高推薦效果。

圖1 所示的是一種基于神經(jīng)網(wǎng)絡(luò)的協(xié)同過(guò)濾架構(gòu)。該架構(gòu)使用了原始數(shù)據(jù)向量稀疏表示的用戶和項(xiàng)目數(shù)據(jù)。在稀疏層之上是全連接的嵌入層，該層可以將原始數(shù)據(jù)向量投影到密集向量。 通過(guò)這種方式，可以更好地表達(dá)用戶和項(xiàng)目之間的關(guān)系。 之后，通過(guò)多層感知器（multi-layer perceptron， MLP）將這兩種路徑的特征結(jié)合起來(lái)，進(jìn)一步提高預(yù)測(cè)的準(zhǔn)確性［4-5］。 這種基于神經(jīng)網(wǎng)絡(luò)的協(xié)同過(guò)濾架構(gòu)，不僅可以用于推薦系統(tǒng)，還能用于處理其他的計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理任務(wù)。

圖1 基于神經(jīng)網(wǎng)絡(luò)的協(xié)同過(guò)濾系統(tǒng)架構(gòu)

協(xié)同過(guò)濾（collaborative filtering， CF）中使用一種深度學(xué)習(xí)類型的架構(gòu)，其中寬分量是單層感知器，而深分量是MLP。 將這兩種學(xué)習(xí)技術(shù)相結(jié)合，可以使推薦系統(tǒng)同時(shí)捕獲泛化和記憶。 寬組件捕獲簡(jiǎn)單的數(shù)據(jù)關(guān)系，而深組件可以進(jìn)行更有價(jià)值的抽象（概括）。 本文提出的方法可以擴(kuò)展到寬深度學(xué)習(xí)架構(gòu)。 深度因式分解機(jī)（deep factorization machines，DeepFM）架構(gòu)將寬組件和深組件連接起來(lái)，以共享相同的輸入原始特征向量。 它允許從輸入的原始特征中同時(shí)學(xué)習(xí)低階和高階特征交互。 深度調(diào)頻由兩個(gè)部分組成：調(diào)頻分量和深度分量。 FM 組件是用于學(xué)習(xí)特征交互的因式分解機(jī)。 DeepFM 實(shí)現(xiàn)了0.48%（公司數(shù)據(jù)集）和0.33%（Criteo 數(shù)據(jù)集）的精度增益比較。

經(jīng)典方法通過(guò)矩陣分解（matrix factorization，MF）進(jìn)行預(yù)測(cè)。 一些基于神經(jīng)網(wǎng)絡(luò)的協(xié)作濾波方法則采用非線性的多層感知器（MLP）階段取代了線性點(diǎn)積的MF。 不使用矩陣分解的神經(jīng)網(wǎng)絡(luò)方法通?；诨旌仙疃饶Ｐ?，這些模型利用額外數(shù)據(jù)的評(píng)級(jí)矩陣，但對(duì)大多數(shù)現(xiàn)有推薦系統(tǒng)來(lái)講不適用。 廣泛和多視圖的深度學(xué)習(xí)架構(gòu)已被用作純神經(jīng)網(wǎng)絡(luò)推薦系統(tǒng)方法；但主要缺點(diǎn)在于寬層的大小影響了可擴(kuò)展性。 本文提出的方法的架構(gòu)具有可擴(kuò)展性，因?yàn)樗鼉H基于推薦系統(tǒng)的項(xiàng)目維度，而不依賴于龐大的用戶維度和用于訓(xùn)練模型的樣本數(shù)量。 當(dāng)前的深度神經(jīng)網(wǎng)絡(luò)推薦系統(tǒng)方法利用MF 層或嵌入層來(lái)捕捉項(xiàng)目和用戶潛在向量。 以下操作是基于回歸的架構(gòu)：預(yù)測(cè)每個(gè)用戶的N個(gè)最佳推薦，然后根據(jù)推薦系統(tǒng)中的項(xiàng)目數(shù)來(lái)運(yùn)行相應(yīng)數(shù)量的預(yù)測(cè)，從而為用戶提供推薦。

2 協(xié)同過(guò)濾推薦系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì)

文中提出一種協(xié)同過(guò)濾推薦系統(tǒng)體系結(jié)構(gòu)，該結(jié)構(gòu)基于深度神經(jīng)網(wǎng)絡(luò)，不需要像MF 那樣的外部機(jī)器學(xué)習(xí)級(jí)別。 它不使用顯式的嵌入層，架構(gòu)來(lái)源于它通過(guò)分類過(guò)程而不是回歸過(guò)程的方法。 分類方法需要與現(xiàn)有方法有不同的設(shè)計(jì)，通過(guò)使用分類標(biāo)簽而不是數(shù)值來(lái)學(xué)習(xí)。 此外，本文創(chuàng)建一個(gè)簡(jiǎn)單且可擴(kuò)展的體系結(jié)構(gòu)。 為了實(shí)現(xiàn)這個(gè)目標(biāo)，放棄數(shù)字評(píng)級(jí)值和預(yù)測(cè)，只使用二進(jìn)制相關(guān)／非相關(guān)評(píng)級(jí)和二進(jìn)制投票／非投票信息。

圖2 為MF 算法，神經(jīng)協(xié)同過(guò)濾算法（neural networkbased collaborative filtering，NCF）和協(xié)同過(guò)濾推薦系統(tǒng)算法三種模型結(jié)構(gòu)。 首先，矩陣分解（MF）和神經(jīng)協(xié)作過(guò)濾（NCF）模型（如圖2a 和圖2b 所示）都是基于回歸的：它們提供預(yù)測(cè)值，并按預(yù)測(cè)值最高的N 個(gè)進(jìn)行推薦。 而協(xié)同過(guò)濾推薦系統(tǒng)（如圖2c 所示）則是基于分類的神經(jīng)網(wǎng)絡(luò)。重要的是，協(xié)同過(guò)濾推薦系統(tǒng)并不基于機(jī)器學(xué)習(xí)的矩陣分解過(guò)程或嵌入層；它直接使用原始評(píng)級(jí)數(shù)據(jù)，避免了特征工程階段的需求。 需要指出的是，協(xié)同過(guò)濾推薦系統(tǒng)的原始數(shù)據(jù)由用戶向量組成，其中每個(gè)向量都含有項(xiàng)目信息，但沒(méi)有像NCF 基線模型那樣將用戶向量與項(xiàng)目向量相結(jié)合，也沒(méi)有將用戶／項(xiàng)目向量與因子分解機(jī)的密集嵌入相結(jié)合。 這使得研究人員所提出的方法相比現(xiàn)有基準(zhǔn)更為簡(jiǎn)單，且具有更高的可擴(kuò)展性。

圖2 MF，NCF 和協(xié)同過(guò)濾推薦系統(tǒng)三種模型結(jié)構(gòu)

在MF 的機(jī)器學(xué)習(xí)方法中，需要為數(shù)據(jù)集中的每一個(gè)用戶（U）以及每個(gè)項(xiàng)目（I）學(xué)習(xí)一組F 因子，其中F 的數(shù)量通常在12 ～40 之間。 值得注意的是，在商業(yè)推薦系統(tǒng)中，用戶的數(shù)量通常遠(yuǎn)大于項(xiàng)目的數(shù)量。 必要的MF 參數(shù)為（U+I）F，而NCF 方法則是基于MF 進(jìn)行構(gòu)建。 在MLP中，需要學(xué)習(xí)一定數(shù)量的參數(shù)。 假設(shè)第一層內(nèi)部含有n 個(gè)神經(jīng)元（表示為L(zhǎng)n），則MF 模型需要（U+I+Ln）F 個(gè)參數(shù)才能運(yùn)行，并處理第一層的MLP。 對(duì)于后續(xù)的層，還需要進(jìn)一步學(xué)習(xí)參數(shù)（表示為L(zhǎng)m），但通常Lm（后續(xù)層神經(jīng)元的數(shù)量）不會(huì)是一個(gè)很大的數(shù)字。 對(duì)于輸出層，只需要Lm個(gè)參數(shù)，因?yàn)檠芯咳藛T只需一個(gè)神經(jīng)元來(lái)獲取回歸值（預(yù)測(cè)結(jié)果）。 綜上所述，當(dāng)MLP 具有兩個(gè)內(nèi)層時(shí)，神經(jīng)協(xié)同過(guò)濾（NCF）基線模型需要（U+I+Ln）F+（Ln+1）Lm 個(gè)參數(shù)。

本文提出的協(xié)同過(guò)濾推薦系統(tǒng)具有可擴(kuò)展性，只需利用NCF 基線的一小部分必要參數(shù)。 即便其使用了維度為I 的輸出層，學(xué)習(xí)參數(shù)也僅需I（Lm+Ln）+LmLn 個(gè)。 另一個(gè)值得關(guān)注的改進(jìn)在于其完全基于神經(jīng)網(wǎng)絡(luò)的處理方式，允許對(duì)從原始數(shù)據(jù)到結(jié)果（預(yù)測(cè)）的非線性關(guān)系進(jìn)行建模。 NCF 方法并非基于既有的機(jī)器學(xué)習(xí)結(jié)果來(lái)構(gòu)建，這樣可能會(huì)遺失一些豐富的數(shù)據(jù)依賴性，而是使用需要的MF參數(shù)（U+I）F 作為基礎(chǔ)。 此外，如圖3 所示，協(xié)同過(guò)濾推薦系統(tǒng)采用與基線不同的方式處理RS 預(yù)測(cè)。 為了向用戶提供N 個(gè)推薦，前提是忽略用戶投票項(xiàng)目，MF 需要進(jìn)行I次的點(diǎn)積運(yùn)算（如圖3a 所示）。 NCF（圖3b）必須向前運(yùn)行I 倍MLP，文獻(xiàn)［6］所提出的協(xié)同過(guò)濾推薦系統(tǒng)（圖3c）只需向前運(yùn)行一次MLP。 由于研究人員使用的是分類目標(biāo)，輸出層將提供I 次分類概率。 若提出N 個(gè)建議，只需要選擇N 個(gè)最高的概率即可。

圖3 協(xié)同過(guò)濾推薦系統(tǒng)以與基線不同的方式處理推薦預(yù)測(cè)

圖4 訓(xùn)練集和測(cè)試集的損失函數(shù)對(duì)比

圖5 訓(xùn)練集和測(cè)試集的準(zhǔn)確率對(duì)比

3 實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)使用了MovieLens 1 M1 數(shù)據(jù)集。 測(cè)試的分類質(zhì)量指標(biāo)主要是精確度和召回率。 MovieLens 選擇的關(guān)聯(lián)度閾值為4。 經(jīng)測(cè)試的建議數(shù)量N 從1 到96 個(gè)不等，增加了5 個(gè)。 訓(xùn)練集是從80%的樣本中隨機(jī)獲得的，而測(cè)試集使用了剩余的20%。 本文對(duì)多種神經(jīng)網(wǎng)絡(luò)架構(gòu)進(jìn)行了實(shí)驗(yàn)，并最終選擇了那些在測(cè)試中取得了最佳性能的架構(gòu)。實(shí)驗(yàn)使用MovieLens 數(shù)據(jù)集的推薦和分類結(jié)果。

第一組實(shí)驗(yàn)利用MovieLens 數(shù)據(jù)集比較了所提出的短方法和所提出的長(zhǎng)方法的結(jié)果，此數(shù)據(jù)集中的項(xiàng)目數(shù)I為1682。 已經(jīng)通過(guò)實(shí)施深度學(xué)習(xí)的策略，具體使用了一種密集的深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。 這個(gè)神經(jīng)網(wǎng)絡(luò)的具體配置如下：輸入層的維度為3364，輸出層的維度為1682；第一個(gè)內(nèi)部隱藏層含有400 個(gè)神經(jīng)元，接著是一個(gè)0.2 的丟棄層以減少過(guò)擬合；然后是第二個(gè)內(nèi)部隱藏層，包含200 個(gè)神經(jīng)元，后接另一個(gè)0.2 的丟棄層。 所有層都使用“relu”激活，除了輸出層使用“softmax”以提供概率分類結(jié)果。 由于使用分類標(biāo)簽，因此選擇的損失函數(shù)是“分類交叉熵”，所選優(yōu)化器為“adam”。 圖8 顯示訓(xùn)練和測(cè)試過(guò)程的結(jié)果。 可以看出，沒(méi)有過(guò)擬合，損失函數(shù)降低到非常低的值，精度提高到0.83 的值。 神經(jīng)網(wǎng)絡(luò)只需80 個(gè)迭代次數(shù)就能學(xué)習(xí)。 結(jié)果顯示該架構(gòu)對(duì)獲得準(zhǔn)確的精確度和召回值的良好期望。

4 結(jié)語(yǔ)

本文介紹了一種可擴(kuò)展深度神經(jīng)網(wǎng)絡(luò)的協(xié)同過(guò)濾推薦系統(tǒng)體系結(jié)構(gòu)。 推薦系統(tǒng)在解決信息過(guò)載、提高信息利用效率、為用戶提供個(gè)性化服務(wù)等方面發(fā)揮重要作用，已經(jīng)成為當(dāng)今信息社會(huì)中不可或缺的組成部分。 協(xié)同過(guò)濾和混合推薦系統(tǒng)是最經(jīng)典和常用的方法之一。 本文基于深度學(xué)習(xí)的推薦系統(tǒng)方法，神經(jīng)網(wǎng)絡(luò)協(xié)同過(guò)濾架構(gòu)可以在推薦系統(tǒng)效率方面提供高精度，并可用于視覺(jué)和自然語(yǔ)言處理任務(wù)。 同時(shí)，深度學(xué)習(xí)架構(gòu)可以使用不同的架構(gòu)來(lái)處理各種數(shù)據(jù)類型。 本文提出了一種基于深度神經(jīng)網(wǎng)絡(luò)的協(xié)同過(guò)濾推薦系統(tǒng)體系結(jié)構(gòu)DNCFR，不需要外部機(jī)器學(xué)習(xí)策略，也不用顯式的嵌入層。 這個(gè)方法通過(guò)分類過(guò)程來(lái)學(xué)習(xí)，在可擴(kuò)展性方面優(yōu)于MF 和NCF 模型。 同時(shí)，它只使用二進(jìn)制分類和二進(jìn)制投票／非投票信息，而不使用數(shù)字評(píng)級(jí)和預(yù)測(cè)。 通過(guò)實(shí)驗(yàn)使用了MovieLens 數(shù)據(jù)集評(píng)估所提出的神經(jīng)網(wǎng)絡(luò)架構(gòu)，測(cè)試中使用了精確率和召回率作為分類質(zhì)量指標(biāo)，并取得了良好的結(jié)果，結(jié)果表明它在精確度和召回率上表現(xiàn)良好。