基于多維特征交叉的深度協同過濾算法

陸悅聰，王瑞琴，2，金 楠

1.湖州師范學院 信息工程學院，浙江 湖州 313000

2.浙江省現代農業資源智慧管理與應用研究重點實驗室，浙江 湖州 313000

大數據時代在產生海量數據的同時帶來了信息過載問題。相較于搜索引擎，推薦系統（recommender system，RS）[1]的出現使得用戶無需從海量數據中提取需要的信息。推薦系統根據不同的業務需求選擇不同的推薦算法。推薦算法目前可以分為傳統的推薦算法[2]和基于深度學習的推薦算法[3]，其中傳統的推薦算法存在數據稀疏[4]，對用戶和物品的信息處理過于簡單，無法捕獲特征間的非線性關系等弊端，導致推薦的準確性不高。隨著深度學習的不斷發展，神經網絡可以自動獲取特征間的高階交互[5]，大大提高了推薦的準確性。

神經網絡根據輸入特征建模用戶與物品的交互關系，不同的特征以及交互方式對于最終的推薦精度有著明顯的影響。一些學者將用戶與物品的顯式交互作為神經網絡的輸入，認為顯式交互數據對于學習用戶物品特征具有積極作用，并利用輔助信息豐富用戶物品特征[6]；也有學者通過改變特征交互方式，采用不同的網絡結構等方式不斷提升顯式反饋數據的表達能力[7]。目前應用顯式數據于推薦算法中已經非常成熟，而隱式數據通常作為約束條件使用[8]。因此，將隱式數據作為主要特征，通過神經網絡學習交叉特征間的高階交互，是一個可研究的方向。

本文提出的基于多維特征交叉的深度協同過濾算法（deep collaborative filtering algorithm based on multidimensional feature crossover，DCF），使用隱式反饋數據的同時增加ID信息以豐富特征并且緩解冷啟動問題，通過單層神經網絡訓練得到用戶物品低維嵌入向量，然后將用戶物品特征向量逐元素相乘得到交互向量，最后將用戶與物品的交互作為網絡層的輸入，使神經網絡能學習到更有用的信息。

1 相關工作

1.1 基于矩陣分解的協同推薦

在推薦系統中，協同過濾（collaborative filtering，CF）[9]是應用最廣泛的算法，主要分為基于內存的CF算法和基于模型的CF算法[10]。基于內存的CF算法通過對用戶歷史行為數據進行挖掘，為用戶推薦與其歷史交互物品中相似度最高的物品；基于模型的CF算法利用歷史數據訓練模型，然后利用該模型進行推薦。基于模型的CF算法相比基于內存的CF算法大大提高了推薦的效率。在基于模型的CF算法中，根據是否使用深度學習技術，將其分為使用常規算法的協同過濾和使用深度學習的協同過濾。其中具有代表性的模型是傳統的矩陣分解模型[11]和基于神經網絡的矩陣分解模型。

傳統的矩陣分解模型通過分解用戶對物品的評分矩陣，得到用戶和物品的隱向量，通過最小化預測值與實際值之差的方式對模型進行優化，最終得到稠密的評分矩陣。但是由于用戶評分標準不統一及存在隨意評分的現象，導致評分矩陣中摻雜了噪聲，從而影響最終推薦效果。在基于神經網絡的矩陣分解模型中，He等[12]提出的神經矩陣分解（neural matrix factorization，NeuMF）模型將用戶和物品的ID作為輸入，消除了評分矩陣中的噪聲對模型的影響。采取不同的建模方式模擬用戶與物品間的交互，例如通過廣義矩陣分解（generalized matrix factorization，GMF）得到用戶與物品的低階交互，使用多層感知機（multi-layer perceptron，MLP）捕獲用戶與物品的高階交互，并將二者傳入網絡層，用神經網絡代替傳統的內積，可以學習到特征間的任意函數關系。

雖然NeuMF同時考慮了低階特征和高階特征的學習，但僅通過ID數據來建模用戶與物品之間的交互，存在一定的局限性。學者們對NeuMF進行改進，有效提高了模型的性能。Wang等[13]在NeuMF的基礎上，實現了在預測評分的同時考慮用戶之間的信任關系，使得預測評分目標與預測用戶信任關系目標相互促進；Nassar等[14]采用NeuMF的結構，提出多標準協同過濾算法，將NeuMF計算出的評分數據歸一化后再次輸入到MLP中，該方法突破了以往只使用一種評分標準的限制；He等[15]將嵌入層向量作外積，突破了NeuMF中用戶的嵌入向量與物品的嵌入向量幾乎沒有關聯的限制。

1.2 基于隱式反饋的協同推薦

隱式反饋包括但不限于瀏覽、點擊及購買等行為，在現實生活中隱式反饋的數量遠超過顯式反饋的數量，因此對于隱式反饋數據的應用有非常廣闊的前景。由于隱式反饋[16]只表明用戶是否與物品進行過交互，而不考慮具體的評分情況，在一定程度上緩解了用戶隨意評分的問題，將隱式反饋作為輸入相比評分數據更具有現實意義。在傳統的推薦中，Koren[17]從Netflix數據集中獲得靈感，認為評分矩陣不僅明確地表明了用戶對物品的喜好程度，在一定程度上也反映出用戶的偏好。通過對奇異值分解（singular value decomposition，SVD）模型進行改進，引入用戶或物品的隱式反饋數據，大幅提高了預測精度。陳碧毅等[18]融合顯式反饋與隱式反饋，首先通過矩陣分解算法分解隱式反饋矩陣，得到用戶物品的隱式向量，再分解顯式反饋矩陣，得到用戶物品的顯式向量，最終將隱式向量作為顯式向量的補充，將用戶特征向量與物品特征向量進行點積操作完成評分預測任務。

目前，將隱式反饋應用于基于神經網絡的推薦中已是一個非常普遍的現象，其中大部分研究將隱式反饋作為補充特征。Zhu等[19]認為直接從隱式反饋中學習模型會有偏差，提出組合聯合學習框架，旨在同時學習無偏的用戶物品相關性和無偏的傾向性；Lian等[20]融合隱式反饋和顯式反饋，通過深度交叉網絡學習特征間的高低階交互；薛峰等[21]將隱式反饋、ID作為神經網絡的輸入，采用注意力網絡區分不同歷史反饋對用戶的重要性，得到用戶的加權隱反饋信息，并將其融入用戶潛在特征中，提高了用戶特征的表達能力。

1.3 基于多維特征交叉的協同推薦

學者們通過增加特征、從原數據提取特征等方法擴展了特征的維度，通過特征交叉提高了特征的表達能力，進一步提升了模型的性能。Wang等[22]對內容信息進行深度表示學習，同時對評分矩陣進行協同過濾，并將二者進行雙向交叉，得到更精準的推薦；Mongia等[23]將用戶潛在向量視為評分與物品潛在向量的映射關系，先通過深度神經網絡得到物品潛在向量，然后將用戶與物品的潛在向量作內積以完成點擊預測任務；Wu等[24]提出的協同去噪自動編碼器（collaborative denoising auto-encoder，CDAE）利用去噪自動編碼器形成用戶物品反饋數據，學習用戶和物品的分布式表示；Dureddy等[25]使用強化學習預測用戶與物品的嵌入向量以解決冷啟動問題；Qu等[26]在網絡層前加入乘積層，豐富了特征的表示；Deng等[27]提出的深度協同過濾（deep collaborative filtering，DeepCF）框架將隱式反饋直接作為輸入，通過多層神經網絡分別得到用戶物品對的低階交互和高階交互，最終將兩者融合。受DeepCF框架啟發，本文融合隱式反饋數據與ID信息，把特征交叉得到的低階交互作為網絡層的輸入，再通過網絡層獲得高階交互，最終完成評分預測任務。

本文算法與DeepCF的主要區別如下：（1）本文算法在DeepCF的基礎上考慮了ID特征對模型的影響，在增加特征的同時緩解了冷啟動問題；（2）對原始輸入數據降維的方式不同，本文算法模型僅采用單層神經網絡作為嵌入層，與DeepCF將多層神經網絡作為嵌入層的方法相比大大減少了參數數量；（3）相較于DeepCF分別得到低階交互與高階交互的方式，本文算法模型首先通過特征交叉獲取用戶與物品的低階交互，再通過神經網絡學習高階交互，減少了模型的復雜度。

2 基于多維特征交叉的深度協同過濾算法

為了發揮隱式反饋表示用戶與物品特征的能力，本文首先通過單層神經網絡得到低維稠密的用戶物品特征向量，同時結合ID信息豐富特征并緩解冷啟動問題，然后通過逐項相乘得到用戶物品對的交互向量，最終通過網絡層得到預測評分。

2.1 總體框架

DCF的基本框架如圖1所示，主要分為輸入層、嵌入層、特征交互層以及網絡層。其中輸入層分為隱式反饋和ID兩部分，網絡層的輸入由隱式反饋和ID信息分別經過降維和交叉處理后拼接而成。

2.2 基于ID信息和隱式反饋的特征交叉

DeepCF框架僅使用隱式反饋作為輸入，同時其隱式反饋代指所有點擊、查看、購買等用戶行為。而本文中的隱式反饋則由用戶是否對物品評過分得到，認為用戶對物品評過分即表示用戶對物品感興趣，即用戶對物品評分是因為該物品本身攜帶有某種用戶感興趣的特征，正是這些特征導致用戶觀看該物品然后評分，評分低只能說明物品與用戶的預期不符，并不是用戶對物品不感興趣。本文的隱式反饋具體如式（1）所示。

其中，u表示用戶，i表示物品，ru,i表示u對i的評分。yui為1時表示u對i感興趣；為0時表示u對i不感興趣。u和i的隱式反饋yu、yi如圖2所示，其中u的每一列即為該用戶的隱式反饋，i的每一行即為該物品的隱式反饋。

雖然隱式反饋無法直觀地表明用戶喜歡該物品或是討厭該物品，但隱式反饋能在一定程度上表明用戶喜歡的物品類別，相比于顯式評分能學習到更多的信息。本文算法首先將用戶和物品的隱式反饋數據yu、yi通過單層神經網絡降維，計算公式如式（2）所示。

其中，pu、qi代表用戶u、物品i的潛在向量，Wu/i、bu/i分別表示用戶u/物品i嵌入層神經網絡的權重矩陣和偏執項。將降維后的用戶物品潛在向量通過式（3）得到用戶物品交互向量。

其中，表示由隱式反饋數據得到的用戶與物品的潛在向量，pIDu、qIDi表示由ID數據得到的用戶與物品的潛在向量，⊙代表逐項相乘，fImp、fID分別代表由隱式反饋數據和ID數據得到的用戶物品交互特征向量。最終拼接兩種用戶物品交互向量，作為神經網絡的輸入x，如式（4）所示。

2.3 基于深度學習的高階特征交互學習

DeepCF通過多層神經網絡得到用戶與物品的潛在向量表示，與本文研究目標不同的是，DeepCF致力于預測用戶對物品的點擊可能性，其將用戶物品潛在向量分別通過逐元素相乘和神經網絡得到低維和高維兩種預測向量，最后將這兩種預測向量拼接后通過Sigmoid函數得到最終用戶對該物品的點擊可能性。本文的研究目標是預測評分，通過將兩種用戶物品交互潛在向量輸入神經網絡的做法，使用神經網絡自動學習用戶與物品之間的高階交互。通過神經網絡捕獲高階交互關系可以形式化為式（5）。

其中，Wn、bn分別代表第n層神經網絡的權重矩陣和偏執項，L代表神經網絡的層數，x代表用戶物品交互向量，σ表示激活函數，本文采用ReLU激活函數。

網絡的輸出層只有1個神經元，即為預測評分。預測評分公式如式（6）所示。

其中，r＾為預測評分，Wout、bout分別代表輸出層神經網絡的權重矩陣和偏執項。

2.4 模型訓練與優化

推薦系統中有兩種常見的損失函數，分別是對數損失函數和均方差損失函數。對數損失函數通常用于預測點擊率，均方差損失函數則用于回歸問題。因為本模型的目標為預測評分，所以采用均方差損失函數，損失函數如式（7）所示。

其中，I是訓練集中用戶與物品的集合，u代表用戶，v表示物品，ruv是u對v的實際評分，r＾uv是u對v的預測評分，N為訓練集中的評分數量。本文采用的優化算法為Adam（adaptive moment estimation）。在實驗中采用小批量梯度下降，每次訓練抓取的樣本數量為256。模型的具體計算過程如算法1所示。

算法1基于多維特征交叉的深度協同過濾算法

輸入：用戶物品隱式反饋，用戶U,物品V。

輸出：預測評分。

Begin

For eachuinUdo

利用式（2）獲得嵌入向量

End for

For eachvinVdo

利用式（2）獲得嵌入向量

End for

利用式（3）、式（4）獲得交互向量

For eachuinUdo For eachvinVdo

利用式（5）、式（6）得到預測評分

End for

End for

利用式（7）優化模型

End

2.5 本文算法與現有模型的對比

相比傳統的MLP模型，本文模型在將特征輸入到網絡層之前對用戶與物品特征進行交叉，相比傳統的特征拼接包含更多的信息。相比DeepCF模型，本文模型在嵌入層中采用單層神經網絡，減少模型參數的同時提升了訓練效率，并且未采用傳統的“雙塔”結構，將低階交互直接作為網絡層的輸入，降低了模型的復雜度。與其他采用隱式反饋與ID信息作為特征的深度協同過濾模型相比，本文將隱式反饋作為用戶和物品的特征，而其他模型僅僅將隱式反饋作為用戶或者物品的特征甚至是特征的補充，未完全利用隱式反饋數據，采用單層神經網絡作為嵌入層相比查表得到嵌入向量，能在一定程度上緩解嵌入矩陣初始化對嵌入向量的影響。同時將用戶與物品的隱式反饋嵌入向量、ID嵌入向量分別交叉，然后將兩種交叉特征向量拼接后傳入神經網絡，相比未經處理直接拼接的方法，本文方法得到的特征向量更具表達能力。

3 實驗結果與分析

3.1 實驗數據集

本文選用經典數據集MovieLens100K（ML-100K）、MovieLens1M（ML-1M）、MovieLens-Latest-Small（ML-LS）和FilmTrust驗證本文方法在RS中的性能。MovieLens100K數據集由943位用戶、1 682部電影和100 007個評分組成；MovieLens1M數據集由6 040位用戶、3 900部電影和1 000 209個評分組成。兩個數據集評分的取值范圍是1～5。MovieLens-Latest-Small數據集由610位用戶、9 742部電影和100 836個評分組成，評分的取值范圍是0.5～5；FilmTrust數據集由1 508位用戶、2 071部電影和35 497個評分組成，評分的取值范圍是0.5～4。實驗中隨機選取全部評分數據的80%作為訓練集，20%作為測試集。4個數據集信息如表1所示。

表1 數據集統計信息Table 1 Statistics of two data sets

3.2 性能評價指標

為了驗證本文方法在預測結果上的表現，采用平均絕對誤差（mean absolute error，MAE）和均方根誤差（root mean square error，RMSE）作為評價算法預測評分精度的標準；采用平均絕對百分比誤差（mean absolute percentage error，MAPE）和對稱平均絕對百分比誤差（symmetric mean absolute percentage error，sMAPE）衡量模型對預測評分的偏好。上述四種指標都表示預測值與實際值的偏差，MAE通過計算目標物品的預測評分與其實際評分絕對差值的平均值來衡量算法的準確性；RMSE是預測評分與實際評分平方差均值的平方根，受異常值的影響更大；MAPE和sMAPE通過計算實際評分與預測評分的差值相比實際評分以及實際評分與預測評分的均值的偏差，可以更好地衡量模型的預測能力。指標值越小，說明推薦的精度越高。MAE、RMSE、MAPE和sMAPE的計算公式如式（8）～（11）所示：

其中，n表示評分個數，yi代表實際評分，y＾i代表預測評分。

3.3 對比算法

為了驗證本文算法的性能，選取如下算法作為對比算法：

（1）Item-CF：基于物品的協同過濾通過計算物品之間的相似度，向用戶推薦與其歷史喜歡物品相似度高的物品。

（2）SVD++：在SVD模型中引入隱式反饋，同時使用內積計算評分。

（3）MLP：采用ID作為輸入，使用感知機代替矩陣分解中的內積操作，利用神經網絡建模用戶物品特征之間的高階交互。

（4）DeepCF：采用隱式反饋作為輸入，同樣考慮了低階交互與高階交互，其用戶和物品的低維潛在向量是通過神經網絡得到的。

3.4 實驗結果分析

（1）不同算法之間的性能比較

不同算法在數據集上的推薦精度如表2所示，其中64、128為嵌入層維度，對Item-CF算法而言，是與物品最相似的物品個數。從表2可以看出，Item-CF由于根據用戶交互歷史計算出與其交互物品最相似的物品，計算量大，相似度計算公式簡單，且無法推薦新物品，在各個數據集上的效果都最差。在稠密數據集中SVD++的推薦精度比單純的MLP高，這是由于SVD++加入了隱式反饋，能對用戶和物品的隱向量進行補充，而MLP僅使用ID特征，無法很好地建模用戶與物品之間的高階交互。而在稀疏數據集中，數據的稀疏導致隱式反饋變少，從而阻礙模型學習特征間的交互，這時MLP采用ID作為特征則有利于學習特征間的交互，使得推薦精度比SVD++更高，如表2中SVD++和MLP在FilmTrust數據集上的表現，而在同樣稀疏的MovieLens-LS數據集中，由于物品數量遠超用戶數量，SVD++仍然可以獲取足夠的隱式反饋，推薦精度仍會比單純的MLP高。DeepCF使用隱式反饋作為模型的輸入同樣受數據稀疏的影響，但是其通過使用類似NeuMF的結構，分別從低階和高階兩方面獲得用戶與物品的特征向量，能緩解因數據稀疏造成的隱式反饋不充足的弊端。而SVD++由于采用內積的方式預測評分，只能獲取用戶與物品的低階交互，并且不能緩解數據稀疏問題，使得推薦精度不如DeepCF。本文模型通過融合隱式反饋數據與ID信息，并對其進行特征交叉，利用隱式反饋降低了用戶主觀性對特征的影響，同時利用ID信息緩解了數據稀疏對模型的影響，在小數據集上相比DeepCF模型提升較大，說明本文方法能有效利用特征并提升特征的表達能力。在大數據集上則提升較小，且推薦精度在神經元個數少時比神經元個數多時提升大，說明本文模型的推薦效果隨著數據量的增大和模型的復雜而降低。這表明本文簡單將特征向量逐元素相乘不能有效地體現用戶與物品的交互，導致神經元個數上升時無法很好地捕捉特征間的高階交互。

表2 不同算法在數據集上的性能對比Table 2 Comparison of performance of various algorithms on data sets

（2）隱式反饋的有效性

為了驗證隱式反饋對于學習用戶物品交互的有效性，分別將ID信息、隱式反饋數據和兩者組合數據作為輸入進行實驗，結果如表3所示。從表中可以看出，基于隱式反饋數據的深度協同過濾算法相比基于ID信息的深度協同過濾算法推薦精度更高，說明在本文特征處理方法上隱式反饋數據比ID信息更能反映用戶和物品的特征，并且隱式反饋數據與ID信息結合可以更充分地表達用戶與物品的特征，使神經網絡學習到更多的信息，提升推薦性能。但是將隱式反饋數據與ID信息結合在大數據集中的提升不明顯，這是由于大數據集中隱式反饋的數量遠遠超過ID特征，使得神經網絡將大部分的注意力放在隱式反饋上，降低了ID特征的作用。

表3 不同輸入對本文模型的影響對比Table 3 Comparison of influence of different inputs on this model

在同等實驗情況下，參考DeepMF，將用戶物品評分矩陣作為輸入，在本文模型中的實驗結果如表4所示。從表中可以看出，使用評分矩陣作為本文模型的輸入相比傳統的ID作為輸入推薦精度更高，但是與使用隱式反饋數據作為輸入相比仍有差距。評分矩陣中存在用戶隨意評分、熱門物品總體評分偏高等現象，使得數據中存在對預測評分有影響的噪聲，導致推薦精度不及單純的隱式反饋。同時也發現評分能明顯表明用戶的興趣，因此如何使用隱式反饋數據和注意力機制判斷用戶對不同物品的喜好程度也是下一步工作的主要內容。

表4 顯式反饋數據與隱式反饋數據對本文模型的影響對比Table 4 Comparison of influence of explicit feedback data and implicit feedback data on this model

（3）稀疏性測試

為了進一步驗證本文算法在稀疏數據上的穩定性，將數據集按照不同的比例（30%，50%，60%，80%）劃分，進行對比實驗，結果如表5所示。從表中可以看出，各算法在稀疏數據上的RMSE均比在密集數據上有一定上升。本文算法在應對稀疏問題時有較好的表現，相比于僅使用ID信息的MLP與僅使用隱式反饋數據的DeepCF算法，本文算法在面對數據稀疏問題時能有效利用ID信息，防止因數據稀疏導致的隱式反饋特征減少的困境。兩種特征相輔相成，能在提高推薦精度的同時緩解數據稀疏問題。

表5 在ML-100K數據集上不同數據劃分對算法的影響Table 5 Influence of different data partitions on algorithms on ML-100K data set

（4）參數敏感性測試

本文通過在隱藏層后添加dropout層，防止模型過擬合。為了驗證dropout值對推薦精度的影響，本文將dropout值分為0.2、0.4、0.6、0.8和1.0來驗證dropout層對模型過擬合的限制，其中dropout值為1.0時即為不使用dropout層。實驗結果如圖3所示，從圖中可以看出，dropout值為0.8時本文模型的推薦精度最高。分析原因是當dropout值為0.8時，有20%的神經元停止工作，此時對于模型來說能最大化地學習用戶與物品的特征，從而最終提高推薦精度。

4 結束語

本文提出的基于多維特征交叉的深度協同過濾算法，將隱式反饋數據視為用戶物品的特征，在真實數據集上驗證了與傳統的ID相比，神經網絡可以從隱式反饋中學習到更多的信息；將用戶物品潛在向量逐項相乘，相比傳統的拼接也更具表達能力。在使用隱式反饋數據的基礎上，結合ID信息，通過隱式反饋和ID信息得到兩類不同的用戶物品交互潛在向量，進一步提高了推薦精度，并緩解了數據稀疏問題。

在實驗過程中，本文模型未對各個物品賦予不同的權重，在今后的工作中，將利用注意力機制區分不同物品對用戶的影響，進一步提高推薦精度。