綜合個人興趣和平均偏好的矩陣分解推薦算法?

張瀟藝 高 尚 鄒海濤

（江蘇科技大學計算機學院 鎮江 212003）

1 引言

當下推薦系統具有廣泛的應用方向和極高的商業價值，也是各種前沿研究的重要課題。利用某種推薦算法，可以生成一個根據用戶喜好程度高低排序的序列，并根據此序列向用戶推薦商品、新聞等內容。常用的基于協同過濾的推薦算法包括了基于相似度的協同過濾算法［1~3］、隱因子模型［4］、圖模型［5~6］、深度學習模型［7~8］等。其中，隱因子模型使用矩陣分解算法［4］計算出用戶和被推薦物品的隱含因子，并利用隱含因子預測用戶評價。矩陣分解具有精度高，速度快的優點，可以滿足更為苛刻的客觀限制條件。

盧建鵬［9］提出引入時間分段的圖模型，考慮到了用戶的興趣衰減。俞騁超［10］使用循環神經網絡模型處理用戶的歷史瀏覽數據，但是模型的可解釋性不足，且模型復雜，訓練耗時。Hao Ma，Dengyong Zhou 等［11］提出了在矩陣分解中加入社會化正則項的方法。Hao Ma，Irwin King 等［12］和楊陽等［13］在矩陣分解的基礎上引入用戶好友的偏好，提升預測結果。但是很多場景下用戶的隱性好友關系并非容易獲取。

現有的矩陣分解算法利用數據集的信息不全面，難以更好預測用戶的喜好。本文嘗試在矩陣分解算法中融入用戶的興趣特征影響和商品的公共偏好影響。通過使用一般的矩陣分解方法預分解測試集，得到低精度的用戶興趣特征信息。再融合低精度特征信息并結合商品的公共偏好進一步改進模型，優化矩陣分解結果。在Netflix和Movielens等公共數據集上實驗，結果表明此方法可以提升算法的用戶評分預測精度和推薦結果的質量。相比于原模型改進明顯。

2 基礎理論

假設數據集為S，S內的每個元素為用戶i，物品j，以及i對j的評分rij所組成的三元組(i,j,rij)。其中用戶的總數為m，商品的總數為n，那么用戶對商品的評分矩陣就為一個m×n的矩陣R。推薦系統的目的就是填補矩陣R中除訓練集數據以外的缺失值。

2.1 引入用戶興趣的矩陣分解模型

隱藏因子模型的基本假設認為用戶對物品的偏好以及物品本身的特質可以用若干隱藏因子組成的向量表示。矩陣分解算法使用用戶對物品評分矩陣的分解向量作為用戶和物品的代表向量。基本的矩陣分解方法把用戶和商品都映射到一個k維的隱因子向量空間，用戶和商品的關系被模型處理為空間中兩個向量的內積。其中代表用戶i的向量用ui?Rk表示，代表物品j的向量用vj?Rk表示。預測的用戶i對物品j評分結果r?ij即為

不妨直接建立隨機數值的m×k用戶矩陣U和n×k物品矩陣V。最小化損失函數迭代優化兩個矩陣的值。

而在隱因子模型的基礎上，引入用戶興趣的矩陣分解模型使用訓練集SA中用戶i的評價子集Si算得此用戶的興趣向量fi，并將這一向量代入到優化求解過程中。興趣向量fi的表示如下：

為了便于計算，需要歸一化興趣向量。fi,m表示用戶i對于屬性m的興趣多寡。

將用戶興趣向量與矩陣分解法結合，得到的新分解模型為

其中α表示二者的權重參數，Fi表示歸一化后用戶i的興趣向量。

2.2 原有矩陣分解模型存在的問題

用戶興趣的引入，一定程度上提升了模型的精度，但是增加了算法的復雜度，導致運算耗時增加。原模型也沒能很好地結合商品已有的評價信息。實際上大部分物品的評分高低更多還是由商品本身的特質決定。有理由相信，在大眾層面上給出的商品評價，個體有較大概率依從或者至少相關。因此算法在速度和精度上，依然存在改進的空間。

3 本文方法

本文嘗試在計算用戶興趣向量之前，先使用傳統矩陣分解算法預分解。樸素矩陣分解算法的時間復雜度低于引入用戶興趣的矩陣分解算法，那么可以在保證一定精度的情況下快速分解矩陣。利用預分解得到的U和V矩陣計算用戶的興趣向量矩陣F，表達式為

F是一個m×k的矩陣，每一行代表一位用戶的興趣特征向量。再對F的每一行歸一化以便于下一步計算。此時模型的預測結果表示為

利用預分解的U和V矩陣直接計算用戶的興趣向量矩陣，可以在確保精度的情況下避免一般興趣分解模型在梯度下降優化的過程中同步優化用戶興趣向量帶來的耗時增加，還可以增益最終結果的精度。

同時本文還考慮引入待預測物品的平均偏好［14］Gj作為模型的參數之一。商品的平均偏好即某商品在不少于10 人評分的情況下所有評分的均值，這是為了防止過于稀疏的數據引入額外的誤差。商品j的平均偏好Gj表示為

其中，p為商品j評論的總個數。用戶的真實評分與物品的平均偏好存在一定的相關性。不妨先計算數據集中物品的平均偏好，并在梯度下降的損失函數中引入它。

再考慮到每個用戶在評分時的評分偏好不同。有的用戶更容易打高分，而有的用戶更容易打低分。本文采用一個權重函數θ，篩選掉與平均偏好差別較大的用戶，減少對模型的不利影響。在偏差小于一定閾值γ時權重θ為一個隨偏差變小而增大的函數，大于這個閾值γ時則為0。在偏差δ小于一定的閾值γ時，設定權重函數為

此函數的取值范圍為[0,1)。

經過改進的預測結果表示為

后文將進一步比較原模型與改進后的模型，并分析實驗結果，得出初步結論。

4 實驗結果與討論

4.1 數據集

本文選擇了兩個真實數據集實驗。其一為Netflix 數據集，這個數據集包含了6040 位用戶，3706 部電影以及536828 條用戶對電影的評分結果。另一個為MovieLens 數據集，這個數據集包含了6039 位用戶，3952 部電影以及1000209 條用戶對電影的評分結果。用戶評分的范圍都為［0，5］，其中0 分表示用戶最不喜歡，5 分表示用戶非常喜歡。每位用戶至少對50 條電影作出評價。圖1是兩個數據集用戶評分數分布的情況。

圖1 用戶評分分布情況圖

4.2 測試指標

本文使用平均絕對誤差（MAE），標準差（RMSE），歸一化折損累計增益［15］（nDCG）三個指標衡量算法的預測結果精度。

為了衡量對用戶的推薦準確度，本文將位于每位用戶評分列表中最新的前20%評分定為測試集。利用剩余較早的80%評分作為訓練集，以檢驗推薦結果的準確性。

MAE 和RMSE是評價預測評分誤差的主要指標。推薦結果中，二者的值越小說明預測的誤差越小，模型越精確。設測試集為T，那么以上二者的表示為

nDCG則是排序質量的一種測試指標。折損累計增益（DCG）則增加了對薦列表中位置相對靠后增益值的懲罰之后再求和。nDCG是DCG 歸一化的結果，用DCG 結果除以理想化排序下的IDCG 結果。nDCG 的值越接近于1，說明推薦的結果越好。假設根據模型預測用戶i的推薦列表為r1,…,rh，根據真實評分得到的列表為R1,…,Rh，H為推薦列表的長度，rh、Rh為項目的評分。

本文實驗選取的推薦列表長度為10。因為選取的用戶至少有50 條評分，因此可以保證單用戶測試集的長度大于等于10。

4.3 參數選取

4.3.1 應用預分解的模型參數優化

參數α影響了最終預測結果中一般的分解結果和用戶興趣向量的貢獻度比例。參數α在(0,1)之間變化，參數α越大，則說明預測結果中用戶興趣向量的影響越大。在Netflix 數據集上的實驗結果（圖4）表明，隨著當參數α從0開始增加，結果中的MAE，RMSE 逐漸變小，nDCG 逐漸變大，達到一個閾值后，MAE和RMSE開始增加，nDCG回落。在Netflix 數據集上MAE 和RMSE 的閾值為0.6，nDCG的閾值為0.7，本文出于優化排序結果的目的，以nDCG 的最優化參數為準。選擇0.7 作為Netflix 數據集上的參數α。MoviesLens 數據集的實驗結果如圖5 所示。可見MAE，RMSE 以及nDCG 的閾值分別為0.7 和0.8，本實驗選取0.8 作為MoviesLens數據集上的參數α。

圖4 預分解模型在Netflix上隨α 的波動

圖5 預分解模型在MovieLens上隨α 的波動

4.3.2 兼用應用預分解和平均偏好的混合模型參數優化

如圖2 和圖3 所示，經過實驗驗證了某一用戶的評分與平均偏好之間的偏差大小，在劃分的訓練集和測試集中存在一定的相關性和一致性。若偏差很大說明公共偏好對于此用戶不具備參考的價值。根據兩個數據集上的實驗可以得到如圖8 和圖11 的結果。在兩個數據集上權重函數θ的參數γ都應選取為0.8。

圖2 Netflix相同用戶分別于訓練集及測試集中與平均偏好偏差大小的比較

圖3 MovieLens相同用戶分別于訓練集及測試集中與平均偏好偏差大小的比較

圖8 混合模型的nDCG在Netflix上隨γ 的波動

參數α和β決定不同項目的比重，并影響最終模型的預測結果。根據實驗結果可知MAE、RMSE與nDCG 的最優化參數不相等。Netflix 結果如圖6、圖7，MovieLens 結果如圖9、圖11。在Netflix 數據集上選取參數α為0.3，參數β為0.2，MovieLens數據集上選取參數α為0.5，參數β為0.1。

圖6 混合模型在Netflix上隨α 的波動

圖7 混合模型的nDCG在Netflix上隨β 的波動

圖9 混合模型在MovieLens上隨α 的波動

圖10 混合模型的nDCG在MovieLens上隨β 的波動

圖11 混合模型的nDCG在MovieLens上隨γ 波動

4.4 應用預分解優化的結果與討論

本文選取標準的矩陣分解算法，以及未優化過的用戶興趣特征分解模型作為對比。

結果如表1 和表2 所示，本文發現在使用了用戶興趣模型后，Netflix 數據集的評分預測精度（MAE 以及RMSE）和用戶推薦的質量表現（nDCG）則明顯改善。而MovieLens數據集上的結果表現優于應用預分解前，但是均不如樸素的矩陣分解。這一結果可能由數據集本身的特征造成，MovieLens數據集相比RMSE 數據集的評分數更多，單一用戶和電影的評分也更密集。因此我們可以發現，同樣采用樸素的矩陣分解模型，MovieLens 數據集的表現遠優于Netflix 數據集。直接引入用戶興趣特征反而造成結果的損失。而加入預分解的用戶興趣分解模型后，改進模型的數值預測精度和排序質量相比引入了用戶興趣特征的矩陣分解提升顯著。

表1 Netflix上預分解模型與其他算法推薦結果的比較

表2 MovieLens上預分解模型與其他算法推薦結果的比較

4.5 混合模型優化后的結果與討論

結果如表3 和表4 所示，新模型在兩個數據集上表現不一。在Netflix數據集上，新模型犧牲了一定的用戶評分預測精度（MAE 和NDCG）但是提高了推薦結果的質量（nDCG）。在MovieLens 數據集上，所有指標都有所提升，但是推薦結果的提升幅度相比前一個數據集較小。

表3 在兩個數據集上使用混合模型進一步優化后的推薦結果對比

一般可以認為在推薦系統中推薦結果的質量相比于用戶評分的預測精度要更為重要。因為根據用戶預測評分產生的秩次直接決定了最終的推薦結果和推薦效率。本文實驗參數選取偏向于提升nDCG 的結果。通過本次實驗可以證明本方法在提升最終推薦結果方面的有效性。

5 結語

提升推薦系統的表現具有強的現實意義。市場經濟下，精準把握潛在消費者的喜好可以創造巨大的商業價值，因而推薦系統會是很長一段時間內研究的重點。本文嘗試從Netflix以及MovieLens兩個數據集出發，以加入用戶興趣特征的矩陣分解模型為基礎，探索提升推薦系統表現的改進模型。實驗結果證明本文提出的新方法有效和可靠。