重構特征的用戶-項目代反饋推薦模型研究

王帥，孫福振，王紹卿，常萬里，徐上上

(1.山東理工大學 計算機科學與技術學院，山東 淄博 255049；2.約克大學 計算機科學學院，英國 約克 YO10 5GH)

網絡空間中蘊含的信息爆炸式增長制約了搜索引擎提供有效信息服務的能力,推薦系統作為一種主動式信息服務的新方式，通過構建用戶與項目關系模型實現對用戶需求的挖掘與匹配，為傳統搜索引擎提供可行的替代和補充方案以解決信息過載問題。

協同過濾作為個性化推薦算法中最經典的類型，用戶數據可以整理為用戶-項目評分矩陣[1]。對評分矩陣進行矩陣分解可以完成對未知值的預測[2-3]，同時減少計算時間與存儲空間。因此改進奇異值分解最早由Koren應用于隱語義模型LFM[4](latent factor model)，將用戶-項目評分矩陣(m*n維)分解為用戶特征矩陣(m*k維)和項目特征矩陣(k*n維)。該模型存在的問題是難以對推薦結果進行合理的解釋，同時矩陣分解會造成評分矩陣的信息損失與預測失效[5]。

為充分利用輔助信息提升推薦效果，學術界提出了多種基于特征重構的反饋模型，如SVD++[6]，能夠有效利用隱信息預測評分，同時也存在算法復雜度高和信息損失問題。Wang等提出了矩陣分解的非負模型NMF[7](non-negative matrix factorization)，在理論上存在可行性，但由于特征非負的限定導致預測誤差較大，需要收斂效率極強的優化模型才可得到較好效果。Yu等提出了圖信息模型[8](GraphInfo)，通過構建用戶與項目的拉普拉斯矩陣，利用拓撲圖關系挖掘同類間的相似性信息，并通過GRALS優化[9]將拉普拉斯矩陣融入正則項。該模型提供了一種可擴展的模型，但對圖信息內部的優化極其復雜且對結果不可解釋。上述模型難以將輔助信息數據通過建模轉為評分矩陣需要的邏輯回歸類型[10-13]，對評分預測提高不明顯，輔助信息對推薦結果的解釋是單薄且不可靠的。

本文針對推薦過程中的信息損失和輔助信息建模問題，提出一種重構特征的代反饋推薦模型。通過向量相似性計算重構特征，獲得代反饋信息，增強訓練過程中的特征挖掘能力，并完成對輔助信息的交替反饋。運用代反饋信息融入矩陣分解模型對評分預測進行補充，以提高推薦的準確性。

1 重構特征

特征重構首先將評分矩陣利用二分類分解為觀測矩陣與未觀測矩陣。利用k最近鄰模型(kNN)排序對觀測矩陣中用戶與項目的相似性進行排序，排序結果利用jaccard系數對每個相似單元進行權值化特征表示，將每個相似單元的評分與權值特征結合，形成用戶與項目的顯性特征分量。對顯性特征分量進行高斯標準化，求和獲得用戶與項目的顯性特征，將未觀測矩陣進行矩陣分解得到隱性特征，將顯性特征與隱性特征結合得到重構特征。

1.1 顯性特征

提取評分矩陣的已觀測數據，對未觀測數據進行矩陣分解以緩解特征信息損失問題。如圖1所示，將原評分矩陣分為觀測矩陣與未觀測矩陣：

(1)

圖1 User-item矩陣的二分類Fig.1 User-item matrix binary classification

對顯性特征提取需要得到用戶與項目的相似實體，對具有相似性的同類實體進行排序。用戶與項目的相似性使用kNN計算得到，kNN使用歐式距離表示，其定義為

(2)

用kNN得到的前k個相似性數據組成用戶與項目的相似排序，排序定義為：

(3)

(4)

式中Θ(ui)和Θ(vi)分別表示用戶ui與項目vi經過kNN排序之后的相似實體組合。

為了提取用戶與項目的每個已觀測數據的特征，需要對排序集合中每個相似實體與集合的總體實體對比計算權值，即顯性特征分量的權值化特征。權值運用jaccard系數計算，權值特征的計算過程如下：

(5)

(6)

式中：Γui與Γvi分別代表用戶ui或項目vi的權值化特征，由指示函數Y與jaccard函數J的乘積得到；指示函數Y指示用戶ui與uk在同一項目上有評分或項目vi與vk在同一用戶上有評分。

每個用戶和項目的顯性特征分量由權值與每個已觀測評分的積構成。定義為

(7)

每個用戶的顯性特征分量是行向量，而每個項目的顯性特征分量是列向量。由于觀測評分矩陣是稀疏矩陣，因此顯性特征分量也是稀疏的。由圖2的示例可知，用戶u1的顯性特征分量存在4個，項目v1的顯性特征分量存在2個。

圖2 權值特征計算過程Fig.2 Weight characteristic calculation process

顯性特征由每個特征分量的高斯標準化向量之和表示。定義為：

(8)

(9)

式中：μ(φui)與μ(φvi)代表用戶ui與項目vi顯性特征分量的均值；σ(φui)與σ(φvi)代表用戶ui與項目vi顯性特征分量的高斯標準差。利用式(8)和式(9)計算所得到的顯性特征Δui,Δvi是將觀測矩陣中每個用戶與項目的特征降維后的單向量形式，在減少信息損失的同時亦降低重構特征模型的復雜度。

1.2 隱性特征及重構

未觀測矩陣分解之后得到用戶與項目的隱性特征。分解公式為

(10)

將用戶與項目的顯性特征與隱性特征組合為用戶特征向量與項目特征向量，重構表達式為

(11)

顯性特征將已觀測數據中相關信息高度提取并將輔助信息一并融入，能夠充分表達用戶與項目在已觀測數據中表現的顯性信息。隱性特征來源于未觀測數據的矩陣分解模型，由于未觀測矩陣中有效信息含量較少，因此隱性特征需要從顯性特征中挖掘輔助信息。顯性特征與隱性特征的重構能夠相互影響，使得模型擁有表達復雜特征的基礎能力，也為輔助信息融入評分預測提供了矩陣化的處理模式。

2 補充反饋

2.1 代反饋

完成顯性特征和隱性特征的重構后，對矩陣分解的特征乘積交互過程做補充預測，提高預測結果的準確性與可解釋性。預測過程是將顯性特征與隱性特征組合，采用向量間相互投影的運算規則，定義為代反饋模型，公式為

(12)

圖3所示是利用向量相似性將用戶與項目特征向量相互投影，在交互過程中將用戶顯性特征信息投影至項目隱性特征，以及項目顯性特征信息投影至用戶隱性特征。通過交互過程完成對用戶信息與項目信息的交替反饋，構成完整的特征信息。

圖3 代反饋模型示例Fig.3 Generation feedback model example

2.2 輔助信息反饋

利用向量投影將輔助信息進行補充反饋，反饋過程如圖4所示。在用戶對項目進行評分的過程中，利用用戶輔助信息解釋項目的隱含特征，反之亦可用項目輔助信息解釋用戶的隱含特征。例如該項目可能適合某年齡段，某性別，某職業的用戶；該用戶喜歡某類別，某作者，某名稱的項目。

代反饋模型利用交替反饋過程提供特征的全信息能力，實現特征的可解釋化與顯隱性復雜特征表達能力。

圖4 輔助信息的代反饋Fig.4 Generational feedback of auxiliary information

3 算法偽代碼

3.1 重構特征偽代碼

表1的初始化參數是觀測矩陣，對觀測矩陣中所有的用戶與項目分別計算相似性。計算過程遍歷觀測矩陣中所有的用戶與項目，在遍歷過程中分別對用戶和項目利用kNN排序模型中的歐幾里得距離作為相似性的判別標準，將計算結果加入相似性集合Θ中，取集合中前k個相似實體作為最終結果。k的取值由特征維度決定。

表1 顯性特征kNN排序偽代碼Tab.1 Dominant feature kNN ranking pseudo code

表2的初始化是每個用戶與項目實體的相似性集合。計算過程是對每個實體與其相似性集合中的其他實體遍歷計算對應元素特征，利用jaccard計算本體與實體在對應元素上的權值特征。當實體之間在同一行或同一列的對應元素同時存在評分時，則Y(0,1)函數結果為1，否則為0。經過Y(0,1)函數的判別后，將權值特征寫入實體的對應矩陣。

對每個權值特征標準化，其計算過程為：首先對每個實體的所有權值特征計算其均值，再由實體的每個權值特征減去均值的平方之后再除以權值特征的維度值，最后對此結果取平方根得到每個權值特征的高斯標準化分量。

表2 顯性特征權重偽代碼Tab.2 Explicit feature weight pseudo code

表3的輸入是權重特征與其高斯標準化分量，目標是計算用戶與項目的顯性特征向量與重構特征向量。首先通過權值特征減去其均值再除以對應的高斯標準化分量得到每個顯性特征分量，將顯性特征分量累加得到每個用戶或項目實體的線性特征向量。然后對未觀測矩陣進行矩陣分解，將顯性特征與隱性特征進行重構得到新的用戶與項目特征向量。

表3 顯性特征與隱性特征重構偽代碼Tab.3 Features reconstruction pseudo code

3.2 代反饋預測偽代碼

表4是代反饋預測模型的算法流程，目標是通過對參數的不斷迭代更新得到最優模型，從而進行預測。首先計算當前預測評分與實際評分的誤差求解Λ矩陣,然后根據誤差函數對代反饋矩陣E和隱性特征矩陣W、H求解梯度，利用隨機梯度下降法對代反饋矩陣與隱性特征矩陣進行參數更新構建預測模型。

表4 代反饋預測算法偽代碼Tab.4 Generation feedback prediction algorithm pseudo code

4 數據實驗結果與分析

實驗數據來自美國Minnesota大學的MovieLens站點提供的數據集(https://grouplens.org/datasets/movielens)與Yahoo提供的R4-Yahoo數據集(https://webscope.sandbox.yahoo.com)。兩個數據集的特征見表5。

表5 數據集特征Tab.5 Dataset features

評價標準選用平均絕對誤差MAE(mean absolute error)與均方根誤差RMSE(root mean squared error)。

實驗環境為Windows系統平臺，Intel(R) Xeon(R) CPU E3 1230 V2 @3.30 GHz，32 GB內存。開發平臺為Windows Visio Studio，編程語言為Qt，數據對比工具為Matlab。

對比模型采用SVD++[6]，非負矩陣分解模型NMF[7]，圖信息模型GraphInfo[8]。結果分別從MAE與RMSE，訓練時間方面進行比較,如圖5—圖7所示。

圖5 MovieLens中的RMSE與MAEFig.5 RMSE and MAE in MovieLens

圖6 R4-Yahoo中的RMSE與MAEFig.6 RMSE and MAE in R4-Yahoo

4.1 MAE與RMSE對比結果

從圖5與圖6的對比結果可以發現，本文重構特征的代反饋模型RFGF利用用戶特征與項目特征交替反饋充分挖掘了潛在信息，因而在4種模型中的效果最好。而且隨著數據集的擴大，RFGF模型在R4-Yahoo上的效果更加明顯。由此證明RFGF模型在獲取更深層次的特征能力上強于其他3種模型，在深層次特征轉化為預測結果的過程中也具有優勢。

4.2 模型效率與影響分析

由圖7可知，RFGF模型不僅在RMSE指標上優于其他3種基線模型，且特征迭代更新首次便將RMSE的結果收斂在1左右，表明RFGF模型不僅擁有深層次特征挖掘能力與特征準確結合的能力，同時也擁有較高的模型迭代效率。

圖7 MovieLens中的RMSE迭代效率Fig.7 RMSE iteration efficiency in MovieLens

5 結束語

重構特征豐富了特征的表達能力并且完善了特征信息，代反饋推薦模型通過向量投影思想解釋用戶與項目的交互過程，提高了模型對隱含信息的挖掘能力。特征重構的代反饋模型緩解了矩陣分解帶來的信息丟失與預測失效的問題，實驗結果表明推薦質量明顯提升。將代反饋模型中描述顯隱性特征的相似度度量方法與圖信息模型結合，融合跨類別的異構信息，有待進一步提升推薦準確率。