協同過濾的一種個性化推薦算法研究

摘要：在分析傳統推薦算法不足的基礎上，提出一種稀疏矩陣下的個性化改進策略。首先進行一對一的個性化預測，得到虛擬用戶評分矩陣，在此基礎上再進行綜合預測。該方法避免了傳統推薦算法中推薦值與用戶相似度不密切相關的弊端，提高了協同過濾的預測精度，尤其是在矩陣極端稀疏情況下的預測精度。最后通過實驗驗證了算法的有效性和優越性。

關鍵詞：協同過濾；稀疏矩陣；相似度；個性化推薦

中圖分類號：TP391文獻標志碼：A

文章編號：1001－3695(2008)01－0039－03

協同過濾算法不依賴于商品的語義描述，只根據用戶的意見或行為即能產生推薦，是目前推薦系統(recommender system)中應用最廣泛和成功的技術。但是協同過濾推薦系統中項目空間巨大，導致矩陣極端稀疏。傳統的推薦算法在高維稀疏矩陣上進行運算往往導致不準確的推薦，從而影響系統的應用和推廣。本文從協同過濾的推薦算法入手，指出傳統推薦算法在矩陣稀疏情況下的不足，進而提出一種新的個性化推薦策略，通過算法進行模擬，改進了精度。

1協同過濾算法及分析

1．1協同過濾工作原理

在實際生活中，對于不熟悉的問題或事物，人們往往要咨詢自己的朋友或是信任的人，根據他們的判斷和看法和作出自己的選擇。 

協同過濾就是模擬這個過程，根據用戶的行為和其他用戶的行為（評分、評論、購買歷史、瀏覽次數、在某一網頁上的停留時間等）的比較，找出最相似的鄰居，根據與之最相似鄰居的興趣或偏好預測出該用戶的興趣或偏好，以幫助其進行決策的一種算法。

圖1顯示了協同過濾的原理[1]。其中用戶1、2和3都對項目A、B和C表現出興趣，如這三個用戶都評價了電影A、B和C，這種重合表明他們有相似的興趣。因此，可以認為向用戶2推薦D和E是比較可行的，因為D和E都被用戶1和3所喜歡。

協同過濾基于以下假設：人與人之間存在偏好和興趣上的相似；人對事物的偏好是具有穩定性的，因此可根據過去的偏好預測未來的選擇。

1．2協同過濾算法的步驟

一般說來，協同過濾算法可以分為構建用戶檔案、尋找最近鄰、產生推薦[2]三步。

1)構建用戶檔案收集用戶的評分、評價行為等，并進行數據清理、轉換和錄入，最終形成用戶對各種項目的評價矩陣，如表1所示。其中：Rij代表第i個用戶Ui對商品Ij的評分。一般說來，0≤Rij≤5。分數越高，用戶對該項目的認可度越高。

更進一步，如果這個向量代表的用戶i是許多乃至所有用戶的最近鄰居，那么對所有目標用戶而言，對某一項目的推薦值都為這個用戶的原始評價值。如果這個用戶對某一項目的評價為5，那么所有用戶都會根據這個用戶的評價值得到為5的推薦值。這個項目將成為排行榜上的第一名（top one），這是不準確的。因為這個推薦僅僅是根據一個用戶對這個項目產生的比較極端的評價；相反，如果這個用戶對某一項目產生一個極端低的評價，如1，那么這個項目也就永遠不能有機會推薦給其他人。這兩種情況都是非常不符合實際情況的。上述兩種情況由于數據集的巨大而時有發生。傳統的推薦算法在矩陣稀疏的情況下，嚴重影響了系統的推薦精度，降低了系統的可信度。

2改進的個性化推薦策略及算法

2．1個性化的推薦策略及原理

在矩陣稀疏的情況下，傳統推薦算法在一定程度上抹煞了用戶間的相似度對推薦結果的影響。尤其是當最近鄰居集內只有一個用戶對某個項目產生評價時，最后的推薦精度大大降低。

在現實世界中，人們常常咨詢朋友或信任的人。他們的推薦往往是一對一的行為，即找到一個相似的用戶，根據目標客戶與相似客戶的相似度產生對某一項目的預測值；再找到一個相似的用戶，根據它們之間的相似程度產生一個預測值……，直到找完所有的相似用戶；最后根據每個相似用戶產生的預測值產生最后的預測值。這個過程如圖2右側所示；左側部分為傳統推薦算法的推薦過程。

2．2個性化推薦算法

根據2.1節的分析，個性化推薦算法可分為兩個步驟，即一對一的個性化預測和綜合相似度的最終預測。

根據一對一的原理，本文對傳統的兩種推薦算法進行改進，即目標客戶對某個項目的評價是根據最近鄰居集內的每個鄰居產生一個評價；最后根據所有對這個項目產生過評價的最近鄰居再次引入相似度，產生一個綜合評價。這個個性化的推薦算法如式(8)所示。

3．3實驗過程

1）相似度公式的選取

式(1)~(3)是協同過濾算法常用的三種度量相似度的公式。為了獲得較好的實驗結果，本文分別用這三種公式對測試集和訓練集用戶之間的相似性進行計算。值的分布如表2所示。

從表2中可以看出，相似度分布最差的是修正的余弦相似度。在0~1內，分布比較集中在[0，0.15]，比例高達87%，這說明用此公式計算出的用戶之間的相似度過低。用這種公式得不到計算結果的占1.5%，計算結果小于等于0的占11.2。之所以這樣，是因為修正的余弦相似性公式的分子部分要計算兩個用戶之間共同評價過的項目。而在稀疏矩陣的情況下，兩個用戶共同評價過的項目非常少，分子的值非常小，甚至沒有；余弦相似性的分母部分是兩個用戶共同評價過的項目空間，這部分值相對于分母而言顯得過大。因此導致整個相似度公式的值非常小，與實際情況不相符。Pearson相關度和余弦相似度計算公式各有優缺點。余弦相似度公式可以得出所有用戶之間的相似度，但相似度值相對來說集中在[0，0.5]。Pearson相關性相似度公式由于在分子分母上計算的都是兩個用戶共同評價過的項目，相似度值相對來說分布較分散。從表中可看出[0，1]內都有分布。另一方面，由于要計算兩個用戶共同評價過的項目，pearson相關相似性公式得不出計算結果的為2．31%。

在以上分析的基礎上，通過對余弦相似度和pearson相關相似度兩種公式對的預測精度進行比較，結果如圖3所示。

從圖3中可以看出，不論應用哪一種傳統的預測算法（考慮評價風格與否），余弦相似度都表現出比pearson相關相似度良好的預測精度。這是因為在稀疏矩陣項目空間下運算，兩個用戶共同評價過的項目數量很少，根據很少的共同評價過的項目來判斷兩個用戶相似與否，可信度并不高。所以雖然表1的pearson相似度表現出良好的分布特性，但實際的預測值并不理想。另一方面，圖3再次證明余弦相似度的有效性。

基于以上分析，筆者在以后的實驗中，采用余弦相似性對用戶的相似度進行度量。

2）實驗結果及分析

為了驗證本文算法的有效性，以式（4）和（5）作為對照，分別以余弦相似性和pearson相關相似性作為相似度度量標準計算其MAE。最近鄰居個數為1~30，與本文提出的個性化推薦算法（PCF）進行比較。實驗結果如圖4所示。其中：TCF1代表傳統的協同過濾算法且不考慮評價風格的影響，即式（4）所示；TCF2代表傳統的協同過濾算法并且考慮評價風格的影響，即式（5）所示；PCF為本文提出的個性化協同過濾算法。從圖中可以看出，PCF的預測精度是最好的，并在不同鄰居個數的情況下表現出良好的穩定型；TCF1次之；TCF2精度最差。

另外，在鄰居個數很少的情況下，本文的個性化推薦算法的精度與傳統推薦算法相比有著明顯的優越性。當選取的最近鄰超過12個時，本文算法的預測精度與傳統推薦算法（考慮不同用戶之間的評價風格）的預測精度相比，保持了一致。當用戶個數大于12后，無論是哪種算法，預測精度都沒有明顯的變化。

通過分析可知，當用戶的最近鄰個數很少時，對要預測的項目往往只有更少的用戶對之作出評價，即此時對這個項目的評價是極端稀疏的。本文算法由于充分考慮了用戶的相似度對最后結果的影響，取得了較好的推薦結果。

4結束語

在分析協同過濾推薦原理的基礎上，筆者提出了一種個性化的推薦策略和算法，即在最近鄰居集的范圍內，根據每個最近鄰居與目標客戶的相似度，先對各個項目產生一個預測值；然后根據各自的相似度，在預測值的基礎上產生一個綜合的最后推薦值。實驗證明這種算法在矩陣稀疏的情況下，可以取得很好的推薦精度，并且在不同鄰居個數的情況下，結果比較穩定。下一步的工作是把該算法應用到具體的系統中，檢驗其實際運行的效果。

參考文獻：

［1］HERLOCKER J，KONSTAN J，BORCHERS A，et al.An algorithmic framework for performing collaborative filtering[C]//Proc of Confe rence on Research and Development in Information Retrieval.New York：Springer，1999：263－266.

[2]GOLDBERG D，NICHOLS D，OKI B M，et al.Using collaborative filtering to weave an information tapestry[J].Communications of the ACM，1992，35（12）：61 70.

[3]SARWAR B，KARYPIS G，KONSTAN J，et al.Item based collaborative filtering recommendation algorithms[C]//Proc of the 10th International World Wide WebConference.New York：Springer，2001:285－295. [4]鄧愛林，朱楊勇，施伯樂.基于項目評分預測的協同過濾算法[J].軟件學報，2003，14（9）：1621 1628.

“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文”