最大熵模型在協同過濾推薦中的應用研究

王昕智　吳產樂

摘要：對當今推薦系統冷啟動方法中存在的新用戶類型選擇以及流行度趨勢描述不精確的問題，提出了一種基于最大熵預測模型的協同過濾推薦算法.在類型選擇時，通過構建最大熵預測模型，預測用戶最喜歡的項目類型. 實驗表明：該方法對冷啟動問題的解決有效，提升了推薦系統準確率。

關鍵詞：最大熵；協同過濾；冷啟動

中圖分類號：TP391 文獻標識碼：A 文章編號：1009-3044（2018）02-0268-03

Maximum Entropy Model for An Application Research of Collaborative Filtering Recommendation

WANG Xin-zhi1 ， WU Chan-le2

（1.Class 16 of Grade 12 of No.1 Middle School Affiliated to Central China Normal University， Wuhan 430074， China； 2. Computer School Wuhan University， Wuhan 430070， China）

Abstract： Aiming to solve the problems of type selection and imprecise project popularity trend description of new users in the existing methods to solve the cold start problem in a recommendation system， this paper proposes a collaborative filtering recommendation algorithm Based on maximum entropy prediction model. In type selection stage， this method establishes a maximum entropy prediction model to predict the users favorite type of project. The experimental results show that this method can effectively solve the cold start problem and improve the accuracy of recommendation system.

Key words： Maximum Entropy ；Collaborative Filtering； Cold Start

當今以用戶為中心的信息生產模式造成了互聯網信息的爆炸式增長[1]，為了幫助用戶快速準確地獲取自身需要的信息，推薦系統應運而生[2，3].目前的推薦系統主要分為基于規則、內容和協同過濾三種方式[4]，其中協同過濾作為一種高效實用的方法，在推薦系統中應用最為廣泛[5]。

協同過濾推薦算法在推薦系統中應用較廣，但仍存在冷啟動、稀疏性等問題.其中，冷啟動問題是這幾個問題中的重點。

冷啟動問題是指新用戶和新項目加入系統中時，由于不存在歷史瀏覽、消費等數據，系統無法對其進行個性化推薦[6，7]。目前對冷啟動問題的研究主要分為兩種：1）類型-項目形式[8]；2）將傳統協同過濾算法的評分數據與特定的方法相結合[9，10]。

雖然上述研究取得了一定的效果，但新用戶冷啟動問題仍然面臨以下問題：1）在建立分類模型時，文獻[6-8]都將用戶的不同屬性對推薦結果的影響權重看作是相同的；2）在進行項目推薦時，文獻[5，9]直接將所有項目的流行度隨時間變化的趨勢假定為指數衰減函數，沒有考慮每個項目的流行度變化趨勢的不同.針對這兩個問題，本文提出了基于最大熵預測模型的協同過濾推薦算法。

1 算法模型

1.1 算法描述

首先，在類型選擇方面，提出了基于最大熵預測模型的項目類型選擇算法，主要考慮用戶屬性權重對分類結果的影響，從統計學角度探究用戶不同屬性與項目之間的關系，進而構建最大熵預測模型，當新用戶進入系統時，根據新用戶的屬性即可預測出用戶最喜歡的項目類型；其次，在項目選擇上，提出基于曲線擬合的流行度計算方法，首先統計數據集中項目的頻次-時間矩陣，然后通過多項式擬合方法，擬合出流行度變化趨勢曲線。

本文提出的改進算法流程圖如圖1所示：

1.2 基于最大熵預測模型的類型選擇算法

本文利用最大熵預測模型預測給定用戶屬性的情況下，用戶喜歡某種項目類型的概率，即尋找用戶屬性與項目類型之間的對應關系模型.模型中用到的符號表示如表1所示。

由于推薦系統中存在某個項目屬于多個項目類型的情況，例如，在電影推薦系統中，某些電影既屬于動作類又屬于愛情類，而某些電影僅僅屬于動作或愛情類，因此用 [itemi（num）]表示項目[i]具有的項目類型個數，[Rpi]表示用戶[userp]對項目[i]是否有評分，有評分記為1，沒有評分記為0，[Rpi]的表達式如下：

[Rpi= 1， 用戶 p 對項目 i 有評分 0， 用戶 p 對項目 i 沒有評分 ] （1）

經過統計分析后可以構建類似如表2的樣本集。

從表2可以看出，若要知道某個具有屬性[X]的用戶[userp]最喜歡的項目類型，需要分別計算該用戶喜歡所有項目類型中任意項目類型[j]的概率.若用[p（Ypj）]表示具有屬性[X]的用戶[userp]喜歡項目類型[j]的概率，[p（Ypj）]的計算公式表示如下：

[pYpj=i=1N1iteminumRpi] [如果 yj∈itemi] （2）endprint

通過上式計算出概率[p（Ypj）]的大小之后，用戶[userp]最喜歡的項目類型[yj]可以通過下式求得：

[yj=maxpYpj] （3）

在得出用戶[userp]最喜歡的項目類型[yj]后，需要進一步求出具有屬性[X]的各個用戶最喜歡的項目類型表，那么我們需要預測用戶[p]的各個屬性值[xi]對其最喜歡項目類型[yj]的影響。

首先利用概率統計的知識，任意選擇[X]中某個屬性值[xi]，循環計算項目類型分別為：[yj（j=1，2......m）]時的各個條件概率[p（Y=yj|X=xi）]，其計算公式如下：

[pY=yj|X=xi=countX=xi，Y=yjcountX=xi]， （4）

其中，[count（X=xi，Y=yj）]表示訓練集中某個屬性值[xi]與項目類型[yj]同時出現時的用戶個數，[count（X=xi）]表示訓練集中某個屬性值[xi]出現時的用戶個數.屬性值[xi]下用戶最喜歡的項目類型可以通過下式求得：

[yp|xi=maxpY=yj|X=xi]. （5）

1.3 基于流行度趨勢擬合的項目推薦算法

在1.2節中已經利用最大熵預測模型判斷出用戶[userp]喜歡的項目類型為[yj]，且項目類型為[yj]的項目列表為[F]，對于[F]中每一個項目[fi（i=1，2......m）]，分別將其最早被評分時間[tb]，與最晚被評分時間[te]之間的時間區間，按照某個時間間隔（年、月、日、星期）分成[k]個小區間，這些小區間表示為[tj（j=1，2......k）].對每個小區間分別統計該項目在該段時間區間的被評分次數，其中用[freij]表示某項目[fi]在時間[tj]內的流行度。雖然統計結果只是統計了最近[k]個時間區間的評價頻次信息，但是它也包含流行度隨時間變化的趨勢信息.我們可以根據上述中的項目-流行度-時間統計結果，擬合出每個項目的流行度隨時間變化的曲線，其中擬合曲線的方法有很多種，例如多項式擬合、指數衰減函數擬合、線性回歸等方法。

2 實驗結果與分析

2.1 實驗數據

本實驗所使用的硬件環境為：Intel（R） Core（TM） i5-3210M CPU @2.50Ghz，內存4G；硬盤500G.軟件：數據庫mysql5.7.16，開發工具：Pycharm。

本文用到的數據集是Minnesota大學的GroupLens實驗室于2015年8月份最新公布的MovieLens數據集，該數據集包括從1995年2月到2015年8月234934位用戶對30106部電影的評分數據，共有21622187 條評分記錄。為保證實驗的穩定性，最終選取了評分時間跨度一年以上的371位用戶對9157部電影的86132條評分作為實驗數據.為保證實驗結果的準確性，本文將選取實驗數據的80%作為訓練數據，另外的20%作為測試數據。

在MovieLens數據集中，本文主要關注用戶屬性信息和項目類型信息以及用戶對電影的評分信息，其中用戶的屬性信息結構如表3所示。

在MoviesLens數據集中，用戶從屬的職業有21種，在實驗中，為了便于建立用戶屬性與項目類型之間的特征關系，將用戶職業劃分為5大類：管理類、技術類、文藝類、服務類和其他；年齡劃分為兒童（0-18）、青年（19-34）、中年（35-55）和老年（56-100）。

2.2 評價標準

對用戶來說，推薦系統能否推薦用戶感興趣的東西是衡量這個系統優劣的標準，所以，需要對推薦系統的準確度進行評估，以此來判斷推薦系統算法能否推薦合適的資源給用戶.為此，在類型判斷中，需要對分類準確率進行計算，[right]表示分類準確率，[number]表示測試的用戶數，[count（right）]表示分類準確的用戶數.則分類準確率的公式如下：

[right=countrightnumber] （6）

2.3 實驗結果及分析

實驗部分將本文提出的算法與當前具有代表性的4種算法：結合項目類別相似性和動態時間加權的協同過濾推薦算法（CTCF）、基于項目內容和評分的時間加權協作過濾算法（CRTCF）、基于用戶的協同過濾算法（UBCF）和基于項目的協同過濾算法（IBCF）進行比較，屬性數目設置為1～10，步長為1，擬合階數設置為9階，比較結果分別如圖2～3所示。

圖2描述了不同分類算法對分類準確率的影響.從圖2可以看出，隨著屬性個數的增加，分類準確率不斷上升，其中UBCF和IBCF算法與本文算法性能較為接近，因為這三個算法都是從用戶和項目方面進行的改進算法，而CTCF和CRTCF是基于內容的改進算法.當屬性個數達到10個時，本文算法分類準確率達到98.0%，比當前最好的算法IBCF提高1.0%，而比CTCF算法提高7.7%；當屬性個數較少時（屬性個數=1），本文算法分類準確率仍然能夠達到77.0%.圖2說明本文提出的基于最大熵預測模型的項目分類算法是有效的。

圖3描述了不同算法中流行度計算方法對項目推薦準確率的影響。從圖3中可以看出，隨著流行度統計年份的增加，本文及對比算法的項目推薦準確率均有所提高。在統計年份較少時，本文算法表現較好，這是因為統計年份較少時，統計數據是稀疏的離散點，而本文基于擬合的方法相比其它算法，更能準確的描述稀疏離散點之間缺失的數據。

3 結論

本文針對現有冷啟動方法中存在的類型選擇以及流行度變化趨勢描述不精確的問題，提出了一種基于最大熵預測模型的協同過濾推薦算法.實驗結果表明，本文提出的算法適用于屬性值較少的新用戶項目推薦情形，對解決推薦系統中冷啟動問題有一定效果。

參考文獻：endprint

[1] Jin R， Si L， Zhai C. A study of mixture models for collaborative filtering[J]. Information Retrieval Journal， 2006， 9（3）：357-382.

[2] Claypool M. Combining content-based and collaborative filters in an online newspaper[C]//ACM. Proceedings Of The Recommender Systems Workshop At ACM SIGIR （1999）. New York： ACM， 1999： 1995-1999.

[3] Park S T， Pennock D， Madani O， et al. Na?ve filterbots for robust cold-start recommendations[C]//ACM. ACM International Conference On Knowledge Discovery And Data Mining. Philadelphia： ACM， 2006： 699-705.

[4] 孫冬婷， 何濤， 張福海， 等. 推薦系統中的冷啟動問題研究綜述[J]. 計算機與現代化， 2012， 4（5）：59-63.

[5] 姚娟. 融合項目流行度的協同過濾推薦算法[D]. 西安： 西安建筑科技大學， 2015.

[6] Golbandi N， Koren Y， Lempel R. Adaptive bootstrapping of recommender systems using decision trees[C]//ACM. Forth International Bootstrapping Of Recommender Systems Using Mining. Hong Kong： ACM， 2011： 595-604.

[7] 趙廣杰， 尹四清. 基于支持向量機回歸多屬性智能電視電影推薦[J]. 電視技術， 2015， 39（6）：32-35.

[8] 張東， 蔡國永， 夏彬彬. 一種提高推薦多樣性的概率選擇模型[J].計算機科學， 2016， 43（2）：72-77.

[9] 韋素云， 業寧， 楊旭兵， 等. 結合項目類別和動態時間加權的協同過濾算法[J]. 計算機工程， 2014， 40（6）：206-210.

[10] 馮雨晴. 基于流行度預測的個性化媒體推薦算法研究[D]. 青島： 中國海洋大學， 2013.endprint