混合因子矩陣分解推薦算法

趙長偉,彭勤科,張志勇

(1.西安交通大學電子與信息工程學院,710049,西安;2.河南科技大學信息工程學院,471023,河南洛陽)

?

混合因子矩陣分解推薦算法

趙長偉1,2,彭勤科1,張志勇2

(1.西安交通大學電子與信息工程學院,710049,西安;2.河南科技大學信息工程學院,471023,河南洛陽)

針對矩陣分解推薦算法在潛在屬性與已知屬性之間不能建立對應關系的問題,提出了一種混合顯式屬性與隱式屬性的矩陣分解算法。該算法使用顯式屬性的相關性對因子矩陣進行約束,能夠抑制稀疏數據矩陣分解中過擬合的問題,提高推薦精度,由于因子矩陣中包含顯式屬性,所以混合因子矩陣分解算法可以實現對新用戶和新產品推薦,部分地解決了冷啟動問題,實現了從評分數據到顯式屬性的映射,并對推薦結果給出一定的解釋。在MovieLens數據集上的實驗結果表明:相同因子數下,混合因子矩陣分解算法的推薦精度均優于偏置概率矩陣分解算法,并能夠基于顯式屬性實現對新產品的推薦。

推薦算法;矩陣分解;混合因子;推薦解釋;冷啟動

在應用驅動下,個性化推薦系統得到了學術界和商業界共同的重視[1-3],推薦精度不斷提高。矩陣分解(matrix factorization,MF)算法是個性化推薦中的經典算法。基本矩陣分解算法[4-5]將用戶產品打分矩陣分解為用戶潛在因子矩陣和產品潛在因子矩陣,用戶對產品的打分預測值由用戶潛在因子矩陣和產品潛在因子矩陣的內積求得。概率矩陣分解(probability matrix factorization,PMF)算法是應用較多的矩陣分解算法,在數據稀疏的情況下,PMF算法容易出現過擬合現象。為了防止數據過擬合,Netflix競賽獲勝者采用了正則化的矩陣分解算法(RSVD)[1],正則化能夠提高整體打分預測的精度,在矩陣分解算法中被廣泛采用。考慮到不同用戶和產品具有不同打分偏置,Rendle等使用了偏置概率矩陣分解算法(BPMF)[6],該算法能夠適應不同用戶和產品的打分偏置,并有效地提高了打分預測的精度。PMF和BPMF算法僅考慮用戶對產品的打分,并假定用戶和產品的潛在屬性是符合獨立同分布的。含用戶社交關系和產品屬性相關性的矩陣分解算法[7-10]將用戶社交關系和產品已知屬性的相關性作為矩陣分解的約束,從而提高了整體的推薦精度和推薦項的覆蓋率。在推薦結果解釋方面,非負矩陣分解(NMF)算法[11]限定屬性取值為非負,與屬性的有無和權重值相對應,其結果具有一定的解釋意義,但NMF算法沒有給出潛在因子與顯式屬性的對應關系。針對矩陣分解算法的效率問題,Ortega等使用了群矩陣分解算法[12],但群矩陣分解算法本質上屬于正則化算法。針對推薦數據稀疏的問題,Zhao等使用遷移學習的方法[13-14],融合不同領域的數據,解決了推薦系統數據稀疏的問題。

在傳統的矩陣分解算法中,由于使用潛在屬性因子,所以不能對推薦結果給出解釋,也不能確定對特定用戶推薦結果是否有改善。基于此,本文提出了一種結合顯式屬性和隱式屬性的矩陣分解算法(hybrid matrix factorization,HMF)。HMF算法的創新點主要有3個方面:①在矩陣分解過程中,使用用戶或產品之間顯式屬性的相關性對因子矩陣進行約束,防止稀疏數據矩陣分解中的過擬合問題;②利用HMF算法包含的用戶和產品的顯式屬性,可以實現對新用戶和新產品推薦,部分地解決了冷啟動問題;③實現了打分矩陣到顯式屬性的映射,能夠對推薦結果給出一定的解釋。

1 混合矩陣分解算法

1.1 矩陣分解算法

對于m行n列的用戶產品打分矩陣R,m為用戶數,n為產品數,rij是矩陣R中第i行第j列的元素,表示第i個用戶對第j個產品的打分。由于打分數據十分稀疏,R中存在大量的缺失數據。基本的矩陣分解算法在已知打分數據項上將打分矩陣R分解為m行k列的用戶潛在屬性因子矩陣U和n行k列的產品潛在屬性因子矩陣V,其中k為潛在屬性因子數(k?m,n),并使UVT盡可能接近R。在基本矩陣分解算法中,由于使用了潛在屬性因子,所以基本的矩陣分解算法不能給出推薦的解釋。此外,該方法假定屬性因子之間滿足獨立同分布條件,沒有考慮用戶和產品之間的關聯關系對矩陣分解的影響。

1.2 混合屬性因子矩陣分解算法

當產品因子矩陣中包含顯式屬性,用戶因子矩陣采用隱式屬性因子表示時,混合因子矩陣分解算法的代價函數定義為

(1)

混合因子矩陣分解算法通過優化如下目標函數實現

(2)

為了防止數據過擬合,對U、V進行正則化,相應的目標函數為

(3)

式中:λ為正則化系數。為了使矩陣分解結果具有解釋性,限制產品因子屬性值為非負值,目標函數為

(4)

式中:v∈V為產品因子屬性的值。

1.3 問題求解

隨機梯度下降算法(stochastic gradient descent,SGD)和交替最小二乘法(alternating least squares,ALS)是矩陣分解中最常用的算法。本文使用改進的隨機梯度下降算法對因子矩陣進行求解。首先使用代價函數對Ui和Vj求偏導,有

(5)

(6)

2 推薦解釋與冷啟動

在傳統的矩陣分解算法中,由于分解的矩陣使用潛在屬性因子,所以不能對推薦結果給出解釋,也不能推薦新產品和新用戶,即面臨冷啟動問題。在混合因子矩陣分解算法中,由于包含了用戶或產品的顯式屬性,所以能夠給出推薦解釋并能一定程度地解決冷啟動問題。

將用戶潛在屬性因子矩陣U分為與產品顯式屬性特征對應的塊Uex′和與產品隱式屬性特征對應的塊Uim′,則顯式屬性的打分權重為

(7)

顯式屬性所對應的權值表示了用戶對產品已知屬性的偏好程度,進一步,可以使用該權值對推薦結果給出相應的解釋。對于已知屬性的新產品,當wrij大于一定閾值時,可以依據產品的已知屬性向用戶推薦新產品。

針對冷啟動問題,考慮對產品因子矩陣采用顯式屬性表示,在產品因子屬性已知的基礎上,使用式(8)計算用戶因子矩陣的值。

(8)

這種情況下,用戶i對已知屬性產品j的打分預測值為

(9)

與產品矩陣表示相似,當用戶矩陣使用混合屬性因子表示時,可以實現向新用戶推薦產品項。

3 實驗結果及分析

3.1 數據集

實驗使用了MovieLens數據集[15],MovieLens數據集由3個不同大小數據集構成,其中100 kB的數據集中包含943個用戶對1 682部電影的100 000條評分數據,評分等級為1到5,共5個等級,等級1到5反映了用戶對該電影的偏好程度。每個用戶至少對20部電影進行了評分。每一條評分數據包含用戶、電影、評分級評分時間信息,該數據集還包含簡單的用戶人口學統計信息和電影的體裁類型信息。

3.2 打分預測精度

推薦系統有多種評價指標,打分預測精度常用的評價指標有絕對誤差Em和均方誤差Er

(10)

(11)

式中:T為測試集,|T|表示測試集樣本的數目。均方誤差Er對預測誤差較大的值更敏感。

實驗中對不同潛在屬性因子數和混合因子數的推薦算法的預測精度進行了比較,實驗結果采用5折交叉驗證的方法。

圖1、圖2給出了BPMF算法在不同因子數k下打分預測精度Em和Er變化的情況。實驗中僅使用了用戶對產品的打分信息,正則化系數λ設置為0.02,學習率α設置為0.1。用戶和產品矩陣因子均為潛在屬性因子。

圖1 潛在因子數與絕對誤差的關系

圖2 潛在因子數與均方誤差的關系

由圖1、圖2可以看出,在因子數k值小于確定值的情況下,潛在因子矩陣分解算法打分預測精度隨k值的增加而增加。為了驗證結合顯式屬性的矩陣分解HMF算法的有效性,分別對總因子數固定和顯式屬性因子數固定的情況進行了實驗。表1給出了總因子數固定為5的情況下,含不同數目顯式因子的HMF算法的預測精度。實驗中正則化系數λ設置為0.02,學習率α設置為0.1,顯式屬性因子值固定為0.2。實驗中顯式因子來自電影體裁信息,在MovieLens數據集中,包含了19種不同類型的體裁信息,但屬于某些體裁數的電影非常少,這些體裁屬性在預測精度中沒有普遍性。實驗中按照不同體裁的電影數對體裁屬性進行排序,得到一個體裁屬性排序列表。在HMF算法中,顯式屬性數為n時,對應的為體裁屬性排序列表的top-n項的屬性。在表1中,當顯式屬性數為5時,電影矩陣V中僅包含顯式屬性。

由表1可以看出,當包含兩個顯式因子時,絕對誤差最小為0.731 6。與BPMF算法相比,其預測精度有較大的提高,這是因為HMF算法中結合了顯式因子,增加了顯式屬性的相關約束。同時,該方法中包含了隱式屬性,隱式屬性能夠表示用戶偏好和產品屬性中難以顯式表示的偏好信息。隨著顯式因子數的增加,顯式屬性相關性約束增加,隱式屬性表示的推薦相關的潛在因子被削弱,導致推薦精度降低。

表2中給出了顯式因子數固定為5,總因子數變化范圍為5到30時,HMF算法的打分預測精度。

表2 固定顯式因子數時HMF算法的預測精度

由表2可以看出,在顯式屬性因子數固定的情況下,HMF算法的打分預測精度與顯式屬性因子數占比有一定的關系。在因子數為15時,HMF算法取得較好的結果,顯式屬性對因子矩陣的相關關系給出了較好的約束。隨著因子數的增加,顯式屬性在全部因子數中的比例降低,相關性約束減小,與BPMF算法相比,HMF算法對推薦精度提高十分有限。

3.3 冷啟動和推薦解釋

在個性化推薦系統中,傳統的MF方法不能推薦新產品和新用戶的原因是用戶偏好和產品屬性均采用潛在屬性因子表示,用戶偏好和產品屬性不能明確表示。HMF算法中,當產品項使用含有顯式屬性因子矩陣表示時,與其對應的用戶因子項可看作用戶對該屬性的偏好。HMF算法能夠基于用戶的偏好和產品顯式屬性推薦新的產品。

表3給出了MovieLens數據集中使用電影體裁類型作為顯式屬性時,HMF算法和基于產品屬性相似度算法在新產品項上的推薦精度。實驗中HMF和基于產品屬性相似度算法均使用了電影體裁項中前5個包含電影數較多的屬性項。

由表3可以看出,在新產品推薦上,HMF算法的精度遠高于基于產品屬性推薦方法的精度,這是因為HMF算法能夠區分用戶對產品不同屬性項偏好的權重,而基于產品屬性的推薦方法對屬性的權重不做區分。

表3 HMF算法和Item-based算法新產品推薦精度

由于HMF算法包含顯式屬性,該方法也能夠對推薦結果給出一定的解釋。具有推薦解釋功能使推薦結果更容易被用戶接受。與產品推薦類似,當用戶矩陣含有顯式屬性時,HMF算法可以實現對新用戶的推薦和推薦解釋。

4 結 論

本文提出了一種混合因子矩陣分解HMF算法,HMF算法的因子矩陣中包含顯式屬性和隱式屬性。與基本的矩陣分解算法相比,HMF算法使用了顯式屬性之間的相關性,對稀疏數據矩陣分解給出了合理的約束,提高了推薦精度。同樣,由于使用了顯式屬性因子,HMF算法能夠推薦新產品并對推薦結果給出一定的解釋。本文中顯式屬性僅使用了電影體裁屬性,沒有考慮其他顯式屬性和顯式屬性選取的問題,下一步,將對顯式屬性選取進行研究,對用戶偏好的深層次原因進行分析,進一步提高推薦系統的推薦精度和推薦解釋的能力。

[1] KOREN Y, BELL R, VOLINSKY C. Matrix factorization techniques for recommender systems [J]. Computer, 2009, 42(8): 30-37.

[2] MA W, FENG X, WANG S, et al. Personalized recommendation based on heat bidirectional transfer [J]. Physica: A Statistical Mechanics and Its Applications, 2016, 444: 713-721.

[3] RICCI F, ROKACH L, SHAPIRA B. Recommender systems handbook [M]. 3rd ed. Berlin, Germany: Springer, 2010: 1-35.

[4] SALAKHUTDINOV R, MNIH A. Probabilistic matrix factorization [C]∥Proceedings of the 2015 Advances in Neural Information Processing Systems. Cambridge, MA, USA: MIT Press, 2015: 1257-1264.

[5] SALAKHUTDINOV R, MNIH A. Bayesian probabilistic matrix factorization using Markov chain Monte Carlo [C]∥Proceedings of the International Conference on Machine Learning. New York, USA: ACM, 2008: 880-887.

[6] RENDLE S, SCHMIDT-THIEME L. Online-updating regularized kernel matrix factorization models for large-scale recommender systems [C]∥Proceedings of the 2008 ACM Conference on Recommender Systems. New York, USA: ACM, 2008: 251-258.

[7] 秦繼偉, 鄭慶華, 鄭德立, 等. 結合評分和信任的協同推薦算法 [J]. 西安交通大學學報, 2013, 47(4): 100-104. QIN Jiwei, ZHENG Qinghua, ZHENG Deli, et al. A collaborative recommendation algorithm based on ratings and trust [J]. Journal of Xi’an Jiaotong University, 2013, 47(4): 100-104.

[8] 郭磊, 馬軍, 陳竹敏, 等. 一種結合推薦對象間關聯關系的社會化推薦算法 [J]. 計算機學報, 2014, 37(1): 219-228. GUO Lei, MA Jun, CHEN Zhumin, et al. Incorporating item relations for social recommendation [J]. Chinese Journal of Computer, 2014, 37(1): 219-228.

[9] MA H, KING I, LYU M R. Learning to recommend with explicit and implicit social relations [J]. ACM Transactions on Intelligent Systems and Technology, 2011, 2(3): 135-136.

[10]MA H, KING I, LYU M R, et al. SoRec: social recommendation using probabilistic matrix factorization [C]∥Proceedings of the 2008 ACM Conference on Information and Knowledge Management. New York, USA: ACM, 2008: 931-940.

[11]LEE D D, SEUNG H S. Learning the parts of objects by non-negative matrix factorization [J]. Nature, 1999, 401(6755): 788-791.

[12]ORTEGA F, HERNANDO A, BOBADILLA J, et al. Recommending items to group of users using matrix factorization based collaborative filtering [J]. Information Sciences, 2016, 345: 313-324.

[13]ZHAO L, PAN S J, XIANG E W, et al. Active transfer learning for cross-system recommendation [C]∥Proceedings of the 27th AAAI Conference on Artificial Intelligence. Palo Alto, CA, USA: AAAI Press, 2013: 1205-1211.

[14]JIANG M, CUI P, WANG F, et al. Social recommendation across multiple relational domains [C]∥Proceedings of the ACM International Conference on Information and Knowledge Management. New York, USA: ACM, 2012: 1422-1431.

[15]HARPER F M, KONSTAN J A. The movielens datasets: history and context [J]. ACM Transactions on Interactive Intelligent Systems, 2015, 5(4): 1068-1074.

(編輯 武紅江)

A Matrix Factorization Algorithm with Hybrid Implicit and Explicit Attributes for Recommender Systems

ZHAO Changwei1,2,PENG Qinke1,ZHANG Zhiyong2

(1. School of Electronic and Information Engineering, Xi’an Jiaotong University, Xi’an 710049, China;2. School of Information and Engineering, Henan University of Science and Technology, Luoyang, Henan 471023, China)

A novel hybrid matrix factorization algorithm (HMF) is proposed to solve the problem that the correlation between latent factors and explicit attributes can not be established in traditional matrix factorization methods. The algorithm combines implicit and explicit attributes and uses correlations among explicit attributes to constrain factor matrixes, and to relieve the over fitting in sparse data matrix decomposition. Since factor matrixes include explicit attributes, HMF is used to solve the problem of cold start and to recommend new items. HMF realizes mapping from rating matrix to weights of explicit attributes and offers an interpretation for recommender items. Experiment on MovieLens datasets shows that the accuracy of HMF is superior to that of BPMF for same number of factors, and HMF can be used to recommend new items based on explicit attributes.

recommender algorithm; matrix factorization; hybrid factor; recommended interpretation; cold start

2016-05-30。 作者簡介:趙長偉(1971—),男,博士生;彭勤科(通信作者),男,教授,博士生導師。 基金項目:國家自然科學基金資助項目(61370220);河南省高校科技創新團隊支持計劃資助項目(15IRTSTHN010)。

時間:2016-10-19

10.7652/xjtuxb201612014

TP393;G558

A

0253-987X(2016)12-0087-05

網絡出版地址:http: ∥www.cnki.net/kcms/detail/61.1069.T.20161019.1622.010.html