個性化推薦算法綜述

孫光浩　劉丹青　李夢云

摘要：在現有文獻統計下個性化推薦算法可以分為如下三類：基于內容的推薦（Content-based Recommendation）、基于協同過濾的推薦（CollaborativeFilteringbasedRecommendation），以及混合型推薦系統（Hybrid Recommendation）。其中，基于協同過濾的推薦因其對專家知識依賴度低以及可以利用群體智慧等特點，得到了最為深入也最為廣泛的研究，它又可以被分為多個子類別，主要包括基于用戶的協同過濾（User-based CF），基于物品的協同過濾（Item-based CF），以及基于模型的協同過濾（Model-based CF），等。其中基于模型的推薦是一類方法的統稱，它指利用系統已有的數據和用戶歷史行為，學習和構建一個模型，進而利用該模型進行用戶偏好建模、預測與個性化推薦，根據具體應用場景和可用數據的不同，這里的模型可以是常用的奇異值分解等矩陣分解模型，也可以是主題模型、人工神經網絡、概率圖模型、組合優化甚至深度學習等機器學習模型。在下面的部分，我們將在如上幾個方面對個性化推薦系統的研究現狀進行具體的介紹。

關鍵詞：推薦算法；協同過濾；個性化

1研究背景

隨著互聯網的迅速發展，個性化推薦系統已經逐漸成為各種網絡應用中不可缺少的核心功能，并以各種各樣的方式影響著人們日常生活的方方面面：電子商務網站中的購物推薦引擎為用戶提供可能感興趣的商品推薦；社交網絡中的好友推薦為用戶尋找潛在的好友關注；視頻網站中的視頻推薦為用戶提供最可能點擊的視頻推薦；新聞門戶網站中的內容推薦為用戶提供最有信息量的新聞——個性化推薦技術已經是支撐互聯網智能的基礎技術之一。

2國內外現狀

互聯網的快速發展開啟了人類活動線上化的進程，越來越多傳統上只能在線下完成的任務變得可以方便快捷地在互聯網上完成。已經深入人們日常生活中的電子商務就是這一進程的典型代表，例如阿里巴巴、京東商城、亞馬遜網絡商城等電子商務網站的普及，使得人們不必走出家門即可購買自己所需要的商品，并且可以在更多的備選商品中進行挑選。不僅限于電子商務應用，社交網絡平臺如新浪微博和Facebook的興起使得人們可以在互聯網上交友、溝通、獲取實時資訊；在線叫車服務如滴滴和Uber的發展使得用戶不再需要線下街頭打車；在線P2P借貸服務如宜信和Prosper使得用戶線上借貸和理財成為可能；在線房地產業務如Zillow和Airbnb的發展則使傳統的房地產業務逐步線上化；在線自由職業平臺如豬八戒網和亞馬遜MTurk的迅速發展甚至使得自由職業者在線工作和任務分配成為可能。

2.1基于內容的推薦

首先收集和標注特征信息并對用戶和物品構建內容畫像（Profile），例如電影的類型、導演、主演，用戶的年齡、性別、內容偏好，等等。在此基礎上，基于內容的推薦通過用戶畫像和物品畫像的特征匹配算法進行個性化的推薦。在理論與方法方面，Debnath等研究了特征權重的選取方法及其對推薦效果的影響；Martinez等將語言學模型運用到基于內容的推薦當中，從而允許用戶以自然語言描述自身的興趣愛好并獲得個性化的推薦；Blanco和Gemmis等將語義網與基于內容的推薦相結合，利用語義網所蘊含的精確的特征關系為用戶提供推薦；Noia等進一步將最新的開放連接數據（LinkedOpellData）項目語義網應用于個性化推薦；Zenebe等將模糊集理論應用于用戶和物品特征集合的匹配過程從而為用戶提供基于內容的推薦；Cramer等則在基于內容的推薦背景下研究了系統透明度對用戶信任和接受度的影響。在實際應用方面，Mooney等研究并推出了基于內容的圖書推薦系統；Cano推出了基于內容的音樂推薦系統；Basu等研究了社交關系信息在推薦系統中的應用，Cantador等則進一步將基于內容的推薦應用于社會化標簽系統（Social Tagging System），從而為用戶推薦最可能感興趣的對象進行標簽標注；Chen等研究了基于內容的電子商務系統；Phelan和Kompan等則研究了基于內容的新聞推薦系統。

2.2基于協同過濾的推薦

基于協同過濾的推薦是推薦系統中廣泛使用的推薦技術，與基于內容的方法不同，協同過濾的核心思想在于借助其他用戶的歷史行為（群體智慧）來為當前用戶給出推薦，而不僅僅是考慮當前用戶自身的特征偏好。基于協同過濾進行推薦的思想一般認為最早出現在GroupLens的新聞推薦系統中，該工作也就是后來人們所說的基于用戶的協同過濾方法，除此之外，該工作也第一次提出了用戶物品評分矩陣的補全預測問題，并且這一問題在Herlocker中得到了進一步的形式化，并在Breese中得到了實驗驗證，影響了推薦系統今后十幾年的發展方向；Sugiyama等將基于用戶的協同過濾用于個性化搜索任務中并取得了不錯的效果。

Sarwar等研究了協同過濾技術在電子商務網站中的應用，并發現由于在基于用戶的協同過濾中需要計算用戶之間的兩兩相似度，使得在電子商務等用戶數龐大的網站中計算量成為了一大瓶頸。為了解決該問題，Sarwar等進一步提出了基于物品的協同過濾，利用物品的相似度來進行協同過濾式推薦，該方法在亞馬遜的個性化推薦系統中得到了重要的應用，并且至今仍然是許多電子商務網站推薦系統的基礎之一；由于基于用戶和基于物品的協同過濾都涉及到用戶和物品相似度的計算，兩者一般可以統稱為基于近鄰的推薦方法（Neighbourbased Recommendation）；Herlocker等對通過選擇不同的相似度計算函數，對基于用戶的協同過濾方法的實際效果進行了分析和驗證；Karypis則在Top-N推薦列表任務中對基于物品的協同過濾進行了實驗驗證和效果評價；Huang等對比了不同的協同過濾算法在電子商務網站應用場景下的效果和效率；Basu和Kautz等最早討論了社交網絡與協同過濾的結合，從而使得社交推薦成為可能；Massa和O'Donovan等研究了用戶之間的信任關系在協同過濾相似用戶選擇過程中的應用，提出了信任敏感的（Trust-aware）協同過濾算法和研究方向，并開發了信任敏感的推薦系統實際應用模型Moleskiing。endprint

為了進一步解決相似度計算量大的問題，Lemire等提出了著名的SlopeOne系列算法將協同過濾的回歸函數簡化，在大大降低計算時間和存儲需求的同時，取得與原始基于近鄰算法相當甚至更好的效果；O'Connor等提出利用物品聚類來降低相似度計算的復雜度；Gong等嘗試和比較了分別對用戶和物品進行聚類的效果；而George等則采用互聚類（Co-Clustering）的方法對用戶和物品同時進行聚類，并在此基礎上尋找近鄰；Ma等基于相似度閾值過濾提出了一種尋找近鄰并計算預測打分的加速算法；Zhou和Zhao等則研究和實現了基于Hadoop的并行化相似度計算和協同過濾方法。

隨著2007年Netflix矩陣預測大獎賽的興起，推薦系統的研究進入了一個新的高潮。由于在矩陣分解在預測效果上的明顯優勢，大量的矩陣分解算法得到深入的研究和擴展，這既包括對主成分分析（Principle Component Analysis）算法、奇異值矩陣分解（Singular Value Decomposition）算法和非負矩陣分解（Non-negative Matrix Factorization）算法等已有矩陣分解算法的應用和擴展，也包括一些新算法的提出和研究，例如最大間隔矩陣分解（Maximum Margin Matrix Factorization）算法和概率矩陣分解（Probabilistic Matrix Factorization）算法，等等。

2.3冷啟動問題

冷啟動問題（Cold-start）是協同過濾式推薦系統所面臨的重要問題之一。當新用戶剛剛加入系統時，由于其只有很少甚至沒有歷史行為記錄，使得協同過濾算法難以對其進行偏好建模，例如在基于用戶的協同過濾當中，冷啟動用戶由于沒有歷史打分記錄，造成無法為其計算相似近鄰用戶。同樣的問題也存在于基于物品的協同過濾算法中，新加入的物品由于幾乎沒有用戶打分，使得難以被算法推薦出來。Gantner等通過學習屬性特征映射來解決冷啟動問題；Zhang等利用社會化標簽來緩解冷啟動問題；Bobadilla等則研究了神經網絡學習算法在冷啟動問題中的應用；Leroy等對冷啟動的關聯預測（Link Prediction）問題進行了研究；Ahn等提出了一種啟發式的相似度計算方法來解決新用戶冷啟動的問題；Zhou等提出了功能矩陣分解模型（Functional Matrix Factorization），利用決策樹和矩陣分解的結合在冷啟動過程中為用戶選擇合適的物品進行打分，從而盡可能準確地理解用戶的偏好。與冷啟動問題緊密相關的是協同過濾的數據稀疏性問題，相對于系統中規模龐大的物品總數，評價每個用戶有過交互行為的物品只是很少的一部分，數據的稀疏性為用戶偏好建模帶來了挑戰。Wilson等通過實例研究了數據稀疏性問題在推薦系統中的影響；Huang等嘗試利用關聯規則挖掘來解決數據稀疏性問題；Papagelis等利用用戶信任關系來緩解稀疏性；Feng等研究了神經網絡在稀疏數據背景下推薦問題中的應用；Zhang等提出了矩陣的塊對角結構，通過矩陣的塊對角變換增加局部密度從而直接緩解稀疏性問題；Zhang等進一步分析了矩陣分解的解空間性質，并提出了增廣矩陣分解算法用以解決數據稀疏性的問題。由于推薦系統是許多互聯網應用中的重要部分，協同過濾也因此在各種應用場景下得到了豐富的應用。除了典型的電子商務推薦系統之外，Das等利用協同過濾技術實現谷歌新聞推薦系統；Ma等利用協同過濾方法研究了社交網絡推薦中的一系列重要問題，包括基于社交網絡信任關系的推薦、基于社會化正則項的推薦、基于概率化矩陣分解的社交網絡推薦、基于上下文信息的社會化推薦、以及顯式和隱式信息在社會網絡推薦中的應用，等等；Lekakos、Liu和Jeong等研究了協同過濾技術在電影推薦中的應用；Celma、Eck、Wang等研究了音樂推薦技術及系統；Tewari、Cui等研究了在線圖書推薦；Zheng等研究了在線服務推薦系統；論文引用推薦是協同過濾推薦應用的另一個重要領域，He、Caragea、Zarrinkalam等對此進行了深入的研究。

2.4混合型推薦系統

基于內容的推薦其優點是沒有冷啟動的問題，但是用戶和物品畫像的構建需要大量的時間和人力；而基于協同過濾的推薦通過利用群體的智慧對用戶和物品進行畫像和建模，但是也存在冷啟動、數據稀疏性等不足之處。為了結合兩者的優點而同時規避兩者的缺點，研究界提出了混合型推薦系統，對基于內容和基于協同過濾兩種方法的結合成為混合型推薦系統的主流，在實際系統中得到了廣泛的應用，現在大多數實際中的推薦系統都是綜合多種推薦算法而構建的混合型推薦系統。根據算法融合方式不同，混合型推薦策略可以分為加權融合、場景切換、結果混合與重排序，、特征組合、算法級聯、算法元層次融合等。

Burke等將基于知識的專家系統與協同過濾結合，較早提出了混合型推薦系統的概念；ClayPool等進而將基于內容和協同過濾的推薦相結合用于新聞推薦的任務；Wang等基于相似度融合的方法對傳統的用戶協同過濾和物品協同過濾進行了結合；Good等提出結合個人助理（Personal Agents）的協同過濾框架；Pennock等將基于近鄰的協同過濾與基于模型的方法相結合；Melville等提出了基于內容增強（Content-boosted）的協同過濾方法；Kim和Cho等研究了基于決策樹的混合推薦模型；Popescul和Yoshii等研究了混合型推薦的概率化方法；近年來，Campos等又將貝葉斯概率框架應用于混合型推薦系統中；Burke等研究了異構網絡和數據環境下的混合型推薦算法；Choi等研究了用戶隱式反饋與行為模式的結合；Renckes等考慮了用戶隱私保護在混合型推薦中的體現；Sun等研究了基于排序學習的混合型推薦；Huang等基于用戶物品關系圖提出了一種融合內容和協同過濾的混合型推薦方法。

在應用方面，斯坦福大學的研究人員首先推出了混合型推薦系統Fab，首次采用了內容和協同過濾結合的方法；Prasad和Li等研究了電子商務網站背景下混合型推薦的應用；Yu等利用混合型推薦實現了基于手機的上下文相關多媒體內容推薦系統；Yoshii和Donaldson等則對混合型推薦策略在音樂推薦中的應用；Lekakos和Salter等基于內容和協同過濾研究了電影推薦；Vaz等基于協同過濾和作者排序實現了一個在線圖書推薦系統；Lucas等對在線旅游產品的推薦進行了研究；Sobecki等利用協同過濾和菜譜內容實現了在線菜譜教程推薦系統；隨著MOOC等在線學習平臺的興起，Chen、Tang、Khrib和Bobadilla等研究了基于混合型推薦策略的在線課程推薦系統。

3存在問題

個性化推薦技術的主要研究對象豐富多變，概括而言包括兩大部分：其一是廣泛存在于各種互聯網應用中的被推薦物品，包括商品、視頻、音樂、電影、新聞、金融產品、工作任務等方方面面；其二便是購買、消費和操作這些物品的網絡用戶。用戶與物品之間交互方式的多樣性、行為記錄的豐富性、興趣偏好的動態性，為個性化推薦技術的研究及其解釋帶來了諸多挑戰。如圖所示。

4結語

為了解決相關問題，學術界和產業界都進行了一定的探索，例如在亞馬遜等電子商務推薦系統中往往簡單地給出“購買了該產品的用戶也購買了”等簡單的模板式推薦理由；在社交網站下相關的推薦系統中，則可以看到諸如“你的好友也查看了該內容”等基于社交關系的推薦理由。然而，過度簡化的一成不變的推薦理由難以為用戶提供個性化的解釋，降低了用戶對推薦理由的信任度。然而在實際系統中，用戶提及某一主題時并非一定是在表達正面情感，而在很多情況下恰恰相反是在表達負面情感，因此純粹基于主題的方法往往在描述用戶興趣偏好時有所偏差。本文對個性化推薦算法的關鍵技術做了系統介紹，對核心算法進行了綜述，為實現具體領域內個性化推薦做鋪墊。endprint