推薦系統綜述

于蒙，何文濤，周緒川，崔夢天，吳克奇，周文杰

推薦系統綜述

于蒙，何文濤，周緒川*，崔夢天，吳克奇，周文杰

（計算機系統國家民委重點實驗室（西南民族大學），成都 610041）（*通信作者電子郵箱xczhou@swun.edu.cn）

隨著網絡應用的不斷發展，網絡資源呈指數型增長，信息過載現象日益嚴重，如何高效獲取符合需求的資源成為困擾人們的問題之一。推薦系統能對海量信息進行有效過濾，為用戶推薦符合其需求的資源。對推薦系統的研究現狀進行詳細介紹，包括基于內容的推薦、協同過濾推薦和混合推薦這三種傳統推薦方式，并重點分析了基于卷積神經網絡（CNN）、深度神經網絡（DNN）、循環神經網絡（RNN）和圖神經網絡（GNN）這四種常見的深度學習推薦模型的研究進展；歸納整理了推薦領域常用的數據集，同時分析對比了傳統推薦算法和基于深度學習的推薦算法的差異。最后，總結了實際應用中具有代表性的推薦模型，討論了推薦系統面臨的挑戰和未來的研究方向。

推薦算法；協同過濾；深度學習；卷積神經網絡；深度神經網絡；循環神經網絡；圖神經網絡

0 引言

近年來，網絡應用尤其是移動應用的快速發展，使得人們能夠方便地瀏覽大量的網絡信息資源，如何為用戶從海量的信息資源中推薦符合其需求的資源（如商品、電影、書籍等）成了目前研究者們關注的問題之一。推薦系統（Recommendation System， RS）［1］可以有效地對信息進行過濾和篩選，幫助用戶以個性化的方式來檢索符合其需求的信息資源，緩解信息過載（Information Overload）［2］的問題。推薦技術經過不斷的發展和更新，已經在教育、音樂、電子商務、社交網絡等領域廣泛應用。協同過濾算法被提出后，推薦系統逐漸成為一個新的研究熱點，同時也面臨著數據稀疏問題（用戶對推薦項目的評分數量太少）和冷啟動問題（新的推薦項目和新用戶無評分數據）。深度學習（Deep Learning， DL）是具備識別、分析、計算的機器學習算法，為緩解數據稀疏和冷啟動問題帶來了新的機遇，2015年以來，深度學習已經在語義挖掘、人臉識別、語音識別等領域廣泛應用，深度學習模型的逐漸成熟也為推薦系統的發展帶來了新的機遇。2016年的ACM推薦系統年會上，Song等［3］指出將深度學習和推薦系統融合作為推薦系統未來研究的重點，由此，國內外的學者和研究機構針對這一問題開展了大量的研究。2017年以來，機器學習方向的頂級會議（如：ICML、NIPS、COLT等）中有關深度學習的個性化推薦文章逐年增加。2019年，文獻［4］的研究認為深度學習能夠從數據中自動學習特征的不同層次表達和抽象，是解決傳統推薦技術出現的冷啟動、數據稀疏等問題的有效策略。

1 傳統的推薦算法

推薦系統是數據挖掘、預測算法［5］、機器學習等多種學科結合而成的一個新的研究領域。文獻［6］中最早對推薦系統給出定義，指出在日常生活中無論是了解的事件還是未知的事件，時刻需要人們做出決策，面對熟悉的事情，人們常?？梢砸蕾囘^去的經驗做出合理的決策，然而，在面對未知的事情時，人們則需要他人的口頭建議、書評、影評、推薦等來進行判斷，文獻中認為推薦系統的意義是能夠為推薦項目和用戶建立適當的匹配關系。文獻［7］中則認為推薦系統是為不同用戶從大量的項目中匹配符合其興趣偏好但是未被用戶觀察到的項目，它認為推薦系統正在成為一個具有重大經濟影響的重要業務。

推薦系統從本質上來說是對人的某種行為的模擬，它通過推薦算法對特定的數據信息進行分析處理，然后將處理后的結果推薦給有相關需求的用戶［8］。推薦算法是推薦系統的核心，它能根據用戶的歷史購買需求、行為記錄或者相似偏好進行建模，從而發現符合用戶偏好的需求，并將之推薦給用戶。推薦系統的形式化定義［9-10］如下：

圖1 傳統推薦系統分類

Fig. 1 Classification of traditional recommendation systems

1.1 基于內容過濾的推薦技術

推薦系統最早被應用在電子商務網站，它通常根據用戶的購買行為記錄或購買評價來向用戶推薦與其需求偏好相似的物品［15］。文獻［16］中提出了一種基于上下文內容的方法來匹配和排序服務，認為上下文是用來描述一個給定文本的相關的語言術語集。該方法通過解析服務的底層文檔提取作為文本術語的令牌，并使用字符串匹配函數來匹配這些令牌的本體。文獻［17］中提出了一種匹配用戶查詢和服務描述以及相關上下文信息的服務發現方法。該方法將上下文提供者提供的上下文信息、服務提供者提供的服務描述和用戶提供的服務請求三者用本體建模，然后將這三條信息逐個匹配。文獻［18］中提出了一個Web服務上下文分類，然后使用本體來定義這個分類。上下文由一個兩級機制建模，該機制涵蓋了上下文規范和服務策略，提供了一個對等體系結構來完全匹配Web服務上下文策略，源服務的每個上下文都由候選服務的策略匹配。

總之，基于內容過濾的推薦（CB）技術的核心思想是：以用戶歷史的選擇記錄或偏好記錄作為參考推薦，挖掘其他未知的記錄中與參考推薦關聯性高的項目作為系統推薦的內容。通過用戶的顯式反饋（如評價、認可度、喜歡不喜歡）和隱式反饋（如瀏覽時間、點擊次數、搜索次數、停留時間等）獲取用戶在某段時間內的交互記錄，然后學習這些記錄中用戶的偏好并將其標記為特征；接著計算用戶偏好與待測推薦對象在內容上的相似度（或匹配度）；最后將待測推薦對象與用戶偏好的相似度進行排序，從而為用戶選擇出符合其興趣偏好的推薦對象。計算相似度是一個關鍵部分，會直接影響推薦的策略。計算相似度的方式有多種，常用式（2）計算相似度［19］：

有多種計算方式，通常使用向量夾角余弦的距離計算方式：

CB系統框架如圖2所示，包含數據挖掘處理部分和自適應推薦部分，對用戶來說這兩部分都是隱藏的。數據挖掘部分主要是通過建立向量空間模型對用戶的偏好特征進行分析和提取；自適應推薦部分的主要作用就是將用戶偏好的相似度排序，自動生成推薦列表，將推薦列表通過Web服務器推薦給用戶。

圖2 CB系統框架

1.2 協同過濾推薦

協同過濾推薦（CF）算法的核心是通過分析評分矩陣（通常是用戶對項目的評分）來得到用戶、項目之間的依賴關系，并進一步預測新用戶與項目之間的關聯關系。CF算法是最早被研究和討論的推薦技術之一，它有效地推動了個性化推薦的發展。1992年，文獻［21］中利用傳統的協同過濾技術解決了垃圾郵件分類問題；亞馬遜（Amazon）是目前較大的網絡購物平臺之一，主要利用CF算法為用戶推薦商品；Netflix在其主頁上也使用CF算法為用戶推薦喜愛的電視節目。

如今協同過濾技術被廣泛應用在音樂推薦、電影推薦、電子商務等領域［22］，CF主要分為基于內存（Memory-Based）的推薦和基于模型（Model-Based）的推薦。

1.2.1 基于內存的推薦

基于內存的協同過濾推薦通過用戶-項（User-Item）的評價矩陣尋找相似用戶和相似項目［23-24］之間的相似度，進而為新用戶構建相似度矩陣，預測用戶感興趣的項目。通過尋找相似項目進行的推薦稱為基于項目的推薦；通過尋找相似用戶進行的推薦稱為基于用戶的推薦。

基于項目的協同過濾技術主要挖掘并分析的是不同推薦項目間隱藏的關系而不是用戶之間的關系［25］，項目間的相似性計算是該技術的關鍵［26］，其推薦過程如圖3。該過程可以理解為：若有2個不同用戶A、B，且他們都對物品1、3表示出較高的喜愛，那么我們可以認為1、3物品存在某種相似。當系統中出現的新用戶C并選擇了物品1時，那么系統便會自動將與物品1相似度高的物品3推薦給他。

圖3 基于項目的協同過濾推薦

基于用戶的推薦過程如圖4所示，經過評價矩陣計算，認為用戶A與B相似，在物品選擇時，若用戶A選擇了物品1、2、3，用戶B選擇了物品1、3，那么在物品推薦時可以認為用戶B的選擇和用戶A相似，因此推薦系統可以將物品2推薦給用戶B。

文獻［27］中通過分析用戶矩陣來確定這些用戶與用戶以及不同用戶與其感興趣的項目之間的差異，從而根據差異有針對性地為用戶推薦合適的項目。然而基于用戶的推薦過程并不能依賴相似的用戶都了解對方，于是，文獻［28］中提出了一種基于匿名合作的協同過濾算法，專門用于解決為不同用戶推薦新聞和電影的問題?；谟脩舻膮f同過濾算法雖然能夠發現用戶隱藏的興趣點和偏好，但該技術存在嚴重的冷啟動問題。在實際問題中，推薦系統中的用戶種類不是一成不變的，當有新的用戶類型出現時，系統中缺少該類用戶的偏好記錄，那么推薦系統就無法對該類用戶提供符合其需求的推薦。為了解決協同過濾所面臨的冷啟動問題，文獻［29］中將傳統的協同過濾算法和神經網絡算法相結合。神經網絡算法是深度學習算法中的一種，能夠分析并計算用戶與項目之間的復雜的非線性關系，效率較高。文獻［29］中的混合模型關注到了推薦對象的典型性和多樣性，在韓國國民健康營養調查數據的應用中經過評估，結果表明它確實能提高推薦效果。

圖4 基于用戶的協同過濾推薦

1.2.2 基于模型的推薦

基于模型的推薦算法是通過訓練數學模型來預測用戶對未交互項目的評分情況，通常包括概率矩陣分解（Probabilistic Matrix Factorization， PMF）［30］和奇異值分解（Singular Value Decomposition， SVD）［31］。PMF和SVD的主要思路是先對用戶與項目的歷史交互數據記錄建立適當的模型，然后產生符合用戶需求的推薦列表，其中應用較為廣泛的是基于矩陣分解的推薦。

在實際推薦問題中，為了降低預測評分和實際評分之間的差值，得到更準確的推薦列表，一般將預測評分與實際評分之間誤差的平方作為損失函數，如式（5）所示。

2016年，文獻［32］中利用用戶對推薦項目的評分差異建模，建立了成對概率矩陣分解（Pairwise Probabilistic Matrix Factorization， PPMF）模型。該模型能夠自動學習用戶對交互過的項目的偏好程度，有效地降低了倒序排名的平均值，而不是降低協同過濾推薦的預測評分和實際評分之間的差值，解決了傳統推薦問題中數據稀疏的問題。2020年，文獻［33］中在PPMF模型的基礎上，通過基于圖的方式計算了概率矩陣的先驗分布，提高了PPMF模型的推薦準確率。

由于社會環境的復雜化，系統為用戶生成的推薦常常不能滿足用戶變化的興趣愛好，大部分用戶經常會接受來自身邊朋友的推薦，兩個用戶之間的相似性常常受到商品的流行程度、用戶偏好、社會關系等諸多因素的影響，因此文獻［34］中提出了一種結合用戶社交網絡的矩陣分解模型，如圖5所示。該模型首先為用戶設計了一種基于粒子群優化（Particle Swarm Optimization， PSO）算法的K均值聚類算法（K-Harmonic Means， KHM）對用戶進行聚類，然后將用戶社交網絡中用戶的社交關系引入到相似計算模型中，利用矩陣分解技術計算出用戶偏好的項目。這種辦法有效地緩解了推薦系統中常遇到的冷啟動和數據稀疏的問題；然而，當訓練數據過大時，訓練的復雜度也隨之提高。

圖5 基于社交網絡的推薦系統框架

其中：目標用戶的特征向量為；第個推薦項目的特征向量用表示；矩陣中隱變量的數量用表示；項目的預測評分和真實評分之間的誤差用式（6）中的第一項來計算；式（6）中的第二項是為了避免過擬合而設置的正則項。

圖6 FunkSVD模型

Fig. 6 FunkSVD model

為了解決用戶本身特質對用戶-項目評分矩陣的影響，文獻［36］的研究以SVD模型為基礎，提出了一種帶偏置項的奇異值分解（Bias Singular Value Decomposition， BiasSVD）模型。2010年，文獻［37-38］對BiasSVD模型進行了改進，提出了融合用戶-項目的隱式反饋信息的SVD++模型，該模型解決了因只有顯式反饋信息而缺少隱式反饋信息的推薦冷啟動問題。之后，文獻［37-38］的作者又將時間因子作為輔助信息融合到了SVD++中，提出了timeSVD++模型。該模型提高了用戶近期隱示反饋行為的權重，而對用戶的早期的反饋信息的權重進行了衰減，近似地實現了動態的推薦目的。

1.3 混合推薦

基于內容的推薦技術在處理規模較大的信息內容時，常常因為耗時久而造成信息時效性降低；協同過濾技術在面對新項目時容易遇到冷啟動問題；而混合推薦技術是保留不同推薦技術優點而避免其缺點的一種推薦方式，將不同的算法融入到推薦系統中即混合推薦［39-40］。目前的混合推薦主要分為前融合、后融合、中融合。

1）前融合：指將多個推薦算法融合到一個模型中，如在商品推薦過程中，根據用戶歷史購買記錄將其感興趣的商品特征提取出來作為推薦模型的輸入，由混合模型中的推薦算法通過自適應學習產生推薦結果。該混合推薦技術從本質上來說是數據庫中所有不同用戶特征的融合。如文獻［41］中將層次聚類算法和集成相似度算法結合，構建了一種準確度和多樣性相結合的混合推薦模型，在對推薦效果影響較小的情況下，通過調整混合模型的權重因子，可以達到推薦多樣性且準確的目的。

2）中融合：該混合推薦技術一般先以某種推薦算法為參照，再將推薦效果與混合其他推薦算法的技術對比。如以基于內容的推薦為主框架，然后在該款框架中混合協同過濾推薦能夠有效解決冷啟動問題。從混合本質上來說，該融合是對不同模型的融合。如文獻［42］的研究以深度學習算法作為框架，將深度學習與改進的機器學習模型相結合，從多個角度學習項目和用戶之間的交互，提出了一種稱為深度度量因子分解學習（Deep Metric Factorization Learning， DMFL）的混合推薦模型。該混合推薦模型的泛化能力較好，能全面地反映用戶的偏好。文獻［43］中提出了一種基于潛在因子模型（Latent Factor Model， LFM）和基于圖的個人排名（Personal Rank，PR）算法相結合的混合推薦算法，與單獨使用PR算法相比，該混合模型的準確率和正確率表現更優。

3）后融合：這種方法對推薦結果十分看重，主要通過比較不同推薦算法的推薦效果從而得到可靠性較高的推薦對象序列，最后將這個序列推薦給用戶。

在實際問題中，將不同的推薦算法相互結合從而得到效果更好的推薦是混合推薦技術的優勢之一。目前Amazon、Google［44］、微軟［45］等公司通過使用混合推薦技術在商品、廣告、新聞等個性化推薦方面取得了巨大的成功。

以上推薦技術都屬于傳統的推薦技術，近年來，用戶歷史偏好記錄的生成內容（如特征標簽、位置、交友記錄、評論記錄）越來越多樣化，傳統的推薦技術已經無法滿足用戶的多樣需求，因此產生了大量新的推薦算法，如：用戶在社交網絡中分享或者獲取各種資源時，只希望將自己的興趣或喜好公開給相似的用戶，并不希望將個人信息等隱私信息公開。保護用戶隱私的推薦逐漸成為學者們關注的問題［46-47］。文獻［48］中提出了一種基于用戶行為來保護用戶好友隱私的算法，將該算法用于集中管理和分布管理相結合的混合社交網絡中，能夠讓用戶在實現興趣偏好共享的同時又不暴露用戶的隱私信息。

表1對上述三種不同的傳統推薦技術的優缺點進行了總結和對比。

表1 傳統推薦技術優缺點對比

2 基于深度學習的推薦技術

深度學習算法強大之處在于能夠像人類一樣學習并處理復雜問題，面對規模復雜的數據能從多種維度來分析并計算線性或者非線性的特征序列，能從海量的數據中自動地學習符合用戶需求的特征，已經成功地應用在圖像識別、語音識別、自然語言處理等領域并取得了良好的效果，因此越來越多的研究者也嘗試將深度學習應用在推薦系統中，如何把深度學習技術與推薦技術有效結合并深入研究已經成為了一個新的研究方向。深度學習技術除了能夠發現用戶行為記錄隱藏的潛在特征表示，還能捕獲用戶與用戶、用戶與項目、項目與項目之間的非線性關系的交互特征，為系統的性能（如召回率、精度等）提高帶來了更多機會，能夠克服傳統推薦技術中遇到的一些障礙，從而實現更精確的推薦。

2.1 基于深度神經網絡的推薦

深度神經網絡（Deep Neural Network， DNN）是深度學習模型中的一種［49-51］，也可以叫作多層神經網絡或多層感知機（Multi-Layer Perceptron， MLP）。目前，在個性化推薦問題中引入深度神經網絡技術的趨勢越來越明顯［52-57］。

文獻［49］中首次將深度神經網絡模型融入到視頻推薦領域，并在YouTube視頻網站進行了仿真實驗，推薦流程如圖7所示。

圖7 YouTube視頻推薦過程

YouTube視頻網站的特點是注冊用戶多、視頻更新速度快、視頻時長不一、數量多，傳統的推薦算法很難為用戶推薦符合其偏好的視頻內容。圖7的推薦過程分為候選集生成和視頻排序兩個階段。候選集生成階段可以視為一個視頻篩選的過程，即根據用戶的觀看記錄從已有的視頻中選擇和用戶觀看歷史記錄相似的視頻集合作為下次推薦的候選視頻。候選集生成階段將視頻推薦問題視為一個多分類問題，利用深度神經網絡對用戶和視頻建模，通過預測函數來計算在情況下，用戶在時刻觀看視頻類型的概率，是所有視頻集合中的某一類。分類預測公式如下所示：

排序階段則是從不同特征維度對視頻進行分析，通過加權的邏輯回歸輸出層獲得用戶點擊某類視頻的概率預測。預測值與用戶感興趣的視頻類型越相似，其得分就越高，最終選取得分最高的幾十個視頻作為推薦結果。仿真結果顯示，文獻［49］提出的推薦模型的召回速率和效率較高，能對百萬級規模的視頻數據集進行訓練。

但該模型仍存在以下不足：1）面對海量的視頻數據，該模型只對數據進行了簡單的清洗，在后續研究中可以嘗試引入注意力機制，從而對視頻的權重進行分配，對用戶關注較多的視頻賦予更高權重，對用戶關注較少的視頻賦予較低權重；2）視頻網站往往存在惡意視頻（如廣告等），在后續視頻推薦研究中，可以嘗試建立一種安全機制先對惡意視頻進行攔截，從而更精確地捕獲到用戶的潛在偏好，不僅能提高用戶的使用率，還能提高推薦的效果。

文獻［50］中提出了一個深廣（Wide & Deep）模型來解決大規模的在線推薦問題，該模型是由單層的Wide部分和多層的Deep部分相結合的一個模型，如圖8所示。

Deep部分是深度神經網絡，該部分模型對嵌入的向量進行抽象和初始化。接著，將抽象好的特征向量傳遞到隱藏層，每個隱藏層執行以下計算：

Deep部分的作用是讓模型有更好的泛化能力，Wide和Deep結合使得該模型不僅能夠快速學習并處理大量的特征屬性，還具有強大的表達能力。在Google play（一個擁有超過10億活躍用戶和超過100萬個應用程序的移動應用商店）上的實驗結果表明，該模型明顯增加了APP的下載量，達到了更精確的推薦目的。

Wide & Deep模型主要利用Wide部分學習目標用戶的特征，利用Deep部分來泛化相似的推薦項目，能對5千億個樣本進行訓練，有效緩解數據稀疏問題，而且還可用于分類、回歸、查找等問題；它的不足是需要人為的特征工程。

圖8 Wide & Deep模型

文獻［51］中提出了一種融合DNN和矩陣分解的推薦模型，能快速地為用戶項建立其生成交互函數時所需要的非線性模型。相比單一的矩陣分解算法，該模型進一步提高了評分預測準確性結果，提高了推薦性能；但該模型并沒有從多種維度提取用戶的偏好，泛化能力較差。為了解決這個問題，文獻［52］中提出了一種基于DNN的深度混合推薦模型。該模型將用戶和項目信息輸入到了改進的機器學習模型中進行訓練，從多維度更深入地學習用戶和推薦項目的交互關系。該模型對用戶和項目的特征學習部分由2個并行的DNN組成，目的是為了提取靜態項目的潛在特征和動態用戶的潛在特征。這種將多個深度學習模型和機器學習模型相互融合的推薦模型，能較為準確地預測用戶的偏好情況，提高推薦的性能。未來的研究中，可以嘗試在推薦模型中融合多個深度學習模型和機器學習模型，提高推薦的泛化能力。

2.2 基于循環神經網絡的推薦

LSTM模型最早由文獻［57］提出，它可以學習較長序列信息之間的交互關系。從此，該模型不斷地被研究者們改進和優化。文獻［54］中認為傳統的協同過濾技術無法為用戶提供動態的個性化推薦，因此，將用戶的行為記錄抽象成有關聯的數據序列，使用降噪自編碼器（Auto-Encoder，AE）構建的深層網絡來學習新聞文本的特征；RNN用來訓練輸入序列（用戶特征和瀏覽記錄）。后來，日本雅虎（Yahoo）團隊嘗試將該文獻中提到的推薦模型應用到手機端新聞主頁中，整個推薦流程大致分為5步：1）將用戶的歷史瀏覽記錄作為RNN的訓練數據生成用戶的偏好模型；2）利用一定的相似度計算規則計算出和用戶偏好相符的新聞集合作為候選集；3）利用模型中的排序算法對新聞候選集排序；4）對重復的新聞內容進行去重；5）在適當時插入廣告（如果需要）。經過實驗和評估發現，GRU模型需要設置的參數少而且能夠為用戶推薦更準確的新聞信息。文獻［58］中則提出了一個多元遞歸神經網絡（Multi-view Recurrent Neural Network， MV-RNN）模型，該模型能夠將視頻、文本、圖片等信息整合，將不同的多視圖特征進行組合作為輸入項，然后在模型的隱藏層用一個單獨且統一的結構來處理輸入信息，動態有序地捕獲用戶的興趣。

2.2.1 基于知識圖譜和RNN的推薦

近年來互聯網在多個領域快速發展，使得知識圖譜從提升搜索引擎的質量逐漸發展到了推薦領域。2012年，Google公司為了提升用戶使用搜索引擎時的搜索體驗，提出了知識圖譜的概念，知識圖譜是用結構化網絡對客觀世界實體之間關系的一種描述，能夠用形式化的方法表示現實生活中事物間的相互關系。文獻［59］中結合知識圖譜和RNN模型建立了一種能實時捕捉到用戶興趣點變化的序列化推薦模型。該模型將在線音樂平臺的異構數據分為圖形數據、文本數據和視覺數據三大類，用知識圖譜將這三類異構數據的關系嵌入到實體中，再將結果作為輸入嵌入到模型中；在解碼階段，RNN和前饋層被用來獲取序列中的信息，分析計算每個候選項的分數，最后預測推薦。該模型嘗試將多源異構數據同時輸入到模型中，提升了推薦的效率；但該模型只嘗試了在音樂推薦方面的應用，因為它對異構數據具有較好的融合能力，未來可以嘗試將其應用到視頻、文本、社交網絡推薦中，增強模型的可擴展性。

因為文獻［59］中提出的模型無法記憶時間過長的序列，所以文獻［60］提出了一個基于記憶的網絡結構來長時間地保存用戶個人信息和偏好。該結構可分為Key和Value兩個模塊，其中：Key模塊用來存儲推薦項目的信息，從本質上來說這部分其實是知識圖譜通過翻譯嵌入（Translating Embedding， TransE）來獲取實體和關系的表征信息；Value模塊存儲用戶的特征和偏好情況，在RNN對時間節點的信息迭代時，該模塊能對TransE進行實時的記憶和更新，這一步充分利用了知識圖譜中的信息。該網絡結構有效地提升了模型記憶過長序列的效率和推薦效果。

綜上所述，在推薦方面充分合理地利用知識圖譜能提升推薦性能，尤其對于緩解數據稀疏和冷啟動問題具有明顯的效果；但這也僅適用于數據積累較為成熟的系統，當面對數據積累較少的新系統時，往往會出現推薦準確率低、推薦效果差的問題。因此，如何利用知識圖譜對新系統產生較好的推薦，將是未來研究的一個重點。

2.2.2 基于注意力機制的RNN推薦方法

注意力機制能夠根據用戶的偏好差異為推薦項目的潛在特征劃分區域，賦予大部分用戶都關注的區域較高的權重，不關注無關部分，其原理類似人腦的注意力機制，從本質上來說其工作原理是利用注意力的概率分布，捕捉對輸出有關鍵影響的輸入。

近年來，文獻［61-63］等的研究將注意力機制和深度學習模型融合，推動了推薦系統的發展。文獻［61］中將動態的圖注意力機制模型和RNN模型結合混合應用于社區推薦，該研究認為用戶的偏好受社交平臺朋友的偏好影響，圖注意力機制模型能夠動態地捕獲用戶朋友長短期偏好變化對用戶產生的影響，其模型如圖9所示。該模型的推薦過程如下：

1）為用戶的偏好情況建立模型。這一步主要是由RNN模型來完成，RNN模型為用戶的歷史瀏覽行為記錄建模，動態地捕獲到用戶的偏好。

3）動態的圖注意力機制建模。首先，為用戶建立一個圖網絡，網絡中的每個節點代表著用戶與社交網絡中朋友的圖網絡，如式（10）所示：

圖9 動態圖注意力網絡社會推薦模型

文獻［63］中提出的模型充分利用了用戶的社交關系，捕捉了用戶的朋友的偏好；然而，該模型對用戶和朋友的特征提取不夠精準，沒有考慮到用戶和推薦項目之間長期的依賴關系。因此，在后續的研究中可以嘗試將用戶和推薦項目之間長期的依賴關系融合到模型中。

為了解決微博話題標簽的時序數據問題，文獻［64］中構建了一種基于主題注意力機制的LSTM模型，該模型考慮到了時間因子，將時序特征融入到了模型中，有效地提升了推薦的性能；但是該模型并沒有考慮用戶信息和微博標簽文本長度問題等對推薦結果的影響。針對這一問題，文獻［65］中提出了一種基于注意力機制的語句時態增強模型，該模型對微博特征從詞級和語句級兩方面進行分析和刻畫，把時間信息融合在語句集注意力層，充分降低了微博標簽數據中噪聲數據對分類器的影響。因此，該模型除了解決微博話題標簽推薦問題，還能用于解決文本識別、語言翻譯和動態推薦等問題。然而，LSTM模型只能處理單一的歐幾里得空間數據，無法處理較為復雜的非歐空間數據。

文獻［66］中提出了雙重注意力網絡學習雙重社會效應的推薦模型。該模型的雙重注意力機制包括根據用戶自己分配的注意力權重建模和通過上下文感知動態的注意力建模兩個方面，通過雙重建模有效地把用戶的社會效應傳遞到了推薦項目領域，緩解了傳統推薦系統常常遇到的數據稀疏性問題。該模型對社會影響的有效表示能從多個維度學習，但是模型的復雜度也增加了。

2.3 卷積神經網絡

卷積神經網絡（Convolutional Neural Network， CNN）［67］的最大特點是具有表征學習能力，是包含深度卷積計算的前饋神經網絡，它的核心是隱含層和卷積層的相互連接，常見的三種性能較好的CNN模型有VGGNet［68］、GoogLeNet和ResNet［69］。2014年提出的VGGNet模型取得了ILSVRC（ImageNet Large Scale Visual Recognition Challenge）分類組的亞軍和圖像識別組的冠軍；2017年提出的ResNet模型在ILSVRC比賽中獲得了冠軍。ResNet模型有152層網絡結構，將殘差網絡作為CNN的基本結構，這樣做可以減少因網絡結構過深造成的梯度爆炸問題。與其他的深度學習模型相比，CNN模型能夠自動捕捉用戶的潛在特征，發現潛在的規律，目前已廣泛應用在圖像識別、自然語言處理、目標分類等不同領域的推薦系統中［69-71］。

在音樂推薦方面，文獻［70］中探討了如何有效地緩解音樂推薦中新音樂冷啟動問題，并提出了一種融合深度卷積神經網絡的推薦模型，通過收集用戶的歷史收聽記錄和瀏覽過的音頻數據，將這些數據投影到一個共有的隱空間中，從而學習用戶和音頻的隱表示。對于新的音樂，該研究利用深度卷積神經網絡對新音頻中的隱表示進行提取，從而在這個共有的空間中計算新音頻和用戶的相似度。經過實驗和分析，該方法緩解了新音樂冷啟動問題，提高了推薦的準確性。

在圖像推薦方面，文獻［71］中利用CNN模型學習用戶和圖像統一的特征表示，將異構用戶圖像網絡轉換為同質的低維數據，這樣的轉換有助于系統通過相似性向用戶推薦圖像。該模型能處理大型、稀疏和多樣化的視覺圖像。

針對文本推薦方面，文獻［72］的研究認為用戶對項目的評級矩陣如果過于稀疏，則會影響推薦質量，為此提出了一種混合推薦模型。該推薦模型基于上下文感知和卷積矩陣因式分解，將CNN集成在概率矩陣分解中，能有效捕獲上下文信息，從而填補稀疏的用戶評級矩陣，提高推薦的準確率。

文獻［70-72］的研究針對的都是某一個特定的目標用戶，但實際問題中的推薦場景往往更復雜，有時需要為特定的群組產生推薦列表，因此，未來的研究可嘗試將CNN和社交關系、時間、文本等輔助信息相結合來進行群組推薦。

2016年，文獻［73］中提出了一種基于注意力機制的CNN的新浪微博話題推薦模型，該模型設置了兩個注意力通道（全局和局部），提高了推薦的準確率；但是該模型使用的數據都是文本類型，忽略了圖像等其他形式的話題類型。為了解決這個問題，2017年，文獻［74］中提出了協同注意力機制模型，充分考慮了文本、圖像等與微博話題標簽依賴關系，因此推薦性能優于僅考慮文本的推薦。

文獻［75］的研究認為傳統的推薦在提取評論文本信息方面有所欠缺，于是提出了一種基于注意力機制的深度協作神經網絡（deep Cooperative Neural Network based on Attention， ACoNN）模型，其中注意力機制的作用是為文本矩陣的權重重新賦值，并行的CNN模型則充分挖掘用戶和文本的信息以獲取潛在的隱含特征。ACoNN模型的推薦流程如圖10所示。

圖10 ACoNN模型的推薦流程

具體描述如下：

2）歸一化處理式（13）得到的相似度系數，計算注意力機制層的每個詞向量注意力權重，如式（14）所示：

相比別的深度學習模型，該模型的優點是數據在訓練階段設置的參數比較少、模型的復雜度較低，充分利用了注意力機制能夠捕捉權重較大信息的特點，以及CNN模型對權值能夠共享、對局部連接的優勢，結合了注意力機制的CNN模型在提取特征時對重點特征的提取效率有了很大的提升，因此，推薦項目的準確率也有了較大的改善；但是該模型無法對用戶動態的偏好進行實時推薦。

文獻［74-75］的研究將注意力機制和CNN模型相融合，盡管提升了推薦的效果，但是當數據規模足夠大時，數據稀疏性問題仍然會逐漸顯露?？珙I域推薦是解決數據稀疏問題的一個重要的方法，多個領域的輔助信息可以為目標領域的推薦服務，通過輸入輔助信息，模型可以學習到目標用戶的潛在隱含特征，從而提升推薦的效果，因此，在后續研究中可以考慮將CNN和注意力機制融合到跨領域推薦任務中。

2.4 基于圖神經網絡的推薦

圖神經網絡（Graph Neural Network， GNN）借鑒RNN和CNN的思想，是一種重新定義和設計的用于處理非歐氏空間數據的深度學習算法。在實際的生活中，電子商務、推薦系統、動作識別等領域的數據抽象出來都是節點之間鏈接不固定的圖譜，這些圖譜不具備規則的空間結構，而GNN模型可以對該類數據進行高效的建模，精確地捕獲到數據之間潛在的聯系。文獻［76］中針對電子商務領域出現的問題，提出了一種分層二分圖神經網絡的模型。該模型首先將多個GNN模型進行疊加，并在多個交替模塊上使用聚類算法，聚類算法能夠有效捕獲到分層模塊中推薦項目和用戶的信息，進而有效地捕捉到用戶的潛在偏好，提高推薦的準確率；但該模型利用的是用戶某段時間內靜態的交互記錄，這與用戶變化的偏好情況相矛盾。因此，文獻［77］中建立了一種融合時間關注機制的圖卷積推薦模型，圖卷積神經層對用戶在整個實際場景中的角色進行抽象，能大致反映出用戶的短期偏好特征，文獻［78］提出了一種卷積LSTM模型（Convolutional LSTM Network， ConvLSTM）來增強模型的魯棒性，為了捕獲到用戶動態的偏好變化情況，模型首先融合了側重分層學習和神經元排序的神經網絡結構，最終通過學習模型捕獲到的局部用戶偏好的時空信息產生推薦序列。

2.4.1 基于PMF的圖神經網絡推薦

傳統的矩陣分解模型具有很好的靈活性和可擴展性，但是仍然無法解決冷啟動和數據稀疏的問題，于是，文獻［79］中提出了一種融合PMF和GNN的推薦模型。該模型首先將社交網絡圖和用戶項目圖這兩個圖內在聯系起來，然后對圖進行建模，捕獲用戶在社會空間中的潛在特征向量和項目空間上的潛在特征向量；接著，將捕獲到的特征向量進行相互串聯，充分地學習目標用戶的特征向量，將捕獲到的特征向量集成在PMF模型中，產生項目的評分和推薦列表。在真實的數據集Epinions和Ciao上的實驗結果表示，該模型是有效的，其均方根誤差和平均絕對誤差均有降低。但該模型只是將社交網絡圖作為輔助信息融合到模型中，在實際生活中，用戶和項目之間的交互信息還體現在其他方面，例如，推薦項目的豐富屬性與用戶偏好的依賴性。未來可以考慮多方面地融合輔助信息，提高推薦模型的準確率和新穎性。

文獻［80］提出了一種基于信任機制的社交網絡推薦模型，該模型將神經網絡集成到PMF模型中，用不同的神經網絡的節點表示不同的用戶，通過K最近鄰（K-Nearest Neighbor， KNN）算法將用戶特征和神經網絡聯系在一起形成圖結構。但是該模型只考慮了單一的KNN聯系用戶特征和神經網絡，未來的研究可以嘗試多種方法聯系用戶特征和神經網絡，盡可能從多方面考慮用戶的特征。

文獻［81］中通過GNN的節點來學習用戶對特定推薦項目的置信度加權參數，該加權參數代表節點用戶與推薦項目之間相交互的可能性。引入置信度加權參數是為了幫助用戶模擬高階信息，使得每個用戶可以收集鄰域節點間的高階信息。對于比較稀疏的用戶-項目矩陣，可以通過隨機游走的方式對矩陣進行填充，緩解數據稀疏和冷啟動問題。但該推薦方式僅考慮了用戶項目之間歷史交互的置信度參數，并沒有考慮推薦系統所收集到的數據對加權參數的影響。

2.4.2 基于會話的圖卷積神經網絡推薦

近年來，匿名用戶推薦問題逐漸成為推薦領域的一個重要研究方向，采用GNN模型解決該類問題已經取得了不錯的進展；但是，GNN無法精確地捕獲到用戶會話間潛在的依賴信息。文獻［82］中提出了一種基于會話的圖卷積神經網絡（Group-constrained Convolutional Recurrent Neural network， GCRNN）模型。該模型利用多層的圖卷積模型能精確地捕獲到用戶會話圖信息，利用遞歸神經網絡層則能進一步捕獲會話間的時序圖來獲得用戶偏好的變化情況，而且遞歸神經網絡層還能精確地捕獲到會話之間的交互信息。因此，GCRNN模型能精確地捕獲到會話間豐富的潛在隱含信息，從而提升推薦的準確性；然而，GCRNN模型并不能為用戶產生動態的推薦列表，降低了模型的實效性，因此在今后的研究中可以考慮將用戶的點擊項作為輔助信息融合到模型中以產生更有效的推薦列表。

用戶的興趣是動態變化的，為了給用戶產生實時推薦列表，文獻［83］提出了一種基于會話的圖卷積遞歸神經網絡模型，模型的整體框架如圖11所示。預測推薦項目的過程可分為三步：

2）為了處理獲取過程中遇到的梯度問題，選用GRU模型來獲取節點向量，最終輸出的的計算公式如（17）～（20）所示：

預測出的的值越大，則代表下一次被點擊的可能性越大，那么通過對得到的排序，將值大的會話依次推薦給用戶。

近年來基于會話的匿名推薦多關注的是用戶的點擊序列，但對于一個完整的推薦過程來說，其他信息（如推薦項目的種類和名稱等）往往被忽略。為了解決上述問題，文獻［84］中提出了一種基于會話的多粒度圖神經網絡推薦模型。該研究認為種類是推薦項目的一個重要特征屬性，對推薦項目有聚合的作用，因此通過GNN獲取推薦項目和用戶的種類嵌入信息；接著，通過注意力機制捕獲用戶對項目分配的權重；最后使用RNN獲得會話時序信息并對用戶進行推薦，以提高推薦的泛化能力。但該模型并沒有研究會話點擊序列長度對推薦效果的影響，另外用戶的長短期興趣信息也可以嘗試作為補充信息，從而進一步研究它對推薦的影響。

圖11 基于會話的圖卷積神經網絡推薦框架

GNN對非歐幾里得數據有其強大的提取和表示能力，這是GNN模型的優勢之一。在現有的研究中，基于GNN的推薦還存在以下問題：1）本節中介紹的模型的輸入都是單一的數據類型，然而在現實生活中，數據的形式有文本、音頻、圖片等，如何對異構數據進行統一的輸入是目前GNN推薦面臨的問題；2）目前文獻中所用到的GNN模型都是圖的節點不為空的情況，然而在現實生活中，會存在節點對象沒有存放任何數據的情況，目前相關算法難以處理該類情況。

隨著GPU計算能力的提高，深度學習在大數據分析及個性化推薦中的應用越來越廣泛。深度學習模型將用戶的顯式數據、隱式數據、用戶畫像等多源異構數據作為輸入融入到推薦過程中，通過輔助數據分析用戶和推薦項目隱藏的特征，從而建立預測模型，可有效地緩解數據稀疏和冷啟動問題，達到提升推薦準確率和推薦質量的目的。表2歸納比較了深度學習模型在不同推薦系統中差異。

表2 不同的深度學習模型的文獻總結及優點

近年來，隨著抖音、快手等短視頻平臺的快速發展，推薦系統成為了更加流行的研究熱點。目前，深度學習模型因能與顯、隱式反饋信息結合，并將多源異構數據融合到推薦系統中，從而有效緩解了傳統推薦所面臨的冷啟動和數據稀疏等問題，提高了推薦效果，其優點主要表現在：1）當遇到非結構化的數據（如圖片、視頻）時，數據隱含的特征信息仍然能通過深度學習其強大的表示學習能力被提取到。2）對原始數據的類型無要求，異構的數據均可以作為輸入，從而進一步地獲取目標用戶的特征。然而，在不同的應用領域，融合深度學習模型的推薦算法仍然存在以下不足：1）深度學習模型雖然在YouTube視頻、Google地圖等實際應用中取得了不錯的效果，但由于視頻、圖片均屬于非結構化的數據，且大量的非結構化數據訓練起來復雜度極高且耗時。因此，未來對于在視頻、圖片等領域的推薦模型，應盡可能設計復雜度較低高效的模型。2）融合深度學習模型的推薦算法類似于一個黑盒，尤其在類似社交網絡推薦的問題時，對于基于目標用戶的社交網絡推薦問題，深度學習模型往往都是個性化的推薦，很少有文獻對此類推薦嘗試群組推薦，未來對此方面的改進研究可以嘗試建立群組推薦。表3列舉了不同深度模型在不同的推薦領域所需要的數據類型及未來改進重點。

表3 深度學習在不同推薦領域改進方向的比較

3 常用數據集

推薦模型及其推薦效果要想獲得公認、客觀的評價，權威的數據集和統一的評價指標必不可少，本章主要介紹電影推薦、電子商務推薦、音樂推薦、新聞推薦領域一些公開的數據集以及近年來一些典型推薦模型的性能指標的對比。表4歸納整理了近年來有關推薦問題研究中所用到的公開數據集。

1）電影推薦［85］。MovieLens數據集是由明尼蘇達大學發布的一個包含多個用戶對多部電影評級的數據集，包含了用戶個人信息和有關電影的相關數據，因數據集的大小不同，目前包括MovieLens 1M、MovieLens 10M、MovieLens 20M三個版本。

2）電子商務［86］。Epinions數據集包含了139 738個商品、49 290個匿名用戶，這些商品至少被評價過一次，共有664 824條評價記錄，該數據集被廣泛應用在商品推薦領域。Amazon數據集由Amazon公司內部團隊收集數據并創建，包含了商品的類別、數量、標價、用戶的點擊次數、瀏覽記錄、購買情況等。

3）音樂推薦［87］。Last.fm數據集是由馬德里自治大學的研究小組創建并發布的，于2011年在第二屆推薦系統信息異構與融合國際研討會正式公開發布，音樂推薦算法的模型常常通過這個數據集進行仿真實驗，也有研究學者將此數據集用于新聞推薦，以驗證算法的通用性。

4）新聞推薦［88］。MIND數據集是從微軟新聞網站提取的匿名行為日志的新聞推薦數據集，有MIND和MIND-small兩個版本。MIND數據集包含了1 000 000名用戶所瀏覽過的161 031篇新聞，包含了用戶24 155 470條行為日志；MIND-small數據集則包含了50 000名用戶瀏覽過的93 698篇新聞以及230 117條用戶的行為日志。Adressa數據集是由挪威新聞出版社和挪威科技大學共同收集和發布的，不過因其新聞內容多為挪威語，因此應用常常受限。

5）文本推薦［89］。Yelp數據集是美國最大的點評網站內部整理得到的數據集，常用于教育、研究和學術；Goodbooks-10k數據集來自goodreads網站，包含用戶的文本評論，圖書的標簽，被用戶評論過的書的詳細信息（作者、年份、書的類型等）。Yelp和Goodbooks-10k數據集常用于基于用戶評論的文本推薦、圖書推薦等領域。

4 應用及比較

傳統推薦算法中的CF是最早被提出且發展最好的推薦算法。近年來，以CF為主的改進算法不斷涌現，如基于PFM的協同過濾、融合時間因素的協同過濾、基于知識圖譜的協同過濾、基于信任因子的協同過濾等，這些算法都取得了令人滿意的推薦效果。相比CF，CB更多地是作為輔助算法，CB包括特征提取和產生推薦列表兩個過程，很容易造成推薦性能低的問題?；旌贤扑]算法是各種推薦算法的組合，能夠讓不同的推薦算法相互彌補不足，能有效地緩解數據稀疏的問題。目前，基于深度學習的推薦的核心是將不同的深度學習模型與CF或CB組合，其推薦過程可分為兩步：1）讓深度學習模型學習用戶或項目隱含的潛在特征，并和CF結合構建優化函數對參數進行訓練；2）從完成訓練的模型中獲取最終的隱向量，接著完成向用戶推薦的過程。

在面對復雜龐大的數據時，傳統推薦算法常常無法快速建模且表示性較差，而深度學習可以對復雜問題分層處理，能快速發現每一層數據之間潛在的規律和聯系。基于深度學習的推薦通過融入輔助信息能有效地緩解傳統推薦技術的數據稀疏和冷啟動等問題。現有研究大多根據具體的輔助信息而選取不同的深度學習模型，在以后的研究中可以嘗試針對所有的輔助信息建立一個統一的混合推薦模型。

表5整理了不同推薦技術在電影、音樂、新聞、社交網絡、視頻和廣告等六個典型領域中的應用，并列舉了這六個領域中代表性的推薦模型、需要的數據信息以及模型特點。

表4 常用公開數據集歸納統計信息

表5 推薦技術在不同領域的應用

5 推薦系統面臨的挑戰和研究趨勢

推薦系統旨在從海量的推薦對象中幫助用戶發現符合其偏好的推薦項。本文分析了四類不同的推薦系統，包括基于內容的推薦技術、基于協同過濾的推薦技術、混合推薦技術以及基于深度學習的推薦系統，雖然這些推薦技術已經取得了令人滿意的推薦效果，但仍面臨以下挑戰，未來可以嘗試在以下這些方面進行研究：

1）通過動態信息為用戶推薦項目。大部分文獻中所提到的推薦技術都是通過靜態信息（假定用戶的行為記錄不改變）對用戶推薦商品。然而，在實際生活中，用戶的喜好會隨著時間、空間以及內和外部環境的變化而變化，因此，未來對用戶偏好建模時可以考慮動態的推薦算法。文獻［98］中通過建立深度遞歸神經網絡模型，使得用戶每打開一個新的Web頁面，都會刷新推薦結果，從而實現實時動態推薦服務。類似地，文獻［99］中通過建立基于遞歸神經網絡的協作序列模型，能夠準確地捕獲用戶上下文狀態隱藏的特征向量，為用戶動態地推薦項目。然而，目前動態實時地為用戶推薦方面的研究較少，如何根據用戶的偏好變化動態地為用戶推薦項目，仍是未來推薦系統研究的熱點之一。

2）推薦系統安全性有待提高。大規模的在線網站吸引了海量用戶的加入，尤其是社交網站的發展，精確地為用戶推薦感興趣的項目成了各個網站吸引用戶手段之一，而只有對用戶的多維度（特征）信息的挖掘才能更容易找到符合其偏好的推薦對象。事實上，用戶在期望推薦系統推薦感興趣的商品時，并不希望個人的其他隱私被公開，目前的研究都是通過數據扭曲和數據模糊的算法擾亂用戶的信息。這種數據擾亂雖對用戶的個人隱私做到了保護，但也會導致提取到的用戶信息并不準確，大大降低了推薦的準確性，因此，接下來可以著重研究一種既能保護用戶隱私又可以提高推薦準確性的方法。

3）缺少提取用戶偏好特征的方法。目前的推薦系統推薦對象更多的是依賴用戶對推薦項目的評分或者反饋信息，而忽略了用戶和推薦對象本身的特征，目前研究缺少適當的建模方法對用戶和推薦項目的特征、線性和非線性關系進行多維的提取。因此，接下來的研究中需引入更多樣的方式來提取用戶和推薦對象的特征。

4）評價推薦系統的性能指標單一?，F有的研究在衡量推薦系統性能時，它們多關注的是推薦結果是否準確以及準確率是多少，它們認為準確率是衡量推薦系統好壞的最關鍵指標。推薦的準確率高，則認為這個推薦系統是好的；反之，則不是一個好的推薦。但是，用戶在真正使用這些應用程序時，不僅希望系統可以精確地推薦感興趣的項目，也期待出現更加多樣且新穎的推薦。因此，在未來研究中推薦項目的新穎性、多樣性都應該作為推薦系統的評價指標。

6 結語

隨著深度學習、數據挖掘、預測算法等技術的不斷成熟，提高推薦系統的準確率、安全性、隱私性將成為未來研究的熱點。本文深入分析了傳統推薦方法以及融入了不同深度學習模型的推薦方法，整理總結了不同推薦領域常用的數據集，對比了傳統推薦模型和基于深度學習模型的區別，嘗試對推薦系統現存問題進行了總結并對推薦系統的未來發展方向做了展望，希望能對推薦系統領域或深度學習領域感興趣的研究人員提供有益的幫助。

[1] 周惠宏，柳益君，張尉青，等. 推薦技術在電子商務中的運用綜述［J］.計算機應用研究， 2004， 21（1）：8-12.（ZHOU H H， LIU Y J， ZHANG W Q， et al. A survey of recommender system applied in E-commerce［J］. Application Research of Computers， 2004， 21（1）：8-12.）

[2] 劉君良，李曉光. 個性化推薦系統技術進展［J］. 計算機科學， 2020， 47（7）：47-55.（LIU J L， LI X G. Techniques for recommendation system： a survey［J］. Computer Science， 2020， 47（7）： 47-55.）

[3] SONG Y， ELKAHKY A M， HE X D. Multi-rate deep learning for temporal recommendation［C］// Proceedings of the 39th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2016： 909-912.

[4] ZHANG S， YAO L N， SUN A X， et al. Deep learning based recommender system： a survey and new perspectives［J］. ACM Computing Surveys， 2020， 52（1）： No.5.

[5] GOODWIN P， KEITH ORD J， ?LLER L-E， et al. Principles of Forecasting： A Handbook for Researchers and Practitioners［M］. Boston， MA： Kluwer Academic，2001： 61-70.

[6] RESNICK P， VARIAN H R. Recommender systems［J］. Communications of the ACM， 1997， 40（3）：56-58.

[7] SUN M X， LEBANON G， KIDWELL P. Estimating probabilities in recommendation systems［C］// Proceedings of the 14th International Conference on Artificial Intelligence and Statistics. New York： JMLR.org， 2011： 734-742.

[8] LIU H Y， HE J， WANG T T， et al. Combining user preferences and user opinions for accurate recommendation［J］. Electronic Commerce Research and Applications， 2013， 12（1）：14-23.

[9] ADOMAVICIUS G， TUZHILIN A. Toward the next generation of recommender systems： a survey of the state-of-the-art and possible extensions［J］. IEEE Transactions on Knowledge and Data Engineering， 2005， 17（6）： 734-749.

[10] HA S H. Helping online customers decide though Web personalization［J］. IEEE Intelligent Systems， 2002，17（6）：34-43.

[11] VERBERT K， MANOUSELIS N， OCHOA X， et al. Context-aware recommender systems for learning： a survey and future challenges［J］. IEEE Transactions on Learning Technologies， 2012， 5（4）： 318-335.

[12] MOONEY R J， ROY L. Content-based book recommending using learning for text categorization［C］// Proceedings of the 5th ACM Conference on Digital Libraries. New York： ACM， 2000： 195-204.

[13] BREESE J S， HECKERMAN D， KADIE C. Empirical analysis of predictive algorithms for collaborative filtering［C］// Proceedings of the 14th Conference on Uncertainty in Artificial Intelligence. San Francisco： Morgan Kaufmann Publishers Inc.， 1998： 43-52.

[14] BALABANOVI? M， SHOHAM Y. Fab： content-based， collaborative recommendation［J］. Communications of the ACM， 1997， 40（3）： 66-72.

[15] LIU L W， LECUE F， MEHANDJIEV N. Semantic content-based recommendation of software services using context［J］. ACM Transactions on the Web， 2013， 7（3）： No.17.

[16] SEGEV A， TOCH E. Context-based matching and ranking of Web services for composition［J］. IEEE Transactions on Services Computing， 2009， 2（3）： 210-222.

[17] BROENS T， POKRAEV S， SINDEREN M van， et al. Context-aware， ontology-based service discovery［C］// Proceedings of the 2004 European Symposium on Ambient Intelligence， LNCS 3295. Berlin： Springer， 2004： 72-83.

[18] MEDJAHED B， ATIF Y. Context-based matching for Web service composition［J］. Distributed and Parallel Databases， 2007， 21（1）： 5-37.

[19] 許海玲，吳瀟，李曉東，等. 互聯網推薦系統比較研究［J］. 軟件學報， 2009， 20（2）：350-362.（XU H L， WU X， LI X D， et al. Comparative research on Internet recommendation systems［J］. Journal of Software， 2009， 20（2）： 350-362.）

[20] 黃立威，江碧濤，呂守業，等. 基于深度學習的推薦系統研究綜述［J］.計算機學報， 2018， 41（7）： 1619-1647.（HUANG L W， JIANG B T， LYU S Y， et al. Comparison study of Internet recommendation system［J］. Chinese Journal of Computers， 2018， 41（7）： 1619-1647.）

[21] GOLDBERG D， NICHOLS D， OKI B M， et al. Using collaborative filtering to weave an information tapestry［J］. Communications of the ACM， 1992， 35（12）：61-70.

[22] CAI Y， LEUNG H F， LI Q， et al. Typicality-based collaborative filtering recommendation［J］. IEEE Transactions on Knowledge and Data Engineering， 2014， 26（3）： 766-779.

[23] DESHPANDE M， KARYPIS G. Item-based top-recommendation algorithms［J］. ACM Transactions on Information Systems， 2004， 22（1）： 143-177.

[24] KOREN Y. Factorization meets the neighborhood： a multifaceted collaborative filtering model［C］// Proceedings of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2008： 426-434.

[25] MA W M， SHI J F， ZHAO R D. Normalizing item-based collaborative filter using context-aware scaled baseline predictor［J］. Mathematical Problems in Engineering， 2017， 2017： No.6562371.

[26] 周萬珍，曹迪，許云峰，等. 推薦系統研究綜述［J］. 河北科技大學學報， 2020， 41（1）： 76-87.（ZHOU W Z， CAO D， XU Y F， et al. A survey of recommender systems［J］. Journal of Hebei University of Science and Technology， 2020， 41（1）： 76-87）

[27] SARWAR B， KARYPIS G， KONSTAN J， et al. Item-based collaborative filtering recommendation algorithms［C］// Proceedings of the 10th International Conference on World Wide Web. New York： ACM， 2001： 285-295.

[28] RESNICK P， IACOVOU N， SUCHAK M， et al. GroupLens： an open architecture for collaborative filtering of netnews［C］// Proceedings of the 1994 ACM Conference on Computer Supported Cooperative Work. New York： ACM， 1994： 175-186.

[29] YOO H， CHUNG K. Deep learning-based evolutionary recommendation model for heterogeneous big data integration［J］. KSII Transactions on Internet and Information Systems， 2020， 14（9）： 3730-3744.

[30] SALAKHUTDINOV R， MNIH A. Probabilistic matrix factorization ［C］// Proceedings of the 20th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2007： 1257-1264.

[31] FUNK S. Funk-SVD［EB/OL］. （2006-12-11）［2020-11-01］.http：//sifter.org/simon/journal/20061211.html.

[32] LI G， OU W H. Pairwise probabilistic matrix factorization for implicit feedback collaborative filtering［J］. Neurocomputing， 2016， 204： 17-25.

[33] STRAHL J， PELTONEN J， MAMITSUKA H， et al. Scalable probabilistic matrix factorization with graph-based priors［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2020： 5851-5858.

[34] XU C H. A novel recommendation method based on social network using matrix factorization technique［J］. Information Processing and Management， 2018， 54（3）： 463-474.

[35] 王運，倪靜，馬剛. 基于FunkSVD矩陣分解和相似度矩陣的推薦算法［J］. 計算機應用與軟件， 2019， 36（12）：245-250.（WANG Y， NI J， MA G. Recommendation algorithm based on FunkSVD matrix decomposition and similarity matrix［J］. Computer Applications and Software， 2019， 36（12）：245-250.）

[36] DEEP K， THAKUR M. A new crossover operator for real coded genetic algorithms［J］. Applied Mathematics and Computation， 2007， 188（1）： 895-911.

[37] KOREN Y. Collaborative filtering with temporal dynamics［C］// Proceedings of the 15th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2009： 447-456.

[38] KOREN Y. Factor in the neighbors： scalable and accurate collaborative filtering［J］. ACM Transactions on Knowledge Discovery from Data， 2010， 4（1）： No.1.

[39] DE CAMPOS L M， FERNáNDEZ-LUNA J M， HUETE J F， et al. Combining content-based and collaborative recommendations： a hybrid approach based on Bayesian networks［J］. International Journal of Approximate Reasoning， 2010， 51（7）： 785-799.

[40] PAZZANI M J. A framework for collaborative， content-based and demographic filtering［J］. Artificial Intelligence Review， 1999， 13（5/6）： 393-408.

[41] ZHANG H， GE D C， ZHANG S Y. Hybrid recommendation system based on semantic interest community and trusted neighbors［J］. Multimedia Tools and Applications， 2018， 77（4）： 4187-4202.

[42] HUANG Z H， YU C， NI J， et al. An efficient hybrid recommendation model with deep neural networks［J］. IEEE Access， 2019， 7： 137900-137912.

[43] HU J J， LIU L Z， ZHANG C Y， et al. Hybrid recommendation algorithm based on latent factor model and PersonalRank［J］. Journal of Internet Technology， 2018， 19（3）： 919-926.

[44] CHEN S J， QIN Z， WILSON Z， et al. Improving recommendation quality in Google Drive［C］// Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery. New York： ACM， 2020： 2900-2908.

[45] SHAN Y， HOENS T R， JIAO J， et al. Deep crossing： web-scale modeling without manually crafted combinatorial features［C］// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2016： 255-262.

[46] HOENS T R， BLANTON M， STEELE A， et al. Reliable medical recommendation systems with patient privacy［J］. ACM Transactions on Intelligent Systems and Technology， 2010， 4（4）： No.67.

[47] FANG L J， KIM H， LeFEVRE K， et al. A privacy recommendation wizard for users of social networking sites［C］// Proceedings of the 17th ACM Conference on Computer and Communications Security. New York： ACM， 2010： 630-632.

[48] 蔣偉. 推薦系統若干關鍵技術研究［D］. 成都：電子科技大學， 2018： 10-20.（（JIANG W. Research on some key technologies of recommender systems［D］. Chengdu： University of Electronic Science and Technology of China， 2018： 10-20.）

[49] COVINGTON P， ADAMS J， SARGIN E. Deep neural networks for YouTube recommendations［C］// Proceedings of the 10th ACM Conference on Recommender Systems. New York： ACM， 2016： 191-198.

[50] CHENG H T， KOC L， HARMSEN J， et al. Wide & Deep learning for recommender systems［C］// Proceedings of the 1st Workshop on Deep Learning for Recommender Systems. New York： ACM， 2016： 7-10.

[51] XU X. Matrix factorization recommendation algorithm based on deep neural network［C］// Proceedings of the 2nd International Conference on Information Systems and Computer Aided Education. Piscataway： IEEE， 2019： 320-323.

[52] ZHANG L， LUO T， ZHANG F， et al. A recommendation model based on deep neural network［J］. IEEE Access， 2018， 6： 9454-9463.

[53] RUMELHART D E， HINTON G E， WILLIAMS R J. Learning representations by back-propagating errors［J］. Nature， 1986， 323（6088）： 533-536.

[54] OKURA S， TAGAMI Y， ONO S， et al. Embedding-based news recommendation for millions of users［C］// Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2017： 1933-1942.

[55] SUTSKEVER I， VINYALS O， LE Q V. Sequence to sequence learning with neural networks［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2014： 3104-3112.

[56] ZHANG Y， PEZESHKI M， BRAKEL P， et al. Towards end-to-end speech recognition with deep convolutional neural networks［C］// Proceedings of the InterSpeech 2016. ［S.l.］： International Speech Communication Association， 2016： 410-414.

[57] HOCHREITER S， SCHMIDHUBER J. Long short-term memory［J］. Neural Computation， 1997， 9（8）： 1735-1780.

[58] CUI Q， WU S， LIU Q， et al. MV-RNN： a multi-view recurrent neural network for sequential recommendation［J］. IEEE Transactions on Knowledge and Data Engineering， 2020， 32（2）： 317-331.

[59] HUANG J， ZHAO W X， DOU H j， et al. Improving sequential recommendation with knowledge-enhanced memory networks［C］// Proceedings of the 41st International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2018： 505-514.

[60] LIN Q K， NIU Y Q， ZHU Y F， et al. Heterogeneous knowledge-based attentive neural networks for short-term music recommendations［J］. IEEE Access， 2018， 6： 58990-59000.

[61] SONG W P， XIAO Z P， WANG Y F， et al. Session-based social recommendation via dynamic graph attention networks［C］// Proceedings of the 12th ACM International Conference on Web Search and Data Mining. New York： ACM， 2019： 555-563.

[62] 張昕，劉思遠，徐雁翎. 結合注意力機制的知識感知推薦算法［J/OL］. 計算機工程與應用. （2021-03-31）［2021-04-11］.https：//kns.cnki.net/kcms/detail/11.2127.TP.20210330.1708.026.html.（ZHANG X， LIU S Y， XU Y L. Knowledge-aware recommendation algorithm combined with attention mechanism［J/OL］. Computer Engineering and Applications. （2021-03-31）［2021-04-11］.https：//kns.cnki.net/kcms/detail/11.2127.TP.20210330.1708.026.html.）

[63] 任柯舟，彭甫镕，郭鑫，等. 動態融合社交信息的社會化推薦［J］. 計算機應用， 2021， 41（10）： 2806-2812.（REN K Z， PENG F R， GUO X， et al. Social recommendation based on dynamic integration of social information［J］. Journal of Computer Applications， 2021， 41（10）： 2806-2812.）

[64] LI Y， LIU T， JIANG J， et al. Hashtag recommendation with topical attention-based LSTM［C］// Proceedings of the 26th International Conference on Computational Linguistics： Technical Papers. ［S.l.］： The COLING 2016 Organizing Committee， 2016： 3019-3029.

[65] DEY K， SHRIVASTAVA R， KAUSHIK S. Topical stance detection for Twitter： a two-phase LSTM model using attention［C］// Proceedings of the 2018 European Conference on Information Retrieval. Cham： Springer， 2018： 529-536.

[66] WU Q T， ZHANG H R， GAO X F， et al. Dual graph attention networks for deep latent representation of multifaceted social effects in recommender systems［C］// Proceedings of the 2019 World Wide Web Conference. New York： ACM， 2019： 2091-2102.

[67] LeCUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition［J］. Proceedings of the IEEE， 1998， 86（11）： 2278-2324.

[68] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］. （2015-04-10）［2021-02-20］.https：//arxiv.org/pdf/1409.1556.pdf.

[69] HUANG G， LIU Z， MAATEN L van der， et al. Densely connected convolutional networks［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 4700-4708.

[70] OORD A van den， DIELEMAN S， SCHRAUWEN B. Deep content-based music recommendation［C］// Proceedings of the 26th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2013： 2643-2651.

[71] GENG X， ZHANG H W， BIAN J W， et al. Learning image and user features for recommendation in social networks［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015： 4274-4282.

[72] KIM D， PARK C， OH J， et al. Convolutional matrix factorization for document context-aware recommendation［C］// Proceedings of the 10th ACM Conference on Recommender Systems. New York： ACM， 2016： 233-240.

[73] GONG Y Y， ZHANG Q. Hashtag recommendation using attention-based convolutional neural network［C］// Proceedings of the 25th International Joint Conference on Artificial Intelligence. California： ijcai.org， 2016： 2782-2788.

[74] ZHANG Q， WANG J W， HUANG H R， et al. Hashtag recommendation for multimodal microblog using co-attention network［C］// Proceedings of the 26th International Joint Conference on Artificial Intelligence. California： ijcai.org， 2017： 3420-3426.

[75] 黃文明，衛萬成，張健，等. 基于注意力機制與評論文本深度模型的推薦方法［J］. 計算機工程， 2019， 45（9）：176-182.（HUANG W M， WEI W C， ZHANG J， et al. Recommendation method based on attention mechanism and review text deep model［J］. Computer Engineering， 2019， 45（9）： 176-182.）

[76] LI Z， SHEN X， JIAO Y H， et al. Hierarchical bipartite graph neural networks： towards large-scale e-commerce applications［C］// Proceedings of the IEEE 36th International Conference on Data Engineering. Piscataway： IEEE， 2020： 1677-1688.

[77] ZHANG M G， YANG Z Y. GACOforRec： session-based graph convolutional neural networks recommendation model［J］. IEEE Access， 2019， 7： 114077-114085.

[78] SHI X J， CHEN Z R， WANG H， et al. Convolutional LSTM network： a machine learning approach for precipitation nowcasting［C］// Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2015： 802-810.

[79] 王英博，孫永荻. 基于GNN的矩陣分解推薦算法［J］. 計算機工程與應用， 2021， 57（19）：129-134.（WANG Y B， SUN Y D. GNN-based matrix factorization recommendation algorithm［J］. Computer Engineering and Applications， 2021， 57（19）：129-134.）

[80] DENG S G， HUANG L T， XU G D， et al. On deep learning for trust-aware recommendations in social networks［J］. IEEE Transactions on Neural Networks and Learning Systems， 2017， 28（5）： 1164-1177.

[81] YANG J H， CHEN C M， WANG C J， et al. HOP-Rec： high-order proximity for implicit recommendation［C］// Proceedings of the 12th ACM Conference on Recommender Systems. New York： ACM， 2018： 140-144.

[82] LIN S D， RUNGER G C. GCRNN： group-constrained convolutional recurrent neural network［J］. IEEE Transactions on Neural Networks and Learning Systems， 2018， 29（10）： 4709-4718.

[83] 曹萬平，周剛，陳黎，等. 基于會話的圖卷積遞歸神經網絡推薦模型［J］. 四川大學學報（自然科學版）， 2021， 58（2）：66-72.（CAO W P， ZHOU G， CHEN L， et al. Session-based graph convolutional recurrent neural networks recommendation model［J］. Journal of Sichuan University （Natural Science Edition）， 2021， 58（2）：66-72.）

[84] 任俊偉，曾誠，肖絲雨，等. 基于會話的多粒度圖神經網絡推薦模型［J］. 計算機應用， 2021， 41（11）： 3164-3170.（REN J W， ZENG C， XIAO S Y， et al. Session-based recommendation model of multi-granular graph neural network［J］. Journal of Computer Applications， 2021， 41（11）： 3164-3170.）

[85] HARPER F M， KONSTAN J A. The MovieLens datasets： history and context［J］. ACM Transactions on Interactive Intelligent Systems， 2016， 5（4）： No.19.

[86] CHIA P H， PITSILIS G. Exploring the use of explicit trust links for filtering recommenders： a study on Epinions.com［J］. Journal of Information Processing， 2011， 19： 332-344.

[87] CANTADOR I， BRUSILOVSKY P， KUFLIK T. Second workshop on information heterogeneity and fusion in recommender systems （HetRec2011）［C］// Proceedings of the 5th ACM Conference on Recommender Systems. New York： ACM， 2011： 387-388.

[88] WU F Z， QIAO Y， CHEN J H， et al. MIND： a large-scale dataset for news recommendation［C］// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2020： 3597-3606.

[89] KRONMUELLER M， CHANG D J， HU H Q， et al. A graph database of Yelp Dataset Challenge 2018 and using cypher for basic statistics and graph pattern exploration［C］// Proceedings of the 2018 IEEE International Symposium on Signal Processing and Information Technology. Piscataway： IEEE， 2018： 135-140.

[90] ZHOU M， ZHANG C H， HAN X， et al. Knowledge graph completion for hyper-relational data［C］// Proceedings of the 2016 International Conference on Big Data Computing and Communications， LNISA 9784. Cham： Springer， 2016： 236-246.

[91] SHEN T C， JIA J， LI Y， et al. PEIA： personality and emotion integrated attentive model for music recommendation on social media platforms［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2020： 206-213.

[92] LIU C L， CHEN Y C. Background music recommendation based on latent factors and moods［J］. Knowledge-Based Systems， 2018， 159： 158-170.）

[93] WU C H， WU F Z， AN M X， et al. NPA： neural news recommendation with personalized attention［C］// Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2019： 2576-2584.

[94] AN M X， WU F Z， WU C H， et al. Neural news recommendation with long-and short-term user representations［C］// Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2019： 336-345.

[95] WANG X， HE X N， NIE L Q， et al. Item silk road： recommending items from information domains to social users［C］// Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2017： 185-194.

[96] KAZIENKO P， ADAMSKI M. AdROSA — adaptive personalization of web advertising［J］. Information Sciences， 2007， 177（11）： 2269-2295.

[97] YAO X Z， CHEN Y Y， LIAO R ， et al. Face based advertisement recommendation with deep learning： a case study［C］// Proceedings of the 2017 International Conference on Smart Computing and Communication， LNISA 10699. Cham： Springer， 2018： 96-102.

[98] WU S， REN W C， YU C C， et al. Personal recommendation using deep recurrent neural networks in NetEase［C］// Proceedings of the IEEE 32nd International Conference on Data Engineering. Piscataway： IEEE， 2016： 1218-1229.

[99] WU S， REN W C， YU C C， et al. Personal recommendation using deep recurrent neural networks in NetEase［C］// Proceedings of the IEEE 32nd International Conference on Data Engineering. Piscataway： IEEE， 2016： 1218-1229.

Review of recommendation system

YU Meng， HE Wentao， ZHOU Xuchuan*， CUI Mengtian， WU Keqi， ZHOU Wenjie

（（），610041，）

With the continuous development of network applications， network resources are growing exponentially and information overload is becoming increasingly serious， so how to efficiently obtain the resources that meet the user needs has become one of the problems that bothering people. Recommendation system can effectively filter mass information and recommend the resources that meet the users needs. The research status of the recommendation system was introduced in detail， including three traditional recommendation methods of content-based recommendation， collaborative filtering recommendation and hybrid recommendation， and the research progress of four common deep learning recommendation models based on Convolutional Neural Network （CNN）， Deep Neural Network （DNN）， Recurrent Neural Network （RNN） and Graph Neural Network （GNN） were analyzed in focus. The commonly used datasets in recommendation field were summarized， and the differences between the traditional recommendation algorithms and the deep learning-based recommendation algorithms were analyzed and compared. Finally， the representative recommendation models in practical applications were summarized， and the challenges and the future research directions of recommendation system were discussed.

recommendation algorithm; collaborative filtering; deep learning; Convolutional Neural Network (CNN); Deep Neural Network (DNN); Recurrent Neural Network (RNN); Graph Neural Network (GNN)

This work is partially supported by National Natural Science Foundation of China （12050410248）， Science and Technology Program of Sichuan Province （2021YFH0120）， Southwest Minzu University Graduate Innovative Research Project （CX2020SZ04）.

YU Meng， born in 1995， M. S. candidate. Her research interests include recommendation system， information filtering， data mining.

HE Wentao，born in 1996， M. S. candidate. His research interests include deep learning， data mining.

ZHOU Xuchuan， born in 1972， Ph. D.， professor. His research interests include data mining， deep learning.

CUI Mengtian， born in 1972， Ph. D.， professor. Her research interests include intelligent information processing.

WU Keqi， born in 1997， M. S. candidate. His research interests include recommendation system.

ZHOU Wenjie， born in 1997， M. S. candidate. His research interests include data mining.

TP391

A

1001-9081（2022）06-1898-16

10.11772/j.issn.1001-9081.2021040607

2021?04?19；

2021?07?14；

2021?07?20。

國家自然科學基金資助項目（12050410248）；四川省科技計劃項目（2021YFH0120）；西南民族大學研究生創新型科研項目（CX2020SZ04）。

于蒙（1995—），女，寧夏固原人，碩士研究生，CCF會員，主要研究方向：推薦系統、信息過濾、數據挖掘；何文濤（1996—），男，湖南永州人，碩士研究生，主要研究方向：深度學習、數據挖掘；周緒川（1972—），男，重慶人，教授，博士，CCF會員，主要研究方向：數據挖掘、深度學習；崔夢天（1972—），女，內蒙古烏蘭浩特人，教授，博士，主要研究方向：智能信息處理；吳克奇（1997—），男，湖北孝感人，碩士研究生，主要研究方向：推薦系統；周文杰（1997—），男，四川廣安人，碩士研究生，主要研究方向：數據挖掘。