推薦任務(wù)中知識圖譜嵌入應用研究綜述

田 萱，陳杭雪

1.北京林業(yè)大學 信息學院，北京100083

2.國家林業(yè)草原林業(yè)智能信息處理工程技術(shù)研究中心，北京100083

推薦算法的核心目標是滿足用戶個性化需求提供個性化推薦。當前推薦算法通常具有較差可解釋性、冷啟動問題和序列化推薦模型難以建模等局限性，目前許多研究者嘗試通過添加其他輔助信息來解決上述問題。其中，知識圖譜（knowledge graph，KG）蘊含豐富的結(jié)構(gòu)化知識和語義信息，已經(jīng)成為有效補充推薦數(shù)據(jù)的主要方式之一。常見的知識圖譜有Freebase、DBpedia、YAGO和NELL等。近年來隨著相關(guān)技術(shù)發(fā)展迅速，知識圖譜也被廣泛應用于不同的推薦應用中。

知識圖譜是由實體和關(guān)系組成的多關(guān)系圖，通常用三元組來表示。雖然三元組在結(jié)構(gòu)化數(shù)據(jù)表示上較為有效，但其潛在的符號特性通常使得知識圖譜較難真正融合到實際應用中。為解決該問題，知識圖譜嵌入（knowledge graph embedding，KGE）被提出，并在推薦系統(tǒng)中獲得大量關(guān)注。其核心思想是將知識圖譜中的實體和關(guān)系嵌入到連續(xù)空間中獲得相應的嵌入表示，并用于擴充推薦系統(tǒng)中項目和用戶語義表征。

在已有研究中，Wang 等曾系統(tǒng)回顧了知識圖譜嵌入技術(shù)，介紹了各種模型框架、訓練過程及優(yōu)缺點；秦川等對基于知識圖譜的推薦系統(tǒng)進行了梳理，將方法進行分類并總結(jié)了其在推薦中的應用；朱冬亮等將用于推薦的知識圖譜方法分為基于連接、基于嵌入和基于混合三類。與以往只關(guān)注知識圖譜單獨應用的研究工作相比，本文特色主要體現(xiàn)在將知識圖譜嵌入視為整個推薦過程中的上游任務(wù)，首先總結(jié)歸納出KGE 的四類應用目的，然后從推薦任務(wù)的多樣性角度出發(fā)全面綜述了KGE 與下游任務(wù)中不同算法的創(chuàng)新融合方式。

1 研究背景

1.1 推薦系統(tǒng)中常見任務(wù)

推薦系統(tǒng)中存在著推薦可解釋性差、冷啟動和用戶動態(tài)偏好難以建模等經(jīng)典問題。可解釋推薦（explainable recommendation）在輸出推薦列表的同時生成推薦結(jié)果解釋，旨在提高推薦結(jié)果的說服力、可信度和用戶滿意度；面對系統(tǒng)中新用戶或新項目交互數(shù)據(jù)稀疏性導致的冷啟動問題，近年來越來越多的研究者通過添加輔助信息緩解推薦數(shù)據(jù)的稀疏性；不同于傳統(tǒng)推薦系統(tǒng)以靜態(tài)的方式建模用戶和項目間的交互，序列化推薦（sequential recommendation）旨在將交互建模為動態(tài)序列進而挖掘更全面的用戶偏好。目前，通過嵌入KG 中包含的結(jié)構(gòu)化實體知識和豐富關(guān)系，或探索推薦產(chǎn)生的原因以生成更直觀和有針對性的解釋，或增強推薦數(shù)據(jù)的表示以緩解冷啟動問題，或建模動態(tài)且細粒度的用戶偏好以提升序列化推薦性能，KGE 應用逐漸成為推薦領(lǐng)域的研究焦點。因此本文重點分析梳理KGE 方法在上述推薦任務(wù)中的創(chuàng)新應用，深入探索其與下游方法的應用策略及特征。

1.2 知識圖譜嵌入方法應用

在充分調(diào)研近年來基于知識圖譜嵌入方法的推薦相關(guān)研究之后，將可解釋推薦、序列化推薦以及面向冷啟動的推薦任務(wù)中KGE 方法的應用目的歸納總結(jié)為以下四類：（1）增強項目或項目屬性的表示，利用KG 實體和關(guān)系信息豐富推薦系統(tǒng)中對應數(shù)據(jù)的表示。（2）增強用戶和項目關(guān)聯(lián)的表示，利用KG 蘊含的豐富語義增強數(shù)據(jù)表示并通過其高階鏈接探索用戶和項目的潛在交互。（3）豐富用戶交互信息，結(jié)合用戶-項目二部圖和知識圖譜生成協(xié)同知識圖譜（collaborative knowledge graph，CKG），利用KG 語義信息和高階結(jié)構(gòu)特征豐富用戶-項目交互信息。（4）增強特定領(lǐng)域的數(shù)據(jù)表示，構(gòu)造特定領(lǐng)域的知識圖譜以提升推薦過程中的數(shù)據(jù)表示質(zhì)量（如音樂推薦、新聞推薦等）。

事實上，KGE 在推薦過程中大都屬于上游任務(wù)，探索其與下游任務(wù)中不同方法的融合方式及應用特征是本文研究的創(chuàng)新和焦點所在。目前不同推薦任務(wù)中KGE 應用的下游任務(wù)方法涵蓋多個領(lǐng)域的先進模型，如馬爾可夫決策過程（Markov decision process，MDP）、長短期記憶神經(jīng)網(wǎng)絡(luò)（long short-term memory，LSTM）和卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）等。

不同于只關(guān)注知識圖譜單獨應用的已有研究工作，本文從KGE 方法自身的分類及其與下游任務(wù)中方法的創(chuàng)新融合兩個角度出發(fā)進行梳理歸納，綜述了知識圖譜在不同推薦任務(wù)的使用策略和應用特征。借鑒文獻[18]對知識圖譜方法的劃分標準，本文將KGE 方法進一步分為傳統(tǒng)嵌入方法、嵌入傳播方法、異質(zhì)圖嵌入和基于圖神經(jīng)網(wǎng)絡(luò)四類，圖1 展示了推薦任務(wù)中不同KGE 方法與下游應用方法的創(chuàng)新融合應用特征。

圖1 面向不同推薦任務(wù)中的KGE 方法及應用Fig.1 KGE method and application for different recommendation tasks

其中，傳統(tǒng)嵌入方法定義評分函數(shù)學習知識圖譜中實體和關(guān)系表示，可分為平移距離模型和語義匹配模型，常見方法有TransE、TransH、TransR和TransD。嵌入傳播方法則在其基礎(chǔ)上引入路徑推理建模實體間的多步關(guān)系路徑，通過實體間的高階連通性傳播相鄰節(jié)點語義以挖掘用戶潛在興趣，為提升推薦性能和可解釋性提供了新途徑。此外，在一些真實場景下構(gòu)建的知識圖譜是模式豐富的異質(zhì)圖，包含多類型實體和關(guān)系，嵌入異質(zhì)圖有助于發(fā)現(xiàn)隱含交互行為以全面刻畫用戶特征。圖神經(jīng)網(wǎng)絡(luò)（graph neural networks，GNN）可以有效整合KG 結(jié)構(gòu)特征及屬性特征，利用其強大的信息傳播能力學習項目間語義關(guān)系和用戶潛在偏好，主要包括圖卷積網(wǎng)絡(luò)（graph convolutional network，GCN）和圖注意力網(wǎng)絡(luò)（graph attention network，GAT）兩類方法。

綜上所述，四類知識圖譜嵌入方法在可解釋推薦、序列化推薦以及面向冷啟動的推薦任務(wù)中均有廣泛應用，涵蓋了電影、音樂、圖書、電子商務(wù)、商業(yè)以及新聞等不同領(lǐng)域。其中，電影推薦常用數(shù)據(jù)集有MovieLens 和DouBan Movie；音樂推薦有Last.FM；圖 書推薦包含Douban Book、Amazon Book、Book-Crossing 和Intent Book；電子商務(wù)推薦數(shù)據(jù)集主要來源于電商網(wǎng)站Amazon；商業(yè)推薦有Yelp 和Dianping-Food；新聞推薦有MIND、Bing News 和Adressa 等數(shù)據(jù)集。鑒于上述數(shù)據(jù)集在相關(guān)綜述文獻中已有詳細的介紹，本文將不再贅述。

2 可解釋推薦任務(wù)

KGE 方法通過增強項目語義或建模細粒度用戶偏好有助于提升推薦可解釋性，目前常用的方法包括傳統(tǒng)嵌入方法、嵌入傳播方法和基于圖神經(jīng)網(wǎng)絡(luò)的方法，本文將其概括如表1 所示。

2.1 傳統(tǒng)嵌入方法

TransE 作為最具代表性的平移距離模型，經(jīng)常被用于推薦系統(tǒng)中的知識圖譜嵌入以提升推薦可解釋性。Ai 等提出基于知識圖譜的協(xié)同過濾架構(gòu)（explainable collaborative filtering over knowledge graph，ECFKG），采用TransE 建模多類型用戶行為和項目屬性并將協(xié)同關(guān)系編碼為關(guān)系圖結(jié)構(gòu)，在其基礎(chǔ)上延伸協(xié)同過濾算法（collaborative filtering，CF）學習實體表示以挖掘潛在用戶偏好。進一步設(shè)計軟匹配算法尋找用戶到項目的解釋路徑，結(jié)合廣度優(yōu)先搜索和軟匹配公式計算路徑概率得到最佳路徑以生成推薦的自然語言解釋。Tian 等聯(lián)合知識剪枝和循環(huán)圖卷積設(shè)計推薦算法（knowledge pruning based recurrent graph convolutional network，Kopra），采用TransE 嵌入用戶點擊歷史新聞標題和摘要中包含的重要實體，并設(shè)計循環(huán)圖卷積網(wǎng)絡(luò)（recurrent graph convolution，RGC）聚合實體上下文信息構(gòu)建用戶興趣圖。RGC通過知識剪枝策略識別KG 中相關(guān)性高的實體進一步豐富和修正用戶興趣圖，從而推導出用戶的長期和短期偏好表示，更細粒度地提升了推薦的因果解釋。Zhang 等提出基于KG 的協(xié)同過濾算法（collaborative filtering with knowledge graph，CFKG），定義多類型的實體和關(guān)系描述用戶交互中的項目屬性和異質(zhì)關(guān)系并采用TransE 將其嵌入到連續(xù)向量空間中，進一步擴展協(xié)同過濾學習嵌入表示以挖掘潛在的用戶偏好，有效提升了推薦結(jié)果的可解釋性。

此外，還有研究者利用TransE增強新聞文檔表示和雙曲空間建模。Liu 等提出知識感知的新聞文檔表示增強模型（knowledge-aware representation enhancement model for news documents，KRED），如圖2 所示。KRED 首先采用TransE 嵌入知識圖譜并使用圖神經(jīng)網(wǎng)絡(luò)聚合實體鄰域信息，然后設(shè)計上下文嵌入層來標注實體的類別、位置和頻率等信息，最后基于注意力機制聚合得到的信息獲得增強后的新聞文檔表示。KRED 從多角度增強新聞文檔的表示，同時為提升推薦可解釋性提供了新思路。Ma 等提出在雙曲空間中建模KG 的方法Hyper-Know（knowledgeenhanced recommendation model in hyperbolic space），采用TransE 將知識圖譜映射到雙曲空間Poincaré Ball中建模實體之間的關(guān)系，并設(shè)計雙曲注意力網(wǎng)絡(luò)帶權(quán)聚合實體鄰域信息，通過衡量相鄰實體的相對重要性增強用戶偏好理解以提升推薦可解釋性。

圖2 KRED 模型的三個關(guān)鍵層Fig.2 Three key layers of KRED model

也有研究者采用TransH 實現(xiàn)可解釋推薦任務(wù)中的知識圖譜嵌入，避免了TransE建模一對多和多對多等復雜關(guān)系時性能較差的局限性。Cao等提出知識增強的用戶偏好模型（knowledge-enhanced translationbased user preference model，KTUP），由基于TransH的知識圖譜嵌入模塊和基于翻譯的用戶偏好模型組成，利用KG 豐富用戶偏好和項目表示，并通過聯(lián)合學習挖掘更細粒度的用戶偏好以提升推薦可解釋性。

2.2 嵌入傳播方法

知識圖譜中的路徑信息蘊含著實體間的高階鏈接語義，與傳統(tǒng)嵌入方法相結(jié)合可形成嵌入傳播方法，有助于挖掘細粒度的用戶偏好以提升推薦可解釋性。Ma 等提出RuleRec（jointly learning explainable rules for recommendation），基于KG 實體間路徑的鏈接關(guān)系抽取規(guī)則表示并推導出項目對間的規(guī)則集和規(guī)則權(quán)重，進一步結(jié)合用戶交互歷史生成推薦列表。RuleRec 基于規(guī)則集更好地理解用戶偏好，有效提升了推薦可解釋性。Palumbo 等提出entity2rec 模型，采用隨機游走策略構(gòu)建多個以項目屬性為中心的KG 子圖，使用node2vec學習其嵌入表示，通過加權(quán)屬性的多個相關(guān)性得分為推薦生成直觀的解釋。Wang 等提出了一種融合KG 嵌入和路徑挖掘的方法RippleNet，如圖3 所示。RippleNet 首先獲得與用戶點擊歷史中項目相對應的KG 多跳實體集，然后沿著KG 高階鏈接擴展實體以捕獲用戶潛在興趣偏好，為增強推薦可解釋性提供了新觀點。基于RippleNet偏好傳播的理念，Lin 等提出一種結(jié)合項目嵌入和路徑推理的方法（combine item embedding and path attention，CIEPA），基于KG 高階鏈接傳播實體嵌入，并在傳播過程中結(jié)合項目嵌入和路徑注意力權(quán)重捕獲細粒度的用戶偏好，使用LSTM 預測用戶對項目的潛在興趣。CIEPA 根據(jù)不同路徑的重要性程度推斷用戶交互原因，為推薦結(jié)果提供了可靠的解釋，并有效提升了計算性能和推薦精度。

圖3 RippleNet模型總體框架Fig.3 Overall framework of RippleNet

針對RippleNet傳播過程中大規(guī)模迭代運算產(chǎn)生的高計算成本問題，Wang 等則提出一個知識感知路徑遞歸網(wǎng)絡(luò)（knowledge-aware path recurrent network，KPRN）。基于KG 生成用戶-項目對的路徑表示，采用LSTM 生成路徑的語義表示并根據(jù)其重要性賦予權(quán)重，在細粒度上提升了推薦可解釋性。考慮到可解釋推薦中普遍存在的推薦不公平現(xiàn)象，F(xiàn)u 等提出一種公平性感知算法，利用KG 實體間的高階鏈接豐富用戶歷史交互，設(shè)計公平性感知排序框架學習用戶到項目的多個路徑表示，通過對其進行重排序獲得高質(zhì)量的可解釋推薦列表。模型在保證解釋多樣性的同時有效提升了推薦公平性。不同于以往利用KG 建立預測模型的研究，Wang 等創(chuàng)新性地提出基于KG 的網(wǎng)絡(luò)結(jié)構(gòu)（knowledge graph policy network，KGPolicy）探索可解釋推薦中的高質(zhì)量負樣本，設(shè)計鄰居注意力模塊和剪枝策略聯(lián)合學習KG 嵌入，利用KG 實體間的鏈接關(guān)系探索負樣本進而更準確地訓練模型，提升了推薦結(jié)果的可解釋性。

為了更高效挖掘KG 高階語義，研究者們提出基于強化學習設(shè)計路徑推理策略以提升推薦可解釋性。Xian 等提出基于KGE 的策略導向路徑推理方法（policy-guided path reasoning，PGPR），通過與KG環(huán)境交互探索用戶到潛在感興趣項目的最優(yōu)路徑推理策略，模型架構(gòu)如圖4 所示。PGPR 創(chuàng)新在于將推薦問題形式化為知識圖譜上的MDP 過程，并設(shè)計了獎勵機制、用戶動作修剪策略和多跳評分函數(shù)挖掘推薦候選項目及路徑。PGPR 首次采用基于KG 的強化學習方法實現(xiàn)可解釋推薦任務(wù)中的路徑推理，多個數(shù)據(jù)集上的指標均有顯著改進。

圖4 PGPR 模型實現(xiàn)推薦的傳遞途徑Fig.4 Pipeline of policy-guided path reasoning method for recommendation

基于PGPR將推薦過程形式為MDP的理念，Zhao等基于KGE 提出路徑推理框架ADAC（adversarial actor-critic）用于提升推薦可解釋性，利用抽取得到的元路徑自動識別可解釋的推理路徑，并聯(lián)合用戶歷史偏好優(yōu)化尋徑策略，其性能相比PGPR 有進一步提升。Tao 等提出多模態(tài)知識感知的強化學習網(wǎng)絡(luò)（multi-modal knowledge-aware reinforcement learning network，MKRLN），利用多模態(tài)KG 中包含的結(jié)構(gòu)和視覺信息生成推薦的路徑表示，實現(xiàn)在真實場景中進行可解釋的視覺推理和知識推理。相比KGPolicy 和PGPR 采用動作修剪策略以人為方式減少動作空間，MKRLN 設(shè)計分層注意路徑機制過濾無關(guān)項目，具有更高的效率和精度。Liu 等提出一種基于KG 的新聞推薦推理范式AnchorKG（anchor knowledge graph），基于知識圖譜為每篇新聞文章生成一個包含其關(guān)鍵實體和關(guān)系的主題感知子圖。其核心在于利用強化學習技術(shù)MDP 訓練子圖的生成過程，進而根據(jù)兩個子圖中的重疊實體和關(guān)系構(gòu)建新聞文章之間可解釋的推理路徑，有效提高了新聞文檔表示質(zhì)量和推薦效率。

2.3 基于圖神經(jīng)網(wǎng)絡(luò)

隨著深度學習技術(shù)的發(fā)展，圖神經(jīng)網(wǎng)絡(luò)被越來越多應用在基于知識圖譜的可解釋推薦中。Yang 等提出圖卷積網(wǎng)絡(luò)模型HAGERec（hierarchical attention graph convolutional network incorporating knowledge graph for explainable recommendation），基于GCN 設(shè)計雙向?qū)嶓w傳播策略學習KG 高階語義，通過分層注意力機制準確挖掘用戶潛在偏好提升推薦可解釋性，不同數(shù)據(jù)集上的實驗結(jié)果相比RippleNet 等基線都有顯著改進。Liu 等提出聯(lián)合因子發(fā)現(xiàn)和嵌入學習的可解釋推薦模型，梳理出嵌入表示的層次因子并融入到GCN 中，通過學習用戶和項目在不同層次上的特征表示增強推薦可解釋性。Cao 等則基于GCN 和知識圖譜提出一種描述增強的推薦方法（description enhanced knowledge graph recommendation，DEKR），采用KGNN（knowledge graph neural network）聚合實體的高階鄰域信息并結(jié)合文本協(xié)同過濾（text-based collaborative filtering，TextCF）增強實體的文本語義，利用文本描述為推薦提供了可靠的解釋。Zhang 等提出知識感知的圖卷積網(wǎng)絡(luò)（knowledge-aware representation graph convolutional network for recommendation，KCRec），根據(jù)KG 中各種關(guān)系的不同重要性聚合并傳播用戶特征和項目屬性，通過準確建模用戶的高階興趣提升了推薦結(jié)果的可解釋性。Xia 等則基于KG 提出分層圖轉(zhuǎn)換網(wǎng)絡(luò)（knowledge-enhanced hierarchical graph transformer network，KHGT），基于GCN 捕獲KG 中不同類型交互的高階語義，在其基礎(chǔ)上引入時間感知的上下文信息挖掘動態(tài)依賴關(guān)系，有助于理解用戶交互的原因。

Tai 等基于GNN 提出以用戶為中心的路徑推理網(wǎng)絡(luò)（user-centric path reasoning network，UCPR），引入MDP 建模用戶的動態(tài)需求指導KG 路徑推理，提升推薦性能的同時為用戶提供了多樣化的推薦解釋。Jia 等提出一種時間感知的異質(zhì)圖神經(jīng)網(wǎng)絡(luò)模型（temporal sensitive heterogeneous graph neural network，TSHGNN）。采用多通道卷積神經(jīng)網(wǎng)絡(luò)從新聞實體、實體類型和活動時間中提取新聞特征，結(jié)合Rein-LSTM 捕獲用戶點擊行為的序列特征，并使用GNN 編碼用戶和新聞的異質(zhì)信息生成用戶和候選新聞的特征表示。TSHGNN 從時間和空間兩個維度建模用戶和新聞的表示，顯著提升了推薦可解釋性。

事實上，知識圖譜中的不同節(jié)點具有不同重要性，因此有研究采用GAT 學習知識圖譜嵌入表示，通過為節(jié)點分配不同權(quán)重提升推薦可解釋性。Wang等提出知識圖譜注意力網(wǎng)絡(luò)（knowledge graph attention network，KGAT），如圖5 所示。KGAT 通過堆疊傳播層遞歸傳播節(jié)點的高階鄰域信息，并利用GAT學習傳播過程中鄰居的權(quán)值以探索不同高階連通的重要性。KGAT 以端到端的方式顯式地建模CKG 高階關(guān)系，為可解釋推薦提供了新思路。而KGAT 在整個知識圖譜上傳播信息，容易引入噪音，Sha等則提出基于注意力機制的知識圖譜嵌入模型（attentive knowledge graph embedding，AKGE）。AKGE 首先構(gòu)建用戶和項目的高階子圖并基于GAT 設(shè)計注意力圖神經(jīng)網(wǎng)絡(luò)學習子圖嵌入，通過關(guān)系感知傳播策略充分探索KG 高階語義，模型的推薦效率和精度相比KGAT 有顯著提升。

圖5 KGAT 模型架構(gòu)圖Fig.5 Illustration of KGAT model

Wang 等提出基于知識圖譜的意圖網(wǎng)絡(luò)（knowledge graph-based intent network，KGIN），將用戶交互行為建模為用戶意向圖，通過挖掘交互產(chǎn)生的原因提高推薦可解釋性。實現(xiàn)過程中，KGIN 利用注意力機制帶權(quán)聚合KG 實體和用戶多個意圖表示分別獲得項目和用戶的嵌入表示，通過建模不同類型關(guān)系的權(quán)重信息更細粒度地理解用戶行為，在提升推薦性能的同時為推薦結(jié)果提供了可靠解釋。

2.4 小結(jié)

進一步對面向可解釋推薦任務(wù)的KGE 應用方法進行歸納分析，可得到如圖6 所示的方法關(guān)聯(lián)圖。

圖6 面向可解釋推薦任務(wù)的KGE 應用方法關(guān)聯(lián)圖Fig.6 KGE application method association graph for explainable recommendation tasks

其中，CIEPA 和RuleRec 的推薦性能較RippleNet有顯著改進，CIEPA 通過優(yōu)化路徑權(quán)值降低了Ripple-Net 的計算開銷，Douban Book 數(shù)據(jù)集上的ACC 值提高了3.9 個百分點，RuleRec 在Amazon 數(shù)據(jù)集上的Recall 值較RippleNet 提升高達25.9 個百分點；PGPR引入強化學習方法MDP 進一步解決了RuleRec 僅適用于關(guān)系類型較少場景的局限性；ADAC 和UCPR 分別通過優(yōu)化尋徑策略和構(gòu)建路徑推理網(wǎng)絡(luò)有效降低了時間復雜度，相比PGPR 具有更快的推薦效率和收斂速度，ADAC 在Amazon 不同數(shù)據(jù)集上的Precision值較PGPR提升達6.6～14.6個百分點，UCPR在Movie-Lens 和Amazon Book 數(shù)據(jù)集上的Recall 值分別提升36.9 個百分點和73.0 個百分點。

KGAT 通過細化注意機制具有比RippleNet 更優(yōu)越的高階建模能力，在Yelp2018、Last.FM 和Amazon-Book 數(shù)據(jù)集上的Recall值分別提升7.2 個百分點、9.9個百分點和11.5 個百分點；AKGE 克服了KGAT 信息更新過程中易引入噪音的局限性，在三個數(shù)據(jù)集上的NDCG 值分別提升8.1 個百分點、5.7 個百分點和12.2 個百分點。Hyper-Know 解決了KGAT 難以建模實體層次結(jié)構(gòu)的不足，運行速度提升高達10 倍；KGPolicy提升模型表達能力的同時有效降低了KGAT的時間復雜度；KHGT 融合時間信息更充分地挖掘用戶動態(tài)偏好，相比KGAT 在Yelp 和MovieLens 數(shù)據(jù)集上的NDCG 值分別提升11.0 個百分點和16.1 個百分點。

MKRLN、DEKR、KGIN、CFKG、ECFKG 和KPRN 從不同角度建模用戶與項目間的復雜關(guān)系。其中，MKRLN 引入多模態(tài)信息提升了推薦精度，在電影和圖書數(shù)據(jù)集上的Precision 值相比CKE 分別提升了7.5 個百分點和79.8 個百分點；KPRN 在音樂數(shù)據(jù)集上的NDCG 值相比CKE 提升40.4～45.2 個百分點；KGIN 通過構(gòu)建意向圖更準確地探索用戶行為的產(chǎn)生原因，Amazon-Book 和Last.FM 數(shù)據(jù)集上的Recall 值相較于CKE 分別提升25.7 個百分點和33.6個百分點；CFKG 在Amazon 數(shù)據(jù)集上的Precision 值提升23.2～42.9個百分點。KTUP采用TransH替代TransE 學習用戶和項目間的復雜關(guān)系，相比CFKG 和ECFKG 在MovieLens和Douban Book數(shù)據(jù)集上的Precision 和Recall值提升22.8～39.3 個百分點；HAGERec則設(shè)計分層注意力機制提升了信息傳播策略的效率，進一步解決了KPRN 模型復雜性高和訓練時間長的局限性。

在新聞推薦領(lǐng)域，Kopra 通過構(gòu)建用戶長期和短期的興趣圖挖掘細粒度的用戶偏好，有效提升了預測精度，MIND 數(shù)據(jù)集上的AUC 和MRR 值相較于DKN 分別提升了7.5 個百分點和12.2 個百分點；TSHGNN 和KRED 強調(diào)了新聞內(nèi)容中實體的重要性，解決了Kopra 僅考慮新聞標題實體的局限性；然而模型的計算成本較高，AnchorKG 則利用MDP 構(gòu)建新聞主題感知的子圖進一步提升推薦效率，在MIND和Bing News 數(shù)據(jù)集上的Precision 值相比KRED 提升8.3～16.4 個百分點，且適用于大規(guī)模知識圖的實時新聞推薦服務(wù)。

3 冷啟動任務(wù)

冷啟動也是推薦過程中常見問題，通常分為項目冷啟動和用戶冷啟動。多數(shù)基于KGE 的研究方法主要從用戶或項目角度基于知識圖譜嵌入增強稀疏數(shù)據(jù)表示，獲得了較好效果。目前主要有傳統(tǒng)嵌入方法、異質(zhì)圖嵌入方法和基于圖神經(jīng)網(wǎng)絡(luò)方法三類，表2 總結(jié)了面向推薦冷啟動問題的KGE 方法及應用創(chuàng)新和特征。

3.1 傳統(tǒng)嵌入方法

TransH 作為常見的傳統(tǒng)KGE 方法，可用于增強推薦系統(tǒng)的項目表示，緩解推薦冷啟動問題。Cao等提出Web 服務(wù)推薦算法（knowledge-graph based Web service recommendation algorithm，KG-WSR），采用TransH 將Web 服務(wù)實體和用戶實體嵌入到低維空間中，利用KG 豐富信息增強Web 服務(wù)的語義表示，有效緩解了用戶交互數(shù)據(jù)稀疏和冷啟動問題。針對會話推薦中的項目冷啟動問題，Meng 等提出一種多任務(wù)學習模型MKM-SR（micro-behaviors and item knowledge into multi-task learning for session-based recommendation），模型框架如圖7 所示。MKM-SR首先從給定會話中抽取出項目序列和操作序列，然后利用TransH 嵌入KG 增強會話中項目的語義表示，并結(jié)合門控圖神經(jīng)網(wǎng)絡(luò)（gated graph neural network，GGNN）和門控循環(huán)神經(jīng)網(wǎng)絡(luò)（gated recurrent unit，GRU）學習用戶交互，在冷啟動場景中也具有較好的推薦性能。

圖7 MKM-SR 模型總體框架Fig.7 Overall framework of MKM-SR model

事實上一個實體往往具有多種關(guān)系，不同關(guān)系表示同一實體的多種特征，因此有研究者采用TransR 方法在實體和關(guān)系兩個不同空間中學習KG語義以增強數(shù)據(jù)的嵌入表征。Tang 等提出注意力增強知識感知的用戶偏好模型（attention-enhanced knowledge-aware user preference model，AKUPM），結(jié)合TransR 和注意力機制分別從實體內(nèi)和實體間兩方面增強實體語義，并利用實體交互信息探索用戶興趣，有效解決了用戶交互數(shù)據(jù)稀疏問題。Zhang 等提出協(xié)同知識庫嵌入模型（collaborative knowledge base embedding，CKE），采用TransR 嵌入KG 結(jié)構(gòu)化知識，并融合獲取到的文本嵌入表示和視覺嵌入表示從不同角度增強項目語義表示，并進一步聯(lián)合用戶隱式反饋緩解交互數(shù)據(jù)稀疏問題。Zhou 等提出分層協(xié)同嵌入模型（hierarchical collaborative embedding，HCE），采用TransR 嵌入KG 實現(xiàn)多關(guān)系數(shù)據(jù)的建模以增強項目表示，通過構(gòu)建協(xié)同學習框架豐富用戶交互的稀疏語義，提升了模型緩解冷啟動問題的有效性。

鑒于TransR 中過多參數(shù)導致計算量過大問題，有研究者采用TransD 嵌入知識圖譜。He 等提出一種電影推薦方法HI2Rec，基于數(shù)據(jù)集特征構(gòu)造三元組以擴充KG 信息，采用TransD 學習用戶和項目的嵌入表示，進而結(jié)合用戶協(xié)作信息增強用戶、項目及其屬性的向量表示以緩解冷啟動問題。Zhang 等面向App 應用推薦提出基于KG 的卷積嵌入傳播模型（knowledge graph convolutional embedding propagation model，KGEP），采用TransD 建模KG 實體和關(guān)系的一階結(jié)構(gòu)信息，并設(shè)計圖卷積網(wǎng)絡(luò)迭代聚合實體鄰域信息以捕獲其高階語義，有效緩解了用戶評分矩陣稀疏的問題。

除平移距離模型外，也有研究者在冷啟動任務(wù)中采用語義匹配模型學習KG 嵌入表示。Wang 等提出了一種多任務(wù)特征學習方法MKR（multi-task feature learning approach for knowledge graph enhanced recommendation），通過構(gòu)建深層語義匹配架構(gòu)學習KG 語義，并設(shè)計交叉壓縮單元實現(xiàn)與推薦系統(tǒng)的信息共享和交換，通過充分探索項目和實體間的高階交互緩解數(shù)據(jù)稀疏問題，在冷啟動場景下仍具有較好的推薦性能。

3.2 異質(zhì)圖嵌入

傳統(tǒng)KG 嵌入方法難以高效處理包含多種類型節(jié)點和鏈路的異質(zhì)信息，有研究者采用嵌入異質(zhì)圖的方法豐富數(shù)據(jù)表征解決推薦冷啟動。Shi 等提出一種基于異質(zhì)圖嵌入的推薦方法HERec（heterogeneous network embedding based approach），基于隨機游走策略生成異質(zhì)圖節(jié)點的嵌入表示并設(shè)計一組融合函數(shù)聚合節(jié)點的多個表示，進一步集成到擴展的矩陣分解模型中生成推薦結(jié)果。HERec 利用異質(zhì)圖豐富語義表征用戶和項目，有助于解決冷啟動問題。He 等提出HopRec，在HERec 基礎(chǔ)上考慮了用戶和項目間的特征交互信息，利用特征交互矩陣表示用戶和項目在不同維度上的潛在關(guān)系，推薦性能相比HERec 有進一步提升。Yan 等提出一種基于注意力感知元路徑的異質(zhì)圖嵌入方法（attention-aware metapath-based network embedding for HIN based recommendation，AMERec），如圖8 所示。AMERec 首先將異質(zhì)圖分解為不同元路徑的加權(quán)同構(gòu)網(wǎng)絡(luò)并采用隨機游走策略將其嵌入到低維向量空間中，然后設(shè)計自注意力機制聚合不同網(wǎng)絡(luò)中用戶和項目的表示，最后使用深度神經(jīng)網(wǎng)絡(luò)建模用戶和項目間的非線性關(guān)系和潛在語義，有效緩解了冷啟動問題。

圖8 AMERec模型框架圖Fig.8 Framework of AMERec model

異質(zhì)圖蘊含的豐富語義有助于挖掘隱含交互，有利于建模細粒度用戶偏好緩解推薦冷啟動。Wang等提出DisenHAN（disentangled heterogeneous graph attention network），通過對目標節(jié)點及其單跳鄰居分組捕獲用戶和項目的多方面語義，并堆疊多個嵌入傳播層探索高階語義以全面刻畫用戶特征，即便在冷啟動場景下也具有較好性能。還有研究者自建異質(zhì)圖滿足實際需求，Wang 等提出HIN-MRS（heterogeneous information network-based music recommendation system），構(gòu)建音樂異質(zhì)圖并根據(jù)用戶上下文信息定位用戶感興趣的音樂主題，對于播放列表空的用戶也能精準地推薦。Wang 等提出基于情感鏈接的異質(zhì)圖嵌入方法（signed heterogeneous information network embedding，SHINE），采用實體級情感提取方法得到用戶情感關(guān)系并設(shè)計編碼器聚合對應的用戶嵌入，最后采用相似性度量函數(shù)完成情感預測，在交互數(shù)據(jù)稀疏的場景下也具有較好的推薦性能。Gong 等面向醫(yī)學領(lǐng)域提出一種藥物推薦方法（safe medicine recommendation，SMR），橋接電子病歷MIMIC-III和醫(yī)學知識圖譜（ICD-9 Ontology和DrugBank）構(gòu)建醫(yī)學異質(zhì)圖，并基于LINE 模型編碼實體表示，實驗結(jié)果表明SMR 有助于捕獲冷啟動藥物和患者之間的潛在關(guān)聯(lián)，在冷啟動場景仍具有優(yōu)越性能。Wang 等提出面向領(lǐng)域的交互知識圖譜（domain-oriented user and service interaction knowledge graph，DUSKG），融合多類型的服務(wù)數(shù)據(jù)并擴展文本挖掘方法RAKE（rapid automtic keyword extraction algorithm），從中提煉出細粒度的用戶偏好信息，有效解決了用戶-服務(wù)交互矩陣稀疏的問題。

3.3 基于圖神經(jīng)網(wǎng)絡(luò)

越來越多的研究表明圖神經(jīng)網(wǎng)絡(luò)方法在解決推薦冷啟動問題上具有顯著的效果，其中GCN 的應用頗為廣泛。Wang 等提出知識圖譜卷積網(wǎng)絡(luò)（knowledge graph convolutional networks，KGCN），采用GCN 有偏差地聚合實體表示，并利用KG 高階鏈接探索用戶潛在興趣，有效緩解了用戶交互數(shù)據(jù)稀疏的問題，其性能相比RippleNet 有顯著提升。Zhou等面向交互式推薦提出知識圖譜增強學習框架（knowledge graph enhanced q-learning framework for interactive recommendation，KGQR），使用GCN 聚合實體鄰域表示以豐富項目和用戶狀態(tài)的表示，進一步采用強化學習方法（deep q-learning）在相關(guān)項之間傳播用戶興趣以建模用戶長期偏好，有效解決了用戶反饋稀疏的問題。Zhao 等面向會話推薦中提出知識圖譜增強的采樣方法（knowledge graphenhanced sampling，KGenSam），利用外部知識豐富交互環(huán)境的上下文信息，基于MDP 和GCN 設(shè)計采樣器分別對KG 中的模糊樣本和負樣本進行增強進而完成推薦。KGenSam 可靈活應用于冷啟動場景中，促進了會話推薦的商業(yè)化在線應用。

還有一些基于GCN 的方法從多角度、多方面增強實體語義表示，為解決推薦冷啟動問題提供了新思路。Zhou 等提出一種語義融合方法（KG-based semantic fusion，KGSF），其關(guān)鍵在于使用GCN 學習項目節(jié)點不同方面的嵌入表示，并通過互信息最大化融合面向詞和項目的兩個KG 語義空間聯(lián)合增強數(shù)據(jù)表示，從而準確推斷冷啟動設(shè)置中的用戶偏好。Tai 等基于GCN 提出多視圖項目網(wǎng)絡(luò)的架構(gòu)（multi-view item network，MVIN），分別從用戶視圖和實體視圖兩個角度充分探索用戶-實體交互和實體-實體交互。基于GCN 設(shè)計混合層從實體交互中挖掘更全面的特征，融合不同層中的實體表征緩解用戶-項目交互稀疏的問題。Zhao 等提出融入異質(zhì)信息的圖卷積框架（intent graph convolution，IntentGC），使用GCN 學習不同異質(zhì)關(guān)系的重要性以挖掘用戶偏好，通過堆疊卷積層迭代傳播實體的鄰域信息進而提取用戶和項目間的特征交互信息，為緩解冷啟動問題提供了新思路。

Lei 等提出知識圖譜增強的神經(jīng)協(xié)同推薦框架（knowledge graph enhanced neural collaborative recommendation，K-NCR），如圖9 所示。K-NCR 首先基于GCN 挖掘KG 高階語義，通過堆疊多個卷積層建模實體上下文信息。然后設(shè)計注意力網(wǎng)絡(luò)學習用戶交互項和候選項的權(quán)重信息，帶權(quán)聚合后得到用戶表示。最后將項目和用戶的表示輸入到神經(jīng)協(xié)同過濾模型（neural collaborative filtering，NCF）中學習其交互特征，輸出用戶對項目的潛在偏好。K-NCR 刺激用戶偏好在實體集上的傳播，解決了傳統(tǒng)NCF存在的冷啟動問題及其難以建模KG 高階連通性的局限性。Tu等提出一種知識感知的條件注意力網(wǎng)絡(luò)（knowledgeaware conditional attention networks，KCAN），結(jié) 合TransH 和GCN 捕獲實體的高階連通性，基于實體的注意力權(quán)重構(gòu)建相應子圖，并在傳播過程中將個性化信息融入到子圖中，能夠有效捕獲細粒度用戶偏好，在冷啟動場景中仍具有較好性能。

圖9 K-NCR 模型總體框架Fig.9 Overall framework of K-NCR model

此外，基于GAT 嵌入表示知識圖譜的研究在冷啟動任務(wù)中也受到了越來越多學者的關(guān)注。Chen等提出聯(lián)合非采樣方法的KG 學習模型（jointly nonsampling learning model，JNSKR），采用GAT 帶權(quán)聚合實體及其鄰域信息以建模細粒度用戶偏好，并聯(lián)合非采樣方法共同學習KG 嵌入表示，有效解決了用戶交互數(shù)據(jù)稀疏的問題，其推薦性能相比RippleNet和KGAT 等基線有顯著提升。Zhang 等基于KG提出注意力網(wǎng)絡(luò)KRAN（knowledge refining attention network），通過細化權(quán)重系數(shù)有針對性地聚集實體鄰域信息，多次聚合后增強重要鄰域信息并不斷剔除相關(guān)性較低的鄰域，可以較為有效解決項目冷啟動問題。Wang 等提出協(xié)同知識感知注意力網(wǎng)絡(luò)（collaborative knowledge-aware attentive network，CKAN），基于GAT 充分捕獲KG 高階語義以探索用戶潛在偏好，并結(jié)合協(xié)同傳播和KG 傳播增強用戶和項目的嵌入表示，在冷啟動場景下具有較好推薦性能。此外，還有研究者創(chuàng)新性使用GAT 整合多模態(tài)信息緩解冷啟動問題，Sun 等提出多模態(tài)KG 注意網(wǎng)絡(luò)（multimodal knowledge graph attention network，MKGAT），使用GAT 整合知識圖譜的結(jié)構(gòu)知識、圖像和文本等多模態(tài)信息以增強實體的嵌入表示，其推薦性能相比KGAT 等基線具有顯著改進。

圖神經(jīng)網(wǎng)絡(luò)還可以結(jié)合其他一些方法緩解冷啟動問題，如門控循環(huán)單元、標簽平滑正則化和異質(zhì)信息等。Lee 等提出基于知識圖譜嵌入的新聞文檔表示增強方法（topic-enriched knowledge graph recommendation system，TEKGR），基于雙向門控循環(huán)單元（bidirectional gated recurrent units，Bi-GRU）和GNN設(shè)計詞級和知識級新聞編碼器聯(lián)合學習新聞表示，從語義層和知識層兩個角度增強新聞文檔表示。TEKGR 利用KG 豐富語義挖掘?qū)嶓w間的主題關(guān)系和上下文特征提高新聞建模的準確度，有助于解決冷啟動問題。Wang 等提出基于標簽平滑正則化的知識感知方法（knowledge-aware graph neural networks with label smoothness regularization，KGNN-LS），然后結(jié)合GNN 和標簽平滑正則化方法傳播KG 實體特征和標簽信息，充分學習用戶個性化偏好以緩解冷啟動問題，不同數(shù)據(jù)集下的推薦性能都優(yōu)于RippleNet。受KGNN-LS 的啟發(fā)，Togashi 等提出KGPL（KG-aware recommender based on GNNs and pseudo-labelling），采用GNN 將知識圖譜中有標簽節(jié)點的特征傳播到未標簽的節(jié)點，基于偽標簽的半監(jiān)督式學習方法預測樣本標簽，通過增加樣本的標簽緩解冷啟動問題，推薦性能相比KGNN-LS 有進一步提升。Long 等提出自監(jiān)督元圖信息網(wǎng)絡(luò)（self-supervised metagraph informax network，SMIN），設(shè)計異質(zhì)圖神經(jīng)網(wǎng)絡(luò)聚合不同類型關(guān)系的特征嵌入，并將聚合結(jié)果輸入到自監(jiān)督互信息學習范式中建模用戶-項目的高階連通性。SMIN 聯(lián)合社交網(wǎng)絡(luò)和KG 信息從多方面挖掘細粒度用戶偏好，有助于緩解冷啟動問題。

3.4 小結(jié)

進一步從推薦性能、模型可擴展性等角度出發(fā)挖掘面向推薦冷啟動任務(wù)的KGE 應用方法間的關(guān)聯(lián)性，可以得到如圖10 所示的方法關(guān)聯(lián)圖。

圖10 面向推薦冷啟動任務(wù)的KGE 應用方法關(guān)聯(lián)圖Fig.10 KGE application method association graph for cold start task

其中，HCE、HERec 和AKUPM 分別通過構(gòu)建協(xié)同學習框架、挖掘異質(zhì)信息和設(shè)計注意力機制提升推薦性能，相較于CKE 推薦精度提升顯著，AKUPM在MovieLens 和Book-Crossing 數(shù)據(jù)集上的CTR 預測精度提升達15.9 個百分點和36.3 個百分點；KGEP 則通過設(shè)計圖卷積網(wǎng)絡(luò)彌補了HCE 難以探索KG 高階語義的局限性；HopRec、AMERec 和SMIN 采用不同策略挖掘異質(zhì)圖的深層語義，相比HERec 具有更優(yōu)越的性能，HopRec 在Yelp 和Douban Book 數(shù)據(jù)集上的推薦性能相比HERec 有2.9～6.1 個百分點的提升，AMERec 有1.2～7.9 個百分點的提升；MKR 則通過構(gòu)建深層語義匹配架構(gòu)進一步解決了AKUPM 難以建模高階連通性的不足。

MKGAT、JNSKR 和KCAN 從不同角度提升信息處理效率，相比CKE 和KGAT 具有更高的推薦性能和精度，MKGAT 在MovieLens 和Dianping 數(shù)據(jù)集上的改進達3.1～10.1個百分點，JNSKR 和KCAN 在Yelp數(shù)據(jù)集上的改進分別為7.3～13.1個百分點和1.6～9.8個百分點。KGCN 和KGNN-LS 相比CKE 和RippleNet具有更好的泛化能力和可擴展性；K-NCR 和MVIN解決了KGCN 難以充分挖掘?qū)嶓w間復雜交互特征的局限性，在Last.FM 數(shù)據(jù)集上的AUC 值分別提升了3.0個百分點和5.0 個百分點；KRAN 通過細化權(quán)重系數(shù)有效提升了推薦性能，在不同數(shù)據(jù)集上的AUC 和F1 值相比KGCN 都有改進，且KRAN 具有更好的可擴展性；CKAN 和KGPL 采用不同策略進一步提升了模型的穩(wěn)定性和靈活度，相較于KGNN-LS在Last.FM和Book-Crossing數(shù)據(jù)集上的性能指標都有顯著提升。

4 序列化推薦任務(wù)

KGE 方法除了用于提升推薦可解釋性和增強冷啟動任務(wù)中的數(shù)據(jù)表示之外，其在學習序列化數(shù)據(jù)方面也具有優(yōu)越性能，有助于捕捉動態(tài)變化的用戶偏好。和解決推薦冷啟動問題類似，面向序列化推薦任務(wù)中的常用方法包括傳統(tǒng)嵌入、異質(zhì)圖嵌入和基于圖神經(jīng)網(wǎng)絡(luò)的方法，方法的應用創(chuàng)新及特征對比如表3 所示。

4.1 傳統(tǒng)嵌入方法

TransE 作為一種常見的KGE 方法，在序列推薦任務(wù)中的應用也十分廣泛。Huang 等提出知識增強的序列化推薦模型（knowledge-enhanced sequential recommender，KSR），在TransE 基礎(chǔ)上結(jié)合循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural networks，RNN）和鍵值對記憶網(wǎng)絡(luò)（key-value memory networks，KV-MN）建模用戶的序列化偏好和基于項目屬性的偏好，融合兩者得到細粒度的用戶偏好表示，有效提升了序列化推薦精度。Wang等進一步對模型改進提出一種會話推薦算法，使用GNN 替代RNN 捕獲交互序列中項目的復雜轉(zhuǎn)換，其推薦性能相較于KSR 有提升。算法另一創(chuàng)新點還在于將分離的會話序列建模為會話圖，并使用TransE 和KV-MN 獲得基于KG 語義的用戶偏好，然后將其與GNN 建模得到的用戶序列化偏好拼接成最終的用戶偏好表示。Wang等針對推薦過程中動態(tài)變化的用戶需求提出時間感知模型Chorus，采用TransE 嵌入項目和項目間的關(guān)系，并將其與交互序列、交互時間差等融合，進一步設(shè)計出時間核函數(shù)建模項目在不同序列中的動態(tài)語義，提升了推薦效果。Liu 等結(jié)合注意力機制和動態(tài)卷積網(wǎng)絡(luò)，提出一種知識感知的序列化推薦算法（knowledge-aware sequential recommender with the attention-enhanced dynamic convolutional network，KAeDCN），如圖11 所示。KAeDCN 使用TransE 獲得項目的屬性級信息，設(shè)計特征增強模塊從不同維度挖掘項目語義，進一步將其輸入到動態(tài)卷積網(wǎng)絡(luò)中捕獲其動態(tài)依賴關(guān)系。KAeDCN 能夠準確挖掘項目之間的動態(tài)依賴關(guān)系，提高了序列依賴性的可提取性。

圖11 KAeDCN 模型框架Fig.11 Framework of KAeDCN model

Wang 等提出一種基于知識圖譜嵌入的強化學習模型（knowledge-guided reinforcement learning model，KERL），核心在于將序列化推薦形式化為MDP過程。利用TransE 和GRU 分別從知識圖譜和交互序列中獲取項目知識級和序列級的表示，從而準確地預測用戶偏好和行為。Chowdhury 等則將基于TransE 得到的KG 嵌入表示進一步集成到神經(jīng)因子分解模型（neural factorization，NF）中捕捉實體間的復雜關(guān)系，并設(shè)計帶注意力機制的LSTM 學習用戶的歷史行為以建模用戶序列化偏好，實驗表明模型在預測用戶行為上具有較好性能。

還有研究者采用TransR 和TransH 方法替代TransE，避免了無法充分建模復雜關(guān)系的局限性。Wang 等基于知識圖譜推薦提出多步關(guān)系路徑語義的獲取方法（multiple-step relation path semantics for knowledge graph based recommendations，MRP2Rec），結(jié)合TransR 和LSTM 學習協(xié)同知識圖譜中關(guān)系路徑的高階語義，并根據(jù)多關(guān)系路徑提取用戶和項目的表示，MRP2Rec 通過學習用戶行為特征提升了序列化推薦的精度。文獻[66]提出的MKM-SR利用TransH嵌入KG 增強項目語義表示，在其基礎(chǔ)上結(jié)合GGNN和GRU 學習用戶序列化偏好，進一步將其輸入到多任務(wù)學習范式（multi-task learning，MTL）中預測用戶交互，模型在緩解冷啟動問題的同時有效提升了序列化推薦性能。

4.2 異質(zhì)圖嵌入

還有研究者采用異質(zhì)圖嵌入方法增強序列信息表示用于提升推薦精度。文獻[73]提出的HERec 方法，采用隨機游走方式學習包含用戶、項目和項目屬性的異質(zhì)圖嵌入表示，并將其集成到擴展的矩陣分解模型中完成推薦點擊預測，提升了推薦效果。文獻[74]在HERec 基礎(chǔ)上提出HopRec，將用戶和項目的嵌入表示進行外積（outer product）操作獲得二維特征交互矩陣（feature interaction matrix）以挖掘用戶和項目在不同維度上的潛在關(guān)系，進一步提升序列化推薦性能。然而當用戶和項目數(shù)據(jù)較為稠密時，該模型容易出現(xiàn)過擬合現(xiàn)象。

Xiong 等提出基于異質(zhì)圖嵌入的概率生成模型（heterogeneous information based LDA，HI-LDA），結(jié)合基于位置和通信兩大社交網(wǎng)絡(luò)上的多種異質(zhì)信息聯(lián)合建模用戶交互行為，基于MCMC（Markov chain Monte Carlo）方法生成用戶興趣點分布序列提升推薦效果。在醫(yī)學領(lǐng)域中，文獻[78]提出通過構(gòu)建醫(yī)學異質(zhì)圖充分學習患者、疾病和藥物間的潛在聯(lián)系，分析患者患病和服藥的時序關(guān)系，實現(xiàn)藥物對患者的鏈接預測，提升了藥物推薦精度。

4.3 基于圖神經(jīng)網(wǎng)絡(luò)

除上述方法外，還有研究者采用GNN 探索KG語義以提升序列化推薦性能。Wang 等面向新聞推薦提出深度知識感知網(wǎng)絡(luò)（deep knowledge-aware network，DKN），設(shè)計卷積神經(jīng)網(wǎng)絡(luò)融合新聞?wù)Z義層和知識層信息，從而得到用戶歷史點擊序列和候選新聞的嵌入表示，最終聚合這些新聞表示獲得用戶偏好，推薦性能提升顯著。然而DKN 建模候選新聞時忽略了對目標用戶的考慮，不利于候選新聞和用戶興趣的匹配。Qi 等則提出知識感知的交互匹配方法（knowledge-aware interactive matching，KIM），通過交互學習歷史點擊新聞和候選新聞的知識感知表示提高用戶點擊候選新聞的預測精度，如圖12 所示為模型整體架構(gòu)和知識感知的新聞協(xié)同編碼器設(shè)計。KIM 采用GAT 獲得候選新聞和用戶歷史點擊序列的知識表示，并結(jié)合CNN獲得基于文本語義的新聞表示，對得到的兩種新聞表示進行交互式學習最終獲得針對候選新聞的用戶偏好表示和用戶感知的候選新聞表示，從而完成興趣匹配。多個新聞數(shù)據(jù)集上的實驗結(jié)果表明，KIM 相比KRED 和DKN 等新聞推薦算法均有較好改進。

圖12 KIM 模型總體框架和知識感知的新聞協(xié)同編碼器Fig.12 Overall framework of KIM and knowledge-aware news co-encoder

4.4 小結(jié)

進一步對面向序列化推薦任務(wù)的KGE 應用方法間的相關(guān)性進行歸納分析，可以得到如圖13 所示的方法關(guān)聯(lián)圖。

圖13 面向序列化推薦任務(wù)的KGE 應用方法關(guān)聯(lián)圖Fig.13 KGE application method association graph for serialization recommendation task

KSR 結(jié)合RNN 和KV-MV 構(gòu)建序列化推薦框架，有助于挖掘動態(tài)的用戶偏好，然而模型存在復雜性高、擴展性差和難以建模項目間復雜關(guān)系等局限性。文獻[101]使用GNN 替代RNN 建模用戶興趣偏好，降低計算時間復雜度的同時提升了模型可擴展性，不同數(shù)據(jù)集上的Recall值有2.6～6.3個百分點的提升；KERL利用MDP 構(gòu)建強化學習模型，相比KSR 有效提升了對項目復雜關(guān)系的建模能力，Amazon 和Last.FM 數(shù)據(jù)集上的NDCG值提升達2.2～5.8個百分點；KAeDCN則通過設(shè)計動態(tài)卷積網(wǎng)絡(luò)挖掘動態(tài)變化的用戶偏好，進一步提升了模型的收斂速度和泛化性能。

Chorus 在建模實體和關(guān)系時融合了時間信息，相較于DKN 能夠更準確地捕獲項目的動態(tài)語義；MRP2Rec 則基于多步關(guān)系路徑語義挖掘用戶的行為特征，在MovieLens和Book-Crossing數(shù)據(jù)集上的ACC值相較于DKN 分別提升了44.3 個百分點和13.8 個百分點。在新聞推薦領(lǐng)域，KIM 通過交互式學習提升推薦精度，相比獨立建模候選新聞和用戶興趣的方法具有更高的匹配度，在MIND 數(shù)據(jù)集上的AUC 值提升了4.8 個百分點。

5 未來發(fā)展方向

近年來推薦研究領(lǐng)域已有大量基于知識圖譜嵌入研究工作，本文對知識圖譜嵌入在不同推薦任務(wù)中的應用研究進行了系統(tǒng)綜述。下面對未來該領(lǐng)域值得關(guān)注的幾個發(fā)展方向進行展望。

（1）基于圖神經(jīng)網(wǎng)絡(luò)增強知識圖譜嵌入。圖神經(jīng)網(wǎng)絡(luò)通過聚合圖中相鄰節(jié)點增強語義表示能夠充分捕獲圖數(shù)據(jù)的結(jié)構(gòu)依賴性，特別適合實現(xiàn)不同類型KG 的嵌入學習，已被廣泛應用于可解釋推薦和面向冷啟動的推薦任務(wù)中。此外，還可以探討結(jié)合其他類型圖神經(jīng)網(wǎng)絡(luò)方法的應用，如圖自編碼器（graph autoencoders，GAE）、圖生成網(wǎng)絡(luò)（graph generative networks，GGN）以及圖時空網(wǎng)絡(luò)（graph spatial-temporal networks，GSTN）等，進一步從模型變體及模型混合兩個角度建模空間和時間依賴性或生成可信的補充知識以增強知識圖譜的嵌入效果。事實上，知識圖譜可以看作一種特殊的異質(zhì)圖，將圖神經(jīng)網(wǎng)絡(luò)和異質(zhì)圖表示學習研究相結(jié)合，研究如何借鑒異質(zhì)圖表示學習方法挖掘節(jié)點和邊的語義，如何從多個維度融合節(jié)點表示提升知識圖譜嵌入效果也具有研究意義。在此基礎(chǔ)上，可以進一步深入探索其在序列化推薦任務(wù)中的應用。

（2）借鑒多領(lǐng)域方法探索推薦任務(wù)中的知識圖譜語義應用。在不同推薦任務(wù)中，知識圖譜嵌入實現(xiàn)大都屬于上游工作，緊隨其后的下游工作應用模型包括MDP、KV-MN、LSTM、GRU、CNN 和協(xié)同過濾等多領(lǐng)域方法，其融合應用在增強推薦可解釋性、緩解冷啟動問題以及提升序列化推薦精度上都有較好效果。顯然，在下游工作中還有待開采不同領(lǐng)域算法以增強知識圖譜嵌入在推薦任務(wù)中的應用效果。因此可以在下游工作中進一步探索深度學習、網(wǎng)絡(luò)表示學習和圖學習以及多模態(tài)學習等不同領(lǐng)域算法與KGE 的融合方式，探索其在不同推薦任務(wù)中的應用。比如文獻[74]基于矩陣分解和隨機游走的圖學習方法捕獲KG 實體不同維度上的潛在關(guān)聯(lián)進而緩解冷啟動問題；文獻[111-112]基于網(wǎng)絡(luò)表示學習方法更全面地挖掘知識圖譜的高階語義信息，有助于提升序列化推薦精度。綜上所述，推薦任務(wù)中的知識圖譜嵌入與其他領(lǐng)域算法的創(chuàng)新融合方式及應用具有一定研究價值。

（3）多元數(shù)據(jù)融合提升知識圖譜嵌入應用效果。在知識圖譜嵌入基礎(chǔ)上融合其他類型數(shù)據(jù)可以從不同角度增強推薦任務(wù)中的項目和用戶嵌入表示，在可解釋推薦和面向冷啟動的推薦任務(wù)中有較好的應用效果。例如，融合不同類型數(shù)據(jù)實現(xiàn)多模態(tài)知識圖譜（multi-modal knowledge graph，MKG）的嵌入應用，融合時間戳信息和關(guān)系時效性實現(xiàn)動態(tài)知識圖譜的嵌入應用，在知識圖譜外部增設(shè)其他種類數(shù)據(jù)構(gòu)建多層次的項目或用戶表示等。其中，多模態(tài)知識圖譜融合語義知識圖譜和豐富的文本、圖像和多媒體等模態(tài)數(shù)據(jù)，具有更全面的關(guān)系類型和關(guān)系數(shù)量，可以為知識表示學習和解釋推薦產(chǎn)生的原因提供視覺和文本支撐。此外，動態(tài)知識圖譜融合時間戳信息學習實體的動態(tài)演化規(guī)律，從時間和空間維度增強實體的語義表示，有助于在推薦任務(wù)中挖掘關(guān)系時效性并提升推薦可解釋性，可以根據(jù)實體的動態(tài)演化規(guī)律進一步探索其序列化特征；與嵌入應用多模態(tài)知識圖譜不同，可以在知識圖譜外部增設(shè)其他類型數(shù)據(jù)，從結(jié)構(gòu)化KG 知識、文本和其他多模態(tài)信息等不同角度建模多層次的用戶或項目嵌入表示。

6 總結(jié)

知識圖譜嵌入有助于解決推薦任務(wù)中存在的可解釋性差、冷啟動問題和序列化推薦建模等問題，在提升推薦系統(tǒng)性能上具有顯著效果，目前已被廣泛應用于各類推薦任務(wù)中。本文在充分調(diào)研近年來該領(lǐng)域的相關(guān)研究之后，簡單回顧了應用KGE 方法的常見推薦任務(wù)，歸納總結(jié)出作為上游任務(wù)的KGE 方法應用目的及類別，然后進一步對其與下游任務(wù)中其他方法的創(chuàng)新融合策略及應用特征進行系統(tǒng)性總結(jié)和介紹。最后展望了未來該研究的發(fā)展趨勢，提出了幾個值得關(guān)注的發(fā)展方向，希望這篇文章可以為該領(lǐng)域的發(fā)展提供新的見解，促進該領(lǐng)域的持續(xù)發(fā)展和進步。