融合語義特征和知識特征的推薦模型

鄭 光，朱 越，時 雷，馬新明，席 磊+

(1.河南農業大學 信息與管理科學學院，河南 鄭州 450046；2.河南農業大學 農田環境監測與控制技術河南省工程實驗室，河南 鄭州 450002)

0 引 言

推薦方法[1-3]可分為基于協同過濾的推薦方法[4，5]、基于內容的推薦方法[6]及混合推薦方法[7，8]。其中應用最廣泛的是協同過濾推薦方法，然而協同過濾過度依賴于用戶交互數據，當存在數據稀疏性問題時，該方法的準確性較低[9]。

為了緩解傳統推薦方法中出現的問題，研究者們將用戶的社交關系、物品屬性和知識圖譜等作為輔助信息引入。為了對輔助信息中蘊含的大量與用戶偏好相關的數據進行特征提取，研究者們通常使用深度學習技術對其進行挖掘以提升推薦性能[10]。將知識圖譜作為輔助信息引入推薦領域已成為當前的研究熱點。知識圖譜中蘊含的知識信息能夠在一定程度上緩解數據稀疏性問題并增強推薦結果的可解釋性。

圍繞上述背景，本文將知識圖譜引入推薦模型，提出一種融合語義特征和知識特征的推薦模型，借助知識圖譜對用戶興趣進行有效擴展，將知識圖譜中的語義特征與知識特征融合以獲得更準確的用戶興趣偏好；利用知識圖譜中的網絡結構，依據“偏好擴散”思想[11]獲取用戶偏好擴散集，使用門控循環單元結合注意力機制挖掘用戶深層興趣。

1 相關工作

1.1 知識圖譜

知識圖譜本質上是一種語義網絡，能夠對知識進行結構化的描述[12]。知識圖譜已經成為當下的研究熱點，知識圖譜對互聯網中的信息進行結構化的組織將其表示為易于理解的知識形式，推動信息檢索領域的發展進程，使得傳統的數據服務更新為智能化知識服務。近年來，將知識圖譜應用于推薦領域的熱度也不斷上升，研究者們將知識圖譜引入并基于此捕獲用戶潛在興趣，提升推薦系統性能。知識圖譜中包含的大量實體集信息，可被應用于推薦系統中。例如，在知識圖譜中三元組(Bullets Over Broadway，director，Woody Allen)表示Bullets Over Broadway的導演是Woody Allen。在推薦的實際應用場景下，Woody Allen同時導演了Zelig和Hollywood Ending等電影，因此認為電影Bullets Over Broadway和Zelig、Hollywood Ending之間存在一定的關聯性，觀看Bullets Over Broadway的用戶可能會因為喜歡導演而喜歡該導演的其它電影。推薦模型可以借助知識圖譜中的實體間關系對用戶潛在興趣進行合理拓展，也能夠為推薦結果的原因闡述提供幫助，完善了推薦結果的可解釋性。

1.2 知識圖譜與推薦系統

基于知識圖譜的推薦方法可分為兩類，包括基于路徑的方法和基于特征學習的方法[13]。

(1)基于路徑的方法[14]依托于知識圖譜中的鏈路連接進行知識擴展，為推薦系統提供輔助信息。文獻[15]提出一種循環知識圖譜嵌入方法，使用循環神經網絡對知識圖譜中實體間的路徑進行建模，從而學習實體關系中蘊含的信息。文獻[16]將推薦問題視為馬爾科夫決策過程，使用強化學習搜索用戶-項目間的合理路徑，為用戶生成具有可解釋性的推薦結果。文獻[17]基于實體與關系的語義構建路徑序列表示，基于該路徑序列對用戶偏好進行有效推理。以上方法的優點是能夠直觀地捕獲知識圖譜的網絡結構，缺點是高度依賴預定義的元路徑或元圖且參數調優操作較為繁瑣，并且該方法通常需要掌握大量領域知識進行預定義工作且提取完整路徑的難度較大。

(2)基于特征學習的方法[18]使用知識圖譜嵌入技術對知識圖譜中的實體進行預處理生成低維度的嵌入向量，使用該嵌入向量豐富用戶或項目的表示。文獻[19]對新聞項目進行多層級特征挖掘后融合注意力機制獲取用戶特征表示，從而捕捉用戶動態興趣偏好。文獻[20]構建了用戶-項目知識圖譜，將不同用戶行為定義為關系類型，使用平移距離模型TransE將知識圖譜中的實體和關系投影為低維向量，基于向量間距離進行相似度評估，基于協同過濾為用戶推薦可能感興趣的項目。文獻[21]使用一種聯合學習訓練方法，將知識圖譜嵌入模塊和推薦模塊通過所設計的交叉壓縮單元進行關聯并聯合訓練，并基于該交叉壓縮單元進行知識傳遞，從而彌補自身信息稀疏性的問題，達到改善推薦系統性能的目的。文獻[22]使用語義匹配模型DistMult捕獲關系語義，基于注意力機制進行關系類型和關系權重兩個層面的用戶興趣偏好建模，經過聯合學習生成推薦結果。

將知識圖譜作為推薦系統中的輔助信息具有以下優勢，知識圖譜中豐富的語義信息有助于挖掘用戶和項目之間的潛在聯系，構建更精準的用戶興趣模型，提高推薦結果的準確性[23]；借助知識圖譜中的關系鏈路可以對用戶潛在興趣進行合理擴展，為用戶提供多樣化的信息，避免推薦結果的同質化；知識圖譜可以作為用戶歷史交互信息與候選推薦項目之間的橋梁，為推薦結果提供可解釋性，有助于提高推薦性能，優化用戶體驗。

2 模型設計

2.1 問題定義

在傳統的推薦模型中，使用U={u1，u2，…} 和V={v1，v2，…} 分別表示用戶和項目的集合。給出用戶-項目交互矩陣定義：Y={yuv|u∈U，v∈V}， 如式(1)所示

yuv={1，ifinteraction(u，v)isobserved；0，otherwise.

(1)

yuv=1表示用戶u和項目v存在隱式交互行為，例如分享、點擊、購買等。

知識圖譜G由“頭實體，關系，尾實體”三元組組成，即 (h，r，t)∈G， 其中蘊含著大量知識信息。

本文研究的問題定義為：給定用戶-項目交互矩陣Y和知識圖譜G，預測用戶u對未交互的候選項目感興趣的概率。在這里，定義預測函數為uv=F(u，v|Θ，G)， 其中uv表示用戶u與候選項目v的交互概率，Θ為可學習的模型參數。

2.2 推薦方法

本文將知識圖譜引入推薦模型，提出一種基于結合注意力機制的門控循環單元的融合語義和知識特征的推薦模型(integrating sematic feature and knowledge feature for recommendation model based on gated recurrent unit with attention mechanism，SKRec-AttGRU)。對知識圖譜蘊含的語義信息和知識信息進行特征學習，在此基礎上引入門控循環單元結合注意力機制進行特征提取工作，從而優化推薦效果。SKRec-AttGRU模型的總體框架如圖1所示，上半部分為基于連續詞袋模型的語義特征提取模塊，對項目實體進行語義特征學習；圖中部表示借助“偏好擴散”思想[11]獲取用戶興趣在知識圖譜中的傳播，從而提取出知識圖譜中蘊含的知識特征；在學習到語義特征與知識特征后，借助特征融合策略將其融合并保持其對應關系，使用門控循環單元結合注意力機制對用戶-項目間的潛在信息進行挖掘生成最終用戶特征表示，輸出預測的用戶點擊概率。

圖1 SKRec-AttGRU模型總體框架

2.2.1 語義特征學習

為了豐富用戶偏好表示，將蘊含豐富語義信息的項目描述引入，對知識圖譜中項目實體的描述進行語義特征學習，以緩解數據稀疏性問題。如圖1所示，本文使用語義特征學習模塊對項目實體進行特征提取，將其作為對應項目的潛在語義特征表示。使用word2vec模型對項目實體對應的語義信息進行特征學習獲得語義特征表示。word2vec是自然語言處理任務中較為常用的語義特征學習方法，通過邏輯回歸進行訓練，從而獲得低維嵌入向量表示，本文所選用的模型為連續詞袋模型(continuous bag-of-words，CBoW)。CBoW通過淺層神經網絡對輸入文本進行訓練，訓練過程中基于上下文信息對當前詞進行預測，從而獲得與當前字符對應的包含語義層面信息的低維向量表示。

CBoW模型的第一層是輸入層，將目標詞的前后c個上下文詞作為輸入。第二層是投影層，使用2c個上下文詞的獨熱表示以及公用的權重矩陣進行計算，提取相應的詞向量后進行加權求和平均操作得到投影層向量表示h。第三層是輸出層，經過softmax函數得到所有詞向量的概率分布。經過梯度下降法的模型迭代訓練過程，獲得目標的向量表示。目標詞的概率分布如式(2)所示，其中U表示投影層至輸出層的權重矩陣，w表示目標詞，Context(w) 為w的上下文

p(w|Context(w))=softmax(UT·h)

(2)

通過最大化CBoW模型的目標函數L，不斷優化權重矩陣，從而學習得到語義特征向量，目標函數L定義如式(3)所示，其中C表示目標詞所組成的語料庫

L=∑w∈Clogp(w|Context(w))

(3)

在對原始文本進行分詞、停用詞過濾等預處理后，使用CBoW模型對項目實體進行語義特征提取，從而獲得與其對應實體的語義特征表示Si，后續將融合項目實體表示后進行知識特征挖掘，從而獲得項目實體的深層表示，提高推薦結果的準確性。

2.2.2 知識特征學習

知識圖譜中蘊含著大量與項目相關的隱藏的知識信息，而知識圖譜中的關系路徑可被有效翻譯，在推薦模型中借助知識圖譜中的關系路徑可對用戶潛在興趣進行挖掘，例如用戶對于某存在過行為交互的項目的偏好可通過關系路徑傳遞至另一項目實體，也就是“偏好傳播”。基于“偏好傳播”思想，通過三元組獲取與用戶興趣對應的知識特征，將用戶歷史交互項目沿鏈路傳播的到達的尾節點的集合稱為用戶的興趣偏好擴散集。知識圖譜中的鏈路長度對用戶興趣傳播效果的影響已被研究者驗證[11]，與水中波紋衰減現象相似，隨著鏈路長度的增加，基于知識圖譜挖掘到的用戶潛在偏好與用戶間的關聯度逐漸減弱，并且可能會帶來更多的噪聲數據，影響對用戶的興趣偏好描述的準確度。在實驗中將探索鏈路長度對推薦效果的影響，以確保在知識圖譜中挖掘用戶潛在偏好時，確保遠端實體和用戶間的存在相對較高的關聯強度。

本文基于“偏好傳播”的思想構建用戶偏好擴散集，以獲得用戶興趣在知識特征層面的表示。基于給定的知識圖譜G和用戶-項目交互矩陣Y，將用戶偏好擴散集，即在知識圖譜中與用戶u歷史交互項目k跳距離的相關實體集合定義為εku={t|(h，r，t)∈Gandh∈εk-1u}，k=1，2，3，…n。 其中，h，r和t分別表示知識圖譜G中頭實體、關系及尾實體，n表示沿知識圖譜擴散的鏈路長度。當k=0時，ε0u=Yu={y|yuv=1} 表示用戶歷史交互項目的集合。在知識圖譜中，以用戶歷史交互項目為起點沿著關系鏈路向外擴散，最終獲得用戶偏好擴散集ε0u=ε0u∨ε1u∨ε2u…εnu， 其中n表示鏈路長度。

在知識圖譜中每個項目v均存在對應的向量表示，該向量表示為v∈Rd。 如圖1中知識特征模塊所示，根據用戶交互項目為偏好擴散集中的三元組分配對應的關聯概率，如式(4)所示

pi=softmax(vTRihi)=exp(vTRihi)∑(h，r，t)∈εuexp(vTRihi)

(4)

其中，v為用戶歷史交互項目，Ri∈Rd×d，hi∈Rd分別是知識圖譜中關系和實體的向量表示。pi的含義為：用戶歷史交互項目v與實體hi之間的關聯度。

2.2.3 特征融合及結果生成

為了以更細粒度的方式刻畫用戶興趣偏好表示，提出一種基于門控循環單元的融合語義特征和知識特征的推薦方法，將項目實體的語義特征和知識特征融合以挖掘用戶潛在興趣偏好。為了學習到的語義特征和知識特征進行融合，針對不同特征設計關系權重進行加權融合，并在此基礎上進行用戶對于偏好擴散集響應的計算，如式(5)所示，onu為用戶u對偏好擴散集εnu的實體響應，由該節點的語義特征和知識特征加權融合得到

onu=∑(hi，ri，ti)∈εnu(piti+αiSi)

(5)

其中，ti表示實體hi沿著關系ri到達的尾實體；pi為知識特征學習模塊中學習到的關聯度；Si表示語義特征學習模塊中學習到的該實體對應的語義特征向量表示；αi表示與尾實體ti對應的語義特征Si的權重。

在獲得用戶u在偏好擴散集下的實體響應后形成由內層至外層的偏好特征序列，針對該特征序列引入門控循環單元結構進行深層特征提取并融入注意力機制進行權重分配，從而在用戶偏好擴散集中捕獲到對用戶更重要的特征表示，細化用戶興趣描述粒度。門控循環單元(gated recurrent unit，GRU)作為循環神經網絡的變體，使用門結構緩解循環神經網絡面臨的長期依賴問題[24]，GRU的模型框架如圖2所示。

圖2 GRU模型框架

GRU使用重置門rt控制信息的遺忘程度；使用更新門zt對前一時刻隱藏狀態信息進行遺忘和選擇性保留；基于更新門的激活結果計算獲得候選隱藏狀態t， 在此基礎上進行計算獲得當前時刻t的隱藏狀態ht，計算過程如式(6)～式(9)所示

rt=σ(Wrxt+Urht-1)

(6)

zt=σ(Wzxt+Uzht-1)

(7)

t=tanh(Whxt+Uh(rt*ht-1))

(8)

ht=(1-zt)*ht-1+zt*t

(9)

其中，σ表示Sigmoid激活函數；Wr和Ur表示重置門的權重參數；Wz和Uz表示更新門的權重參數；符號*表示Hadamard乘積。

考慮到在偏好擴散集εnu中用戶偏好強度隨著鏈路長度增加而降低，距離更遠的實體對于用戶興趣偏好表示的重要性更低，所以按照內層至外層的順序將獲取到的用戶u在知識圖譜中不同鏈路長度下的實體響應輸入GRU，為了對該偏好擴散集進行關鍵特征提取，采用注意力機制為GRU提取到的特征向量進行權重分配，進而生成用戶的最終向量表示u，如式(10)所示

u=∑nj=1θjnhnu

(10)

其中，n表示偏好擴散集εnu擴散的最大鏈路長度；hnu為用戶u對偏好擴散集εnu的實體響應onu在GRU單元中的隱藏狀態向量表示；θjn為當前第j個隱藏狀態向量對應的權重，表示該隱藏狀態向量的相對重要性。

加權特征融合策略將獲取到的語義特征與知識特征進行融合，獲得更全面的用戶潛在興趣表示。基于梯度下降算法最小化損失函數，從而確定最佳權重。加權融合操作能夠對不同特征中的有效信息進行提取，減少冗余信息，從而避免高維度特征梯度下降問題。最后，將用戶最終向量表示和候選項目向量表示進行組合，經過計算得到預測的用戶點擊概率，公式如式(11)所示

uv=σ(uTv)

(11)

其中，σ表示Sigmoid函數。

2.2.4 模型訓練

為了獲得最接近真實值的預測值，使用交叉熵作為損失函數進行模型訓練，該損失函數如式(12)所示

Lpre=-∑yuv∈Y[yuvlguv+(1-yuv)lg(1-uv)]

(12)

Loss=Lpre+λ1LKG+λ2Θ22=-∑yuv∈Y[yuvlguv+(1-yuv)lg(1-uv)]+λ1∑r∈RIr-ETRE22+λ2(V22+E22+∑r∈RR22+α22)

(13)

其中，V為項目的向量表示；E為知識圖譜中實體的向量表示；R為知識圖譜中關系的向量表示；Ir為項目在關系r下的真實向量表示；ETRE為計算得到的項目在關系r下的嵌入向量表示；λ1為知識圖譜嵌入損失權重；λ2為L2正則項權重；α表示知識圖譜語義特征的權重向量。損失函數共由3個部分組成：第一部分是評估預測概率分布與真實概率分布之間差異的交叉熵；第二部分是知識圖譜嵌入表示損失；最后一部分是降低模型出現過擬合的概率的L2正則化項。

3 實驗與分析

為了驗證所提出模型的推薦效果，在內存為16 GB，處理器型號為Intel(R)Xeon(R)CPU E5-2683 v4 @2.10 GHz 2.10 GHz的Windows server 2016服務器中，使用深度學習框架Tensorflow，在Python3.6的環境下設計對比實驗進行性能分析。

實驗主要包括4個部分：進行參數調整實驗以達到模型的最優效果；與基線模型進行對比實驗以驗證所提出模型的優越性；進行消融實驗以探究模型中各個模塊對推薦效果的影響；進行稀疏性驗證實驗探究在不同稀疏度數據集下所提出模型的表現。

3.1 數據集

選用公開數據集MovieLens進行實驗，該數據集是推薦模型效果評估實驗中較為常用的數據集，其中包含用戶對上千部電影的評分情況。本實驗目的為預測用戶對未交互項目有興趣的概率而非用戶評分情況，因此隱式交互數據更適用于本實驗，所以需要將該數據集中的顯式反饋數據轉換為隱式反饋，通過設置評分閾值將所有評分大于等于閾值的數據作為正樣本。

知識圖譜數據來源于互聯網電影數據庫IMDb中的公開數據。根據MovieLens數據集中電影項目對應的統一資源定位符在互聯網電影數據庫中的映射，獲取電影對應的導演、編劇、電影簡介等信息從而構建電影知識圖譜。

表1 實驗數據集

實驗選用電影數據集MovieLens，考慮到用戶在挑選電影的過程中，電影簡介是一項重要參考依據，且其中蘊含著豐富的信息有助于挖掘用戶潛在興趣，本實驗基于電影項目實體對應的電影簡介進行語義特征學習。

3.2 評價指標

實驗考慮兩種推薦場景，分別是點擊率預測以及Top-K推薦。在點擊率預測場景下選擇AUC(area under curve)和正確率(Accuracy，Acc)作為評價指標；在Top-K推薦場景下選擇召回率Recall@K和精確率Precision@K作為評價指標對生成的推薦列表進行質量評估[25]。為了更加清楚地解釋評價指標，構建如表2所示的混淆矩陣。

表2 混淆矩陣

(1)點擊率預測場景

在該場景下，選取AUC指標和正確率Acc作為評估指標，計算公式如式(14)和式(15)所示。式(14)中，i表示屬于正樣例的樣本，ranki表示在點擊率預測實驗中按分數排序后該樣本的序號。AUC，即ROC(receiver opera-ting characteristic)曲線下方的面積大小，AUC的含義為依據預測正樣例排在負樣例之前的概率。正確率表示所有預測正確的樣本在總數中的占比

AUC=∑i∈Posranki-P×(P+1)2P×N

(14)

Acc=TP+TNP+N

(15)

(2)Top-K推薦場景

在該場景下，采用召回率Recall@K和精確率Precision@K作為衡量推薦列表的指標，計算公式如式(16)和式(17)所示。召回率Recall@K表示用戶喜歡的項目中會被推薦模型推薦的比例。精確率Precision@K表示被模型推薦的所有項目中用戶喜歡的比例

Recall@K=TPTP+FN

(16)

Precision@K=TPTP+FP

(17)

3.3 參數設置與對比分析

使用AUC和Acc作為評估指標，在點擊率預測場景下針對實驗中的重要參數進行探討分析獲得最佳參數以達到模型最優效果。其中，d表示特征維度大小，k表示在進行偏好傳播時的最大鏈路長度，m表示每層偏好擴散集的尺寸，λ1表示知識圖譜嵌入損失權重，λ2表示L2正則項權重。

由于特征維度d的取值對模型的推薦效果存在一定影響，為了確定最佳特征維度大小，設置d=4，8，16，32，64進行實驗，結果見表3，可以觀察到當d=8時推薦效果達到最佳。最初評價指標隨著維度增加而提高，然而當維度增大到一定程度帶來過多信息時，容易出現過擬合現象，導致推薦效果下降。

表3 特征維度對點擊率預測結果的影響

由于鏈路長度k的取值對模型的推薦效果存在一定影響，實驗設置k=2，3，4，5以尋找最佳鏈路長度，實驗結果見表4。結果顯示當鏈路長度k=2時推薦效果最好。隨著鏈路長度的增加，遠端實體與用戶間關聯度逐漸降低，將挖掘到更高比例的噪聲數據，鏈路長度過長會導致挖掘出過多無效的知識特征，過短則會導致無法探索知識圖譜中的遠距離依賴。

表4 鏈路長度對點擊率預測結果的影響

由于每層偏好擴散集尺寸m的取值對模型的推薦效果存在一定影響，實驗設置m=8，16，32，64確定其最佳取值，結果見表5。結果顯示當m=32時推薦效果最優，最初隨著偏好擴散集尺寸不斷增大，AUC和Acc隨之提高，然而當其增長到一定程度會帶來更高比例的與當前中心實體關聯較低的特征，影響推薦效果。

表5 擴散集尺寸對點擊率預測結果的影響

為了確定損失函數中知識圖譜嵌入損失權重λ1和L2正則項權重λ2的大小，設置實驗進行參數調整尋求最佳效果，實驗結果見表6和表7。實驗結果表明當知識圖譜嵌入損失權重λ1=0.5，L2正則項權重λ2=10-7時模型的推薦效果最佳。

表6 知識圖譜嵌入損失權重對點擊率預測結果的影響

表7 L2正則項權重對點擊率預測結果的影響

綜上所述，當實驗參數設置為特征維度d=8，鏈路長度k=2，偏好擴散集尺寸m=32，知識圖譜嵌入損失權重λ1=0.5，L2正則項權重λ2=10-7時獲得最佳結果。

3.4 對比實驗結果及分析

為了探究本文提出的融合語義特征和知識特征的推薦模型的性能表現，選取以下推薦模型作為基線模型進行對比實驗。在點擊率預測場景下的實驗結果見表8，在Top-K推薦場景下的實驗結果如圖3所示。

表8 點擊率預測場景下的實驗結果

圖3 Top-K預測場景下的實驗結果

(1)BPR-MF(matrix factorization base bayesian personalized ranking)[26]：最為常用的矩陣分解方法，該方法考慮到用戶對于不同項目具有不同的喜好程度，引入貝葉斯個性化排序，基于矩陣分解方法進行用戶建模。

(2)DKN(deep knowledge-aware network)[19]：基于知識圖譜提取實體的3個層級的特征表示，基于卷積神經網絡進行特征融合獲得項目表示，為用戶進行推薦。

(3)RippleNet[11]：基于“偏好擴散”思想獲取用戶偏好擴散集，捕獲用戶高階興趣偏好，進而構建用戶偏好模型。

根據以上實驗結果，綜合考慮兩個場景下的各模型表現可得出以下結論：

(1)在實驗中，BPR-MF的總體效果略微遜色于其它基于知識圖譜的基線模型，說明將知識圖譜作為輔助信息能夠優化推薦結果，圖譜中豐富的實體間關系有助于對用戶興趣進行合理擴展，從而提升推薦效果。

(2)SKRec-AttGRU在點擊率預測及Top-K推薦場景下的性能表現均優于RippleNet，RippleNet僅獲取用戶偏好擴散集未挖掘其中潛在信息，而本文所提出模型使用結合注意力機制的門控循環單元挖掘其中深層次特征，從而進一步捕捉用戶潛在興趣，表明加入該結構有利于改進模型的推薦效果。

(3)BPR-MF在Top-K推薦場景下精確率表現較好，而召回率與精確率是一對矛盾的指標，需確保兩個指標相對平衡，綜合該模型的召回率以及點擊率預測場景下的表現可知，該模型實際推薦效果表現一般。

(4)綜合考慮兩個場景下的實驗結果，可得出SKRec-AttGRU的推薦效果最佳，因為它基于知識圖譜將語義嵌入特征和知識嵌入特征進行融合，使用門控循環單元結構融合注意力機制對用戶偏好擴散集進行挖掘，使得對用戶興趣偏好的建模更細粒度，有助于改善推薦效果。

實驗結果表明：本文提出的推薦模型能夠更好地捕獲知識圖譜中的潛在信息以提升推薦效果，驗證了該模型的優越性。

3.5 消融實驗

為了驗證所提出模型中語義特征提取模塊和知識特征提取模塊以及基于結合注意力機制的GRU的特征提取模塊的預測效果，設計變體模型進行消融實驗。

(1)基于知識特征的推薦模型(exacting knowledge feature for recommendation model，KRec)：該模型僅考慮基于知識圖譜學習到的知識特征，未考慮語義特征也未使用GRU進行深層特征提取工作。

(2)基于語義和知識特征的推薦模型(integrating sematic feature and knowledge feature for recommendation model，SKRec)：該模型基于知識圖譜進行了語義特征與知識特征的獲取和融合工作，未使用GRU進行深層特征提取。

(3)基于門控循環單元和知識特征的推薦模型(exac-ting knowledge feature for recommendation model based on gated recurrent unit，KRec-GRU)：該模型基于知識圖譜進行了知識特征學習后使用GRU進行深層特征提取，未考慮項目對應的語義特征。

(4)基于門控循環單元的融合語義和知識特征的推薦模型(integrating sematic feature and knowledge feature for recommendation model based on gated recurrent unit，SKRec-GRU)：該模型基于知識圖譜學習了語義特征與知識特征并將其融合，在此基礎上利用GRU進行深層特征提取，所使用的GRU未結合注意力機制。

(5)SKRec-AttGRU：該模型基于知識圖譜進行了語義特征與知識特征的獲取，在此基礎上利用結合注意力機制的GRU進行深層特征提取。

在點擊率預測場景和Top-K推薦場景下進行對比實驗，結果如表9和圖4所示。

表9 不同特征下的點擊率預測結果

圖4 不同特征下Top-K推薦結果

由實驗結果可以得出：

(1)SKRec模型的推薦效果優于KRec模型，說明基于知識圖譜提取的語義特征模塊的引入能夠在一定程度上緩解數據稀疏性問題，該模塊對推薦結果預測具有重要作用；

(2)KRec-GRU模型的推薦效果優于KRec模型，說明基于GRU的深層特征提取模塊有助于構建更精準的用戶興趣模型，能夠有效提高推薦效果；

(3)SKRec-AttGRU模型的推薦效果優于未使用注意力機制的SKRec-GRU模型，說明結合注意力機制的GRU能夠增強對用戶偏好擴散集中關鍵信息的提取效果；

(4)SKRec-AttGRU模型的推薦效果相較于其它4個變體模型均有所提高，說明了在基于知識圖譜進行知識特征提取的基礎上引入語義特征以及使用結合注意力機制的GRU進行深層特征提取模塊的重要性。

綜上，SKRec-AttGRU模型優于其它4種變體模型，融合語義特征與知識特征后基于結合注意力機制的GRU進行深層特征提取能夠對用戶潛在興趣偏好進行有效捕獲，提高推薦效果。

3.6 稀疏性驗證

為驗證本文所提出的推薦模型在緩解數據稀疏性問題中的表現，分別設置3個不同的數據子集進行稀疏性驗證實驗。分別在原訓練集中隨機選取20%、50%和80%的數據，構成不同數據密度的數據子集1～3(Set1～Set3)進行對比實驗，設置K=1，5，10，20，50，100，比較各模型在不同稀疏度數據集下的召回率，實驗結果如圖5所示。

圖5 不同稀疏度數據集對實驗結果的影響

由圖中的實驗結果可以得出以下結論：

(1)各個模型的召回率隨著數據子集中數據密度的增加而有所提高，說明用戶交互數據的稀疏性是影響推薦模型效果的重要因素，數據密度越高表示獲取的用戶交互數據越詳細，模型學習到的用戶興趣特征信息更豐富，推薦結果的質量越高。

(2)SKRec-AttGRU與同樣是借助知識圖譜作為輔助信息進行用戶興趣建模的RippletNet在數據極度稀疏的情況下，召回率高于其它模型，說明融合知識圖譜的推薦模型能夠較好地緩解數據稀疏性的問題，提高推薦性能。

(3)SKRec-AttGRU在數據較為稀疏的數據子集set1上表現較好，驗證該模型在用戶-項目交互數據極度稀疏的情況下仍能保持較好性能，驗證了其優越性。

總之，相較于基線模型，所提出模型在數據較為稀疏的情況下仍可保持較好的推薦效果，驗證該模型能夠有效地緩解數據稀疏性問題。

4 結束語

為了緩解當前推薦方法面臨的數據稀疏性問題，提出一種基于結合注意力機制的門控循環單元的融合語義和知識特征的推薦模型。基于知識圖譜，對用戶項目交互信息蘊含的語義與知識特征進行挖掘并融合，使用融合注意力機制的門控循環單元進行用戶深層興趣捕獲，增強推薦效果。實驗結果表明，本文所提出模型的各個模塊均對推薦結果有重要影響，且該模型能夠有效提升推薦效果并緩解數據稀疏性問題。在后續研究中將嘗試融合圖片或視頻等其它多模態信息，對用戶潛在興趣進一步挖掘，進一步提升推薦模型的性能。