邊信息嵌入的學術論文推薦算法研究

沈小烽，劉柏嵩，吳俊超，錢江波

寧波大學 信息科學與工程學院，浙江 寧波 315211

隨著網絡的不斷發展和網絡上數據量的不斷增加，用戶獲得信息的方式也在發生著變化。推薦系統作為一種有效的信息過濾方式，有效緩解了信息爆炸的問題。目前，在電影、音樂、電商等領域，推薦系統是一個的研究熱點。但是，在數據量十分龐大的論文學術領域，對推薦系統的研究卻相對較少。研究人員每天都需要花費許多時間進行論文檢索，以找到與他們研究興趣相關的學術論文。然而在這一過程中需要過濾大量論文，從而導致了低效的論文信息獲取，同時也容易錯過對自己有幫助的論文。個性化論文推薦系統通過理解研究人員與論文的交互，對論文進行深度分析，來預測學者感興趣的論文。這對于緩解學者用戶花費大量時間和經驗進行文獻搜索具有重要作用。在過去的幾年里，對個性化論文推薦的模型和算法的研究取得了一定的進展。

以前的研究利用不同的推薦技術為學術論文提供個性化的推薦。目前的論文推薦可分為四種類型，基于內容的推薦、協同過濾推薦、基于圖的推薦和混合推薦?；趦热莸倪^濾方法通常提取論文內容來創建項目之間的關系，但是由于版權限制，學術論文的所有內容不能自由獲取。此外，由于自然語言的模糊性，基于內容的過濾不能恰當地捕捉用戶興趣。協同過濾是一種經典的推薦方法，在學術論文推薦系統中得到廣泛應用。它創建論文引用矩陣來查找學術論文之間的關系。然而，數據稀疏性和冷啟動問題是其中的兩大難題。為了避免這些陷阱，在現有的方法中引入了基于圖的方法，該方法利用引文網絡中的鏈接信息，通過依賴于引用模式、計數的聯合強度和引文耦合來進行度量[1]。但是，這些方法通常不考慮研究論文的內容以及用戶行為，缺少個性化的推薦?；旌贤扑]通過結合其中的幾種方法，利用它們的優點來彌補單一方法的不足，這樣可能會產生比較好的推薦效果，但同時也會帶來較高的時間復雜度和較差的可擴展性。目前在論文推薦領域中，混合推薦分為模型的混合與方法的混合。Sakib等人[2]為了解決冷啟動和版權限制的問題，提出了一種混合方法的推薦，有效地合并了基于內容的推薦模塊和基于協同過濾的推薦模塊，提高了推薦的準確性。Zhao等人[3]為了提高用戶隱含評分預測的準確性，結合傳統的潛在因子模型（latent factor model，LFM）和雙向門控遞歸單元神經網絡模型（bidirectional gated recurrent unit，BiGRU），提出了一種混合模型。該模型深入挖掘文本非結構化內容中的潛在語義，生成更準確的評分矩陣。

近年來，不同的網絡表示方法被提出，這些方法利用不同的論文信息構成網絡，將網絡中的節點編碼到低維空間中，從而生成論文推薦。冪律分布特性表明[4]，網絡中的大多數節點與少量的邊相關聯。因此，對于信息有限的節點，很難找到有效的表示方法。為了提高少數節點的嵌入程度，許多學者采用了不同的方法。常用的方法是利用研究論文的引用信息和相關的輔助信息源，即作者、地點、標簽和論文，來產生更好的推薦效果。流行度作為論文本身自帶的屬性，具有天然的推薦效果，因此許多文獻利用流行度屬性進行論文推薦。Yadav等人[5]提出了一個混合推薦模型RecCite，它將論文的流行度與語義相似度進行結合來生成推薦，并且通過社區檢測算法大幅度降低了模型運行時間。與之相似的是，Liu等人[6]提出了一種基于無方向論文引用圖的關鍵字驅動和流行度推薦方法，利用用戶查詢的關鍵字和論文的受歡迎程度來有效地推薦出一組令人滿意的論文。但是他們只是將流行度作為前期數據處理的方式，在生成論文嵌入向量表示的時候并沒有包含流行度信息。而根據應用的網絡不同，可以將網絡表示分為同構網絡表示和異構網絡表示，同構網絡通常由引文網絡構成。Tanner等人[7]提出了一個應用方法來提取引文網絡圖中的權重，根據原始論文引用參考論文的次數來定義引用關系，并利用這種引用關系來衡量論文之間關系的強弱，最后在不同的方法中進行了實踐，該模型的問題在于具有顯著的長尾效應和冷啟動問題，只有十分熱門的論文才會具有強關聯性，并且最新出版的論文會與低被引論文遭遇相同的處理。因此，Paudel等人[8]針對推薦的多樣性，提出了一個帶有擦除的隨機游走方式，通過不同定義的擦除矩陣，使頂點擁有不同的概率分布，提高了游走的靈活性，從而避免過多地推薦高被引論文。而在異構圖中，Li等人[9]提出了一種基于異構網絡的個性化論文推薦方法PRHN，通過研究網絡中的元路徑以獲取用戶偏好，通過將不同元路徑上的推薦分數與個性化權重相結合來計算全局推薦分數，同時PRHN也沒有很好地處理論文的冷啟動問題。

圖嵌入作為網絡表示的一個重要方向，能夠將論文內容與論文結構嵌入到低維向量空間中。伴隨節點屬性的圖嵌入增加了節點嵌入信息，有利于緩解物品冷啟動問題，因此十分適合圖的鏈路預測，不少學者將它應用到推薦中。Ali等人[10]為了充分利用論文輔助信息，針對冷啟動和數據稀疏問題提出了一種加權概率論文推薦模型PR-HNE。該模型通過將來自六個信息網絡的信息編碼到一個聯合潛在空間中來聯合學習研究者和論文的動態。為了進一步挖掘輔助信息，Zhao等人[11]充分利用用戶與物品之間的潛在關系，提出了一種基于異構網絡嵌入的推薦方法，稱為HetNERec。它整合了從相關異構網絡中提取的各種類型的信息，以提高推薦的性能。這兩個模型都試圖利用論文的輔助信息來緩解論文冷啟動問題。同時，針對這個問題，研究者也從上下文信息入手。Xie等人[12]提出了一種專注于項目推薦的元圖嵌入方法，即HINs中的AMERec，并利用用戶、物品及其基于元圖的上下文之間的低維和高維交互信息進行推薦。為了學習用戶和項目的嵌入表示，Wu等人[13]提出了一個協同推薦的共生嵌入正則化度量學習模型CRML，將共生嵌入應用到協同過濾推薦中，并利用軟參數共享策略來優化模型參數。在圖嵌入過程中，也有研究者通過挖掘文章之間的關系來緩解冷啟動問題。Chen等人[14]提出了一種新的基于引文趨勢的論文推薦算法CIRec，該算法在網絡嵌入過程中更深入地了解了文章之間的潛在關系。CIRec的問題在于它拋棄了引文信息，只是將引文作為一種文章之間的關系進行處理。因此，Zhang等人[15]提出了一種新的嵌入算法DocCit2Vec，將引文信息與引文內容直接嵌入作為一個文檔的嵌入信息。Kong等人[16]通過對引文網絡中的論文進行向量表示學習，提出了VOPRec模型。它利用文本和網絡表示學習的最新研究成果進行無監督特征設計。在將文本信息和結構同一性與引用網絡聯系起來之后，可以通過網絡嵌入來學習論文的向量表示。為了在圖嵌入中使物品的嵌入包含更多的信息，阿里巴巴的Wang等人[17]提出了EGES模型，通過構造增強的邊信息嵌入，使嵌入向量包含更豐富的邊信息，以此解決冷啟動問題。

當前許多文獻都在利用論文本身包含的復雜信息來緩解冷啟動問題，可是大多數模型只是利用了其中的一種或幾種，使得部分更有益的輔助信息被忽略。與此同時，目前并沒有一種方法能夠判斷哪些信息對于緩解冷啟動問題是有效果的，哪些信息是無效的，缺少定量的判斷。目前的論文推薦算法也很少考慮到論文本身的質量對推薦的影響?；谝陨系姆治?，本文提出了一種基于輔助信息嵌入的論文推薦算法CERec，它考慮到在論文推薦中存在的兩個現實問題：一是推薦的論文本身的質量問題，具體體現在論文的影響因子、作者、出版刊物等；另一個問題是如何定量地利用論文輔助信息來緩解新出版的論文面臨推薦冷啟動問題。由于新出版的論文極少會被其他論文引用，導致了新論文很難擁有較高的推薦排名，但是高質量的新論文往往是學者所需要被推薦的論文類型之一。因此，本文推薦算法中設計了一篇論文影響力分數作為一篇論文的質量高低的體現，并且將這個分數作為引文網絡中邊的權重，以此來決定在隨機游走中，每篇論文被選中的概率。在論文的圖嵌入中，加入多個不同的論文輔助信息，利用注意力機制對不同的輔助信息附加不同的權重，組成最終的論文表示向量。這不僅增加了嵌入向量本身的信息量，提高了推薦效果，同時具有相似輔助信息的新論文更有可能擁有較高的推薦排名。

1 學術論文推薦框架

1.1 構建影響力網絡

對于學術論文推薦，論文本身的質量和作者的聲譽以及發表論文的期刊質量是需要考慮的重要方面，統稱為論文的影響力。雖然現有方法基于作者和期刊的相似性進行推薦，但它們無法確保質量高和相關性強的論文可以被優先推薦。在大多數的學術論文推薦中，時間越近的論文有著更好的推薦效果，也更加接近學術前沿。同時，論文本身的影響力隨著時間的推移而慢慢減弱。利用論文出版時間戳和當前時間戳的差值作為影響論文的一個重要變量，這樣做的目的是防止舊論文權重過大而影響推薦的效果。

假設c是對引用次數有顯著影響的變量集，cn為論文的第n個特征變量，每個特征變量的維數為m，則。對C進行主成分分析（principal component analysis，PCA），通過線性變換將原始數據變換為一組各維度線性無關的表示，用于提取數據的主要特征分量。對C進行零均值化后求出它的協方差矩陣C′。

將協方差矩陣對應的特征值按照從小到大排序，在實際計算過程中，將特征值的閾值設置為1，得到m個主成分值，其公式為：

其中，Fi為第i個主成分值。將主成分值進行線性組合，得到一個節點的影響力值。

其中，系數αi是在計算主成分時Fi的方差與總方差的比例。

使用上述方法得到的影響力分數Y來構建影響力網絡。從目標節點得分中減去源節點得分，其差值ω被定義為邊的權重。假設有一條有向邊A→B，那么：

其中，Y表示節點的影響力分數。這種分配策略主要是為了在網絡節點隨機游走時，邊權重將作為組成游走概率的一部分，與權重大的邊相連節點將會有更大的概率被選擇為鄰居節點。此外，這種邊權重的分配允許在保留引用信息的同時包含論文的影響力。

1.2 圖嵌入方法

給定一個源節點u，假設對影響力網絡進行固定長度1的隨機漫步，a0是起始點，即a0=u,ai是隨機走到的第i個點，則走到ai的概率由以下公式生成：

其中，πvk是從點v走到點k的概率，A是標準化常數。

在進行偏置隨機游走時，當πvk=ωvk，且常數A為頂點v的出度權重之和。當，其中N+()v表示出度鄰居的集合，即i到中的所有節點都有的邊，這樣就變成了deepwalk[18]的游走方式。雖然deepwalk可以充分發揮權重的優勢，但是沒有充分考慮引用的同質性和結構等價性。本文采用Node2vec[19]算法，將影響力權重作為隨機游走中偏置值的一部分進行計算。與EGES模型相比，帶有偏置的隨機游走考慮到了論文的質量屬性對論文關系的影響，使得權重較大的節點更容易被選為鄰居節點，從而形成帶有屬性影響的論文序列。

假設一個隨機游走從點u走到了點v，當決定下一個點k時，轉移概率如下：

其中，duk表示節點u和k之間的最短路徑距離。ωvk是影響力網絡中計算得出的邊權重，權重越大，轉移的概率也就越大。通過調節參數q，使具有相似主題的論文緊密嵌入在一起，調節參數p將優先考慮具有相似引用的論文組成論文序列。由于權重ω的性質，使得高質量的論文有更高的概率被選中，因此在向量空間中，高質量論文之間的距離更短。

假設f:V→Rd是從頂點到向量空間的映射函數。其中d是向量空間表示的維數，f是一個參數矩陣，大小為||V×d。對于源節點u∈V，將N(u)∈V定義為通過隨機游走得到的鄰域節點。將Skip-gram算法應用到論文序列，通過f最大化論文u與N()u的對數概率，得到論文u的嵌入表示：

1.3 帶有輔助信息的圖嵌入方法

在學術論文推薦系統的上下文中，輔助信息包括論文作者、出版期刊（社）、學科分類等論文內容以外的信息。在論文圖嵌入的過程中加入輔助信息，可以豐富論文嵌入的信息量。當具有較少被引用的新論文與用戶感興趣的論文具有相似的輔助信息時，它們在嵌入空間中更為接近?；谶@個假設，提出了如圖1所示的帶有輔助信息的圖嵌入方法。其中Sn表示輔助信息，S0表示由圖嵌入得到的論文嵌入，αn為不同輔助信息的不同權重。

假設W表示論文或輔助信息的嵌入矩陣。Wu表示論文u的嵌入，Wiu表示附加到論文u的第i種類型的輔助信息的嵌入。當d為嵌入維數時，W0uW1u…Wnu∈Rd。因此，對于具有n種輔助信息的論文v，共有n+1個向量。當在嵌入過程中集成不同種類的輔助信息時，不同種類的輔助信息對論文的貢獻程度是不同的，比如同一個作者的論文比同一出版社出版的論文相關性更大。利用注意力機制來聚合與項目相關的輔助信息的嵌入，給定一個節點u，設A∈R||u×()n+1為權重矩陣。結合不同輔助信息的加權平均層定義如下：

其中，Mu是論文u的聚合嵌入，aiu為第u項第i類輔助信息的權重。以這樣的方式合并，讓論文的嵌入包含更多的信息，使得具有相似輔助信息的論文在嵌入空間中更接近。

假設節點u是節點v的上下文節點，通過負采樣后，帶有輔助信息的圖嵌入的目標函數變為：

其中，σ()為sigmod函數y是正負樣本的標簽，正樣本為1，負樣本為0。

基于以上分析，算法1給出了帶有輔助信息的圖嵌入算法的詳細步驟。

算法1帶有輔助信息的圖嵌入算法

輸入：影響力網絡G=( )

V,E,W，每個節點的游走次數t,每次游走長度l,窗口長度k,游走參數q和p,輔助信息S,嵌入維數d。

輸出：論文的加權嵌入向量M和權重矩陣A。

1.初始化嵌入向量M和權重矩陣A

2.fori=1→t：

3. forv∈V：

4.PL=node2vecWalk( )

G,v,l,p,q

5. forj=1→l：

6.v′=PL()

j

7. for()

0,l遍歷窗口k：

8.u=NegativeSampling()

V

9. update(M,A)→L(v′,u,y)

10. end for

11. end for

12. end for

13.end for

14.return( )

M,A

1.4 推薦生成

在圖嵌入中，推薦問題將轉化成鏈路預測問題，兩個節點的相似性越高表明其鏈接的可能性越高。由于論文的數據量十分龐大，每次計算論文的嵌入向量將會耗費大量時間，一般采用離線計算。將用戶交互過或感興趣的論文作為目標論文，計算與其他論文的距離，來獲得推薦論文。當獲得論文嵌入向量后，使用余弦相似度來計算論文之間的距離。假設兩篇論文表示為d維向量Θ(u)=( x1,x2,…,xd)以及Θ(v)=( y1,y2,…,yd)，其相似度計算公式如下：

2 實驗及分析

2.1 數據集

實驗采用公開可用的ArnetMiner學術論文數據集，該數據集的內容包括論文信息、論文引用信息、作者信息和作者協作信息，其中包含2 092 356篇論文以及相關的8 024 869條引用信息，1 712 433位作者和4 258 615條作者之間的合作關系信息。數據集還包含了每個作者的論文發表數量、H指數、P指數、合著者信息和研究興趣等信息，能夠對作者進行全方位的評估。根據以上數據，實驗使用論文以及引用關系創建了包含29 813個節點的引用圖，其中有71 403條邊以及等量的權重數值。

2.2 評估指標

為了評估這些比較方法的有效性，實驗選擇了兩個不同的指標，分別是召回率和NDCG（normalize discounted cumulative gain），用于評估論文推薦結果的好壞。Recall@N是指為每篇目標論文推薦N篇候選論文時的召回率。對于論文推薦問題，召回率越高的同時N越小，推薦效果越好。

Recall@N：召回率用于衡量出現在前N名推薦列表中的原論文的百分比。該比率表示每個目標論文的總召回率除以所有目標論文的大小。該指標定義為：

其中，Q為目標論文數，N為推薦數。對于每篇目標論文，Ru是基于一篇目標論文u推薦的前N名論文列表。Tu是引用目標論文u的論文集。

NDCG@N：推薦系統的有效性對相關論文的排名很敏感，相關度越高的論文應該排名越高，因此這不僅僅需要召回率來表示，還需要NDCG來進行評估。實驗使用NDCG來衡量推薦的排名列表。排名列表在特定位置的NDCG值計算如下：

其中，Q為目標論文數，N為前N項的推薦數。ri是排名列表中第i篇論文的評級，如果ri=1則表示論文相關，如果ri=0則表示論文不相關。IDCG@N是一個理想排名分數，如果NDCG@N=1則表示這是一個理想的排名，即最相關的論文排第一，依次往下。

2.3 基準方法

（1）Node2vec[19]：對有向無環子圖進行抽樣的圖嵌入方法。它在deepwalk基礎上進行了改進，增加兩個權重參數來尋找廣度優先搜索和深度優先搜索之間的平衡，獲得的序列通過skip-gram算法進行嵌入。

（2）Doc2vec[20]：一種眾所周知的排名方法，用于測量基于文本的匹配文檔與查詢的相關性。它使用神經網絡模型將可變長度的文本映射成固定長度的分布式向量。

（3）EGES[16]：帶有輔助信息的圖嵌入方法。從用戶的行為歷史中構建一個項目圖，并學習圖中所有項目的嵌入。項目嵌入用于計算所有項目之間的成對相似性，然后進行推薦。

（4）RecCite[5]：將論文的受歡迎程度與語義相似性相結合，以獲得相關性的論文推薦方法。同時從更通用和更大的網絡中過濾論文到與SIG（特殊興趣小組）相關的社區中，解決了可伸縮性方面的問題。

（5）PGRec[21]：引入了pregraph，作為面向排名推薦系統中數據的圖形表示的一種新的結構，并且開發了一種在異構用戶-項目數據圖中嵌入節點的新方法。它使用基于CNN的圖嵌入技術來微調由NMF從用戶-項目交互矩陣中最初提取的特征向量。

2.4 實驗結果

實驗分別進行了召回率的對比和NDCG指標的對比。召回率主要凸顯了推薦結果的精準度，NDCG主要凸顯了排名的準確度。在進行Top-N推薦時，N分別取25、50、75、100進行實驗。實驗中CERec算法的隨機行走長度是10，每個節點的行走次數是20次，上下文窗口長度為5，向量的維數被設置為64。

表1表明了在ArnetMiner數據集上各算法的性能和推薦效果。與其他表示學習算法相比，CERec在不同的Top-N值下都取得了更好的推薦效果。隨著Top-N的增大，各個算法的Recall也在增大。當N值為25時，在召回率指標中，CERec分別比Doc2vec和Node2vec兩種經典嵌入方法提高了0.078 3和0.128 2，其中召回率提升比較大的主要原因是CERec添加了論文的多種輔助信息，豐富了論文的最終嵌入，使嵌入向量包含了更多信息。對比最新的嵌入模型，CERec比EGES在召回率上提高了0.030 0，其中召回率提升的主要原因是CERec模型在圖嵌入過程中，考慮到了論文屬性對論文關系，也就是兩個節點的邊的影響。在N增大的過程中，CERec在召回率指標中的表現也比其他5個模型的表現要好。

表1 不同圖嵌入方法的實驗結果比較Table 1 Comparison of experimental results of different graph embedding methods

從表1可以看出，在NDCG指標的對比中，當N的值為25時，CERec分別比Doc2vec和Node2vec兩種經典嵌入方法提高了0.059 4和0.111 3。實驗說明融合了輔助信息的嵌入向量能有效得提升嵌入向量的信息量，從而提高推薦結果的準確性。其中一部分原因是CERec加入了論文影響力的考慮，使得高質量論文更容易被推薦，這也影響了推薦論文的最終排序，使得在NDCG中擁有更好的表現。在與最新的兩種嵌入方法的對比中，CERec分別比EGES、RecCite和PGRec三種嵌入方法提高了0.046 4、0.029 9和0.015 3。其中相對于EGES模型的提升比較明顯，主要原因是EGES模型在聚合輔助信息時，對每種輔助信息的權重都是一樣的，沒有進行區分，導致不同輔助信息有了相同權重的嵌入，不利于最終的論文排名。

圖2和圖3分別標明了不同算法在不同Top-N下的實驗指標結果。可以看到CERec模型無論在召回率指標還是NDCG指標都有著不錯的表現。并且當N值增大時，CERec與兩種經典嵌入算法在召回率上的差距也在增大，原因是帶有輔助信息的嵌入向量增加了論文相似度的區分，使得推薦效果更好。

參數p和q的作用是根據不同的節點距離設置轉移概率。參數p控制再次訪問被訪問過的節點的概率，參數q控制游走偏向于內節點游走還是外節點游走。兩個參數的本質作用是在形成論文序列時，鄰接節點的選取偏向于相似引用的論文作為鄰居還是相似主題的論文作為鄰居。因此對于最終形成的論文向量嵌入具有很大的影響。圖4是模型在不同p值和q值下召回率的折線圖，雖然越低的q值鼓勵引用相似性的探索，但是同時較低的p值保證了節點不會探索得太遠。

3 結束語

學術論文推薦系統越來越受到科學界的關注，它極大地促進了研究工作者對特定領域的深入了解。在目前階段，論文推薦主要是基于引文鏈接的方法，然而在處理引文信息網絡過程中，隨機游走并沒有考慮到論文屬性對論文關系的影響，同時忽略了論文的輔助信息的作用。文本提出了一種基于輔助信息嵌入的論文推薦方法，考慮到論文本身的質量是影響推薦結果的一個重要因素，因此利用與論文質量相關的變量來構建影響力網絡，提高了論文質量對推薦結果的影響。同時，在論文嵌入向量中加入論文輔助信息，緩解了新論文的冷啟動問題。由于在圖嵌入技術中，普遍缺少對用戶興趣的考量，在下一步工作中，會將用戶興趣考慮到推薦模型中，生成更具個性化的推薦結果。