基于記憶的注意力圖神經網絡專家推薦方法

陳卓 朱淼 杜軍威 袁璽明

摘要：在問答社區專家推薦算法中，圖神經網絡主要利用問答社區中用戶與問題的交互關系建模，其模型性能取決于交互數據的稠密度，難以對無交互信息的用戶及問題進行有效表示學習.針對這一問題，提出了一個基于記憶的注意力圖神經網絡專家推薦方法.該方法首先設計了面向用戶多維特征的聯合表示子網絡，然后構建了一個記憶網絡，為每個問題保存用戶回答過的與其相似的問題，同時在用戶表示與相似問題表示之間引人注意力機制，從不同用戶的視角，有針對性的融合相似問題構建新問題的向量表示，最終基于用戶和問題的表示為問題推薦專家，有效提高了專家推薦的準確性.在數據集中對本文所提出的方法進行驗證，相較于同類其他模型性能均有所提升.

關鍵詞：專家推薦；圖神經網絡；記憶網絡；注意力機制

中圖分類號：TP18文獻標志碼：A

Memory-based Attention Graph Neural Network for Network Expert Recommendation

CHEN Zhuo，ZHU Miao，Du Junwei，YUAN Ximing

（School of Information Science and Technology，Qingdao University of Science and Technology7，Qingdao 266061，China）

Abstract：In the expert recommendation algorithm of the Q&A community，the graph neural network mainly uses the interactive relationship between users and questions to build a model，and its model performance depends on the density of interactive data. So it is difficult to effectively represent and learn users and questions without interactive information. This paper proposes an attention graph neural network expert recommendation method based on memory. Firstly，a multi-dimensional feature-oriented subnetwork is designed，and then a memory network is constructed to store the similar questions answered by users for each question. At the same time，an attention mechanism is introduced between user representation and similar question representation，and the vector representation of new questions is constructed by fusing similar questions from different usersr perspectives，Finally，experts are recommended based on the representation of users and questions，which effectively improves the accuracy of expert recommendation. The proposed method is validated on the Q & A community data set and public data set，and its performance is improved compared with other similar models.

Key words：expert recommendation；graph neural network；memory network；attention mechanism

在線問答社區是當下萬維網普及和社會快速發展的產物，模擬現實中的社區，使人們能夠即刻交流和獲取知識.而快速、準確、主動地發現社區用戶中的領域專家，成為提高用戶參與社區互動積極性、提高社區內容質量的關鍵性技術問題.

然而，目前問答社區的專家推薦策略主要依靠傳統的信息檢索和排序技術對符合條件的用戶進行排序推薦.這類方法沒有考慮問題的語義信息，無法滿足用戶的需求.后來學者將推薦算法應用在專家推薦領域.這類算法通常計算用戶偏好特征與問題內容文本特征之間的匹配度為目標問題產生候選專家用戶集或者通過相似歷史問題表示新問題，未考慮用戶特征，因而無法體現現實世界中，用戶在教育背景、從業經歷等方面的差異.隨著深度學習的發展，深度學習的方法被引入專家推薦.這類專家推薦方法從問題文本特征的角度表示問題的內容，通過計算專家得分進行推薦.但未考慮用戶的回答能力和社交關系，無法完整的建模用戶信息.

針對現有的專家推薦模型的問題，本文在用戶記憶力的基礎上，提出了一種融合用戶、問題、用戶與問題交互信息的圖神經網絡專家推薦模型（Graph recommendation method based on memory neural network，GMNN）.本文的貢獻可以總結為以下兩點：

1）給出了基于圖的用戶聯合特征表示學習方法，解決了問答社區中高維系數的用戶特征建模難題，增強了用戶的表示能力.

2）利用記憶網絡和注意力機制從用戶的不同視角表示新問題，解決了數據較稀疏的情況下，傳統的圖神經網絡難以對社區中沒有與用戶產生交互行為的問題進行表示的難題.

1相關工作

1.1專家推薦算法

專家推薦的目的就是根據提出的問題內容，在社區中找到具有一定解決或回答問題能力的專家，提高問答效率，優化用戶體驗.研究前期，專家推薦主要依靠傳統的信息檢索和排序技術.目前的專家推薦算法通常利用自然語言處理技術進行文本特征的提取，然后挖掘用戶和問題之間的相似關系提供推薦服務.如San等[1]基于問答社區的用戶傾向于回答自己專業問題這一基本原理，提出了一種在線CQA社區專家模型RankSLDA算法，利用專業知識的主題對用戶進行建模.Mandal等[2]提出了一種查詢似然語言模型中的主題方法來為社區中新提出的問題推薦潛在的回答者.這類方法忽略了用戶與問題交互網絡中的拓撲結構，無法捕獲用戶與問題在網絡中的關聯信息.圖神經網絡出現后，因其對圖形數據強大的表示能力自然的被應用在推薦系統中.Fan[3]提出了一個面向社交推薦的圖神經網絡框架GraphRec，該框架聯合用戶的社交信息和用戶與項目的交互信息對用戶進行向量表示學習.王根生[4]通過計算不同元路徑下的用戶相似度，得出用戶相似度矩陣，然后把用戶相似度矩陣融合到矩陣分解推薦算法的目標函數中.

圖神經網絡能夠捕獲節點的特征信息與網絡的結構信息，但是多數圖神經網絡無法對沒有邊的新節點產生向量表示，因此無法解決推薦系統中的冷啟動問題.

1.2記憶網絡

記憶網絡由Weston[5]等最先提出，通過構建記憶組件將信息存儲起來，以達到長期記憶的效果.在此之前，很多神經網絡都有一定的記憶機制，但由于存儲能力有限，在訓練過程中容易丟失一部分語義信息.如由Hochreiter等[6]提出的長短期記憶網絡（Long Short-Term Memory，LSTM）有效解決了RNN記憶能力弱，無法存儲足夠信息的問題.但在現實世界任務中，如在數據較稀疏的推薦領域，短期的記憶難以完整的表示項目，需要更加長久的記憶以支撐系統的建模從而提高準確度.Weston等在最初的記憶網絡基礎上又提出了端到端的記憶網絡[7]以及鍵值記憶網絡[8]，使網絡可以更好的存儲問答系統所需要的先驗知識.目前記憶網絡已在語音識別、社交推薦等各領域任務上取得了顯著的成功.

1.3注意力機制

注意力機制最早為解決圖像分類問題提出，其目的是將視線聚焦于輸入的信息中對當前任務更為重要的信息，減少對其他信息的關注，提高效率.何柔螢[9]通過利用注意力機制增強卷積神經網絡對于問題文本特征的提取能力，使建模更加準確.呂曉琦[10]結合注意力機制與循環神經網絡，除了實現了問題與標簽的聯合表示，還捕獲了動態變化的用戶偏好.

注意力機制目前在推薦系統中已有廣泛的應用，通過為用戶和項目分配注意力權重，以更有效地捕捉與任務相關的長期或短期的用戶興趣[11].

2方法

隨著問答社區用戶規模和問題數目的不斷擴大，傳統的圖神經網絡難以對社區中沒有與用戶產生交互行為的問題進行表示，為了解決這一問題，本文構建了一種基于記憶的注意力圖神經網絡推薦方法（Memory based attention graph neural network recommendation method，GMNN）為問答社區中的新問題進行專家推薦，算法模型如圖1所示，圖中顯示模型由三部分組成：用戶特征聯合表示學習模塊、新問題表示模塊和用戶回答能力預測模塊.前兩個模塊分別對用戶和問題的向量進行表示學習，然后在用戶回答能力預測模塊進行拼接，輸入多層感知機，輸出對用戶回答能力的預測結果.

2.1用戶特征聯合表示學習

問答社區通常會記錄用戶的個人基本信息、用戶在社區中提出的問題、回答的答案及由此獲得的財富打賞等交互信息.傳統的社區用戶表示學習方法，基本都是直接從用戶個人基本信息、用戶與問題交互信息生成用戶的向量表示.但隨著社區規模的擴大，問答社區平均用戶回答問題個數少，用戶與問題之間的交互矩陣很稀疏，傳統的用戶表示學習方法難以準確表示用戶的偏好和回答能力等信息，因此本文聯合用戶多個維度的特征，對用戶進行表示學習.本文首先利用矩陣分解中的交替最小二乘法（Alternating Least Squares，ALS）算法對用戶的歷史回答數據進行分析，計算出能夠表示用戶歷史回答能力的隱性向量矩陣P；再利用用戶的問答與打賞關系構建異質信息網絡，使用深度游走算法對網絡中的用戶和問題進行網絡表示學習，計算出能夠表示用戶認可度的特征矩陣G；對問答社區中高維稀疏的用戶個人特征矩陣自編碼，轉化為低維稠密的用戶個人特征矩陣I.本文利用多層感知機對上述三個維度的用戶特征進行融合，最終預測用戶對新問題的回答能力.

2.1.1用戶歷史回答能力建模

矩陣分解可從已知評分數據中學習用戶的隱性偏好和項目隱性特征.相比于其他矩陣分解算法，ALS更加適合稀疏矩陣的矩陣分解，因此本文使用ALS對用戶/問題交互數據進行矩陣分解，產生用戶歷史回答能力的隱性向量表示.

用戶歷史回答能力由該用戶歷史所獲得財富打賞值表現出來.本文使用帶標簽和偽標簽用戶/問題交互數據構建用戶/問題交互矩陣.其中U={u，u，…，u}和Q={q，q，…，q}分別表示M個用戶和N個問題，用戶參與回答問題所獲得的財富值構成了一個M行N列的評分矩陣R，缺失的財富值由DeepFM預測.

在問答社區中，使用ALS將用戶和問題的評分矩陣R分解為M×K維的用戶隱性矩陣和K×N維的問題隱性矩陣，超參數K為潛在因子空間.用戶/問題評分矩陣可以表示為用戶矩陣與問題矩陣的乘積，計算公式見公式（1）.

R=PD（1）

式中：P表示用戶隱性向量矩陣，D表示問題隱性向量矩陣.

用戶u對問題q的評分預測值r′的計算公式見公式（2）.

式中：p表示用戶隱性向量，d表示問題隱性向量.在計算P與D的乘積與原始矩陣的誤差時，損失函數的計算公式見公式（3）.

式中：λ表示正則化系數.為了優化損失函數，使用交替固定P和d對損失函數求偏導，降低損失函數. 2.1.2用戶認可度建模

在實際問答過程中，其他用戶對回答者給予的財富值能反映出對該答案的認可程度，專家等權威用戶給出的財富值比普通用戶更有價值；而有權威用戶參與的問題往往也具有更高的質量和難度.用戶被認可的程度可以通過他回答過哪些用戶的提問、哪些用戶與他共同回答過同一問題以及哪些用戶打賞過他的回答這三個方面體現.

本文將用戶和問題作為節點，用戶與問題之間的問答關系和用戶間的打賞關系作為邊，構建圖1 中用戶/問題異質信息網絡，并生成元路徑，根據元路徑，對用戶進行網絡表示學習，表示用戶認可度. 本文將化工問答社區的問答關系和打賞關系整理為異質信息網絡G，G的定義見公式（4）.

G=（V，E），E∈（V×V）（4）

式中：V表示G中的頂點集，頂點分為用戶和問題兩個類別.E代表了G中頂點與頂點之間連接的邊集，用戶頂點與問題頂點之間的邊表示用戶提出或回答了該問題，用戶頂點與用戶頂點之間的邊則表示用戶之間的打賞關系.

根據化工問答社區用戶間的交互形式，本文為隨機游走設計了兩種元路徑.

元路徑1：體現用戶和問題間的問答關系

元路徑2：體現用戶和用戶間的打賞關系.

式中：φ表示節點v到對應向量的映射函數，Pr表示在隨機游走過程中，出現節點v時，出現它的n個節點范圍內節點的概率.

2.2新問題表示學習

由于傳統的圖神經網絡無法從交互網絡中直接學習新問題的表示，因此在圖神經網絡之前加入保存用戶歷史回答問題集合的記憶網絡，并通過注意力機制實現面向用戶視角的新問題表示學習方法.

2.2.1用戶記憶網絡的構建

基于內容的推薦思想能夠為新問題從社區中尋找到與之相似的舊問題，但是這種方法忽略了用戶視角對于問題的理解程度以及偏好，因此本文首先構建用戶歷史回答問題集合的記憶網絡，然后通過文本相似度的計算為新問題從記憶網絡中尋找相似問題序列.為了更好地計算文本之間的相似程度，本文通過BERT（Bidirectional Encoder Representations from Transformers）模型[12]進行文本表示后計算問題文本向量之間的余弦相似度.

當新問題出現時，首先使用BERT預訓練模型對問題文本生成了向量表示，然后基于文本向量之間的余弦相似度，計算出在用戶歷史回答過的問題中，與新問題最相似的舊問題，生成矩陣S，j為與新問題相似的問題個數，為超參數，i為歷史回答數大于相似問題個數的用戶人數.對于任意問題q，都可以按照相似度排序找到與文本內容相似的問題序列.

本文為新問題尋找n個最相似的問題ID序列進行保存，當需要對新問題進行向量表示時，先通過記憶網絡構建其相似度矩陣，對這些相似舊問題進行表示學習.

2.2.2基于注意力的新問題表示學習

對于不同用戶來說，針對每個相似問題的回答能力和偏好是不相同的，因此本文引入注意力機制，從不同的用戶視角，為每個相似問題分配一個權重來表示每個相似問題對新問題表示時做出的不同貢獻，注意力網絡的計算見公式（7）.

式中：u為用戶向量表示，p為相似問題的向量表示.使用softmax函數獲得最終注意力權重，可以被解釋為每個相似問題在表示新問題時對新問題潛在因子的貢獻，每個問題t的權重a計算見公式（8）.

式中：T表示相似問題集合，最終通過注意力機制對相似舊問題給予不同權重，獲得新問題的表示q′，q′的計算見公式（9）.

2.3基于記憶的圖神經網絡專家推薦方法

本文將用戶向量表示和新問題向量表示兩者拼接后輸入多層感知機進行深度融合，最終預測出目標用戶i對于新問題j回答后可能獲得的財富值r′，r′的計算公式見公式（10）至公式（13）.

計算出r′后，為了訓練GMNN模型的參數，需要設置一個目標函數進行優化.由于GMNN模型的任務是預測用戶回答問題獲得的財富值，因此本文采取MSE作為GMNN模型的損失函數，MSE的計算公式為式（14）.

式中：r為用戶i回答問題j所獲得的實際財富值，GMNN模型中的權重以及偏置參數由隨機初始化獲得，通過隨機梯度下降的方法更新各個參數的值，最小化模型的損失，使GMNN模型的預測效果達到最優.預測出所有用戶對新問題回答后可能獲得的財富值，將其進行排序，將問題推薦給排名靠前即預測回答能力強的用戶回答.

3實驗與分析

3.1實驗數據集

作為國內最大的化工領域問答社區，海川化工問答社區為廣大從業人員提供了獲取專業知識與分享化工領域知識的平臺，見證并記錄了國內化工行業的發展，據官方統計，該化工問答社區已擁有約480萬的用戶.它由第一代問答網站發展而來，并在問答網站中加入了搜索功能，是知識社區和社交網絡的結合體.本文爬取了海川化工問答社區中6017 名用戶的問答數據及獲得財富值情況，在統計時間內，這6 017名用戶共對10 633個問題做出了35 773 條回答并獲得了財富值.由于GMNN模型著重于新問題的解決，因此本文對數據集使用基于時序的劃分方法，將2017年11月7日至2018年10月7日的問答數據作為訓練集，2018年10月8日至12月7日的問答數據作為測試集，劃分結果見表1.

3.2實驗對比模型

本文針對的問題是在數據稀疏情況下難以對無交互信息的用戶及問題進行有效表示，從而難以為新問題推薦專家回答.本文選取了以下幾種對比模型，在推薦領域對稀疏數據有很好的表示能力.

Factorization Machine（FM）[13]：該模型旨在解決大規模稀疏數據下的特征組合問題，考慮不同特征之間的相互關系，被廣泛地用于預測和推薦任務上.

Deep Factorization Machine（DeepFM）[14]：該模型在新的神經網絡中集合了用于推薦的FM模型的功能和深度學習的特征學習能力，可以更快地訓練以及更精準的學習并給出推薦.

Wide&Deep[15]：該模型被用于推薦系統中，結合了神經網絡的泛化能力和線性模型的記憶能力，通過對稀疏特征的學習，提高了推薦系統的準確性和多樣性.

3.3評價指標

本文采用均方根誤差（Root mean squared error，RMSE）和平均絕對誤差（mean absolute error，MAE）、召回率、歸一化折損累計增益（Normalized Discounted cumulative Gain，NDCG）和平均倒數排名（Mean Reciprocal Rank，MRR）評價模型回答者推薦效果.

3.4參數選擇

對于本文提出的GMNN算法，通過將矩陣分解得到的用戶和問題隱性向量、深度游走算法得到的用戶和問題的網絡表示、問題LDA概率向量和用戶個人特征進行輸入，對選取相似舊問題個數進行選擇，進行分組實驗，實驗結果見圖2.

從圖2可知，參與訓練模型的相似舊問題數為5 時，RMSE和MAE最小，因此在使用GMNN時，將相似舊問題數設置為5.

在推薦回答者時，本文將問題中的回答所獲得的財富值按照數量進行了排名統計，并將財富值排名前N名的回答占該問題下總體的比例進行了計算，結果見表2.

從表2中可知，財富值排名最高的回答能夠獲得該問題下55.5%的財富值，財富值排名前五名的回答可以獲得94.8%的財富值.因此本文在對用戶回答問題可能獲得財富值進行排序時，選擇前5名為問題進行專家推薦.

對ALS的隱性向量長度進行分組實驗，實驗結果見表3.

從表3可知，隱性向量長度為70時，RMSE和MAE最小，因此在使用ALS分析用戶歷史回答數據，對用戶和問題隱性向量進行表示時，隱性向量長度設置為70.

3.5對比實驗

3.5.1不同模型之間的對比實驗

為了驗證本文提出GMNN算法的有效性，本文訓練了FM、DeepFM、Wide&Deep模型作為對比模型，在DeepFM模型對目標用戶的財富值預測時將提問者特征、問題文本LDA概率向量表示和回答者特征輸入網絡進行訓練.不同模型在測試集上的預測效果見表4.

通過分析表4可知，GMNN算法由于加入了記憶網絡且考慮了用戶的社交關系、偏好與能力，因此在化工問答社區數據上的表現優于其他三種流行的算法.

3.5.2數據集劃分對比實驗

為了驗證GMNN算法在海川化工數據集中不同時間數據的泛化性，本文采用交叉驗證方法對算法進行驗證.海川化工數據集由化工論壇2017年11月7日至2018年12月7日的問答數據構成，本文分別將6月～8月、8月～10月的問答數據作為測試集進行實驗，實驗結果如表5-6所示.

從表5、表6可以看出，GMNN算法對于海川化工數據集中不同時間的數據依然有很好的表現，說明該算法具有一定的泛化性.

3.6消融實驗

3.6.1用戶特征有效性分析

為了驗證本文提取用戶三部分特征的有效性，分別將用戶的隱形向量特征P，用戶認可度的特征矩陣G和用戶個人特征矩陣使用自編碼轉化為低維稠密的用戶個人特征矩陣E，三類特征進行不同的組合，輸入GMNN模型進行消融實驗，實驗結果見圖3.

通過對用戶不同維度特征輸入模型進行消融實驗，由圖3可以看出，融合了用戶的隱形向量特征P、用戶認可度的特征矩陣G和用戶個人特征矩陣E.三類特征的個人特征模型效果最好，驗證了本文設計面向用戶多維特征的聯合表示子網絡的有效性.

3.6.2用戶元路徑有效性分析

為了驗證本文提取兩條元路徑的有效性，本文分別將兩條元路徑生成的用戶網絡特征表示向量放人基于記憶的圖神經網絡模型進行消融實驗，實驗結果見圖4.

通過分析圖4可知，將用戶兩條元路徑共同生成的用戶網絡特征表示輸入模型進行訓練，比其他兩條元路徑單獨生成的用戶網絡特征表示效果好.

3.6.3注意力機制有效性分析

為了驗證本文采用的注意力機制的有效性，在數據集上進行注意力機制消融實驗，實驗結果見圖5.

由圖5可得，引人注意力機制的模型性能在數據集上有所提升.注意力機制可以解釋為不同用戶對待問題的不同視角，體現出不同用戶對同一問題的理解程度不同.說明了本文提出的基于注意力的新問題圖網絡表示學習的有效性.

4結論

數據稀疏和冷啟動是推薦系統目前面臨的主要挑戰，傳統的專家推薦算法無法有效建模新問題，本文提出一種基于記憶的注意力圖神經網絡推薦方法，對用戶進行多特征聯合表示學習，有效緩解數據稀疏問題，利用記憶網絡和注意力機制，從用戶的不同視角表示新問題.通過在海川化工問答社區數據集上的相關實驗，本模型的表現都優于同類模型，為解決數據稀疏和冷啟動問題提供了新的思路.

隨著推薦系統的發展，數據呈現多模態的發展趨勢，后續研究將重點設計針對不同模態的信息的統一框架使推薦系統建模更加準確.

參考文獻

[1]PEDRO J S，KARATZOGLOU A. Question recommendation for collaborative question answering systems with RankSLDA[C]//Rec- Sys ’14：Proceedings of the 8th ACM Conference on Recommender systems. 2014：193-200.

[2] MANDAL D P，KUNDU D，MAITI S. Finding experts in community question answering services：a theme based query likelihood language approach[C]//2015 International Conference on Advances in Computer Engineering and Applications.March 19- 20，2015，Ghaziabad，India. IEEE，2015：423-427.

[3] FAN W Q，MA Y，LI Q，et al. Graph neural networks for social recommendation[C]//WWW，'19：The World Wide Web Conference. 2019：417-426.

[4]王根生，潘方正.融合加權異構信息網絡的矩陣分解推薦算法[J].數據分析與知識發現，2020，4（12）：76-84.

WANG G S，PAN F Z.Matrix factorization algorithm with weighted heterogeneous information network[J].Data Analysis and Knowledge Discovery，2020，4（12）：76-84.（In Chinese）

[5] WESTON J E，SZLAM A D，FERGUS R D，et al.End-to-endmemory networks：US10664744[P].2020-05-26.

[6] HOCHREITER S，SCHMIDHUBER J. Long short-term memory [J].Neural Computation，1997，9（8）：1735-1780.

[7] LI S，JOUPPI N P，FARABOSCHI P，et al. MEMORY NETWORK：WO 2014178856 A1[P].

[8] MILLER A H，FISCH A J，DODGE J D，et al.Key-value memory networks：US20180357240[P].2018-12-13.

[9]何柔螢，徐建.基于注意力卷積神經網絡的工作票專家推薦方法[J].南京理工大學學報，2019，43（1）：13-21.

HE R Y，XU J. Expert recommendation for trouble tickets using attention-based CNN model[J]. Journal of Nanjing University of Science and Technology，2019，43（1）：13-21.（In Chinese）

[10]呂曉琦，紀科，陳貞翔等.結合注意力與循環神經網絡的專家推薦算法[J/OL].計算機科學與探索：1-12[2021-04-16].http：//kns. cnki.net/kcms/detail/11.5602.tp.20210324.1045.004.html.

LV X Q，JI K，CHEN Z X，et al. Expert recommendation algorithm by combining attention and recurrent neural network [J/OL]. Journal of Frontiers of Computer Science & Technology：1-12[2021-04-16]. （In Chinese）

[11] CHAUDHARI S，MITHAL V，POLATKAN G，et al An attentive survey of attention models[J]. ACM Transactions on Intelligent Systems and Technology，2021，12（5）：1-32.

[12] DEVLIN J，CHANG M W，LEE K，et al. BERT：Pre-training of Deep Bidirectional Transformers for Language Understanding[C]//Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies. Stroudsburg：ACL，2019：4171-4186.

[13] RENDLE S Factorization machines[C]//2010 IEEE International Conference on Data Mining December 13-17，2010，Sydney，NSW，Australia IEEE，2010：995-1000.

[14] GUO H F，TANG R M，YE Y M，et al DeepFM：a factorizationmachine based neural network for CTR prediction[C]//Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence August 19-26，2017 Melbourne，Australia California：International Joint Conferences on Artificial Intelligence Organization，2017：1725-1731.

[15] CHENG H T，KOC L，HARMSEN J，et al Wide & deep learning for recommender systems[C]//DLRS 2016：Proceedings of the 1st Workshop on Deep Learning for Recommender Systems 2016：7-10.