一種基于社交行為融合的自注意力序列推薦模型

彭甫镕，任柯舟，郭 鑫，馬國帥，趙 鵬

1(山西大學 大數(shù)據(jù)科學與產(chǎn)業(yè)研究院，太原 030006) 2(太原科技大學 計算機科學與技術學院，太原 030024)

1 引 言

在實際生活中，用戶的興趣是隨時間的變化而改變的，并且用戶的這種興趣遷移在行為上的體現(xiàn)通常是有前后關系的，而不是獨立存在的.與傳統(tǒng)的推薦系統(tǒng)不同，序列推薦系統(tǒng)通過挖掘用戶行為記錄中的序列關系，將用戶-項目的交互當作一種動態(tài)的序列，充分考慮了用戶的興趣偏移.大多數(shù)序列推薦模型基于RNN和CNN等神經(jīng)網(wǎng)絡模型，RNN依賴與前一時刻的計算結果無法很好的并行運算，并且RNN和CNN都無法很好的處理長距離依賴問題.因此，學者需要分別對用戶的短期動態(tài)特征和長期靜態(tài)特征進行建模，最后融合這兩種特征得到用戶的偏好.而2017[1]年在機器翻譯中大放異彩的自注意力機制可以有效地處理長距離依賴問題，并且由于當前時刻輸入與前一刻的計算結果無關可以很好的進行并行計算.Wang-Cheng Kang[2]等人應用self-attention機制在“下一項推薦”問題上取得了很好結果.

序列推薦中往往因為數(shù)據(jù)稀疏問題而導致推薦效果不佳，研究人員開始引入社交的信息來緩解這些問題[3，4，13-15].社交關系理論一般假設在強社交關系的影響下，用戶與社交鄰居之間有相似的偏好，因此可以作為額外信息緩解數(shù)據(jù)稀疏問題.例如，Hao Ma[3]等人提出一種基于矩陣分解的融合社交模型，同時對用戶矩陣和社交矩陣進行分解，來緩解數(shù)據(jù)稀疏的問題.而Chong Chen[4]使用注意力記憶網(wǎng)絡根據(jù)用戶和朋友偏好的相似度對用戶的朋友進行區(qū)分，然后在用戶特征中融入具有相似偏好的朋友特征，從而提高推薦準確度.Wenqi Fan[5]等人基于GCN提出了GraphRec 框架進行社交推薦，整個模型分為用戶模型、項目模型和評分模型3部分.其中用戶模型同時考慮用戶與項目的關系及用戶與用戶之間的關系.這些工作都在推薦中融入了社交信息并取得了很好的效果.然而這些融合方式通常假設用戶的社交情況是不變的，但事實上用戶的社交關系是隨著時間而變化的.

為解決上述問題，本文提出了一種基于社交行為融合的自注意力序列推薦模型(SBFR)，本模型利用自注意力機制捕獲用戶的動態(tài)興趣特征，使用注意力機制捕獲用戶與朋友的社交興趣，通過融合用戶的動態(tài)興趣和社交興趣生成用戶下一項推薦.本文的主要貢獻如下：

1)使用注意力機制建模用戶在朋友圈的社交興趣，通過引入社交數(shù)據(jù)來緩解數(shù)據(jù)稀疏問題.

2)使用數(shù)據(jù)融合機制，將用戶的動態(tài)興趣與社交興趣進行融合，獲得較好的推薦效果.

3)在兩個數(shù)據(jù)集上測試本模型，實驗結果表明本文提出的SBFR模型能獲得3%-8%的性能提升.

2 相關工作

序列推薦系統(tǒng)(SRSs)已經(jīng)吸引了越來越多的注意，它通過1個序列模型來構建用戶隨時間偏移的興趣，可以有效地提高推薦系統(tǒng)的推薦效果.因為RNN和CNN等基于深度神經(jīng)網(wǎng)絡的序列模型可以準確地提取序列關系，因此被大量應用于序列推薦.Robin Devooght[6]等人使用RNN循環(huán)神經(jīng)網(wǎng)絡學習用戶的序列信息進行下一項推薦，取得了不錯的效果.Qiao Liu[7]等人提出了一種新的短期注意/記憶優(yōu)先模型，該模型能夠從序列中捕獲用戶的靜態(tài)特征，同時從用戶的最后一項點擊得到用戶的動態(tài)特征.然而深度學習模型大多都不能很好的處理長距離依賴問題，導致模型的推薦效果較差[2].

注意力機制模仿人類觀察行為的內部過程，2014[8]年被應用到機器翻譯任務中，取得了很好的效果，隨后被應用到各類自然語言處理任務中.注意力機制也被應用到推薦中，Haochao Ying[9]等人提出了兩層分層注意力網(wǎng)絡，第1層使用注意力機制學習用戶的靜態(tài)特征，第2層耦合用戶的靜態(tài)特征和動態(tài)特征.Jingyuan Chen[10]等人，從項目和組件兩個級別考慮，分別使用注意力機制捕獲用戶對項目的偏好和對項目內組件的偏好.Shengchao Ma[11]等人提出了自注意力的協(xié)作神經(jīng)網(wǎng)絡模型(SATCoNN)，將用戶相似度和項目相似度結合在一起.該模型使用GRU模型和自注意力來對用戶序列建模，同時考慮了用戶的購物風格和用戶與用戶之間的相似性.并在兩個數(shù)據(jù)集上驗證了他們的算法，相對于BPR等算法有較大提升.在2017[1]年提出的自注意力機制(Self-Attention)拋棄了對CNN或LSTM等循環(huán)神經(jīng)網(wǎng)絡的依賴，使得自注意力成為一種新的序列處理模型.Wang-Cheng Kang[2]等人完全基于自注意力機制來處理用戶序列，在密集數(shù)據(jù)和稀疏數(shù)據(jù)上與RNN和CNN等序列推薦模型進行對比都取得了較好的結果.Shuai Zhang[12]等人使用自注意力機制對用戶的短期意圖進行建模，同時使用協(xié)同度量學習模型對用戶的長期意圖進行建模，也取得了不錯的效果.

在推薦中利用額外的信息可以有效的緩解數(shù)據(jù)稀疏問題，從而提高推薦效果.引入社交信息解決稀疏性問題得到了越來越多的關注，也呈現(xiàn)了很多社交推薦算法[3，13，14，15].Ma[3]等人在2008年提出了一個基于矩陣分解的社交推薦模型SoRec，該模型分別對評分矩陣和社交矩陣進行分解，通過在兩個矩陣共享一個用戶低維空間向量的方式建立兩個矩陣之間的連接.之后的研究人員分別從信任關系和局部社交的角度出發(fā)處理社交信息.Fang[13]等人將信任信息分為4個維度，從4個維度來融合社交信息.Ma[14]等人在2009年又提出一種全新的融合社交的方式RSTE，利用社交權重對用戶的社交信息進行加權求和，然后將加權結果作為用戶行為特征的補充信息.Tang[15]等人提出了基于社交維度的推薦模型SoDimRec，使用已有的重疊社區(qū)發(fā)現(xiàn)算法從社交網(wǎng)絡中挖掘社團，并在此基礎上構建社交推薦模型，這些模型都極大的緩解了評分數(shù)據(jù)稀疏的問題.本文使用注意力機制來動態(tài)捕獲用戶之間的社交興趣，然后將這種社交興趣融入到序列模型中.

3 預備知識

3.1 注意力機制

注意力機制看作一個從查詢和鍵值對到輸出的映射，輸入是查詢向量Q和關鍵字矩陣K和值矩陣V，并且在注意力機制的大部分應用中，K和V是來自同一矩陣[2]，通過計算向量Q和矩陣K各行向量的相似度得到V各行向量的權重，再對V進行加權求和得到輸出.一般的注意力的計算方法定義如下[1]：

(1)

注意力機制往往依賴于序列模型(如CNN和LSTM等)的輸出作為查詢Q，而自注意力機制則拋棄了這些序列模型，將用戶的查詢Q向量包含于鍵K和值V的矩陣中，從而減少了對外部查詢的依賴，增加了對序列內部信息的捕捉.

3.2 符號定義

4 基于社交行為融合的社交推薦模型

4.1 模型框架

(2)

其中λ是社交權重融合的超參數(shù)，取值在范圍是(0，1)，控制了用戶社交興趣對用戶行為的影響程度.本文將提出融合社交朋友行為與用戶歷史行為的模型稱為SBFR模型.模型的總體框架如圖1所示.

圖1 模型框架

下面分別從特征嵌入層、用戶動態(tài)興趣建模和用戶的社交興趣建模3個方面來描述提出的模型.

4.2 特征嵌入層

用戶的歷史交互項目信息只有項目編號，難以作為模型的直接輸入，需要將項目數(shù)據(jù)進行表示學習[16].本文參照Word Embedding思想[17]，對每一個項目進行嵌入得到相應的表示向量.具體做法是將用戶歷史交互序列作為嵌入層的輸入，通過檢索項目嵌入矩陣I∈RN×d(d是特征維度)，得到用戶u的項目特征：

Gu=embedding(I，Ru)

(3)

(4)

為保證模型輸入長度固定，截取用戶歷史交互項目序列最后的n項作為模型的輸入，n是模型處理的序列長度.如果交互序列大于n，則取序列的后n項.如果小于n，則在序列的前端補0直到長度為n.

4.3 用戶動態(tài)興趣建模

由于自注意力機制可捕獲長距離依賴關系并適用于并行加速的優(yōu)點，因此使用自注意力機制來對用戶交互序列進行建模，得到用戶動態(tài)興趣[2].

(5)

為了增加模型的非線性和不同潛在維度之間的相互作用，加入前饋神經(jīng)網(wǎng)絡.

(6)

其中W1、W2∈Rd×d，b1、b2∈Rd.

為了增添模型的對數(shù)據(jù)的擬合能力和提升計算速度，仿照[1，2]添加多頭操作，對多個注意力模型進行疊加.由于在堆疊注意力和前饋網(wǎng)絡后，會產(chǎn)生過度擬合和不穩(wěn)定的訓練(例如消失的梯度).是為解決上述問題，使用layerNorm來穩(wěn)定和加速神經(jīng)網(wǎng)絡訓練，dropout來解決過擬合問題并采用殘差連接來解決深層網(wǎng)絡訓練問題.假設任意網(wǎng)絡層(自注意力層或全連接層)z=y(x)的輸入是向量x輸出是z，對輸入x執(zhí)行l(wèi)ayerNorm操作，對y(x)的輸出執(zhí)行dropout操作并將輸入x與dropout的結果進行殘差連接得到最終輸出z.增加以上操作以后原來的網(wǎng)絡層z=y(x)變?yōu)槿缦滦问剑?/p>

z=x+droupout(y(layerNorm(x)))

(7)

其中l(wèi)ayerNorm的定義為：

(8)

其中⊙是向量的點乘，μ和σ是x的均值和方差，α和β是學習的比例因子和偏差項.本文中α和β是設定好的參數(shù)，分別為1和0.

4.4 用戶的社交行為建模

通過檢索項目嵌入矩陣，得到m個朋友交互項目的特征：

HFu=embedding(I，Xu)

(9)

其中HFu∈Rmn×d.

為獲得而用戶的社交向量，將用戶u在t時刻的項目嵌入特征看作查詢Q，將用戶u的朋友行為看作關鍵字K和值V，得到用戶u在t時刻的社交興趣：

(10)

4.5 下一項目的評分預測

根據(jù)公式(2)得到的用戶在t+1時刻的興趣特征，使用矩陣分解模型的思想[3]來計算用戶u對第i個項目的偏好得分，計算公式如下所示：

(11)

其中，Ii∈Rd是項目Ii潛在特征向量.

4.6 模型訓練

以用戶歷史交互記錄的任意一個時刻t為分界線，t時刻和t之前的行為序列作為輸入，t+1時刻的交互項目作輸出.從該用戶的未交互項目中隨機選取負樣本j?Ru.采用二元交叉熵損失作為損失函數(shù)[2]：

(13)

其中在計算過程中忽視填充項目，θ(x)=1/(1+e-x)將預測值轉換到(0，1)之間.

模型通過Adam[18]優(yōu)化器優(yōu)化，該優(yōu)化器是具有自適應功能的隨機梯度下降(SGD)的變體，同時結合了AdaGrad和RMSProp兩種優(yōu)化算法的優(yōu)點.

5 實驗設置及結果分析

5.1 數(shù)據(jù)集

本文在兩個公開數(shù)據(jù)集CiaoDVD和Last_MF上驗證算法的性能.CiaoDVD數(shù)據(jù)集是一個隱式反饋的電影評分數(shù)據(jù)集，該數(shù)據(jù)集統(tǒng)計了從2000年5月31日-2013年11月28日，共17615個用戶對16121部電影的72665次評分，平均每位用戶的交互序列長度為4.12.并包含每次交互的時間信息及用戶之間22484條社交關系.Last_MF數(shù)據(jù)集是一個隱式反饋的音樂數(shù)據(jù)集，該數(shù)據(jù)集統(tǒng)計了從2005年8月1日-2011年5月9日，總共1892個用戶與12523個作曲家的186479條交互記錄，平均每位用戶的交互序列長度為98.56.同時該數(shù)據(jù)集包含每次交互的時間信息及用戶之間25434條社交關系.

5.2 評價指標

為了評估推薦性能使用兩個常用的Top-N指標：HR@10[18]和NDCG@10[19]，并使用留一法(leave-one-out)[2]進行評估.

留一法(leave-one-out)使用每一位用戶最近的一次交互作為測試集的正樣本，利用剩下的部分作為訓練集.使用隨機策略，從用未戶交互的項目集中選取100個作為負樣本，將正樣本加入到這100個項目形成測試集合.

命中率(HR@10)一種常用的衡量召回率的指標，直觀地衡量被接受項目是否存在于推薦系統(tǒng)返回的前10名列表中：

(14)

式中U是用戶的集合，1(lu，i<10)是指示函數(shù)，當lu，i<10時為1，否則為0.lu，i表示算法預測的測試項目在測試集中的序列位.

歸一化折損累計增益(NDCG@10)相對于命中率加入了位置因素，當期望的結果出現(xiàn)在更靠前的位置的時候，指標會越高：

(15)

5.3 對比方法及實驗參數(shù)設定

為了驗證模型的性能，將本文提出的算法分別與序列推薦算法(SASRec和AttRec)和社交推薦算法(SoRec)進行對比.

SASRec[2]：在捕獲用戶的長期依賴的同時能根據(jù)相對較少的項目做出預測，并且在多個數(shù)據(jù)集與多個對比方法進行比較都取得很好的效果.

AttRec[12]：該模型同時涵蓋了用戶的長短期興趣建模.使用自注意力機制對用戶的短期意圖進行建模，同時使用協(xié)同度量學習模型對用戶的長期意圖進行建模.

表1中展示了我們的算法在兩個數(shù)據(jù)集上的參數(shù)設置.

表1 實驗參數(shù)設置

表1中n表示用戶與商品交互序列的最大長度，maxfri表示最大朋友個數(shù)，dropout表示丟失率，λ表示用戶的社交權重，batch_size表示一次訓練的用戶個數(shù).

5.4 實驗結果及分析

1)隱特征維度對算法性能的影響力分析

嵌入模型的隱特征維度對模型的建模能力有較大影響，圖2顯示所有模型的NDCG@10和HR@10指標值與不同隱特征維度d的關系.從圖中可以看出，本文提出的模型隨著維度d呈現(xiàn)線性遞增，但整體幅度并不是很大.在Last.fm數(shù)據(jù)集上因用戶交互數(shù)據(jù)密集的原因，融合社交的優(yōu)勢沒有很好的體現(xiàn)，本文提出的SBFR模型在d=10時的表現(xiàn)略低，但當d≥20時都有很好的表現(xiàn).而在數(shù)據(jù)稀疏的CiaoDVD數(shù)據(jù)集上提出的模型均優(yōu)于其余的模型.實驗結果表明所提出的SBFR模型的性能在隱特征維度變化方面相對穩(wěn)定，在各個維度均能保持較好的推薦性能，并在d=50是取得最好的效果.與Last.fm相比CiaoDVD數(shù)據(jù)集的平均用戶序列長度只有4.12，使用留一法后導致平均用戶的訓練長度只有2.12(1個樣本用于性能測試，1和樣本作為訓練標簽)，對于每個用戶而言存在嚴重的數(shù)據(jù)稀疏問題，而AttRec是一種個性化序列推薦模型，通過每個用戶的交互序列生成用戶的個性化特征，而稀疏的交互數(shù)據(jù)很難生成較好的用戶個性化特征，從而導致圖2(c)、圖2(d)中AttRec在CiaoDVD數(shù)據(jù)集上的結果在接近于0.而SASRec和SBFR模型沒有用戶的個性化特征，雖然每個用戶的交互項目較少，但在訓練過程中可以依賴其余用戶的交互來訓練物品特征，雖然也會導致模型的推薦效果下降但不會產(chǎn)生接近于0的結果.

圖2 潛在維度d對排名表現(xiàn)的影響

2)SBFR模型與其他模型的最優(yōu)結果對比

本文分別在兩個數(shù)據(jù)集上對所有模型進行了測試，各模型的最優(yōu)結果如表2所示.從表2看出，本文提出的SBFR模型在Last.fm和CiaoDVD的HR指標上分別有3.7%和3.3%的提升，在NDCG指標上有6.4%和8.5%的提升.SBFR模型在兩個數(shù)據(jù)集的兩個指標上推薦性能均有不同程度提升，特別是在NDCG指標上，可以看出SBFR模型的結果在推薦序列的排序中更加靠前.

表2 在兩個數(shù)據(jù)集上的性能展示

SBFR模型相較于SASRec模型和AttRec模型，在序列信息的基礎上增加了社交信息，通過融合社交信息提高了推薦的效果.雖然SASRec和AttRec都是使用自注意力機制的序列推薦模型，但SASRec使用多層疊加提升了模型的推薦效果，因此SASRec有比AttRec更好的推薦效果.同時AttRec是一種個性化序列推薦模型，從4.1數(shù)據(jù)集的分析中可以看出CiaoDVD數(shù)據(jù)集的平均用戶序列只有4.12，因此AttRec在生成個性化用戶特征時存在嚴重的數(shù)據(jù)稀疏問題，最終導致性能下降.

3)社交權重對SBFR模型的影響

SSBFR模型最后通過社交權重λ來融合用戶的動態(tài)興趣和社交興趣，因此可以通過調節(jié)λ來改變社交興趣在模型中的重要性程度.圖3中展示了SBFR模型在的NDCG和HR指標隨λ的變化過程.當λ為0.0時模型只保留了動態(tài)興趣忽視了社交興趣，而當λ為1.0時模型只保留社交興趣忽視了動態(tài)興趣.從圖中可以看出，當λ為0.0和1.0時模型性能較差，而按一定比例將動態(tài)興趣與社交興趣融合時效果有所提升.從結果可以看出，當λ為0.4時SBFR模型在Last.fm數(shù)據(jù)集取得最優(yōu)的推薦效果，當λ為0.3時在CiaoDVD數(shù)據(jù)集上得到最優(yōu)的推薦效果.實驗結果表明將用戶的動態(tài)興趣和社交興趣特征進行融合可以有效的提高推薦效果.

圖3 社交權重對推薦效果的影響

4)社交行為中的注意力權重

本文通過注意力機制對用戶朋友的社交行為進行聚合，在Last.fm數(shù)據(jù)集上隨機挑選一個用戶u(編號為1473)，獲取其朋友(編號分別為15和47)10個項目(項目編號分別為89，89，89，4709，8716，14185，1377，18267，606，622)的注意力權重值進行分析.

如圖4所示，圖中x軸為用戶朋友的10個交互項目，y軸為注意力權重值.取用戶u的3個時刻，分別為第1時刻(2009年10月1號)、第3時刻(2009年11月1號)和第13時刻(2009年12月1號).圖4(a)中的并列柱狀圖從左到右分別表示用戶在3個第1、第3和第13共3個不同時刻對10個項目的注意力權重.從中看出，在不同的時刻用戶對相同項目的注意力權重不同，說明用戶在不同時刻受社交朋友的影響也是不同的，因此用戶在不同時刻融合的社交行為也是不同的.

圖4 交行為中的注意力權重

圖3(b)展示了一個特殊的項目權重，目標用戶在11及12時刻有重復的交互項目89，并且該項目也重復出現(xiàn)在其朋友(編號：15)的行為中.可以看出這3個項目的權重值大于之后幾項，說明在社交融合過程中，注意力機制會根據(jù)用戶的當前興趣挑選與用戶當前興趣相似的朋友行為，從而在融合過程中將更多的注意力放在這些行為中.

從圖4(a)和圖4(b)中看出，本文的模型會在不同的時刻根據(jù)用戶的當前興趣來從朋友行為中聚合那些與當前興趣相似的行為.

6 結 語

序列推薦通過對用戶交互信息的處理，能很好的預測用戶的下一項交互項目.本文在序列推薦的基礎上引入社交信息來緩解推薦系統(tǒng)的數(shù)據(jù)稀疏問題，根據(jù)交互的時間特征使用注意力機制來動態(tài)嵌入社交信息.實驗表明通過社交信息與時序模型的融合，所提出的模型在兩個數(shù)據(jù)集上性能都有不同的提升.下一步工作將考慮使用圖神經(jīng)網(wǎng)絡來對用戶的社交網(wǎng)絡進行處理，更加精準地提取用戶的社交信息，從而進一步提高推薦效果.