基于異質(zhì)注意力循環(huán)神經(jīng)網(wǎng)絡(luò)的文本推薦

牛耀強(qiáng),孟昱煜,牛全福

(1.蘭州交通大學(xué) 電子與信息工程學(xué)院,蘭州 730070; 2.蘭州理工大學(xué) 土木工程學(xué)院,蘭州 730050)

0 概述

隨著社交網(wǎng)絡(luò)技術(shù)的快速發(fā)展和廣泛使用,移動(dòng)端設(shè)備日益普及,在線問答系統(tǒng)如知乎等也得到了快速發(fā)展,已成為人們?nèi)粘Ｉ钪胁豢扇鄙俚囊徊糠?。在知識(shí)問答系統(tǒng)中存在大量的數(shù)據(jù)信息,如問題信息、答案信息、用戶信息等。同時(shí),在用戶與知識(shí)問答系統(tǒng)交互的過程中,會(huì)產(chǎn)生大量的行為數(shù)據(jù),如用戶搜索過的問題、用戶查看過的文本、用戶評(píng)論過的文章、用戶贊同的文章、用戶的收藏文章、用戶評(píng)論過的文章以及用戶關(guān)注的作者等。這些異質(zhì)數(shù)據(jù)中蘊(yùn)含著豐富的價(jià)值,對(duì)實(shí)體建模和信息挖掘有著重要的影響。但隨著問答系統(tǒng)中異質(zhì)數(shù)據(jù)的不斷增多,用戶畫像和精準(zhǔn)推薦已經(jīng)愈發(fā)具有挑戰(zhàn)性。

傳統(tǒng)的文本推薦方法主要分為協(xié)同過濾[1-2]、基于內(nèi)容的推薦[3]和混合型的推薦[4-5]。隨著網(wǎng)絡(luò)的飛速發(fā)展,交互的應(yīng)用遍布所有角落,用戶和文本之間的交互關(guān)系顯得十分的稀疏,傳統(tǒng)的推薦算法很難得到較好的應(yīng)用[6-7]。近年來,隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺和自然語言處理等領(lǐng)域取得的進(jìn)展,逐漸展現(xiàn)出其對(duì)數(shù)據(jù)特征進(jìn)行挖掘和提取的優(yōu)勢(shì)。而特征提取正是推薦系統(tǒng)中的重要環(huán)節(jié),特征學(xué)習(xí)的好壞關(guān)乎推薦系統(tǒng)的成敗,因此,業(yè)界逐漸開始研究深度學(xué)習(xí)領(lǐng)域。文獻(xiàn)[8]提出了一種多視角深度神經(jīng)網(wǎng)絡(luò)模型,模型通過分析用戶的瀏覽記錄和搜索記錄提取用戶的特征,從而豐富用戶的特征表示,然后通過用戶和項(xiàng)目兩種信息實(shí)體的語義匹配來實(shí)現(xiàn)用戶的項(xiàng)目推薦。文獻(xiàn)[9]研究了標(biāo)簽感知的個(gè)性化推薦問題,分別利用用戶的所有標(biāo)簽和項(xiàng)目的所有標(biāo)簽學(xué)習(xí)得到用戶和項(xiàng)目的隱表示,通過計(jì)算用戶隱表示和項(xiàng)目隱表示的相似度來產(chǎn)生推薦。對(duì)于微博文本推薦,文獻(xiàn)[10]提出了一種基于注意力的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)模型,將標(biāo)簽推薦看作一個(gè)多分類問題,其模型包括一個(gè)全局通道和一個(gè)局部注意力通道,用CNN作為特征提取的方法來獲取微博的特征。文獻(xiàn)[11]研究如何利用評(píng)論信息來進(jìn)行文本推薦的問題,提出一個(gè)基于注意力的CNN模型,該模型由一個(gè)用戶網(wǎng)絡(luò)和一個(gè)項(xiàng)目網(wǎng)絡(luò)組成,各網(wǎng)絡(luò)分別采用CNN從用戶的評(píng)論信息和項(xiàng)目的評(píng)論信息中學(xué)習(xí)用戶和項(xiàng)目的特征表示。目前由于循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)在處理序列問題的優(yōu)勢(shì),被廣泛地應(yīng)用到文本推薦任務(wù)中。文獻(xiàn)[12]提出一種基于注意力的長短時(shí)記憶(Long-Short Term Memory,LSTM)模型進(jìn)行微博標(biāo)簽推薦,該模型將注意力機(jī)制與RNN結(jié)合,其優(yōu)勢(shì)是既能抓住文本的序列特征,同時(shí)又能從微博中識(shí)別出最具有信息量的詞。文獻(xiàn)[13]提出基于注意力的記憶網(wǎng)絡(luò)來進(jìn)行微博的提示推薦,考慮到微博文本長度通常較短,且存在詞稀疏和詞同義等問題,僅僅使用語言模型(如詞嵌入模型)獲得的推薦效果通常非常有限,因此,利用學(xué)習(xí)用戶的歷史微博記錄得出的特征來建模用戶的興趣,提升了推薦的準(zhǔn)確性。這些推薦方法研究的重點(diǎn)從單一因素轉(zhuǎn)向充分利用大量異質(zhì)數(shù)據(jù)和關(guān)系網(wǎng)絡(luò),主要對(duì)用戶的長期興趣作出建議,而一些關(guān)于文本的心理學(xué)和社會(huì)學(xué)表明,用戶在特定時(shí)期的需求往往受到其當(dāng)時(shí)所處狀態(tài)的影響。例如,當(dāng)用戶在現(xiàn)實(shí)生活中遇到不同的問題時(shí),他們?cè)谥R(shí)問答系統(tǒng)中關(guān)注的話題也會(huì)發(fā)生變化。

為滿足用戶的這種需求,文獻(xiàn)[14]提出了短期推薦的重要性。在歌曲推薦領(lǐng)域,文獻(xiàn)[15]從移動(dòng)設(shè)備上收集用戶的短期信息,構(gòu)建一個(gè)將用戶短期信息和歌曲內(nèi)容相結(jié)合的概率模型,用于滿足用戶的短期需求。文獻(xiàn)[16-17]使用類似word2vec[18-19]的方法嵌入歌曲,進(jìn)行短期文本推薦。文獻(xiàn)[20]考慮了用戶在臨時(shí)會(huì)話中花費(fèi)在項(xiàng)目上的總時(shí)間。用戶與項(xiàng)目交互的時(shí)間越長,用戶的偏好就越強(qiáng)。他們使用2個(gè)帶注意機(jī)制的門控循環(huán)單元(Gated Recurrent Unit,GRU),從用戶行為數(shù)據(jù)模擬用戶總體偏好和主要目的,然后整合2個(gè)向量的結(jié)果,計(jì)算其與候選向量的相似性,得出推薦結(jié)果。文獻(xiàn)[21]提出一種分層RNN模型,該模型利用用戶的歷史信息來建模用戶的個(gè)人偏好變化,為用戶提供個(gè)性化的短期推薦。這些研究在短期推薦方面取得了一定的進(jìn)展,但大部分模型使用同質(zhì)數(shù)據(jù)得到用戶的特征表示,且使用詞袋模型作為推薦模型的輸入,這種方法丟失了句子的序列信息,對(duì)用戶特征提取并不完整,在訓(xùn)練過程中維數(shù)災(zāi)難和訓(xùn)練復(fù)雜度過高的缺點(diǎn)仍然明顯。

本文通過融合文本數(shù)據(jù)(知乎話題文本、答案文本和用戶信息文本)和關(guān)系網(wǎng)絡(luò)這2種異質(zhì)數(shù)據(jù),提出基于異質(zhì)注意力的循環(huán)神經(jīng)網(wǎng)絡(luò)模型。使用句子級(jí)的分布記憶模型(PV-DM)[22]和TransR[23]將文本和關(guān)系嵌入到維度相同的高維向量作為模型的輸入,以降低訓(xùn)練的復(fù)雜度。受機(jī)器翻譯[24]的啟發(fā),將編碼器-解碼器框架引入模型中,在編碼階段,將用戶在短期內(nèi)的興趣引入推薦模型中,經(jīng)注意力層與解碼器相連接,使解碼器能動(dòng)態(tài)地選擇并線性組合編碼器輸入序列的不同部分,以建模用戶在短期內(nèi)的偏好。

1 循環(huán)神經(jīng)網(wǎng)絡(luò)

1.1 RNN介紹

RNN[25]的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 RNN結(jié)構(gòu)Fig.1 RNN structure

給定一個(gè)輸入序列x=(x1,x2,…,xT),RNN通過迭代公式:

ht=σ(Uxt+Wht-1+bh)

(1)

yt=Vht+bo

(2)

計(jì)算t時(shí)刻隱層向量序列h=(h1,h2,…,hT)和輸出向量序列y=(y1,y2,…,yT)。其中,U為輸入層到隱層的權(quán)重矩陣,W為隱層之間的權(quán)重矩陣,bh為隱層偏置向量,σ為隱層激活函數(shù),常用的為Sigmoid函數(shù),V為隱層到輸出層的權(quán)重矩陣,bo為輸出層偏置向量。

1.2 雙向GRU

RNN在模型化序列問題時(shí)具有優(yōu)勢(shì),然而隨著隱藏層的增加,普通循環(huán)神經(jīng)網(wǎng)絡(luò)模型也會(huì)帶來梯度消散的問題。因此,文獻(xiàn)[26]提出了一種循環(huán)神經(jīng)網(wǎng)絡(luò)的變體,即長短時(shí)記憶模型(LSTM)。LSTM單元會(huì)以不受控制的方式在每個(gè)單位步長內(nèi)重寫自己的記憶,而且 LSTM 有專門的學(xué)習(xí)機(jī)制能夠在保持先前狀態(tài)的同時(shí),記憶當(dāng)前輸入數(shù)據(jù)的特征。LSTM 神經(jīng)網(wǎng)絡(luò)模型包含輸入門、遺忘門和輸出門3個(gè)門。GRU神經(jīng)網(wǎng)絡(luò)是LSTM的變體,相比于 LSTM,GRU只有重置門和更新門。LSTM單元和GRU單元對(duì)比如圖2所示。

圖2 LSTM 單元與 GRU 單元對(duì)比Fig.2 Comparison of LSTM unit and GRU unit

與LSTM相比,GRU神經(jīng)網(wǎng)絡(luò)的參數(shù)更少,不容易產(chǎn)生過擬合,且在訓(xùn)練過程中需要的迭代次數(shù)更少,收斂時(shí)間更短。GRU的計(jì)算步驟如下:

1)計(jì)算重置門rt與更新門zt,計(jì)算公式如下:

rt=σ(Wxrxt+Whrht-1)

(3)

zt=σ(Wxzxt+Whzht-1)

(4)

其中,xt為t時(shí)刻輸入層的輸入,ht-1為t-1時(shí)刻GRU單元的輸出,W是連接權(quán)重矩陣,σ為Sigmoid激活函數(shù)。

(5)

3)計(jì)算GRU單元狀態(tài)及輸出ht,計(jì)算公式如下:

(6)

傳統(tǒng)RNN存在的不足是它僅能夠利用正向序列中當(dāng)前時(shí)刻之前的內(nèi)容。而在文本情感分析中,從反向序列而來的當(dāng)前時(shí)刻之后的內(nèi)容對(duì)人物情感的判斷也具有十分重要的作用。因此,如果同時(shí)訓(xùn)練2個(gè)GRU神經(jīng)網(wǎng)絡(luò),一個(gè)采用正向序列學(xué)習(xí),另一個(gè)采用反向序列學(xué)習(xí),將正向和反向的最后一個(gè)狀態(tài)對(duì)應(yīng)的向量連接后得到的向量作為最后的結(jié)果,這樣來自于序列過去和未來的互補(bǔ)信息就可以整合到一起用于推理人物情感。雙向RNN[27]用2個(gè)獨(dú)立的隱層分別從正向和反向2個(gè)方向來處理數(shù)據(jù),以達(dá)到上述目的。本文使用的雙向GRU神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖3所示,可以從正向和反向2個(gè)方向來處理文本信息。

圖3 雙向GRU神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Structure of bidirectional GRU neural network

2 數(shù)據(jù)嵌入

2.1 關(guān)系嵌入

在線問答平臺(tái)包含大量的實(shí)體,這些實(shí)體相互連接形成一個(gè)巨大的關(guān)系網(wǎng)絡(luò),如作者和文本、文本和讀者用戶以及作者和讀者用戶之間的關(guān)系。另外,在閱讀的過程中,用戶會(huì)通過關(guān)注作者、評(píng)論文本或者標(biāo)記他們喜歡的文本來生成大量的交互式數(shù)據(jù)。傳統(tǒng)的嵌入方法很難從關(guān)系數(shù)據(jù)中提取到較多的有用信息。受知識(shí)圖譜的啟發(fā),本文使用TransR方法對(duì)關(guān)系網(wǎng)絡(luò)中的實(shí)體和關(guān)系進(jìn)行向量化。對(duì)于關(guān)系嵌入,一般方法是通過將關(guān)系視為從頭實(shí)體到尾實(shí)體的轉(zhuǎn)換來構(gòu)建實(shí)體和關(guān)系嵌入,即這些模型簡單地將實(shí)體和關(guān)系放在同一語義空間中,然而在現(xiàn)實(shí)生活中,由于各個(gè)實(shí)體所處關(guān)系的不同,這種方法顯然并不合理。TransR將實(shí)體和關(guān)系映射到多個(gè)不同實(shí)體空間和關(guān)系空間,并在相應(yīng)的關(guān)系空間中進(jìn)行轉(zhuǎn)換,如圖4所示。

圖4 TransR方法示意圖Fig.4 Schematic diagram of TransR method

實(shí)體的投影向量為:

hr=hMr,tr=tMr

(7)

得分函數(shù)為:

(8)

通過最小化上面的得分函數(shù),可以得到網(wǎng)絡(luò)中實(shí)體和關(guān)系的向量表示,為提高嵌入的泛化能力,需要對(duì)嵌入實(shí)體、嵌入關(guān)系和映射矩陣大小進(jìn)行限制,其中,‖h‖2≤1,‖r‖2≤1,‖t‖2≤1,‖hMr‖2≤1,‖tMr‖2≤1。

2.2 文本嵌入

在知識(shí)問答系統(tǒng)中,有許多文本描述數(shù)據(jù),如問題描述文本、答案內(nèi)容文本和用戶信息文本等,這些數(shù)據(jù)對(duì)實(shí)體建模有著重要的影響。類似于word2vec,PV-DM通過對(duì)句向量和詞向量的平均或連接來預(yù)測(cè)上下文中下一個(gè)單詞的概率,在本文實(shí)驗(yàn)中,使用串聯(lián)的方法來組合這兩個(gè)向量。如圖5所示,每個(gè)段落都映射到一個(gè)唯一的向量,由矩陣D中的一列表示,每個(gè)單詞也映射到一個(gè)唯一的向量,由矩陣W中的一列表示。具體來說,假設(shè)語料庫中共有N個(gè)句子和M個(gè)詞,每一段映射到p維度,每個(gè)單詞映射到q維度,那么模型總共有M×p+N×q個(gè)參數(shù)(不含Softmax參數(shù))。用數(shù)學(xué)語言描述,即給出了一系列訓(xùn)練單詞w1,w2,…,wt和一個(gè)段落di,詞向量模型的目標(biāo)是使平均對(duì)數(shù)概率最大化:

圖5 句向量模型示意圖Fig.5 Schematic diagram of sentence vector model

(9)

預(yù)測(cè)任務(wù)通常由一個(gè)多分類器執(zhí)行,如Softmax,因此,有:

(10)

每一個(gè)yi是每個(gè)輸出詞i的非標(biāo)準(zhǔn)化對(duì)數(shù)概率,計(jì)算公式為:

y=b+Uh(wt-k,…,wt+k,di;W,D)

(11)

其中,U和b是Softmax參數(shù),h由W中提取的詞向量與D中提取的段落向量串聯(lián)或平均構(gòu)成。與詞向量模型相比,PV-DM通過將段落信息映射到附加的矩陣D中作為段落信息的標(biāo)記,來表示當(dāng)前段落在上下文中的主要信息。

3 短期文本推薦

在短期文本推薦任務(wù)中,使用雙向GRU作為RNN的基本單元來獲取序列中的信息,并引入編碼器-解碼器框架。如圖6所示,在編碼階段,將用戶在短期內(nèi)的行為引入推薦模型中。使用上一節(jié)提到的方法分別將用戶在短期內(nèi)查看的話題信息、答案文本信息、文本的作者信息和關(guān)系網(wǎng)絡(luò)嵌入到高維向量中,然后通過首尾相連的方法拼接成同一個(gè)向量,作為編碼器的輸入(input1)。在編碼器和解碼器之間引入注意力機(jī)制,使解碼器能動(dòng)態(tài)地選擇并線性組合編碼器輸入序列的不同部分,來建模用戶在短期內(nèi)的偏好。注意力計(jì)算公式如下:

圖6 短期文本推薦模型架構(gòu)Fig.6 Architecture of short-term text recommendation model

αtj=s(ht,hj)=vTσ(Aht+Bhj)

(12)

(13)

其中,ht表示最終時(shí)刻的隱藏層狀態(tài),hj表示ht前一項(xiàng)隱藏層狀態(tài),A和B分別是ht和hj的傳遞矩陣,σ表示激活函數(shù),這里選擇Sigmoid函數(shù),用來計(jì)算最終隱藏層狀態(tài)ht和前一層hj之間的相似性,也即注意力權(quán)重αtj的值,表示任意時(shí)刻的輸入序列較當(dāng)前輸入序列的相對(duì)重要性,用來確定在提出建議時(shí)當(dāng)前輸入序列應(yīng)強(qiáng)調(diào)或忽略,ct表示短期序列的注意力得分。

通過帶有注意力機(jī)制的編碼器為不同時(shí)刻的輸入分配自適應(yīng)權(quán)值,來表示用戶在當(dāng)前會(huì)話的主要目的。在解碼器階段,將編碼器的注意力輸出ct、候選項(xiàng)和當(dāng)前用戶的表示作為輸入(圖6中的input2表示候選項(xiàng)和當(dāng)前用戶的表示)。候選項(xiàng)是當(dāng)前用戶長期已讀文本、已讀文本的作者信息和關(guān)系數(shù)據(jù)的拼接向量。然后通過雙向GRU層和前饋網(wǎng)絡(luò)層,計(jì)算每個(gè)候選項(xiàng)的得分。最后通過Softmax層將得分標(biāo)準(zhǔn)化。模型損失函數(shù)采用交叉熵?fù)p失函數(shù),公式如下:

(14)

其中,q是預(yù)測(cè)候選項(xiàng)位置分布,p是實(shí)際分布。

模型在雙向GRU層正向和反向各設(shè)置128個(gè)隱藏單元。在每個(gè)隱藏層后加入50%的dropout層,提高了模型的魯棒性和泛化能力。在解碼階段,將用戶短期內(nèi)閱讀的100個(gè)候選文本序列作為輸入,然后通過雙向GRU層和分別含有512個(gè)和256個(gè)隱藏單元的前饋層處理,模型使用Adam[29]進(jìn)行優(yōu)化。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 數(shù)據(jù)集

本文數(shù)據(jù)集來源于知乎,知乎是中國最大的知識(shí)問答系統(tǒng)之一,在這個(gè)平臺(tái)上可以獲得大量的完整數(shù)據(jù)。本文使用的數(shù)據(jù)來自于CCIR2018 競賽,數(shù)據(jù)包括部分用戶信息、用戶讀一個(gè)文本/答案之前的已讀序列、未讀序列以及所有的文本信息。在實(shí)驗(yàn)中,使用100 000個(gè)記錄作為訓(xùn)練集,20 000個(gè)記錄作為測(cè)試集。在本文數(shù)據(jù)集中共使用5種實(shí)體和14種關(guān)系類型,如表1和圖7所示。

表1 數(shù)據(jù)集中的實(shí)體和關(guān)系類型Table 1 Entities and relationships types in the dataset

圖7 實(shí)體和關(guān)系類型示意圖Fig.7 Schematic diagram of entities and relationships types

4.2 對(duì)比實(shí)驗(yàn)

將本文提出的模型分別與2種傳統(tǒng)的推薦方法和1種神經(jīng)網(wǎng)絡(luò)模型進(jìn)行比較。

TF-IDF:TF-IDF是一種統(tǒng)計(jì)方法,用來評(píng)估某個(gè)字詞對(duì)于一個(gè)語料庫或一個(gè)文件集中的其中一份文件的重要程度。詞的重要性隨著字詞在文件中出現(xiàn)的次數(shù)成正比。本文將每個(gè)文本表示成TF-IDF向量的形式,通過計(jì)算目標(biāo)向量與序列的得分進(jìn)行推薦,計(jì)算方式如下:

(15)

ItemKNN:ItemKNN[29]是一種常用的協(xié)同過濾算法。文本間的相似性通過用戶查看文本序列的頻率來衡量。

MEM:文獻(xiàn)[17]提出的模型。首先通過使用用戶查看文本記錄和相應(yīng)的元數(shù)據(jù)(包括用戶信息、答案信息等)來學(xué)習(xí)文本的嵌入,然后根據(jù)嵌入的結(jié)果推斷并模擬用戶對(duì)文本內(nèi)容的全局和上下文偏好;最后根據(jù)目標(biāo)用戶的偏好推薦合適的文本內(nèi)容,滿足用戶的短期要求。

4.3 評(píng)價(jià)指標(biāo)

在本文實(shí)驗(yàn)中,為了評(píng)價(jià)模型的推薦效果,使用召回率(Recall)和均值平均精度 (mean Average Precision,mAP)作為推薦結(jié)果的評(píng)估指標(biāo)。

Recall:在評(píng)價(jià)推薦算法時(shí),召回率是常用的評(píng)價(jià)指標(biāo),其表示推薦列表中用戶喜歡的文本與用戶真正喜歡的文本之間的比率。

mAP:召回率只是衡量用戶喜歡的項(xiàng)目有沒有被推薦,而與推薦的順序并無關(guān)系,在Top-N推薦中,推薦列表的順序也是極其重要的。在文本推薦任務(wù)中,使用mAP作為實(shí)驗(yàn)的指標(biāo)之一,計(jì)算公式如下:

(16)

(17)

其中,Ωu表示推薦列表中用戶喜歡的文本是否在用戶真正喜歡的文本中,若是,則取1,否則取0;再累計(jì)相加,pui表示i文本在推薦列表中的位置,puj

4.4 參數(shù)設(shè)置

本文提出的基于異質(zhì)注意力卷積神經(jīng)網(wǎng)絡(luò)模型分別將文本數(shù)據(jù)和關(guān)系網(wǎng)絡(luò)嵌入到100維的向量中,然后通過拼接的方法得到共200維的輸入向量。模型訓(xùn)練時(shí)初始學(xué)習(xí)速率設(shè)置為0.001,最小批處理大小為256。該模型是在Keras的GeForce GTX 1080Ti GPU上定義和訓(xùn)練的。

4.5 實(shí)驗(yàn)結(jié)果

4.5.1 模型結(jié)果對(duì)比

將本文所提模型與選擇的其他模型的結(jié)果進(jìn)行比較,實(shí)驗(yàn)結(jié)果如圖8所示。

圖8 各模型在數(shù)據(jù)集上的結(jié)果Fig.8 Results of each model on the dataset

無論從召回率或是MAP來排序,本文提出的基于異質(zhì)注意力的循環(huán)神經(jīng)網(wǎng)絡(luò)模型都優(yōu)于其他模型。如表2所示,在Top-15推薦中,與TF-IDF和ItemKNN相比,在召回率方面,本文模型比TF-IDF提高了30.03%,比ItemKNN提高了18.31%;在更加注重推薦排序的mAP方面,本文模型比TF-IDF提高了37.78%,比ItemKNN提高了27.66%。這表明僅僅計(jì)算文本的相似度對(duì)用戶長期偏好的建模是不足的,還應(yīng)考慮用戶的短期興趣。相比于傳統(tǒng)模型,神經(jīng)網(wǎng)絡(luò)模型MEM取得了一定的效果,而本文模型在召回率和mAP各方面都優(yōu)于MEM,尤其是在更加注重推薦排序的mAP方面,在Top-15推薦方面,本文模型比MEM提高了13.95%,說明了本文模型優(yōu)異的性能。由此證明,本文使用多源異質(zhì)數(shù)據(jù)作為推薦模型的輸入和通過注意力機(jī)制將用戶的短期興趣引入推薦模型來滿足用戶的短期需求,大幅提高了推薦的準(zhǔn)確性。

表2 在Top-15中各模型的實(shí)驗(yàn)結(jié)果Table 2 Experimental results of each model in Top-15

4.5.2 模型設(shè)計(jì)分析

為驗(yàn)證本文模型推薦準(zhǔn)確性的提升,將模型輸入數(shù)據(jù)的多樣性和通過注意力機(jī)制把用戶的短期興趣引入推薦模型的設(shè)計(jì),同時(shí)做了以下實(shí)驗(yàn):1)在模型的基礎(chǔ)上只使用文本信息作為模型的輸入;2)在模型的基礎(chǔ)上只使用關(guān)系網(wǎng)絡(luò)作為模型的輸入;3)在輸入數(shù)據(jù)不變的前提下,推薦模型只使用解碼器部分,即將用戶的短期興趣不單獨(dú)引入模型中。實(shí)驗(yàn)結(jié)果如圖9所示。

圖9 模型設(shè)計(jì)分析結(jié)果Fig.9 Results of model design analysis

從圖 9可以得出,使用基于異質(zhì)注意力的循環(huán)神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)可以有效提升實(shí)驗(yàn)效果,這也說明將文本信息和關(guān)系網(wǎng)絡(luò)嵌入到高維向量,并使用注意力機(jī)制將用戶的短期興趣引入到推薦模型,設(shè)計(jì)更有效的建模用戶的偏好,能夠得到更準(zhǔn)確的用戶個(gè)性化推薦效果。

4.5.3 嵌入維數(shù)對(duì)推薦結(jié)果的影響

本文研究特征嵌入維數(shù)對(duì)模型性能的影響。在本文模型中,使用文本數(shù)據(jù)和關(guān)系網(wǎng)絡(luò)這2種異質(zhì)數(shù)據(jù),本文實(shí)驗(yàn)將一種數(shù)據(jù)嵌入0～300的維度,另一種數(shù)據(jù)保持100維不變,實(shí)驗(yàn)結(jié)果如圖10所示。

圖10 嵌入維數(shù)對(duì)推薦結(jié)果的影響Fig.10 Influence of embedding dimension numbers on recommendation results

隨著特征嵌入維數(shù)增加,模型的性能慢慢提高并逐漸趨于穩(wěn)定,當(dāng)嵌入維數(shù)小于100時(shí),嵌入維度對(duì)模型性能有較大影響;當(dāng)嵌入維度大于100時(shí),模型性能趨于穩(wěn)定;當(dāng)設(shè)置嵌入維度為0時(shí),也即刪除這種輸入數(shù)據(jù),模型性能大幅降低,表明這2種數(shù)據(jù)對(duì)模型性能都是極其重要的。

5 結(jié)束語

本文提出基于異質(zhì)注意力循環(huán)神經(jīng)網(wǎng)絡(luò)的短期文本推薦模型,將融合多源異質(zhì)數(shù)據(jù)作為模型的輸入,增強(qiáng)模型對(duì)用戶興趣的理解能力,運(yùn)用編碼器-解碼器框架,在編碼器階段,將用戶的短期興趣引入到推薦模型中,并使用注意力機(jī)制與解碼器相連接,通過雙向GRU神經(jīng)網(wǎng)絡(luò)對(duì)用戶的短期興趣進(jìn)行建模。實(shí)驗(yàn)結(jié)果表明,與通用模型和神經(jīng)網(wǎng)絡(luò)模型相比,本文模型性能取得了較大的提升,證明了模型的有效性。下一步考慮將深度學(xué)習(xí)與文本推薦相結(jié)合,以取得更好的推薦效果。