基于RoBERTa和圖增強Transformer的序列推薦方法

王明虎,石智奎,蘇佳,張新生

(西安建筑科技大學管理學院,陜西 西安 710055)

0 引言

隨著互聯網的飛速普及和全球數字化工程的不斷推進,互聯網用戶量呈指數級增長,導致網絡信息的過載問題愈發突出。推薦系統作為緩解大數據時代用戶獲取信息壓力的重要手段,已經在人們日常生活的各個領域得到廣泛應用,如在多媒體平臺(抖音、快手)、個性化廣告(朋友圈廣告)以及網絡購物(亞馬遜、淘寶)等場景中均發揮著重要作用。推薦算法作為推薦系統的核心組成部分,不僅直接影響用戶的使用體驗,還代表著互聯網企業的重要競爭力,因此,提高推薦算法的推薦精度、增強系統的個性化推薦效率,對提高用戶滿意度和增加企業營收都具有十分重要的現實意義。

當前主流的推薦系統大多都是基于協同過濾的推薦算法,其主要思想是通過計算用戶或者商品之間的相似度來預測用戶對商品的喜好程度,根據相似度的高低依次進行推薦。這種推薦方法過度依賴用戶對商品的歷史評分,然而現實中用戶對商品的評分數據是極度稀少的。為解決該問題,基于矩陣分解(MF)[1]的協同過濾推薦方法相繼被提出,如文獻[2]將改進的交替最小二乘法(ALS)與在線學習相結合提高推薦效率,文獻[3]利用奇異值分解(SVD)技術對降維后的評分矩陣進行數據填充并完成聚類推薦。盡管這些方法能夠有效增強模型對稀疏數據的處理能力,但是在實際應用中并不能達到理想的性能提升,數據信息的貧乏仍然在很大程度上限制著推薦模型的預測效果。

近年來,隨著深度學習在自然語言處理領域的廣泛應用,不少學者將文本信息引入推薦系統,通過挖掘文本數據獲取用戶與物品的隱藏特征,利用卷積神經網絡(CNN)[4]和注意力機制[5]等方法處理屬性信息或文本評論,增強模型學習效果。單從性能提升上來看,上述方法均有著良好表現,但也存在一定的局限性,無法捕獲不同用戶或物品之間復雜的相互關系。而圖神經網絡(GNN)[6]可以將用戶或項目的相互關系表示成圖,通過聚合鄰居節點的不同信息提高模型的表示能力,然而GNN模型也存在無法處理用戶行為序列的問題,忽略了不同項目在用戶行為序列中的重要性。

針對上述問題,本文通過對比學習不同推薦方法,提出一種基于RoBERTa和圖增強Transformer的序列推薦(RGT)方法。本文主要工作如下:

1)引入評論文本,采用預訓練的RoBERTa模型深度挖掘文本信息的潛在特征,捕獲語義特征,增強模型的學習表示能力。

2)構建商品關聯有向圖,利用圖注意力網絡計算不同商品之間的權重信息,獲取不同商品之間存在的關聯表征。

3)設計圖增強Transformer模型,從用戶的行為信息出發,利用商品關聯有向圖構建用戶對應的商品序列,并輸入Transformer編碼層獲取用戶的行為特征表示, 最后融合語義特征和商品關聯特征,優化模型推薦效率。

1 相關工作

1.1 基于主題建模的推薦方法

評論文本最初被應用于推薦領域時常用的建模方法大都基于主題模型,基于文本數據的主題建模方法通過提取文本數據中的主題信息,推斷出隱藏的主題分布和文本分布,揭示潛在主題,從而實現主題推薦功能。隱含狄利克雷分布(LDA)[7]模型作為最具代表性的文本主題構建模型,不僅可以實現語義分析,還能利用推測的主題分布獲取用戶和項目的相關信息,完成隱含主題提取。近年來,隨著LDA模型影響力的不斷提高,基于LDA的主題模型相繼被提出。文獻[8]利用LDA模型獲取微博用戶的點贊文本主題,并基于該主題對微博新用戶進行特征預測;文獻[9]將Word2Vec技術引入LDA模型,利用K-Means算法對融合的主題分布特征和詞向量特征進行主題聚類,有效挖掘微博文本的語義信息;文獻[10]將LDA主題模型與機器學習算法相結合,通過LDA模型量化文本數據,然后基于支持向量機(SVM)構建商品評分與用戶期望評分的匹配機制,實現商品的個性化推薦服務。

為更精確地挖掘潛在興趣主題,部分學者將深度學習方法與LDA模型結合起來,如:文獻[11]通過融合LDA模型與CNN網絡分別處理項目評論數據,將獲取到的不同層次的主題信息和文本信息經過特征融合輸入基于概率的矩陣分解(PMF)推薦模型,以進行評分預測;文獻[12]在LDA模型的基礎上引入HowNet增強語義理解,并利用構建的注意力模型將實體和語義部分注入網絡層,從而優化特征詞的重要性同時提高推薦精度。

在上述研究工作中,大部分都是采用概率主題模型來挖掘評論文本信息以提取用戶偏好和商品潛在屬性,但是主題建模通常都是基于詞袋模型來記錄文本信息,這種方法往往僅能提取到全局水平的文本語義信息,無法有效保留評論文本的上下文詞序信息,從而破壞了數據的完整性。另外,從數據利用率的角度來看,主題模型不具備深度提取文本數據中非線性潛在因子的能力,不能最大化地提高文本數據的吸收效率。

1.2 基于深度學習的推薦方法

深度學習的快速發展降低了非結構化數據的處理難度,相比于主題建模,深度學習方法可以更好、更準確地構建文本推薦模型。常見的深度學習方法包括自編碼器、神經網絡、多層感知機等,近年來,越來越多的學者將它們應用到推薦系統領域。文獻[13]利用長短時記憶(LSTM)網絡對自編碼器模型進行改進,在保留數據時序性的同時將其應用于課程推薦任務中,取得了良好的推薦效果;文獻[14]提出一種混合推薦模型DAAI,其利用降噪自編碼器和DNN、CNN等方式分別提取評分矩陣和屬性文本信息中的潛在特征,并通過多層感知機融合不同特征以計算預測評分;文獻[15]提出的DeepRec推薦模型通過 CNN網絡分別學習用戶和項目的屬性文本集,并利用多層感知機在處理評分矩陣獲取用戶偏好的同時融合不同數據特征進行最終推薦。

為了進一步提高推薦效率,加強文本信息的提取質量,研究人員將注意力機制引入深度學習模型。文獻[16]通過結合兩組CNN 網絡和注意力機制,捕捉上下文語義特征和商品與用戶之間的交互關系,計算用戶對商品的動態偏好;文獻[17]通過向卷積神經網絡注入自注意力機制的方式提取新聞文本特征矩陣,然后對用戶瀏覽數據添加時序預測,并利用多頭自注意力挖掘用戶興趣特征。除此之外,一些基于深度學習模型的混合推薦方法也被提出,如文獻[18]提出的HRS-DC模型和文獻[19]提出的DCFM模型,兩者均是通過深度學習技術與傳統協同過濾或因子分解等算法相結合而實現的評分預測。另外,一些基于圖模型[20-21]和知識圖譜[22-23]的推薦方法近年來也被不斷提出,將商品或用戶作為模型中的實體或節點,構建異質信息網絡用以表示用戶或項目之間的關聯特征,不僅能夠提高推薦準確度,還可以增強系統可解釋性。

上述研究中所應用的深度學習技術已經趨于成熟,且推薦效果也有顯著提升,但是仍存在一定的局限性,如卷積神經網絡無法對文本信息進行更細粒度的高階特征融合、注意力機制無法捕捉位置信息等。不同于上述基于深度學習的推薦方法,本文從文本語義、商品關聯關系和用戶行為3個方面出發,對商品推薦場景進行建模優化。具體地,首先利用RoBERTa模型在使用更大Batch size的基礎上增加訓練數據,解決傳統靜態詞向量存在的一詞多義問題,同時增強詞的語義表征能力;然后借助圖模型的優良特性,將與用戶產生過交互行為的商品構建成具有關聯關系的有向圖,計算商品關聯圖模型的全圖表征;最后將圖模型提取到的每個商品特征有序地輸入Transformer編碼層,增強用戶的行為特征表達能力,通過多維度的特征融合進一步提升模型的推薦能力。

2 基于RoBERTa和圖增強Transformer的序列推薦模型

2.1 模型結構

本文基于RoBERTa和圖增強Transformer的序列推薦模型RGT結構如圖1所示,該模型主要分為兩部分:第1部分利用用戶評論文本集,通過預訓練的RoBERTa模型挖掘用戶對商品的興趣偏好,提取語義表征;第2部分利用用戶的歷史行為數據,首先構建具有時序特征和關聯關系的商品有向圖結構,通過圖注意力網絡捕獲所有商品的圖表征,然后將用戶行為以序列的形式輸入Transformer編碼層,利用圖增強Transformer的學習方式獲取用戶行為中的個性化興趣,最后將計算得到的用戶行為商品關聯圖的全圖表征、語義表征以及用戶行為序列特征統一輸入全連接層,計算用戶對商品的評分。

圖1 RGT模型框架Fig.1 RGT model framework

2.2 輸入特征表示

2.2.1 基于預訓練的RoBERTa評論文本語義特征表示

RoBERTa是由BERT模型改進而來,改進方向包括以下3個方面:首先為了增加輸入文本序列的長度而擴大了BERT模型的Batch size參數,在使用更豐富語料庫的同時增加了文本數據的訓練步長;其次削減了NSP(Next Sentence Prediction)任務,降低了其對模型性能的影響;最后調整了Masking機制,采取動態Masking改進訓練數據的生成方式,提高了模型的預訓練效率。預訓練主要有以下2個目的:一是為了讓模型在龐大的復雜數據輸入時逐漸適應不同的動態掩碼策略,保障模型與數據的高度耦合;二是為了豐富模型的語義信息,使模型全方位地學習輸入層的詞嵌入向量。

本文通過預訓練的RoBERTa模型將輸入的用戶評論語料進行嵌入,從文本數據中捕獲用戶的個性化興趣。首先通過疊加用戶評論文本T=[t0,t1,…,tn-1]中的字符向量wi、分句向量ci和位置向量Ppos,i,得到文本T中的第i個字詞表示,將其標記為嵌入向量Sseq,i, 即Sseq,i=wi+ci+Ppos,i;然后將疊加向量Sseq,i輸入RoBERTa模型,Sseq,i向量經多層Transformer編碼器單元處理后,最后輸出包含整個文本T中所有字詞語義信息的動態詞向量Vi,其計算過程的數學表示為:

Vi=RoBERTa(wi+ci+Ppos,i)

i∈[0,n-1]

(1)

其中:Vi為 RoBERTa 模型處理后輸出的文本動態詞向量表示,Vi=(V0,V1,V2,…,Vi-1)。圖2所示的結構即為一個簡單的RoBERTa模型。

圖2 RoBERTa模型結構Fig.2 RoBERTa model structure

2.2.2 基于圖增強Transformer的商品關聯特征和用戶行為特征表示

1)商品關聯圖構建。

用戶在購買商品時通常會與同類商品進行多次比較,在比較瀏覽的過程中會留下交互信息,如用戶的點擊行為。同一個用戶通常會有次序地點擊瀏覽多種商品,這些被點擊瀏覽過的商品之間往往也會存在某些潛在的關聯關系,如果僅利用商品的語義信息對其進行關聯匹配,則無法較好地建模商品之間的關聯關系。因此,為更好地捕獲不同商品之間的關聯關系,本文根據用戶的歷史行為,構建用戶與商品的次序交互圖以對商品數據進行嵌入表示,通過圖模型學習并提取不同商品之間隱含的關聯特征。

如圖3所示,與user2有過交互行為的所有商品(item)被構建為一個圖結構,將圖中所有item標記為圖節點,將節點與節點之間通過潛在關聯關系相互連接的線記為邊。本文用Gi={xi,εi} 表示用戶i對應的所有商品的關聯圖,其中,xi表示商品節點,εi表示節點通過邊與鄰接節點組成的三元關系集(xh,r,xt),r為連接節點xh與節點xt的邊。

圖3 商品關聯有向圖Fig.3 Commodity related directed graph

2)商品(節點)嵌入與特征表示。

在商品關聯圖構建完成后,把每個商品ID作為嵌入層輸入,將其映射到統一的嵌入空間,得到每個item的初始嵌入表示。為獲取圖中的商品(節點)特征表示,本文通過圖注意力網絡對上述商品關聯圖進行節點聚合,圖注意力網絡不依賴圖的結構,有效利用了圖中商品的自身信息,不僅可以處理有向圖,還可以為圖中商品的每個鄰居分配不同的權重。

假設當前處于商品關聯圖注意力網絡的第l層,對于輸入的商品關聯圖Gi,商品用xh表示,xh的鄰接商品用Nh={xt|xh,r,xt}(其中Nh包含xh)表示。根據圖注意力網絡的計算規則,首先計算商品xh的鄰接商品xt的權重:

(2)

Tl(xh,r,xt)=

(3)

權重用以表示相鄰節點的重要程度,在求得商品xt對其鄰接商品xh的權重后,根據其權重計算第l層商品xh的向量表示,計算方式如下:

(4)

其中:Tanh為激活函數。

3)商品關聯圖的全圖特征表示。

在計算完圖Gi中所有商品節點在第l層的向量表征后,需要聚合所有商品的向量表示從而得到整個商品關聯圖的全圖表征,用來建模用戶的個性化表示,此時,根據用戶u和項目i的信息,利用圖注意力機制優先計算所有商品的交互水平權重。假設對上述商品關聯圖注意力網絡第l層的商品表征進行聚合,則商品xh的權重為:

(5)

(6)

(7)

其中:xu為用戶行為序列,包含所有交互商品。

最后,對l層堆疊的商品關聯圖注意力網絡中的每一層圖的輸出表征進行拼接,得到商品關聯圖的全圖最終表示GI:

(8)

上述過程將用戶的行為數據以商品關聯有向圖的形式進行表示,當商品的初始嵌入向量輸入圖模型時,圖注意力機制通過學習并生成鄰居節點對目標節點的不同注意力權重,利用加權融合的思想實現目標節點的特征聚合,在增強模型可解釋性的同時使得用戶行為數據的嵌入過程更加合理。

4)基于圖增強Transformer的用戶行為特征表示。

在學習得到商品關聯圖的每個商品(節點)表征和商品關聯圖的全圖表征后,考慮到用戶行為數據中的時間因素會影響點擊行為,然而上述嵌入模式都忽略了時間的影響,為解決時間序列問題,本文在構建有向商品關聯圖模型時,根據用戶與商品的交互信息,從歷史數據中獲取商品的點擊序列,并將上述圖注意力網絡提取到的所有的商品表征xh以序列的形式嵌入到Transformer編碼層,構建基于圖注意力網絡增強的Transformer模型,獲取用戶的時序行為特征表示。基于圖注意力網絡增強的Transformer模型結構如圖4所示。

圖4 基于圖注意力網絡增強的Transformer模型Fig.4 Enhanced Transformer model based on graph attention network

為了學習到更加豐富的節點表征,本文使用具有多頭自注意力機制的Transformer-Encoder,對輸入序列中圖模型提取到的所有商品序列表征xixu進行編碼。Transformer-Encoder 主要由多頭自注意力機制和前饋神經網絡組成,“Add &Norm”作為標準化層,通常緊跟在多頭自注意力機制和前饋神經網絡層之后,主要作用是簡化輸入向量在模型不同網絡層之間的傳播過程,具體如下:

1)多頭自注意力機制的網絡結構如圖5所示, 該部分主要利用多個Self-Attention模塊對輸入向量進行并發操作,對多個子空間設置不同的參數,采用相同的計算方式,通過多層并行計算,使得輸入向量中每個字符的隱狀態都包含該向量中其他字符的所有信息,從而捕捉到多個不同空間下的多種數據表征,更豐富的特征信息可以有效避免過擬合。

圖5 多頭自注意力機制網絡結構Fig.5 Multi-head self-attention mechanism network structure

對于輸入的所有商品序列表征xi,多頭自注意力機制通過線性變換,首先分別計算查詢矩陣Qi、鍵矩陣Ki和值矩陣Vi,將xi映射到不同的子空間,計算公式為:

(9)

然后根據Qi、Ki、Vi矩陣計算多頭子注意力的輸出并進行拼接操作:

HHead,i=Attention(Qi,Ki,Vi)=

(10)

Mul(HHead,i)=

Concat(HHead,1,HHead,2,…,HHead,i)W0

(11)

其中:HHead,i表示第i個注意力頭;dk表示輸入商品序列的向量維度;Concat表示拼接操作;W0為附加的權重矩陣。

2)Add &Norm為LayerNorm和殘差連接。LayerNorm可以標準化每一層的向量輸入,將其轉化為歸一化均值方差,殘差部分可以在反向傳播過程中將輸入的多頭注意力結果進行數據疊加,減少信息損失同時避免梯度消失,計算公式為:

O=LayerNorm(Mul(HHead,i)+HHead,i)

(12)

3)前饋神經網絡包含2個線性全連接網絡層和1個非線性激活函數,用以接收上游模塊傳入的特征向量并計算生成對應的向量矩陣,具體表示為:

H=W2(ReLU(W1O+c1))+c2

(13)

其中:W1和W2分別表示2個全連接層的權值矩陣;c1與c2分別對應2個全連接層的偏置項;ReLU為激活函數。

值得注意的是,Transformer-Encoder模型為了區分輸入特征的位置信息,還為輸入向量添加了位置編碼,本文使用正弦函數對輸入序列中每個商品的特征表示進行位置編碼,進一步增強RGT推薦模型對時序信息的敏感性。所有商品的序列表征xh經M層Transformer-Encoder后得到用戶的最終行為特征表示Fi=H+Pi,其中,Pi為用戶序列xu中各個商品的表征xi在序列中所處位置的編碼。

2.3 特征融合與評分預測

(14)

其中:bu、bi和η分別對應用戶偏倚項、商品偏倚項和全局偏倚項;WT代表全連接層的權重參數。

2.4 模型優化

(15)

其中:B表示訓練集中的樣本集合;λ為正則化系數;φ為整個模型的所有可訓練參數。為優化目標損失函數,本文引入Adam[24]作為優化器來最小化Lmin的值。

2.5 算法流程

RGT推薦算法的詳細流程如算法1所示。

算法1RGT推薦算法

輸入用戶評論文本集,用戶歷史行為數據,用戶對商品的真實評分

1.初始化所有參數

2.設置模型訓練迭代次數

3.FOR 用戶u、商品i、u對i的真實評分Y(u,i)

4.根據式(1)計算評論文本T的語義特征Vi

5.構建具有用戶行為次序的商品關聯圖Gi

6.根據式(2)～式(13)計算商品關聯特征GI和用戶行為特征Fi

7.拼接Vi、GI和Fi得到最終的特征向量Z

9.使用梯度下降法Adam訓練RGT模型并進行參數更新

10.END FOR

2.6 模型時間復雜度

假設每個用戶的評論文本序列長度為n,將其映射到隱藏層維度為d的特征向量,則提取用戶評論文本特征的RoBERTa模型時間復雜度為O(dn2)。設圖注意力機制網絡中的圖節點數量為f,每個節點的特征維度為e,圖堆疊層數為L,則基于商品關聯圖注意力機制網絡的時間復雜度為O(Lef2)。 Transformer-Encoder需要對由語義特征和圖節點特征組合成的復合高階特征進行處理,假設每個Transformer編碼器的隱藏層維度為c,注意力機制的頭數為Q,那么每個Transformer編碼器的時間復雜度為O(Qfc(d+e)),M層Transformer編碼器總時間復雜度為O(MQfc(d+e)),輸出維度為k的全連接層需要對輸出的復合高階特征進行處理,其時間復雜度為O(fk(d+e))。綜上,RGT模型的總時間復雜度為O(dn2+Lef2+MQfc(d+e)+fk(d+e))。

3 實驗結果與分析

3.1 實驗設置

3.1.1 實驗環境與數據來源

為驗證本文推薦模型的有效性,實驗采用亞馬遜評論公開數據集Amazon 5-score,該數據集含有多個子類數據集,是推薦系統領域最常用的公開數據集,具備一定的權威性。實驗選取Instant-Video(視頻)、Digital-Music(音樂)以及Toys and Games(玩具游戲)3組子數據集用來模擬現實生活中的常見推薦場景,3組數據集均包含用戶ID、商品ID、用戶對商品的評分(1～5分)以及用戶對商品的評論文本這4種特征,均屬于大型數據集,具體統計信息如表1所示。

表1 3組數據集的基本信息Table 1 Basic information of three datasets

雖然上述3組數據集都包含龐大的用戶基數和商品樣本,但是數據稀疏度均達到了99%以上,這就說明用戶與商品之間產生過交互行為的數據只占極小的一部分,3組數據集都屬于高度稀疏數據。本文主要利用評論文本數據緩解推薦中存在的數據稀疏問題,3組數據集中的評論文本數量均達到了上萬條,且每個用戶發布的平均評論長度均在7～11個字詞范圍內,由此可見評論文本中所攜帶的語義信息足以體現用戶偏好和商品特征,豐富的文本數據足夠指導建模。另外,本次實驗在Windows系統下的Pycharm平臺上通過Python編程完成,Python版本和PyTorch版本分別為3.8和1.12.1。

3.1.2 實驗衡量指標

(16)

(17)

其中:(u,i)∈N,N表示測試樣本的總個數。

3.1.3 實驗超參數設置

在實驗開始前,為最大可能地保證模型結果的優良性,需要對模型的相關參數進行預設置。由于RGT推薦模型涉及的超參數眾多,參數取值的不同會直接影響模型性能,因此實驗利用網格搜索算法尋找最優參數,具體為:學習率lr和正則化系數λ分別在{0.000 5,0.001,0.005}和{0.01,0.1,0.5,1}范圍內選取;圖注意力網絡堆疊層數L和Transformer層數M分別在{1,2,3,4}和{1,2,3,4,5}中選取。考慮到本次實驗數據樣本較大,計算平臺資源耗費較高,設置 Batch size值為16,多頭自注意力頭數為8,文本嵌入維度和圖嵌入維度分別為64和128,預訓練迭代次數Epoch為10。為防止實驗過程中可能出現的過擬合現象,本文加入Dropout指標,初始化值為0.5。

3.2 性能比較與結果分析

本次實驗選擇若干模型進行測試與性能對比,通過對比模型主要驗證以下兩點:1)利用評論文本數據是否可以降低評分數據稀疏性給推薦結果帶來的影響;2)相比于其他利用文本數據進行推薦的模型,融合不同類別的數據特征是否可以減小預測評分的誤差。對比模型具體如下:

1)MF[1]:標準的矩陣分解模型,推薦系統中運用最廣泛的協同過濾模型。

2)DeepFM[25]:經典的深度神經網絡模型,共享輸入特征,利用因子分解機(FM)和神經網絡分別捕捉低階和高階特征,性能良好。

3)ConvMF[26]:基于高斯分布,利用CNN和PMF分別處理評論文本和評分數據,能夠保留文本詞序同時預測性能也有一定提高。

4)DeepCoNN[27]:深度協同神經網絡模型,利用CNN分別提取用戶和商品評論文本集的語義特征,性能優越,是首個將用戶評論和商品評論相結合來緩解數據稀疏性問題的深度學習模型。

5)NARRE[28]:對DeepCoNN進行改進,引入注意力機制消除無用評論干擾,同時結合評分數據進一步提高預測評分的準確性。

6)IRIA[29]:利用CNN提取文本特征,采用注意力機制捕獲用戶與物品的交互信息,增加門控層合并特征向量并通過FM實現評分預測。

7)SAFMR[30]:利用CNN提取評論特征,將獲取到的特征輸入自注意力機制與因子分解機相結合的神經網絡以學習不同特征的動態權重,降低了預測誤差。

為保障對比實驗的可靠性,對比模型的實驗數據劃分與RGT模型保持一致,相關參數根據對應論文進行初始化,通過微調使其達到性能最佳,所有實驗同時在3組數據集上進行驗證比較,實驗結果如表2所示,最優結果加粗標注。

表2 不同推薦模型的性能對比結果Table 2 Performance comparison results of different recommendation models

由表2可知,本文RGT模型在3組不同數據集上的性能均優于其余幾種對比模型,分析原因如下:

1)基于矩陣分解的模型(MF、DeepFM)主要價值在于解決矩陣的稀疏性問題,同時實現了高階特征提取,但是該類模型將類別特征對應的稠密向量拼接作為輸入,然后對元素進行兩兩交叉,過多的組合造成了不必要的冗余,并未考慮用戶行為數據中商品的交互順序帶來的影響。

2)ConvMF模型同時使用了評論信息和評分數據,而且還保留了詞序信息,但是該模型僅使用了項目的評論文本,且CNN在捕捉文本相鄰詞之間的全局和非連續依賴關系時能力有限,無法有效獲取用戶與商品在交互行為上的時間特征。

3)基于語義的模型(DeepCoNN)采用Word2Vec作為初始嵌入,對文本數據進行處理獲取推薦結果,作為首次將語義特征引入推薦算法的模型,其取得了不錯的效果,但該模型無法保留評論文本的詞序信息,且忽略了商品之間可能存在的隱含關系。

4)基于評論文本的推薦模型(NARRE、IRIA、 SAFMR)與DeepCoNN模型的側重點不同,該類模型引入注意力機制,能夠有效識別無用評論,動態捕捉不同特征的差異權重,還可利用評分行為更精細地捕捉輔助文本信息的語義特征,但該類模型在提取文本特征時和ConvMF模型一樣使用了CNN,該模型在復雜語言任務中無法深度理解詞語的多義性,特征提取效果較差,且仍未考慮不同商品之間可能存在的關聯關系。

5)本文在充分學習已有模型的基礎上,結合數據特征實現了融合語義、物品關聯關系以及用戶歷史行為的推薦架構,將文本數據以語義的形式作為初始輸入,很好地對用戶的興趣偏好進行了個性化建模。此外,為了消除商品語義信息相差過大而忽略商品關聯特征的問題,本文引入圖神經網絡模型,通過將不同商品映射到圖節點的方式構建商品間的關聯關系,同時考慮到用戶行為對商品嵌入的時序影響,構建基于圖增強Transformer的表示學習方法,把用戶行為與商品序列相互對應,將圖模型中提取到的各個商品特征以序列的形式輸入Transformer編碼層,對時間特征進行單獨處理,使模型充分挖掘到不同層次的向量表示,相比其他模型在特征提取上更具優勢,模型評分預測的準確性更高。

3.3 實驗驗證

為了進一步驗證上文實驗所涉及的3個特征(語義特征、商品關聯特征、用戶行為/商品時序特征)對推薦任務的有效性,本文設計消融實驗以評估以下4個RGT變種算法的推薦性能:

1)Graph+T算法:從本文所提RGT算法中剔除語義特征,只考慮商品關聯特征和商品時序特征。

2)RoBERTa+T算法:從本文所提RGT算法中剔除基于圖的商品關聯特征,即只輸入語義特征和商品時序特征。

3)Graph+FC算法:從本文所提RGT算法中剔除語義特征和輸入商品的時序特征,即不考慮特征融合,直接將圖模型中提取到的商品關聯特征輸入全連接層進行評分預測。

4)RoBERTa+FC算法:不做特征融合,從本文所提RGT算法中同時剔除商品關聯特征和用戶行為特征,直接利用RoBERTa模型中提取到的語義特征輸入全連接層進行線性回歸預測。

為保障對比實驗的可靠性,上述4類變種算法仍然在3組數據集上進行實驗,且對比算法的相關參數均根據本文的參數設置進行初始化,通過微調保證其達到最優性能,利用RMSE指標進行性能對比,實驗結果如圖6所示。

圖6 3組數據集下的消融實驗結果Fig.6 Ablation experimental results under three datasets

從圖6可以看出:本文RGT算法在3組數據集上的性能表現優于4類變種算法,說明在 RGT算法中,利用評論文本提取到的語義特征和具有連接關系的商品關聯特征對模型性能的提升均起到了積極作用。對于4類變種算法, RoBERTa+FC的性能最差,Graph+FC次之,驗證了RGT算法從多角度和多方位提取并融合文本數據特征的有效性。

3.4 參數靈敏度分析

為探究超參數取值對模型性能的影響,本文設置3組參數進行實驗,3個超參數分別為圖注意力網絡堆疊層數L、Transformer層數M以及注意力頭數Q。

在Instant-Video數據集上,將圖注意力網絡的堆疊層數L在{1,2,3,4}范圍內進行取值并實驗,結果如圖7所示(其余2組數據集上的實驗結果與圖7類似)。從圖7可知,當網絡堆疊層數為3時, RMSE和MAE指標值最小,模型推薦性能最好。這是因為當網絡堆疊層數過多時,圖中節點學習到的特征表示具有極高的相似性,網絡層數增加,不僅會造成模型復雜度增加,還會直接導致模型結果過擬合,對模型性能的提升起到反向抑制的效果,但如果網絡堆疊層數太少,根據圖神經網絡的消息傳遞機制,圖節點接收到的領域節點信息過少,致使圖模型無法學習到更多有效特征,模型性能欠佳。

圖7 圖注意力網絡堆疊層數對模型性能的影響Fig.7 The effect of the number of stacked layers of graph attention network on the performance of the model

在數據集Instant-Video上,將Transformer層數M在{1,2,3,4,5,6}范圍內進行取值并實驗,結果如圖8所示(其余2組數據集上的實驗結果與圖8類似)。從圖8可知,當M=4時,RMSE和MAE指標值均為最小,這表明此時模型復雜度、特征重用和注意力機制可能達到了一種平衡狀態,使得模型性能達到了最優,而將層數調整至5層或6層時模型效果逐漸下降,這是因為在Transformer中,每一層都在某種程度上重用了前一層的特征,當增加額外的層數時,這些層并沒有學習到新的有用特征,而且當模型層數過多時,還可能引入了一些不必要的噪聲數據,從而影響模型性能。此外,從RGT模型的結構上看,最初輸入Transformer編碼層的特征是經過上層圖模型增強提取過的特征,因此,過多的層數堆積會導致網絡冗余,進而提高模型的復雜度,最終可能會引發過擬合現象。

圖8 Transformer編碼器層數對模型性能的影響Fig.8 The effect of the number of Transformer encoder layers on the performance of the model

為探究圖中節點在不同潛在空間下的特征學習表示對模型推薦性能的影響,將注意力頭數Q在{1,2,4,8,16}范圍內進行取值并實驗,結果如圖9所示。從圖9可知,當設置注意力頭數為4時,模型的推薦性能在Instant-Video和Digital-Music數據集上表現出了最優效果,而在Toys and Games數據集中,設置Q=8時模型性能表現最好,這可能是因為與Instant-Video、Digital-Music數據集相比,Toys and Games數據集的固有信息特征表現出來的差異性更加明顯。

圖9 注意力頭數對模型性能的影響Fig.9 The effect of the number of attention heads on the performance of the model

進一步觀察圖9可以發現,當設置注意力頭數為1或16時,模型性能表現均未達到理想狀態,這表明圖節點僅在單一的潛在空間下學習到的數據表征并不能最大程度地獲取到足以代表該節點的特征表示,需要在多層潛在空間下進行更深層的挖掘,得到更豐富的特征表示,但過多的注意力頭數也會造成模型復雜度提高,對性能表現起到反向作用。因此,在實驗過程中,需要在注意力頭數和模型性能之間找到一個相對平衡點,以此保證模型效果達到最優。

4 結束語

評論文本數據作為一種輔助信息,蘊含著豐富的潛在信息,通過深度挖掘提取到與其相關的隱式特征并應用到推薦領域,能夠很好地改善因評分矩陣數據稀疏性而導致的推薦精度下降問題。為了更好地挖掘用戶與商品之間的深層潛在特征,進一步提高推薦質量,本文提出一種RGT推薦模型。實驗結果表明,RGT模型能夠有效提取用戶評論和用戶歷史行為數據的語義特征和商品關聯特征,并較好地解決商品數據在時序上的先后關系,進一步降低評分預測的誤差。但從數據的處理效率來看,本文構建的推薦模型主要利用評論文本數據完成推薦任務,模型時間復雜度較高,與只使用評分數據的推薦模型相比,本文模型所需的算力更高,執行效率較低。下一步將嘗試引入更多非評分信息同時增強推薦模型的數據處理能力,進一步提高推薦算法的靈活性。