一種基于異質信息網絡的多維度語義融合推薦算法研究

甘 宏,王華武

(1.廣州南方學院商學院, 510970,廣州;2.江西新余國科科技股份有限公司,338034,江西,新余)

1 問題提出

在算法推薦中,數據集可能包含了許多異質信息,而異質信息又隱含豐富的語義關系。如何有效建模多源異質信息及如何有效利用其中豐富的語義關系是現有的推薦算法急需解決的2個問題。

異質信息網絡是由多種類型的節點和邊組成的復雜網絡,是一種通用的融合多源異質數據的方法[1]。而異質信息網絡[2]的推薦模型為上述問題提供了有效的解決途徑。采用異質信息網絡對推薦系統內的交互進行建模,可保留推薦系統中的實體和關系,又可以高效地整合各種屬性和輔助信息。基于異質信息網絡的推薦模型在提取語義結構、融合語義信息等方面具有顯著優勢[3]。現有的許多方法都使用元路徑結構對異質信息網絡內的多元關系進行顯式約束,但在元路徑設計、元路徑聚合模式及損失函數設計上仍有很大的改進空間。

圖神經網絡使用圖結構來表示輸入的神經網絡,并通過相鄰節點之間的消息傳遞來捕捉圖中的交互關系,核心目標是學習圖中各節點的特征表示。與此同時,深度學習領域的圖神經網絡(GNN)受到了研究者的廣泛關注。圖神經網絡的結構與異質圖的思想十分適應,在提取和聚合語義信息上具有顯著的優勢,于是逐漸成為實踐中的熱門選擇。總體而言,異質圖神經網絡在推薦任務上表現出優越的性能。然而,目前基于圖神經網絡的推薦模型普遍存在鄰域信息聚合過程中發生信息損失的問題,在異質圖模型中,由于多源異質信息存在屬性維度上的差異,會導致更大程度的信息損失[4]。

本文提出了一種基于異質信息網絡的多尺度語義融合系統推薦模型。首先,使用異質圖和元路徑來建模推薦中的復雜語義結構。然后,將元路徑引導下的鄰域劃分為多個鄰居組,利用鄰居組之間的多層交互獲取多尺度語義信息。最后,使用兩階段的關系注意力來指導多尺度語義融合。

2 相關技術

2.1 基于異質信息網絡的推薦模型

基于異構網絡節點(HERec)[5]采用隨機游走的策略,利用元路徑結構生成對象序列以學習對象的嵌入表示,最后,將其與矩陣分解框架相結合以進行商品推薦;異構信息網絡(LGRec)[6]使用共同的注意力機制對用戶和物品之間的直接交互信息進行建模,并利用元路徑提取的間接交互信息預測交互概率,最終實現了對排序推薦任務的改進;NeuACF[7]使用深度神經網絡計算不同元路徑下的相似性矩陣,其中每個相似性矩陣代表用戶在某個方面的偏好,全面地考慮了用戶在各個方面的興趣,然后使用多層感知機學習用戶和商品方面的特征,并使用注意力機制來融合這些特征以得到最終的表示。元路徑(HueRec)[8]假設在不同元路徑約束下用戶或商品具有共同的語義特征,因此,可以使用全部的元路徑來學習用戶和商品的統一表示。GNewsRec模型[9]針對新聞推薦任務利用不同的關系矩陣對不同的交互類型進行建模,通過完整的用戶行為歷史捕獲用戶的長期興趣,并設計融合注意力的 LSTM 模型以建模用戶的短期興趣,最終融合長短期興趣輔助推薦。Comb-K模型[10]是一種利用異質圖卷積網絡和異質圖池化網絡的組合優化模型用于促銷推薦任務,該模型考慮了所有用戶群體的偏好并進行用戶聚類,同時在商品的選品和展示方案上尋求最佳組合;HGSRec模型[11]通過三方異構圖神經網絡來表示用戶和物品的多重特征,然后利用注意機制捕獲潛在的三方交互關系并對特征進行動態融合,最后模型通過三元組結構刻畫了分享行為的非對稱影響,成功將異質圖應用于分享推薦任務。現有方法都使用元路徑結構對異質信息網絡內的多元關系進行顯式約束,但目前在元路徑設計、元路徑聚合模式及損失函數設計上仍有很大的改進空間。

2.2 語義信息的提取和融合

MCRec算法[12]是從每條元路徑中基于優先級采樣策略提取高質量的實例作為背景信息,隨后使用共同注意力機制進行有機的交互融合,最終有效地利用基于元路徑的豐富背景信息提升了 top-N 推薦任務的推薦效果。HAN(Heterogeneous Graph Attention Network)模型[13]首次將注意力機制引入到異質圖領域,提出基于層次注意力的異質圖神經網絡模型,對推薦系統中不同類型的節點和關系進行差異化的考慮,為不同節點及關系學習影響力權重,進而有所偏重地融合更重要的信息。HetGNN模型[14]是將不同類型的鄰居節點分別進行聚類處理,為不同種類的異質信息專門設計編碼方式以盡可能地保留其中的異質信息,然后再進行特征融合。SIAN(Social Influence Attentive Neural Network)模型[15]提出了一種關注社交影響的神經網絡,使用注意力特征聚合器來學習不同層面上朋友和商品的節點表征,并提出了一個社會影響耦合器以一種專注的方式捕獲朋友推薦圈的影響力,最終成功應用于社交分享增強的推薦任務;NIRec模型[16]率先將數據損失現象正式總結為“過早總結”問題并進行針對性研究,并在雙層聚合層之前額外引入一個交互式信息提取層以捕獲潛在的交互信息;SDCN(Structural Deep Clustering Network)[17]聚焦于深度聚類問題,利用自編碼器和圖卷積網絡雙通道學習樣本表示,并設計對偶自監督機制實現樣本信息和結構信息的有機融合,有效緩解了圖卷積過程中的過平滑問題。現有方法大多是利用注意力機制,盡可能在聚合時提升重要信息的占比,降低信息損失,在語義信息的提取、聚合模式及聚合前的交互增強方面還有很大的研究空間。

3 模型的研究與實現

本節提出了基于異質信息網絡的多尺度語義融合推薦模型。首先針對推薦場景構建異質圖,通過設計合理的元路徑獲取異質圖在特定關系下的語義結構以針對性提取特定語義信息。然后,將元路徑引導下的鄰域劃分為多個鄰居組,利用鄰居組之間的多層交互獲取多尺度語義信息。最后,使用兩階段的關系注意力來指導多尺度語義融合。

3.1 模型的數學建模

為了能有效地解決建模多源異質數據并充分提取利用其中的豐富語義信息這個難點問題,本節首先針對Movielens數據集下的電影推薦場景和Amazon數據集下的商品推薦場景構建異質圖G= {V,E,φ,φ},其中V代表推薦場景中不同類型的實體集合,在圖中以節點的形式表示;E代表不同類型的交互關系集合,在圖中以鏈接節點的邊表示;函數φ:V→A維護了節點v∈V到實體類型集合A的映射關系,保證了每一個節點都能被歸屬為某個實體類型;函數φ:E→R維護了邊e∈E到關系類型集合R的映射關系,保證了每一條邊都能被歸屬為某個關系類型。

構建具體的異質圖模型,如圖1所示,本節針對電影推薦場景中關鍵實體和交互關系進行建模,抽取出了觀影者(User)、電影(Movie)、主題類別(Topic)和職業(Occupation)4種主要實體類型,以及觀看關系(User-Movie)、主題歸屬關系(Movie-Topic)、相關關系(Movie-Movie)和職業歸屬關系(User-Occupation)4種主要交互類型。

圖1 異質圖模型的構建

而類似的,本節針對商品推薦場景也進行了實體和關系的抽取與建模,抽取出了消費者(User)、商品(Item)、品牌(Brand)、目錄類別(Category)和評價(view)5種主要實體類型,以及購買關系(User-Item)、品牌歸屬關系(Item-Brand)、目錄類別歸屬關系(Item-Category)和評論關系(Item-View)4種主要交互類型。

具體而言,如圖2所示,本節利用在電影推薦場景下的先驗知識進行元路徑結構的精心設計,通過組合基本交互定義了共同觀影(UMUM)、相關電影(UMMM)、共同主題(UMTM)、職業共同觀影興趣(UOUM)4條元路徑以刻畫4種對提升推薦結果最有幫助的關鍵語義結構。類似的,本節針對商品推薦場景也進行了合理的元路徑結構設計,定義了共同購買(UIUI)、共同目錄類別(UICI)、共同品牌(UIBI)、共同評價(UIVI)4條元路徑,有效建模了4種關鍵的高階語義信息。

圖2 元路徑結構設計

在對于每條給定的元路徑設計中,目標節點都存在一組基于元路徑引導的鄰居節點,在元路徑結構約束下進行鄰域信息的聚合,有效地揭示了異質信息網絡中不同的語義結構信息。本節設計的元路徑結構不僅貼合相應推薦場景需求,精準提取了關鍵交互信息,并以元路徑的顯示結構有效保留了高階語義知識。

至此本節實現了復雜推薦場景下對多源異質數據的類型約束,對異質信息進行了有效建模,實現了以結構化的形式探索異質信息中的語義結構和復雜交互關系。

3.2 模型的整體框架

模型的整體框架由2個主要模塊組成,如圖3所示。多尺度語義提取模塊首先根據游走距離將鄰居節點劃分為不同的鄰居組,然后將節點之間的交互關系擴展為節點鄰居組之間的交互關系,通過不同層級鄰居組之間的交互結構提取了多尺度的語義信息。多尺度語義聚合模塊通過細粒度的鄰域層次注意力關注鄰域節點層面和多層鄰居組層面的影響力差異,有效引導鄰域交互信息聚合,進而實現了多尺度語義的融合。最終,模型給出推薦任務的預測結果。整體框架通過多層鄰域交互的方式提取多尺度語義信息,在形成最終表示前充分利用鄰域信息增強了節點之間的交互,一定程度上緩解了聚合過程中的信息損失,改進了推薦結果。

圖3 模型的整體框架

3.3 多尺度語義提取模塊

(1)

隨后本模塊基于劃分的鄰居組進行多尺度語義信息提取,通過劃分多層次的鄰居組實現了將鄰域交互的范圍擴展到節點鄰域之間,通過不同層級鄰居組之間的交互可以提取到不同尺度的語義信息。具體如公式(2)所示,通過不同層級鄰居組之間的交互 [H[Nρ(i),Nρ(j)]l來抽取不同尺度的語義信息,其中⊙代表卷積操作。

[H[Nρ(i),Nρ(j)]l=H[Nρ(i)]l⊙H[Nρ(j)]l

(2)

3.4 多尺度語義聚合模塊

(3)

(4)

(5)

(6)

(7)

4 實驗結果與分析

4.1 實驗設置

4.1.1 數據集 實驗選擇了2個推薦場景下的相關數據集,分別為Movielens電影數據集[18]和Amazon電子商務數據集。Movielens數據集來源于網站(https://grouplens.org/datasets/movielens/),是一個電影推薦任務中常用的電影評分數據集,有多種大小的分類數據集可以使用。數據集中包含電影標簽、 電影題目和電影類型等電影屬性信息,也包括觀影者職業、年齡等用戶信息,還包括觀影者 對電影的評分、評論時間等交互信息。

Amazon 數據集來源于網站(http://jmcauley.ucsd.edu/data/amazon/),是一個商品推薦任務的經典數據集,根據商品分類可分為圖書、電子、影視等子數據集,每個子數據集內包含商品名稱、價格、品牌等商品屬性信息和用戶評分記錄數據。

4.1.2 評估指標 實驗在點擊率預測(CTR)任務上采用ACC和AUC評價模型。ACC描述了推薦結果的準確率,是廣泛應用于二分類任務的評價指標。ACC表示了預測正確的樣本占所有樣本的比例,其中預測正確的可能有正樣本也可能有負樣本。AUC被定義為ROC曲線下的面積,是衡量模型優劣的一種指標。ROC曲線全稱受試者工作特征曲線,曲線的橫坐標是假正類率 FPR,縱坐標是真正類率 TPR,能夠綜合地檢驗模型準確性。但ROC曲線的表示不夠直觀,因此,提出AUC來對ROC曲線的表示進行總結。作為一個數值,AUC越大說明分類效果越好,表示預測的正例排在負例前面的概率。

4.1.3 實施細節 節點的嵌入維度設置為128,多尺度語義提取的上限設置為在5跳范圍內的鄰居組交互,每個節點基于每條元路徑的鄰居采樣數設置為16。數據集的劃分方法為訓練集：驗證集：測試集=6：2：2。

4.2 與基線方法的對比實驗

實驗在數據集 Movielens 和 Amazon 上與多個最先進的模型進行比較,以評估所提出模型的有效性。對比模型的選擇如下所示:

1) NeuMF[19]是一種基于深度神經網絡的推薦算法,結合了傳統矩陣分解技術和多層感知機制,可以同時提取低階和高階的語義特征。

2) HetGNN[14]是一種基于圖結構的異質圖模型,將不同類型的鄰居節點分別進行聚類處理,為不同種類的異質信息專門設計編碼方式以盡可能地保留其中的異質信息,然后再進行特征融合。

3) HAN[13]是一種基于元路徑的異質圖模型,提出基于層次注意力的異質圖神經網絡模型,對推薦系統中不同類型的節點和關系進行差異化的評估,有所偏重地融合更重要的信息。

4) MCRec[12]是一種基于元路徑的異質圖模型,從每條元路徑中基于優先級采樣策略提取高質量的實例作為背景信息,隨后使用共同注意力機制進行有機的交互融合,最終有效地利用基于元路徑的豐富背景信息實現低階和高階特征的交互融合。

5) IPE(評估系統)[19]是一種基于元路徑的異質圖模型,提出了一種新穎的交互式路徑來捕獲元路徑之間豐富的交互信息,以模擬查詢對象與目標對象之間的多個路徑之間的相互依賴性。

6) TANHIN[20]是一種基于元路徑的異質圖模型,設計了一個結合源域和目標域的跨域模型學習對象和物品的表示。

結果如表1所示,與之前所有工作相比,本文所提出的模型在2個數據集的所有評估指標上都取得了更好的性能,說明本文提出的模型能夠充分利用鄰居組多層交互提取多尺度語義信息,同時實現了多尺度語義信息的高效融合,進而豐富了節點信息表示的強度,有效緩解了聚合過程中的信息損失,提升了推薦效果。

表1 2個數據集上有效性評估的對比實驗

4.3 消融實驗

首先,實驗在數據集上對3種模型變體進行比較,驗證本文模型中各個模塊的有效性。在原有模型MSFRec的基礎上,MSFRec-Extract將基于鄰域交互的多尺度語義提取模塊替換為基于相同元路徑結構的公共鄰域提取方法;MSFRec-Fusionn將多尺度語義聚合模塊中的節點級注意力去除,為各節點賦予相同的注意力權重;MSFRec-Fusions將多尺度語義聚合模塊中的元路徑類型級注意力去除,為各元路徑賦予相同的注意力權重。實驗結果如表2 所示,本章提出的各模塊均為提升模型性能提供了有效貢獻。其中,多尺度語義提取模塊有效地提取了異質信息網絡中的多尺度語義信息,豐富了節點表示。多尺度語義聚合模塊通過兩階段的細粒度注意力機制同時關注了節點級別和元路徑級別下語義信息影響力的細微差異。

表2 驗證模塊有效性的消融實驗

然后,實驗通過在2個數據集上逐步增加多尺度語義提取模塊中的元路徑種類來評估本文設計的元路徑結構的有效性,評估指標為AUC。實驗結果如表3和表4所示,可以看出,本文設計的元路徑結構精準建模了多源異質信息間豐富多樣的交互關系,針對性地提取、聚合了特定的語義信息,有效地捕獲了關鍵信息輔助推薦。進一步分析可以看出,元路徑之間的貢獻度存在明顯差異,在Movielens數據集中UMTM路徑顯著提升了推薦結果,說明在電影推薦任務中共同主題所代表的語義關系最為重要;在Amazon數據集中UIVI路徑顯著提升了推薦結果,說明在商品推薦任務中共同評價關系是最為重要的交互關系。

表3 驗證 Movielens與Amazon數據集上元路徑有效性的消融實驗

表4 驗證 Amazon 數據集上元路徑結構有效性的消融實驗

最后,實驗在數據集上進行消融實驗測試不同的多尺度語義提取上限對模型產生的影響,評估標準為AUC值,對比模型的設置如下所示。

N-hop Neighbors:通過控制鄰居組劃分中最遠鄰居的距離調整鄰域多層交互所涉及的范圍,進而限制多尺度語義提取的尺度上限,N-hop代表鄰居組劃分的最遠跳數為N。

實驗結果如表5所示,可以看出,隨著多尺度語義上限的提升,模型的整體性能先上升后下降。進一步分析原因可能是隨著語義尺度上限提升,鄰域交互范圍得到擴大,可以更全面地學習到多層交互信息。當鄰域范圍擴展在一定限度內時,這些信息對最終性能提升有所助益。然而,隨著多語義尺度上限不斷提升,這種擴展逐漸達到了效益邊界,擴展超過一定限度則可能會包含更多噪聲,對最終預測反而不利。

表5 驗證提升多尺度語義上限影響的消融實驗

5 結論

當前,推薦算法大多對多源異質信息的利用不足,在元路徑的結構設計和語義信息的高效聚合上存在許多改進空間。同時在鄰域信息聚合過程中發生信息損失的問題,而在異質圖模型使用過程中,由于多源異質信息存在屬性維度上的差異,信息損失問題造成的影響被進一步放大。因此,提出了一種基于異質信息網絡的多尺度語義融合推薦模型,首先,針對推薦場景構建異質圖,通過設計合理的元路徑獲取異質圖在特定關系下的語義結構以針對性提取特定語義信息。然后,基于元路徑搜索節點的鄰居節點,根據到節點的距離將鄰居節點劃分為不同的鄰居組,進而成功地將節點之間的交互擴展為了鄰居組之間的交互。通過利用鄰居組之間的多層交互關系提取出了多尺度的語義信息。最后,使用兩階段、細粒度的關系注意力關注了多尺度語義之間的細微差別,進而指導了多尺度語義信息高效融合。實驗結果證明,文中提出的推薦模型能夠在形成最終表示前充分利用鄰域信息增強節點之間的交互,在一定程度上抵抗了鄰域信息聚合過程中的信息損失,改進了推薦結果。