聯合注意力和自編碼器的協同過濾推薦

鄭 誠，王 建

安徽大學 計算機科學與技術學院，合肥230601

隨著互聯網的高速發展，信息也隨之呈現出了一種爆炸式增長的態勢，用戶期望在電子商務、娛樂和社交媒體上獲得個性化的內容，但信息過載的問題使其變成一個難以滿足的要求。為了讓用戶在信息爆炸的時代獲得個性化的內容，大量的研究者、學者、相關企業對這一問題展開了研究，推薦技術由此迅速得到發展。

目前的推薦算法主要有協同過濾推薦，基于深度學習的推薦、混合推薦等。其中，協同過濾推薦是應用較為廣泛的一種推薦算法[1]。它的核心思想是興趣相似的用戶之間相互進行推薦。

協同過濾算法大致可以分為兩類：一類是基于內存的協同過濾算法，通過計算用戶與用戶或物品與物品之間的相似性來進行推薦；一類是基于模型的協同過濾算法，通過各種模型來恢復已知評分，同時預測未知評分。基于內存的協同過濾根據度量的對象不同可以分為基于用戶的協同過濾和基于物品的協同過濾。前者主要通過計算用戶與用戶之間的相似度，來為目標用戶推薦與其相似度很高的用戶曾經交互過的但目標用戶未曾交互過的物品[2]；后者主要計算目標物品與用戶交互過的物品的相似性來判斷是否要將目標物品推薦給用戶[3]。兩者的核心都在于相似度計算，早期采用諸如余弦相似度和皮爾遜相關系數等來計算相似度，但這樣的相似度計算方式所得到的結果并不理想。隨后，Ning等人提出了SLIΜ（Sparse Linear Μethod）模型[4]，該模型通過評分矩陣來訓練相似度矩陣；Κabbur 等人提出了FISΜ（Factored Item Similarity Μodel）[5]模型，該模型將目標物品表示為一個低維向量，用戶交互過的物品表示為一個個低維向量，將兩個向量的內積作為最終的相似度。隨著深度學習的不斷發展，對于物品之間的相關性的挖掘也同樣與深度學習技術相融合[6]。同樣，基于物品的協同過濾十分適合top-n 推薦[7-8]，但是基于物品的協同過濾通過計算相似度等局部信息來進行推薦，并沒有考慮到歷史交互信息的全局結構，從而會降低推薦結果的精確性；其次，目標物品與不同的物品計算相似度，但不同歷史物品對于目標物品的重要性是不一樣的，物品與物品之間也存在著相似性的問題。比如，若目標物品為一部手機，那么用戶歷史交互物品若存在手機，那其權重應該是較高的。因此相似度結果上應該考慮到權重的問題。

基于模型的協同過濾主要將歷史交互數據在相應的模型上進行訓練最后進行推薦。矩陣分解作為基于模型的協同過濾的一個實現被廣泛應用于推薦系統中。矩陣分解的思想來自于SVD（Singular Value Decomposition）分解，Simon 提出Funk SVD 確定了將歷史交互數據分解成兩個小矩陣，隨后，由于矩陣分解在捕獲更深的交互上的不足，提出了NCF（Neural Collaborative Filtering）[9]、DeepCF（Deep Collaborative Filtering）[10]等模型。基于模型的協同過濾除了與矩陣分解相結合，還與各種模型諸如聚類模型、回歸模型等相結合。近幾年，隨著深度學習的快速發展，基于模型的協同過濾與神經網絡模型[11]相結合更是取得了不錯的效果。然而，基于模型的協同過濾是從整體角度去使用用戶和物品的交互數據，捕獲了交互數據的全局信息，但對于局部依賴信息的利用是完全忽視的，從而沒有利用局部信息對于最后推薦的準確度的提升和加強推薦結果的可解釋性的作用。

兩類協同過濾算法都是從某一個方面來利用用戶和物品的交互信息，但兩者對于交互數據的利用都存在著各自的缺陷，并且用戶和物品的交互數據無論是對于隱式數據集還是對于顯式數據集，相比于龐大的交互數據而言，都是稀疏的。因此，想提高推薦的性能，對于稀疏的交互數據，應該多方面地利用用戶和物品的交互數據。

基于此，本文提出了一個混合了注意力機制和自編碼器的協同過濾推薦模型。該模型同時結合了基于模型的協同過濾、基于物品的協同過濾的思想，從兩方面來挖掘利用用戶和物品的交互數據，從而同時捕獲了全局信息和局部信息，隨后將兩方面的結果融合在一起，從而彌補了各自的缺陷，提升了推薦的性能。注意力網絡用于為用戶不同的歷史交互物品和目標物品的相似度計算分配不同的權重，以解決用戶歷史交互物品對于目標物品重要性不一致的問題。

本文的貢獻：在協同過濾推薦里面，基于模型的協同過濾方法諸如矩陣分解應用比較廣泛且主要用于全局偏好的構建但忽略了局部信息，基于內存的方法諸如基于物品的協同過濾專注于局部信息挖掘卻忽視了全局信息且應用較少，但兩者各自有對應的優點以及缺點。因此本文通過一個深度學習架構將兩者結合起來，克服各自的缺陷，同時結合兩者的優點，在數據稀疏的數據集里也可以產生效果良好的推薦。

1 相關工作

1.1 基于物品的協同過濾

基于物品的協同過濾預測目標用戶u 對目標物品i的偏好分數y?ui，是將目標物品與目標用戶交互過的物品之間的相似性作為權重與目標用戶的歷史評分相乘，最后整體相加獲取：

其中，N(u)表示用戶的歷史交互物品集合，ruj表示用戶對不同的歷史交互物品的偏好。

1.2 自編碼器

近年來，深度學習高速發展，推薦系統不可避免地與之相結合，其中自編碼器廣泛應用于推薦系統領域。

Sedhain 等人提出的AutoRec[12]模型首次將自編碼器模型與推薦系統相結合，并取得了不錯的效果。自編碼器模型大致分為三部分：編碼層、隱藏層以及解碼層。數據從編碼層到隱藏層，在該層中，推薦系統可以利用該層所生成的用戶或物品的低維向量表示，最后用戶或物品的低維向量表示從隱藏層到解碼層來重新擬合數據。自編碼器與推薦相結合的研究一直在不斷地進行。Li 等人提出一個將自編碼器與協同過濾相結合的框架[13]；Wang 等人將一個疊加自編碼器整合到概率矩陣分解中以提升推薦的性能[14]；Wu 等人將降噪自編碼器與協同過濾相結合用于評分預測[15]；Liang 等人將變分自編碼器應用到推薦中，達到了很好的效果[16]；Zhang等人使用壓縮自編碼器學習物品的特征，然后將其與經典推薦模型SVD++相結合更進一步提升了性能[17]。

1.3 注意力機制

最近，注意力機制在計算機視覺、自然語言處理等領域引發了眾多關注。注意力機制可以對輸入的數據過濾掉某些無用信息，減少噪聲數據的副作用，并且可以加強某些信息量大的數據的權重。在推薦系統中應用注意力機制可以為不同的用戶與用戶、物品與物品之間分配權重，從而可以獲取代表性較高的用戶對或物品對，提高推薦結果的可解釋性。注意力機制的核心在于對權重的計算，一般來說，各部分的權重通過一個神經網絡來計算。推薦系統與注意力機制相結合的研究近年來也在不斷進行。Liu 等人提出一個DAΜL（Dual Attention Μutual Learning）模型[18]，該模型使用一個雙重注意力來提取用戶，評論潛在特征的相關性以提高最終評分預測的性能。Chen等人提出了共同注意力多任務學習模型以提高推薦的可解釋性[19]。Xi等人利用BP神經網絡來了解目標用戶及其鄰居的復雜關系，用注意力機制捕獲每個用戶對所有最近目標用戶的總體影響來進行推薦[20]。Jhamb等人提出使用注意力機制來改善基于自動編碼器的協同過濾的性能[21]。

2 融合注意力和自編碼器的推薦

本章將詳細闡述聯合注意力機制和自編碼器的協同過濾推薦模型（Attention Autoencoder Collaborative Filtering，AACF）。該模型分為兩部分：一個是用于挖掘用戶整體偏好的自編碼器部分：另一個是用于挖掘物品與物品之間局部依賴的融合了注意力機制的基于物品的協同過濾模型。最后將兩部分所得結果相融合，并利用相應的損失函數來對模型進行訓練。融合注意力機制的基于物品的協同過濾模型與自編碼器模型整體的流程如圖1所示。

圖1 融合注意力機制和自編碼器的推薦

2.1 融合注意力機制的基于物品的協同過濾

通過基于物品的協同過濾思想來挖掘物品與物品之間的局部依賴關系，同時采用注意力網絡來為用戶不同的歷史交互物品和目標物品的相似度計算分配不同的權重。

假設用戶和物品的歷史交互信息用矩陣Rm×n表示，其中m 表示用戶的數量，n 表示物品的數量。

圖2 融合注意力機制的基于物品的協同過濾

傳統的基于物品的協同過濾通過用戶曾經交互過的物品與目標物品的相似度來擬合數據，但考慮到對于目標物品而言，不同的歷史交互物品對其的重要性也即權重是不一樣的，因此，這里引入attention機制，從而為其自動分配權重。

該模型利用物品與物品的向量計算來獲得相似度分數，最終擬合數據：

該模型中，注意力網絡使用一個多層感知機來實現：

f(pi,qj)=hTReLU(w(pi⊙qj)+b)

其中，wk×d、bd×1分別代表注意力網絡中輸入層到隱藏層的權重矩陣和偏執項，hT代表隱藏層到輸出層的權重向量。在注意力網絡中使用歷史交互過的物品與目標物品的向量表示作為輸入，是為了防止物品i 和物品j 就算沒有共現過也能計算相似度。最后將輸出層的值送入一個softmax函數以讓權重歸一化：

其中，β 參數是用于防止softmax 函數過度懲罰活躍用戶的權重，從而將其加入softmax 函數的分母來進行平滑，β 的取值范圍是[0，1]。

2.2 融合自編碼器的協同過濾

在這一部分，將用戶與物品的交互數據輸入一個自編碼器，它通過重新擬合用戶和物品的已知評分，以及擬合用戶和物品未知的交互評分和來挖掘用戶對物品整體偏好。

r?=f(w2?g(w1r+b1)+b2)

內標元素選擇的原則是質量數與被測元素相近，同時豐度高、無干擾。由于地質樣品的復雜性，內標元素一般只用Rh、Re、Ir等少數幾個元素。在線加入10ng/mL 187Re和103Rh混合內標溶液，選擇103Rh為內標校正Ga、In、Cd、Ge，187Re為內標校正Tl，對各元素測定結果在30min內的相對標準偏差(RSD)進行了考察，并與校正前進行了對比，結果見圖2。由圖2可見，采用內標校正后，各元素測定結果的相對標準偏差介于2.1%～4.6%之間，相比較未加內標時的6.4%～12.3%有所改善。實驗選取上述方法對測定結果進行校正。

在這個自編碼器中，輸入的是含有部分已知評分的用戶特征表示，隨后通過自編碼器的編碼、解碼來估計出用戶對物品的偏好信息。隨后，將此用戶對物品的偏好分數與通過基于物品的協同過濾思想得到的蘊含物品之間的依賴關系的偏好分數相融合，以此將用戶偏好和物品依賴同時考慮進去。

2.3 融合層

其中，σ 代表sigmoid 激活函數，而Aggr(?)是一個串聯函數。U ∈Rs×d表示一個由固定的目標用戶所交互的s 個物品的d 維向量表示構成的矩陣，I ∈Rd×n表示一個由n 個d 維目標物品的向量表示構成的矩陣，該矩陣的每一列代表一個目標物品的向量表示，兩個矩陣相乘得到結果矩陣Ts×n，該矩陣的第i 列中每一維的值代表該固定目標用戶所交互過的s 個物品分別與第i 個目標物品的向量乘積。 A ∈Rn×s代表權重矩陣，該矩陣的第i 行第s 列的值代表目標物品i 與固定的目標用戶的第s 個歷史交互物品的權重。最后獲取權重矩陣A 與結果矩陣T 的對應行與對應列的乘積，即兩個矩陣相乘結果的對角線的值。使用Aggr(?)串聯對角線的值得到一個n 維向量，將該n 維向量送入如sigmoid 函數得到最后的擬合的結果：

最后，將捕獲局部依賴信息的基于物品的協同過濾擬合出來的評分，與捕獲全局偏好的基于自編碼器擬合出來的評分相加并平均，得到最終的擬合出來的用戶偏好。

隨后為了訓練模型，受到文獻[22]的啟發，設計了一個基于鉸鏈損失函數的目標函數：

3 實驗及結果分析

3.1 實驗設置

為了測試模型的效果，本文采用了兩個來自不同領域的真實數據集：ΜovieLens1Μ和Pinterest。在ΜovieLens1Μ數據集中，保留那些至少有過5 次交互的用戶以及物品，同時將評分大于或等于4的當作用戶曾經有過交互的物品，其余就當作未交互過的物品。而Pinterest數據集中很多用戶的交互次數過少，很難將其直接用于測試模型的效果，同時為了比較模型在不同稀疏度情況下的性能，因而對于該數據集保留那些至少有20 次交互的用戶和物品。預處理過的數據集如表1所示。

表1 數據集信息

對于這兩個數據集，采用留一法來劃分數據集，將每個用戶的最后一次交互當作測試集，其余均作為訓練集來訓練模型。

在關于推薦系統的評估指標中，采用命中率（Hit Ratio，HR）和歸一化折扣累積增益（Normalized Discounted Cumulative Gain，NDCG）作為模型的性能評估指標，這兩個指標廣泛應用于Top-N 推薦中。

模型中的參數以均值為0，標準差為0.01 的高斯分布進行隨機初始化，物品表示的嵌入維度設置從[8，16，32，64]依次取值，注意力網絡的隱藏層維度如物品表示的嵌入維度一樣設置，β 的值設置為0.5，λ 的值在ΜovieLens1Μ 數據集上設為0.001，在Pinterest 數據集上的值設為0.005，邊際距離d 的值設置為0.15，自編碼器中的隱藏層維度設置為160時，實驗效果比較良好。

3.2 對比方法

為了更明確地評估模型的性能，將下面的方法與本文模型進行比較。

Pop：該方法主要根據物品的受歡迎程度對物品進行排名，是一種完全依靠物品的交互次數進行判斷的基準測試方法。

ItemΚNN[3]：該方法是一個標準的基于物品的協同過濾方法，它通過余弦相似度來測量兩個物品的相似度。

ΜF-BPR[23]：該方法是一個使用BPR（Bayesian Personalized Ranking）來優化的ΜF模型，以使得該模型可以從隱式反饋的數據中學習，在基于隱式反饋數據的協同過濾推薦中，是一個常用的基準方法。

U-AutoRec[12]：該方法是一個標準的將自編碼器融入協同過濾進行推薦的模型。該模型基于用戶的自編碼器，將用戶評分作為輸入以學得物品與物品之間的關系。

CDAE[24]：該方法是一個基于降噪自編碼器的模型，它與協同過濾推薦相結合，通過增強物品的潛在特征表示來增強推薦的性能，在Top-N 推薦中具有良好的效果。

FISΜ[5]：該模型是一個效果良好的基于物品的協同過濾方法，它將用戶和物品分別用一個潛在特征向量進行表示，用內積來計算相似度。

3.3 實驗結果

從表2 中可以看到AACF 模型在兩個數據集上的表現均優于其余模型，這證明了AACF 模型的有效性，表明了從用戶和物品的交互信息中挖掘用戶整體偏好和物品局部依賴兩方面的信息來提高推薦系統的有效性確實是可行的。FISΜ 模型與CDAE（Collaborative Denoising Autoencoder）相比，大體上CDAE 的效果好于FISΜ，表明了以自編碼器為基礎的預測模型相對于計算相似度的預測模型而言效果更好，AACF模型優于CDAE模型，表明了注意力機制在AACF模型中發揮了不小的作用。

表2 實驗結果比較（embedding size=16）

此外，如表3所示，本文還探討了SAE（Stacked Autoencoder）與注意力機制結合在ΜovieLens 數據集上的結果。

表3 不同的自編碼器對模型的影響

堆疊自編碼器相對于用戶自編碼器模型性能有所提高。該堆疊自編碼器堆疊了兩個自編碼器，前一層自編碼器的輸出作為第二層自編碼器的輸入，從而起到了類似于預訓練之類的效果，從而提高了模型的性能。

圖3、圖4 展示了在ΜovieLens 數據集上物品表示的嵌入維度對整體模型的影響。從圖中可以看出，模型的效果隨著維度的變大而逐漸提高，當嵌入維度從8提升至16，3 個模型的效果都有一個較大的提升，但嵌入維度從16提升至32、64時，3個模型的提升都較小，這表明，在嵌入維度為16時，模型的推薦效果到達了一個平均的程度。

圖3 ΜovieLens1Μ數據集上的HR結果

圖4 ΜovieLens1Μ數據集上的NDCG結果

圖5研究了注意力網絡中β 值在ΜovieLens數據集上，嵌入維度為16時對AACF模型的影響。

圖5 β 值對AACF模型的影響

結果表明，β 值在[0，0.5]范圍內模型的性能較好，而之后，隨著β 值的變大，模型的性能變差。這是由于β 值越大，softmax函數的限制變小，會慢慢過度懲罰活躍用戶，使得模型性能下降。

圖6展示了AACF在ΜovieLens數據集上自編碼器模塊和注意力模塊對模型總體的影響。

圖6 自編碼器模塊和注意力模塊對模型的影響

圖中，AACF-Auto（AACF-Autoencoder）表示從AACF模型中去除自編碼器模塊后的模型，AACF-Att（AACFAttention）表示從AACF 模型中去除注意力模塊后的模型。從圖中可以看到，AACF模型相對于AACF-Auto和AACF-Att，結果是最好的，其中AACF-Auto的結果相較于AACF-Att 的結果又更好一點。可以說明，注意力模塊對整體模型的影響更大，但自編碼器模塊對模型也存在著不可忽視的作用。

4 結束語

本文提出了一個聯合注意力機制和自編碼器的推薦模型，該模型將用戶和物品的歷史交互信息從用戶整體偏好和物品局部依賴兩方面進行挖掘利用。對于用戶整體偏好，本文采用自編碼器的思想，通過對歷史交互信息整體編碼解碼的方式來擬合出用戶和物品的偏好，而對于物品之間的局部依賴信息，首先通過注意力機制來為目標物品與目標用戶交互過的物品之間分配不同的權重，兩者向量表示的內積代表相似度，代表局部信息的挖掘。模型在兩個真實數據集上的表現相比于基準方法有一定程度的提高。在未來的工作中，可以通過考慮加入其余輔助信息，諸如知識圖譜、評論信息等來更近一步地提高用戶和物品的嵌入表示，從而提高模型的性能。