基于棧式降噪自編碼器的深度推薦

鐘裔靈，朵 琳

（昆明理工大學 信息工程與自動化學院，云南 昆明 650500）

0 引 言

針對推薦系統的研究，對于提升用戶的使用體驗和企業的經濟效益具有重要意義。如果將與用戶存在交互行為的項目定義為正項目，不存在交互行為的項目定義為負項目，那么推薦實際上就是利用用戶的正項目獲取用戶偏好，從而為用戶推薦合適的負項目。對于用戶而言，不同的項目具有的價值是不一樣的，高價值的項目可以理解為通信領域里的信號，低價值的項目可以理解為通信領域里的噪聲。噪聲數據會影響推薦模型的參數優化，從而降低推薦的準確性。又因為這種價值差異必然存在，所以將低價值的項目對于推薦質量的影響稱為自然噪聲問題。緩解這個問題，主要有兩個思路：一是對負項目執行負采樣，通過提升負樣本的價值，來提高推薦的準確性；二是利用特征學習，通過挖掘用戶和項目的深層次本質特征，來提升推薦的準確性。

隨機采樣[1]是按照一定的采樣比從沒有觀察到交互行為的項目中隨機均勻地進行采樣。基于項目流行度的采樣[2]是根據項目的流行度來進行隨機非均勻的采樣。這種隨機的采樣策略，可能把用戶知道但不喜歡的項目篩選出來，而排除了用戶不知道但可能喜歡的項目。雖然執行了負采樣，但對推薦性能的提升非常有限。一些研究者利用其他的輔助數據來改進采樣器，如查看但未點擊和點擊但未購買的數據[3]。但由于這類數據規模有限，因此對推薦性能的提升效果不佳，甚至比上述隨機的采樣策略效果更差。有研究者利用采樣器與推薦器之間的對抗訓練[4]來獲取高質量的負樣本，在參數優化上表現出比隨機采樣更好的性能。但該方法的缺陷在于可能把正例誤認為是高質量的負例。

自編碼器對于特征學習的有效性，在推薦系統中具有重要應用。針對推薦系統的特征學習問題，RAMA K 等人提出了一種深度自編碼器[5]，通過結合自編碼器的特征和嵌入，再利用深度神經網絡來獲取預測評分。該算法分別構建了用戶和項目自編碼器，用于學習用戶和項目的潛在特征，然后以最內層的激活作為深度神經網絡的輸入來預測評分。實驗表明，該算法具有高度靈活的模型，對不同數據都具有較強的適用性。針對移動應用的測試任務，CHENG J 等人提出了一種基于深度學習的測試任務推薦算法[6]。該算法對測試人員和測試任務進行特征分析，將特征數據輸入到棧式邊緣降噪自編碼器，從而學習更深層次的特征，然后利用深度神經網絡來預測評分。實驗表明，該算法在推薦準確性和算法運行效率方面都有不俗的表現。

受相關研究成果的啟發，針對自然噪聲問題，基于自編碼器理論，本文提出一種基于棧式降噪自編碼器的深度推薦算法。該算法的創新點主要有3 個：

（1）針對負采樣問題，利用隱式反饋和項目信息構建知識圖譜，利用正、負項目共同的知識實體來執行負采樣，從而避免誤采樣問題；

（2）針對特征學習問題，利用棧式降噪自編碼器重構用戶和項目評分向量，學習用戶和項目的深層隱表示，從而提升推薦的準確性；

（3）將隱表示與輔助信息結合，共同參與推薦。

1 推薦框架

針對推薦系統中的自然噪聲問題，本文提出一種基于棧式降噪自編碼器的深度推薦算法。該推薦框架包含3 個模塊，分別是采樣模塊、重構模塊及推薦模塊。采樣模塊利用交互矩陣中的隱式反饋和項目的屬性信息構建知識圖譜，利用知識圖譜中項目之間共同的知識實體來執行負采樣，通過提高負樣本的質量，來提升推薦的準確性。重構模塊利用采樣模塊初步篩選的數據獲得用戶和項目評分向量，利用棧式降噪自編碼器對數據進行重構，從而獲得用戶和項目的隱表示，通過挖掘用戶和項目的深層次本質特征，來提升推薦的準確性。推薦模塊利用用戶信息和項目信息分別獲取用戶和項目特征向量，再與重構模塊獲得的隱表示結合，通過多層感知機來獲得預測評分，進一步提升推薦的準確性。

1.1 采樣模塊

本文利用交互矩陣中用戶對項目的隱式反饋F={(u,i)|u∈U,i∈I}和項目的知識信息N={(i,k)|i∈I,k∈K}來構建知識圖譜。知識圖譜中的每一個節點代表一個用戶u、項目i或知識實體k，圖譜中的每一條邊代表用戶與項目存在交互行為或項目具有某個知識實體。在第l個圖卷積層中，更新公式為式（1）。

1.2 重構模塊

在采樣模塊中，本文利用用戶對項目的隱式反饋和項目的屬性信息來構建知識圖譜，再根據知識圖譜中項目之間共同的知識實體來進行采樣，對訓練數據進行了初步的篩選。但由于交互矩陣中的隱式反饋數據本身存在一些自然噪聲，在推薦模型優化過程中對參數優化造成了數據干擾，影響了推薦模型的準確性和泛化能力。相關研究成果表明，自編碼器具有強大的表示學習能力，可用于學習用戶和項目的隱表示。

于是，本文利用降噪自編碼器對交互矩陣中用戶評分向量和項目評分向量進行重構，來獲取用戶和項目的隱表示，作為后續推薦模塊的輸入，從而緩解推薦系統的自然噪聲問題。重構公式參考式（4）。

通過式（4）即可實現用戶評分向量和項目評分向量的重構，獲取用戶和項目的隱表示。由于單個降噪自編碼器對推薦性能的提升有限，本文使用棧式降噪自編碼器對用戶評分向量和項目評分向量進行多次重構，并在后續實驗中評估其對于推薦性能的影響。對于利用多層降噪自編碼器對用戶和項目評分向量進行重構的情況，利用最后一層降噪自編碼器獲得的用戶和項目的隱表示，作為后續推薦模塊的輸入。

1.3 推薦模塊

在重構模塊，利用多個自編碼器對交互矩陣中的用戶評分向量和項目評分向量進行了重構，得到了用戶和項目的隱表示。但是，用戶和項目的隱表示僅來源于用戶對項目的隱式反饋。已經有許多推薦系統的相關成果表明，將更多的輔助數據融入推薦算法，可以有效提高推薦的準確性。從用戶角度看，比如用戶的性別、年齡、職業等信息；從項目角度看，比如項目的品牌、價格、類別等信息。

于是，在推薦模塊，利用用戶信息和項目信息，分別獲取用戶特征向量和項目特征向量，再與重構模塊中用戶和項目的隱表示以向量拼接的方式結合，從而充分利用用戶信息、項目信息、用戶對項目的隱式反饋三個維度的數據信息。將三個維度數據結合后，輸入到多層感知機中，獲取用戶對項目的預測評分。

推薦模塊中，將用戶的隱表示、項目的隱表示、用戶的特征向量、項目的特征向量結合的公式為：

式中：Wx是x層的權重，bx是x層的偏移，ax是激活函數ReLU，h為連接權重，σ為激活函數Relu。

1.4 模型優化

將基于隱式反饋的推薦問題視為二分類問題，通過最小化預測評分與實際評分之間的二分類交叉熵損失來優化推薦模型，優化方式為隨機梯度下降（Stochastic Gradient Descent，SGD），損失函數的計算公式為：

2 SDAE-DR 實驗

2.1 實驗設置

2.1.1 數據集描述

本文利用網上公開的Amazon-book 數據集來進行SDAE-DR 算法的驗證實驗。Amazon-book 是亞馬遜電商平臺上關于書籍的電商數據，其中包含了70 679 個用戶對24 985 個項目的847 733 條交互數據。使用的用戶輔助信息為年齡、性別及職業等，項目輔助信息為作者、類別及出版社等。

2.1.2 基準線

參與對比的推薦模型有：

（1）GMF，對隱式反饋進行線性建模的推薦模型；

（2）MLP，對隱式反饋進行非線性建模的推薦模型；

（3）NCF，利用GMF 對隱式反饋進行線性建模，利用MLP 對隱式反饋進行非線性建模，將兩者融合，并采用隨機采樣（RS）的推薦模型；

（4）NCF-KAS，利用GMF 對隱式反饋進行線性建模，利用MLP 對隱式反饋進行非線性建模，將兩者融合，并利用隱式反饋和項目信息構建知識圖譜，利用知識圖譜中項目間共同的知識實體進行知識感知采樣（KAS）的推薦模型；

（5）SDAE-DR，利用隱式反饋和項目信息構建知識圖譜，利用知識圖譜中項目共同的知識實體進行靜態知識感知采樣（Static Knowledgeaware Sampling，SKAS），利 用 棧 式 自 編 碼 器（Stacked Denoising Auto-encoder，SDAE）重 構 用戶和項目評分向量，并與用戶和項目的輔助信息（Supplementary Information，SI）結合，利用MLP 進行非線性建模的推薦模型。

2.1.3 性能指標

本文使用命中率（HR@K）和歸一化折扣累積增益（NDCG@K）來評估推薦算法的準確性，利用平均迭代時間（Average Iteration Time，AIT）來評估算法的運行效率。其中，K代表的是推薦列表的長度，取K=10，則對應實際推薦場景中的top-10 推薦。

命中率的含義是推薦算法生成的推薦項目用戶是否喜歡。命中率的計算公式為：

2.1.4 參數設置

對于SDAE-DR 算法，固定負樣本數為4，自編碼器層數為4，感知機層數為4，預測因子為64，推薦列表長度K=10，迭代次數為100 次，進行SDAE-DR算法的消融實驗以及與其他推薦模型（GMF、MLP、NCF 及NCF-KAS）的對比實驗。

2.2 實驗結果與分析

2.2.1 SDAE-DR 的消融實驗

這組實驗用于驗證利用SKAS 進行采樣、利用SDAE 重構數據、利用用戶和項目的輔助數據SI 對于提升SDAE-DR 推薦性能的有效性。本文分別考察了MLP、MLP+SI、MLP+SI+SDAE、MLP+SI+SDAE+SKAS（SDAE-DR）的命中率和歸一化折扣累積增益，實驗結果如表1 所示。

表1 SDAE-DR 的消融實驗結果

當僅采用多層感知機對隱式反饋進行非線性建模時，推薦系統的推薦性能表現最差，HR@10和NDCG@10 分別是0.159 2，0.109 5。融入用戶和項目的輔助信息后，推薦系統的推薦性能有所提升，HR@10 和NDCG@10 分別是0.162 1，0.112 2，相比MLP，HR@10和NDCG@10分別相對改進1.82%，2.47%。當加入自編碼器重構用戶和項目評分向量，推薦系統的推薦性能再次提升，HR@10 和NDCG@10 分 別 是0.166 6，0.116 8，相 比MLP，HR@10 和NDCG@10 分別相對改進4.65%，6.67%。當使用靜態知識感知采樣來執行負采樣時，推薦系統的推薦性能達到最佳，HR@10 和NDCG@10分 別 是0.170 5，0.120 5，相 比MLP，HR@10 和NDCG@10 分別相對改進7.10%，10.05%。

實驗結果表明：使用SKAS 執行負采樣，使用SDAE 重構數據，融合用戶和項目輔助信息SI，可以有效提升SDAE-SR 的推薦性能。首先，采樣模塊利用用戶對項目的隱式反饋和項目的屬性信息來構建知識圖譜，利用知識圖譜中項目之間共同的知識實體來進行靜態知識感知采樣，通過提高負樣本的質量，在一定程度上提升了推薦的準確性；其次，重構模塊利用棧式自編碼器對用戶和項目評分向量進行重構，挖掘了用戶和項目的深層次本質特征，再次提升了推薦的準確性；最后，推薦模塊不僅使用了用戶對項目的隱式反饋，更結合了用戶和項目的輔助信息，進一步提升了推薦的準確性。

2.2.2 SDAE-DR 與其他推薦模型的對比實驗

這組實驗通過SDAE-DR 與其他推薦模型的性能對比來驗證SDAE-DR 的優越性。本文分別考察了GMF，MLP，NCF，NCF-KAS 及SDAE-DR 的命中率、歸一化折扣累積增益以及平均迭代時間，實驗結果如表2 所示。

表2 SDAE-DR 與其他推薦模型的對比實驗結果

可以看到，僅對用戶和項目的隱式反饋進行線性建模的GMF，平均迭代時間為82 s，運行效率最高，但推薦的準確性也最差，HR@10 和NDCG@10僅為0.158 8，0.109 2。對用戶和項目的隱式反饋進行非線性建模的MLP，HR@10 和NDCG@10 分別為0.159 2，0.109 5，與GMF 相比，推薦的準確性提升較小，而平均迭代時間為156 s，幾乎加倍，但MLP 的優勢在于，非線性建模的方式具有較高的靈活性，可以更好地與其他輔助數據結合起來。將GMF 和MLP 結合的NCF，推薦的準確性有所提升，但由于算法復雜度的提升，運行效率有所下降。利用推薦器NCF 和采樣器KAS 進行交互強化學習的NCF-KAS，與NCF 相比，推薦的準確性有較大的提升，但平均迭代時間幾乎加倍，算法運行效率大幅下降。利用SKAS 進行負采樣、利用SDAE 來重構數據、融入用戶和項目輔助信息SI 的SDAE-DR，與NCF-KAS 相比，推薦的準確性和算法運行效率均有較大提升。

實驗結果表明：SDAE-DR 相比于前四種算法中推薦準確性最高的NCF-KAS，具有更高的推薦準確性，并且，算法的運行效率也大幅提升。NCFKAS 利用推薦器和采樣器之間的交互強化學習來提升推薦的準確性，但推薦器和采樣器的反復交互也大大地增加了算法復雜度，導致算法運行效率低下。SDAE-SR 的采樣、重構、推薦三個模塊之間是級聯結構，降低了算法復雜度，提高了算法運行效率，并且由于重構模塊對隱式反饋的重構，緩解了自然噪聲問題，加上推薦模塊融入的輔助信息，使得SDAE-DR 獲得了比NCF-KAS 更高的推薦準確性和運行效率。

3 結 語

針對推薦系統的自然噪聲問題，本文提出了SDAE-DR 算法。該算法包含采樣、重構、推薦三個模塊。采樣模塊利用知識感知采樣，通過提升負樣本的質量，提升推薦的準確性。重構模塊利用自編碼器重構用戶和項目評分，獲取用戶和項目的深層隱表示，從而提升推薦的準確性。推薦模塊通過隱表示與輔助信息的結合，來提升推薦的準確性。三個模塊之間采用級聯結構，從而提升了算法的運行效率。該算法的不足之處在于，面對增量數據時，擴展性較差。利用分布式計算技術，對該算法進行并行化擴展，以提升算法的擴展性，是后續研究的主要工作。