基于對比學習的圖書推薦系統冷啟動研究

董昊燁，樊重俊

（上海理工大學管理學院，上海 200093）

0 引 言

近幾年，隨著大數據、物聯網、人工智能、5G 的蓬勃發展，互聯網產生的數據也與日俱增，在面對海量數據的情況下，人類無法迅速精準地找到有價值的信息。 為了解決數據過載的問題，推薦系統應運而生，可以從海量的互聯網數據中挖掘出用戶可能感興趣的商品，做出個性化推薦，有效降低了人們在互聯網上尋找自己感興趣信息時所消耗的時間。 隨著相關研究的逐漸成熟，推薦系統通過強大的信息過濾技術為很多領域的發展都提供了強有力的幫助，比如，電商領域天貓、亞馬遜等平臺的應用，娛樂領域快手短視頻、qq 音樂等App 的普及，都通過推薦系統大大提升了軟件的使用頻率和用戶數量。

作為大家日常生活中放松、學習、自我提升的重要工具，圖書依然是人們不可或缺的精神食糧。 在《2021年中國圖書市場研究報告》中顯示，圖書行業正在逐步加入新的商業模式中，網上書店就是新模式下的產物，且已形成了規模，并逐步占有大部分市場份額，因此線上圖書推薦系統的應用必要性也日益凸顯。 線上圖書推薦系統可以根據每個用戶與電子圖書的交互數據，分析挖掘用戶行為，實現智能化的圖書精準推薦。

但與此同時，對于圖書推薦系統而言，冷啟動的問題也不容忽視。 平臺中并非所有圖書都有充足的可用歷史數據，隨著新書籍的不斷上架，系統內部沒有充足的數據支撐，經典的協同過濾等方案無法利用協同相似度來推斷用戶對這些圖書的偏好，很大程度上降低了推薦準確性。 從而導致用戶信賴度降低，失去用戶粘性，最終用戶數量減少，對企業造成了極大影響，因此，解決推薦系統冷啟動問題迫在眉睫。

針對上述問題，論文提出了一種基于對比學習的冷啟動推薦框架，可以顯著提高圖書冷啟動情況下的推薦準確性，對此問題的研究具有迫切的意義。

1 相關工作

1.1 對比學習

對比學習作為自監督學習的代表性算法，目前已經廣泛應用于計算機視覺［1－7］和自然語言處理［5－6］領域。 就是通過從一些負樣本對中識別出正對，最大化了不同表示之間的互信息，從而發現不同視圖之間共享的語義信息。 為此，Oord 等學者［8］提出了一種概率對比損失以最大限度地保留觀測和上下文信號之間的互信息。 對于推薦系統，一些模型［9］采用對比學習來優化用戶和項目的表示。 然而，這些方法更側重于協作或內容空間的表示。

相比之下，將協作嵌入和特征表示視為2 個不同的方面，并最大化彼此間的互信息，以便于從內容信息中捕捉協作信號。

1.2 推薦系統冷啟動

解決推薦系統冷啟動問題的常見方法是利用輔助信息和上下文信息［10］，以及來自其他領域的信息［11］來推薦物品，但是隨著《通用數據保護條例》的頒布，數據在政策的限制下分散在不同的平臺中，可獲取的信息越來越少。 傳統的基于內容推薦的方法使用用戶特征和項目特征來擴充數據，雖然提高了推薦的準確率，但會造成很明顯的“長尾效應”。 文獻［12］提出了一種局部集體嵌入學習方法，通過項目的屬性和過去的用戶偏好進行矩陣分解，在新聞推薦領域得到了很好的效果，但在其他領域推薦精度亟待提高。 Gao 等［13］提出了一種融合CNN 和GAN 模型的基于Deep Q－Network 的推薦框架，在DRCGR 中還提供了一種將卷積序列嵌入的推薦模型，以捕獲用戶正反饋的序列偏好。 Feng 等學者［14］使用奇異值分解模型對未評級項目進行預處理，以增加顯式反饋數據的密度，再將提取的特征進行融合，得到最終的用戶特征矩陣和產品特征矩陣。 本文將通過最大化互信息來明確顯示的建模內容與協同過濾信息之間的相關性。

2 對比學習冷啟動框架

研究提出了一個基于對比學習的冷啟動推薦框架。 如圖1 所示。 該框架主要由3 部分組成：對比對組織、對比嵌入網絡、對比優化。 在下文中，將詳細介紹每一部分的設計內容。

圖1 對比學習推薦系統框架示意圖Fig. 1 The framework diagram of comparative learning recommendation system

2.1 對比對組織

對比學習的核心思想是構造正負樣本，將語義相似的實例所組成的正樣本從語義不相似的實例所組成的負樣本中識別出來，并將正樣本和負樣本在特征空間中進行對比，學習樣本的特征表示。 因此，在圖書推薦系統中，將用戶和圖書組成U － B和M － N對比對進行學習研究。

2.1.1U － B對比對

研究中從歷史數據中進行尋找，將觀察到的用戶（user） —書籍（book） 對視為正樣本，如圖2 所示。 同時，隨機抽取K項尚未被用戶U購買的書籍，如（c1，c2，c3，…，ck），并與用戶配對以建立負樣本對。 形式上，可以將正U － B和負U － B對定義為：

圖2 U－B 部分框架Fig. 2 U－B part frame

與負樣本對相比，正樣本對包含相似的協同信號，因此，這樣更有助于發現由交互動作所傳遞的協作信號。

2.1.2M － N對比對

與U － B對比對不同，M － N對比對采用了自判別任務來最大化項目的2 種不同表示的相互信息。 如圖2 所示，為了構建配對b將其設為錨點，并將其與自身連接作為正對，這揭示了同一項目b的2 個表示之間的語義相似性。

相反，錨點與其他項目組織的否定對在語義上是不相似的。 由圖1 看到，將項目配對在一起從而獲得M － N對比對：

其中，（b，b） 是正對，其他為負對。

2.2 對比嵌入網絡

基于對比學習樣本，設計了U － B、M － N對比嵌入網絡來表示用戶和書籍，并定義了關系密度函數來計算每個樣本對的相關性。

2.2.1U － B對比嵌入網絡

為了對用戶－圖書交互矩陣進行建模，從由參數矩陣定義的查找表中獲取對應的id 嵌入（如eu，eb）：

然后，通過一個共享的CF 編碼器來學習用戶－圖書的協作嵌入（見圖2），可以通過各種模型來實現，例如基于MF［15－17］模型、基于圖神經網絡［18－20］模型等。 在此項工作中，運用了簡單且有效的實現方法，基于LightGCN［18］和MF［16］，將其表述為：

其中，ε是將id嵌入（eb，eu） 作為輸入的CF編碼器；Nu表示用戶u已經購買的圖書集合；Nb表示與圖書b進行過交互的用戶集合。 在獲得了用戶－圖書對（即zu和zb）的協作嵌入后，定義了關系密度函數p（zu，zb） 來衡量其相關性：

其中，τ為溫度系數［1］，用內積來計算相關性，將其他非負函數的探索留在未來的工作中。

2.2.2M － N對比嵌入網絡

此嵌入網絡用于對圖書協作信號和內容信息兩個方面之間的相關性進行評分。M － N部分框架如圖3 所示，即由2 塊區域構成：分別對圖書的特征表示和協同嵌入進行建模。 其中，協同嵌入的方式與2.2.1 節U － B對比嵌入網絡中的方法相同。

圖3 M－N 部分框架Fig. 3 M－N part frame

為了表示圖書的內容信息，應用了一個預先訓練好的深度學習模型進行特征提取［21］，獲得M － N對比對中圖書c的特征向量xc，再運用多層感知器進行特征編碼獲得hc：

其中，W（.）表示編碼器的可訓練矩陣；b（.）表示編碼器的偏置向量；hc是圖書的期望特征表示，提取了內容特征且最大限度地保留了與協作信號相關的信息。 在這種特征表示下，可以計算用戶和冷啟動項目之間的相關性。

在通過上述方法獲得hc與zb后，使用以下關系密度函數對其相關性進行評分：

20世紀以來，現代科學研究逐漸呈現出學科高度綜合化的特征，跨學科研究已經演變成為科學研究實踐的重要形式之一[6]。創業研究也不例外，由此我們可以判別每篇跨學科研究文獻涉及的學科領域，圖中節點大小反映的是該節點所代表的學科發文量的多少，節點之間的連線反映了節點共現關系，也即是說明具有共現關系的這些節點所代表的學科在同一篇文獻中出現，這篇文獻進行了相應的跨學科研究。統計發現，160種學科共產生了5147種學科共現關系。

為了保持內容信息的完整，可將向量進行歸一化處理，測量單位空間中的比值。

2.3 最終目標函數

為了使交互信息最大化，運用對比學習的方法來優化模型的參數，結合定義的關系密度函數，得到最終的目標函數：

3 實驗與結果

在本節中，首先介紹了用于本次實驗的數據集，并描述了實驗設計。 然后，為了評估本文提出對比學習冷啟動推薦框架的準確性，將提出的方法與熱啟動、冷啟動和所有項目的真實數據中的樣本進行了比較，得到了最終的實驗結果。

3.1 實驗設置

3.1.1 數據集

為了評估本文提出“圖書冷啟動推薦系統”的有效性，分別在2 個真實的數據集中進行了廣泛的實驗，包括由弗萊堡大學Cai－Nicolas Ziegler 發布的Book－Crossing Dataset 和由Amazon product 中提供的一些用戶—圖書的購買數據，信息見表1。

表1 數據集摘要Tab. 1 Data set summary

對于每個數據集，隨機抽取了一些圖書作為冷啟動項目，并按照1 ∶1 的比例分為冷啟動條件下的驗證集和測試集。 此外，將其他的圖書交互數據按照8 ∶1 ∶1 的比例分為訓練集、熱啟動驗證集、熱啟動測試集。 結合所有的驗證集對目標函數的超參數進行優化，并通過測試集對最終模型的性能進行評估。

3.1.2 對比參照

（1）DropoutNet［22］。 該方法改變了模型訓練方式，在訓練過程中加入了dropout 的機制，使得模型不過度依賴ID embedding，而是其他內容特征。 從而減小了不好的ID embedding 的影響。

（2）Heater［23］。 該方法使用誤差平方和損失（SSE） 來對內容信息中的協作嵌入進行建模，同時利用隨機訓練的方法來提升有效性。

（3）DUIF［24］。 與基于CF 的模型不同，這種方法在不對CF 信號建模的情況下學習用戶對項目特征的應用，從根本上避免了冷啟動問題。

（4）MF－BPR［17］。 該方法根據過去的交互學習潛在向量（即協作嵌入）來表示用戶和項目，并通過測量所學習的表示之間的相似性來預測其相似性。

（5）LightGCN［18］。 基于圖卷積網絡［25－26］，學習高階CF 信號，并將其注入到協作嵌入中，優化推薦。

3.1.3 度量標準

分別對2 個數據集中的熱啟動項、冷啟動項和所有項目（熱啟動項與冷啟動項相結合）進行評估，采用廣泛應用于推薦系統領域的評價指標：召回率（recall@K） 以及歸一化折損累計增益（NDCG@K）。 默認情況下，設置K ＝10。

3.1.4 參數設置

為了公平起見，將所有模型的協同嵌入維數設置為64。 在超參數方面，使用網格搜索的方法［27－28］：學習率在｛0.000 1，0.001，0.01，0.1｝ 中調整，正則化權重在｛0.000 1，0.001，0.1｝ 中搜索。此外，采用提前停止策略［27］，如果在驗證集上連續10 次迭代recall@10 沒有增加，則停止訓練。

3.2 結論

3.2.1 關于目標函數的性能比較

在本文中，提出了一個基于對學習方法的目標函數，并運用了一個具有靈活編碼器的通用框架。為了證明目標函數的合理性，將配備了基于MF和基于GCN的CF編碼器（CENMF和CENGCN）與MF － BPR和LightGCN進行比較，通過BPR損失函數進行優化。 分析實驗結果見表2、表3，得到結論為：

CENMF和CENGCN無論在冷啟動、還是熱啟動情況下均顯著優于MF － BPR和LightGCN，因此本文所提出的目標函數能夠有效地對協作嵌入進行建模，并提取與協作信號相關的特征。

3.2.2 關于冷啟動的建議

分析實驗結果，得到以下結論：

分析表3，在recall@10 和NDCG@10 的結果中，對于訓練集中未出現過的圖書（即冷啟動項目），DUIF的性能大大優于其他方法。 因為基于內容的模型中，用戶是通過細化其交互的圖書特征來表示的，這些特征通過與未觀察到的圖書相關聯，因此是合理的。 然而在基于內容過濾的模型中，用戶的協作嵌入和圖書的特征表示之間存在差距。

通過分析表2 的結果，可以發現針對冷啟動設計的方法（DropoutNET、Heater）在冷啟動的場景中優于MF － BPR和LightGCN，這些方法均從圖書特征中捕捉到了協作信號，有助于預測用戶與冷啟動圖書之間的交互。

本文提出的圖書冷啟動推薦框架在所有情況下（冷啟動、 熱啟動、 冷啟動與熱啟動相結合）recall@10 和NDCG@10 均是優于上述最強性能的。 其中，recall@10 在2 個數據集上比最強基線分別提高了109.72%、58.21%，NDCG@10 分別比基線提高了51.25%、115.29%。 可以歸因于以下2個方面：

（1）具有U － B對比學習方法的圖書冷啟動推薦框架有助于協同嵌入的建模。

（2）M － N互信息保留了更多與協作信號相關信息的特征表示。

3.3 深入分析

為了進一步探索本文提出的方法如何優化推薦，還進行了額外的實驗來研究訓練過程的梯度幅度。 不同數量的對比負對中測試所提出的方法，并計算等式中的梯度幅度。 記錄了每個時期的梯度幅度狀態，并在圖4 中展示了在Book－Crossing 數據集Recall@10 的相關學習曲線。

圖4 在Book－Crossing 數據集Recall＠10 的相關學習曲線Fig. 4 Related learning curve in the Book－Crossing dataset Recall＠10

通過分析平均梯度和性能，研究發現本文提出的方法比MF－BPR 獲得了更大的梯度幅度，性能也隨著負對的增加而提高。

4 結束語

本文專注于圖書冷啟動推薦問題，在對比學習的基礎上制定了一個新的目標函數來最大化U － B和M － N兩種互信息，從而進一步設計了一個由對比對、對比嵌入網絡、對比優化三部分組成的冷啟動推薦框架。 本文在2 個數據集上進行了廣泛的實驗，實驗結果驗證了方法的有效性，無論在冷啟動、還是暖啟動方面推薦準確度均有較大的提升。 該方法不僅提供了一種解決冷啟動的方法，也在運用對比學習解決冷啟動的方向上帶來了一定的啟發。 此外，未來會進一步研究互信息最大化在其它領域的有效應用。