基于對比學習的多模態序列推薦算法

韓滕躍，牛少彰*，張文

基于對比學習的多模態序列推薦算法

韓滕躍1，牛少彰1*，張文2

（1.北京郵電大學 計算機學院，北京 100876； 2.東南數字經濟發展研究院，浙江 衢州 324000）（*通信作者電子郵箱szniu@bupt.edu.cn）

針對如何利用商品的多模態信息提高序列推薦算法準確性的問題，提出一種基于對比學習技術的多模態序列推薦算法。該算法首先通過改變商品顏色和截取商品圖片中心區域等手段進行數據增強，并把增強后的數據與原數據進行對比學習，以提取到商品的顏色和形狀等視覺模態信息；其次對商品的文本模態信息進行低維空間嵌入，從而得到商品多模態信息的完整表達；最后根據商品的時序性，采用循環神經網絡（RNN）建模多模態信息的序列交互特征，得到用戶的偏好表達，從而進行商品推薦。在兩個公開的數據集上進行實驗測試的結果表明，與現有的序列推薦算法LESSR相比，所提算法排序性能有所提升，且該算法在特征維度值到達50后，推薦性能基本保持不變。

對比學習；多模態；神經網絡；序列推薦；特征交互

0 引言

近年來，電子商業發展迅猛并取得了巨大的成功。在線上購物平臺中，用戶可以自由選擇自己需要的商品。但線上購物平臺中包含數以百萬計的商品，用戶需要從海量的商品中挑選出滿足自己喜好的商品，這無疑會增加人們尋求目標商品的難度。應運而生的推薦算法［1-2］主要根據用戶的歷史購買記錄推測用戶的偏好，為每個用戶進行商品推薦，從而提供更加智能化的服務。在推薦算法中融合社交信息［3］、序列信息［4］、多模態信息［5］等都有助于提升推薦性能。序列推薦是一類考慮用戶購買行為時序性特征的推薦算法［6］。序列推薦中建模商品的序列交互特征對提高推薦結果準確性具有非常重要的意義［7-8］。

在序列推薦中，引入商品的多模態信息可以豐富商品的表達，提高深度神經網絡算法建模能力，提升推薦性能。目前，國內外眾多學者將商品的視覺模態信息或文本模態信息引入到推薦算法中，其工作主要可以分為三個大類：基于視覺模態的推薦算法、基于文本模態的推薦算法和基于多模態的推薦算法。

文獻［9-12］將商品的圖片信息整合到推薦算法中，提高了深度神經網絡的建模能力。文獻［9］中建模用戶對商品視覺關系的概念，并根據商品的視覺關系（匹配或者不匹配）進行商品的組合推薦；文獻［10］在傳統的基于矩陣分解的推薦算法基礎上，引入視覺偏好的矩陣分解，利用用戶視覺偏好表達與商品圖片特征表達的內積即可建模視覺模態，反映用戶對商品的喜愛程度，擴展了傳統的基于矩陣分解的推薦算法；文獻［11］中采用循環神經網絡（Recurrent Neural Network， RNN）學習商品間的視覺語義嵌入以及適配性關系，該算法采用端到端的訓練方式訓練一個雙向的RNN，預測下一個商品是否能與已有商品組成套裝，從而進行套裝推薦；文獻［12］將注意力機制引入到傳統的協同過濾算法中，建模用戶對商品圖片不同區域的不同注意力分數，以便捕捉到用戶最感興趣的商品圖片區域，更加細粒度地捕捉用戶的視覺偏好。

文獻［13-16］將文本模態的信息融入到推薦算法中，旨在挖掘文本中對推薦算法有幫助的信息。文獻［13］從文本評論中提取商品的特定屬性，將用戶與商品二元關系豐富為用戶與商品與屬性的三元關系，并將三元關系建模為異構三方圖，將推薦任務作為頂點排序任務；文獻［14］中建模用戶對商品的評分，同時將預測用戶對商品的評論作為輔助任務訓練算法，以豐富用戶和商品的表達；文獻［15］中通過有效地結合評論和評分，提出了一種用于評分預測的方面感知算法；文獻［16］中提出了一種以商品評論信息作為商品表達的神經網絡算法，用豐富的語義信息增強商品的表達而進行序列推薦。

文獻［17-19］將多模態的信息引入到推薦算法中，旨在利用多種模態信息的豐富性和互補性提升推薦算法的準確度。文獻［17］中利用注意力機制建模用戶視覺模態的偏好，同時將文本模態的評論預測作為輔助任務聯合訓練算法，以提升算法預測的準確度；文獻［18］中提出了一個多模態圖卷積神經網絡，該算法學習用戶與商品在視覺、文本和聽覺三個模態下的表達，最終利用這些表達進行推薦；文獻［19］中用商品多模態的表達增強商品的表達，利用RNN做下一次行為推薦，采用多任務訓練的方式提升算法的泛化能力。

上述研究在利用商品單模態或多模態的信息提升推薦算法的準確性方面做了大量的工作，但存在兩點不足：1）現有工作在提取視覺模態信息時，都采用預訓練的卷積神經網絡（Convolutional Neural Network， CNN），如Visual Geometry Group （VGG）等，但是這些預訓練算法是針對圖片分類任務而設計的，并不完全適用于提取推薦系統中的視覺模態特征，例如商品視覺模態的細粒度特征、形狀和顏色等；2）現有工作大多著重研究單個商品的多模態特征交互，忽略了時序上多模態特征的交互，建模序列數據上的多模態特征交互對提升推薦性能亦有助益。本文主要考慮如何利用多模態的細粒度信息提升推薦性能，例如在視覺模態中，如何提取商品的顏色和形狀的特征表達，在文本模態如何利用品牌和類別等特征表達，以及如何建模序列上這些多模態特征之間的交互。故面臨的挑戰主要分為兩部分：1）如何從商品的多種模態中準確提取出商品的細粒度特征，如商品的顏色、形狀等；2）如何在序列數據上建模多模態特征之間的交互，形成用戶偏好的表達。

為了解決以上問題，本文提出了一種基于對比學習技術的多模態序列推薦算法。該算法采用對比學習的框架處理視覺模態特征，通過改變商品顏色和裁剪圖片中心區域等方式做數據增強，增強后的數據與原數據進行對比學習，提取商品中顏色和形狀的特征表達；采用低維向量嵌入的方式處理文本模態的信息，用低維向量表示商品類別和品牌信息，最后將商品的多模態特征輸入到RNN中，建模多種模態間的序列交互，生成用戶偏好的表達，從而進行下一次購買行為預測。該算法的創新之處在于對任何無標簽的商品圖片數據，都可以提取出圖片數據中的多模態信息，包括形狀和顏色特征，并且能夠建模序列數據上的多模態特征之間的交互，提升推薦系統的準確性。實驗結果表明，本文算法可以有效提升推薦結果的準確性。

1 預備知識

2 本文算法

本文提出的基于對比學習的多模態序列推薦算法主要由視覺模態處理、文本模態處理、序列交互和算法訓練及預測四個模塊組成，如圖1所示。

圖1 本文算法的整體框架

2.1 視覺模態處理模塊

針對視覺模態，本文算法需要從每個商品圖片中提取出形狀和顏色的特征表達，主要通過對比學習的方式學習這兩種特征。首先，對圖片做一些預處理工作，從而達到豐富圖片數據集的目的，即數據增強。第一種圖片增強方式是采用預訓練的Mask-RCNN對每張圖片商品區域用不同顏色的掩模覆蓋，這樣就實現了在保持圖片背景不變的前提下，改變商品的顏色，每個商品的形狀信息并沒有更改，每個商品圖片與其改變顏色的商品圖片的形狀特征表達是一致的，利用對比學習的技術，縮小這兩張圖片形狀表達的差異，訓練網絡，從而達到提取商品形狀特征表達的目的。第二種圖片增強的方式是截取每張圖片的中心區域，中心區域的顏色基本可以代表該商品所屬的色系，故每張圖片與其截取后的圖片顏色特征的表達是一致的，利用對比學習的技術，縮小這兩張圖片顏色表達的差異，從而達到提取出商品顏色特征表達的目的。視覺模態處理流程如圖2所示。

圖2 視覺模態處理流程

2.2 文本模態處理模塊

圖3 文本模態處理流程

2.3 序列交互模塊

序列交互模塊即建模序列數據上這些特征間的交互作用。該模塊采用RNN［21-22］建模多模態特征間的序列交互。RNN是為建模序列數據的交互而設計的，長短期記憶（Long Short-Term Memory， LSTM）網絡是RNN中經典的一種，主要分為遺忘門、輸入門和輸出門三個部分：遺忘門控制傳遞到下一時刻的信息；輸入門控制每個時刻的輸入信息；輸出門控制每個時刻輸出的信息。具體操作過程如下：

2.4 訓練和預測模塊

3 實驗與結果分析

3.1 實驗數據

本文實驗使用公開的亞馬遜數據集［23］，選用其中兩個廣泛被使用的領域：手機和衣物。每個商品都有圖片、類別以及品牌信息。每個用戶購買商品都含有時間戳信息，本文按照時間戳將每個用戶購買過的商品做成序列，作為一條訓練數據。需要注意的是，本文將每個用戶購買的倒數第二個商品作為驗證集，倒數第一個商品作為測試集。實驗中，刪除了圖片缺失或者沒有類別品牌信息的商品，并且刪除購買次數小于5的用戶。兩個數據集的統計情況如表1所示。

表1 實驗數據集的統計情況

3.2 實驗環境

文本實驗環境采用Windows 10系統（64位），CPU配置為Intel Core i7-9700K CPU @3.60 GHz，GPU配置為GTX 2080Ti，內存容量為11 GB。本文中所有涉及到的實驗代碼采用Python編寫，所用版本為3.6.9，實驗框架采用Pytorch，所用版本為1.4.0。

3.3 實驗參數

本文采用ResNet18作為視覺模態處理模塊基礎的卷積神經網絡結構，用到的其他參數配置如表2所示。

3.4 評價指標

采用推薦算法中最常用的兩個評價指標來衡量本文算法的性能，即召回率（Hit-Ratio）和歸一化累積折扣信息增益（Normalized Discounted Cumulative Gain， NDCG）［23-24］。在測試時，考慮到算法時間復雜度等問題，算法隨機負采樣100個商品，對推薦的商品進行排序，選取排名前十（Top-10）的商品進行推薦。

1）Hit-Ratio是常用的衡量召回率的指標，計算方式如下：

表2 實驗參數設置

2）NDCG是一種衡量推薦商品順序的指標，折損累計增益（Discounted Cumulative Gain， DCG）以及NDCG計算方式如下：

3.5 實驗結果

3.5.1 主實驗結果

本文在兩個數據集上進行實驗，并將實驗結果與經典的序列推薦算法進行比較。進行對比的經典序列推薦算法包括VBPR［10］、MV-RNN［19］、GRU4Rec［6］、Caser［25］、SASRec［26］、BERT4Rec［27］和LESSR［28］。其中：VBPR采用預訓練的視覺特征提取器提取視覺模態信息；MV-RNN采用預訓練的視覺和文本特征提取器提取多模態特征。選取這兩個算法作為對比算法主要是為了驗證本文提出的視覺特征模塊的有效性。GRU4Rec、Caser、SASRec、BERT4Rec和LESSR屬于序列推薦算法，選取它們做對比實驗主要是為了驗證多模態特征序列交互的有效性。實驗結果如表3所示。

從表3可以看出，本文算法的性能優于對比的經典算法。算法VBPR只采用了視覺模態的信息，而MV-RNN采用了視覺模態和文本模態的信息，MV-RNN優于VBPR，這說明多模態的推薦算法優于單一模態的推薦算法。MV-RNN將視覺模態和文本模態的信息作為直接輸入，而本文算法將視覺模態和文本模態的信息分別進行細粒度的提取和處理，因此性能更優，由此可見，本文算法能夠更好地建模多模態的序列交互特征。GRU4Rec用RNN建模商品標號之間的序列交互，Caser用卷積神經網絡建模商品標號之間的序列特征，SASRec用自注意力機制建模商品標號之間的序列交互，BERT4Rec在自注意力機制的基礎上改變了算法的訓練方式，LESSR用圖神經網絡建模序列商品標號之間的交互特征，而本文算法則是將多模態的特征融入到序列數據中，建模多模態數據的特征交互。從實驗結果可以看出，本文算法優于經典的序列推薦算法GRU4Rec、Caser、SASRec、BERT4Rec和LESSR，這說明在序列推薦場景中，融合商品的多模態特征對于提高推薦性能很有幫助。

從表3可以看出，本文算法的性能在衣物類數據集上提升較為明顯，這更加符合實際購物場景，因為人們在購物時，衣物類的商品多模態信息所占比重比手機等電子產品類更高。

表3 與經典序列推薦算法的對比

3.5.2 特征維度實驗分析

在神經網絡算法中，特征的維度會影響算法的表達能力，因此本節研究了不同的特征維度對本文算法推薦性能的影響。在實驗中，保持其他參數不變，分別將特征維度設置為10、20、30、40、50、60，與BERT4Rec算法進行比較，結果如圖4所示。

圖4 特征維度大小對推薦性能的影響

從圖4可以看出，隨著特征維度的增加，算法的推薦性能也越來越好，但是特征維度值到達50之后，推薦性能基本保持不變。當推薦性能穩定之后，如果再增加特征維度，會使得算法計算復雜度增加而性能提升很小，因此本文算法選取特征維度的值為50。

與BERT4Rec算法相比，在相同的特征維度下，本文算法性能優于BERT4Rec，這是因為本文算法融合了商品多模態的信息，從而可以學習到更加豐富的多模態特征之間的交互，算法的表達能力得到了提升。

4 結語

本文主要研究了多模態信息在序列推薦中的應用，提出了一種基于對比學習技術的多模態序列推薦算法。本文算法分別對視覺模態信息、文本模態信息進行細粒度的提取，利用對比學習從視覺模態中提取商品顏色和形狀特征，利用低維嵌入的方式從文本模態中提取類別和品牌信息，得到多模態的特征表達之后，用RNN建模多模態特征間的序列交互，生成用戶偏好的表達，從而對該用戶下一次購買行為進行預測。實驗結果表明，本文所提取的多模態細粒度特征有助于推薦性能的提升。本文主要建模了購物場景下，商品視覺和文本兩個模態的特征交互，但隨著移動互聯網技術的迅速發展，許多商品在購物平臺上都有短視頻的介紹和講解，即商品新添加了聽覺模態的信息，故融合商品三個模態信息的特征的推薦算法將會是本工作的延伸。

）

[1] 鄧凱，黃佳進，秦進. 基于物品的統一推薦模型［J］. 計算機應用， 2020， 40（2）：530-534.（DENG K， HUNAG J J， QIN J. Item-based unified recommendation model［J］. Journal of Computer Applications， 2020， 40（2）： 530-534.）

[2] 張文龍，錢付蘭，陳潔，等. 基于雙重最相關注意力網絡的協同過濾推薦算法［J］. 計算機應用， 2020， 40（12）：3445-3450.（ZHANG W L， QIAN F L， CHEN J， et al. Collaborative filtering recommendation algorithm based on dual most relevant attention network［J］. Journal of Computer Applications， 2020， 40（12）： 3445-3450.）

[3] 郭寧寧，王寶亮，侯永宏，等. 融合社交網絡特征的協同過濾推薦算法［J］. 計算機科學與探索， 2018， 12（2）：208-217.（GUO N N， WANG B L， HOU Y H， et al. Collaborative filtering recommendation algorithm based on characteristics of social network［J］. Journal of Frontiers of Computer Science and Technology， 2018， 12（2）： 208-217.）

[4] 孫金楊，劉柏嵩，任豪，等. NHRec：一種基于長短期興趣的神經混合推薦模型［J］. 小型微型計算機系統， 2020， 41（11）： 2298-2302.（SUN J Y， LIU B S， REN H， et al. Neural hybrid recommendation model based on long-term and short-term interests［J］. Journal of Chinese Computer Systems， 2020， 41（11）： 2298-2302.）

[5] 歐輝思，曹健. 面向跨領域的推薦系統研究現狀與趨勢［J］. 小型微型計算機系統， 2016， 37（7）：1411-1416.（OU H S， CAO J. Survey on research and progress of cross-domain recommendation［J］. Journal of Chinese Computer Systems， 2016， 37（7）： 1411-1416.）

[6] HIDASI B， KARATZOGLOU A， BALTRUNAS L， et al. Session-based recommendations with recurrent neural networks［EB/OL］. （2016-03-29）［2021-06-30］.https：//arxiv.org/pdf/1511.06939.pdf.

[7] YU F， LIU Q， WU S， et al. A dynamic recurrent model for next basket recommendation［C］// Proceedings of the 39th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2016： 729-732.

[8] 黃立威，江碧濤，呂守業，等. 基于深度學習的推薦系統研究綜述［J］. 計算機學報， 2018， 41（7）：1619-1647.（HUANG L W， JIANG B T， LYU S Y， et al. Survey on deep learning based recommender systems［J］. Chinese Journal of Computers， 2018， 41（7）： 1619-1647.）

[9] McAULEY J， TARGETT C， SHI Q F， et al. Image-based recommendations on styles and substitutes［C］// Proceedings of the 38th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2015： 43-52.

[10] HE R N， McAULEY J. VBPR： visual Bayesian personalized ranking from implicit feedback［C］// Proceedings of the 30th Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2016： 144-150.

[11] HAN X T， WU Z X， JIANG Y G， et al. Learning fashion compatibility with bidirectional LSTMs［C］// Proceedings of the 25th ACM International Conference on Multimedia. New York： ACM， 2017： 1078-1086.

[12] CHEN J Y， ZHANG H W， HE X N， et al. Attentive collaborative filtering： multimedia recommendation with item- and component-level attention［C］// Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2017： 335-344.

[13] HE X N， CHEN T， KAN M Y， et al. TriRank：review-aware explainable recommendation by modeling aspects［C］// Proceedings of the 24th ACM International Conference on Information and Knowledge Management. New York： ACM， 2015： 1661-1670.

[14] ZHANG Y F， AI Q Y， CHEN X， et al. Joint representation learning for top-N recommendation with heterogeneous information sources［C］// Proceedings of the 2017 ACM Conference on Information and Knowledge Management. New York： ACM， 2017： 1449-1458.

[15] CHENG Z Y， DING Y， ZHU L， et al. Aspect-aware latent factor model： rating prediction with ratings and reviews［C］// Proceedings of the 2018 World Wide Web Conference. Republic and Canton of Geneva： International World Wide Web Conferences Steering Committee， 2018： 639-648.

[16] LI C L， NIU X C， LUO X Y， et al. A review-driven neural model for sequential recommendation［C］// Proceedings of the 28th International Joint Conference on Artificial Intelligence. California： ijcai.org， 2019： 2866-2872.

[17] CHEN X， CHEN H X， XU H T， et al. Personalized fashion recommendation with visual explanations based on multimodal attention network： towards visually explainable recommendation［C］// Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2019： 765-774.

[18] WEI Y W， WANG X， NIE L Q， et al. MMGCN： multi-modal graph convolution network for personalized recommendation of micro-video［C］// Proceedings of the 27th ACM International Conference on Multimedia. New York： ACM， 2019： 1437-1445.

[19] CUI Q， WU S， LIU Q， et al. MV-RNN： a multi-view recurrent neural network for sequential recommendation［J］. IEEE Transactions on Knowledge and Data Engineering， 2020， 32（2）： 317-331.

[20] CHEN T， KORNBLITH S， NOROUZI M， et al. A simple framework for contrastive learning of visual representations［C］// Proceedings of the 37th International Conference on Machine Learning. New York： JMLR.org， 2020： 1597-1607.

[21] LIPTON Z C， BERKOWITZ J， ELKAN C. A critical review of recurrent neural networks for sequence learning［EB/OL］. （2015-10-17）［2021-06-30］. https：//arxiv.org/pdf/1506.00019.pdf.

[22] GERS F A， SCHMIDHUBER J. Recurrent nets that time and count［C］// Proceedings of the 2000 IEEE-INNS-ENNS International Joint Conference on Neural Networks. Piscataway： IEEE， 2000： 189-194.

[23] HE R N， KANG W C， McAULEY J. Translation-based recommendation［C］// Proceedings of the 11th ACM Conference on Recommender Systems. New York： ACM， 2017： 161-169.

[24] HE X N， LIAO L Z， ZHANG H W， et al. Neural collaborative filtering［C］// Proceedings of the 26th International Conference on World Wide Web. Republic and Canton of Geneva： International World Wide Web Conferences Steering Committee， 2017： 173-182.

[25] TANG J X， WANG K. Personalized top-sequential recommendation via convolutional sequence embedding［C］// Proceedings of the 11th ACM International Conference on Web Search and Data Mining. New York： ACM， 2018： 565-573.

[26] KANG W C， McAULEY J J. Self-attentive sequential recommendation［C］// Proceedings of the 2018 IEEE International Conference on Data Mining. Piscataway： IEEE， 2018： 197-206.

[27] SUN F， LIU J， WU J， et al. BERT4Rec： sequential recommendation with bidirectional encoder representations from transformer［C］// Proceedings of the 28th ACM International Conference on Information and Knowledge Management. New York： ACM， 2019： 1441-1450.

[28] CHEN T W， WONG R C W. Handling information loss of graph neural networks for session-based recommendation［C］// Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2020： 1172-1180.

Multimodal sequential recommendation algorithm based on contrastive learning

HAN Tengyue1， NIU Shaozhang1*， ZHANG Wen2

（1，，100876，；2，324000，）

A multimodal sequential recommendation algorithm based on contrastive learning technology was proposed to improve the accuracy of sequential recommendation algorithm by using multimodal information of commodities. Firstly， to obtain the visual representations such as the color and shape of the product， the visual modal information of the product was extracted by utilizing the contrastive learning framework， where the data enhancement was performed by changing the color and intercepting the center area of the product. Secondly， the textual information of each commodity was embedded into a low-dimensional space， so that the complete multimodal representation of each commodity could be obtained. Finally， a Recurrent Neural Network （RNN） was used for modeling the sequential interactions of multimodal information according to the time sequence of the product， then the preference representation of user was obtained and used for commodity recommendation. The proposed algorithm was tested on two public datasets and compared with the existing sequential recommendation algorithm LESSR. Experimental results prove that the ranking performance of the proposed algorithm is improved， and the recommendation performance remains basically unchanged after the feature dimension value reaches 50.

contrastive learning; multimodal; neural network; sequential recommendation; feature interaction

This work is partially supported by National Natural Science Foundation of China （U1536121， 61370195）.

HAN Tengyue， born in 1990， Ph. D. candidate. Her research interests include recommendation algorithm， data mining.

NIU Shaozhang， born in 1963， Ph. D.， professor. His research interests include intelligent big data analysis， network information security， digital image processing.

ZHANG Wen， born in 1981， Ph. D. His research interests include intelligent big data analysis， mobile Internet security.

TP181

A

1001-9081（2022）06-1683-06

10.11772/j.issn.1001-9081.2021081417

2021?08?06；

2021?10?15；錄用日期：2021?10?29。

國家自然科學基金資助項目（U1536121， 61370195）。

韓滕躍（1990—），女，河北衡水人，博士研究生，主要研究方向：推薦算法、數據挖掘；牛少彰（1963—），男，北京海淀人，教授，博士，主要研究方向：大數據智能分析、網絡信息安全、數字圖像處理；張文（1981—），四川內江人，博士，主要研究方向：大數據智能分析、移動互聯網安全。