基于特征嵌入的去流行度偏差混合推薦算法

摘 要：針對數據不均衡條件下貝葉斯個性化排序算法生成的推薦列表中存在強流行度偏差的問題，提出基于特征嵌入的去流行度偏差混合推薦算法。首先，利用卷積神經網絡提取用戶、物品特征確定用戶偏好，并依據用戶偏好對原始不均衡數據進行評分填充；其次，將卷積神經網絡提取的用戶偏好特征嵌入到貝葉斯個性化排序算法中進行混合推薦；最后，用評分填充數據訓練混合推薦模型，得到去流行度偏差的個性化排序列表。為了驗證算法的性能，在公開數據集MovieLens-100K和MovieLens-1M上進行分析與對比實驗，實驗結果顯示流行度偏差降低了約50%～60%，精確度提高了約一倍。

關鍵詞：貝葉斯個性化排序算法；推薦系統；卷積神經網絡；流行度偏差

中圖分類號：TP301.6 文獻標志碼： 文章編號：1001-3695（2022）11-011-3275-06doi： 10.19734/j.issn.1001-3695.2022.04.0193

Hybrid recommendation algorithm for removing popularity bias based on feature embedding

Li Peng， Zhu Xinru， Su Xinjie

（School of Management， Harbin University of Commerce， Harbin 150028， China）

Abstract：In order to solve the problem of strong popularity bias in recommendation lists generated by Bayesian personalized ranking（BPR） algorithm under the condition of unbalanced data， this paper designed a hybrid recommendation algorithm based on feature embedding to remove popularity bias. Firstly， this paper used convolutional neural network to extract user and item features to determine user preferences， and filled the original unbalanced data according to user preferences. Secondly， it embedded the user preference features extracted from convolutional neural network into the BPR algorithm for hybrid recommendation. Finally， it trained the mixed recommendation model with score filled data， and obtained the personalized ranking list without popularity bias. In order to verify the performance of the algorithm， this paper conducted the analysis and comparison experiments on MovieLens-100K and MovieLens-1M. Experimental results show that the popularity bias is reduced by about 50%～60% and the accuracy is improved by about twice.

Key words：BPR algorithm; recommender system; CNN; popularity bias

基金項目：黑龍江省自然科學基金資助項目（LH2019F043）；哈爾濱商業大學青年科研項目（2019DS012）；2021年哈爾濱商業大學教師“創新”項目計劃支持項目（LH2019F043）

作者簡介：李鵬（1985-），男，黑龍江哈爾濱人，講師，碩導，博士，主要研究方向為推薦系統；朱心如（1999-），女（通信作者），山東濟南人，碩士研究生，主要研究方向為推薦系統（zhuxinru26@163.com）；蘇忻潔（1997-），女，福建福州人，碩士研究生，主要研究方向為推薦系統.

0 引言

在當今數據過載的時代，尤其在電商領域，用戶數量、商品數量、用戶商品交互信息飛速增長，推薦系統幫助用戶實現信息過濾，帶來了極大的便利。但用戶關注度有限并且更傾向于點擊流行的物品^［1］，導致收集到的數據存在不均衡現象。數據集中用戶與流行物品交互多，與不流行物品交互少，再用不均衡數據訓練推薦模型，模型會將數據集中的流行度偏差放大，使得流行物品優先被推薦。流行物品優先被推薦對于用戶、商品供應商以及推薦平臺都是不公平的。a）對于用戶來說，推薦列表中流行物品排列在前，占據用戶大量關注度，使得用戶需要花費更長的時間去尋找自己感興趣的商品，對于用戶是不公平的；b）對于商品供應商，流行商品與非流行商品沒有同等的推薦機會，這對于質量優良更符合用戶的商品是不公平的；c）對于推薦平臺，流行商品本身更容易被用戶所知悉，再對流行商品優先推薦是一種資源的浪費，并且由于用戶不能從此平臺上獲取滿意的體驗，此平臺的用戶流量將會減少，商品供應商得不到公平對待，也會考慮更換新的平臺，所以對于推薦平臺也是不公平的。

推薦系統中的顯式反饋數據（用戶評分、評級等）固然有助于精準捕獲用戶偏好信息，但隱式反饋（點擊、瀏覽時長、購買等）在推薦系統中較顯式反饋而言則蘊涵更多用戶偏好潛在信息，對隱式反饋的合理利用有益于深入挖掘用戶真實偏好。貝葉斯個性化排序（Bayesian personalized ranking，BPR）算法^［2］對于處理隱式反饋數據十分有利，其采用成對排序方法，針對每個用戶對于物品的偏好進行排序優化。因該算法基于貝葉斯公式，其有兩點假設：a）每個用戶之間的偏好行為相互獨立，即用戶u對于物品i和j之間的偏好與其他用戶無關；b）同一用戶對不同物品的偏好順序相互獨立，即用戶u對于物品i和j之間的偏好順序與其他物品無關。BPR的核心思想為：用戶對于有過反饋行為的物品的偏好程度大于用戶未有過反饋行為的物品，依據此將原始數據轉換為三元組的形式寫入矩陣中，經過矩陣分解生成用戶矩陣W和物品矩陣H，最終為用戶生成個性化的推薦列表。

鑒于此，本文將定量分析貝葉斯個性化排序算法中存在的流行度偏差，并利用卷積神經網絡確定用戶偏好特征，嵌入到貝葉斯個性化排序算法中實現流行度偏差的去偏工作。與現有流行度偏差去偏模型進行對比，實驗經過基尼系數、精確度和歸一化折損累計增益指標評估，結果表明該方法在降低流行度偏差的同時提高了推薦的精確度。

1 相關研究

1.1 深度學習推薦系統

傳統推薦算法需要手動提取數據特征來確定用戶偏好，工作量大且需要耗費大量人力，卷積神經網絡模型對于離散的特征（用戶ID、物品ID、物品種類等）有著較好的表達^［3］，其應用在推薦系統中十分有利。對于這類高維度的離散特征，卷積神經網絡模型能夠充分提取深層信息，加強模型的表達能力^［4］。利用卷積神經網絡模型的強大的計算能力，使其學習用戶、物品特征數據，結合用戶—物品交互信息求解用戶偏好。

工業界和學術界都對深度學習推薦系統有廣泛的研究。邏輯回歸算法（LR）^［5］作為最早的推薦排序算法之一，其主要的思想是將用戶和物品的所有特征輸入，得到推薦得分。2010年，Rendle^［6］提出FM模型，其思想是通過特征向量內積來實現特征的更好表達以及相似性的關系；NFM（neural factorization machines）^［7］模型是在FM的基礎上提出的，使得FM模型與深度學習神經網絡聯合起來，神經網絡幫助其特征向量更好地結合；2016年，谷歌推出Wide amp; Deep^［8］模型，將LR與神經網絡模型并行使用，使得模型結合了兩者的優勢，能夠同時擁有記憶和推理特性；2017年，Guo等人^［9］提出了DeepFM模型，用FM模型替換掉LR模型，與卷積神經網絡結合，顯式地引入了二階組合特征；2018年，Lian等人^［10］提出xDeepFM模型，該模型表明特征的構造應該建立在特征域的維度上，其壓縮交互網絡結構通過特征域向量矩陣間的交互實現向量級別的組合特征構造；2022年，李昆侖等人^［11］提出了融合評分與評論的深度評分預測模型，將評分矩陣引入物品可推薦度與用戶偏好程度，提高了模型的準確率。

近年來，深度學習被應用在解決推薦系統偏差問題中。2020年，Bobadilla等人^［12］提出基于深度學習的協同過濾算法，在推薦前饋過程中不需要人口統計學信息，能夠更好地平衡公平性與準確率間的關系；他們在2021年又提出DeepUnHide模型^［13］，該模型借鑒深度學習圖像處理方法，將用戶向量用于特征選擇，有助于緩解推薦系統對性別、年齡等的偏差問題。但是目前將深度學習應用在緩解流行度偏差問題中相對較少。

1.2 流行度去偏

訓練數據集的不均衡主要體現在用戶—物品交互信息較少（數據稀疏）和物品受眾規模差距過大（物品的流行度偏差）兩個方面，將不均衡的數據放入模型中進行訓練會加劇推薦結果中偏差的產生，所以對于流行度偏差的去偏工作是十分有必要的。

目前已有部分學者對推薦系統中的流行度去偏工作進行了研究。比較常規的去偏方式是根據物品流行度進行加權。2011年Steck^［14］提出給模型損失函數按照物品流行度加權的方式，以此使低流行度的物品可以獲得較高的預測評分，在一定程度上減緩了推薦結果中的流行度偏差；隨后在2011年Steck^［15］提出對原始數據集按照流行度縮放的方式緩解流行度偏差，在原始數據集上加以權重，適當減小高流行度物品的評分、加大低流行度物品的評分，這種方法能夠在一定程度上緩解流行度偏差，但其沒有考慮到用戶偏好的問題。Zhu等人^［16］提出考慮用戶偏好的流行度補償去偏方法，分別對損失函數和預測評分進行流行度補償，使得低流行度的物品有排列在推薦列表較前位置的可能。

同時研究人員也在不斷探索新的去偏方式。2020年，Morik等人^［17］針對雙邊市場中物品的排序存在的流行度偏差與公平性偏差的問題提出FairCo算法，采用控制器的形式完成去偏，并適用于動態的調整；2021年Wei等人^［18］從因果關系的角度分析流行度偏差，用反事實理論推導實現去偏工作；Abdollahpouri等人^［19］提出從用戶層面考慮流行度偏差問題，根據不同用戶對物品受歡迎程度的容忍度對推薦列表進行校準；駱錦濰等人^［20］提出一種改進的傾向得分估計的無偏推薦模型，通過對用戶流行度偏好和物品流行度的配對程度計算結果建模來降低推薦結果中的偏差；2022年，Zhu等人^［21］針對喜歡小眾物品用戶得到較差推薦結果的問題，采用異常點檢測方法區分主流用戶與小眾用戶，并分別采用全局（DC和WL）和局部（LFT）的方法緩解流行度偏差；杜清月等人^［22］提出一種基于曝光負采樣的策略來解決物品曝光偏差的問題。以上研究局限于單純降低流行度偏差的程度而忽視了推薦系統的整體效用（如準確率等），因此無法更好地滿足用戶需求。

本文考慮到卷積神經網絡強大的學習能力以及提取離散特征的優勢，引入卷積神經網絡提取用戶、物品特征確定用戶偏好，并將用戶偏好特征信息嵌入到貝葉斯個性化排序算法中，在減緩推薦結果中的流行度偏差的同時提高系統的推薦效用。首先，用卷積神經網絡提取用戶、物品屬性，并融合用戶—物品交互信息求得用戶與物品的相似度，以此來確定用戶偏好；其次，根據卷積神經網絡確定的偏好信息實現評分填充，降低原始數據的不均衡性；最后，用嵌入用戶偏好特征的貝葉斯個性化排序算法實現混合推薦，用改進后的算法完成矩陣分解，生成去流行度偏差的個性化排序列表。

2 前期準備

2.1 貝葉斯個性化排序算法

貝葉斯個性化排序（BPR）算法作為成對排序學習模型被廣泛應用于隱式反饋的推薦系統中。其算法思想假設：在隱式反饋數據中，對于任意用戶u，相較于沒有過交互的物品，用戶更喜歡有過交互的物品。利用貝葉斯個性化排序算法思想構建用戶偏好序列如圖1所示，其中，“+”表示用戶有過交互的物品，“？”表示用戶還沒進行過交互的物品。

根據以上BPR思想構建三元組〈u，i，j〉，其中u為用戶，i為該用戶有過反饋的物品，j為該用戶沒有過反饋的物品。BPR采用矩陣分解的方式對模型進行訓練，向模型中輸入用戶—物品反饋矩陣X，對應地完成矩陣分解得到兩個矩陣，即用戶矩陣W_|U|×d和物品矩陣H_|I|×d。其中d為隱向量的維度，一般情況下要遠小于用戶數和物品數。

BPR采用最大后驗概率求解W、H，其目的是使用戶反饋過的物品與用戶未反饋過的物品距離最大化。損失函數如下：

其中：Xu，i表示在完成BPR矩陣分解后用戶u對物品i的偏好分值；同理，u，j表示用戶u對于物品j的偏好分值；σ（x）表示sigmoid函數。在模型訓練過程中，用戶u對于物品i和j的偏好分值差距越大且為正時，損失值越小。

2.2 卷積神經網絡

卷積神經網絡（convolutional neural network，CNN）是一種深層神經網絡，可以提取圖片、文本、語音等特征，再利用這些特征實現分類、檢測、推薦等操作。在推薦系統中，構建一個卷積神經網絡模型提取用戶特征和電影特征，將其映射為向量的形式，計算用戶與物品的相似度。

卷積神經網絡主要由輸入層、輸出層和隱藏層組成，隱藏層又分為卷積層、池化層和全連接層，其示意圖如圖2所示。

卷積神經網絡的核心部分是卷積層，卷積層對輸入其中的數據特征進行計算，經由各神經元計算出特征后，再由卷積濾波器集成特征圖向下一層神經元傳遞。池化層能夠在特征不變的情況下對卷積層傳入的參數和數據進行壓縮處理，同時能夠起到特征降維的作用，也能防止過擬合。全連接層將卷積層和池化層傳出的特征進行加權，能夠實現將用戶、物品不同的屬性融合到同一個特征向量中。

3 流行度偏差在BPR中的定量分析

本文采用傳統貝葉斯個性化排序算法為用戶生成個性化的排序列表，每個用戶推薦k個商品。在許多已有的流行度偏差研究中^{［23～25］}，其對流行度偏差的評估中只考慮物品被推薦的次數差異，而沒有考慮到用戶—物品是否匹配的事實。為了將流行度偏差與用戶偏好相聯系，本文采用文獻［1］中提出的基尼系數對流行度偏差進行評估。驗證流行的商品與不流行的商品是否會受到與其受眾規模同比例的關注度，即流行物品與非流行物品是否有相似的真陽性率（true positive rate，TPR）。基尼系數公式如下：

其中：M表示物品總數量；I表示物品集合。TPR_i（真陽性率）表示給用戶推薦物品時推薦正確的部分所占的比例，其值為每個物品的點擊率與物品的受歡迎程度的比值。基尼系數的取值范圍在［-1，1］，基尼系數的絕對值越小表示偏差越小，一般認為，當基尼系數的絕對值大于0.5時，表示存在強偏差關系。當基尼系數大于0時，表示真陽性率與流行度正相關；基尼系數小于0，表示真陽性率與流行度負相關。

為每個用戶分別推薦10～60個物品，對BPR推薦列表求基尼系數，在兩個數據集中進行驗證，其流行度偏差結果如表1所示，其值均在0.5以上，說明存在強流行度偏差。

4 模型構建

4.1 卷積神經網絡確定用戶偏好

4.1.1 卷積神經網絡提取特征

本文將選擇MovieLens-100K和MovieLens-1M數據集進行實驗，因兩者的數據類型相似，卷積神經網絡的設計過程以MovieLens-100K數據集為例。

對于用戶編號、用戶性別、用戶年齡、用戶職業和電影編號等單維數值類屬性，先將其embeddings映射為特征向量的形式，在映射過程中需要對特征的維度進行確定。對于用戶編號、電影編號數據量較大的特征，將其設置為32維，數據集中有943個用戶，2¹⁰gt;943，通常情況下，將其映射為10維是滿足要求的，此處為了使不用的用戶編號信息更具區分性，選擇將用戶編號映射為32維的特征向量；相應的設置性別特征為4維、年齡特征為8維、職業特征為16維。在將其映射為特征向量后加入全連接層與激活函數層進行數據增強，提高模型的學習能力。

對于電影類別屬性，每個電影最多有六個類別，所以在對其emeddings映射為向量后，其維度比上述屬性多一維。首先需要對其進行維度求和完成降維，再加入全連接層和激活函數層，增強其表示能力，實現特征提取。對于電影名稱屬性，其屬于文本類的特征，最多由15個單詞組成，為了充分提取其特征，需要進行以下操作：a）embeddings將其映射為特征向量，并加入一維占位以實現卷積層四維的輸入要求；b）經過兩層卷積層進行學習后進行維度求和實現降維；c）對其維度重新調整刪除占位，實現特征提取。

在實現所有屬性特征提取后，采用全連接的方式將其融合為用戶特征向量和電影特征向量。卷積神經網絡具體設計如圖3所示。

4.1.2 用戶偏好計算

在得到用戶特征向量與物品特征向量后，用余弦相似度計算其相似值，如式（3）所示，并根據用戶—物品評分信息求得其損失值，經過多輪訓練，獲得最優模型。

其中：a·b表示向量a與b的點積；‖a‖表示向量a的長度；n表示空間的維度，相似度的取值范圍為［0，1］。由于用戶的評分數據是1～5的五個等級，所以需要將相似度值擴大五倍。

在卷積神經網絡模型訓練獲取最優模型后，向其中輸入待確定偏好的用戶特征，經過計算即可獲得該用戶對電影i的偏好分值（pre（i）），其偏好獲取流程如圖4所示。

4.2 用戶偏好特征嵌入BPR的去流行度偏差混合模型構建

BPR算法從數據集中隨機抽樣生成訓練集和測試集完成矩陣分解，但受數據不均衡的限制，其推薦結果中存在強流行度偏差。針對以上不足，本文提出用戶偏好特征嵌入BPR的去流行度偏差混合推薦算法（BPR_preference）。

4.2.1 基于用戶偏好特征嵌入的評分填充

原始數據集中，用戶參與評分的物品較少且流行物品的評分相對較多，造成了數據的不均衡，對用戶未評分物品進行評分填充可以增加不流行物品評分、減緩數據的不均衡性。在進行評分填充時需要滿足以下準則：a）用戶感興趣物品的評分要高于用戶不感興趣物品的評分；b）對物品進行評分填充時要依據用戶的評分習慣。首先將數據集中用戶—物品評分數據寫入到矩陣中，對于用戶沒有評分的物品先將其評分暫設為0，后續重點對于評分為0的部分進行評分填充；其次，依據用戶評分的平均值對評分加權填充，滿足評分填充的準則b）；最后，為了滿足評分填充的準則a），在評分中加入卷積神經網絡模型求得的用戶偏好，使用戶感興趣的物品獲得較高的評分，其計算公式如下：

其中：α、β為常數；pre（i）表示用戶u對物品i的偏好分值；avg（u）表示用戶u已經評過分的電影的評分均值；β起到調節評分均值權重的作用。在得到新的評分結果rating（u，i）后，將原始矩陣中數值為0的部分進行填充。

考慮到貝葉斯個性化排序算法所需數據為三元組形式〈u，i，j〉，并且基于算法假設，用戶u相較于物品j更喜歡物品i，將評分填充后的矩陣寫為二進制評分的形式，即將矩陣中大于等于用戶評分均值的評分賦值為1，否則賦值為0。隨著α的增大，二進制矩陣的稠密度增大，直至收斂。

4.2.2 BPR_preference算法構建

a）對圖3設計的卷積神經網絡進行訓練獲得用戶偏好pre（i），并根據式（4）實現評分填充。

b）構造BPR_preference模型。BPR_preference模型基于最大后驗概率求解用戶矩陣W和物品矩陣H，根據貝葉斯公式可得

算法假設用戶u對于物品的偏好關系與其他用戶無關，所以每個用戶的P（gt;_u）都是相同的，其中gt;_u表示用戶u對所有物品的排序情況。將公式化簡為

假設用戶的偏好相互獨立，即用戶對于物品i和j的偏好與其他物品無關，D為評分填充后得數據集，則可得

式（7）進一步化簡為

式（11）為激活函數，式（12）用于確定用戶的偏好關系。為了進一步提高算法的準確性，將式（12）基于用戶偏好特征改進為式（13），pre（i）是卷積神經網絡模型獲取的用戶偏好，表示用戶對物品i的偏好分值，a對加入其中的偏好特征大小進行調節。

最后，式（7）被化簡為

采用最大后驗概率求解，假設貝葉斯概率分布符合正態分布，即式（6）中的P（W，H） 可以寫為

其中：概率分布中均值為0；λ_W，HI為協方差矩陣。本文基于用戶偏好特征對式（16）進行改進來降低模型導致的流行度偏差，改進后的結果如下：

其中：λ 、b為常數，起到參數調節的作用，進一步將用戶矩陣分解為用戶感興趣矩陣I和用戶感興趣矩陣J。

最終確定改進后的BPR_preference的損失函數為

c）訓練模型參數，采用隨機梯度下降法，依據損失函數式（18）對模型進行訓練。

d）判斷隨機梯度下降是否收斂，收斂則得到用戶矩陣W和物品矩陣H，否則回到步驟c）。

e）獲取W、H后，即可根據式（19）計算用戶對物品的排序分為用戶生成個性化排序列表。

5 實驗結果及分析

5.1 數據集分析

本文實驗選擇的MovieLens-100K和MovieLens-1M數據集^［26］都是較為不均衡數據，如圖5所示，將數據集中物品的點擊數量按照從大到小的順序排列畫圖，結果顯示只有少部分物品受到了大量點擊，而大部分物品的點擊量很小，即存在較強的流行度偏差，并且如表2所示，數據集十分稀疏，滿足實驗條件。將數據集按照為8∶2劃分為訓練集和測試集。

5.2 評估指標

為了更好地觀測到推薦算法的性能，本實驗采用Gini、精確度（precison）以及歸一化折損累計增益（ normalized discounted cumulative gain， NDCG ）三種評估指標對推薦算法進行評估。其中用Gini來定量評估系統中存在的流行度偏差，如式（2）所示；precision用來衡量推薦結果中存在多少用戶喜歡的物品，精確度越高越能為系統創造更大的收益；NDCG是一種常用的衡量排序質量的指標。

精確度是top-N模型中常用的評價指標，用來確定推薦列表中用戶真正喜歡的物品所占比例，其計算公式如下：

其中：R（u）表示用戶推薦列表中的所有物品；T（u）表示用戶在原始數據集中真正喜歡的物品的集合；|R（u）∩T（u）|表示用戶推薦列表中推薦正確的物品集合。計算給每一個用戶推薦列表中推薦正確的比例，再對其取平均值就是最后精確度的值。

NDCG常用于推薦列表排序質量的評估，其值越大表明推薦效果越好。

其中：rel_i表示物品i對應的相關度評分值；k表示給每個用戶推薦的物品個數；IDCG表示理想情況下的DCG。

5.3 模型去偏分析

根據前文所述的設計用百度飛槳平臺訓練卷積神經網絡，獲得用戶—物品偏好矩陣，再根據式（4）完成評分填充。當β=0.9時，對常數α進行確定，用評分填充后的數據訓練BPR_preference模型。分別給每個用戶推薦10～60個物品，并用Gini和precision對模型進行評估，如圖6所示，在MovieLens-100K數據集中當α=1.6時Gini的取值最低且較為穩定，隨著α的增長，precison先增長后趨于收斂。綜合兩指標考慮，選擇α值為1.6。

同理，對MovieLens-1M數據集進行分析，如圖7所示，基于兩個評估指標確定α的值為1.5。

經過參數調節后，在兩個數據集上取得較好的實驗結果如表3所示，在本文提出的BPR_preference模型訓練產生的推薦結果中，Gini均在0.5以下，說明已經消除了推薦結果中的強流行度偏差。

5.4 對比實驗

本文將與常規的兩種去偏基線模型和一種最新相關研究進行對比，分別是加權BPR（BPR_weight）^［13］、基于重縮放訓練數據的BPR（BPR_rescale）和流行度補償算法（BPR_pc）^{［14～16］}。其中，BPR_weight為了減緩在矩陣分解過程中的流行度偏差，對模型的損失函數加以權重來提高低流行物品的預測評分，其權重為w_i∝1/pop（i）a；BPR_rescale通過調整訓練的數據集來減緩流行度偏差，其通過對原始數據評分按照流行度大小進行縮放，提高低流行度物品的評分，然后將調節后的數據集放到BPR中進行訓練，在對數據集進行縮放時乘的權重為w_i∝1/pop（i）a ，用a來控制模型去偏的強度；BPR_pc按照流行度低的物品、用戶喜歡的物品以及傾向于給高分的用戶獲得更多的補償三個準則，采用R^^*_u，i=R^_u，i+α·C_u，i·n_u/m_u實現評分補償。

對比傳統BPR、BPR_rescale、BPR_weight、BPR_pc以及本文改進的BPR_preference模型，將五個模型分別在MovieLens-100K和MovieLens-1M兩個數據集上進行實驗，用基尼系數和精確度對其推薦性能進行評估，結果如圖8所示。結果表明：

a）在不同數據集中五種模型均在一定程度上起到了去流行度偏差的作用，但是BPR_rescale和BPR_weight算法對去除流行度偏差的效果不明顯；BPR_pc明顯地緩解了流行度偏差，但其對于推薦個數較少的情況去偏效果不強，在較為稀疏的數據中表現更顯著；本文提出的BPR_preference算法對流行度偏差有大幅度降低且較為穩定，降低了約50%～60%。

b）在不同數據集中，五種模型對于精確度的表現能力不同。BPR_rescale對于不同稀疏程度的數據集，其改進后與原始算法精確度變化不大；對于較為稀疏的數據集，BPR_weight、BPR_pc模型用犧牲精確度的方式來減緩模型中的流行度偏差；本文提出的BPR_preference，在兩個數據集中精確度均有大幅度提升，提升了近一倍。

為了更好地對BPR_preference模型進行分析，在數據集上增加對比實驗，分別為用戶推薦5、10個物品，用歸一化折損累計增益指標進行評估。如表4所示，BPR_rescale與原始模型排序性能相似，BPR_weight與BPR_pc模型在更為稀疏的數據集中犧牲了一定的排序性能，而BPR_preference排序性能提高了約30%～40%。

綜上，相比于常規的去偏基線模型BPR_rescale和BPR_weight與最新相關研究BPR_pc模型，本文提出的BPR_prefe-rence利用卷積神經網絡能更好地挖掘用戶偏好信息，使得推薦結果符合用戶真實偏好，有效緩解了流行物品在推薦中的優先呈現，降低了流行度偏差，并且對于模型的推薦性能有著一定的提升。

6 結束語

貝葉斯個性化排序算法對于處理隱式反饋數據十分有優勢，在推薦系統中應用廣泛。但在數據稀疏以及少部分流行物品交互信息多的數據不均衡條件下生成的個性化排序列表中存在著強流行度偏差，使流行物品優先被推薦，流行物品越來越流行，而不流行物品極少能夠被用戶關注到，造成長尾現象，對于用戶、物品提供商以及平臺都十分不利。本文依據此現象提出基于特征嵌入的去流行度偏差混合推薦算法，利用卷積神經網絡提取用戶、物品特征計算用戶與物品間的相似度，并依據此得出用戶偏好。根據用戶偏好情況對不均衡的數據進行評分填充并將其轉換為二進制評分的形式，減緩了數據的稀疏性，增加了不流行物品的交互信息。將卷積神經網絡確定的用戶偏好特征嵌入到貝葉斯個性化排序算法中實現混合推薦，使得推薦系統的流行度偏差降低了50%～60%，精確度提高到了原來的一倍。

雖然本文提出的算法改善了流行度偏差以及提高了推薦系統的性能，但未來還有值得改進的地方：a）改進卷積神經網絡模型，提高模型的準確率；b）本文選擇根據用戶偏好以及評分的平均值為依據對評分進行填充，后續可以對用戶的評分特點深度分析來實現評分的填充。

參考文獻：

［1］Zhu Ziwei，He Yun，Zhao Xing，et al. Popularity bias in dynamic recommendation ［C］// Proc of the 27th ACM SIGKDD Conference on Knowledge Discovery amp; Data Mining. New York： ACM Press，2021： 2439-2449.

［2］Rendle S，Freudenthaler C，Gantner Z，et al． BPR： Bayesian perso-nalized ranking from implicit feedback ［C］// Proc of the 25th Confe-rence on Uncertainty in Artificial Intelligence．Arlington，VA： AUAI Press，2009： 452-461．

［3］Ke Guolin，Xu Zhenhui，Zhang Jia，et al. DeepGBM： a deep learning framework distilled by GBDT for online prediction tasks ［C］// Proc of the 25th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. New York： ACM Press，2019： 384-394.

［4］Covington P，Adams J，Sargin E. Deep neural networks for YouTube recommendations ［C］// Proc of the 10th ACM Conference on Re-commender Systems. New York： ACM Press，2016： 191-198.

［5］Richardson M，Dominowska E，Ragno R. Predicting clicks： estimating the click-through rate for new ads ［C］// Proc of the 16th International Conference on World Wide Web. New York： ACM Press，2007： 521-530.

［6］Rendle S. Factorization machines ［C］// Proc of IEEE International Conference on Data Mining.Piscataway，NJ：IEEE Press，2010：995-1000.

［7］He Xiangnan，Chua T S. Neural factorization machines for sparse predictive analytics ［C］// Proc of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM Press，2017： 355-364.

［8］Cheng H T，Koc L，Harmsen J，et al. Wide amp; deep learning for recommender systems ［C］// Proc of the 1st Workshop on Deep Learning for Recommender Systems. New York： ACM Press，2016： 7-10.

［9］Guo Huifeng，Tang Ruiming，Ye Yunming，et al. DeepFM： a factorization-machine based neural network for CTR prediction ［C］// Proc of the 26th International Joint Conference on Artificial Intelligence. Pola Alto，CA： AAAI Press，2017： 1725-1731.

［10］Lian Jianxun，Zhou Xiaohuan，Zhang Fuzheng， et al. xDeepFM： combining explicit and implicit feature interactions for recommender systems ［C］// Proc of the 24th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. New York： ACM Press，2018： 1754-1763.

［11］李昆侖，林娜，王珺. 融合評分與評論的深度評分預測模型 ［J/OL］.小型微型計算機系統，［2022-06-12］. http：//kns.cnki.net/kcms/detail/21.1106.tp.20220418.1255.010.html. （Li Kunlun，Lin Na，Wang Jun. Deep rating prediction model combining rating and review ［J/OL］. Journal of Chinese Mini-Micro Computer Systems，［2022-06-12］. http：//kns.cnki.net/kcms/detail/21.1106.tp.20220418.1255.010.html）

［12］Bobadilla J，Lara Cabrera R，González-Prieto á，et al. DeepFair： deep learning for improving fairness in recommender systems ［EB/OL］. （2020-06-09）. https：//arxiv.org/pdf/2006.05255.pdf.

［13］Bobadilla J，González-Prieto á，Ortega F，et al. Deep learning feature selection to unhide demographic recommender systems factors ［J］. Neural Computing and Applications，2021，33（6）： 7291-7308.

［14］Steck H. Item popularity and recommendation accuracy ［C］// Proc of the 15th ACM Conference on Recommender Systems. New York： ACM Press，2011： 125-132.

［15］Steck H. Collaborative filtering via high-dimensional regression［C］// Proc of the 5th ACM Conference on Recommender Systems. New York： ACM Press，2011： 125-132.

［16］Zhu Ziwei，He Yun，Zhao Xing，et al. Popularity-opportunity bias in collaborative filtering ［C］// Proc of the 14th ACM International Conference on Web Search and Data Mining. New York： ACM Press，2021： 85-93.

［17］Morik M，Singh A，Hong J，et al. Controlling fairness and bias in dynamic learning-to-rank ［C］// Proc of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrie-val. New York： ACM Press，2020： 429-438.

［18］Wei Tianxin，Feng Fuli，Chen Jiawei，et al. Model-agnostic counterfactual reasoning for eliminating popularity bias in recommender system ［C］// Proc of the 27th ACM SIGKDD Conference on Knowledge Discovery amp; Data Mining. New York： ACM Press，2021： 1791-1800.

［19］Abdollahpouri H，Mansoury M，Burke R，et al. User-centered evaluation of popularity bias in recommender systems ［C］// Proc of the 29th ACM Conference on User Modeling，Adaptation and Personalization. New York： ACM Press，2021： 119-129.

［20］駱錦濰，劉杜鋼，潘微科，等. 基于改進的傾向得分估計的無偏推薦模型 ［J］.計算機應用，2021，41（12）： 3508-3514. （Luo Jinwei，Liu Dugang，Pan Weike， et al. Unbiased recommendation model based on improved propensity score estimation ［J］. Journal of Computer Applications，2021，41（12）： 3508-3514. ）

［21］Zhu Ziwei，Caverlee J. Fighting mainstream bias in recommender systems via local fine tuning ［C］// Proc of the 15th ACM International Conference on Web Search and Data Mining. New York： ACM Press，2022： 1497-1506.

［22］杜清月，黃曉雯，桑基韜. 基于帕累托效應視角下的推薦系統多角度公平性 ［J］.太原理工大學學報，2022，53（1）： 89-97. （Du Qingyue，Huang Xiaowen，Sang Jitao. A multi-side fairness-aware recom-mendation system based on a Pareto-efficient perspective ［J］. Journal of Taiyuan University of Technology，2022，53（1）： 89-97.）

［23］Abdollahpouri H，Mansoury M，Burke R， et al. The unfairness of po-pularity bias in recommendation ［EB/OL］. （2019-09-19）. https：//arxiv.org/pdf/1907.13286.pdf.

［24］Zhang B H，Lemoine B，Mitchell M. Mitigating unwanted biases with adversarial learning ［C］// Proc of AAAI/ACM Conference on AI，Ethics，and Society. 2018： 335-340.

［25］Hardt M，Price E，Srebro N. Equality of opportunity in supervised learning ［C］// Proc of the 30th International Conference on Neural Information Processing Systems. Red Hook，NY： Curran Associates Inc.，2016： 3323-3331.

［26］Harper F M，Konstan J A. The MovieLens datasets： history and context ［J］. ACM Trans on Interactive Intelligent Systems，2015，5（4）： article No. 19.