基于Setwise排序的深度輸入感知因子分解機*

劉 通,周寧寧

(南京郵電大學計算機學院,江蘇 南京 210023)

1 引言

由于互聯網的普及,信息過載成為人們生活中日益嚴重的問題。與搜索引擎一樣,推薦系統[1]是緩解信息過載問題的有效解決方案,方便用戶查看所需信息,增加服務提供商的流量和收入。推薦系統旨在從用戶反饋中挖掘用戶偏好。用戶反饋包含顯式反饋和隱式反饋。顯式反饋指有明確評分標準的數值反饋,如豆瓣電影的五星制評分;隱式反饋沒有明確的分值,如微博中的瀏覽記錄。隱式反饋的特征是只有正反饋樣本,傳統協同過濾模型處理這類數據時會出現過擬合問題[2],因為觀察到的正實例數量遠小于未觀察到的項目數量,這為構建推薦系統帶來了新的挑戰[3]。

傳統的推薦算法大致可以分成3類:基于內容的推薦、協同過濾CF(Collaborative Filtering)[4]和混合推薦算法。這些傳統的推薦算法重點考慮用戶和項目之間的二元關系,大都可以轉化為評分預測問題,根據用戶對項目的評分進行排序后產生推薦列表。近幾年,研究人員發現:如果僅根據用戶對項目的評分產生的推薦結果并不能準確地反映用戶的偏好[5]。

為了解決傳統推薦算法中所存在的問題,研究人員將排序學習技術LTR(Learning To Rank)[6]融合進推薦算法之中?；谂判驅W習的推薦算法得到越來越多的關注,目前已經成為推薦系統領域的研究熱點之一。Rendle等[7]提出了貝葉斯個性化排序BPR(Bayesian Personalized Ranking)模型,它基于成對式(Pairwise)排序方法,以正負項目對為基礎,對隱式反饋中的偏好結構進行建模。Shi等[8]提出了ListRank-MF(Matrix Factorization),它將列表式(Listwise)排序方法與矩陣分解MF相結合用于協同過濾。然而,Pairwise排序方法存在獨立性不一致問題,Listwise排序方法的損失函數較難設計且計算復雜度較高。Wang 等[9]提出了一種Setwise貝葉斯協同排序模型SetRank,以較弱的獨立性假設和更寬的排序限制,在隱式反饋的top-N推薦中取得了最優的結果。

盡管針對隱式反饋的協同排序模型取得了很大進步,但當前基于排序的CF模型性能仍遠不能令人滿意。CF模型大都基于用戶-項目的二維矩陣進行推薦,只考慮到協同信息,沒有將用戶和項目的內容信息融入模型中,這類模型容易存在冷啟動問題。在現實世界的推薦系統中,冷啟動問題通常被轉化為基于內容的模型來解決?；趦热萃扑]的關鍵問題是如何有效地對內容信息和特征間交互關系進行建模。目前,由Rendle[10]提出的因子分解機FM(Factorization Machines)模型及其基于深度學習的變體,能夠對用戶、項目之間的交互以及內容信息進行有效的建模。

標準FM中為每個特征訓練出的固定隱向量進行表示,但在實際應用中同一特征在不同數據場景下通常具有不同的預測能力。輸入感知因子分解機IFM(Input-aware FM)[11],通過神經網絡來學習出特有的樣本感知因子,在不同數據場景下為特征分配不同的預測能力,以更好地反映其特定貢獻。此外,雖然FM理論上可以建模特征間二階以上的交互,但存在時間復雜度過大以及優化方法的數值穩定性差等問題,這阻礙了擬合特征間高階交互的推廣。隨著神經網絡和深度學習的興起,研究人員考慮如何將因子分解機與神經網絡相結合,提高模型最終性能。近年來,研究人員已提出DeepFM(Deep Factorization Machine)、NFM(Neural Factorization Machine)和xDeepFM(extreme Deep Factorization Machine)[12-14]等以不同形式融合因子分解機與神經網絡的有效模型,并取得了優異的成績。

為了獲得可靠的個性化排序推薦結果,本文將實體的內容信息與隱式反饋相結合,構建了一種Setwise排序因子分解機SRFMs(Setwise Ranking Factorization Machines)模型,通過結合Setwise排序與因子分解機,提高了個性化排序的性能。為了避免標準FM中存在的固定特征表示及缺少高階特征交互捕捉問題,本文將IFM中的影響估計計算網絡FEN(Factor Estimating Network)和深度神經網絡DNN(Deep Neural Network)相結合融入SRFMs,構建出SR-DIFM(Setwise Ranking Deep Input-aware Factorization Machine)模型。本文的主要工作總結如下:

(1)將實體的內容信息和隱式反饋相關聯,提出一種基于Setwise排序的因子分解機模型——SRFMs,該模型不僅可以緩解冷啟動問題以及避免Pairwise和Listwise協同排序中存在的弊端,并且內容信息的加入提高了個性化排序性能。

(2)為在不同數據場景下細化特征表示,同時學習低階和高階的特征交互,本文將FEN和DNN相結合后融入SRFMs模型,構建SR-DIFM模型,以進一步提高個性化排序的準確性。

(3)在2個真實數據集上進行了大量實驗,以驗證所提模型的有效性,結果表明,SRFMs模型和SR-DIFM模型可以提高個性化排序的性能。

2 相關工作

2.1 協同過濾模型

協同過濾的概念源于利用所有用戶的協同行為來預測目標用戶行為的思想。早期的模型通過使用基于內存的模型計算用戶或項目的行為相似度來直接實現這一思想。這些模型可以在一定程度上預測用戶的偏好,但由于用戶復雜的偏好和簡單的線性建模能力之間的沖突,其預測能力有限。與大型項目集合相比,每個用戶的行為是有限的,因此CF面臨的一個關鍵挑戰是解決用戶與項目交互行為的稀疏性,以實現準確的用戶和項目的嵌入學習。

傳統協同過濾算法大多關注預測用戶對項目的絕對評分,而基于排序學習的協同過濾推薦算法[7-9,15,16]則從排序的角度看待推薦問題,更關注項目之間的排列順序,被證明具有更好的推薦效果。排序學習推薦算法可以有效利用大多數信息系統中的隱式反饋進行推薦,例如點擊、購買和查看歷史等,并且排序學習方法還可以通過最小化排序損失來提供top-N推薦。

基于排序學習的推薦模型可以分為Pairwise模型和Listwise模型。Rendle等提出了BPR(Bayesian Personalized Ranking)模型,為個性化排序提供了一個通用的優化解決方案,成為廣泛使用的Pairwise協同過濾模型。BPR中有2個基本假設:一是每個用戶之間的偏好行為相互獨立;二是同一用戶對不同項目的偏序相互獨立。然而Pairwise的獨立性假設太過嚴格,在實際的偏好對構建過程中,往往會打破這種獨立性,從而影響了Pairwise損失的優化結果[9]。一些后續研究試圖通過考慮組信息來放松獨立性假設,如分組貝葉斯個性化排序GBPR(Group Bayesian Personalized Ranking)模型[17]引入了更豐富的用戶組信息,CoFiSet(Collaborative Filtering via learning pairwise preferences over item-Sets)[18]則定義了用戶對項目組的偏好,但是獨立性不一致問題仍然存在。

Listwise排序學習直接對項目的排序列表進行優化,主要有2種優化方式:一是通過定義損失函數反映預測列表和真實列表之間的差異,如ListRank-MF;二是直接優化排序學習中常用的評價指標,如NDCG(Normalized Discounted Cumulative Gain)、MRR(Mean Reciprocal Rank)[19]等。理論上,Listwise模型優于Pairwise模型,因為在問題建模時的信息損失更少。然而,Listwise模型的損失函數較難設計,且由于要對整個排序列表進行優化,模型的復雜度非常高。SetRank提供了一個新的研究視角,它使用排列概率來促使一個已觀察的項目排在每個列表中多個未觀察項目集合的前面,這樣能夠更加有效地模擬隱式反饋的特性。由于不需要對未觀察項目集合內部進行排序,這放寬了列表法中的排列限制,并取得了最優的排名結果。

2.2 基于內容的模型

除了一般的用戶-項目交互信息外,推薦問題通常伴隨著輔助數據。輔助數據包括基于內容的信息和上下文感知的數據。具體來說,基于內容的信息與用戶和項目相關,包括一般的用戶和項目特征、文本內容(即項目標簽、項目文字描述和用戶對項目的評論)、多媒體描述、用戶社交網絡和知識圖譜。上下文信息顯示了用戶做出項目決策時的環境,通常表示用戶和項目以外的描述。

基于內容的模型[20]可以利用用戶和項目的附加信息,這些附加信息通常是描述用戶或項目的屬性的內容,通過對這些內容建模來為用戶推薦與其歷史交互項目相似的項目。相對于基于協同過濾的推薦系統,基于內容的推薦系統能夠緩解數據稀疏和冷啟動問題。

FM是一種廣泛使用的對特征交互關系進行建模的模型,能夠較為有效地緩解數據稀疏和冷啟動的問題。FM借鑒矩陣分解的思想,將每個參數用一個隱向量表示,用隱向量之間的點積表征組合特征的參數,可以用于分類、回歸以及排序問題。盡管理論上FM能夠對高階特征交互進行建模,但是出于時間復雜度的考慮,FM模型一般只涵蓋二階交互;另外,標準 FM中所有特征之間相互平等,類別和層次信息無法得到體現,在建模過程中會受到噪聲特征交互的影響。

隨著深度學習技術在各領域的良好表現,近年來把深度學習技術和推薦系統相結合受到了廣泛研究。神經網絡因其能較好地學習抽象特征,大量研究提出利用深度神經網絡來建模特征間更高階的非線性關系。Cheng等[20]提出Wide&Deep模型,通過結合線性模型和深度神經網絡來捕獲特征的線性關系和非線性關系。He等[13]提出了NFM(Neural Factorization Machine)模型,該模型把FM模塊和DNN(Deep Neural Networks)模塊串行結合,其深度神經網絡能夠學習二階特征的高階非線性關系,使模型的表達能力更強。Guo等[12]提出了DeepFM模型,把FM模塊和DNN模塊并行結合,同時學習特征的低階線性關系和高階非線性關系。Yu等[11]提出了IFM模型,通過神經網絡來學習出獨特的樣本感知因子,在不同數據實例場景下為同一特征分配不同級別的預測能力,以更好地反映其特定貢獻。

3 本文模型

3.1 問題陳述

假設在一個隱式反饋數據集中有N個用戶和M個項目。令Pi和Oi分別表示第i個用戶的正反饋項目集合和未觀察項目集合。本文的目標是建立一個排序模型,將用戶偏好比較定義為每個正樣本和一組未觀察樣本集合間的比較。對于每個用戶,排序模型會從候選集中生成一個最佳排序列表,即用戶感興趣的項目會出現在列表的頂部。

3.2 模型構建

3.2.1 SRFMs模型

Figure 1 Structure of SRFMs

(1)

3.2.2 SR-DIFM模型

SRFMs可以認為是一個通用的框架,其中FMs可以納入更復雜的技術。為解決標準FM中因每個特征訓練的固定表示所帶來的不利影響,以及標準FM受限于復雜度而無法進行高階組合特征捕獲的問題,本文提出將IFM中的FEN和DNN相結合后添加到SRFMs中,命名為SR-DIFM,以進一步提升排序學習精度。最終的模型結構如圖2所示,圖中變量符號含義在3.3節中有詳細說明。SR-DIFM在SRFMs基礎上融入了輸入感知組件和深度神經網絡組件,輸入感知組件負責針對不同的輸入,賦予不同特征以不同貢獻的預測能力,達到細化特征表示的目的;調整后的特征嵌入分別輸入到FM組件和深度神經網絡組件中,以同時捕捉低階特征交互和高階特征交互,達到更佳的建模效果。

Figure 2 Structure of SR-DIFM

3.3 模型定義

(1)輸入層。

SR-DIFM模型的輸入分為正樣本Xpositive和一組負樣本構成的集合{Xnegative},其中負樣本在隱式反饋數據中一般由采樣器從未觀察樣本中抽取得到;輸入向量包括了用戶內容向量和項目內容向量,可以用式(2)表示:

X=[Xuser;Xitem]

(2)

其中,X∈R(m+n),Xuser∈Rm,Xitem∈Rn,m和n分別表示用戶輸入向量維度和項目輸入向量維度。

(2)嵌入層(Embedding Layer)。

經過獨熱編碼處理后的輸入向量會變得非常稀疏,且維度很高,常用的處理方法是使用嵌入矩陣將它們映射到低維空間。具體而言,對于輸入向量的每個特征采用式 (3)進行計算:

vl=Exl

(3)

其中,vl∈Rk表示輸入向量的第l個特征的嵌入向量,k表示嵌入向量維度,E∈R(m+n)×k表示嵌入矩陣,xl是輸入向量的第l個特征的獨熱編碼。

(3)影響因子估計和特征細化層(Factor Estimating Network &Reweighting Layer)。

這2個部分參考了IFM中的組件,主要是通過輸入的非零特征的嵌入向量,有針對性地計算出輸入感知因子(Input-aware factor)mx,l,從而在后續影響特征權重wl和嵌入向量vl,得到針對不同輸入細化后的特征權重wx,l和嵌入向量vx,l。

(4)特征交互層(Interaction Layer)。

交互層分為2個部分,即FM組件和DNN組件。FM組件是一個標準因子分解機,用于建模特征之間的線性和二階交互。DNN組件是一個前饋神經網絡,用于學習高階特征交互。具體來說,將輸入感知因子細化后的特征權重wx,l和嵌入向量vx,l分別輸入到FM組件和DNN組件中,這2個組件共享特征嵌入向量,FM部分的計算如式(4)所示:

(4)

將細化后的嵌入向量作為DNN部分的輸入,如式(5)所示:

a0=[vx,1,vx,2,…,vx,m+n]

(5)

其中,vx,l是第l個特征調整后的嵌入。

然后將a0輸入神經網絡,前向過程的計算如式(6)所示:

ah=σh(Whah-1+bh)

(6)

其中,σh(x)表示第h層神經網絡的激活函數,h∈{1,…,H},H表示神經網絡深度;ah,Wh,bh分別表示DNN部分第h層的輸出向量、權重矩陣和偏差向量。

最終DNN部分的輸出結果如式(7)所示:

yDNN=Whah

(7)

(5)輸出層(Output Layer)。

(8)

3.4 訓練

L=

(9)

4 實驗和結果分析

4.1 數據集

為了驗證本文提出的SRFMs和SR-DIFM模型的有效性,本節在2個真實的隱式反饋數據集(Frappe和Last.fm)上進行了大量的實驗。

(1)Frappe:是一個上下文感知的應用程序發現工具公開的數據集,共包含96 203個不同上下文用戶的程序使用日志。每個日志除了用戶ID和應用程序ID之外,還包含了8個上下文變量,如天氣、城市和國家等。

(2)Last.fm:用于音樂推薦,共包含同一天內1 000個用戶的收聽歷史記錄。每條記錄包含4個上下文字段,用戶上下文由用戶ID和用戶在過去90 min內收聽的最后一首音樂的ID組成,項目上下文由音樂ID和藝術家ID組成。

2個數據集的具體信息如表1所示。

Table 1 Statistics information of datasets

4.2 對比模型

本文將SRFMs和SR-DIFM模型與以下模型進行比較:

(1)FM[10]:標準的因子分解機,在上下文感知預測方面表現出了很強的性能。

(2)DeepFM[12]:將神經網絡和FM并行結合,彌補了FM對高階特征交互建模的不足。

(3)IFM[11]:通過神經網絡為不同實例中同一特征學習一個輸入感知因子,從而細化標準FM中的特征表示,突出不同特征對于預測的貢獻。

(4)PRFM(Pairwise Ranking Factorization Machine)[2]:使用BPR標準來優化模型參數,使用Pairwise排序的方式并利用FM結合內容信息來模擬用戶對項目的偏好。

(5)SetRank[9]:一種最先進的優化的Listwise學習模型,其性能比大多數基于排序的模型的更好。該模型最大化Top-1排列概率,以保證每個用戶更喜歡觀察到的項目而不是未觀察項目集合。

(6)NPRFM(Neural Pairwise Ranking Factorization Machine)[23]:在特征交互層之上疊加了一個與NFM功能相同的深度神經網絡,彌補了PRFM在二階特征交互建模方面的不足。

4.3 參數設置

為進行公平比較,本文參照對比模型的相應文獻或實驗結果來設置參數,然后仔細調整以達到最佳性能。對于所有測試模型,將嵌入維度都設置為64,批訓練大小為2 048,優化器統一使用AdagradOptimizer,學習率(Learning Rate)為0.05,訓練次數統一為500,其余參數按照相應文獻中給出的參考值設定。對于本文提出的SRFMs和SR-DIFM模型,負樣本集合大小參照SetRank的實驗設置為30;神經網絡部分,對于Frappe數據集使用3層網絡,神經數量分別為128,64和64;對于Last.fm數據集使用2層網絡,神經元數量分別為64和64;網絡部分所涉及到的激活函數統一使用ReLU激活函數。FEN部分的設置同神經網絡部分的。

4.4 評價指標

SR-DIFM的任務是為用戶提供一個排序的項目列表,因此在進行性能對比時,本文采用在推薦算法中被廣泛使用的評價指標:HR(Hit Rate)、NDCG和mAP(mean Average Precision)。本文對每種模型在Top-5、Top-10和Top-20的不同場景下進行實驗,以充分展示該模型在實際應用中的效果,其中HR@5、NDCG@5和mAP@5分別代表前5項的HR、NDCG和mAP分數。

4.5 實驗結果與分析

在2個真實的數據集上進行充分訓練后,每個模型得出的最終結果如表2所示,其中,RI表示SR-DIFM模型相對于其他模型的平均相對提升。根據結果可以得出以下結論:

Table 2 Performance results of different models on two datasets

本文提出的SRFMs和SR-DIFM模型在2個真實數據集上取得了最好的成績,優于所有的比較模型。首先,對于FM、DeepFM和IFM這類并非針對隱式反饋數據的模型來說,本文提出的SRFMs和SR-DIFM模型有非常明顯的優勢;相比于SetRank模型,本文的SRFMs在2個數據集上得到了21.96%和20.21%的平均相對提升,這表明上述基于Setwise排序并結合內容信息的思路是正確有效的;在后續改進的SR-DIFM模型中,進一步提升了原有的效果,達到了29.33%和26.70%的平均相對提升,這說明細化特征表示及高階特征交互的加入有助于提升推薦精度;相比于最先進的成對學習模型NPRFM,本文的SR-DIFM模型也取得了36.35%和63.70%的平均相對提升,這也驗證了Setwise比Pairwise能更好地貼合推薦系統中隱式反饋的特征。

Figure 3 Performance results of SR-DIFM model at different learning rates

Figure 4 Performance results of SR-DIFM model with different sizes of negative samples sets

對于Frappe數據集,當negNum達到30后,HR基本保持穩定水平,NDCG和mAP保持上升趨勢,分析認為HR強調預測的絕對準確性,而NDCG和mAP更強調預測結果的相對順序性,隨著負樣本數量的增加,模型可以比較更多的正負樣本集合,這將更有利于對隱式反饋的利用,也更有利于NDCG和mAP這類與位置相關的指標,但對于HR的影響較小。在Last.fm數據集上的2個指標的趨勢大致和Frappe上的類似,不同的是Last.fm上2個指標都有不同程度的波動。本文認為是由于Last.fm的數據量大于Frappe的數據量,數據集中的未觀察項目規模也遠遠大于觀察項目規模,數據偏斜問題更嚴重,持續增加負樣本數量,可能會導致采樣的觀察樣本和未觀察樣本集合不一致問題,影響模型的性能,這也激發后期開發更合理有效的采樣方法。綜合來看,本文認為負樣本集合不超過50比較合理。

4.6 消融實驗

本節對SR-DIFM模型進行消融實驗,對輸入感知模塊和高階特征交互模塊進行遮蓋性對比,以更好地了解每個模塊的具體貢獻。本節將SRFMs作為基準模型,No-FEN表示從SR-DIFM中刪去輸入感知模塊,No-DNN表示從SR-DIFM中刪去高階特征交互模塊,實驗結果如表3所示。從表3可以看出,FEN和DNN對于SR-DIFM的性能都是必要的,當刪除任何組件時,都會導致性能的明顯下降。另外,在SR-DIFM中,FEN和DNN似乎一樣重要,二者都會帶來明顯的性能提升。以上實驗結果說明樣本輸入感知和高階特征交互的捕捉都是必不可缺的。

Table 3 Performance results of different components in SR-DIFM model

4.7 關于負采樣的討論

前文實驗中,出于效率的考慮選擇了簡單的隨機負采樣方法。目前負采樣方法還包括了基于流行度的負采樣和基于模型的負采樣方法等。隨機負采樣邏輯簡單,在效率上有很大優勢,同時也避免在采樣過程中引入新的偏差,因此被廣泛使用。而在實際場景中,首先并非所有未觀察項目都是負樣本,因此引入了偽負例問題[24],這會對模型訓練造成影響;其次,對于每個正樣本來說,不同負樣本帶來的影響并不相同,一種觀點認為,強負例采樣可以提高采樣質量,從而提升模型的訓練結果[25]。目前基于流行度或模型的負采樣方法,雖然有助于加快模型的訓練收斂速度或者提升最終效果,但也伴隨著引入新的偏差的風險,或帶來較大的時間開銷,最終影響模型的訓練。綜合來看,隨機負采樣仍是比較理想的選擇。

5 結束語

傳統個性化排序使用的Pairwise和Listwise模型都存在一些不足,影響了最終的優化結果。SetRank中使用的Setwise排序方法因具有較弱的獨立性假設且更貼合隱式反饋的特點,在top-N推薦中取得了優異成績。本文構建了一個新的模型——SRFMs,將隱式反饋與內容信息結合起來,使用Setwise排序方法完成個性化排序任務,解決了SetRank精度不佳和冷啟動問題。受IFM的啟發,對SRFMs進行擴展,融入影響估計計算網絡和深度神經網絡以規避標準FM中存在的問題,擴展后的SR-DIFM模型根據不同的實例來重新確定特征的表示并能夠同時學習低階和高階特征交互。大量實驗結果表明,在2個真實數據集上,SRFMs和SR-DIFM模型的3個指標值(HR、NDCG和mAP)均優于當前的先進模型的。

本文的工作還有改進的空間。在負采樣方法上,選擇了簡單的隨機負采樣,后期計劃設計更高效合理的負采樣方法,緩解某些場景下負樣本集合過大導致的性能波動問題,并提升模型的訓練效率,加速模型收斂。另外,隱式反饋雖然緩解了數據稀疏問題,但隱式反饋中的大量噪聲可能會產生嚴重的負面影響,未來計劃加入去噪訓練,識別和剪枝噪聲交互,提升推薦訓練的有效性。