深度融合輔助信息的跨域推薦算法

陸永倩，生佳根

江蘇科技大學 計算機學院，江蘇 鎮江 212100

近年來，隨著信息數據量的不斷增加，用戶渴望采用一種有效的方式來處理信息過載問題。推薦系統[1]作為解決這一問題的有效方法之一，它在為用戶推薦可能感興趣的項目方面起著不可或缺的作用。現有推薦方法大致可分為兩類：基于內容的方法和基于協同過濾的方法[2]。基于內容的方法利用用戶個人資料和項目內容信息進行推薦，基于協同過濾的方法根據其他具有相似興趣的用戶偏好信息進行推薦。然而，推薦系統通常面臨兩個主要問題：冷啟動和數據稀疏性[3]。當歷史數據稀疏時，使用這些方法難以達到令人滿意的性能。另一方面，在獲得用戶的歷史評分之前，很難對用戶進行推薦。

為了解決這些問題，一種解決方案是將輔助信息和協同過濾相集成，以獲取更多的有效特征[4]。除了評分信息可以直觀顯示用戶的喜好外，大多數輔助信息中隱含著用戶的個性偏好，如用戶和項目的基本描述性信息中蘊含著更豐富的語義信息。此外，如購買歷史，瀏覽信息等隱式反饋信息[5]更能夠反映出用戶對某些項目的偏好。一些基于協同過濾的混合方法[6-7]將輔助信息集成到矩陣分解中以學習有效潛在特征。然而，這些方法將輔助信息用作正則化，尤其是當評分矩陣和輔助信息比較稀疏時，學習到的潛在特征通常無效。因此，從這些稀疏數據中實現有效潛在特征學習是非常必要的。深度學習[8]作為一種學習特征的強大方法在處理稀疏數據方面表現出了出色的能力。將輔助信息融入到深度協同過濾中所涉及到的一個重要問題是捕捉輔助信息與評分矩陣之間的隱藏關系。基于自動編碼器的深度學習模型由于能夠將特征表示學習到低維空間中，從而使特征表示更加緊湊且有效，應用十分廣泛[9]。

跨域推薦[10]則是利用遷移學習來改善推薦性能的另一種解決方案。跨域推薦通過將知識從相關領域（稱為源域）遷移到當前領域（稱為目標域），以提高目標域的推薦性能。在實際應用中，可以獲得同一用戶在幾個不同推薦系統中的參與情況，以獲取用戶在不同領域中的各種有效信息。然而，現有的大多數跨域推薦算法相關的工作僅僅使用評分信息，僅基于這些信息做知識的遷移存在很大的局限性，難以充分遷移源域中的知識[11]。

綜上所述，無論是傳統的協同過濾方法還是跨域推薦方法，將輔助信息引入推薦系統都可以極大地提高推薦的準確性，降低為新用戶推薦項目的錯誤率。盡管如此，大多數現有的跨域推薦在進行知識遷移時并沒有充分考慮各種有價值的輔助信息，忽略了隱式反饋信息對目標域知識刻畫的有益影響。為此，本文將隱式反饋信息視為重要的可用輔助信息，并將其引入跨域推薦模型，提出了一種深度融合輔助信息的跨域推薦算法，即CICDR。該算法一方面通過擴展標準的堆疊降噪自動編碼器（stacked denoising autoencoder，SDAE）[12]模型，以提取用戶和項目描述性信息中的用戶和項目潛在特征。另一方面，則將隱式反饋信息與矩陣分解[13]集成，以減少用戶不喜歡項目的推薦。在此基礎上，采用非完備正交非負矩陣三分解[14]方法建立源域和目標域之間的關聯，以更有效地實現源域知識向目標域遷移。

本文的主要貢獻總結如下：

（1）在兩個域中集成了Semi-SDAE以深度融合的方式處理評分矩陣和兩種輔助信息，學習到的用戶和項目特征包含了更多的語義信息。

（2）采用非完備正交非負矩陣三分解方法從源域中提取評分模式。該方法松弛了對源域評分矩陣的全評分限制，并使評分模式矩陣與目標矩陣更加近似相關。

（3）在三個真實數據集上與幾種算法進行比較，證明了CICDR算法的可行性和有效性，能夠為冷啟動用戶做出更令人滿意的推薦。

1 相關工作

1.1 Semi-SDAE

Semi-SDAE[15]包括三個部分：輸入層集成輔助信息，隱藏層學習潛在表示，輸出層進行信息重構。Semi-SDAE允許輸入和輸出具有不同維度的情況，即當更多的輔助信息被模型使用（輸入的維度增加）時，輸出層不受影響。當模型需要處理更多的輔助信息源時，這一重要特征使得模型更容易擴展。此外，它具有更高的推薦準確度，減少信息的丟失。給定評分矩陣R，用戶和項目的輔助信息集分別表示為X和Y。可以將處理用戶信息的Semi-SDAE公式化如下：

其中W1,W2,…,Wk+1和Z1是權重矩陣，g(·)和f(·)表示激活函數表示加入噪聲的用戶評分向量，bui表示第i個隱藏層的用戶偏置向量，Lui表示第i個隱藏層用戶隱藏潛在特征表示，則表示輸出層的重構評分。Semi-SDAE通過最小化損失函數（2）來訓練：

1.2 基于遷移學習的矩陣分解

通過集體矩陣分解[16]使用多個分解矩陣可以實現知識的跨域遷移。在遷移學習中，一些共同的潛在因子被作為連接源域和目標域的橋梁。以往基于矩陣分解的遷移學習者通常通過優化預定義的目標函數來挖掘這些潛在因素，包括最大化經驗似然[17]，或保持固有的幾何結構[18]。它的三因子分解變體最近被廣泛研究用于遷移學習。在正交非負矩陣三分解（orthogonal nonnegative matrix tri-factorization，ONMTF）[19]中，一個數據矩陣RM×N會被分解為三個非負因式部分U∈RM×K,H∈RK×L,V∈RL×N,滿 足R≈UHVT，而 對 于數據矩陣不斷逼近是通過公式（3）優化矩陣來實現的：

其中，Rs表示源域評分矩陣，I為單位矩陣，表示Frobenius范數，Us是用戶聚類索引矩陣，Vs是項目聚類索引矩陣，H是一個K×L維的評分模式矩陣，代表K個用戶聚類對L個商品分類的評分模式。

其中U和V是非負正交的，通過對用戶和項目同時進行聚類，正交非負矩陣三分解模型利用用戶和項目間的交互信息，從而會產生比其他聚類方法更加優化的結果。ONMTF方法的優化求解過程等同于同時對矩陣R的行和列進行K維和L維的協同K-means聚類。而非完備正交非負矩陣三分解（incomplete orthogonal non-nega‐tive matrix tri-factorization，IONMTF）在ONMTF的基礎上松弛了對源域評分矩陣的完備性評分限制，使評分模式與目標矩陣更加近似相關。

2 CICDR算法

2.1 CICDR算法框架

為了緩解跨域推薦中的單個特征向量預測精度低的問題，本文提出了一種融合輔助信息的深度協同跨域推薦方法。同時融入描述信息和隱式反饋信息，以提取出包含更豐富語義信息的用戶和項目潛在特征，進而改善目標域的推薦精度并減少用戶反感項目的出現。如圖1所示，本文提出的CICDR算法的基本框架包括潛在特征提取和目標域評分矩陣重構兩個部分。為了同時利用評分信息以及兩種輔助信息，即用戶和項目的基本描述性信息與用戶的隱式反饋信息，首先將Semi-SDAE和矩陣分解（matrix factorization，MF）相集成，以更為全面地提取用戶和項目的潛在特征，進一步豐富源域的預測評分矩陣。

圖1 CICDR框架Fig.1 CICDR framework

接著在源域和目標域中采用非完備正交非負矩陣三分解（IONMTF）生成可以鏈接兩個域的附加關聯矩陣，將源域中通過IONMTF提取到的評分模式遷移到目標域中，能夠有效提高標域的推薦準確性。為了方便起見，表1總結了CICDR算法使用的主要符號。

表1 主要符號概要Table 1 Summary of primary notations

2.2 潛在特征提取

在本節中，詳細介紹了基于Semi-SDAE的混合協同過濾模型的潛在特征提取，如圖2所示。使用Rs表示源域評分矩陣，Rt表示目標域評分矩陣，Rij表示用戶i對項目j的評分。為了便于描述，將域的索引表示為d∈{s,t}。對于兩個域中給定評分矩陣Rd，矩陣的每一列作為各項目的評分向量，每一行則表示每個用戶的評分向量。將輔助信息，即用戶基本描述性信息和項目基本描述性信息分別用X和Y表示。輔助信息被視為一個整體，和評分信息一起直接作為Semi-SDAE的輸入。

圖2 基于Semi-SDAE提取潛在特征Fig.2 Extracting latent features based on Semi-SDAE

在兩個域中，通過同時訓練兩種不同類型的Semi-SDAE，來分別提取用戶潛在向量Ud和項目潛在向量Vd，中間層的輸出被視為所要提取的用戶和項目潛在因子。公式（1）表示的是Semi-SDAE從輸入信息中提取用戶潛在特征，類似地，可以將公式（1）中的u替換為v，將X替換為Y，提取項目潛在特征。通過這種方式，學習到的項目潛在因子不僅能反映項目的固有特征（從評分信息中提取），而且還反映了用戶的偏好特征（從輔助信息中提取）。

本文提出的模型是一種混合模型，如圖2所示。CICDR同時利用評分信息和其他輔助信息，并在源域和目標域中將Semi-SDAE和MF算法相結合以提取潛在特征。通常兩個Semi-SDAE的中間層作為評分信息和其他信息之間連接的橋梁，這兩個中間層是使混合模型同時學習有效潛在因子并捕獲用戶和項目之間相似性和關系的關鍵。因此，通過Semi-SDAE的中間層與矩陣分解進行結合。通過在兩個域中獲得的用戶和項目潛在特征向量的乘積來近似得到更加稠密的預測評分矩陣。此外，在用戶潛在特征向量中還新增一個隱式反饋特征向量，這部分表示用戶u瀏覽過的項目之和。因此，在兩個域中Semi-SDAE和MF相結合可以獲得的預測評分矩陣R'd如公式（4）所示：

其中，μ表示整體平均評分，bu和bv分別表示觀察到的用戶u和項目v的平均偏置值，Ru是用戶u所評分的所有項目集，yj表示隱式反饋向量，并且表示隱式反饋觀點，adu(Ru,Xu)和adv(Rv,Yv)分別表示用戶u和項目v的特征轉換函數，Ru和Rv分別表示用戶u和項目v的評分信息，Xu和Yv分別表示用戶和項目所對應的輔助信息。從公式（4）可以看出，所提出的CICDR模型同時使用了評分信息、描述信息和隱式反饋信息，有助于更加充分地挖掘各種信息中所隱含的潛在特征加以有效利用。

然而，Semi-SDAE提取的特征不能直接與評分矩陣相集成，因為Semi-SDAE的特征空間與MF不一致，并且在編碼器提取特征的過程中，對所有用戶采用相同的權重，因此不同用戶的特征之間會相互影響。為了將Semi-SDAE提取的特征集成到評分中，通過轉換函數adu(·)和adv(·)，將編碼器的特征空間轉換到矩陣分解特征空間，使兩者所提取的特征能夠深度融合，特征轉換函數adu(·)和adv(·)的表達式如公式（5）所示：

其中，αu和αv表示縮放系數，分別對Semi-SDAE提取的用戶特征和項目特征進行縮放，對其進行隨機初始化，更新規則如公式（14）所示，βu和βv分別表示用戶的偏置向量和項目的偏置向量。

為了防止過擬合，通過λfreg實現正則化，目標函數可以表示為：

上述目標函數包含四個部分，第一部分表示預測評分的損失，采用平方損失函數，其中K為所有已知評分的項目集。第二部分和第三部分表示Semi-SDAE的損失，其中δ和ρ是兩個權衡參數，主要用于控制編碼器的特征學習。最后一部分是正則項，其目的是防止發生過擬合，其中λ表示正則項系數，freg的具體表達式如公式（7）所示：

2.3 知識遷移和目標評分預測

在兩個域中分別提取用戶和項目潛在特征并得到更加密集的評分矩陣R'd后，使用非完備正交非負矩陣三分解（IONMTF）對兩個域的評分矩陣進行分解，用戶-項目評分矩陣可以分解為三個因子的乘積R'd≈UdHVTd，其中Ud是用戶的聚類指標，Vd是項目的聚類指標，H是集群級別的用戶項目評分模式。近似可以通過以下矩陣范數優化來實現：

其中，Ud和Vd都是非負正交的，表示用戶和項目的集群值。此外，添加矩陣M作為指示矩陣，當R'd≠0時Mij=1，否則Mij=0。操作符°表示指標矩陣M和后面損失公式的哈達瑪積操作，其有助于在求解優化公式時避免R'd中沒有評分項目的影響。

從源域中提取評分模式后，可以將評分模式進行聚類得到密碼本[18]，目標域適配通過復制密碼本中的行和列來學習目標評分矩陣中缺失的評分項目，然后通過Ut、B和VTt的乘積來得到近似結果。最后重建目標域評分矩陣，缺失值均由以下公式計算填充：

其中，M表示指示矩陣，°表示哈達瑪積操作，Ut和Vt分別表示目標域中用戶和項目的聚類指示矩陣，B表示通過對源域稠密評分矩陣進行聚類得到的密碼本。為了使預測值盡可能接近真實值，應該盡可能縮小用戶的預測評分與原始評分值之間的平方誤差，來為用戶做出更準確的推薦。

2.4 CICDR模型算法優化

CICDR模型通過最小化公式（4）來學習參數。為了學習算法中的參數，需要設計合適的優化函數，但考慮算法中所有的變量，目標函數難以直接優化。而如果通過固定神經網絡的權重，只優化矩陣分解中的參數，則目標函數更易于優化，因此本文采用隨機梯度下降（SGD）作為一種優化選擇，SGD通過以下方式來計算特征提取預測誤差εuv：

同時，使用Q來表示轉換后的特征之和，基于隱式反饋的角度在以下更新規則中使用：

然后通過循環已知的評分信息來更新模型中的參數，更新規則如下：

隱式反饋向量更新公式如下：

其中，μ是學習率，λi是學習參數i的超參數。

3 實驗結果及分析

3.1 數據集

本文評估CICDR模型在電影和書籍推薦上的性能，實驗在三個公共數據集上進行：MovieLens-100K、MovieLens-1M和BookCrossing。MovieLens-100K數據集由943個用戶和1 682部電影的100K評分組成，而MovieLens-1M數據集由6 040個用戶和3 706部電影的100萬個評分組成，每個評分是1到5范圍內的一個整數。它們的評分非常稀疏，其中沒有評分的數據在MovieLens-100K數據集中占93.7%，在MovieLens-1M數據集中占95.8%。用戶的輔助信息包含用戶的年齡、性別、職業和郵政編碼等，而項目的輔助信息包含電影類型和發布日期的類別等。BookCrossing數據集包含來自278 858個用戶的1 149 780本書，其中每個評分都是0到10的整數，沒有評分的數據占99.9%，其中還包含書籍和用戶的一些屬性信息，并將其作為輔助信息。

為了在電影推薦中合并輔助信息，輔助信息被編碼成長度為139（對于用戶）和28（對于兩個域中的項目）的二進制向量。同樣，對于書籍推薦，輔助信息被編碼成長度為62（對于用戶）和1 003（對于項目）的二進制向量。將三個數據集分為兩對MLK（s）與MLM（t），BC（s）與MLM（t），其中一個充當源域，另一個充當目標域，使用隨機選擇的不同訓練數據進行迭代訓練并評測平均性能。

3.2 評估指標

CICDR將用戶和項目輔助信息以及隱式反饋信息融入模型中，主要目的是提高目標域的推薦準確度。因此采用均方根誤差（RMSE）、平均絕對誤差（MAE）作為評估指標，分別定義為：

其中，Rij是目標域用戶i在項目j上的真實評分，Rij表示相應的預測評分，T是測試集。

本文使用召回率Recall@K作為另一個評估指標，因為很多輔助信息是以隱式反饋的形式出現的。具體來說，另一個常見的指標即準確度不適合用于評測隱式反饋的推薦，因為用戶-項目評分矩陣中沒有評分的項目可能是由于用戶對項目不感興趣，或者用戶不知道它。為了評估本文的深度協同跨域模型，通過對每個用戶的所有項目的預測評分進行排序，然后向每個用戶推薦前K個項目。每個用戶的Recall@K定義如下：

其中，Number@K表示前K個推薦項目中用戶喜歡的項目數，Total表示用戶喜歡的項目總數。最終的度量結果是所有用戶的平均召回率。

3.3 基準算法

為了評估CICDR算法的性能，本文在實驗中考慮了以下各種方法。

CDL[20]：協同深度學習是一種分層深度貝葉斯模型，用于實現項目信息的深度表示學習和用戶-項目矩陣的協同過濾。

aSDAE[21]：附加堆疊降噪自動編碼器是一個單域推薦模型，其中輔助信息和原始評分信息通過自動編碼器進行融合。

RC-DFM[22]：深度混合模型首先采用堆疊降噪自動編碼器來學習潛在因子，然后利用MLP網絡將用戶潛在因子從輔助域映射到目標域。

DTCF[23]：深度遷移協同過濾是集集體矩陣分解和深度遷移學習于一體的推薦模型。

對于上述模型，實驗以不同的評分百分比（60%、80%、95%）訓練這些模型。從上述數據集中隨機選取數據作為訓練集，其余數據作為測試集。本文對上述模型的性能進行了五次評估，并使用平均RMSE和MAE作為結果。對于CICDR模型參數作出如下設置：δ=ρ=0.5,λbu=λbv=0.001,λαu=λαv=0.5,λβu=λβv=0.02,λy=0.05并且學習率設置為0.001。對于Semi-SDAE，輸入輸出維度設置為1 000，隱藏層維度設置為64，此外，使用噪聲級別為0.2的高斯噪聲對初始輸入數據加噪。

3.4 實驗比較和分析

表2和表3分別顯示了在兩對數據集上CDL、aSDAE、RC-DFM、DTCF和CIDCR模型的平均RMSE和MAE，其中每個數據集的最低值以粗體突出顯示。

表2 在RMSE方面的性能比較Table 2 Performance comparison in terms of RMSE

表3 在MAE方面的性能比較Table 3 Performance comparison in terms of MAE

本文分別評估幾種模型在不同的評分百分比下的RMAE和MAE性能。從表2和表3中可以得出結論，aSDAE、RC-DFM、DTCF和CICDR模型的性能優于CDL，這表明深度融合各種輔助信息的有效性。與CDL和aSDAE相比，其他三種跨域算法在一定程度上提供了較好的結果，這是因為跨域推薦試圖為目標域中沒有反饋的冷啟動用戶做出更準確的推薦，而CDL和aSDAE是一種單域推薦算法，其性能取決于用戶歷史信息的豐富程度，且輔助信息較為稀疏未能充分挖掘其中的潛在特征。此外，還可以觀察到，DTCF和CICDR結果較為相近，兩者都采用集體矩陣分解與深度遷移學習相融合，而CICDR略優于DTCF表明跨域推薦中融合隱式反饋信息可以提高推薦的準確性，且使用IONMTF進行矩陣分解實現知識遷移略優于ONMTF。從表中還可以看出，MLK(s)vs MLM(t)的性能優于BC(s)vs MLM(t)數據對的性能，因為BookCrossing和MovieLens-1M數據集之間相差較大，而跨域遷移學習能從更相近的域中傳輸更多的信息。

通過表2和表3可以看出，本文提出的CICDR模型在不同評分百分比情況下，RMSE和MAE的值均優于其他幾種算法。這意味著融合包括隱式反饋信息在內的多種輔助信息的跨域推薦算法可以較好地為用戶提供個性化推薦，從而為緩解目標域冷啟動用戶問題提供了一個可行的方法。

圖3顯示了MovieLens-100K數據集上的Recall@K結果，其中在RMSE方面將四個優越的基線與CICDR模型進行比較。如圖3所示，只考慮了在60%和80%訓練數據下的情況，因為在95%訓練數據的情況下，這些模型的表現大約接近1，所表明的信息有限。此外，觀察到DTCF和CICDR有很大的重疊，表明它們在Recall@K方面屬于一類，發生重疊是因為模型的影響小于數據結構的影響。盡管如此，即無論K在10到50的范圍內發生什么變化，本文模型都優于基線模型。

圖3 Recall@K方面的性能比較Fig.3 Performance comparison in terms of Recall@K

3.5 時間復雜度分析

圖4 顯示了在lbt規模下的CPU時間比較。與單域推薦算法CDL和aSDAE相比，跨域推薦算法RC-DFM，DTCF和CICDR的高效訓練實現了時間復雜度的顯著降低。同時，與RC-DFM模型相比，融合隱式反饋信息的CICDR不會降低訓練效率。而與DTCF模型相比，因為CICDR模型融入了更多的輔助信息，且DTCF未使用矩陣分解融合隱式反饋信息，因此CICDR時間復雜度相對較高。

圖4 Movielens-100K上一個epoch的訓練時間比較Fig.4 Comparison of training time of one epoch on Movielens-100K

接下來為了驗證本文特征轉換函數的有效性，通過將特征轉換函數從模型中移除并在單個數據集上進行實驗對比，其他超參數如正則項和學習率等如上文所示，對比實驗結果如表4所示。

表4 加入特征變換函數前后對比Table 4 Comparison before and after adding feature transform function

從表4可以看出，當從模型中加入特征轉換函數之后，推薦算法的性能會提高很多，在三個數據集上都實現了更好的結果。由此可見，Semi-SDAE學習的特征和矩陣分解學習的隱式反饋信息是兩個不同的任務，并不能直接將Semi-SDAE提取的特征用于評分預測任務。

4 結束語

在本文中，提出了一種深度協同跨域推薦模型，稱為CICDR。它橋接了深度學習模型Semi-SDAE和矩陣分解，并實現了跨域推薦。CICDR模型結合了協同過濾和遷移學習的評分模式，以逼近目標域并預測缺失值。特別是，通過考慮負遷移的影響，自動學習從源域到目標域信息的權重，獲得了穩健的推薦。綜上所述，CICDR模型更容易擴展到更大的數據集，而不會損害推薦性能和計算成本。作為未來工作的一部分，將研究其他深度學習模型來替代Semi-SDAE以進一步提高性能，例如循環神經網絡和卷積神經網絡。其次，將利用文本、視覺信息等豐富的項目內容信息，通過神經網絡獲得更豐富的特征表示。同時，可以通過結合時間動態和社交網絡信息來進一步改進所提出的模型。