遷移評分模式的跨域學習資源推薦算法

郭俊宏，甘柏青，徐林杰，丁永剛

（1.湖北大學 師范學院，湖北 武漢 430062；2.武漢船舶通信研究所，湖北 武漢 430205）

0 引言

網絡學習具有個性化、主動式、探究式、協作式、不受時間和地點限制等優點而備受學習者青睞。然而，隨著網絡學習資源的爆炸式增長，學習者難以快速準確地獲取到自己感興趣的資源，導致學習難度加大、學習時間延長，降低了學習者的學習效率。為了幫助學習者快速準確找到其感興趣的學習資源，近年來教育技術領域專家和學者致力于在網絡學習系統中加入個性化學習資源推薦服務以解決資源過載這一問題。現有的個性化學習資源推薦方法大多基于單領域進行，即僅根據學習者在某一單個領域（如文本資料）的興趣偏好，向其推薦感興趣的學習資源。然而，單領域學習資源推薦存在諸多局限性，主要表現為：一是在數據稀疏和冷啟動的情況下，無法為學習者提供準確的推薦結果；二是單領域推薦算法在同一領域基于相似群體分類進行推薦，所推薦的學習資源一般是同一類型、同一水平、與已學過知識高度近似的資源，因此無法真正滿足學習者的個性化需求，也無法達到挖掘學習者學習興趣與學習潛力的目的。在實際的網絡學習環境下，學習資源多種多樣，如文本、聲音、圖形、圖像和視頻等（跨多個領域），學習者的學習需求也表現出多樣性，而學習者在每一領域的評分數據更加稀疏。顯然，單領域推薦算法已很難適應跨領域的學習資源推薦服務。

跨領域信息資源推薦算法的主要思想是由Pan 等在2009 年基于遷移學習的概念而提出，它是解決多領域推薦問題的有效方法，已在電子商務領域廣泛應用。近年來，教育技術領域專家和學者也開始致力于將跨域推薦技術應用于跨域教育資源推薦，為學習者提供真正個性化的學習資源推薦服務。現有的跨域推薦算法主要有3 類：一是基于域關聯的跨域推薦，如Wang 等通過從學習者訪問日志中提取個性化偏好，提出一種基于混合興趣度的跨域學習資源推薦方法；趙厲宇哲等提出一種融入專業度和用戶相似性的跨域推薦算法，實現了圖書、音樂、DVD 和影片等資源的跨域推薦；葉佳鑫等利用標簽間的關系，提出一種以標簽為基礎的跨域資源推薦方法；唐路平等通過跨域用戶特征信息交互，提出一種有效的遷移學習算法，解決了傳統協同過濾算法中的冷啟動問題；曹鶴提出基于領域相關度的跨域推薦算法，實現了圖書、音樂、光盤和視頻等多源跨域學習資源推薦；二是基于隱含特征映射∕轉換的跨域推薦，如李宇航等通過共享跨域特征信息，重構評分矩陣實現了電子書、視頻和音頻等資源的跨域推薦；田靖玉等提出知識聚合和遷移相結合的跨領域推薦算法ATCF，并考慮了群體效應，實現了圖書與電影的跨域推薦；吳彥文等提出一種利用GFK 特征映射，聯合用戶側重和項目側重多元遷移模式的領域自適應方法，以應用于跨領域推薦；三是基于評分模式共享的跨域推薦，如陳燕等提出一種基于共享評級遷移的跨域推薦算法SRTCD，對不同領域之間用戶對項目的評分模式建立一種關聯，再結合遷移模式的跨域方法解決稀疏性問題和冷啟動問題；Li等利用矩陣分解技術在聚類層次上將用戶的評分模式進行遷移，實現了電影與圖書的跨域推薦。

以上方法在一定程度上解決了學習資源跨域推薦存在的問題，但是由于其算法的時間和空間復雜度高，在實際應用中很難實現實時有效的推薦。丁永剛等利用碼本聚類思想，在評分矩陣中提取用戶在不同指標上的評分模式和商品的被評分模式，并將其集成到因子分解機模型，在線性時間復雜度下實現了商品的多指標推薦；Babak等提出基于因子分解機的協同過濾跨域推薦技術，通過提取與合并特定類型項目的用戶交互模式，再遷移到目標領域完成推薦，實現了算法的可擴展性和線性時間復雜度。受文獻［13］和文獻［14］的啟發，本文提出一種遷移評分模式的跨域學習資源推薦算法（Migrating User and Item Rating Patterns，MUIRP），該方法首先基于碼本聚類思想從學習者的輔助領域評分數據中抽取學習者的評分模式和資源的被評分模式偏好，然后將其遷移到目標領域，以填補學習者在目標領域評分數據的不足，最后利用因子分解機模型能方便集成多個特征向量的特性，將目標領域學習者信息、學習資源信息、評分模式和被評分模式進行統一建模，為學習者提供真正實時有效的個性化學習資源推薦。

1 遷移學習與跨域推薦相關技術

遷移學習主要用來解決推薦系統的數據稀疏和冷啟動問題，它首先從輔助領域中獲取相關知識或數據，然后將經過處理的信息遷移到目標領域，以填補目標領域數據的不足，從而解決目標域中的數據稀疏和冷啟動問題。在學習資源推薦領域，利用學習者在某些領域的知識學習情況，幫助其在其他領域的知識學習，可以最大程度地挖掘出學習者的學習偏好，幫助發現其學習興趣與學習潛力。這既符合人類自身學習行為的特點，同時也可以降低收集、標記數據的成本，因此具有十分重要的意義。

1.1 碼本聚類

碼本算法是圖像背景建模的常用方法，其基本思想是使用一個碼本（CodeBook，CB）來描述一個像素P，而每個碼本中包含若干碼元（Code Element，CE），這些碼元就是該像素點P 的一個聚類。碼本算法就是要構建像素的一個個聚類，即碼本。實際上，碼本算法的圖像背景建模是一個統計過程，在構建碼本的過程中，碼本算法會將某點出現的可能的像素值進行統計，根據碼元定義的特征屬性，設定閾值進行判斷，只有符合條件的像素值才可作為背景像素。因此，碼本算法的背景建模具有聚類思想。

基于碼本聚類思想，在用戶評分矩陣中，可以將用戶在學習資源不同分值上的評分頻率作為碼本，然后基于碼本對評分矩陣的行和列重新進行排列，即基于碼本進行聚類。由于用戶評分模式可以通過用戶的評分頻率表示，基于碼本聚類實際上是將評分模式相似的用戶聚成一類，從而形成聚類級的用戶評分模式，如圖1 所示。類似地，從用戶的評分矩陣中，也可以提取出資源的被評分模式，從而將被評分模式相似的資源聚成一類，形成聚類級的資源被評分模式。

1.2 因子分解機

因子分解機是Rendle提出的一種通用分解模型。與經典分解技術中用戶與項目的交互使用矩陣表示不同，因子分解機模型使用真值特征向量表示用戶與項目的交互。假設評分預測問題的數據集由元組(

x

,

y

)的集合表示，這里

x

=(

x

,…,

x

)∈R是一個

n

維特征向量，則FMs 能夠使用分解交互參數對

x

的

i

個輸入變量的所有嵌套交互進行

d

維度建模。當

d

=2 時，因子分解機模型可以表示如下：

Fig.1 A cluster-level rating model based on codebook圖1 基于碼本的聚類級用戶評分模式

其中，

w

是全偏量，

w

是輸入變量

x

的一元交互參數，

w

是

v

和

v

之間的分解參數，定義為：

其中，

k

是一個定義分解維度的超參數。因子分解機FMs 的一個重要特點是輸入特征向量成對交互效果可用低秩矩陣表示，因此輸入向量之間的交互不是使用一個獨立參數

w

進行建模，而是使用分解參數<

v

.

v

>加以建模。該特點使得FMs 即使在數據稀疏的情況下，也能對高維交互參數進行可靠估計，并且能夠在O(

k

.

m

(

x

))的線性時間內進行有效計算（這里

m

(

x

)是向量x中非0 元素的個數）。

2 遷移評分模式的跨域學習資源推薦

針對學習資源推薦存在的數據稀疏和冷啟動問題，首先基于碼本聚類思想從輔助域的用戶評分矩陣中抽取用戶的評分模式和學習資源的被評分模式，然后將其遷移到目標域，并利用因子分解機模型能方便集成多個特征向量的特性，將目標領域學習者信息、學習資源信息和評分模式信息進行統一建模，以實現跨域學習資源的精準推薦。

2.1 基于碼本聚類的用戶評分模式與學習資源被評分模式表示

傳統的協同過濾算法基于學習資源評分計算用戶或學習資源之間的相似性，實際上，如果將用戶—學習資源評分矩陣中用戶對學習資源的評分信息進行重構，便可以得到用戶對學習資源評分信息的另一種表示形式。Tan等通過對Netflix Prize 數據集進行分析，認為用戶—學習資源矩陣中隱含著不同的用戶評分模式或學習資源被評分模式信息，而這種評分模式或被評分模式隱式地反映了用戶或學習資源之間的相似性。例如，如果一個用戶對一些電影都給出較高評分，則隱含著這些被評為高分的電影是相似的；類似地，如果一個電影總是被一些用戶給出較高評分，則隱含著這些給出高分的用戶是相似的；反之亦然。因此，可以將這些具有相似評分模式的用戶或被評分模式的學習資源集聚到同一簇內。如上所述，用戶的評分模式或學習資源的被評分模式可以通過用戶的評分頻率和學習資源的被評分頻率加以表示。因此，首先基于碼本聚類思想計算用戶∕學習資源的評分∕被評分頻率，將其表示為用戶的評分模式或學習資源的被評分模式，然后使用K-means 聚類算法將相似用戶或相似學習資源集聚到同一簇內。

具體地，用戶

u

的評分模式可以表示成：

同樣地，學習資源

i

的被評分模式可以表示為：

使用用戶的評分頻率和學習資源的被評分頻率表示用戶評分模式和學習資源被評分模式，使得沒有共同評分但有相同或相似評分頻率的用戶或被評分頻率的學習資源之間也有可能進行相似度計算，從而可以在一定程度上緩解數據稀疏問題。

2.2 基于因子分解機遷移評分模式的跨域輸入特征向量構造

假設有兩個不同的領域｛D1，D2｝，D1 表示視頻領域，D2表示圖書領域，其中視頻的評分數據比較稀疏，而圖書的評分數據比較充足，則可以將用戶對圖書的評分模式和圖書的被評分模式遷移到視頻領域，以實現圖書的精準推薦。

其中，非0 元素對應于用戶

u

和項目

i

。該特征向量也可以簡化地表示為

x

(

u

,

i

)={(

u

,1),(

i

,1) }。

因子分解機FMs 的最大優點是能夠通過構建真值特征向量集成各種附加信息，因此可以基于式（5）將用戶和學習資源的評分信息、基于碼本聚類的用戶評分模式和學習資源的被評分模式集成到FMs 中。

遷移評分模式的因子分解機跨域推薦的目標函數可以表示為：

其中，

I

是學習資源

i

的評分空間，

Um

為用戶在輔助域上的評分模式信息，

In

為項目

n

在輔助域的被評分模式信息，R 為評分空間。

相應地，該效用函數的輸入特征向量構造如下：

其中，

u

是用戶

m

的評分值為

r

的學習資源數目，

i

為學習資源

n

的被評分值為

r

的數目。

根據式（7）集成評分模式信息的輸入特征向量的構造方法，本文給出輸入特征向量的一個實例，該實例將用戶、資源、用戶評分模式和資源被評分模式作為輸入特征向量，將用戶的評分值作為特征向量的輸出，如圖2 所示。

Fig.2 Construction of input elgenvector based on transfer scoring mode of FM圖2 基于因子分解機遷移評分模式的輸入特征向量構建

3 實驗及結果分析

3.1 數據集與評價指標

Amazon product co-purchasing network metadata 包含亞馬遜網站中的圖書、音樂CD、DVD 和視頻4 類資源的用戶評分，分值從1（最不喜歡）到5（最喜歡）。本研究選取圖書和視頻資源分別作為輔助域和目標域。其中，圖書域包含4 591 303 條評分記錄，有278 269個用戶和393 561 本圖書；視頻域包含450 131條評分記錄，有63 369個用戶和26 132個視頻。為了驗證所提出算法在數據稀疏情況下的有效性，過濾掉這兩個領域中無評分的資源后得到圖書域中有278 269 本圖書，評分記錄和用戶數不變；視頻域中有22 359個視頻，評分記錄和用戶數不變。實驗選擇目標域80%的評分數據作為訓練集，20%作為測試集。

實驗結果使用均方根誤差（RMSE）作為評價指標，計算公式如下：

3.2 比較方法

為了評估本文提出的遷移評分模式的跨域學習資源推薦算法（MUIRP）的有效性，選取Amazon product co-purchasing network metadata 作為實驗數據，并與基線方法1-3和基于領域相關度或共享評級遷移效果最好的4～6 種模型進行比較。①SDR：基于FM 的單領域資源推薦算法（Single Domain Recommendation，SDR）；②MURP：僅遷移用戶評分模式的跨域資源推薦算法（Migrating User Rating Patterns，MURP）；③MIRP：僅遷移資源被評分模式的跨域資源推薦算法（Migrating Item Rating Patterns，MIRP）；④FMMCMC：基于因子分解機的協同過濾跨域推薦算法（Factorization Machines-Markov Chain Monte Carlo，FM-MCMC），該算法將用戶在輔助域對商品評分的貢獻度遷移到目標域進行推薦；⑤CDFM：基于領域相關度的跨域推薦算法（Correlation Domain Factorization Machines，CDFM），該算法計算用戶在輔助域與目標域的評分向量相關度，并基于FM將其遷移到目標域進行推薦；⑥SRTCD：基于共享評級遷移的跨域推薦算法（Shared Ratings Transfer Cross-Domain Recommendation，SRTCD），該算法通過概率矩陣分解提取用戶和項目的潛在特征，對用戶類別和項目類別分別進行聚類，并將其內積作為共享評級遷移到目標域進行推薦。

3.3 實驗結果與分析

3.2.1 與SDR、MURP 和MIRP 推薦算法比較

實驗結果如圖3 所示。可以看出，與SDR 相比，在各種K 值情況下，MURP、MIRP、MUIRP 方法均顯著優于SDR，而MUIRP 方法準確度略高于MURP、MIRP。這說明遷移評分模式或被評分模式確實能解決目標數據的稀疏問題，極大提高推薦準確度；且同時遷移跨域評分模式和被評分模式能夠更好地提高推薦準確度。同時，從圖3 中還可以看出，MUIRP 方法的性能隨K 值變化而變化，當K=20、K=6 或K=18 時，MURP、MIRP、MUIRP 方法的性能分別達到最優。

Fig.3 RMSE comparison of MUIRP，SDR，MURP and MIRP under different cluster number K圖3 MUIRP 與SDR、MURP、MIRP 在不同聚類數K 下的RMSE 比較

3.2.2 與FM-MCMC、CDFM 和SRTCD 推薦算法比較

實驗結果如圖4 所示。可以看出，MUIRP 預測評分的最優和最差RMSE 值均優于FM-MCMC、CDFM 和SRTCD，特別是在MUIRP 的最優RMSE 值上，分別降低38%、36%和54%。這說明用戶評分模式信息和資源被評分模式信息對提高推薦準確度均起到較大作用。

Fig.4 RMSE comparison of MUIRP，FM-MCMC，CDFM and SRTCD on the best and worst index圖4 MUIRP 和FM-MCMC、ATCF、CDFM 在最優與最差指標上的RMSE 比較

4 結語

隨著網絡學習資源形式趨于多樣化和海量學習資源不斷增加，用戶在學習過程中面臨著信息過載與信息迷失等問題。本文針對學習者在單一學習資源領域存在評分數據稀疏的問題，提出了遷移評分模式的跨域學習資源推薦算法，并在真實數據集上進行了實驗。實驗結果表明，所提出的遷移評分模式的跨域學習資源算法在不同聚類下的準確度均優于單領域推薦算法、僅遷移用戶評分模式的算法和僅遷移資源被評分模式的推薦算法，同時也優于當前基于領域相關度或共享評級遷移最好的3 種跨域推薦算法。但本文提出的方法在遷移評分模式時沒有考慮輔助域評分時間對目標域的影響，下一步將對該問題進行深入研究，以進一步提高推薦準確度。