基于寬度學習和協同過濾的在線信息推薦算法

景 楠 周正茜 袁 戟

1(上海大學悉尼工商學院 上海 201899) 2(萬物云空間科技服務股份有限公司 廣東 深圳 518000)

0 引 言

隨著社交媒體的興起,口碑營銷已從線下推薦轉變為以線上推薦為主,線上線下相結合的多渠道推薦。目前的推薦系統中,用戶在網絡上的評價和推薦能夠顯著影響產品的銷售狀況[1]。因此,從企業角度考慮,用戶口碑對產品設計和營銷策略起著決定性的作用。基于此,建立基于用戶個性特征的產品推薦系統,不僅能夠提高用戶體驗和滿意度,而且能夠增強用戶購買產品和服務的意愿。為了適應以上需求,在線電影評論網站中現已建立了基于評論和評分等數據的個性化推薦系統,其應用成果加速推動了推薦算法的落地和發展。

在推薦系統中,被推薦的產品被稱為項目(item),通常具有較高的社交相關性,主要是指電影[2-4]、音樂[5-6]、電視節目[7-8]以及旅游規劃[9]等產品和服務。推薦系統中的用戶(user)是指有意向購買或使用項目的特定用戶,他們通過在線評論網站對項目進行評分或發表評論來評價項目。在線評論網站和社交媒體通過提取項目和用戶評價的內在屬性,使相關信息進一步轉化為可量化的數據,便于推薦算法建模。

協同過濾方法(Collaborative Filtering, CF)[10]是目前在推薦系統中最常用的推薦方法。它的基本原理是通過計算用戶之間的相似度,找出目標用戶的相似用戶(鄰居),并根據相似用戶的瀏覽、觀看、點擊和評價等歷史行為數據估計目標用戶對項目的偏好,從而得出推薦的結果。

但在大數據背景下,推薦系統正面臨著諸多挑戰。當前的網絡環境對信息推薦系統的快速反應能力提出了更高的要求。其中信息過載問題很大程度上影響了信息推薦系統的推薦效率。而當大量新項目或新用戶進入到推薦系統時,歷史行為數據缺失將導致冷啟動問題和數據稀疏性問題,進而影響推薦結果的準確性。

迄今,研究者主要通過采用矩陣分解法[11]、深度學習模型[12]來實現推薦算法準確性的提升。但由于深度學習模型中隱含層結構復雜,訓練參數數量大,快速增量的用戶和項目數據使得模型的訓練時間過長,進而引起推薦系統模型訓練的效率大幅度降低。此外,深度學習模型易引起過擬合問題,導致模型的泛化能力較弱,進而降低了推薦系統的準確性。與此同時,寬度學習系統(Broad Learning System, BLS)[13]省略了深度學習模型中的隱含層結構,通過在輸入層中增加增強節點,既保障了模型的準確率,又大幅度提高了模型的訓練效率,已經被廣泛地應用于圖像識別、時間序列預測等領域。

為在保證推薦準確率的前提下,提高推薦系統的在線計算效率,本文基于協同過濾和寬度學習構建信息推薦系統,以適應快速增量的用戶和項目數據。本文將寬度學習模型與深度學習模型和集成學習模型進行對比實驗,對寬度學習模型的準確性和訓練效率進行評估。

1 研究現狀

本節對目前的推薦系統中的主要方法和應用場景進行回顧,并對寬度學習及其相關研究進行介紹。本文所提的寬度學習是指由Chen等[13]提出的寬度學習系統(Broad Learning System, BLS),與基于多種用戶數據資源的寬泛學習方法(Broad Learning, BL)[14-16]相區別。

1.1 推薦系統

推薦系統主要由用戶信息、項目信息和推薦方法三個部分組成。用戶信息主要包括用戶行為和內在屬性兩方面。用戶行為是用戶模型構建的基礎,包括用戶的點擊、收藏、評分[2]、評論[7]和根據評論內容提取得到的情緒特征[5]。此外,用戶的內在屬性,如性別、年齡和受教育程度也可作為尋找相似用戶的重要依據。項目信息取決于項目的具體類別,以電影為例,其內在屬性包括名稱、標簽、流派和發行年份等。此外,項目信息也包括了用戶對項目的行為數據。

目前,推薦方法主要有基于內容推薦[17-18]和協同過濾推薦[19]兩種。基于內容推薦方法側重于挖掘項目和用戶信息的內涵,基于用戶和項目的內在屬性為目標用戶找到最匹配的項目。與此同時,協同過濾推薦則通過分析用戶與用戶、項目與項目之間的關系,在系統中為目標用戶查找相似用戶,并根據相似用戶的歷史行為數據來進行推薦。這些相似用戶在協同過濾推薦中也被稱為“鄰居”。根據算法的面向對象,協同過濾推薦可以進一步分為基于用戶的協同過濾、基于項目的協同過濾和基于模型的協同過濾。實踐中為了提高推薦系統的準確性,學者們通常融合多種推薦算法。例如,Shin等[7]基于關鍵詞分類方法和用戶相似度預測構建數字電視推薦系統。Su等[17]基于聚類算法對用戶行為和音樂內容進行分析構建音樂推薦系統。Rosa等[5]對音樂評論的情緒進行分析,基于用戶的社交網絡和推薦系統中的行為數據為用戶提供精準推薦。Deng等[20]結合離線數據的挖掘與在線推薦系統進行了推薦系統的仿真。

然而,隨著用戶和項目數據的快速增加,數據稀疏性問題和冷啟動問題將會大幅降低推薦系統的準確性和效率。以電影推薦為例,由于用戶無法對所有電影進行評分,最終的評分矩陣會因為評分缺失而過于稀疏,影響推薦結果的質量。而對于沒有歷史數據的新用戶和項目,推薦系統無法找到其相似用戶和項目(鄰居),因此無法利用鄰居的歷史行為數據為目標用戶進行推薦,導致冷啟動問題。由于當前推薦系統的應用場景大多為在線環境,需要高質量的推薦精度以及在線計算能力。因此,解決數據稀疏性問題和冷啟動問題對提升推薦系統效率尤為重要。

針對數據稀疏性問題和冷啟動問題,通常學者們采用基于模型的協同過濾方法對快速增量的數據進行處理,主要包括矩陣分解法[2,21-22]、神經網絡[12]、關聯分析和聚類分析等算法。其中,矩陣分解法由于其運算速度快等優點,被廣泛應用于各種推薦系統。如Ma[2]通過矩陣分解法來評估顯式和隱式信息對推薦系統的影響。由于數據改變時矩陣分解法需要對數據進行重新計算,因此不適用于數據快速增長的在線推薦系統。隨著機器學習方法的廣泛應用,在推薦系統中使用深度學習等算法成為新的趨勢。Yang等[23]在2013年提出了一種基于貝葉斯概率模型的推薦方法。Zhou等[10]在2016年基于LDA算法和貝葉斯概率模型進行電影推薦。Fu等[12]在2018年使用深度學習方法對電影推薦系統中協同過濾方法進行了改進,通過前饋型神經網絡模型挖掘用戶與項目之間的關系,預測目標用戶對項目的評分。以上機器學習模型能夠在數據不斷增長的情況下進行增量訓練,且具有較高的推薦準確率。但由于模型結構復雜,參數量大,訓練時間長,導致推薦系統效率降低。

因此,為了克服現有機器學習模型訓練過程復雜,訓練耗時的缺點,本文將寬度學習和協同過濾相結合,構建在線信息推薦系統,在保持較高推薦準確率的同時,提高推薦系統的訓練效率。

1.2 寬度學習

寬度學習是一種基于隨機向量功能鏈接神經網絡(Random Vector Functional-link Neural Network, RVFLNN)[24]和增量學習算法的機器學習模型。2018年Chen等[13]提出的寬度學習是一種不需要隱含層結構的新興機器學習模型。實驗結果表明,該方法無需長時間的訓練,就能達到較高的預測準確率[13,24]。如圖1所示,為了保證較高的準確率,寬度學習不是通過增加神經網絡中隱含層的層數和每層神經元的個數,而是在輸入層中引入增強節點,從而提高模型擬合的效果。2018年Jin等[25]進一步建立了正則化的寬度學習模型以處理不確定數據。目前,寬度學習已經在分類問題[26-28]、特征提取[29]、時間序列預測[30-31]、函數逼近[32]、圖像識別[33-35]和故障診斷[11]等領域得到了廣泛的應用。近期研究中,Liu等[26]基于寬度學習對MINIST數據集進行分類模型的構建,取得良好的實驗效果。Zou等[27]采用了寬度學習來構建圖像分類模型。Liu等[29]將寬度學習應用于圖像識別領域中的特征提取問題,并與K-means聚類算法相結合,提高了圖像特征提取的效果。Xu等[30]改進了寬度學習系統,基于遞歸寬度學習系統進行空氣質量的時序預測,實驗結果驗證了該模型的有效性。Chen等[32]將寬度學習應用于函數逼近、時序預測和人臉識別方面等領域,并將其在不同領域的性能進行比較。Shi等[35]使用寬度學習識別學生的肢體動作。Jin等[33]提出了一種基于正則化的寬度學習系統用于圖像識別領域。Jiang等[11]學者基于寬度學習和矩陣分解方法對感應電機的故障診斷進行分析。

圖1 寬度學習模型結構[24]

此外,一些學者還通過優化算法來提高寬度學習的準確率。2018年,Li等[34]基于BP反向傳播算法對寬度學習進行改進,對特征節點和增強節點的權重和閾值進行反向傳播調整。與最初的寬度學習系統相比,基于BP反向傳播算法的寬度學習系統能夠實現更高的預測準確率。從上述研究中可以看出,寬度學習可與聚類、關聯等方法相互融合來提升模型的性能,其可擴展性和魯棒性較高。

2 信息推薦系統

本文首先基于協同過濾和統計分析構建推薦系統的輸入特征,進一步基于寬度學習系統預測用戶偏好,得到用戶對項目的預期評價,并將預期評價與用戶歷史真實評價進行比較,得到最終的推薦結果。

如圖2所示,本文提出的信息推薦系統中包含用戶和項目兩類對象。用戶是推薦系統的目標客戶,項目是要推薦給用戶的產品。為了對推薦結果進行評價,用戶是只包含少量歷史記錄的冷啟動用戶,原始數據包括用戶屬性、項目屬性和用戶行為三類。其中,用戶屬性和項目屬性是用戶和項目的固有屬性,用戶行為數據是用戶對項目的評分,此外也可基于用戶的評論或購買記錄數據進行分析。基于項目屬性和用戶屬性,通過特征提取和相似度計算得到用戶的鄰居信息和項目的鄰居信息,并結合用戶自身行為信息的統計特征和用戶內在的屬性特征,構造推薦輸入特征。然后,將推薦輸入特征輸入到基于寬度學習系統的用戶偏好預測模型中,對用戶的評分進行預測,完成項目的推薦。完成評分預測后,將最終的推薦結果返回給目標用戶,并根據用戶的真實行為數據來評價推薦結果的質量。推薦結果將作為用戶偏好信息存儲在數據庫中,作為推薦的基礎。

圖2 信息推薦系統框架

2.1 特征工程

(1) 特征提取。由于特征提取的質量會很大程度上影響用戶和項目的相似度計算的有效性,而相似度計算的優劣又決定了最終找到的鄰居質量,進而影響推薦輸入特征對用戶偏好的預測效果。基于用戶和項目信息提取推薦輸入特征,包括類別變量和數值變量兩種。對于目標用戶,本文根據其內在屬性和行為數據生成用戶特征,如年齡、性別、職業和評分等。對于目標項目,根據其內在屬性和行為數據生成特征,如發行時間、流派、評分和評論等。當項目和用戶存在內在屬性數據時,通過其內在屬性數據來計算相似度,避免提前使用與推薦結果相關的行為數據。無法獲取內在屬性數據時,引入評分記錄等用戶行為數據來尋找鄰居。用戶對項目的評分記錄等行為數據能夠表示用戶對項目的偏好,且很容易從在線評論網站的數據庫中生成。但也存在一些不足,即提前使用用戶行為數據會影響推薦結果,不能客觀地評價信息推薦系統的效果。

(2) 相似度計算。相似度計算是協同過濾方法的基礎。為了對目標用戶進行推薦,計算目標用戶與其他用戶之間的相似度,并根據設定鄰居用戶的數量對用戶進行篩選和匹配。本文選用余弦相似算法、Pearson相關系數算法和Jaccard算法根據不同的數據類型來計算相似度。

對于數值型的非用戶行為特征(年齡等),由于不需要考慮用戶偏好的影響,通過Pearson相關系數算法計算用戶相似度,描述用戶存在均值差異的特征屬性。

(1)

對于數值型的用戶行為特征(評分等),由于用戶行為偏好不同(如打分的高低),為了減少其對相似度計算的影響,本文采用調整的余弦相似算法來計算其相似度,其計算方法如式(2)所示,這也是文本相似度計算的主流方法。

(2)

對于類別型的屬性特征(如項目的流派),本文采用Jaccard系數來計算相似度,其計算方法如式(3)所示。

(3)

式中:以項目i和j的內在屬性相似度計算為例,Jaccard_simij表示其相似度,其大小在0到1之間;Gik和Gjk為項目i和j的第k個內在屬性特征值,共n個內在屬性特征。

完成對用戶和項目的相似度計算后,基于相似度計算結果找到每個目標用戶和項目的相似度前1%數目(按相似性大小排序)的鄰居用戶和鄰居項目。在進行推薦時,本文根據鄰居用戶和鄰居項目的歷史行為數據來為目標用戶構建推薦輸入特征,并基于協同過濾獲得質量較高的推薦輸入特征。

(3) 特征構建。完成對相似度和鄰居信息的提取后,基于協同過濾的推薦來構造推薦輸入特征。如表1所示,本文通過協同過濾和特征提取方法得到六類推薦輸入特征。推薦輸入特征可根據對象分為用戶推薦特征和項目推薦特征。本文在其基礎上進一步再細分為屬性特征、行為特征和鄰居特征。

表1 推薦輸入特征

用戶推薦特征中,user_features是用戶的屬性特征(年齡、性別、職業等),user_behavior是用戶行為特征(評分、標簽、評論量和購買量等數值統計結果)。user_CF是用戶的相似鄰居行為特征,與用戶的行為特征相似,通過基于用戶的協同過濾算法進行構建。

項目推薦特征中,item_features是項目的屬性特征(上市年份、價格、類別等),item_behavior是項目的用戶行為特征(購買量、評分數、評論數等數值統計結果)。item_CF是項目的相似鄰居的用戶行為特征,通過基于項目的協同過濾方法來構建。

2.2 用戶偏好預測模型

基于2.1節中生成的推薦輸入特征,采用寬度學習系統(Broad Learning System, BLS)對用戶的偏好進行預測。為了比較寬度學習模型與其他機器學習模型,還使用深度學習中的深度神經網絡模型(Deep Neural Networks, DNN)[38]、集成學習中的輕量化梯度促進機(Light Gradient Boosting Machine, LGBM)[39-40]進行模型的訓練和測試。本文通過對比實驗寬度學習模型、深度神經網絡模型和輕量化梯度提升模型,對基于寬度學習的信息推薦系統進行有效性驗證。

本文將通過協同過濾得到的推薦輸入特征作為用戶偏好預測模型的輸入。分別基于以上三種模型進行用戶偏好預測,以對比分析寬度學習模型的準確性和效率。輸出預測分數后,將預測評分與用戶真實平均評分進行對比,以確定是否進行推薦,并將推薦結果存儲到系統中。最終,提出的信息推薦系統將推薦的項目返回給目標用戶。本文主要將深度學習、集成學習和寬度學習在準確率和效率兩個方面進行比較。

(1) 基于深度學習的預測模型。本文使用深度神經網絡模型作為寬度學習模型的對比模型。如圖3所示,深度神經網絡模型中包括輸入層、隱含層和輸出層三個部分。用戶偏好預測模型基于2.1節中生成的推薦輸入特征Xa,通過激活函數得到激活后的輸入特征Φ(XWei+βei)。預測模型將計算輸入層節點和隱藏層節點的權值和閾值,并通過正向學習算法得到預測結果Ya。當預測精度要求較高時,深度神經網絡模型將增加隱含層的層數和各隱含層神經元的節點數來提高模型的擬合能力。但模型訓練的復雜度和訓練時間將大幅度上升,模型的泛化性能也受到一定的影響。以上問題將導致在線信息推薦系統中推薦響應速率大幅度降低。因此,本研究引入基于寬度學習結構的預測模型,在保障模型準確率的基礎上提高模型訓練的效率。

圖3 基于深度學習結構的預測模型

(2) 基于寬度學習的預測模型。基于寬度學習結構的預測模型同樣使用推薦輸入特征來對用戶偏好進行預測。如圖4所示,基于寬度學習的預測模型包括輸入層和輸出層兩層結構。相比于深度學習模型,寬度學習模型將隱含層結構轉變為輸入層中的增強節點。寬度學習模型中的輸入數據為2.1節生成的推薦輸入特征Xa,其輸出結果為Ya。在模型構建過程中,首先對推薦輸入特征Xa進行特征映射,得到輸入層的特征節點Z=Φ(XWei+βei),并進一步對特征節點進行激活,得到輸入層中的增強節點H=ξ([Z1Z2…Zm]Whj+Bhj)。由于模型訓練時已知輸入特征Xa和輸出結果Ya,本文可直接通過對公式Y=A×W求矩陣偽逆的方式得到特征節點Z和增強節點H的權重集合W,降低了模型訓練過程中參數計算的時間和模型的復雜度。在進行模型測試時,由于預測輸出可直接通過輸入層節點與權重集合W相乘來得到,模型的測試效率大幅度提升。此外,當輸入特征數據增加時,由于不需要對模型進行重復運算,可直接通過矩陣運算得到輸出結果。

圖4 基于寬度學習結構的預測模型

(3) 推薦結果評價。本文采用均方根誤差(Root Mean Square Error,RMSE)評價預測結果的準確性。如式(4)所示,RMSE用于評價預測輸出與真實輸出之間的誤差大小。

(4)

(5)

(6)

3 實驗與分析

本文使用公共電影數據集MovieLens進行實驗,構建基于寬度學習和協同過濾的信息推薦系統。實驗的第一階段,本文通過協同過濾方法構建推薦輸入特征,用于預測用戶的偏好。實驗的第二階段,本文基于寬度學習模型和其他對比模型對用戶偏好進行預測,完成對目標用戶的推薦。實驗的第三階段,本文對得到的推薦結果進行分析,并對各個模型的準確率和效率進行總結和評價。

3.1 實驗環境

本文實驗環境基于個人筆記本電腦,中央處理器為Intel(R) Core(TM) i7-6700HQ CPU @ 2.60 GHz (8 CPUs)～2.6 GHz,內存為8.00 GB,硬盤為500 GB。本文使用Windows 10的64位操作系統,開發語言為Python 3.6.5,集成開發環境(Integrated Development Environment, IDE)為Jupyter notebook。

3.2 實驗過程

如圖5所示,本文的實驗過程包括以下三個步驟:第一步根據用戶和項目信息構建協同過濾模型,首先對項目和用戶特征進行提取,并通過對相似度的計算,找到相似的項目和用戶來幫助推薦。第二步利用相似用戶和相似項目的信息,建立推薦系統的推薦輸入特征,主要包括六類,在2.1節特征工程的特征構建中已進行闡述。第三步基于多種機器學習方法和交叉驗證法進行對比實驗,包括寬度學習系統(Broad Learning System, BLS)、深度神經網絡模型(DNN)、基準模型協同過濾方法(Collaborative Filtering, CF)和輕量化梯度提升模型(Light Gradient Boosting Machine, LGBM),對用戶偏好進行預測和分析。

圖5 實驗過程

在完成模型的訓練和預測后,本文通過比較各模型的預測評分和用戶平均評分,計算出模型的測試誤差和準確率,從而對各個模型的有效性進行評價。本文將最終的推薦結果存儲在用戶偏好信息中作為未來推薦的基礎,以適應在線推薦系統中快速增量的用戶行為數據。

3.3 數據描述

本文基于廣泛應用于電影推薦系統的公共數據集MovieLens[41]構建用戶信息推薦系統。本文采用的數據集為百萬評分數據集ml-1m,包括電影評分數據、電影屬性數據和用戶屬性數據三個部分。

如表2所示,評分數據中包含來自6 040個用戶對3 706部電影的1 000 209條評分記錄。最早評分記錄的時間為2000/04/26 10:19,最新評分記錄的時間為2003/03/01 01:49。評分記錄的值從1到5不等,表示用戶對某一部電影的喜愛程度。

表2 評分數據集描述

本文根據用戶的評分記錄計算用戶和電影的評分次數,數據中的用戶至少對20部電影進行了評分,最多對2 314電影進行了評分。數據集中電影最少被1個用戶評分,最多被3 428個用戶評分。因此,本文中用戶均存在歷史評分記錄,不存在冷啟動問題,能夠對推薦效果進行評價。

在模型的構建過程中,為了對比寬度學習模型、深度神經網絡模型和輕量化梯度提升模型的表現,本文基于十折交叉驗證法,將數據集隨機分成10個子集,使用其中9份數據對模型進行訓練,并使用剩下的1份數據對模型進行測試,共完成10次訓練和測試。協同過濾方法將作為基準模型使用所有數據集進行測試,以評估其他機器學習模型的有效性。

3.4 實驗結果

本文采用十折交叉驗證法,對預測模型進行訓練和測試。從表3可看出,相比于基準模型基于用戶的協同過濾(User based CF)和基于項目的協同過濾(Item based CF),寬度學習系統(BLS)、深度神經網絡模型(DNN)和輕量化梯度提升模型(LGBM)均實現了較高的推薦準確率和較低的評分預測誤差。

推薦準確率(Accuracy)方面,寬度學習系統在十個交叉驗證測試集上的平均推薦準確率為65.63%,相比于基于用戶的協同過濾51.70%和基于項目的協同過濾50.14%有顯著提升。與此同時,相比于深度神經網絡模型的推薦準確率寬度學習系統有所提高。相比輕量化梯度提升模型67.22%的推薦準確率存在約2%的差距,但仍能保障較高的推薦準確率。

與此同時,如表4所示,在評分預測誤差(RMSE)方面,寬度學習系統的評分預測誤差平均值為0.914 0,相比于基于用戶的協同過濾的2.355 0和基于項目的協同過濾的1.834 9有著明顯的降低。且相比于深度神經網絡模型的誤差均值寬度學習系統的平均誤差有所降低。相比于輕量化梯度提升模型,寬度學習系統的評分預測誤差高出0.035 7。但總的來說,寬度學習系統能夠實現較低的推薦評分預測誤差和較高的推薦準確率,實現較好的推薦效果。

表4 模型測試集預測評分誤差

通過實驗進一步對模型的訓練效率進行評價。由于協同過濾模型無需單獨的測試和訓練,本文忽略其模型訓練的效率問題。如表5所示,深度神經網絡模型(DNN)的平均訓練時間為373.63 s,輕量化梯度提升模型(LGBM)的平均訓練時間為77.19 s,而寬度學習系統(BLS)的訓練時間僅為14.52 s,相比于深度神經網絡模型訓練效率提升近25倍,相比于輕量化梯度提升模型訓練效率提升近5倍。主要原因在于寬度學習系統中的寬度學習結構不需要對參數進行復雜重復的訓練,可直接通過矩陣相乘和偽逆計算完成模型的訓練和測試。總的來說,寬度學習系統能夠在保障準確率的前提下,大幅度提高預測和推薦的效率,實現精準高效的用戶在線信息推薦。

表5 模型訓練時間 單位:s

續表5

4 結 語

本文針對當前推薦系統中由于信息超載導致的響應效率低以及由于缺失大量歷史數據導致冷啟動等問題,對協同過濾方法進行改進,與寬度學習系統相結合,在保障計算準確率的基礎上提高模型訓練的效率。通過在公共數據集MovieLens上的測試效果顯示,該模型在精度上優于協同過濾模型和深度神經網絡模型(DNN),接近輕量化梯度提升模型(LGBM);而實際運算效率分別是上述兩個模型的近25倍和近5倍。因此,本文中的模型非常適用于在線推薦計算,同時對大型推薦系統的集成開發也有一定的借鑒和參考意義。下一步將通過去噪、內插、平滑等數據預處理方式提高信息推薦系統中輸入特征的質量,使用更多的機器學習模型進行算法的集成,提升模型的推薦效果。