考慮多層次潛在特征的個性化推薦模型

申情，郭文賓，樓俊鋼,3，余強國

研究與開發

考慮多層次潛在特征的個性化推薦模型

申情1,2，郭文賓1，樓俊鋼1,3，余強國2

（1. 湖州師范學院信息工程學院，浙江 湖州 313000；2. 湖州學院理工學院，浙江 湖州 313000；3. 浙江省現代農業資源智慧管理與應用研究重點實驗室，浙江 湖州 313000）

個性化推薦已成為解決信息過載的最有效手段之一，也是海量數據挖掘研究領域的熱點技術。然而傳統推薦算法往往只使用用戶對物品的評分信息，而缺少對用戶與物品潛在特征的綜合考慮。基于因子分解機、寬神經網絡、交叉網絡和深度神經網絡的融合，提出一種新的考慮多層次潛在特征的模型，可以提取用戶與物品的淺層潛在特征、低階非線性潛在特征、線性交叉潛在特征以及高階非線性潛在特征。在4個常用的數據集上的實驗結果表明，考慮用戶與物品多層次潛在特征可以有效提高個性化推薦的預測精度。最后，研究了嵌入層維度以及神經元數量等因素對新模型預測性能的影響。

個性化推薦；層次化潛在特征；深度學習

0 引言

互聯網的快速發展，為廣大消費者帶來了海量的信息，消費者難以輕松獲取其需要的信息，由于信息過量而引發的信息過載已成為日常生活中面臨的重要問題。如何讓消費者在海量信息中找到需要的信息已成為重要的課題[1]。推薦系統（recommendation system，RS）作為解決信息過載問題的有效手段之一受到了學術界與產業界的廣泛關注。

傳統的推薦算法主要分為兩種：基于內容的推薦[2]與基于協同過濾（collaborative filtering，CF）的推薦[3]。傳統的推薦算法只采用用戶對物品的評分信息進行推薦，并未采用用戶與物品的基本信息，導致傳統推薦算法數據稀疏性強，推薦精度一般。為解決此問題，有學者提出在推薦模型中融合用戶與物品的潛在信息，并引入深度學習（deep learning，DL）技術，建立考慮潛在信息的深度學習個性化推薦模型[4-9]，但目前大多數研究中，考慮潛在特征的層次較少，不能反映多種層次潛在特征之間的組合性質。為更全面挖掘用戶和物品基本信息的多層次潛在特征，提出一種考慮多層次潛在特征的個性化推薦模型。在該模型中，用戶與物品基本信息作為輸入，采用因子分解機（factor machine，FM）提取低層次潛在特征，寬神經網絡（wide neural network，WNN）提取低階非線性潛在特征，交叉網絡（cross network，CN）提取線性交叉層次潛在特征，深度神經網絡（deep neural network，DNN）提取高階非線性潛在特征。在獲取4種層次的潛在特征基礎上，將4種層次的潛在特征進行融合，獲取層級融合特征，輸入深度神經網絡學習融合特征所攜帶的多層次潛在特征信息進行評分預測。通過4個公開的真實數據進行實驗，實驗結果表明，本文模型相較于其他相關模型，在預測精度上有一定提升。

1 相關工作

迄今為止，CF算法依然是學術界與產業界應用最廣泛的推薦算法。但像CF算法這種傳統的推薦算法中僅考慮用戶與物品評分信息進行推薦，并未考慮用戶與物品基本屬性信息與其潛在特征，致使推薦性能難以進一步提升。為此，有學者將深度學習應用在推薦領域來提升推薦系統性能。例如，Guilherme等[10]將深度學習技術引入傳統協同過濾推薦算法中，對傳統算法存在的缺陷進行改進。Mylavarapu等[11]提出一種用于高級應用的協同過濾和人工神經網絡的推薦系統，采用人工神經網絡從項目中提取內容特征，支持向量機（support vector machine，SVM）專注于計算時間動態和項目特征，負責未知數據預測的過程，以緩解推薦系統中完全冷啟動問題。Tang等[12]提出了基于云模型的反向化神經網絡推薦算法。首先，該算法使用云模型定性和定量變換方法處理用戶額定值，為用戶生成多個云預測值，這些值構成云層。然后，云層加入神經網絡，提高評級預測的準確性。薛峰等[13]提出基于深度神經網絡和加權隱反饋的推薦算法（DeepNASVD++），采用深度神經網絡建模用戶與物品之間的關系，使用注意力機制計算歷史交互物品在建模用戶隱式反饋時的權重。楊潔等[14]提出了基于混雜社會網絡的Web服務推薦框架及算法。該網絡加入了服務提供者這一元素，可提供更多的真實信息。根據提出的服務推薦框架設計了用戶候選服務信任值預測算法和服務推薦算法，提升個性化推薦性能。Hui[15]等將知識圖譜視為異構網絡添加輔助信息，提出了行為和知識特征統一嵌入的推薦模型，從用戶歷史行為和知識圖譜中挖掘用戶潛在偏好，為用戶提供更準確和多樣化的推薦。Zhen[16]等提出了一種基于離線挖掘、實時挖掘和深度學習技術相結合的個性化推薦系統架構，其核心思想是從多個電子商務平臺實時收集和預處理數據，收集用戶的個性化數據，為后續數據挖掘做準備，利用數據挖掘技術，滿足用戶的個性化需求。邵英瑋等[17]通過經濟學的相關研究，提出了商品潛在互補性發現推薦模型，從經濟學角度刻畫商品間關系。基于經濟學理論中的需求交叉彈性，提出互補性發現模型，聯合商品價格與購買歷史挖掘商品間的互補關系，并基于此提出了融合商品互補關系的雙重注意力機制推薦模型。Fu等[18]提出了一種新穎的深度學習方法，該方法通過事先了解用戶和項目模仿有效的智能推薦。在初始階段，分別學習用戶和項目的對應低維向量，從而嵌入反映用戶－用戶和項目－項目相關性的語義信息。在預測階段，采用前饋神經網絡模擬用戶和物品之間的交互，將相應的預訓練代表向量作為神經網絡的輸入。Yan等[19]引入了一種新的基于深度學習的推薦模型解決稀疏性和冷啟動推薦問題，通過數據預處理層、嵌入層、卷積網絡層、共享層和自動編碼器層深入挖掘潛在信息及其對用戶功能和項目特征的相關性。之后，通過結合目標評分數據與處理后的用戶和項目特征數據，在深度神經網絡中進行最終評分預測。Tang等[20]提出了一種卷積序列嵌入推薦模型應用在Top-推薦領域。主要想法是將最近項目的序列嵌入到時間和潛在空間中的“圖像”中，并使用卷積濾波器將順序模式作為圖像的局部特征。這種方法提供了一個統一且靈活的網絡結構，用于捕獲用戶一般偏好和順序模式。鄧路佳等[21]將因子分解機與高斯混合模型進行結合，在高斯聚類之后應用因子分解機對聚類結果進行學習，構建廣告點擊率預測模型，獲得了較好的實驗結果。Yang等[22]提出一個基于神經網絡的推薦構架，通過嵌入標簽的分布式特點表征特征之間的相關性，充分揭示用戶與物品之間的隱含交互關系，利用該隱含交互關系對用戶進行推薦。Yu等[23]將深度因子分解機模型應用到社交廣告的個性化推薦中，其中，因子分解機部分負責提取低階特征，深度神經網絡部分負責提取高階特征，通過兩個層次的特征結合提升廣告推薦效果。Lian等[24]提出了一種新穎的壓縮交互網絡，其目的是以顯式方式在矢量方式上生成特征交互。將壓縮交互網絡和經典深度神經網絡組合到一個統一的模型中，并將該新模型命名為深度因子分解機（eXtreme deep factorization machine，xDeepFM）。一方面，xDeepFM能夠顯式學習某些邊界度特征交互；另一方面，它可以隱式學習任意的低階和高階特征交互。Maxim等[25]提出一種將矩陣分解、因子分解機等與深度學習進行結合提升推薦效果的個性化推薦模型。該模型設計了一種特殊的并行化方案，該方案利用嵌入表上模型的并行性減輕內存限制，同時利用數據并行性從全連接層進行橫向擴展計算。Song等[26]提出了一種有效且高效的方法，稱為AutoInt，可以自動學習輸入特征之間的高階特征交互，將數值和分類特征映射到相同的低維空間中。然后，提出了帶有殘差連接的多頭自注意神經網絡，以對低維空間中的特征相互作用進行顯式建模。利用多頭自注意神經網絡的不同層，可以對輸入特征的特征組合的不同順序進行建模。

從現有的研究可以看出，已經出現了一些考慮多層次潛在特征的混合推薦模型，但考慮潛在特征層次較少。為了更全面地挖掘用戶與物品的潛在特征組合，提升推薦模型性能，需要將多種層次潛在特征考慮在內。

2 考慮多層次潛在特征的個性化推薦模型

考慮多層次潛在特征的個性化推薦模型框架如圖1所示。以用戶與物品的基本屬性信息構建用戶-物品特征作為模型輸入，通過FM、WNN、CN、DNN分別提取用戶與物品不同層次的潛在特征，將各層次潛在特征進行融合以作為層級融合特征，將層級融合特征輸入一個全連接層中進行評分預測。具體來說，所提出的推薦模型主要由4部分構成。

在第1部分中，將用戶與物品的基本屬性信息向量化表示為用戶－物品聯立特征向量。算法超體框架如圖1所示，利用獨熱（one-hot）編碼與多熱（multi-hot）編碼對用戶與物品的基本信息編碼，編碼后得到高維稀疏向量。獨熱編碼操作如圖1（a）所示，物品ID經編碼后得到代表每個ID的高維稀疏向量，每個向量內僅有一維包含信息，而多熱編碼與獨熱編碼主要區別在于其每個向量內可能有二維或二維以上包含信息。之后使用嵌入層（embedding layer，EL）網絡將高維稀疏向量映射為低維稠密向量。嵌入層網絡進行降維的過程示意圖如圖1（b）所示，將高維稀疏向量輸入低維神經網絡中所得即降維后的低維稠密向量。再對低維稠密向量進行拼接操作，組合成為用戶－物品聯立特征向量。

在第2部分中，提取用戶－物品多層次的潛在特征。利用多種特征提取算法充分挖掘用戶－物品多種層次潛在特征。FM提取用戶－物品低層次潛在特征，WNN提取用戶－物品低階非線性潛在特征，CN提取用戶－物品線性交叉層次潛在特征，DNN提取用戶－物品高階非線性層次潛在特征。

其中，FM通過特征間的線性結合與兩兩交互提取用戶－物品低層次潛在特征。如式（1），普通的線性模型僅對各個特征進行加權求和，忽略了特征和特征之間的潛在交互關系。FM在線性結合的基礎上考慮特征之間的關聯計算，FM算法的表達式如式（2）所示。

圖1 個性化推薦模型框架

故FM算法二次項求解過程如式（5）所示。

DNN由若干層全連接神經網絡構成，每層神經網絡都經過非線性激活函數的作用，多層全連接神經網絡疊加，以提取用戶－物品高階非線性層次潛在特征。每一層全連接神經網絡的計算規則如式（7）所示。但DNN中每層全連接神經網絡都具有多個神經元，并非如WNN僅有單個神經元。

在第3部分中，將用戶－物品多種層次潛在特征進行融合，并提取用戶－物品層級融合潛在特征。在獲取到用戶－物品4種層次的潛在特征基礎上，將4種層次潛在特征進行拼接，并送入一個全連接神經網絡內，以學習拼接向量中攜帶的用戶－物品層級融合潛在特征。所應用全連接神經網絡的計算規則同DNN內全連接神經網絡計算規則。

在第4部分中，進行模型訓練與性能評估。將數據集劃分為訓練集與測試集，利用訓練集上用戶對物品的評分作為標簽，以預測評分與實際評分之間的均方根誤差作為損失函數，采用隨機梯度下降的方法進行模型訓練。在訓練完成后使用測試集以預測評分與實際評分之間的標準差與均方根誤差對模型性能進行評估。

3 實驗分析與討論

3.1 數據集和評價指標

為驗證本文方法的有效性，采用MovieLens -100k、MovieLens-1m、MovieLens- latest-small和FilmTrust 4個常用的電影推薦數據集進行實驗研究，實驗數據集詳情見表1。這些數據集除包含評分信息，還包含用戶與電影的基本屬性信息，如用戶ID、用戶年齡、用戶性別、用戶職業、電影ID、電影類別等。

表1 實驗數據集詳情

另外采用數據稀疏度（sparsity rate, SR）指標表示訓練集稀疏性，訓練集占比越小，SR就越大，表明訓練集數據就越稀疏，代表用戶－物品評分矩陣中所含評分數據就越少，可用于訓練的評分數據就越少， SR計算式如式（11）所示。

3.2 對比模型

本文選取對比模型包括：UBCF（user based collaborative filtering，基于用戶的協同過濾）算法[27]、DNN[5]、FM（factorization machine，因子分解機）[4]、WD（wide&deep，寬度&深度）[7]、DeepFM[8]和DCN（deep & cross network，深度交叉網絡）[9]。具體介紹如下。

●UBCF：該算法屬于傳統推薦算法，僅采用用戶對物品的評分信息對用戶做出推薦，缺失對用戶與物品基本信息的考慮。算法基本思想為根據用戶對物品的歷史評分構建用戶畫像，之后計算用戶間相似度，發現與當前用戶相似度較高的個用戶，并推薦這個用戶所偏好的物品。

●DNN：由若干層全連接神經網絡構成，每層全連接神經網絡都應用了非線性激活函數。

●FM：由Rendle[4]提出一種稱為FM的特征交互提取模型。該模型結合了支持向量機的優勢，與SVM相比，FM使用分解參數對變量之間的兩兩交互進行建模，這樣在數據稀疏的情況下仍然可以對特征之間的交互關系進行有效建模。

●WD：由Cheng等[7]提出的一種名為Wide & Deep的推薦模型。在數據稀疏的情況，深度神經網絡往往會忽略用戶項目互動稀疏但相關性較高的情況。故該模型結合了寬度神經網絡與深度神經網絡的特點，對兩種網絡模型共享輸入層進行聯合訓練，以同時應用寬神經網絡的強泛化性能與深度神經網絡的強學習性能。

●DeepFM：由Guo等[8]提出的一種名為Deep FM的模型，該模型主要強調低階特征和高階特征交互的端到端學習。模型基本思路為，在新的神經網絡體系結構中結合用于推薦的因子分解機和用于特征學習的深度神經網絡，實現了低階特征與高階特征的交互。與WD模型相比，該模型將wide部分替換為FM。

●DCN：由Wang等[9]提出的一種名為DCN的點擊率預測模型。該模型提出了一種新穎的交叉網絡結構，這種網絡結構每一層的輸出都由上一層網絡與網絡輸入進行交叉得到，隨著其層數的增加，特征之間的交叉越來越深。相對于WD與Deep FM，該模型是深度神經網絡與交叉網絡的并行組合。

3.3 實驗結果分析

為確定SR對模型性能的影響，首先將每個數據集都按不同比例進行訓練集與測試集劃分，在訓練集占比不同的情況下對訓練集的SR進行計算（見表2），接著在不同數據集、不同的SR上分別計算對比模型與本文模型的預測性能。

表2 不同數據集按比例劃分訓練集與測試集的SR

表3～表10分別給出了本文模型與所選對比模型在數據集MovieLens-100k、MovieLens-1m、MovieLens-latest-small和FilmTrust訓練集占比不同（即不同數據稀疏度）情況的MAE與RMSE的實驗結果（表中數據均為20次實驗結果取平均值所得）。

表3 數據集MovieLens-100k訓練集占比不同（不同數據稀疏度）情況的MAE

表4 數據集MovieLens-100k訓練集占比不同（不同數據稀疏度）情況的RMSE

表5 數據集MovieLens-1m訓練集占比不同（不同數據稀疏度）情況的MAE

表6 數據集MovieLens-1m訓練集占比不同（不同數據稀疏度）情況的RMSE

表7 數據集MovieLens-latest-small訓練集占比不同（不同數據稀疏度）情況的MAE

表8 數據集MovieLens-latest-small訓練集占比不同（不同數據稀疏度）情況的RMSE

表9 數據集FilmTrust訓練集占比不同（不同數據稀疏度）情況的MAE

表10 數據集FilmTrust訓練集占比不同（不同數據稀疏度）情況的RMSE

由表3～表10實驗結果可知，本文模型在預測評分與實際評分之間的MAE與RMSE上均有所提高。在訓練集占比80%時，模型在各個數據集上表現效果最佳。在數據集MovieLens-100k上，相對于屬于傳統推薦算法的UB，在MAE上提升11.52%，在RMSE上提升11.85%。相對于考慮單層次潛在特征的FM與DNN，在MAE上分別提升3.58%與2.08%，在RMSE上分別提升3.45%與2.54%。相對于考慮兩種層次潛在特征的DeepFM、DCN與WD，在MAE上分別提升0.97%、1.3%與0.92%，在RMSE上分別提升1.03%、1.31%與0.96%。

在數據集MovieLens-1m上，本文模型相對于屬于傳統推薦算法的UB，在MAE上提升15.78%，在RMSE上提升17.05%。相對于考慮單層次潛在特征的FM與DNN，在MAE上分別提升1.1%與2.91%，在RMSE上分別提升1.3%與2.81%。相對于考慮兩種層次潛在特征的DeepFM、DCN與WD，在MAE上分別提升0.93%、1.01%與1.12%，在RMSE上分別提升0.72%、0.79%與0.93%。

在數據集MovieLens-latest-small上，本文模型相對于屬于傳統推薦算法的UB，在MAE上提升25.33%，在RMSE上提升14.88%。相對于考慮單層次潛在特征的FM與DNN，在MAE上分別提升2.12%與4.03%，在RMSE上分別提升2.62%與3.41%。相對于考慮兩種層次潛在特征的DeepFM、DCN與WD，在MAE上分別提升1.29%、0.88%與1.08%，在RMSE上分別提升1.17%、1.06%與0.87%。

在數據集FilmTrust上，本文模型相對于屬于傳統推薦算法的UB，在MAE上提升6.45%，在RMSE上提升15.37%。相對于考慮單層次潛在特征的FM與DNN，在MAE上分別提升1.05%與2.98%，在RMSE上分別提升3.14%與3.91%。相對于考慮兩種層次潛在特征的DeepFM、DCN與WD，在MAE上分別提升0.95%、1.24%與1.03%，在RMSE上分別提升1.01%、1.15%與0.96%。

由表3～表10實驗結果可以看出，WD模型的低階非線性特征與高階非線性特征的特征組合可以有效提升個性化推薦性能，本文模型在此基礎上加入FM與交叉神經網絡，進一步提取用戶－物品之間低層次特征與線性交叉層次特征，將多種層次潛在特征進行拼接之后作為一個單層全連接神經網絡的輸入，使得個性化推薦性能在MAE與RMSE上均獲得一定提升。在模型訓練階段，全連接神經網絡中的權重會根據特征進行分配，重要特征的權重相對較高，因此不會造成重要特征被掩蓋。

3.4 嵌入層維度與神經元數量對模型性能影響分析

此外，本文還分析了嵌入層維度與全連接層網絡神經元數量對模型性能的影響。所提模型在不同數據集上選取不同嵌入層維度與不同神經元數量情況下MAE與RMSE的實驗結果如圖2、圖3、圖4、圖5所示。由圖中可以看出，隨著嵌入層維度與圖1第3部分中全連接層神經元數量的增加，模型效果有所改善，在嵌入層維度為32、神經元數量為1 024時，模型效果最佳。但當二者過大時，模型效果變得較差。這表明在適當增大嵌入層維度與第3部分全連接層神經元的數量會使得模型更好地學習用戶與物品原始編碼中攜帶的信息與拼接向量中攜帶的用戶－物品層級融合潛在特征，但是當二者過大時會導致模型訓練效率低下并且訓練結果較差。

圖2 MovieLens-100k不同嵌入層維度與不同神經

圖3 MovieLens-1m不同嵌入層維度與不同神經元數量下MAE與RMSE實驗結果

圖4 MovieLens-latest-small不同嵌入層維度與不同神經元數量下MAE與RMSE實驗結果

圖5 FilmTrust不同嵌入層維度與不同神經元數量下MAE與RMSE實驗結果

本文模型與幾種對比模型在不同數據集上單次實驗所需時間的對比見表11。從表11中可以看出，本文模型所需時間略有提高，其主要原因是本文模型考慮潛在特征的層次較多，模型中特征提取算法數量較多，但所需時間與其他模型差別不大，基本上屬于同一時間等級，在模型性能提升較大的情況下，時間消耗的增長在可接受范圍內。

4 結束語

本文提出了一種考慮多層次潛在特征的個性化推薦模型。該模型結合DeepFM、DCN、DM三者提取不同層次的潛在特征的優點，將多種層次的潛在特征考慮在內，構建評分預測模型。為驗證該模型的有效性，將其與傳統的推薦算法和考慮潛在特征的混合推薦模型進行對比，在4個公開數據集上對模型性能進行評估，實驗結果證明該模型可以有效提升推薦性能。同時實驗還評估了對本文模型性能有所影響的兩個參數，不同的嵌入層維度與模型第三部分全連接層神經元數量。本文對模型的時間復雜度以模型單次迭代時間方式進行了評估，考慮了較多的潛在層次，導致模型時間復雜度較高。后續研究將對不同層次潛在特征的組合方式進行研究，使得層級融合特征向量內可以更好地包含多種層次潛在特征，且考慮更多層次的潛在特征提取，并嘗試模型不同部分之間的參數共享，以降低模型復雜度。

表11 模型與部分對比模型單次迭代所需時間對比（單位：s）

[1] 項亮. 推薦系統實踐[M]. 北京: 人民郵電出版社, 2012 .

XIANG L. The Development of recommendation system[M]. Beijing: Posts & Telecom Press, 2012

[2] BPRATTOL, CARTAS, FENUG, et al. Semantics-aware content-based recommender systems: Design and architecture guidelines[J]. Neurocomputing, 2017(254): 79-85 .

[3] YANG S, KORAYEM M, ALJADDA K, et al. Combining content-based and collaborative filtering for job recommendation system: a cost-sensitive statistical relational learning approach[J]. Knowledge-Based Systems, 2017(136): 37-45.

[4] RENDLE S. Factorization machines[C]//Proceedings of 2010 IEEE International Conference on Data Mining. Piscataway: IEEE Press, 2010: 995-1000.

[5] ZHANG L B, LUO T J, ZHANG F, et al. A recommendation model based on deep neural network[J]. IEEE Access, 2018, 6: 9454-9463.

[6] BI J W, LIU Y, FAN Z P. A deep neural networks based recommendation algorithm using user and item basic data[J]. International Journal of Machine Learning and Cybernetics, 2020, 11(4): 763-777.

[7] CHENG H T, KOC L, HARMSEN J, et al. Wide & deep learning for recommender systems[C]//DLRS 2016: Proceedings of the 1st Workshop on Deep Learning for Recommender Systems. [S.l.:s.n.], 2016: 7-10.

[8] GUO H F, TANG R M, YE Y M, et al. DeepFM: a factorization-machine based neural network for CTR prediction[C]//Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence. California: International Joint Conferences on Artificial Intelligence Organization, 2017.

[9] WANG R X, FU B, FU G, et al. Deep & cross network for ad click predictions[C]//ADKDD'17: Proceedings of the ADKDD'17. [S.l.:s.n.], 2017: 1-7.

[10] GUILHERME BRANDAO MARTINS, JOAO PAULO PAPA, HOJJAT ADELI. Deep learning techniques for recommender systems based on collaborative filtering[J]. Expert Systems, 2020, 37(6): 1-21.

[11] MYLAVARAPU B K. Collaborative filtering and artificial neural network based recommendation system for advanced applications[J]. Journal of Computer and Communications, 2018, 06(12): 1-14.

[12] TANG H, LEI M, GONG Q, et al. A BP neural network recommendation algorithm based on cloud model[J]. IEEE Access, 2019(7): 35898-35907.

[13] 薛峰, 劉凱, 王東, 等. 基于深度神經網絡和加權隱反饋的個性化推薦[J]. 模式識別與人工智能, 2020, 33(4): 295-302.

XUE F, LIU K, WANG D, et al. Personalized recommendation algorithm based on deep neural network and weighted implicit feedback[J]. Pattern Recognition and Artificial Intelligence, 2020, 33(4): 295-302.

[14] 楊潔, 朱咸軍, 周獻中, 等. 基于混雜社會網絡的個性化Web服務推薦方法[J]. 電子學報, 2020, 48(2): 341-349.

YANG J, ZHU X J, ZHOU X Z, et al. Personalized web service recommendation based on heterogeneous social network[J]. Acta Electronica Sinica, 2020, 48(2): 341-349.

[15] HUI B, ZHANG L, ZHOU X, et al. Personalized recommendation system based on knowledge embedding and historical behavior[J]. Applied Intelligence, 2022(52): 954-966.

[16] ZHEN W, ALLAM M, LIANG M B, Research on e-commerce personalized recommendation system based on big data technology[C]//Proceedings of 2021 IEEE 2nd International Conference on Information Technology, Big Data and Artificial Intelligence (ICIBA). Piscataway: IEEE Press 2021, 909-913.

[17] 邵英瑋, 張敏, 馬為之, 等. 融合商品潛在互補性發現的個性化推薦方法[J]. 軟件學報, 2020, 31(4): 1090-1100.

SHAO Y W, ZHANG M, MA W Z, et al. Integrating latent item-item complementarity with personalized recommendation systems[J]. Journal of Software, 2020, 31(4): 1090-1100.

[18] FU M S, QU H, YI Z, et al. A novel deep learning-based collaborative filtering model for recommendation system[J]. IEEE Transactions on Cybernetics, 2019, 49(3): 1084-1096.

[19] YAN W J, WANG D, CAO M J, et al. Deep auto encoder model with convolutional text networks for video recommendation[J]. IEEE Access, 2019(7): 40333-40346.

[20] TANG J X, WANG K. Personalized top-N sequential recommendation via convolutional sequence embedding[C]// Proceedings of WSDM '18: Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining. [S.l.:s.n.], 2018: 565-573.

[21] 鄧路佳, 劉平山. 基于GMM-FMs的廣告點擊率預測研究[J]. 計算機工程, 2019, 45(5): 122-126.

DENG L J, LIU P S. Research on click-through rate prediction of advertisement based on GMM-FMs[J]. Computer Engineering, 2019, 45(5): 122-126.

[22] YANG D Q, CHEN L H, LIANG J Q, et al. Social tag embedding for the recommendation with sparse user-item interactions[C]//Proceedings of 2018 IEEE/ACM International Conference on Advances in Social Networks Analysis and Mining (ASONAM). Piscataway: IEEE Press, 2018: 127-134.

[23] 郁豹, 李振華, 張凱, 等. 基于DeepFM模型的廣告推薦系統研究[J]. 計算機應用與軟件, 2019, 36(7): 307-310, 316.

YU B, LI Z H, ZHANG K, et al. Advertisement recommendation system based on deepfm model[J]. Computer Applications and Software, 2019, 36(7): 307-310, 316.

[24] LIAN J X, ZHOU X H, ZHANG F Z, et al. xDeepFM: combining explicit and implicit feature interactions for recommender systems[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York: ACM Press, 2018.

[25] NAUMOV M, MUDIGERE D, SHI H J M, et al. Deep learning recommendation model for personalization and recommendation systems[EB]. 2019.

[26] SONG W P, SHI C C, XIAO Z P, et al. AutoInt: automatic feature interaction learning via self-attentive neural networks[C]// Proceedings of CIKM '19: Proceedings of the 28th ACM International Conference on Information and Knowledge Management. [S.l.:s.n.], 2019: 1161-1170.

[27] HONGTAO X, QINGSHENG Z, HONGCHUN Q, et al. User-based collaborative recommendation filtering algorithm using extremely valued ratings[J]. International Journal of Digital Content Technology and Its Applications, 2011, 5(9): 47-54.

Personalized recommendation model with multi-level latent features

SHEN Qing1,2, GUO Wenbin1, LOU Jungang1,3, YU Qiangguo2

1. School of Information Engineering, Huzhou University, Huzhou 313000, China 2. School of Science and Engineering, Huzhou College, Huzhou 313000, China 3. Zhejiang Province Key Laboratory of Smart Management & Application of Modern Agricultural Resources, Huzhou 313000, China

Personalized recommendation has become one of the most effective means to solve information overload, and it is also a hot technology in the research field of massive data mining. However, traditional recommendation algorithms often only use the user’s rating information on the item, and lack a comprehensive consideration of the potential characteristics of the user and the item. The factorization machine, wide neural network, crossover network and deep neural network were combined to extract the shallow latent features, low-order nonlinear latent features, linear cross latent features, and high-order nonlinear latent features of users and items. Thus, a new deep learning personalized recommendation model with multilevel latent features was established. The experimental results on four commonly used data sets show that considering the multi-level potential features of users and items can effectively improve the prediction accuracy of personalized recommendations. Finally, the influence of factors such as the dimensions of the embedding layer and the number of neurons on the prediction performance of the new model was studied.

personalized recommendation, hierarchical latent feature, deep learning

TP391.3

A

10.11959/j.issn.1000?0801.2022035

2021?08?09；

2021?10?26

浙江省重點研發計劃項目（No.2020C01097）

The Key Research and Development Program of Zhejiang Province (No.2020C01097)

申情（1982? ），女，湖州學院副教授，主要研究方向為個性化推薦、多目標優化、智能決策等。

郭文賓（1996? ），男，湖州師范學院信息工程學院碩士生，主要研究方向為個性化推薦。

樓俊鋼（1982? ），男，博士，湖州師范學院信息工程學院教授，主要研究方向為智能信息處理、個性化推薦。

余強國（1977? ），男，湖州學院理工學院高級工程師，主要從事模式識別和智能控制等。