基于用戶興趣概念格約簡的推薦評分預測算法

趙學健，李豪，唐浩天

基于用戶興趣概念格約簡的推薦評分預測算法

趙學健1*，李豪2，唐浩天2

（1.郵政大數據技術與應用工程中心（南京郵電大學），南京 210003； 2.南京郵電大學 現代郵政學院，南京 210003）（ ? 通信作者電子郵箱zhaoxj@njupt.edu.cn）

數據稀疏性制約了推薦系統的性能，而合理填充評分矩陣中的缺失值可以有效提升預測的準確性。因此，提出一種基于用戶興趣概念格約簡的推薦評分預測（RRP-CLR）算法。該算法包含近鄰選擇和評分預測兩個模塊，分別負責生成精簡最近鄰集合和實現評分預測及推薦。近鄰選擇模塊將用戶評分矩陣轉化為二進制矩陣后作為用戶興趣形式背景，提出了形式背景約簡規則和概念格冗余概念刪除規則，以提高生成精簡最近鄰的效率；在評分預測模塊利用新提出的用戶相似度計算方法，消除用戶主觀因素造成的評分差異對相似度計算的影響，而且當兩個用戶共同評分項目數小于特定閾值時，適當縮放相似度，使用戶間的相似度與真實情況更吻合。實驗結果表明，與使用皮爾遜相關系數的基于用戶的協同過濾推薦算法（PC-UCF）及基于用戶興趣概念格的推薦評分預測方法（RRP-UICL）相比，RRP-CLR算法的平均絕對誤差（MAE）和均方根誤差（RMSE）更小，具有更好的評分預測準確率和穩定性。

推薦系統；評分預測；概念格；稀疏性；精簡最近鄰

0 引言

移動互聯網和物聯網技術的普及引發了數據生成方式的變革，催生了大數據時代的來臨。用戶面臨海量的數據，如何高效進行檢索分析，獲取對自己有價值的信息成為難題，這種現象被稱為信息過載［1］。推薦系統作為解決信息過載問題的主要技術之一，近年來受到了學術界和工業界的廣泛關注［2-3］。目前推薦系統中最常用的方法是協同過濾（Collaborative Filtering， CF）推薦算法。協同過濾推薦算法的主要思想是根據用戶的歷史行為數據，比如用戶對項目的評分數據，分析用戶與項目之間的關系，并依此給出相應的推薦［4-5］。

然而在實際應用中，由于評分數據集維度規模較大，數據的稀疏程度較高，導致傳統的協同過濾推薦算法的推薦準確性較低［6］，數據稀疏性成為制約推薦系統應用的瓶頸。為解決這一問題，研究人員進行了大量研究。研究表明，對評分矩陣中的缺失值進行有效的預測填充，有助于提升推薦算法的準確性［7］。

本文提出一種基于用戶興趣概念格約簡的推薦評分預測（Recommendation Rating Prediction based on Concept Lattice Reduction， RRP-CLR）算法。RRP-CLR算法包含近鄰選擇和評分預測兩個模塊，分別負責生成精簡最近鄰集合和實現評分預測及推薦。本文主要工作包括：

1）基于概念格及其約簡理論，實現對目標用戶的近鄰用戶的有效精簡，生成精簡最近鄰，提高評分預測的準確率。首先，將用戶評分矩陣轉化為二進制矩陣并作為用戶興趣形式背景，提出形式背景約簡規則，提高概念格構建效率；其次，提出概念格冗余概念刪除規則，提高生成目標用戶精簡最近鄰的有效性。

2）提出新的用戶相似度計算方法，消除用戶主觀因素造成的評分差異對相似度計算的影響，在兩個用戶共同評分項目數小于特定閾值時，適當縮放相似度，使用戶間的相似度與真實情況更加吻合。

3）通過實驗驗證了RRP-CLR算法評分預測的準確性。

1 相關工作

為有效填充評分矩陣中的缺失值，研究人員開展了一系列探索性研究。相關研究成果可歸納為以下4類：

1）基于協同過濾思想進行評分預測。文獻［8］中融合了基于用戶和項目的協同過濾思想，利用相似用戶或相似項目的評分信息進行評分預測，有效緩解了數據稀疏性問題。文獻［9］中融合社交網絡信息和用戶評分信息，基于項目協同過濾框架，選擇性地對評分矩陣中的缺失值進行評分預測，解決評分矩陣數據稀疏性問題。

2）基于信任關系及信任傳遞機制進行評分預測。文獻［10］中融合專家信任度和用戶興趣相似度進行評分預測，以降低數據的稀疏性。文獻［11］中指出將社會信任納入矩陣分解方法可以明顯提高評分預測的準確性，首先通過推薦系統中用戶之間的Hellinger距離，從用戶對項目的評分中提取社會關系；然后將預測的信任分數納入社會矩陣分解模型實現評分預測。文獻［12］中提出了一個簡單、可擴展的文本驅動潛在因素模型，通過捕獲評論語義、用戶偏好和產品特征的語義，將文本分解為特定的低維表示，利用普通用戶/產品評級之間的差異作為補充信息校準參數估計，準確進行評分預測，解決冷啟動和數據稀疏問題。文獻［13］中提出了一種新的隱式信任推薦方法，通過挖掘和利用推薦系統中的用戶隱式信息生成項目預測評分。具體來說，首先通過信任網絡中的用戶信任擴散特征獲取用戶信任鄰居集；接著，利用從用戶信任鄰居集中挖掘出的信任等級計算用戶之間的信任相似度；最后，使用過濾的信任等級和用戶信任相似性，通過信任加權方法得到預測結果。文獻［14］中提出了一種改進的協同過濾推薦算法，該算法考慮到傳統評分相似度計算過分依賴常用評分項目，引入了Bhattacharyya相似度計算方法和信任傳遞機制，計算用戶之間的間接信任值，綜合用戶相似度和用戶信任度，采用信任權重法生成評分預測結果。

3）基于深度學習模型進行評分預測。文獻［15］中研究了用戶因素和項目特征的真實性質之間的非線性復雜關系對評分預測的影響，提出了一種新的深度前饋網絡學習相關因素及其復雜關系，在不使用任何人口統計信息的情況下自動構建用戶配置文件和項目特征，然后使用這些構建的特征預測項目對用戶的可接受程度，產生更好的評級預測。文獻［16］中提出了一種基于評論、產品類別和用戶共同購買信息的神經網絡聯合學習模型，用于評級預測推薦。該模型的評論提取模塊從評論中學習用戶和產品信息，異構信息網絡提取模塊則提取給定目標用戶-產品對的關聯特征，連接兩部分數據即可實現評分預測。文獻［17］中指出現有的基于用戶的協同過濾（User-based CF， UCF）推薦算法往往關注如何查找最近的概念鄰居以及如何基于預測生成推薦，忽略了如何聚合鄰居的評分以預測未評分項目的評分，并為此提出了一種基于個人不對稱響應的建議聚合算法。該算法首先使用線性回歸方法了解每個用戶對來自鄰居的負面/正面建議的響應，然后使用梯度下降算法對用戶的模型參數進行優化，從而實現更加準確的評分預測。文獻［18］中提出一個異構融合推薦模型，用于從評論文本中提取細粒度的產品屬性和用戶行為信息，并將用戶學習到的潛在因素和項目連接起來，在圖上執行空間卷積，提升推薦評分的預測精度和推薦準確率。為了深入挖掘用戶行為的潛在規律，文獻［19］中提出了基于空間維度和距離測量的方差模型以及基于空間維度和距離測量的皮爾森相關系數模型，這兩個模型通過計算項目和用戶在每個特征維度中的距離來獲得項目和用戶的交互特征，分別利用方差和皮爾遜相關系數評估用戶對每個特征維度的關注程度，從而進一步獲得交互特征的權重向量，并采用專門設計的多層全連接神經網絡進行評級預測。

2 算法理論基礎

2.1　概念格

概念格來源于形式概念分析（Formal Concept Analysis，FCA）理論，是形式概念分析理論中的核心數據分析工具，它本質上描述了對象（樣本）與屬性（特征）之間的關聯。形式概念分析包括形式背景和形式概念兩部分核心內容。

2.2　概念格約簡理論

3 基于概念格的推薦評分預測算法

本文基于概念格及其約簡理論提出一種用戶評分預測及推薦算法RRP-CLR，包含近鄰選擇和評分預測兩個模塊。近鄰選擇模塊主要負責將評分矩陣轉化為二進制矩陣，并通過用戶興趣概念格構造及約簡實現目標用戶廣義最近鄰的篩選，從而得到精簡最近鄰；評分預測模塊主要負責計算用戶之間的相似度，并完成目標用戶對項目的評分預測，實現Top-推薦。

3.1　近鄰選擇模塊

表1　用戶評分矩陣

表2　二進制矩陣

圖1　概念格

圖2　精簡概念格

3.2　評分預測模塊

綜上所述，用戶相似度計算方法如下所示：

完成用戶之間相似度計算后，可根據式（4）計算目標用戶對項目的預測評分：

評分預測完成后便可從所有項目中為目標用戶選擇評分最高的個項目進行TOP-推薦。

4 實驗與結果分析

本文使用MovieLens數據集（https：//grouplens.org/datasets/movielens/）對RRP-CLR算法的性能進行驗證，該數據集包含了943名不同用戶對1 682部電影的10萬個評分。評分1～5表示用戶對電影的喜愛程度，從1到5表示偏愛程度逐漸增大。原始MovieLens數據集中的可用評分數量過多，密度偏大，而RRP-CLR算法主要用于解決數據稀疏情況下的評分預測問題，因此本文在實驗過程中對MovieLens數據集中現有評分進行隨機清除；將數據集ML-1稀疏度設置為98%，保留可用評分31 726條；數據集ML-2稀疏度設置為99%，保留可用評分15 889條。

4.1　評價指標

本文主要采用平均絕對誤差（Mean Absolute Error， MAE）和均方根誤差（Root Mean Squared Error， RMSE）評價RRP-CLR算法的性能，并與文獻［20］提出的基于用戶興趣概念格的推薦評分預測方法（Recommendation Rating Prediction method based on User Interest Concept Lattice， RRP-UICL）及使用皮爾遜相關系數的UCF推薦算法（UCF recommendation algorithm based on Pearson Coefficient， PC?UCF）［20］進行對比分析。

RMSE也稱之為標準誤差，是均方誤差的算術平方根。引入RMSE與引入標準差的原因是完全一致的，但均方誤差的量綱與數據量綱不同，不能直觀反映離散程度，故在均方誤差上開平方根，得到RMSE。在本方法中，RMSE表示所有預測用戶評分和實際用戶評分偏差平方和的均值的平方根。該指標也可以反映預測的精度，RMSE值越小，預測的精度越高；反之，RMSE值越大，預測的精度越低。與MAE指標不同的是，RMSE先對偏差作了一次平方，因此如果誤差的離散度高，RMSE就會被加倍放大。因此，RMSE指標不僅可以反映預測的精度，同時可以反映預測的離散度。均方根誤差RMSE的計算方法如式（6）所示：

4.2　實驗結果

由圖3可以看出，在數據集稀疏度、推薦項目數相同時，本文RRP-CLR算法的MAE比PC-UCF、RRP-UICL的MAE值更小。在數據集稀疏度為98%時，RRP-CLR、RRP-UICL和PC-UCF算法的MAE平均值分別為0.40、0.46和0.75。RRP-CLR算法的MAE相較于RRP-UICL及PC-UCF分別降低13.04%和46.7%。此外，三種算法在ML-1數據集中的MAE值均小于在ML-2數據集中的MAE值，表明數據集的稀疏度對算法的MAE具有顯著影響，數據集稀疏度變大時，MAE相應增大。數據集稀疏度由98%增大到99%時，RRP-CLR算法對應的MAE平均增加8.07%，小于RRP-UICL的11.97%和PC-UCF的39.36%，表明RRP-CLR算法在數據集稀疏度較高的情況下優勢更大?？傊?，在稀疏場景下，RRP-CLR算法基于概念格及其約簡理論，實現了對目標用戶的近鄰用戶的有效精簡，生成精簡最近鄰，相較于PC-UCF及RRP-UICL具有更高的預測精度。

圖3　MAE對比分析

由圖4可以看出，在數據集稀疏度為98%時，RRP-CLR、RRP-UICL和PC-UCF算法的RMSE值分別為0.61、0.76和0.99。當數據集稀疏度由98%增大到99%時，RRP-CLR算法對應的RMSE平均增加13.89%，小于RRP-UICL的21.05%和PC-UCF的39.93%，表明RRP-CLR算法在數據集稀疏度較高的情況下預測結果穩定性愈發突出。總之，與MAE指標類似，在數據集稀疏度、推薦項目數相同時，RRP-CLR算法的RMSE值比PC-UCF、RRP-UICL的RMSE值也更小，且稀疏度越高，優勢越明顯，表明RRP-CLR算法不僅具有更好的預測精度，而且預測的離散度更小，即預測結果的穩定性更高。

圖4　RMSE對比分析

5 結語

針對數據稀疏性導致的推薦算法準確率下降問題，提出一種基于概念格的評分預測填充算法。該算法將用戶評分矩陣轉化為二進制矩陣，并將該矩陣視為用戶興趣形式背景，提出了形式背景約簡規則及概念格冗余概念刪除規則，提高了概念格構建效率及生成目標用戶精簡最近鄰的有效性。此外，該算法采用了新的用戶相似度計算方法，消除了用戶主觀因素帶來的評分差異對相似度計算的影響，并在兩個用戶共同評分項目數小于特定閾值時，對相似度進行適當的縮放，使用戶間的相似度與真實情況更吻合。實驗結果表明，本文 算法在數據集具有明顯稀疏性時具有更好的預測準確度和穩定性。

[1] 劉華鋒，景麗萍，于劍. 融合社交信息的矩陣分解推薦方法研究綜述［J］. 軟件學報， 2018， 29（2）：340-362.（LIU H F， JING L P， YU J. Survey of matrix factorization based recommendation methods by integrating social information［J］. Journal of Software， 2018， 29（2）： 340-362.）

[2] LIU L， DU X， ZHU L， et al. Learning discrete hashing towards efficient fashion recommendation［J］. Data Science and Engineering， 2018， 3（4）：307-322.

[3] GAO D， TONG Y， SHE J， et al. Top-team recommendation and its variants in spatial crowdsourcing［J］. Data Science and Engineering， 2017， 2（2）： 136-150.

[4] WANG C D， DENG Z H， LAI J H， et al. Serendipitous recommendation in e-commerce using innovator-based collaborative filtering［J］. IEEE Transactions on Cybernetics， 2019， 49（7）： 2678-2692.

[5] SRIVASTAVA R， PALSHIKAR G K， CHAURASIA S， et al. What’s next？ A recommendation system for industrial training［J］. Data Science and Engineering， 2018， 3（3）： 232-247.

[6] ADOMAVICIUS G， TUZHILIN A. Toward the next generation of recommender systems： a survey of the state-of-the-art and possible extensions［J］. IEEE Transactions on Knowledge and Data Engineering， 2005， 17（6）： 734-749.

[7] BREESE J S， HECKERMAN D， KADIE C. Empirical analysis of predictive algorithms for collaborative filtering［C］// Proceedings of the 14th Conference on Uncertainty in Artificial Intelligence. San Francisco： Morgan Kaufmann Publishers Inc.， 1998： 43-52.

[8] WANG J， DE VRIES A P， REINDERS M J T. Unifying user-based and item-based collaborative filtering approaches by similarity fusion［C］// Proceedings of the 29th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2006： 501-508.

[9] 郭蘭杰，梁吉業，趙興旺. 融合社交網絡信息的協同過濾推薦算法［J］. 模式識別與人工智能， 2016， 29（3）：281-288.（GUO L J， LIANG J Y， ZHAO X W. Collaborative filtering recommendation algorithm incorporating social network information［J］. Pattern Recognition and Artificial Intelligence， 2016， 29（3）： 281-288.）

[10] 張俊，劉滿，彭維平，等. 融合興趣和評分的協同過濾推薦算法［J］. 小型微型計算機系統， 2017， 38（2）：357-362.（ZHANG J， LIU M， PENG W P， et al. Collaborative filtering recommendation algorithm based on fusion interest and score［J］. Journal of Chinese Computer Systems， 2017， 38（2）：357-362.）

[11] TAHERI S M， MAHYAR H， FIROUZI M， et al. Extracting implicit social relation for social recommendation techniques in user rating prediction［C］// Proceedings of the 26th International Conference on World Wide Web Companion. Republic and Canton of Geneva： International World Wide Web Conferences Steering Committee， 2017： 1343-1351.

[12] SONG K， GAO W， SHI F， et al. Recommendation vs sentiment analysis： a text-driven latent factor model for rating prediction with cold-start awareness［C］// Proceedings of the 26th International Joint Conference on Artificial Intelligence. California： ijcai.org， 2017： 2744-2750.

[13] LI Y， LIU J， REN J， et al. A novel implicit trust recommendation approach for rating prediction［J］. IEEE Access， 2020， 8：98305-98315.

[14] CHEN H， SUN H， CHENG M， et al. A recommendation approach for rating prediction based on user interest and trust value［J］. Computational Intelligence and Neuroscience， 2021， 2021： No.6677920.

[15] PURKAYSTHA B， DATTA T， ISLAM M S， et al. Rating prediction for recommendation： constructing user profiles and item characteristics using backpropagation［J］. Applied Soft Computing， 2019， 75：310-322.

[16] TANG J， ZHANG X， ZHANG M， et al. A neural joint model for rating prediction recommendation［J］. Journal of Computational Methods in Sciences and Engineering， 2020， 20（4）：1127-1142.

[17] JI S， YANG W， GUO S， et al. Asymmetric response aggregation heuristics for rating prediction and recommendation［J］. Applied Intelligence， 2020， 50（5）： 1416-1436.

[18] YANG Z， ZHANG M. TextOG： a recommendation model for rating prediction based on heterogeneous fusion of review data［J］. IEEE Access， 2020， 8： 159566-159573.

[19] ZHOU D， HAO S， ZHANG H， et al. Novel SDDM rating prediction models for recommendation systems［J］. IEEE Access， 2021， 9： 101197-101206.

[20] 朵琳，楊丙. 一種基于用戶興趣概念格的推薦評分預測方法［J］. 小型微型計算機系統， 2020， 41（10）： 2104-2108.（DUO L， YANG B. Recommendation rating prediction based on user interest concept lattice［J］. Journal of Chinese Computer Systems， 2020， 41（10）： 2104-2108.）

Recommendation rating prediction algorithm based on user interest concept lattice reduction

ZHAO Xuejian1*， LI Hao2， TANG Haotian2

（1（），210003，；2，，210003，）

The performance of the recommendation systems is restricted by data sparsity， and the accuracy of prediction can be effectively improved by reasonably filling the missing values in the rating matrix. Therefore， a new algorithm named Recommendation Rating Prediction based on Concept Lattice Reduction （RRP-CLR） was proposed. RRP-CLR algorithm was composed of nearest neighbor selection module and rating prediction module， which were respectively responsible for generating reduced nearest neighbor set and realizing rating prediction and recommendation. In the nearest neighbor selection module， the user rating matrix was transformed into a binary matrix， which was regarded as the user interest formal background. Then the formal background reduction rules and concept lattice redundancy concept deletion rules were proposed to improve the efficiency of generating reduced nearest neighbors. In the rating prediction module， a new user similarity calculation method was proposed to eliminate the impact of rating deviations caused by user’s subjective factors on similarity calculation. When the number of common rating items of two users was less than a specific threshold， the similarity was scaled appropriately to make the similarity between users more consistent with the real situation. Experimental results show that compared with PC?UCF （User-based Collaborative Filtering recommendation algorithm based on Pearson Coefficient） and RRP-UICL （Recommendation Rating Prediction method based on User Interest Concept Lattice）， RRP-CLR algorithm has smaller Mean Absolute Error （MAE） and Root Mean Squared Error （RMSE）， and better rating prediction accuracy and stability.

recommendation system; rating prediction; concept lattice; sparsity; reduced nearest neighbor

1001-9081（2023）11-3340-06

10.11772/j.issn.1001-9081.2022121839

2022?12?07；

2023?01?18；

國家自然科學基金資助項目（61672299）； 中國博士后科學基金資助項目（2018M640509）。

趙學健（1982—），男，山東臨沂人，副教授，博士，主要研究方向：數據挖掘、無線傳感器網絡； 李豪（1999—），男，江蘇揚州人，碩士研究生，主要研究方向：數據挖掘； 唐浩天（2001—），男，四川阿壩人，碩士研究生，主要研究方向：數據挖掘。

TP391

A

2023?02?01。

This work is partially supported by National Natural Science Foundation of China （61672299）， China Postdoctoral Science Foundation （2018M640509）.

ZHAO Xuejian， born in 1982， Ph. D.， associate professor. His research interests include data mining， wireless sensor network.

LI Hao， born in 1999， M. S. candidate. His research interests include data mining.

TANG Haotian， born in 2001， M. S. candidate. His research interests include data mining.