基于鯨魚優化算法改進長短期記憶神經網絡的資源推薦

摘要： 為了改善資源推薦算法的性能， 提出基于鯨魚優化算法（WOA）改進長短期記憶神經網絡（LSTM）的資源推薦算法； 首先提取資源和用戶特征， 構建特征差異值加權函數； 然后， 以資源-用戶特征作為輸入，建立基于LSTM的資源推薦算法，通過輸入門、 遺忘門、 輸出門及記憶節點對歷史資源推薦數據按權重進行遺忘與篩選，有選擇性地挑選部分數據進行循環迭代訓練；考慮到LSTM的門操作需要設置的參數較多，引入WOA進行參數智能優化求解，提出WOA-LSTM算法，以提高LSTM的參數優化的精度及效率。結果表明，通過合理設置WOA參數，可以有效改善LSTM的資源推薦性能，與常用資源推薦算法相比，所提出的WOA-LSTM算法具有更高的推薦精度及穩定性。

關鍵詞： 資源推薦； 長短期記憶神經網絡； 鯨魚優化算法； 特征差異值

中圖分類號： TP391.2

文獻標志碼： A

Abstract： To improve performances of resource recommendation algorithm， a resource recommendation algorithm based on long short term memory neural network （LSTM） improved by using whale optimization algorithm （WOA） was proposed.Firstly， resources and user features were extracted， and a feature difference value weighting function was constructed.Then， a resourcerecommendation algorithm based on LSTM was established， resource user features were input，and historical resourcerecommendation data were forgotten and filtered according to weights through the input gate， forgetting gate， outputgate， and memory node. Some data were selectively selected for cyclic iterative training. Considering that there were many parameters to be set for the gate operation of LSTM， WOA was introduced to solve the parameter intelligent optimization and WOA-LSTM algorithm was proposed， so as to improve accuracy and efficiency of parameter optimization of LSTM. The results show that by reasonably setting WOA parameters， the resource recommendation performances of LSTM were effectively improved. Compared with the common resource recommendation algorithms， the proposed WOA-LSTM algorithm has higher recommendation accuracy and stability.

Keywords： resource recommendation; long short term memory neural network; whale optimization algorithm; characteristic difference value

基金項目： 國家自然科學基金項目（61871204）； 湖南省教育廳科學研究項目優秀青年項目（22B1028， 19B397）； 福建省科技計劃項目

引導性項目（2018H0028）； 湖南信息學院2022年度校級科研項目（XXY022QN04）

第一作者簡介： 仇煥青（1984—），女，河南濮陽人。高級工程師，碩士，研究方向為圖像處理、深度學習、人工智能。Email： 895165985@qq.com。

網絡首發地址： https：//kns.cnki.net/kcms/detail//37.1378.N.20230227.1618.002.html

隨著因特網數據量的增多， 用戶獲取資源的方式從以前的主動檢索逐漸發生變化， 在電商服務平臺、 在線社交平臺、在線學習平臺等相繼推出了個性化推薦服務。 用戶被動地接受服務端的資源推送正逐漸成為用戶獲取資源的重要方式之一， 這主要是由不對等的資源邊界決定的。 一方面，用戶的認知范圍決定了其主動搜索獲取資源的受限程度［1］， 而服務端的資源推薦增強了用戶接收資源的實時性； 另一方面， 采用資源推薦有效節省了用戶主動搜索的時間， 用戶打開軟件就能夠直接獲取與自己習慣關聯度更高的資源。 資源推薦服務有效地提高了資源-用戶匹配度［2］， 但是需要精準、 高效的資源推薦算法來完成。

當前，關于資源推薦服務的研究較多。東苗［3］采用知識圖譜對資源-用戶特征進行特征對分析，以提高所選特征的有效性，并通過多目標優化來實現在線學習資源推薦，取得了較高的推薦準確度。李浩君等［4］采用多目標函數方法進行資源-用戶特征對分析，并通過多角度差值匹配提高了資源推薦準確度。

本文中將長短期記憶神經網絡（LSTM）用于資源-用戶特征訓練， 找到兩者特征相關度高的個體， 從而實現資源推薦。 考慮到LSTM隱藏層循環迭代運算的復雜度， 以及LSTM門結構參數多的特點， 引入鯨魚優化算法（WOA）對門結構參數進行優化求解， 以提高LSTM主要參數求解的精度及效率， 用實驗驗證WOA-LSTM算法有效改善資源推薦的綜合性能。

1 LSTM

LSTM作為循環神經網絡的一種， 主要特點是在網絡訓練過程中考慮了歷史時間序列的影響， 將當前時刻之前的若干歷史時刻作為隱藏層進行加權訓練， 從而獲得當前時刻的輸出。 對于歷史時刻的隱藏層輸出， LSTM采用記憶節點及遺忘門等方式來靈活選擇多個歷史時刻進行循環訓練。

在WOA-LSTM算法資源推薦過程中， 首先輸入資源-用戶推薦記錄， 然后進行變量預處理后輸入LSTM網絡訓練， 并通過WOA算法對LSTM網絡的輸入、 遺忘、 輸出門參數進行優化求解， 獲得適應度值高的WOA個體， 輸出穩定的門參數， 最后采取經過WOA優化的門參數進行LSTM網絡學習資源推薦訓練， 獲得穩定WOA-LSTM資源推薦， 具體流程見圖3。

3 實例仿真

為了驗證WOA-LSTM算法在資源推薦中的性能，分別采用來自于電商、 在線音樂、 在線社交平臺、 在線美食平臺的4類不同數據集進行資源推薦實例仿真，具體樣本集數量如表1所示。首先驗證WOA對LSTM網絡算法的優化性能，分別采用LSTM網絡算法和WOA-LSTM算法進行推薦性能仿真；其次分別采用常用資源推薦算法和WOA-LSTM算法進行推薦性能仿真。

3.1 不同樣本稀疏度的推薦性能

為了驗證不同數量訓練樣本的推薦性能，采用不同訓練樣本比例進行WOA-LSTM算法訓練，驗證其對測試樣本的準確率和對應的均方根誤差（RMSE）性能，結果如表2所示。從表中可知： 參與WOA-LSTM算法訓練的樣本數量對資源推薦的準確率影響明顯。 在4類樣本集中， 訓練集樣本數量越大，資源推薦的準確率均越高， 且RMSE越小。 當訓練集比例從20%提升至80%時， Amazon樣本集推薦準確率提升7.70%且RMSE減小1.343 6， Last.FM樣本集推薦準確率提升8.81%且RMSE減小1.242 6，Foursquare樣本集推薦準確率提升11.01%且RMSE減小1.335 8， Yelp樣本集推薦準確率提升11.74%且RMSE減小1.428 1。 通過對比發現， 樣本集按照樣本數量對推薦準確率的影響程度由大到小的順序為Yelp樣本集、 Foursquare樣本集、 Last.FM樣本集、 Amazon樣本集， 樣本集按照樣本數量對推薦準確率的穩定性影響程度由大到小的順序為Last.FM樣本集、 Foursquare樣本集、 Amazon樣本集、 Yelp樣本集。

3.2 WOA對LSTM網絡算法的優化性能

為了驗證WOA對LSTM網絡算法的參數優化性能及對資源推薦性能的影響，分別采用LSTM網絡算法和WOA-LSTM算法對4類樣本集進行資源推薦性能仿真，結果見表3。從表中可知， 在4類樣本集的資源推薦準確率方面，WOA-LSTM算法明顯優于LSTM網絡算法，且WOA-LSTM算法的推薦準確率最小值、平均值和最大值分布更集中，其原因主要是2種算法的網絡參數優化求解方法不同。

上述2種算法的推薦準確率RMSE仿真結果如表4所示。從表中數據可以看出，LSTM網絡算法與WOA-LSTM算法在RMSE的最小值、 最大值和平均值的分布集中度方面的差距并不大，表明引入WOA優化之后，LSTM網絡算法對不同樣本集的資源推薦穩定性變化較小。

3.3 不同算法的資源推薦性能

為了進一步驗證WOA-LSTM算法在資源推薦中的性能，分別采用WOA-LSTM算法以及3種常用推薦算法——協同過濾［14］、 Apriori關聯規則［15］、 深度神經網絡［16］對表1中的4類樣本測試集進行實例仿真，結果如圖4—6所示。由圖可見：WOA-LSTM算法的推薦準確率最高，數值均大于90%；深度神經網絡算法次之，推薦準確率在80%以上；協同過濾算法推薦準確率最低，在Yelp樣本集中的準確率為60%左右。從推薦算法執行時間來看，4類樣本集略有差異，整體來看，協同過濾算法執行時間最短，其他3種算法的執行時間接近。

在4類樣本集的推薦召回率方面，當算法穩定時，WOA-LSTM算法的召回率最大，表明該算法能夠找到更多適合于用戶的資源并推薦給用戶，這得益于LSTM網絡處理多維特征數據分析的能力，且通過WOA優化后，能夠增強LSTM網絡算法全面搜索適應度值最優個體的能力，從而改善算法的資源推薦性能。

在4類樣本集的推薦RMSE方面，WOA-LSTM算法具有絕對優勢，在Amazon、 Last.FM和Foursquare樣本集中， 4種算法的RMSE分層明顯， 但WOA-LSTM算法在Yelp樣本集中的RMSE最小， 其他3種算法的RMSE非常接近。 綜合而言， WOA-LSTM算法在4類樣本集中的資源推薦穩定性最好。

4 結語

本文中采用LSTM網絡用于資源推薦，通過LSTM的門操作及多隱藏層迭代循環實現資源及用戶特征的訓練。此外，為了提高LSTM用于資源推薦的適用性，本文中采用WOA算法進行LSTM參數優化求解，通過與常用推薦算法進行仿真比較，在4類不同領域的公開數據集中，WOA-LSTM算法的推薦準確率最高，RMSE最小。

參考文獻：

［1］ HAN L， LI H. Visualization analysis of online learning resource recommendation based on CiteSpace［J］. International Journal of Social Science and Education Research， 2021， 4（10）： 73.

［2］ 楊智強， 殷釗， 王衡. 結合用戶交互行為和資源內容的資源推薦［J］. 計算機輔助設計與圖形學學報， 2014， 26（5）： 747.

［3］ 東苗. 基于知識圖譜的多目標學習資源推薦算法［J］. 計算機系統應用， 2021， 30（4）： 139.

［4］ 李浩君， 楊琳， 張鵬威. 基于多目標優化策略的在線學習資源推薦方法［J］. 模式識別與人工智能， 2019， 32（4）： 306.

［5］ WANG J Y， LI J， WANG X， et al. Air quality prediction using CT-LSTM［J］. Neural Computing and Applications， 2021， 33（10）： 4779.

［6］ PARK K， CHOI Y， CHOI W J， et al. LSTMbased battery remaining useful life prediction with multichannel charging profiles［J］. IEEE Access， 2020， 8： 20786.

［7］ BUKHARI A H， RAJA M A Z， SULAIMAN M， et al. Fractional neurosequential ARFIMA-LSTM for financial market forecasting［J］. IEEE Access， 2020， 8： 71326.

［8］ ELSHEIKH A H， KATEKAR V P， MUSKENS O L， et al. Utilization of LSTM neural network for water production forecasting of a stepped solar still with a corrugated absorber plate［J］. Process Safety and Environmental Protection， 2021， 148： 279.

［9］ HE K J， JI L， WU C W D， et al. Using SARIMA-CNN-LSTM approachto forecast daily tourism demand［J］. Journal of Hospitality and Tourism Management， 2021， 49： 28.

［10］ QIU Y G， ZHOU J， KHANDELWAL M， et al. Performance evaluationof hybrid WOA-XGBoost， GWO-XGBoost and BO-XGBoost models to predict blastinduced ground vibration［J］. Engineering with Computers， 2022， 38： 4145.

［11］ LI Z M， YAZDANI B， ASTERIS P G， et al. A hybrid GEP and WOA approach to estimate the optimal penetration rate of TBM in graniticrock mass［J］. Soft Computing， 2021， 25（17）： 11880.

［12］ NASROLLAHZADEHS，MAADANIM，POURMINAMA.Optimal motion sensor placement in smart homes and intelligent environments using a hybrid WOA-PSO algorithm［J］. Journal of Reliable Intelligent Environments， 2022， 8： 345.

［13］ SAMANTARAY S， SAHOO A. Prediction of suspended sediment concentration using hybrid SVM-WOA approaches［J］. Geocarto International， 2022， 37（19）： 5621.

［14］ 覃忠臺， 張明軍. 基于協同過濾算法的學習資源推薦模型研究［J］. 計算機技術與發展， 2021， 31（9）： 31.

［15］ 趙春霞， 趙營穎， 宋學坤. 基于頻繁項集的多源異構數據并行聚類算法［J］. 濟南大學學報（自然科學版）， 2022， 36（4）： 440.

［16］ 樊海瑋， 史雙， 張博敏， 等. 基于MLP改進型深度神經網絡學習資源推薦算法［J］. 計算機應用研究， 2020， 37（9）： 2629.

（責任編輯：劉 飚）