融合LSTM 和LightGBM 的用戶購買行為預測算法

梅俊濤　陳靜　白靜盼

摘要：近年來，線上購物逐漸成為用戶主要的購物手段，為提升用戶購物體驗，商品推薦系統應運而生。然而，傳統的商品推薦系統常依賴簡單的協同過濾和基于流行度的算法，難以捕捉用戶的個性化偏好。針對此問題，文章基于JData平臺提供的真實數據集，提出了融合LSTM和LightGBM的用戶購買行為預測算法。首先，針對數據集中正負樣本不平衡問題，采用對數據歸一化的方法，使各個特征的貢獻度更均衡。然后，利用LSTM和LightGBM依次提取商品購買的時間序列特征和非時間序列特征，構建融合LSTM和LightGBM的用戶購買行為預測模型。將LSTM和LightGBM作為第一層學習器，并將LightGBM作為次學習器對用戶購買行為進行預測。最后，大量實驗證明：與單一的LSTM模型、SVM和LightGBM的融合模型以及CNN和LSTM融合模型相比，文章提出的算法在準確率、召回率以及F1值方面性能更優。

關鍵詞：歸一化；LSTM；LightGBM；融合模型；購買行為預測

中圖分類號：TP391 文獻標識碼：A

文章編號：1009-3044（2024）14-0029-03 開放科學（資源服務）標識碼（OSID） ：

0 引言

隨著互聯網和電子商務的快速發展，用戶購買行為的數據和信息增長速度越來越快，因而帶來了大量且復雜的數據。這些海量的數據包含了用戶的購物記錄、瀏覽歷史、點擊行為等，蘊含了豐富的用戶行為和偏好信息。這些信息可以用于商品推薦，從而提高用戶的購買體驗。然而，在商品推薦過程中，這些數據具有高維稀疏性，有效解釋這些數據成為用戶購買預測的必要條件。因此，如何利用好這些數據預測用戶購買行為成了一個難題。

傳統的購買行為預測方法已不再適用于用戶行為數據量大以及用戶行為特征復雜多樣的情況。存在著特征的可解釋性和預測準確性的問題。同時，由于用戶的購買行為數據正負樣本比例較大，存在著樣本不平衡問題。因此，本文將對用戶購買行為數據集進行清洗并構建特征，以增強特征的可解釋性，便于模型對特征的提取和分析。然后，對不平衡的數據集進行歸一化處理，將不同特征的尺度統一，消除特征之間的量綱差異，減少其對模型的影響，提高模型的穩定性。最后，采用基于長短期記憶網絡（Long Short-Term Memory， LSTM） 算法和輕量級梯度提升（LightGradient Boosting Machine， LightGBM） 算法構建的融合模型來預測用戶購買行為。這樣做充分利用了LSTM能夠有效捕捉并保留長期依賴性以及LightGBM 能夠快速高效解析特征的能力。

1 相關工作

Dennis Koehn等人[1]利用點擊流數據實時預測在線購物行為并進行目標營銷干預。他們采用了循環神經網絡（RNNs） 的框架來發掘點擊流數據的全部潛力，并通過基于真實的電子商務數據對多個RNN分類器進行系統評估，并將其與SML基準進行比較。

Irfan Ullah等人[2]采用了一種新穎的可解釋機器學習（ML） 框架來預測電動汽車的充電站選擇行為。他們采用了新開發的SHAP方法來確定各種屬性對充電站選擇行為的特征重要性和復雜的非線性和交互作用。Daniel K. Maduku等人[3]采用了一個綜合模型，在期望-確認模型中結合了分層購物價值（享樂和功利）因素結構，分析了南非購物者在移動購物持續意愿背后的因素。Wenle Wang等人[4]提出了一個用戶價值模型（LDTD） ，通過多要素行為融合，根據用戶的行為模式生成用戶標簽特征，并采用XGBoost特征重要性模型來分析多維特征。他們確定具有最顯著權重值的模型作為構建模型的關鍵特征，并將該特征與其他用戶特征一起使用XGBoost 模型進行預測。Rebeka-Anna Pop等人[5]基于S-O-R框架，通過快時尚移動應用程序，探討了移動應用程序的功利、享樂和社交屬性對消費者態度和購買意向的直接和間接影響。他們通過在線調查來測試提出的概念模型，使用偏最小二乘（Partial Least Squares，PLS） 建模技術對反射構念進行可靠性和效度評估。

2 數據處理及特征構建

實驗數據來自JData算法大賽中提供的京東商城在線交易數據，覆蓋了2018年2月1日到2018年4月1日的交易情況。數據集包含用戶行為信息、商品評論信息、商品信息和用戶個人信息。由于本文未使用店鋪信息表，故不在此介紹。

特征工程[6]對于模型的性能和可用性有著顯著影響。在原始數據集中，存在著非數值特征以及潛在的信息，這些特征的價值難以被模型捕獲。通過巧妙地設計和選擇特征，可以減少訓練時間，并提高模型的可解釋性。以下是本文采用的特征工程方法：

1） 特征編碼[7]：對用戶性別、年齡等非數值特征字段進行獨立編碼并轉換為數值特征，以便機器學習算法有效提取信息。

2） 特征提取：用戶信息表中的用戶所在城市等級、用戶會員等級等字段對預測用戶購買行為有意義，提取這些特征可以減少數據維度、去除冗余信息，并揭示數據背后的潛在結構。

3） 特征組合與交互：將用戶-品類特征、用戶-商品-品類特征進行交互，創建新的特征，引入更豐富的信息，捕捉特征之間的關聯性和互動效應。

4） 特征轉換：由于瀏覽數據樣本過多，對預測購買行為有較大影響，因此計算用戶行為購買轉化率以及商品行為購買轉化率有助于使數據更符合機器學習模型的假設或要求。

3 融合模型的構建

對于用戶行為數據集，由于用戶行為具有一定的歷史性，并且數據離散性較強，為了更有效地預測用戶購買行為，本文充分利用了LSTM模型對時序數據的提取能力以及LightGBM模型對稀疏數據的處理能力。基于集成學習（Stacking） 方法的原理，將LSTM算法和LightGBM算法作為基模型，將LightGBM算法作為元模型構建融合模型進行用戶購買行為預測。其詳細步驟如下：

1） 將構建的數據集按照8：2的比例劃分為訓練集和測試集。

2） 將LSTM和LightGBM作為基模型，在訓練集上進行訓練。通過五折交叉驗證的方式，分別對兩個基模型進行訓練，并將各自的預測結果整合成特征A1、A2。然后，將LightGBM作為元模型，對新的特征進行訓練。

3） 使用測試集對訓練好的模型進行預測。使用LSTM和LightGBM模型按照五折交叉驗證的方式進行預測，然后將各自的預測結果整合成特征B1、B2。

4）?最后，使用LightGBM對新特征進行測試，得到最終的預測結果。

綜合上述研究方法，本文構建了總體的流程圖，如圖1所示。

4 實驗

4.1 實驗環境

本實驗使用Python語言來搭建模型，程序運行環境及配置條件如表1所示：

4.2 模型評價指標

為了更準確地評估模型的性能，實驗中采用了混淆矩陣的方法計算準確率[8]、精確率[9]、召回率[10]和F1 值[11]。其中，TP 表示正確預測的購買用戶數，FP 表示錯誤預測的購買用戶數，TN表示正確預測的非購買用戶數，FN 表示錯誤預測的非購買用戶數。假設總共有N 個樣本，則有N=TP+FP+TN+FN。

準確率（Accuracy）計算方法為：

式中，F1 值是指精確率和召回率的調和平均值，F1值越高，表示模型的整體性能越好，即：

4.3 實驗結果分析

本實驗使用中構建的數據集作為輸入數據，采用LSTM 模型、支持向量機（Support Vector Machine，SVM） 和LightGBM融合模型，以及LSTM和卷積神經網絡（Convolutional Neural Network，CNN） 融合模型作為對比算法。

從表2可以觀察到，LSTM和LightGBM融合模型的預測效果相較于單獨使用LSTM模型有很大的提升。這表明融合模型有效地捕獲了序列數據中的長期依賴關系，并充分發揮了梯度提升算法在提高整體模型性能方面的作用。因此，該融合模型提高了用戶購買行為預測的準確性，有效地預測了用戶的購買行為。

根據圖2可觀察到，由LSTM和LightGBM構成的融合模型在預測效果中召回率方面明顯優于其他模型。這表明該模型具有較低的漏報率，能夠更好地捕捉到正例。相比之下，其他模型在面對高維特征時容易出現性能下降的情況，難以準確預測用戶的購買行為。例如，將SVM和LightGBM模型進行融合時，難以發揮SVM對噪聲的敏感性以及LightGBM快速分析特征的優勢。此外，較高的F1值在一定程度上反映了LSTM和LightGBM融合模型的綜合性能較高，而其他模型則可能因為對用戶購買行為特征數據過度解釋特征信息而導致過擬合問題，比如LSTM和CNN模型的融合。

綜合上述分析可知，使用基于LSTM算法和Light?GBM算法構建的融合模型能夠總體上具有較高的準確性和泛化性能。

5 結束語

提高商品推薦系統的效率一直是研究者們關注的問題。針對這一問題，本文提出了融合LSTM 和LightGBM的用戶購買行為預測算法。鑒于數據集中正負樣本不平衡的情況，本文采用了對用戶行為數據進行歸一化的方法。利用LSTM對時間序列數據處理的優勢以及LightGBM對特征分析的能力，將LSTM和LightGBM作為第一層學習器，將LightGBM作為次學習器，對用戶購買行為進行預測。在未來的工作中，我們將持續優化特征工程的構建，并對模型的各個參數進行優化，以更好地適應融合模型，并提高用戶購買行為的預測效果。

參考文獻：

[1] KOEHN D，LESSMANN S，SCHAAL M.Predicting online shop?ping behaviour from clickstream data using deep learning[J].Ex?pert Systems with Applications，2020，150：113342.

[2] ULLAH I，LIU K，YAMAMOTO T，et al.Modeling of machine learning with SHAP approach for electric vehicle charging sta?tion choice behavior prediction[J].Travel Behaviour and Society，2023，31：78-92.

[3] MADUKU D K， THUSI P. Understanding consumers' mobile shopping continuance intention： new perspectives from South Africa[J].Journal of Retailing and Consumer Services，2023，70：103185.

[4] WANG W L，XIONG W T，WANG J，et al.A user purchase be?havior prediction method based on XGBoost[J]. Electronics，2023，12（9）：2047.

[5] POP R A，HL?DIK E，DABIJA D C.Predicting consumers' pur?chase intention through fast fashion mobile apps：the mediating role of attitude and the moderating role of COVID-19[J].Tech?nological Forecasting and Social Change，2023，186：122111.

[6] PAULSON N H，KUBAL J，WARD L，et al.Feature engineering for machine learning enabled early prediction of battery lifetime[J].Journal of Power Sources，2022，527：231127.

[7] SINGH V K，MAURYA N S，MANI A，et al.Machine learning method using position-specific mutation based classification outperforms one hot coding for disease severity prediction in haemophilia‘ a[J].Genomics，2020，112（6）：5122-5128.

[8] GIFANI P，SHALBAF A，VAFAEEZADEH M.Automated detec?tion of COVID-19 using ensemble of transfer learning with deep convolutional neural network based on CT scans[J].Inter?national Journal of Computer Assisted Radiology and Surgery，2021，16（1）：115-123.

[9] IWENDI C，IBEKE E，EGGONI H，et al.Pointer-based item-toitem collaborative filtering recommendation system using a ma?chine learning model[J]. International Journal of Information Technology & Decision Making，2022，21（1）：463-484.

[10] DEMILIE W B，SALAU A O.Detection of fake news and hate speech for Ethiopian languages：a systematic review of the ap?proaches[J].Journal of Big Data，2022，9（1）：66.

[11] GAYATHRI S，GOPI V P，PALANISAMY P.Diabetic retinopa?thy classification based on multipath CNN and machine learn?ing classifiers[J].Physical and Engineering Sciences in Medi?cine，2021，44（3）：639-653.

【通聯編輯：唐一東】

基金項目： 長江大學校級大學生創新創業訓練計劃項目（項目編號：Yz2022142、Yz2023141）