XGBoost-ESN組合模型股價(jià)預(yù)測(cè)方法

谷嘉煒，韋慧

摘要：提出XGBoost-ESN組合模型股價(jià)預(yù)測(cè)方法.使用網(wǎng)格搜索法對(duì)XGBoost模型和ESN模型進(jìn)行參數(shù)優(yōu)化并改進(jìn)模型結(jié)構(gòu)，利用最小二乘法聯(lián)合XGBoost和ESN進(jìn)行數(shù)據(jù)預(yù)測(cè).測(cè)試結(jié)果表明，改進(jìn)的XGBoost-ESN組合模型能有效減少預(yù)測(cè)誤差，對(duì)股票價(jià)格預(yù)測(cè)的精度更高.

關(guān)鍵詞：XGBoost;ESN;網(wǎng)格搜索;最小二乘法;股價(jià)預(yù)測(cè)

[中圖分類號(hào)]TP181[文獻(xiàn)標(biāo)志碼]A

XGBoost-ESN Combined Model Stock Price Prediction Method

GU Jiawei*，WEI Hui

（College of Mathematics and Big Data，Anhui University of Science and Technology，Huainan 232000，China）

Abstract：A stock price prediction method of XGBoost-ESN combined model is proposed.The grid search method is used to optimize the parameters of the XGBoost model and the ESN model and improve the model structure.The least square method is used to combine the XGBoost and ESN for data prediction.The test results show that the improved XGBoost-ESN combination model can effectively reduce the prediction error and has higher accuracy in stock price prediction.

Key words：XGBoost;ESN;grid search;least square method;stock price prediction

面對(duì)不穩(wěn)定的股票市場(chǎng)，如何合理、充分地預(yù)測(cè)股票價(jià)格一直是學(xué)者研究的重點(diǎn)問(wèn)題.機(jī)器學(xué)習(xí)方法憑借其強(qiáng)大的網(wǎng)絡(luò)模型結(jié)構(gòu)和較好的泛化能力，在股票價(jià)格預(yù)測(cè)領(lǐng)域得到了廣泛應(yīng)用.然而單一模型在處理非線性問(wèn)題時(shí)效果并非十分理想.單一預(yù)測(cè)模型難以全面反映數(shù)據(jù)信息、充分挖掘數(shù)據(jù)中隱藏規(guī)律.組合模型可以在一定程度上克服這些不足，提升預(yù)測(cè)精度，預(yù)測(cè)性能更好、預(yù)測(cè)精度較高.任君[1]等將支持向量機(jī)和長(zhǎng)短期記憶網(wǎng)絡(luò)與Lasso方法相結(jié)合，預(yù)測(cè)股票漲跌.李敬德[2]等基于信息熵和BP神經(jīng)網(wǎng)絡(luò)對(duì)信號(hào)奇異點(diǎn)進(jìn)行智能識(shí)別和定位.熊景華[3]等組合隨機(jī)森林算法和模糊信息粒化，提升匯率預(yù)測(cè)精度.王徐凱[4]等組合長(zhǎng)短期記憶網(wǎng)絡(luò)和隨機(jī)森林，精準(zhǔn)預(yù)測(cè)武漢市PM2.5濃度.

XGBoost （eXtreme gradient boosting）算法有優(yōu)化速度快、時(shí)間復(fù)雜度低、預(yù)測(cè)精度高等優(yōu)點(diǎn).[5]ESN（echo state network）[6]是一種改進(jìn)的RNN模型，解決了RNN的梯度消失和爆炸問(wèn)題，很好地克服了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)帶來(lái)的不足.該模型具有的短期記憶能力可應(yīng)用于股票價(jià)格預(yù)測(cè)中，使預(yù)測(cè)誤差明顯低于其他方法，極大地提升了股票價(jià)格預(yù)測(cè)精度.[7]黃卿[8]將XGBoost模型應(yīng)用于股票價(jià)格的預(yù)測(cè)，其預(yù)測(cè)精度顯著高于神經(jīng)網(wǎng)絡(luò)和支持向量機(jī).胡郁蔥[9]等將XGBoost算法應(yīng)用于共享單車短時(shí)需求量預(yù)測(cè)，預(yù)測(cè)結(jié)果對(duì)比BP神經(jīng)網(wǎng)絡(luò)、ARMA、KNN算法具有更優(yōu)的預(yù)測(cè)能力.王燕[10]等將改進(jìn)的XGBoost算法應(yīng)用于短期股價(jià)預(yù)測(cè)中，預(yù)測(cè)結(jié)果相比梯度增強(qiáng)決策樹和支持向量機(jī)具有更高的預(yù)測(cè)精度.莊仲[11]等提出一種包含兩個(gè)儲(chǔ)備池的回聲狀態(tài)網(wǎng)絡(luò)預(yù)測(cè)廣州市的每日電量，預(yù)測(cè)精度較高.李莉[12]等提出ESNGTP模型并用于個(gè)股每日收盤價(jià)預(yù)測(cè)，表明該模型具有較優(yōu)的預(yù)測(cè)能力.陳明揚(yáng)[13]等提出AFOA-ESN模型用于旅游需求預(yù)測(cè)，預(yù)測(cè)結(jié)果對(duì)比自回歸移動(dòng)平均、支持向量機(jī)、BP神經(jīng)網(wǎng)絡(luò)算法具有更高的預(yù)測(cè)精度.鑒于XGBoost及ESN在股票價(jià)格預(yù)測(cè)上表現(xiàn)出的良好性能，本文融合XGBoost與ESN模型，引入網(wǎng)格搜索法[14]，對(duì)兩種模型的參數(shù)進(jìn)行優(yōu)化，給出XGBoost-ESN組合模型，用于股票價(jià)格預(yù)測(cè).

1XGBoost-ESN組合模型

1.1XGBoost模型

XGBoost集成弱分類器為一個(gè)強(qiáng)分類器[5]，算法訓(xùn)練過(guò)程核心在于不斷地進(jìn)行迭代，生成一棵新樹擬合前一棵樹的殘差，以此來(lái)達(dá)到更高的精度.利用XGBoost算法較好擬合股票價(jià)格數(shù)據(jù)的優(yōu)勢(shì)，以達(dá)到降低預(yù)測(cè)誤差的目的，提升預(yù)測(cè)精度.

使用CART回歸樹模型，XGBoost模型表達(dá)式為：

y︿i=∑Kk=1fk（xi），fk∈F.（1）

式中，y︿i為預(yù)測(cè)值，fk是第k棵決策樹，K為樹的數(shù)目，xi為輸入的第i個(gè)數(shù)據(jù)，F(xiàn)為所有可能的CART集合.

模型的目標(biāo)函數(shù)為：

O bj=∑i=1l（y︿，yi）+∑kΩ （fk）+c，

Ω （fk）=γT+12λ‖ω‖2=γT+12λ∑Tj=1ω2j.（2）

其中，l（yi，y︿i）為損失函數(shù)，Ω （fk）表示正則項(xiàng)，γ和λ是對(duì)模型的懲罰系數(shù)，T和ω表示第k棵樹的葉子樹目和葉子權(quán)重;c是常數(shù)項(xiàng).

為了簡(jiǎn)化損失函數(shù)，使用加法模型，即迭代不影響原模型，每一次添加一個(gè)新函數(shù)到模型里，化簡(jiǎn)后得公式（3）：

O bj（t）≈∑ni=1gift（xi）+12hif2t（xi）+Ω （ft）.（3）

其中，gi=y︿（t-1）lyi，y︿（t-1）i，hi=2y︿（t-1）lyi，y︿（t-1）i.公式（3）與正則項(xiàng)合并同類項(xiàng)后得到公式（4）：

O bj（t）≈∑Tj=1∑i∈Ijgiωj+12∑i∈Ijhi+λω2j+γT

=-12∑Tj=1G2jHj+λ+γT.（4）

其中，Gj=∑i∈I，Hj=∑i∈Ihi.

1.2回聲狀態(tài)網(wǎng)絡(luò)ESN

回聲狀態(tài)網(wǎng)絡(luò)由三部分組成[15]：一個(gè)隨機(jī)生成的輸入層，一個(gè)高維稀疏的儲(chǔ)備池，以及一個(gè)唯一需要學(xué)習(xí)的輸出層.其中，輸入層權(quán)重和儲(chǔ)備池權(quán)重都是從特定分布中隨機(jī)采樣生成并在訓(xùn)練階段固定，無(wú)需學(xué)習(xí)，而唯一需要學(xué)習(xí)的輸出層權(quán)重可以通過(guò)回歸方法簡(jiǎn)單求解.回聲狀態(tài)網(wǎng)絡(luò)的核心結(jié)構(gòu)儲(chǔ)備池類似于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的隱含層，包含大量稀疏連接的神經(jīng)元，可以通過(guò)調(diào)整網(wǎng)絡(luò)內(nèi)部權(quán)值達(dá)到短期訓(xùn)練記憶功能.模型的拓?fù)浣Y(jié)構(gòu)如圖1所示.

圖1中，ESN具有K個(gè)輸入節(jié)點(diǎn)、N個(gè)隱層節(jié)點(diǎn)和L個(gè)輸出節(jié)點(diǎn).其中，Win是輸入層到儲(chǔ)備池的反饋，Wres為儲(chǔ)備池內(nèi)部的反饋矩陣，Wout是儲(chǔ)備池到輸出層的反饋，Wback表示輸出層到儲(chǔ)備池的反饋.在t時(shí)刻輸入層的輸入為u（t）=u1（t），u2（t），…，uK（t）T，儲(chǔ)備池內(nèi)部狀態(tài)為x（t）=x1（t），x2（t），…，xN（t）T.回聲狀態(tài)網(wǎng)絡(luò)從特定的初始回聲狀態(tài)x（0）開(kāi)始進(jìn)行前向傳播計(jì)算，其回聲狀態(tài)更新公式以及輸出更新公式為：

x（t+1）=gWin×u（t+1）+Wres×x（t）+Wback×y（t）.（5）

y（t+1）=goutWoutx（t+1），u（t+1），y（t）.（6）

其中g(shù)和gout為對(duì)應(yīng)的激活函數(shù).

在ESN訓(xùn)練過(guò)程中，Win，Wback和Wres隨機(jī)初始化生成后保持固定不變，Wout需要訓(xùn)練生成.

1.3XGBoost-ESN組合模型

采用網(wǎng)格搜索法對(duì)XGBoost和ESN模型進(jìn)行參數(shù)優(yōu)化.網(wǎng)格搜索法[14]排列組合各個(gè)參數(shù)的可能取值，劃分網(wǎng)格，逐一訓(xùn)練參數(shù)取各網(wǎng)格點(diǎn)時(shí)的模型，最后返回一個(gè)最佳參數(shù)組合，將模型調(diào)整至最優(yōu).由于每個(gè)參數(shù)組合相互獨(dú)立，網(wǎng)格搜索法有著可并行高且搜索更加全面的優(yōu)點(diǎn).

為解決選擇默認(rèn)參數(shù)影響模型性能的問(wèn)題，構(gòu)建改進(jìn)的XGBoost和改進(jìn)的ESN預(yù)測(cè)模型.基于XGBoost與ESN加權(quán)融合的組合模型進(jìn)行股價(jià)預(yù)測(cè)，利用模型結(jié)構(gòu)的差異性提升融合預(yù)測(cè)結(jié)果的準(zhǔn)確性.首先由XGBoost和ESN模型分別對(duì)股價(jià)進(jìn)行預(yù)測(cè)，然后根據(jù)最小二乘法賦予權(quán)重，最后給出模型最終預(yù)測(cè)結(jié)果.

設(shè)XGBoost和ESN在t時(shí)刻的預(yù)測(cè)值分別為P1（t），P2（t），假設(shè)XGBoost和ESN的權(quán)重分別為α1，α2，最終的預(yù)測(cè)結(jié)果為：

P（t）=α1P1（t）+α2P2（t），α1+α2=1.（7）

其中，α1，α2的值由最小二乘法確定.改進(jìn)的XGBoost-ESN組合模型構(gòu)建流程如圖2所示.

1.4評(píng)價(jià)指標(biāo)

為了評(píng)價(jià)模型的預(yù)測(cè)精度，使用均方根誤差（RMSE）和平均百分比誤差（MAPE）作為衡量指標(biāo).

RMSE=1n∑ni=1（yi-y︿i）2.（8）

MAPE=100%n∑ni=1y︿i-yiyi.（9）

式中，yi表示第i天調(diào)整后的股票收盤價(jià)真實(shí)值，y︿i表示預(yù)測(cè)值，n為樣本個(gè)數(shù).

2實(shí)驗(yàn)及其結(jié)果分析

2.1數(shù)據(jù)選取及預(yù)處理選取蘋果（AAPL）、CRSP美國(guó)總市場(chǎng)指數(shù)（VTI）、比亞迪（002594）、格力電器（000651）四組包含國(guó)內(nèi)外公司和市場(chǎng)指數(shù)的股票價(jià)格作為預(yù)測(cè)目標(biāo).選取從2018年1月1日到2020年12月31日的日交易數(shù)據(jù)（下載自Python中pandas-datareader包下的Yahoo財(cái)經(jīng)），包括每天的開(kāi)盤價(jià)、最高價(jià)、最低價(jià)、收盤價(jià)、交易量和調(diào)整后的收盤價(jià)，目標(biāo)變量為調(diào)整后的收盤價(jià)，驗(yàn)證融合模型方法對(duì)股市預(yù)測(cè)的有效性.

處理后的數(shù)據(jù)分為80%的訓(xùn)練集和20%測(cè)試集，分別用來(lái)訓(xùn)練模型以及評(píng)估模型預(yù)測(cè)效果.為了拓展模型的預(yù)測(cè)范圍，縮放序列集合的特征值均值為0，方差為1.利用這些縮放的特征值做預(yù)測(cè)，得到的預(yù)測(cè)值也做同樣的縮放處理.

2.2參數(shù)優(yōu)化

對(duì)訓(xùn)練集數(shù)據(jù)，結(jié)合網(wǎng)格搜索算法的思想優(yōu)化XGBoost模型和ESN模型參數(shù)，選擇最優(yōu)參數(shù)組合.以蘋果公司股票為例討論XGBoost模型參數(shù)優(yōu)化.

XGBoost算法參數(shù)有三類：通用參數(shù)，由宏觀函數(shù)控制;Booster參數(shù)，調(diào)控每次迭代的模型;學(xué)習(xí)目標(biāo)參數(shù)，控制訓(xùn)練目標(biāo)和度量方法.Booster參數(shù)是對(duì)模型效果影響較大的部分，也是調(diào)參的重點(diǎn).本文依次調(diào)節(jié)模型中的各參數(shù)，結(jié)果見(jiàn)表1.

ESN儲(chǔ)存池一般都是隨機(jī)初始化的，這樣的模型結(jié)構(gòu)很難達(dá)到最優(yōu).因此本文主要用網(wǎng)格搜索法優(yōu)化對(duì)ESN性能影響較大的兩個(gè)關(guān)鍵參數(shù)、儲(chǔ)存池譜半徑和儲(chǔ)備池縮放因子.步驟：（1）構(gòu)建評(píng)價(jià)指標(biāo)函數(shù);（2）對(duì)儲(chǔ)備池譜半徑和稀疏性參數(shù)執(zhí)行網(wǎng)格搜索（設(shè)置變化范圍：譜半徑[0.5，1.5]、稀疏性[0.001，0.01]）;（3）對(duì)于每一組（譜半徑、稀疏性），訓(xùn)練RC并進(jìn)行預(yù)測(cè);（4）對(duì)于每個(gè)驗(yàn)證集，計(jì)算RMSE并存儲(chǔ)它;（5）顯示譜半徑和稀疏性不同值時(shí)的均方根誤差并給出模型最優(yōu)參數(shù).

2.3實(shí)驗(yàn)結(jié)果分析

對(duì)數(shù)據(jù)集后20%的數(shù)據(jù)進(jìn)行預(yù)測(cè)，并與移動(dòng)平均、線性回歸、XGBoost和ESN模型預(yù)測(cè)的值進(jìn)行對(duì)比，預(yù)測(cè)結(jié)果見(jiàn)表2.由表2可知，改進(jìn)的XGBoost-ESN組合模型表現(xiàn)出良好的預(yù)測(cè)性能，改進(jìn)算法提高了預(yù)測(cè)的精度.

圖3-圖6為測(cè)試集的預(yù)測(cè)結(jié)果，顯示改進(jìn)的XGBoost-ESN組合模型股價(jià)預(yù)測(cè)值與實(shí)際值擬合度較高，表明對(duì)XGBoost模型和ESN模型分別使用網(wǎng)格搜索法進(jìn)行參數(shù)優(yōu)化后，可以有效改進(jìn)模型結(jié)構(gòu)提升模型性能，使股票價(jià)格的預(yù)測(cè)精度較高.

3結(jié)論

本文提出XGBoost-ESN組合模型股價(jià)預(yù)測(cè)方法.使用網(wǎng)格搜索法對(duì)XGBoost模型和ESN模型進(jìn)行參數(shù)優(yōu)化并改進(jìn)模型結(jié)構(gòu)，利用最小二乘法聯(lián)合XGBoost和ESN進(jìn)行數(shù)據(jù)預(yù)測(cè).對(duì)蘋果、CRSP美國(guó)總市場(chǎng)指數(shù)、格力電器、比亞迪四支股票進(jìn)行分析預(yù)測(cè)的結(jié)果表明，改進(jìn)的XGBoost-ESN組合模型性能明顯優(yōu)于傳統(tǒng)預(yù)測(cè)模型和單一模型方法，具有更高的預(yù)測(cè)精度.

模型還存在選擇的輸入特征參數(shù)不夠全面等問(wèn)題，后期考慮增加影響股票行情變化的新聞?shì)浾摗⒐緺顩r、國(guó)家政策、股民情緒等特征來(lái)訓(xùn)練模型，進(jìn)一步提升模型的預(yù)測(cè)精度.

參考文獻(xiàn)

[1]任君，王建華，王傳美，等.基于ELSTM-L模型的股票預(yù)測(cè)系統(tǒng)[J].統(tǒng)計(jì)與決策，2019，35（21）：160-164.

[2]李敬德，康維新.基于信息熵和BP神經(jīng)網(wǎng)絡(luò)的信號(hào)奇異點(diǎn)智能檢測(cè)[J].牡丹江師范學(xué)院學(xué)報(bào)：自然科學(xué)版，2017（4）： 1-5+43.

[3]熊景華，茹璟.基于隨機(jī)森林算法和模糊信息粒化的匯率預(yù)測(cè)組合模型研究[J].數(shù)量經(jīng)濟(jì)技術(shù)經(jīng)濟(jì)研究，2021，38（1）：135-156.

[4]王徐凱，余華銀，楊桂元，等.基于多層組合模型的武漢市月平均PM2.5濃度預(yù)測(cè)[J].牡丹江師范學(xué)院學(xué)報(bào)：自然科學(xué)版，2021（1）：7-11.

[5]Chen T，Guestrin C.XGBoost：A scalable tree boosting system[C]//ACM SIGKDD International Conference on Knowledge Discovery & Data Mining.San Francisco，USA：ACM，2016：785-794.

[6]Jaeger，H.Harnessing Nonlinearity：Predicting chaotic systems and saving energy in wireless communication[J].Science，2004，304（5667）：78-80.

[7]Lee M C.Using support vector machine with a hybrid feature selection method to the stock trend prediction[J].Expert Systems with Applications，2009，36（8）：10896-10904.

[8]黃卿，謝合亮.機(jī)器學(xué)習(xí)方法在股指期貨預(yù)測(cè)中的應(yīng)用研究—基于BP神經(jīng)網(wǎng)絡(luò)、SVM和XGBoost的比較分析[J].數(shù)學(xué)的實(shí)踐與認(rèn)識(shí)，2018，48（8）：297-307.

[9]胡郁蔥，張筑杰，王曉晴.基于Xgboost算法的共享自行車短時(shí)需求預(yù)測(cè)研究[J].武漢理工大學(xué)學(xué)報(bào)：交通科學(xué)與工程版，2019，43（2）：231-235+241.

[10]王燕，郭元?jiǎng)P.改進(jìn)的XGBoost模型在股票預(yù)測(cè)中的應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用，2019，50（20）：202-207.

[11]莊仲，伍銘妍，劉沖.基于雙儲(chǔ)備池回聲狀態(tài)網(wǎng)絡(luò)的電力負(fù)荷預(yù)測(cè)[J].控制工程，2020，27（6）：1032-1036.

[12]李莉，程露.基于改進(jìn)回聲狀態(tài)神經(jīng)網(wǎng)絡(luò)的個(gè)股股價(jià)預(yù)測(cè)[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2020，29（2）：212-218.

[13]陳明揚(yáng)，王林，余曉曉.改進(jìn)果蠅算法優(yōu)化回聲狀態(tài)網(wǎng)絡(luò)的旅游需求預(yù)測(cè)研究[J].計(jì)算機(jī)工程與科學(xué)，2020，42（2）：307-316.

[14] Hokamp C，Liu Q.Lexically constrained decoding for sequence generation using grid beam search[J].Association for Computational Linguistics，2017，55（1）：1535-1546.

[15]Jaeger H."echo state" approach to analyzing and training recurrent neural networks[R].Berlin：German National Research Center for Information Technology，2011.

編輯：琳莉