基于注意力機(jī)制的LSTM模型股票預(yù)測(cè)研究

摘要：隨著投資市場(chǎng)的不斷發(fā)展壯大以及人工智能時(shí)代的來(lái)臨，通過(guò)傳統(tǒng)的投資方法分析投資標(biāo)及對(duì)投資標(biāo)的未來(lái)走勢(shì)進(jìn)行預(yù)測(cè)已不能滿足基金經(jīng)理們的投資需求.本文結(jié)合深度學(xué)習(xí)中的長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（LSTM），提出一種基于注意力機(jī)制的LSTM模型對(duì)股票價(jià)格進(jìn)行預(yù)測(cè).通過(guò)對(duì)銀行板塊中的股票進(jìn)行研究與預(yù)測(cè)，找到最優(yōu)的時(shí)間步長(zhǎng)為10，并通過(guò)對(duì)比LSTM模型和LSTM-ATT模型，驗(yàn)證了LSTM-ATT模型具有更高的預(yù)測(cè)準(zhǔn)確率.

關(guān)鍵詞：LSTM；注意力機(jī)制；LSTM-ATT；股票預(yù)測(cè)

中圖分類(lèi)號(hào)：TP183;F832.5"" 文獻(xiàn)標(biāo)志碼：A

LSTM Model Stock Prediction Research Based on Attention Mechanism

TAO Yong-kang， ZHANG Guang-qiang， LI Peng

（School of Mathematics and Statistics， North China University of Water Resources and Electric Power， Zhengzhou 450046， China）

Abstract：With the continuous development of the investment market and the advent of the era of artificial intelligence， using the traditional investment methods of analyzing investment targets and predicting the future trend of investment targets can no longer meet the investment needs of fund managers. Long and short memory neural network （LSTM） in deep learning has certain advantages in dealing with long time series problems， so an LSTM model based on attention mechanism is proposed to predict the stock prices. Through the research and prediction of the stocks in the banking sector， the optimal time step is found to be 10， and by comparing the LSTM model with the LSTM-ATT model， it is verified that the LSTM-ATT model has higher prediction accuracy.

Key words：LSTM; attention mechanism; LSTM-ATT; stock prediction

長(zhǎng)期以來(lái)，股票價(jià)格預(yù)測(cè)一直是數(shù)學(xué)金融和計(jì)量經(jīng)濟(jì)學(xué)的核心內(nèi)容.然而，高度動(dòng)態(tài)特性使得股票市場(chǎng)指數(shù)和股票價(jià)格的預(yù)測(cè)非常困難.在過(guò)去，通常使用傳統(tǒng)模型（如：ARIMA）對(duì)股票價(jià)格進(jìn)行預(yù)測(cè)，但傳統(tǒng)模型需要對(duì)數(shù)據(jù)、基本分布以及影響數(shù)據(jù)的不同過(guò)程進(jìn)行假設(shè).盡管它們很好地?cái)M合了當(dāng)前數(shù)據(jù)，但是這些方法通常不適應(yīng)新的樣本外數(shù)據(jù).近幾年，隨著機(jī)器學(xué)習(xí)和深度學(xué)習(xí)理論的完善以及實(shí)踐應(yīng)用的快速發(fā)展，股票預(yù)測(cè)以及量化投資策略的重點(diǎn)已經(jīng)從傳統(tǒng)方法轉(zhuǎn)到機(jī)器學(xué)習(xí)和深度學(xué)習(xí)中.

2003年G Peter Zhang等［1］使用人工神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)股票，與傳統(tǒng)的ARIMA模型相比，人工神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)準(zhǔn)確率高于傳統(tǒng)的ARIMA模型.2008年D Senol等［2］在研究中，驗(yàn)證了在股票預(yù)測(cè)問(wèn)題上人工神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)準(zhǔn)確率優(yōu)于邏輯回歸模型.2015年Montri Inthachot［3］提出使用人工神經(jīng)網(wǎng)絡(luò)模型和支持向量機(jī)模型對(duì)泰國(guó)股市的交易數(shù)據(jù)進(jìn)行訓(xùn)練，說(shuō)明了人工神經(jīng)網(wǎng)絡(luò)對(duì)股票預(yù)測(cè)更加準(zhǔn)確.隨著人工神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)準(zhǔn)確率的提高，人工神經(jīng)網(wǎng)絡(luò)結(jié)合其他方法預(yù)測(cè)股票市場(chǎng)已經(jīng)被許多學(xué)者研究.2016年Yaqub MU等［4］對(duì)道瓊斯指數(shù)進(jìn)行預(yù)測(cè)研究，將ARMA模型和BP神經(jīng)網(wǎng)絡(luò)、多層感知機(jī)等模型結(jié)合起來(lái)進(jìn)行預(yù)測(cè)，相比單個(gè)模型的預(yù)測(cè)性能，混合模型的預(yù)測(cè)性能明顯提高.由于股票市場(chǎng)數(shù)據(jù)具有非線性和高維度的特點(diǎn)，且包含許多噪音，人工神經(jīng)網(wǎng)絡(luò)在這些數(shù)據(jù)上表現(xiàn)出不一致的結(jié)果［5］.2009年，李振東等［6］利用PCA主成分分析方法對(duì)股票數(shù)據(jù)進(jìn)行處理，提取股票特征及降維分析，之后利用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，PCA-BP模型性能及訓(xùn)練速度相比BP神經(jīng)網(wǎng)絡(luò)模型得到了提升.2018年，Zhou等［7］提出了一個(gè)通用框架，使用LSTM和CNN進(jìn)行對(duì)抗性訓(xùn)練，并構(gòu)建了生成式對(duì)抗性網(wǎng)絡(luò)（GAN）用于股票市場(chǎng)的高頻預(yù)測(cè).2019年，李勇［8］使用主成分分析方法對(duì)選股指標(biāo)進(jìn)行處理，并利用LSTM模型構(gòu)建了股票智能預(yù)測(cè)系統(tǒng)，模型預(yù)測(cè)效果得到提高.

在上述研究的基礎(chǔ)上，本文建立融入注意力機(jī)制LSTM的股票預(yù)測(cè)模型，探究改進(jìn)的LSTM對(duì)股票預(yù)測(cè)的影響.

3.2 模型參數(shù)設(shè)置

本文構(gòu)建兩個(gè)模型分別為L(zhǎng)STM和LSTM-ATT模型，均使用Keras框架進(jìn)行模型構(gòu)建與訓(xùn)練，實(shí)驗(yàn)采用Adam算法更新權(quán)重，將數(shù)據(jù)分批輸入模型，模型具體參數(shù)設(shè)置如表1和表2所列.

3.3 實(shí)驗(yàn)設(shè)計(jì)

為了驗(yàn)證本文提出的注意力機(jī)制LSTM模型的優(yōu)劣性，特設(shè)計(jì)以下實(shí)驗(yàn)方案：

實(shí)驗(yàn)一，驗(yàn)證不同時(shí)間步長(zhǎng)下的模型預(yù)測(cè)性能，找出預(yù)測(cè)模型最優(yōu)的時(shí)間步長(zhǎng).將對(duì)比時(shí)間步長(zhǎng)設(shè)置為3、5、10、20、50，共計(jì)5個(gè)時(shí)間步長(zhǎng)，利用基本的LSTM模型進(jìn)行預(yù)測(cè)，找到模型預(yù)測(cè)最優(yōu)的時(shí)間步長(zhǎng)；

實(shí)驗(yàn)二，驗(yàn)證同一時(shí)間步長(zhǎng)下加入注意力機(jī)制的LSTM模型預(yù)測(cè)性能.將股票交易數(shù)據(jù)輸入，分別使用LSTM模型和LSTM-ATT模型進(jìn)行股票預(yù)測(cè)實(shí)驗(yàn)，驗(yàn)證所提LSTM-ATT模型的性能.

3.4 實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)一將選取的銀行板塊的5只股票進(jìn)行模型訓(xùn)練，可以得出5只股票訓(xùn)練集與預(yù)測(cè)集的RMSE和MAE如表3-表7所列.通過(guò)表中結(jié)果可知，每個(gè)銀行在不同時(shí)間步長(zhǎng)下的RMSE和MAE，在時(shí)間步長(zhǎng)為10的情況下，每個(gè)銀行預(yù)測(cè)集的RMSE和MAE較小.實(shí)驗(yàn)一的結(jié)果符合預(yù)期，銀行板塊的股票上市較早，已經(jīng)發(fā)展成熟，所以時(shí)間步長(zhǎng)過(guò)小或者過(guò)大都會(huì)使得RMSE和MAE值偏大，時(shí)間步長(zhǎng)為10，為兩周的交易日，符合股票歷史值對(duì)股票預(yù)測(cè)的影響，經(jīng)過(guò)實(shí)驗(yàn)一確定適合銀行做LSTM訓(xùn)練與預(yù)測(cè)的時(shí)間步長(zhǎng)為10.

下面進(jìn)行模型二的訓(xùn)練與預(yù)測(cè)，通過(guò)對(duì)比兩個(gè)模型預(yù)測(cè)結(jié)果的RMSE和MAE值，驗(yàn)證本文添加注意力機(jī)制的LSTM神經(jīng)網(wǎng)絡(luò)的模型性能.每個(gè)銀行LSTM模型和LSTM-ATT模型的RMSE和MAE值如表8所列.可以看出民生銀行、浦發(fā)銀行、交通銀行、工商銀行在兩個(gè)模型中，LSTM-ATT模型的RMSE和MAE值均小于LSTM模型的RMSE和MAE值，而中國(guó)銀行在LSTM-ATT模型的RMSE值大于LSTM模型的RMSE值，而LSTM模型的MAE值為0.00385，LSTM-ATT模型的MAE值為0.00398，僅比LSTM模型高0.00013，每個(gè)銀行在兩個(gè)模型預(yù)測(cè)下的走勢(shì)圖如圖3-圖7所示.總體來(lái)看，本文構(gòu)建的注意力機(jī)制LSTM模型性能優(yōu)于LSTM模型的預(yù)測(cè)性能.

4 結(jié)論

本文提出了基于注意力機(jī)制的LSTM模型來(lái)預(yù)測(cè)股票價(jià)格，實(shí)驗(yàn)一證明時(shí)間步長(zhǎng)為10時(shí)，股票預(yù)測(cè)的效果最好.在實(shí)驗(yàn)二中，將時(shí)間步長(zhǎng)為10的信息作為輸入數(shù)據(jù)，第11天作為標(biāo)簽數(shù)據(jù)，在預(yù)測(cè)結(jié)果中，與LSTM模型相比，本文提出的LSTM-ATT模型提高了預(yù)測(cè)效果，具有一定的可行性和有效性.

參考文獻(xiàn)：

［1］ZHANG G P.Time series forecasting using a hybrid ARIMA and neural network model［J］.Neurocomputing，2003，50：159-175.

［2］ SENOL D，OZTURAN M.Stock price direction prediction using artificial neural network approach：the case of turkey［J］.Journal of Artificial Intelligence，2008，1（2）：70-77.

［3］ INTHACHOT M，BOONJING V，INTAKOSUM S.Predicting SET50 index trend using artificial neural network and support vector machine［C］//28th International Conference on Industrial，Engineering and Other Applications of Applied Intelligent Systems，Korea，IEA/AIE，2015：404-414.

［4］ YAQUB M U，Al-AHMADI M S.Application of combined arma-neural network models to predict stock prices［C］//Proceedings of The 3rd Multidisciplinary International Social Networks Conference on Social Informatics，New York，ACM， 2016，40：1-5.

［5］ SHEN WEI，GUO XIAOPEN，WU CHAO，et al.Forecasting stock indices using radial basis function neural networks optimized by artificial fish swarm algorithm［J］.Knowledge-based systems，2011，24：378-385.

［6］ 李振東，王振興.基于PCA-BP神經(jīng)網(wǎng)絡(luò)的股票價(jià)格預(yù)測(cè)［J］.現(xiàn)代農(nóng)業(yè)，2009（2）：89-90.

［7］ ZHOU XINGYU，PAN ZHISONG，HU GUYU，et al.Stock market prediction on high-frequency data using generative adversarial nets［J］.Mathematical Problems in Engineering，2018（1）：1-11.

［8］ 李勇.基于深度神經(jīng)網(wǎng)絡(luò)的股票智能預(yù)測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)［D］.西安：西北大學(xué)，2019.

［責(zé)任編輯：李 嵐］