數(shù)據(jù)多維處理LSTM股票價(jià)格預(yù)測模型

文寶石，顏七笙

(東華理工大學(xué)理學(xué)院，330013，南昌)

0 引言

股票市場一直受到投資者的青睞，股票價(jià)格的變化對投資者的收益有十分重大的影響，因此通過預(yù)測未來時刻股票價(jià)格進(jìn)行規(guī)避風(fēng)險(xiǎn)是股票研究的一項(xiàng)重要內(nèi)容[1]，隨著人工智能的不斷進(jìn)步，深度學(xué)習(xí)在經(jīng)濟(jì)學(xué)領(lǐng)域的優(yōu)異表現(xiàn)使其得到更為廣泛的研究與應(yīng)用。支持向量機(jī)(Support Vector Machine，SVM)[2]、邏輯回歸(Logistic Regression，LR)[3]、遺傳算法(Genetic Algorithm，GA)[4]、貝葉斯學(xué)習(xí)(Bayesian Learning，BL)[5]和卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)[6]等機(jī)器學(xué)習(xí)模型都應(yīng)用于股價(jià)預(yù)測中，文獻(xiàn)[7]通過采用貝葉斯正則化算法改進(jìn)傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)預(yù)測精度的提高和模型泛化能力的增強(qiáng)，文獻(xiàn)[8]通過主成分分析法和改進(jìn)果蠅算法對BP神經(jīng)網(wǎng)絡(luò)優(yōu)化，實(shí)現(xiàn)模型收斂速度和預(yù)測精度的提升。

隨著循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)[9]的發(fā)展，RNN被廣泛應(yīng)用于數(shù)據(jù)序列的預(yù)測，對時序數(shù)據(jù)分析表現(xiàn)出良好的適應(yīng)性，但研究表明，隨著工作時間的推移RNN在處理較長時間序列的數(shù)據(jù)時會忘記之前的狀態(tài)信息，導(dǎo)致網(wǎng)絡(luò)在優(yōu)化的過程中會發(fā)生梯度消失現(xiàn)象，也被稱作長期依賴問題。通過對RNN網(wǎng)絡(luò)單元結(jié)構(gòu)改進(jìn)提出的長短期記憶網(wǎng)絡(luò)(Long Short Term Memory Network，LSTM)[10]彌補(bǔ)了RNN長期記憶能力不足的問題。目前，LSTM網(wǎng)絡(luò)已經(jīng)成功應(yīng)用于語音識別、文本處理等領(lǐng)域，文獻(xiàn)[11]通過雙向長短期記憶網(wǎng)絡(luò)(BiLSTM)，對民航陸空通話進(jìn)行語音識別，有效降低通話語音識別的錯詞率。文獻(xiàn)[12]通過提出的C-LSTM模型，分別結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(CNN)和循環(huán)神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)，在文本分類問題中取得良好的預(yù)測效果。在金融時序數(shù)據(jù)問題的研究中，文獻(xiàn)[13]搭建不同層數(shù)和相同層數(shù)下不同隱藏神經(jīng)元個數(shù)的LSTM模型對蘋果股票價(jià)格進(jìn)行有效的預(yù)測。文獻(xiàn)[14]通過LSTM模型對標(biāo)準(zhǔn)普爾500指數(shù)金融數(shù)據(jù)進(jìn)行預(yù)測，相比隨機(jī)森林(RAF)、DNN和邏輯回歸分類(LOG)取得更好的預(yù)測結(jié)果。

針對股票的價(jià)格的非線性、隨機(jī)性等特征，充分考慮股價(jià)數(shù)據(jù)之間的時間相關(guān)性和數(shù)據(jù)之間的變化趨勢，結(jié)合信號處理技術(shù)，提出數(shù)據(jù)多維處理LSTM股價(jià)預(yù)測模型。選取2010年3月16日至2020年3月16日浦發(fā)銀行股價(jià)數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)對股票價(jià)格進(jìn)行回歸預(yù)測。首先通過數(shù)據(jù)多維處理，對股價(jià)數(shù)據(jù)進(jìn)行濾波[15]、差分和積分處理，得到反映股票價(jià)格數(shù)據(jù)自身變化趨勢的新數(shù)據(jù)，再通過數(shù)據(jù)組合形成多維處理的股價(jià)預(yù)測數(shù)據(jù)，然后建立數(shù)據(jù)多維處理LSTM股價(jià)預(yù)測模型。實(shí)驗(yàn)結(jié)果表明，該模型具有較高的預(yù)測精度和較強(qiáng)的學(xué)習(xí)能力，在股價(jià)預(yù)測問題上表現(xiàn)出重要的應(yīng)用價(jià)值。

1 模型基礎(chǔ)原理

LSTM(Long Short Term Memory Network，LSTM)是在傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)基礎(chǔ)上改進(jìn)的深度學(xué)習(xí)網(wǎng)絡(luò)，由德國學(xué)者Hochreiter和Schmidhuber于1997年提出。LSTM網(wǎng)絡(luò)在RNN結(jié)構(gòu)上引入一個新的狀態(tài)單元Ct，解決RNN梯度爆炸或梯度消失導(dǎo)致的長期依賴問題，在處理較長時間序列數(shù)據(jù)時表現(xiàn)良好。

LSTM與普通神經(jīng)網(wǎng)絡(luò)一樣，結(jié)構(gòu)上由輸入層、隱藏層和輸出層組成，同時LSTM又是一種特殊的RNN，隱藏層由一個或多個記憶單元組成，每個記憶單元通過遺忘門、輸入門和輸出門進(jìn)行控制。LSTM單元結(jié)構(gòu)如圖1所示。

圖1 LSTM單元結(jié)構(gòu)

ft=σ(Wf·[ht-1,xt]+bf)

(1)

it=σ(Wi·[ht-1,xt]+bi)

(2)

(3)

(4)

ot=σ(Wo·[ht-1,xt]+bo)

(5)

ht=ot。tanh(Ct)

(6)

2 建立股價(jià)預(yù)測模型

2.1 股價(jià)數(shù)據(jù)準(zhǔn)備

2.1.1 數(shù)據(jù)采集 選取滬深交易所上市A股中浦發(fā)銀行(股票編號為600000)的股價(jià)數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)，該數(shù)據(jù)來自于CSMAR數(shù)據(jù)庫，其中采集了2010年3月16日至2020年3月16日的相關(guān)股價(jià)信息數(shù)據(jù)，原始股價(jià)數(shù)據(jù)的部分?jǐn)?shù)據(jù)見表1。

表1 原始股價(jià)數(shù)據(jù)

據(jù)表1可知，浦發(fā)銀行股價(jià)數(shù)據(jù)更新頻率為1 d/次，股價(jià)數(shù)據(jù)主要特征見表2。

表2 股價(jià)數(shù)據(jù)主要特征

2.1.2 數(shù)據(jù)預(yù)處理 首先，清洗數(shù)據(jù)，清洗股票數(shù)據(jù)中對預(yù)測過程無用的重復(fù)值，把數(shù)據(jù)中的重復(fù)值證券代碼“600000”特征刪去；通過插值等方法對原始數(shù)據(jù)中存在的缺測值進(jìn)行填充，調(diào)整數(shù)據(jù)中亂序排列的數(shù)據(jù)順序；將交易日期作為時間特征便于數(shù)據(jù)查詢索引。

然后，歸一化輸入變量，選取表2中最后5個股票數(shù)據(jù)特征作為輸入變量，觀察表1可知，不同的股價(jià)數(shù)據(jù)特征具有不同的量綱和量綱單位，未歸一化的變量數(shù)據(jù)將對模型預(yù)測產(chǎn)生不利影響，通過樣本數(shù)據(jù)歸一化的措施，解決股價(jià)要素之間可比性問題，加快LSTM訓(xùn)練速度，減少誤差輸出，本文選定樣本數(shù)據(jù)歸一化取值范圍在[0，1]之間，歸一化數(shù)學(xué)表達(dá)式為：

(7)

式中：max為清洗后樣本數(shù)據(jù)中各股價(jià)特征的最大值，min為清洗后樣本數(shù)據(jù)中各股價(jià)特征的最小值。

最后，通過數(shù)據(jù)拼接將時間序列數(shù)據(jù)轉(zhuǎn)化為有監(jiān)督數(shù)據(jù)，本文選定輸入是t時刻各股價(jià)特征相關(guān)數(shù)據(jù)，輸出t+1是時刻的股票價(jià)格。

2.2 股價(jià)預(yù)測模型

本文以股價(jià)預(yù)測為例，提出數(shù)據(jù)多維處理LSTM股價(jià)預(yù)測模型的構(gòu)建方法。首先對收集的原始股價(jià)數(shù)據(jù)預(yù)處理，然后通過數(shù)據(jù)的多維處理得到組合數(shù)據(jù)，再結(jié)合LSTM模型對訓(xùn)練樣本進(jìn)行訓(xùn)練，最后通過訓(xùn)練好的LSTM模型對樣本數(shù)據(jù)進(jìn)行測試。

2.2.1 數(shù)據(jù)多維處理 股價(jià)的非線性和不穩(wěn)定性使股價(jià)預(yù)測變得復(fù)雜和困難，數(shù)據(jù)的多維處理是對實(shí)驗(yàn)樣本數(shù)據(jù)通過濾波、差分及積分處理后組合形成新的組合實(shí)驗(yàn)數(shù)據(jù)，充分利用數(shù)據(jù)時間相關(guān)性和自身變化趨勢，降低實(shí)驗(yàn)樣本數(shù)據(jù)中的噪聲干擾，提升不同特征數(shù)據(jù)之間相互關(guān)聯(lián)的有效信息，保證后續(xù)LSTM網(wǎng)絡(luò)的訓(xùn)練和預(yù)測，使模型得到更精準(zhǔn)的預(yù)測結(jié)果。

由于復(fù)雜的市場動態(tài)，部分?jǐn)?shù)據(jù)中含有不經(jīng)常的噪聲，股票價(jià)格的微小幅度波動十分頻繁，從股票定量分析的角度出發(fā)，股票價(jià)格短期小范圍的微小波動并不能作為股票長期價(jià)格走勢的依據(jù)，因此本文選用巴特沃斯濾波器對數(shù)據(jù)進(jìn)行濾波處理[16]，這種濾波器最先由英國工程師斯蒂芬·巴特沃斯(Stephen·Butterworth)在1930年發(fā)表在英國《無線電工程》期刊的一篇論文中提出。一方面，巴特沃斯濾波器的特點(diǎn)是通頻帶的頻率響應(yīng)曲線最平滑；另一方面，可以減少經(jīng)濟(jì)學(xué)外圍信息產(chǎn)生的誤差影響。巴特沃斯濾波器在線性相位、衰減斜率和加載特性3個方面具有特性均衡的優(yōu)點(diǎn)，因此在實(shí)際使用中已被列為首選，得到了廣泛應(yīng)用。股價(jià)數(shù)據(jù)濾波圖像和頻譜圖像如圖2、圖3。

圖2 股價(jià)數(shù)據(jù)濾波處理圖像

圖3 股價(jià)數(shù)據(jù)頻譜圖像

股票價(jià)格變化趨勢的預(yù)測對模型預(yù)測結(jié)果精度有重要的影響，經(jīng)過差分法處理的數(shù)據(jù)可以保留高頻，減少低頻，相位置前，而經(jīng)過積分處理的數(shù)據(jù)可以保留低頻，減少高頻，相位置后。股價(jià)數(shù)據(jù)的差分、積分和原始圖像如圖4～圖6所示，由于實(shí)驗(yàn)樣本數(shù)據(jù)量過大，選取前100個樣本數(shù)據(jù)作為展示數(shù)據(jù)，數(shù)據(jù)圖像展示均值為0，方差為1的數(shù)據(jù)處理圖像。

圖4 股價(jià)數(shù)據(jù)差分處理圖

圖5 股價(jià)數(shù)據(jù)積分處理圖

圖6 股價(jià)數(shù)據(jù)原始數(shù)據(jù)圖

(8)

式中：w2是連接LSTM網(wǎng)絡(luò)與輸出層的權(quán)重，ht可通過式(6)得出，b是輸出層的偏置。

圖7 LSTM預(yù)測模型結(jié)構(gòu)圖

浦發(fā)銀行的股價(jià)數(shù)據(jù)每個交易日更新一次，因此預(yù)測模型根據(jù)過去1個交易日的輸入股價(jià)特征情況，預(yù)測未來1個交易日的股票價(jià)格。

數(shù)據(jù)多維處理LSTM股價(jià)預(yù)測模型結(jié)構(gòu)如圖8所示。

圖8 數(shù)據(jù)多維處理LSTM股價(jià)預(yù)測模型

3 實(shí)驗(yàn)結(jié)果與分析

本文選取滬深交易所上市A股中的浦發(fā)銀行股價(jià)數(shù)據(jù)作為實(shí)驗(yàn)樣本數(shù)據(jù)對模型進(jìn)行訓(xùn)練和測試，對浦發(fā)銀行未來8個月每天的下一個交易日的股票價(jià)格進(jìn)行預(yù)測。

3.1 模型評估指標(biāo)

為評估模型的性能和預(yù)測精度，本文根據(jù)股票預(yù)測價(jià)格和股票實(shí)際價(jià)格，選取均方根誤差RMSE、平均絕對誤差MAE和平均絕對百分比誤差MAPE作為模型的評估指標(biāo)，計(jì)算公式分別如下：

(9)

(10)

(11)

3.2 模型實(shí)驗(yàn)結(jié)果與分析

本文將數(shù)據(jù)多維處理算法和長短期記憶網(wǎng)絡(luò)(LSTM)相結(jié)合組成股價(jià)預(yù)測模型，該模型訓(xùn)練和測試對比結(jié)果如圖9、圖10所示。由于實(shí)驗(yàn)樣本數(shù)據(jù)量過大，為更好地展示模型訓(xùn)練輸出結(jié)果，選取與測試數(shù)據(jù)相連接的8個月連續(xù)股票價(jià)格數(shù)據(jù)作為訓(xùn)練輸出結(jié)果展示數(shù)據(jù)。為驗(yàn)證數(shù)據(jù)多維處理后的LSTM模型性能更優(yōu)，實(shí)驗(yàn)過程中分別使用數(shù)據(jù)多維處理LSTM股價(jià)預(yù)測模型和LSTM股價(jià)預(yù)測模型對實(shí)驗(yàn)樣本數(shù)據(jù)進(jìn)行訓(xùn)練及測試，LSTM股價(jià)預(yù)測模型訓(xùn)練和測試對比結(jié)果如圖11、圖12所示，2組模型預(yù)測效果對比結(jié)果如圖13所示。由于測試數(shù)據(jù)量較多，為更清晰地展示模型預(yù)測對比效果，選取其中50個連續(xù)的股價(jià)數(shù)據(jù)作為展示數(shù)據(jù)。

圖9 數(shù)據(jù)多維處理LSTM模型訓(xùn)練輸出對比結(jié)果

圖10 數(shù)據(jù)多維處理LSTM模型測試輸出對比結(jié)果

圖11 LSTM模型訓(xùn)練輸出對比結(jié)果

圖12 LSTM模型測試輸出對比結(jié)果

圖13 數(shù)據(jù)多維處理LSTM模型和LSTM模型測試輸出對比結(jié)果

由圖9和圖11可以看出，數(shù)據(jù)多維處理LSTM股價(jià)預(yù)測模型相比LSTM股價(jià)預(yù)測模型的訓(xùn)練輸出結(jié)果與實(shí)際股價(jià)數(shù)據(jù)更接近，與真實(shí)數(shù)據(jù)曲線更貼合，由圖10和圖12可以看出，數(shù)據(jù)多維處理LSTM股價(jià)預(yù)測模型相比LSTM股價(jià)預(yù)測模型的測試輸出結(jié)果與實(shí)際股價(jià)數(shù)據(jù)更接近，與真實(shí)數(shù)據(jù)曲線更貼合，圖13更清晰地展現(xiàn)2組模型的測試輸出對比結(jié)果，本文提出的數(shù)據(jù)多維處理LSTM股價(jià)預(yù)測模型在股價(jià)預(yù)測上的精度高于LSTM股價(jià)預(yù)測模型。

LSTM股價(jià)預(yù)測模型在預(yù)測股價(jià)變化趨勢上能夠與實(shí)際股價(jià)變化趨勢基本一致，表明LSTM模型適用于股價(jià)預(yù)測，相比之下，本文提出的數(shù)據(jù)多維處理LSTM股價(jià)預(yù)測模型得到的預(yù)測結(jié)果與實(shí)際值擬合得更好，預(yù)測精度更高，曲線更貼合，尤其是在股票價(jià)格波動較大的數(shù)據(jù)處理時，得到的預(yù)測結(jié)果與真實(shí)股價(jià)數(shù)據(jù)變化趨勢更加一致。

表3列出實(shí)驗(yàn)得到的數(shù)據(jù)多維處理LSTM股價(jià)預(yù)測模型和LSTM股價(jià)預(yù)測模型的RMSE、MAE和MAPE的值。

表3 數(shù)據(jù)多維處理LSTM模型與LSTM模型股價(jià)預(yù)測的測試誤差對比

由表3可知，數(shù)據(jù)多維處理LSTM股價(jià)預(yù)測模型的RMSE、MAE和MAPE的值均小于LSTM股價(jià)預(yù)測模型，說明經(jīng)過數(shù)據(jù)多維處理的LSTM模型預(yù)測精度有較大幅度的提升，與LSTM股價(jià)預(yù)測模型相比，均方根誤差RMSE降低90.81%，平均絕對誤差MAE降低91.65%和平均絕對百分比誤差MAPE降低87.81%，可以發(fā)現(xiàn)組合后的模型預(yù)測性能高于單一模型預(yù)測性能。說明數(shù)據(jù)多維處理LSTM股價(jià)預(yù)測模型的預(yù)測精度更高，預(yù)測的股票價(jià)格與實(shí)際股票價(jià)格之間的誤差更小。

綜上表明，數(shù)據(jù)多維處理LSTM股價(jià)預(yù)測模型，擬合精度更高，預(yù)測效果更好，誤差更低。

3.3 與其他模型對比結(jié)果與分析

為進(jìn)一步檢驗(yàn)數(shù)據(jù)多維處理LSTM股價(jià)預(yù)測模型的優(yōu)越性，選取數(shù)據(jù)多維處理LSTM股價(jià)預(yù)測模型、ARMA股價(jià)預(yù)測模型和在螢火蟲算法優(yōu)化下的最小二乘支持向量機(jī)(FA-LSSVM)股價(jià)預(yù)測模型的股價(jià)預(yù)測結(jié)果做對比，同樣使用浦發(fā)銀行的股價(jià)數(shù)據(jù)作為實(shí)驗(yàn)樣本數(shù)據(jù)對模型進(jìn)行訓(xùn)練和測試，對浦發(fā)銀行未來8個月每天的下一個交易日的股票價(jià)格進(jìn)行預(yù)測，ARMA股價(jià)預(yù)測模型的訓(xùn)練和測試輸出對比結(jié)果如圖14、圖15所示，F(xiàn)A-LSSVM股價(jià)預(yù)測模型的訓(xùn)練和測試輸出對比結(jié)果如圖16、圖17所示。為更好地展示模型訓(xùn)練輸出對比結(jié)果，選取與測試數(shù)據(jù)相連接的8個月連續(xù)股票價(jià)格數(shù)據(jù)作為ARMA模型和FA-LSSVM模型訓(xùn)練輸出結(jié)果展示數(shù)據(jù)。數(shù)據(jù)多維數(shù)據(jù)處理LSTM模型與其他模型股價(jià)預(yù)測效果對比結(jié)果如圖18所示。由于測試數(shù)據(jù)量較多，為更清晰地展示模型預(yù)測對比效果，選取其中50個連續(xù)的股價(jià)數(shù)據(jù)作為展示數(shù)據(jù)。

由圖14～圖17對比圖9和圖10可以看出，數(shù)據(jù)多維處理LSTM股價(jià)預(yù)測模型比ARMA股價(jià)預(yù)測模型和FA-LSSVM股價(jià)預(yù)測模型的訓(xùn)練輸出對比結(jié)果和測試輸出對比結(jié)果更接近于實(shí)際股價(jià)數(shù)據(jù)，與真實(shí)數(shù)據(jù)曲線更加貼合。圖18更清晰地展現(xiàn)數(shù)據(jù)多維處理LSTM股價(jià)預(yù)測模型和其他2種股價(jià)預(yù)測模型的測試輸出對比結(jié)果。本文提出的數(shù)據(jù)多維處理LSTM模型在股票價(jià)格預(yù)測結(jié)果與實(shí)際股票價(jià)格數(shù)據(jù)曲線擬合效果上明顯更優(yōu)于ARMA模型和FA-LSSVM模型。在股價(jià)波動較大的數(shù)值預(yù)測時，ARMA模型和FA-LSSVM模型沒有得到很好的預(yù)測結(jié)果，數(shù)據(jù)多維處理LSTM模型的股價(jià)預(yù)測值與實(shí)際股價(jià)非常接近，對股價(jià)變化趨勢和股價(jià)波動較大數(shù)據(jù)的預(yù)測時，預(yù)測結(jié)果與真實(shí)數(shù)據(jù)擬合效果表現(xiàn)得更好。

圖14 ARMA模型訓(xùn)練輸出對比結(jié)果

圖15 ARMA模型測試輸出對比結(jié)果

圖16 FA-LSSVM模型訓(xùn)練輸出對比結(jié)果

圖17 FA-LSSVM模型測試輸出對比結(jié)果

圖18 數(shù)據(jù)多維處理LSTM模型、ARMA模型和FA-LSSVM模型測試輸出對比結(jié)果

表4列出實(shí)驗(yàn)得到的數(shù)據(jù)多維處理LSTM股價(jià)預(yù)測模型、ARMA股價(jià)預(yù)測模型和FA-LSSVM股價(jià)預(yù)測模型的RMSE、MAE和MAPE的值。

表4 數(shù)據(jù)多維處理LSTM模型、ARMA模型和FA-LSSVM模型股價(jià)預(yù)測的測試誤差對比

由表4可知，數(shù)據(jù)多維處理LSTM股價(jià)預(yù)測模型的誤差最小，模型性能最優(yōu)越，與ARMA股價(jià)預(yù)測模型和FA-LSSVM股價(jià)預(yù)測模型相比，均方根誤差RMSE分別減小92.74%和94.72%，平均絕對誤差MAE分別減小93.13%和95.28%，平均絕對百分比誤差MAPE分別減小93.23%和95.34%。因此本文構(gòu)建的數(shù)據(jù)多維處理LSTM股價(jià)預(yù)測模型能夠更好地描述股價(jià)動態(tài)和非線性變化，在股價(jià)預(yù)測上表現(xiàn)出一定的應(yīng)用價(jià)值。

4 結(jié)束語

本文以浦發(fā)銀行股票價(jià)格預(yù)測為實(shí)例，構(gòu)建數(shù)據(jù)多維處理LSTM股票價(jià)格預(yù)測模型并進(jìn)行預(yù)測和結(jié)果分析，實(shí)驗(yàn)結(jié)果表明與LSTM、ARMA和FA-LSSVM模型相比，數(shù)據(jù)多維處理LSTM股價(jià)預(yù)測模型預(yù)測精度更高，預(yù)測結(jié)果與實(shí)際股價(jià)數(shù)據(jù)的誤差值更小，學(xué)習(xí)能力更佳，有效地解決了非線性和局部極小的問題。因此，表明數(shù)據(jù)多維處理LSTM股票價(jià)格預(yù)測模型具有實(shí)用性和優(yōu)越性，但是模型還有進(jìn)一步的改進(jìn)空間，影響股票價(jià)格的因子有很多，在市場大規(guī)模周期性變化、重大經(jīng)濟(jì)政策新聞發(fā)布和重大疫情突然出現(xiàn)等外圍經(jīng)濟(jì)學(xué)因素的影響下，可以適當(dāng)調(diào)整模型因子數(shù)量和類型，提升模型的預(yù)測性能，為投資者帶來更有價(jià)值的參考數(shù)據(jù)。