基于LSTM神經網絡的短期價格趨勢預測①

鄧飛燕,岑少琪,鐘鳳琪,潘家輝

(華南師范大學 軟件學院,佛山 528225)

1 引言

1.1 研究背景

隨著經濟全球化的發展,美股市場愈發受到我國投資者的青睞,伴隨著金融市場的發展和強烈需求,股票價格趨勢預測倍受學術界、業界關注.眾所周知,投資股票具有高收益的同時,也伴隨著高風險,而影響股市波動的內外因素眾多且難以量化,處理海量、繁雜的股票數據工程量大,所以傳統的非人工智能的方法在股票價格預測上往往不盡如人意.因此,如何利用大數據技術去發掘股票中隱含的眾多有價值的信息,運用LSTM 等神經網絡技術進一步解決股票價格趨勢預測的問題,具有非常重要的意義.

1.2 研究現狀

長短期記憶網絡(Long Short-Term Memory,LSTM)在時間序列上具有優異的表現,LSTM 神經網絡的時間序列和選擇記憶性等特性非常適用于股票價格隨機的時間序列預測,可以從大量復雜的股票歷史數據中選擇性學習有用的隱藏信息,進而輔助決策[1].

1997年,Hochreiter和Schmidhuber[2]通過對無法刻畫時間序列長記憶性的RNN 進行改造,提出了LSTM模型.2015年,Chen 等[3]采用LSTM 對中國股市的收益率進行預測.2016年,Jia 等[4]驗證了LSTM在預測股票價格走勢上具有有效性.

在國內,2016年孫瑞奇[5]使用LSTM 對美股股指進行預測,并與BP 神經網絡和傳統RNN 模型做對比,證實了LSTM的預測準確度更高,獲得了較低的誤差均值:0.783%股指.鄧鳳欣等[6]利用LSTM 模型對美港股票中市值較大的4 支股票進行預測,得出4 支個股價格趨勢預測的RMSE 均處于(0,0.1)的區間內,預測結果顯著.認為LSTM在美港股市中具有較好的適用性,但從實驗結果上看存在著部分的時滯效應,主要是作為一種案例分享而并未進行深入探討.2019年,方紅等[7]提出了一種基于LSTM的改進型股票預測方法,多維輸入預測的輸出結果為acc=0,lag=12,提高了預測準確度,并改善了預測的滯后性.

根據研究表明,LSTM 神經網絡對未來股票的價格趨勢有一定的預測能力,但沒有關于短期價格趨勢預測的研究,比如短期價格趨勢預測中日數據、周數據兩種不同數據集對LSTM 神經網絡的預測效果影響的研究.面對這些問題,基于LSTM 神經網絡對周數據與日數據集這兩個短期趨勢預測效果對比的實證研究具有一定重要的現實意義[8].

2 股票價格趨勢預測基本原理與實現

2.1 LSTM 模型結構及原理

LSTM結構采用控制門的機制,由記憶細胞、輸入門、輸出門、遺忘門組成.LSTM 模型的各個控制門的計算原理如下[9]:

(1)輸入門:記憶現在的某些信息.計算輸入門it的值和在t時刻輸入細胞的候選狀態值at:

其中,Wi,Wc代表相應的權重,bi與bc代表相應的偏置.

(2)遺忘門:控制舍去哪些信息.計算在t時刻遺忘門的激活值ft:

其中Wf,bf分別表示遺忘門的權重和偏置,σ表示Sigmoid函數.

(3)細胞狀態更新:根據輸入門和遺忘門的計算結果,對細胞狀態進行更新,從而得出t時刻的細胞狀態更新值Ct:

(4)輸出門:控制決定哪些信息需要輸出.根據計算得到的細胞狀態更新值Ct,可以得到輸出門的計算公式:

其中,W0和b0代表輸出門的權重和偏置,ht為當前單元的輸出值.

2.2 LSTM 股票價格趨勢預測模型搭建

在Windows 操作系統下搭建CPU 版本的Keras 框架.Keras 框架具有模塊化、簡單、易擴展等優點.因此,實驗采用Keras 進行模型搭建.其模型訓練步驟如下:

(1)數據預處理:為避免亂序,需進行排序,獲得規整的股票數據集.

(2)數據降噪:因市場動態非常復雜,這些數據含有不經常的噪聲,所以采用Python中的Pywt 庫進行小波變換去除數據噪聲,圖1和圖2是AAON 股票小波變換前后對比圖.

圖1 小波變換前

圖2 小波變換三層分解后

(3)數據歸一化:由于收盤價和交易量等參數同時作為特征值輸入,取值范圍相差較大,需避免數值過大的交易量對預測結果的影響過大,需要進行歸一化處理,將數據的范圍處理并控制在0 到1 之間,數據歸一化的公式如下:

其中,x和y為轉換前與轉換后的值,MaxValue是樣本的最大值,MinValue是樣本的最小值.

(4)數據分類:開始訓練前,將數據集劃分為訓練集和測試集,訓練集占85%,測試集占15%.

(5)訓練模型:選取最低價(low)、最高價(high)、收盤價(open)、開盤價(close)以及交易量(volume)作為特征數據輸入,配置LSTM 模型的訓練參數.配置完畢后,調用模型訓練函數.訓練完后,將訓練好的模型存入saved_models 文件夾中,使用時可直接加載文件夾中保存的模型文件,節省訓練模型的時間.

(6)股票預測:采用多序列預測方法進行股票預測,并將預測結果進行存儲.

(7)模型評估:采用后述第2.4 章節的模型評估方法,計算評估指標.

(8)參數優化:運用控制變量法,對不同參數選取適當的取值范圍,在訓練的過程中不斷調整參數,直至模型的預測效果最佳.

經過多次調參及優化,使AAON 股票預測準確率從55%提高到69%,其改進前后預測結果如圖3、圖4所示,得到的最終模型結構及各項參數為:測試窗口序列長度為55,Sequential 模型包括3 層LSTM 層,各層的神經元個數分別為100、100、150,為避免過擬合,增加2 層Dropout 層,Dropout為0.2,輸入數據維度為5,加入Dense 層將其維度聚合為1,激活函數為linear,損失函數定為均方差(Mean Squared Error,MSE),優化算法采用Adam,模型采用2個epochs,每個batch的大小為32,得到的最終模型結構及參數設置詳情分別如圖5、表1、表2所示.

圖3 模型改進前預測結果

圖4 模型改進后預測結果

圖5 基于LSTM的短期價格趨勢預測模型層次結構

表1 模型參數設置詳情

表2 模型結構及其參數

2.3 股票預測方法

本文搭建的股票價格預測模型采用多序列預測的方式.首先將測試數據初始化為一定序列長度的測試窗口,預測下一個點收盤價;將預測得到的這個點收盤價加入到窗口中,生成相同序列長度的新窗口,循環往復.當窗口中的數據全部由過去預測點組成時停止,再以一個完整窗口長度向前移動,用真實測試數據重置窗口,再重新啟動該過程.

相比完全序列預測,多序列預測避免了一直使用過去的錯誤預測結果進行下一步預測,可以有效提高預測準確率.

2.4 模型評估方法

模型的預測性能評價指標采用準確率(Accuracy)、精確率(Precision)、召回率(Recall)、F1 值.其計算流程如下:

首先,計算收盤價漲幅,判斷漲跌,公式如下:

根據漲幅正負值信息判斷股票收盤價漲跌,若漲幅大于0,則為股票上漲并設置標簽為1,否則為0.通過這種方法可以實現股價漲跌預測[10].

根據樣本的真實結果和模型預測結果,將樣本分為TP(樣本與模型預測結果均為正類的個數)、FN(樣本為正類,預測結果為負類的個數)、FP(樣本為負類,預測結果為正類的個數)、TN(樣本與模型預測結果均為負類的個數)4 類.

具體計算公式如下:

模型評估的具體流程如圖6所示.

圖6 模型評估流程圖

3 實驗和結果

3.1 不同算法對比實驗

實驗選取1998年1月9日至2019年5月31日的AAON 股票日數據為例進行研究,預測第2日收盤價漲跌趨勢.數據特征屬性為收盤價、開盤價、最高價、最低價、交易量,對數據進行插值排序、降噪、歸一化操作,建立前述LSTM 模型、并與支持向量機(SVM)、隨機森林(random forest)模型進行對比實驗.股票預測方法選取逐點預測方法.

1998年1月9日至2019年5月31日的AAON股票日數據共計5383 條,其中85% 作為訓練數據,15%作為測試數據,LSTM 模型以前述2.2 章節參數設置進行實驗.實驗結果如表3所示:LSTM 模型各項評估指標均高于SVM、隨機森林.可見,本文改進后的LSTM 模型預測效果優于其他模型.

3.2 周數據與日數據預測效果對比實驗

(1)實驗對象:美國納斯達克股票市場10 支股票,其代碼分別為AAON、ABMD、ACHC、ACHV、ACIW、ACNB、AXAS、EGHT、SRCE、AXDX,數據特征屬性為收盤價、開盤價、最高價、最低價、交易量.

(2)數據下載:利用pandas_datareader中的data 程序包下載上述10 支股票的日數據,周數據下載使用Alpha Vantage API key的URL 地址進行爬取.時間范圍統一為1998年1月9日至2019年5月31日,得到日數據每支股票的數據總量為5383 條,周數據每支股票數據總量為1117 條.

(3)實驗流程:按照數據下載、數據預處理、數據降噪、數據歸一化、數據分類、LSTM 模型訓練、股票預測、模型評估、記錄實驗結果這幾個步驟完成.

具體實驗流程如圖7所示.

表3 不同模型評估指標對比表

圖7 實驗流程圖

(4)預測效果對比分析:周數據與日數據均以前述第2.2 節參數設置進行實驗,其中85%的數據劃分為訓練集,剩余15%劃分為測試集,按照前述實驗流程進行實驗,股票預測結果如表4和表5所示.

2019年,謝琪等[11]使用多支指數的日數據進行測試多層LSTM 神經網絡的預測性能,實驗結果顯示平均準確率為47.33%,平均精確率為49.83%,平均召回率為63.5%,平均F1 值為55.5%.與本實驗相比,其采用的是指數日數據集進行預測,但預測效果表現不佳.通過表6和圖8可發現,與日數據相比,周數據的各項指標均高于日數據,其中日數據的平均準確率為52.8%,而周數據的平均準確率為58%,實證說明在短期價格趨勢預測中,與日數據相比,周數據的預測效果表現更優,使用周數據訓練LSTM 模型,股票預測準確率有望進一步提高[10].

表4 周數據預測結果表

表5 日數據預測結果表

表6 周數據與日數據評估指標對比表

圖8 周數據與日數據評估指標對比圖

4 總結

本文在LSTM 模型的基礎上進行了模型結構改進及參數優化,使得模型預測準確率提升10%以上,預測效果表現優于SVM、隨機森林.同時本文還隨機選取了10 支美股數據,進行了短期價格趨勢預測中的周數據與日數據對LSTM 模型預測效果對比實證研究,研究結果表明周數據預測效果更佳.對比其他文獻研究,大部分研究者使用日數據或者更高頻的數據,而較少使用周數據對股票進行預測.

在本次股票價格趨勢預測模型上,不同的股票數據會對預測效果產生不同影響,因此數據集的選擇也非常重要.根據本實驗結果,說明周數據更適合用于股票預測.下一步的工作:本文只從收盤價、開盤價、最高價、最低價、交易量5個特征數據進行股票預測,股票預測的特征數據還可以增加其他數據,比如股市資金情緒特征、技術指標等,使用更多的特征數據進行股票預測,有望進一步提高股票預測的準確率.