長短期記憶模型在股票價格趨勢預測應用研究

黃子建，劉媛華

（上海理工大學 管理學院，上海 200093）

一、引言

股票是證券市場當中一個至關重要的組成部分。經濟、政治、公司的經營狀況、市場人氣等多方面因素反應在了不規律性的股票價格走勢上。總體來說，股票市場是一個高度復雜的非線性動態系統。風險同樣意味著回報，為了能夠在這樣一個股票市場當中謀求利益，預測其變化趨勢就顯得十分關鍵。有效市場理論指出，證券價格呈現隨機游走特征，因此技術分析和擲骰子選出的股票，最終表現相差無幾。大量分析卻發現股票價格波動具有長期記憶性，拒絕了隨機游走假設，即股市漲跌存在自身的規律，無論長期和短期都存在著可預測的成分，因而技術分析是有用的，通過采用相應策略，投資者可以獲得超常利潤[1]。

近代學者們研究出了一系列股票分析方法用以預測股票價格：技術分析法、基本面分析與心理分析等等的方法。這些列舉的方法絕大多數都是針對于線性模型，這對于股票價格短期的走勢預測效果不是很理想，商品的價格序列為非線性、非平穩的，上述模型不能很好地抓住商品價格非線性的特點，從而導致預測的效果并不理想。面對傳統計量經濟模型的缺陷，有學者開始采用BP 神經網絡的方法來對股票價格的序列進行預測研究。結果顯示BP神經網絡可以很好地抓取商品價格非線性的特點，從而使得預測效果得到大大提升。然而，BP 神經網絡在訓練的過程中卻沒有體現股票價格先后的時序關系，這在股票價格預測理論上具有很大的缺陷。此后，學者們提出了循環神經網絡（RNN），然而，RNN 在處理實際問題時經常會面臨梯度消失的情況。1997 年Hochreiter 和Schmidhuber 提出了長短期記憶模型（LSTM），用于克服RNN 梯度消失的問題。

二、長短期記憶模型介紹

長短期記憶模型由Schmidhuber 等人在1997年提出，簡稱LSTM。LSTM 的基本思路是基于生成通過時間的路徑，使得導數既不消失也不會爆炸從而解決RNN 存在的梯度消失問題。具有長短期記憶的遞歸神經網絡已經成為與順序數據相關的若干學習問題的有效且可擴展的模型。解決這些問題的早期方法要么針對特定問題進行了定制，要么不能擴展到長時間的依賴性。另一方面，LSTM 在捕獲長期時間依賴性方面是通用且有效的。它們不會受到困擾簡單復發網絡（SRN）[2]的優化障礙的困擾，并且已被用于推進許多困難問題的最新技術。這包括手寫識別[3]和生成[4]，語言建模[5]和翻譯[6]，語音聲學建模[7]，語音合成[8]等。

LSTM 的網絡結構由記憶細胞、輸入輸出門以及遺忘門構成，如圖1 所示。LSTM 結構體中不僅有外部的RNN 循環，在內部還有自循環。這使得LSTM網絡與普通循環網絡相比有更多的參數和控制信息流動的門控系統。

圖1 LSTM 網絡框圖

細胞之間循環鏈接代替隱藏單元。如果sigmoid輸入門允許，那么他可以將輸入值x（t）累加到狀態。狀態單元內的自環由遺忘門f（t）控制權重Wf。所有的門控單元都由sigmoid 單元控制權重。狀態值也同樣作為門控的額外輸入。

其中xj是當前t 時刻的輸入值，hj是當前隱藏層的輸入值，b、U 和W 為LSTM 細胞當中的偏置量、輸入權重和輸出權重；

更新當前時刻的狀態值：

LSTM 細胞的內部狀態更新：

其中b、U 和W 為輸出門的偏置、輸入權重與循環權重。

大多數現代研究都包含了自LSTM 原始配方以來對LSTM 架構所做的許多改進[9]。然而，LSTM 現在應用于許多學習問題，這些問題在規模和性質上與最初測試這些改進的問題顯著不同。缺少對包含LSTM 的各種計算組件（見圖1）的效用的系統研究。2017 年Nelson 采用LSTM 神經網絡根據歷史價格以及技術分析指標來預測股票的價格。相較于以前的人工智能算法，LSTM 的預測能力得到了顯著的提升[10]。

三、模型搭建與數據處理

本文實驗數據來源于英為財情（Investing）官方網站，節選了亞馬遜公司（Amazon，NASDAQ：AMZN）自1999 年1 月至2019 年8 月總計2 710 條股票價格數據，其中包括了開盤價、最高最低價、成交量、收盤價等的時序數據。

由于數據存在著缺損或者日期亂序的情況，對數據進行預處理時，將股票價格數據重新排序并對部分缺失值進行插值；出于時序數據存在噪聲的考慮，通過小波變換去除數據內噪聲，從而得到了可以用于操作的時序數據。再將日期序列進行解析后設置為索引。考慮到交易量的數量級過大，將其與股票價格數據同時作為特征值輸入時會帶來量級上的差距，此處對數據進行歸一化處理，在模型訓練完成后需將其還原。

進一步將股票時間序列數據集構造為一個有監督學習的數據集，每列由時間步長與變量名命名，滯后的時間步長這里設為1。由于預測對象為收益率，刪去其余不需要預測的變量得到了新的數據集。

表1 預處理歸一化之后的數據集

實驗使用python 作為工具，調用了Keras，Pandas，Numpy，Tensorflow 等常用包。

模型最后的性能通過計算均方根誤差（RMSE）和平均絕對誤差（MAE）等評價指標進行評估，具體計算公式如下：

本文中主要使用RMSE 作為LSTM 模型的評價指標，計算訓練集測試集和預測集的誤差損失（loss），loss 值越低說明模型擬合效果越好。

四、實驗結果與分析

搭建得到了LSTM 網絡模型，實驗將前1 800 條股票價格數據作為訓練樣本，后900 條數據作為測試集，設置網絡模型學習率（lr）為0.006，每次通過輸入門的樣本個數（bαtch）為30，其實驗結果如圖2所示。

圖2 LSTM 網絡模型預測結果

從圖2 中可以看出在為LSTM 模型輸入測試集以及參數后，得到了一條預測結果的數據集，而預測的數據大體上接近初始數據集，但是實驗結果普遍較低，而隨時間的增加與數據集的離差也會變大。

模型的損失曲線如圖3 所示。

圖3 損失圖

訓練集與預測集訓練結果逐漸趨于平緩。由于在數據處理的步驟中將輸入輸出值都進行了歸一化，最后需要將預測結果、測試集和預期值的數據進行比例反轉，反歸一化的結果如下。

圖4 300 天LSTM 模型預測結果

從圖4 中可以看到，LSTM 模型對于股票趨勢預測是有一定效果的，雖然得到的數值普遍低于實際值，但是在增長或者減少的趨勢上是基本擬合的。

表2 LSTM 模型預測結果

根據表2 中計算模型的均方根誤差與平均絕對誤差，分別為0.039 414 和0.027 089，都取得了較小的數值，較低的loss 值說明了LSTM 模型對于AMZN 股票價格數據的擬合效果較好，對于股票價格趨勢預測是有一定效果的。

五、結束語

對于股票市場來說，掌握短期的走勢并以此做出決策是相當重要的。本文首先提供了具有全球意義的指標，并依此選擇了亞馬遜公司（AMZN）1999年以來近10 年的股票數據作為樣例，通過數據去噪、歸一化等操作對股票數據進行處理。然后，使用了LSTM 模型得到了一組預測結果，與原數據進行比對之后計算了模型的均方根誤差。模型的預測準確率進一步提升需要增加更多的信息量進行訓練。在之后的工作中，會考慮進一步改進模型進而得到更好的股價預測結果，為股票投資者帶來更有價值的參考。