基于LSTM神經網絡的金融時間序列預測

歐陽紅兵，黃 亢，閆洪舉

(1.華中科技大學經濟學院，湖北 武漢 430074；2.湖北省產業(yè)升級與區(qū)域金融協(xié)同創(chuàng)新中心，湖北 武漢 430074；3.中國農業(yè)銀行博士后科研工作站，北京 100005)

1 引言

金融時間序列數(shù)據(jù)不僅受眾多因素的影響，且其影響因素間也存在復雜的非線性動態(tài)交互關系。進而導致金融時間序列數(shù)據(jù)成為一個具有序列相關性、非平穩(wěn)性以及非線性等特征的復雜系統(tǒng)。因此，構建科學有效的金融時間序列預測模型成為一項極具挑戰(zhàn)性且具有重要學術和應用價值的工作。

科學有效的金融時間序列數(shù)據(jù)預測模型，一是能夠充分反映金融時間序列數(shù)據(jù)的非線性、非平穩(wěn)、序列相關等復雜特征，二是可有效反映金融時間序列影響因素的非線性動態(tài)交互關系，三是具有強大且穩(wěn)健的特征學習能力，以提取影響金融時間序列數(shù)據(jù)變動的重要影響信息。傳統(tǒng)時間序列預測方法諸如ARMA、GARCH等計量經濟學模型通過假定具體的模型來刻畫金融時間序列數(shù)據(jù)。但復雜且含有噪聲的真實時間序列數(shù)據(jù)無法通過含有參數(shù)的解析方程來反映，因為時間序列數(shù)據(jù)的動力學方程或者太過復雜，或者未知[1]。因此，傳統(tǒng)的計量經濟模型預測方法存在一定局限性。

而機器學習尤其是深度學習對于非線性、非平穩(wěn)數(shù)據(jù)的處理，變量非線性交互關系的反映，以及數(shù)據(jù)特征的提取均存在較大優(yōu)勢，其在圖像識別、自然語言處理、無人駕駛等諸多人工智能領域取得的廣泛應用和巨大成功對此也給予了充分的證明。那么，機器學習特別是深度學習的相關算法在金融時間序列數(shù)據(jù)預測中是否具有適用性？能否提高金融時間序列數(shù)據(jù)預測精度？這些問題值得我們深入探究。這對于拓展金融時間序列數(shù)據(jù)預測的研究手段與工具，實現(xiàn)大數(shù)據(jù)背景下基于海量數(shù)據(jù)的金融預測以及對金融市場風險監(jiān)測和運行規(guī)律挖掘，均具有重要意義。

機器學習關注的主要問題就是計算機程序如何隨著經驗積累來自動改善系統(tǒng)自身的性能。近年來，國內外學者對其在金融時間序列數(shù)據(jù)預測研究方面也做了很多有意義的探索。例如，基于支持向量機(SVM)[2-3]、BP神經網絡[4-5]、SVM-GARCH[6]、灰色神經網絡-EGARCH[7]等機器學習模型實現(xiàn)對股票價格的預測。Ahmed等[8]探究多層感知機、K近鄰、分類與回歸樹、支持向量回歸、高斯過程等不同機器學習算法對時間序列的預測能力，發(fā)現(xiàn)多層感知機和高斯過程具有更好的回歸效果。Karathanasopoulos 等[9]將遺傳算法和SVM結合構造演化支持向量機(ESVM)模型以預測希臘股票ASE20價格指數(shù)，并與平滑異動平均線(MACD)、自回歸滑動平均模型(ARMA)、多層感知機神經網絡等模型的預測效果比較，發(fā)現(xiàn)ESVM具有更好的預測效果。

SVM、BP神經網絡等淺層次機器學習算法，對于學習復雜高維度的數(shù)據(jù)存在較大局限性，且存在維數(shù)災難與無效的特征表示等諸多問題[10]。深度學習則是在神經網絡的基礎上，進一步加深神經網絡隱藏層層數(shù)，通過組合底層特征形成更加抽象的高層特征表示，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示[11]。與淺層次的機器學習相比，深度學習具備以下兩點優(yōu)勢：首先，深度學習采用無監(jiān)督學習的逐層特征提取，具有更強大的特征表達能力，可學習更加復雜的函數(shù)表示。其次，深度學習在提高樣本內數(shù)據(jù)預測精度的同時，更容易緩解過擬合問題[12]，因而具有更強的泛化能力。深度學習在語音識別、視頻處理等復雜時間序列數(shù)據(jù)研究領域所取得的巨大成功也恰恰證實了這一點。

近年來，學者開始探究深度學習的相關算法在金融時間序列數(shù)據(jù)預測上的適用性。例如，Hsieh等[13]采用深度學習的循環(huán)神經網絡(RNN)預測股票價格，并且取得較好的預測效果。RNN是一種處理時間序列數(shù)據(jù)的神經網絡，納入了序列相關性，即在學習過程中當前狀態(tài)會包含先前時間序列的所有歷史信息。然而，標準RNN結構可能存在梯度消失或者爆炸問題，對于序列長期依賴關系的學習存在一定困難[14]。而包含記憶模塊的長短期記憶(LSTM)神經網絡，很好地解決了序列的長期依賴問題，且在諸如順序文本翻譯[15]等時序數(shù)據(jù)應用領域取得重大成功。

綜上所述，深度學習的LSTM神經網絡，可以反映金融時間序列數(shù)據(jù)的非線性及數(shù)據(jù)間的復雜交互關系，體現(xiàn)時間序列數(shù)據(jù)的序列相關特征，避免基于傳統(tǒng)計量經濟模型和淺層次機器學習的金融時間序列數(shù)據(jù)預測方法所存在的諸多問題。然而，現(xiàn)有文獻鮮有對LSTM神經網絡在金融時間序列數(shù)據(jù)預測中的適用性及有效性進行研究。因此，本文提出將LSTM神經網絡與小波分析結合，構建金融時間序列數(shù)據(jù)預測模型。同時，以道瓊斯工業(yè)指數(shù)為例進行實證預測，并比較其與多層感知機(MLP)、SVM、K近鄰、GARCH等模型的預測效果，以探究LSTM深度神經網絡在實際金融時間序列數(shù)據(jù)預測中的有效性。

2 模型構建

本部分首先對深度神經網絡結構和長短期記憶(LSTM)深度神經網絡的基本架構給出說明，以探究建立金融時間序列數(shù)據(jù)LSTM網絡預測方法的理論基礎及可行性。然后，對小波分析的基本原理做簡單介紹，以說明對金融時間序列數(shù)據(jù)進行預處理(即小波分解與重構的)必要性。

2.1 深度神經網絡結構

基于深度神經網絡的深度學習，可以依據(jù)給定任務需求，選擇疊加不同層次的層次特征表示，構建深層結構，學習數(shù)據(jù)中更加非線性和抽象的特征表示[16]。這種由多層次特征提取疊加而成的深度神經網絡，無疑更容易捕捉與模擬數(shù)據(jù)的復雜結構。因此，本文提出采用深度神經網絡模擬復雜金融時間序列數(shù)據(jù)，以實現(xiàn)對金融時間序列數(shù)據(jù)的預測。

人工神經網絡(ANN)包含輸入層、隱藏層以及輸出層，更多的隱藏層層數(shù)可以擬合更加復雜的函數(shù)，其架構如圖1所示。淺層結構的神經網絡對復雜函數(shù)的表示能力有限，且常用的基于信號正向傳播和誤差反向傳播的BP訓練算法，也存在諸如訓練速度慢以及容易陷入局部最優(yōu)解等問題。

深度神經網絡則是進一步加深網絡隱藏層層數(shù)，利用無監(jiān)督學習逐層學習數(shù)據(jù)特征，每層提取的特征作為下一層的數(shù)據(jù)輸入，即自下而上非監(jiān)督學習特征提取。隱藏層1的輸出為：

h(1)=g(1)(W(1)x+b(1))

(1)

基于隱藏層1學習的特征表示，隱藏層2的輸出為：

h(2)=g(2)(W(2)h(1)+b(2))

(2)

以此類推，最終輸出層為：

(3)

(4)

其中，損失函數(shù)(即誤差測量)采用絕對值誤差的形式：

(5)

為防止過擬合，需進一步引入表示網絡結構復雜程度的正則化項(懲罰項)，即：

(6)

其中，J(θ)反映網絡結構的復雜程度，網絡結構θ越復雜，J(θ)越大。λ≥0用以權衡經驗風險和網絡結構復雜度。

2.2 LSTM神經網絡結構

圖1所示深度神經網絡的輸出只與當前的輸入有關，與過去或者將來的輸入沒有任何關系，對于金融時間序列數(shù)據(jù)的歷史信息或序列依賴特征無法捕捉。循環(huán)神經網絡(RNN)(圖3所示)則是一種可以處理時間序列數(shù)據(jù)的神經網絡，其當前狀態(tài)會包含整個時間序列的先前信息。

對于RNN而言，隱藏層1在時間t的輸出為：

(7)

也就是說，在RNN中，隱藏層1可以表示為：

ht=f(xt,xt-1,…,x1)

(8)

而未考慮時間依賴性的隱藏層1(即式(1))則為：

ht=f(xt)

(9)

RNN可以反映金融時間序列數(shù)據(jù)的序列相關特征，但存在梯度消失或梯度爆炸問題，其對金融時間序列數(shù)據(jù)歷史信息的挖掘是十分有限的。而長短期記憶(LSTM)神經網絡則是一種能夠很好地處理時間序列數(shù)據(jù)長期依賴性的特殊RNN。LSTM神經網絡結構(圖3所示)包含一系列循環(huán)連接的子網絡(即記憶模塊)，每個記憶模塊包含一個或多個自連接的細胞(cell)，以及控制信息流動的輸入門、輸出門和遺忘門三個門限單元系統(tǒng)。在LSTM網絡中，其執(zhí)行步驟可以概括為：

首先，通過遺忘門(forget gate)ft決定從細胞中所需剔除的信息，

ft=σ(bf+Wfxt+Ufht-1)

(10)

其中，σ為sigmoid激活函數(shù)，將信息流動權重設置為0～1之間的值，0表示將信息完全刪除，1表示保留全部信息。xt是當前輸入向量，ht是當前隱藏層向量，bf,Wf,Uf分別是偏置、輸入權重和遺忘門的循環(huán)權重。

其次，更新細胞中信息狀態(tài)。設gt由sigmoid激活函數(shù)控制的0～1之間的外部輸入門(input gate)：

gt=σ(bg+Wgxt+Ught-1)

(11)

則在Ct-1基礎上更新的細胞狀態(tài)Ct為：

Ct=f*tCt-1+gt*tanh(bc+Wcxt+Ucht-1)

(12)

最后，由輸出門(output gate)ot控制的信息輸出為：

ht=ot*tanh(Ct)

(13)

其中，輸出門(sigmoid激活函數(shù)控制)：

ot=σ(bo+Woxt+Uoht-1)

(14)

概而言之，LSTM神經網絡不僅包含了RNN中所涉及的隱藏層單元之間的外部循環(huán)，同時包含了細胞內部的自循環(huán)，對于金融時間序列數(shù)據(jù)歷史信息的挖掘以及序列依賴性的考慮更完備，建立金融時間序列數(shù)據(jù)的LSTM深度神經網絡模型在理論上是可行的。

2.3 小波分析

金融時間序列易受政治、經濟、投資者心理等眾多因素的影響，通常含有大量噪聲，呈現(xiàn)出顯著的非線性特征。深度神經網絡對于非線性數(shù)據(jù)具有強大的處理能力，但其在訓練過程中如果過度關注對噪聲數(shù)據(jù)的擬合，無疑會降低模型的泛化能力，進而降低其對樣本外金融時間序列數(shù)據(jù)的預測能力。小波分析能夠通過伸縮和平移等運算功能對信號進行多尺度細化分析，有效消除金融時間序列中的噪聲且充分保留原信號的特征[18]。因此，本文提出采用小波分解與重構對金融時間序列進行數(shù)據(jù)預處理，通過“小波降噪”剔除時間序列中的噪聲高頻成分，以降低短期噪聲擾動對神經網絡結構的影響，提高模型的預測能力。

小波分解把每一層輸入信號分解成一個低頻信號和高頻信號，且僅對低頻部分進行分解(如圖4所示)，其數(shù)學表達為：C0=Cl+Dl+Dl-1...+D2+D1，C0為原始的金融時間序列信號，C1,C2,…Cl和D1,D2,…Dl分別為其小波分解的第1,2,…,l層低頻和高頻信號。

為了達到降噪的目的，根據(jù)小波分解的第N層低頻系數(shù)和1～N層高頻系數(shù)進行Mallat小波重構，且將高頻部分置零[18]。金融時間序列數(shù)據(jù)小波分解的低頻部分反映序列的整體變動趨勢，高頻部分反映序列的短期隨機擾動。因此，高頻部分置零，不僅可以消除噪聲和平滑信號，還可以得到原始金融時間序列數(shù)據(jù)的近似信號，從而避免由短期隨機擾動因素而導致的神經網絡結構的過度學習，提高模型的外推能力。

3 金融時間序列實證預測

為探究上述模型對于實際金融時間序列數(shù)據(jù)預測的適用性與有效性，本部分將基于小波分析和LSTM神經網絡的金融預測模型應用于道瓊斯工業(yè)指數(shù)日(DJIA)收盤價的預測，數(shù)據(jù)樣本選取區(qū)間為2012年01月04日至2017年06月31日，數(shù)據(jù)來源于Wind資訊。

3.1 指標選取及數(shù)據(jù)說明

借鑒現(xiàn)有研究[3,13]及考慮數(shù)據(jù)可獲得性，本文從交易量、交易價格等維度選取以下14個指標為特征輸入向量，采用LSTM神經網絡模型，提取影響股票指數(shù)變動的深層次特征表示，以預測DJIA收盤價。

在深度學習中，樣本數(shù)據(jù)通常分為訓練集、驗證集和測試集，其劃分如表2所示。其中，訓練集用以估計模型參數(shù)(如權重矩陣W)，驗證集用以調整神經網絡結構(如隱藏層數(shù)、隱藏單元數(shù))，測試集用以評估訓練好模型的泛化能力(即評估對樣本外時間序列數(shù)據(jù)的預測能力)。

在訓練深度神經網絡時，樣本數(shù)據(jù)的特征標準化處理，對于發(fā)揮深度學習算法的最佳效果具有重要作用。對于時間序列x1,x2,…,xt，其標準化處理為：

(15)

表1 指標選取

表2 樣本數(shù)據(jù)劃分說明

3.2 參數(shù)說明

激活函數(shù)的選取是訓練神經網絡過程中至關重要的一環(huán)，可以使神經網絡學習數(shù)據(jù)中的非線性因素。本文采用的激活函數(shù)為常用的LeakReLu函數(shù)，其在訓練中具有更快的收斂速度。其形式為：

(16)

RMSProp算法是一種被證明高效且實用的深度神經網絡訓練算法，它是深度學習從業(yè)者常使用的優(yōu)化算法之一[18]。因此，本文LSTM深度神經網絡訓練的優(yōu)化算法采用RMSprop算法。為防止模型訓練的過擬合現(xiàn)象，在引入懲罰項的基礎之上，訓練過程中進一步采用Dropout方式，即隨機剔除隱藏層中的某些隱藏單元。

3.3 實證結果

在處理經濟金融時序數(shù)據(jù)時，常選db小波或sym小波作為小波基，而sym小波是db小波的近似對稱正交小波函數(shù)，具有更好的對稱性[20]。此外，小波分解層數(shù)越多，細節(jié)信號和近似信號的平穩(wěn)性越好，但會導致分解過程的誤差越大，故層數(shù)不宜過多也不宜過少[18]。因此，本文首先采用sym4小波基對DJIA收盤價進行4層分解，以重構該金融時間序列數(shù)據(jù)，提高預測模型的泛化能力。DJIA收盤價走勢與重構后的DJIA收盤價走勢如圖5所示，可以看出，小波重構后的金融時間序列數(shù)據(jù)可有效平滑原始數(shù)據(jù)且保留其近似信號，故基于該數(shù)據(jù)建立預測模型理論上是可行的。

進一步，分別基于小波重構后的數(shù)據(jù)與原始數(shù)據(jù)建立金融時間序列預測的LSTM神經網絡模型，以探究LSTM神經網絡預測效果以及對金融時間序列數(shù)據(jù)進行小波重構在實證分析中是否可行，其預測效果分別如圖6、圖7和圖8所示。通過實證結果可以發(fā)現(xiàn)，對于小波重構數(shù)據(jù)和原始數(shù)據(jù)，LSTM神經網絡在訓練集上均表現(xiàn)出較好的預測效果。在驗證集上，基于小波重構的預測效果略好于基于原始數(shù)據(jù)的預測效果。而在測試集上，基于小波重構數(shù)據(jù)的預測效果明顯優(yōu)于基于原始數(shù)據(jù)的預測效果。這一方面說明，LSTM神經網絡對于實際金融時間序列數(shù)據(jù)具有較好的預測能力。另一方面則說明，對金融時間序列數(shù)據(jù)進行小波分解與重構，可有效提高LSTM神經網絡的泛化能力，提高對樣本外金融時間數(shù)據(jù)數(shù)據(jù)的預測能力。

上述圖6、圖7和圖8給出的是點對點的靜態(tài)預測效果，無法充分反映LSTM神經網絡的預測能力。為此，進一步探究其對金融時間序列數(shù)據(jù)長期動態(tài)變化趨勢的預測效果?；谛〔ㄖ貥嫈?shù)據(jù)的LSTM神經網絡，可以更好地預測金融時間序列數(shù)據(jù)的長期動態(tài)變化趨勢，故本文只分析基于小波重構數(shù)據(jù)的動態(tài)預測效果。

圖9為未來10天道瓊斯工業(yè)指數(shù)的短期動態(tài)預測效果。整體而言，無論對于樣本內的訓練集和驗證集，還是樣本外的測試集，LSTM神經網絡可以有效預測道瓊斯工業(yè)指數(shù)未來10天的動態(tài)變化趨勢。圖11則進一步給出了LSTM神經網絡對于道瓊斯工業(yè)指數(shù)長期動態(tài)變化趨勢的預測效果，其預測效果和真實值表現(xiàn)出基本一致的走勢。因此，LSTM神經網絡對長期動態(tài)變化趨勢具有較好的預測效果。進一步證實了LSTM神經網絡對于實際金融時間序列數(shù)據(jù)預測的適用性與有效性。

為比較LSTM深度神經網絡的預測能力，選取多層感知機(MLP)、支持向量機(SVM)、K近鄰、廣義自回歸條件異方差(GARCH)四種模型對道瓊斯工業(yè)指數(shù)進行預測，其中MLP、SVM等機器學習算法的最優(yōu)參數(shù)調整基于Grid Search來確定，而計量模型為GARCH(1，1)模型。借鑒惠曉峰等[21]，采用Theil不相等系數(shù)(T)和平均絕對誤差(M)衡量模型預測精度，預測結果如表3所示。其中，

基于表3的預測結果可以看出，LSTM神經網絡在測試集上預測能力最好，可有效平衡數(shù)據(jù)在訓練集、驗證集與測試集的預測效果。相比于SVM、K近鄰等機器學習算法，MLP也表現(xiàn)出了相對較好的預測效果。SVM可有效兼顧模型在訓練集、驗證集與測試集的預測精度，但是其預測效果相比LSTM、MLP仍存在一定差距。K近鄰在訓練集上表現(xiàn)出較好的預測效果，但其在驗證集和測試集的預測精度較低。因此，采用MLP、SVM、K近鄰等淺層次機器學習算法預測金融時間序列數(shù)據(jù)存在一定局限性。其可能原因為，淺層機器學習算法易陷入過擬合困境，對于輸入特征向量的特征學習、提取能力較弱，且對于金融時間序列數(shù)據(jù)的時間依賴特征無法捕捉。

表3 預測效果比較

而傳統(tǒng)的計量經濟方法GARCH模型在訓練集與測試集均未得到較好的預測效果。其可能原因為：首先，GARCH模型是一種線性模型，無法捕捉經濟變量間的非線性動態(tài)關系，進而對金融時間序列數(shù)據(jù)的非線性特征無法很好地刻畫；其次，構建GARCH等時間序列模型，要求數(shù)據(jù)的平穩(wěn)性，進而通常需要對數(shù)據(jù)進行差分或者對數(shù)差分處理，這無疑會造成時間序列數(shù)據(jù)信息的丟失。而無論是淺層次機器學習算法MLP、SVM，還是深度學習的LSTM神經網絡，都可以有效處理原始數(shù)據(jù)信號的非平穩(wěn)信息，且反映出變量間存在的非線性交互關系，進而描述數(shù)據(jù)的非線性動力特征。

概而言之，LSTM神經網絡不僅克服了傳統(tǒng)計量模型建模過程中對于指標選取的依賴性，以及線性計量模型對于變量非線性交互關系無法反映的缺陷。同時克服了淺層機器學習算法對于時間序列相關性無法刻畫以及數(shù)據(jù)特征學習能力弱、易出現(xiàn)過擬合的缺點。因此，相比其他模型，LSTM對于金融時間序列數(shù)據(jù)非線性動力特征的捕捉，對于其非平穩(wěn)特征以及時間依賴特征的考慮更加全面，進而表現(xiàn)出了更好的預測效果。

5 結語

本文探究了深度學習的LSTM神經網絡應用于金融時間序列數(shù)據(jù)預測的理論基礎與實際應用，提出采用小波分析對金融時間序列數(shù)據(jù)進行分解與重構，以剔除短期隨機擾動噪聲的影響，提高模型對樣本外數(shù)據(jù)的預測精度和對未來動態(tài)趨勢預測能力。基于道瓊斯工業(yè)指數(shù)的實證結果得到以下結論：首先，利用小波分析對金融時間序列進行分解與重構，可有效提高LSTM神經網絡的泛化能力，能夠更有效地預測金融時間序列數(shù)據(jù)的短期以及長期動態(tài)變化趨勢。其次，相較于多層感知機、支持向量機等機器學習算法以及GARCH等計量模型，LSTM神經網絡具有更高的預測精度。這也充分證實了LSTM神經網絡對實際金融時間序列數(shù)據(jù)具有強大的預測能力，這對于建立證券市場風險預警機制，為投資者提供決策參考均具重要意義。需要說明的是，本文側重于LSTM神經網絡對金融時間序列數(shù)據(jù)未來動態(tài)趨勢的預測，而如何構建基于深度學習算法的金融時間序列模型以提高對短期隨機擾動噪聲的預測精度仍需進一步探索。

不可否認，深度學習雖然在語音識別、自動駕駛等諸多人工智能領域取得廣泛應用與巨大成功，但其在金融研究領域的應用研究仍相對較少。本文從理論上探究了深度學習的LSTM神經網絡對于金融時間序列數(shù)據(jù)預測的可行性，并且基于實際金融數(shù)據(jù)的實證結果證實了LSTM神經網絡在金融時間序列數(shù)據(jù)預測研究領域的適用性與有效性。這充分說明了將深度學習的相關算法引進金融時間序列數(shù)據(jù)研究領域具有較大的可行性，這對于構建大數(shù)據(jù)乃至人工智能背景下的金融時間序列數(shù)據(jù)預測模型具有重要的借鑒意義。

此外，諸如LSTM神經網絡等深度學習算法可以充分反映金融、經濟變量的非線性動態(tài)交互關系，通過層次特征學習用簡單表示來表達復雜表示，解決了表示學習中的核心問題，克服了現(xiàn)有金融研究方法中對于特征向量(即解釋變量)選取依賴的缺陷。同時，深度學習在文本、圖片等非結構化數(shù)據(jù)處理方面具有較大的優(yōu)勢，對于挖掘其中的金融信息具有意義，而這也是傳統(tǒng)計量模型無法研究的。因此，將深度學習的相關算法與其他金融研究領域相結合，以拓展現(xiàn)有的金融研究方法，實現(xiàn)多學科交叉背景下的金融研究，仍值得我們進一步探究。