融合SDE算法和雙路加權門控循環神經網絡的股價走勢預測模型

吳 彬,張 勇,唐穎軍

(江西財經大學 軟件與物聯網工程學院，南昌 330013)

1 引 言

數據預測作為數據挖掘的主要研究分支之一,一直以來備受學者們的關注.對金融時間序列進行預測從而挖掘金融市場的運動規律進而準確地預測金融市場的走勢，有助于金融投資者制定出低風險、高收益的投資策略，并且有利于金融市場的平穩運行[1].然而，股市這類金融市場是一個復雜的動力學系統，具有非線性、非平穩、易變性以及高噪聲的特性，這使得股價這種時間序列數據的預測過程會受到多種復雜因素的影響[2].隨著數據的獲取途徑不斷擴大，以及信息提取能力和數據預測技術的不斷提升和發展，特別是深度學習等人工智能技術的蓬勃發展，為股價等金融時間序列的預測這一難題開辟了新的研究空間以及提供了更多的解決思路和可能性.

本文基于神經網絡構建預測模型的基礎架構，融合自適應差分進化(Self-adaptive Differential Evolution,SDE)算法對實驗過程中的網絡參數進行尋優，以及引入改良的雙路加權門控循環單元進行預測，得到一種優化的股價趨勢預測模型.為了直觀顯示預測效果，提高預測模型實用價值，給投資者和金融研究者提供有價值的預測數據，本模型選擇對股票價格的走勢方向進行預測，展示個股股價及股票指數的變化趨勢.大量的仿真實驗驗證了該優化的預測模型與其他傳統模型相比，預測誤差有效降低，預測精度明顯提升.

2 相關工作

股市指標預測方法主要包括統計分析方法、傳統機器學習方法以及基于深度學習的人工神經網絡方法等[3].張永東等[4]比較了指數平滑和長期平均等模型對股市波動性預測的效果，Jeffrey等[5]將差分自回歸移動平均模型應用于股價的預測，這些統計分析模型在特定情境下預測股票數據可以取得不錯的預測效果，但是這類模型很難準確把握股票數據的非線性特征，面對股市這個復雜系統的諸多影響因素和噪聲數據，模型的整體預測性能不夠優秀.Sibao Fu等[6]利用支持向量機算法預測金融時間序列數據，T.Renugadevi等[7]利用K-means算法預測股市行情，這些傳統機器學習算法的特征提取能力不夠強，從而使預測精度受限.

隨著深度學習的深入發展和廣泛應用，基于神經網絡的深度學習預測模型大量出現.吳微等[8]利用BP神經網絡預測股票漲跌，有一定的預測性能，但是網絡結構過于簡單，無法考慮過多的復雜股市規律.鄧凱等[9]將遺傳算法引入BP神經網絡，優化網絡參數，從而得到優化的BP網絡.Shotaro等[10]意識到了簡單的BP網絡預測性能不佳，利用具有記憶功能的長短期記憶網絡(Long Short-Term Memory,LSTM)對股票走勢進行預測，該網絡的當前神經單元會受到前一時間點的同單元的輸出值的影響，這一特點很適合時間序列的預測，有效避免梯度消失與爆炸、長程依賴等神經網絡中常見問題.張金磊等[11]以具有比LSTM更少門結構的門控循環單元(Gated Recurrent Unit,GRU)為網絡主體進行預測，預測速度更快且效果更佳.李梅等[12]將LSTM與CNN進行結合，使用多層的循環神經網絡構建預測模型，并引入注意力機制，雖進一步提高預測精度，但模型復雜度增高以及訓練時間增加過多.

通過對已有研究方法的學習和梳理，本文在前人研究的基礎上提出了一種融合SDE算法和雙路加權GRU神經網絡的股價走勢預測模型.雙路加權GRU網絡的神經單元能同時考慮過去時刻和未來時刻的狀態，采用加權方式對過去和未來的雙向值進行疊加，并且整個網絡結構由SDE 算法全局尋優出最合適的網絡參數.

3 本文的預測模型

本文的預測模型分為兩大部分，SDE對網絡參數尋優和網絡預測求解.

3.1 SDE優化網絡參數

網絡預測求解過程中，選擇合適的網絡結構參數，比如各神經單元之間連接的初始權值和閾值以及網絡單元值的權重系數，會提升整個網絡的預測精度，避免局部最優值的出現.參數尋優算法可以得到網絡結構中初始權值和閾值等參數的優化組合.差分進化(Differential Evolution，DE)算法是一種基于種群遺傳進化的啟發式搜索算法，具有很強的自適應性和全局尋優能力[13].為了克服基本DE算法早熟和后期搜索遲鈍等缺點，本文采用了自適應的DE變異和交叉因子，使用優化的SDE(自適應差分進化)算法對網絡初始結構參數尋優.SDE優化本模型網絡參數的工作步驟如圖1所示.

圖1 SDE算法的工作步驟Fig.1 Working steps of SDE algorithm

本文預測模型中SDE算法尋優參數的詳細步驟如下：

1)種群初始化與編碼.一個染色體即個體就是尋優過程中的一個解，而種群則是一組個體的集合[14].先隨機產生若干個個體，構成初始種群規模，再對每個個體使用實數編碼法進行編碼.為了尋找最優初始權值和閾值等結構參數，每個個體即每個解的構成為網絡結構中各所求參數的集合.

2)確定適應度評價函數并計算適應度.我們用適應度作為“適者生存”的評價標準，個體的適應度即適應度函數值越大，則其被選中的可能性就越大[15].因為本模型中每個個體就是一組可能的參數最優解，將其代入網絡中進行訓練，用其訓練的輸出結果與期望輸出的平均絕對誤差的倒數可以作為評價個體好壞的一個指標，則本文的預測模型就選擇此指標作為SDE的適應度函數值，具體如式(1)所示：

(1)

式中，yi為第i個樣本的期望輸出，oi為第i個樣本的實際輸出，K為樣本數.

(2)

(3)

4)交叉.某代進化過程中通過變異產生了一個變異個體，然后將變異個體與每個原個體進行交叉操作以構成候選的下一代新個體，也稱實驗個體[17].SDE算法的交叉操作通過引入自適應的交叉因子C來完成，自適應交叉因子產生公式如式(4)所示.而交叉操作產生實驗個體的公式如式(5)所示.

(4)

(5)

式中，Cmax代表交叉因子的最大值，Cmin代表交叉因子的最小值，t為當前的進化代數，i為個體編號，j為基因編號，rand是介于0和1之間的隨機數,jrand是介于1和個體的基因總數之間的隨機數.這樣的交叉操作公式可以保證每個實驗個體至少能獲得變異個體中的一個基因.

5)選擇.通過一定的方法選擇優秀的個體進入后續的變異和交叉過程以及下一次的進化過程[18].通過逐個比較實驗個體和原個體的適應度函數值，選擇出適應度值更高的個體作為下一代進化的種群新個體.選擇操作的公式如式(6)所示：

(6)

通過逐代進化，到達最大進化次數之后，產生的全局最優個體的基因值，就是預測模型網絡結構中所需的各最優參數組合.

3.2 網絡預測求解

網絡預測求解部分主要由網絡輸入層、網絡編碼器、網絡解碼器構成，解碼器的輸出值即為預測模型的輸出.編碼器和解碼器均基于雙路加權GRU單元實現.

3.2.1 網絡模型結構

本文提出的預測模型的網絡結構以循環神經網絡為主體，因為循環神經網絡能夠接收歷史信息，具有記憶功能[19]，很適合處理股票這種復雜的時間序列數據.本模型采用優化的經過加權的雙路門控循環單元(Bidirectional Gated Recurrent Unit,BiGRU)作為循環網絡的神經單元，充分利用過去和未來數據對股價預測的影響.預測模型的輸入數據經由編碼器和解碼器處理之后，得到分類預測結果.網絡模型的整體結構如圖2所示.

圖2 網絡預測模型結構圖Fig.2 Network prediction model structure diagram

圖中Xt為某一時刻的股票時序數據即網絡輸入數據，t代表時間序列數據的時刻.Ft表示第t時刻時序數據對應的編碼器層的輸出值，Ot為t時刻輸入數據對應的解碼器層輸出值即網絡模型的輸出值.

3.2.2 雙路加權GRU神經網絡

GRU網絡作為循環神經網絡的一種變體，和傳統循環神經網絡一樣考慮了歷史時刻的狀態對當前狀態的影響，同時引入門控機制來控制信息的積累速度，有選擇的加入新的信息和遺忘之前累積的信息，能夠有效解決傳統循環神經網絡訓練過程中的長程依賴問題[20].而本模型使用的BiGRU在訓練過程中不僅考慮了歷史時刻的狀態，還同時考慮了未來時刻的狀態對當前時刻的影響，使得網絡單元輸入信息更加全面，提高模型的預測能力.BiGRU在單向GRU基礎上增加了一個隱含單元，用來額外接收未來方向的狀態值.BiGRU的輸出值由兩個方向的隱含單元輸出值結合得出.BiGRU網絡結構如圖3所示.

圖3 BiGRU結構圖Fig.3 BiGRU structure diagram

圖3中，ft表示歷史方向訓練過程中t時刻隱含層的狀態，f′t表示未來方向訓練過程t時刻隱含層的狀態.兩個方向上的神經單元都是GRU,Ft是一個完整BiGRU單元的最終輸出值，由兩個方向上的GRU單元輸出值共同決定.本文的預測模型使用加權方式結合兩個方向的狀態，避免傳統的累加帶來的模型不穩定和預測低精度問題.加權公式如下所示：

(7)

式中，q為權重系數.本模型中q由SDE算法尋優確定.過去和未來兩個方向共同訓練，并由加權方式組合每個方向的GRU值，構成一個完整的加權BiGRU神經網絡模型.

BiGRU神經網絡的訓練和預測過程都分為兩個方向進行，每一個方向都可看作一個傳統的單向GRU網絡[21].不管是歷史方向還是未來方向，隱含層的神經單元都是GRU.GRU的內部結構如圖4所示.

圖4 GRU內部結構圖Fig.4 GRU internal structure diagram

rt=σ(Wr[ft-1,Xt]+br)

(8)

ut=σ(Wu[ft-1,Xt]+bu)

(9)

(10)

(11)

式中，Wr,Wu,Wf,br,bu,bf為GRU網絡單元運算過程中的權值和閾值，本文的預測模型中由SDE算法尋優獲得它們的初始值.

雙路加權BiGRU神經網絡的基礎運算單元GRU與同樣應用廣泛的門控網絡單元LSTM相比較，它不對記憶細胞有額外的處理和計算，它的記憶細胞值就是GRU單元輸出值，而且不引入遺忘門，只用一個更新門就能巧妙控制輸入和遺忘之間的平衡，簡化了門控網絡模型且提高了訓練速度.

3.3 預測模型的工作流程

本文提出的融合SDE算法和加權BiGRU神經網絡的股價走勢預測模型的工作流程如下：

1)獲取股票時間序列數據集，并對數據進行歸一化預處理操作，獲得同一特定區間的數據值.

2)運用SDE算法多次迭代和進化進行參數尋優，獲得加權BiGRU結構中初始權值、初始閾值以及權重系數的最優組合.

3)使用SDE優化的參數完善加權BiGRU網絡結構，并通過多次仿真確定其他的運行超參數.

4)應用訓練數據集迭代訓練網絡，最小化網絡損失函數值及誤差.

5)使用迭代訓練好的預測模型對預測數據集進行測試，計算預測模型各評價指標值，并與傳統模型進行對比分析.

4 仿真實驗與結果分析

4.1 實驗環境說明與數據預處理

本文的預測模型是基于python的開發環境進行仿真實驗的，主要采用了深度學習和機器學習框架Tensorflow和Sklearn來應用SDE算法以及構建、訓練、測試網絡模型，最終完成預測模型的搭建與仿真.仿真實驗所需的數據集均來自雅虎財經官方網站，其中訓練數據集選擇的是上證的代碼區間在600600-601000的股票數據，測試數據集選擇代碼區間為603500-603998的股票數據以及上證指數數據.個股及指數都采用2017年11月29日-2020年5月22日的數據進行訓練，共601個開盤日.每一支股票的數據就是一個獨立的數據集，本模型采用前兩天的輸入數據來預測后一天的開盤價，即時間步長為2，每兩天的數據則是一個輸入樣本，故訓練網絡時的每個數據集的有效輸入樣本為599個.每個開盤日的輸入數據包括：開盤價、最高價、收盤價、最低價、成交量.

不同量綱的數據會讓訓練和預測的結果紊亂且失真，而且預測網絡的激活函數的值域也在特定范圍內，因此本模型對輸入的不同維度的數據進行預處理即歸一化，采用最大最小歸一化的方法，將所有數據全部映射到[-1,1]的區間.這樣可以避免不同的股票數據因為量綱相差過大而導致最終的開盤價預測走勢產生巨大的波動或者與真實走勢有過大的差距，同時與預測網絡的函數值域相契合.歸一化的公式如式(12)所示：

(12)

式中，S表示歸一化后的數據，X表示輸入的樣本數據中某一個維度的數據，Xmin表示某維度輸入數據中的最小值，Xmax表示某維度輸入數據中的最大值.

4.2 超參數和評價指標的確立

本文的預測模型中，網絡結構中的初始權閾值和權重系數由SDE尋優獲得，網絡結構和SDE算法的其他超參數由多次實驗仿真確定.為了將本模型與傳統模型進行對比，不同的模型中的相同結構使用相同的超參數.經過大量仿真實驗，本預測模型的超參數設置如表1所示.

表1 超參數的設置Table 1 Setting of hyperparameters

本文選擇3種評價指標作為模型對比分析的依據，分別為MAE(平均絕對誤差)、RMSE(均方根誤差)和R2(決定系數).MAE能直觀看到真實值與預測值之間的差距，RMSE能敏感的捕獲誤差變化，R2用于判斷網絡的擬合程度，可作為預測能力指標，R2值越大，則模型預測能力越強，預測精度越高.3個指標的運算公式如式(13)-式(15)所示：

(13)

(14)

(15)

4.3 實驗結果分析與對比

將股票數據集的各樣本輸入進本文提出的優化預測模型中進行訓練，全部訓練完之后，選取其中代碼為600652的股票數據集的訓練結果進行展示，圖5展示了該個股數據集在預測模型中的訓練過程，最小損失值就是訓練過程中的最小誤差值.通過圖5可以觀察到訓練過程的前期使用較少樣本數能使損失值迅速降低，訓練到500樣本數左右損失值收斂至穩定的區間，且損失值達到極低水平，這說明本模型有著較高的誤差收斂性能.

圖5 預測模型的訓練損失值Fig.5 Training loss of the prediction model

通過模型的迭代訓練，不斷更新和優化網絡權值和閾值，使得網絡損失值達到全局最小，得到可供預測的預測模型.使用預測數據集對模型進行多次測試，并將代碼為603396的個股以及上證指數的價格預測走勢作為預測結果進行展示，分別由圖6和圖7展示.從圖片可以看到，不管是個股還是

圖6 預測模型的預測結果(個股)Fig.6 Forecasting results of prediction model(Stock)

圖7 預測模型的預測結果(上證指數)Fig.7 Results of prediction model(Shanghai composite index)

上證指數，本文的預測模型都能將股價預測走勢與真實走勢高程度的擬合，達到很高的預測效果.總體來看，對指數的擬合程度高于個股，因為影響個股股價的因素更復雜和多元，而指數的走勢更能反映股市整體規律，對于模型來說更容易把握整體規律.

為了驗證本文的預測模型的優勢，將其分別與BP網絡模型、LSTM網絡模型、單向GRU網絡模型、BiGRU網絡模型這幾種預測模型進行比較，對比分析MAE、RMSE和R23種預測評價指標在各預測數據集下的平均值.由表2可以發現，這幾種預測模型都具備一定的預測能力，但是各模型的表現有著較大的差異.LSTM模型及單向的GRU模型與BP網絡模型相比，3種預測指標值均表現更優，這是因為LSTM和GRU增添了循環單元和門控機制，使網絡具備記憶功能，且有效解決長程依賴和梯度消失等問題，促使預測能力得到進一步提升.作為LSTM模型的變體，單向GRU模型的預測指標與其相比沒有優勢，因為GRU的改良特點主要在于優化結構以及提升訓練速度.而同時考慮歷史方向和未來方向的BiGRU網絡模型，與LSTM和單向GRU模型相比，預測指標值得到明顯優化，因為 BiGRU同時對其過去和未來數據的影響進行處理，充分考慮了多方向的因素對預測結果的影響.本文引入SDE算法進行參數尋優的加權BiGRU優化模型則在基礎BiGRU模型基礎上進一步提升了預測性能.由表2實驗數據分析可知，與上述4種模型中表現相對較優的BiGRU模型相比，本文的模型不論是預測誤差指標MAE和RMSE還是預測能力指標R2，都有著顯著的提升.其中，MAE降低了17%，RMSE降低了24%，R2提高了1.7%.由此可知，本文提出的優化預測模型能夠在傳統的各預測模型基礎上使預測誤差進一步縮小，預測能力即預測精度也得到進一步提升，充分驗證了本文預測模型的性能優越性.

表2 本文預測模型與其他傳統模型的比較Table 2 Comparison of the prediction model to others

5 結 語

本文提出的融合SDE算法和雙路加權門控循環神經網絡的股價走勢預測模型，通過SDE尋優求得全局最優的BiGRU網絡初始權閾值和權重系數，構成優化的加權BiGRU神經網絡預測模型.SDE尋優可避免網絡訓練過程的局部最優情況，加權BiGRU通過雙路門控機制，有選擇的考慮過去和未來重要節點的影響，不僅能避免網絡長程依賴問題，還能充分考慮股票時序數據受重要時間節點影響的特性.經過反復多次的試驗，本預測模型達到了預期的優化效果.通過與傳統神經網絡預測模型進行對比，可以發現優化的預測模型較大程度減小了股價走勢預測的誤差，走勢預測的準確度也大大增加.本文的優化預測模型通過增加較小的計算成本而較大程度提高了股價走勢預測的準確度，所以該優化模型具有較高的社會使用和科學研究價值.未來的研究會考慮增加一些其他的影響因子到預測模型中去，以求實現更高的預測精度和使用效率，同時實現更低的計算成本.