基于ARIAM-GARCH 深度學習的股價預測與決策

劉祺，施三支，婁磊，2，劉璐，3

（1.長春理工大學 數學與統計學院，長春 130022；2.東北證券股份有限公司長春生態大街營業部，長春 130022；3.長春市綠園區春城街道辦事處，長春 130022）

金融市場被認為是世界經濟的核心，每天有數十億美元的外匯交易。其中股票市場在經濟增長中扮演著重要的角色。因此，分析它們的行為和預測它們的未來對實現經濟目標非常有幫助。越來越多的學者投入到對于股價預測以及波動預測的研究當中。早在1982 年Engle［1］就提出了自回歸條件異方差（ARCH）過程應用于估計英國通貨膨脹方差，并取得了較好的效果。1997年Hochreiter 等人［2］引入一種新的、高效的、基于梯度的方法，稱為長短期記憶（LSTM）來解決了傳統神經網絡（RNN）無法學習長期依賴關系的問題，自此LSTM 模型被得到廣泛的關注，并應用到生物、金融等多個領域。2001 年Engle 等人［3］又發展了一類新的能夠估計大的時變協方差矩陣的理論和經驗性質的多元廣義自回歸條件異方差（多元GARCH）模型，動態條件相關多元GARCH。2018 年Zhou 等人［4］提出了一個利用LSTM 和卷積神經網絡（CNN）進行對抗性訓練來預測高頻股市的通用框架。2018 年Kim 等人［5］提出了一種新的混合LSTM 模型來預測股價波動，該模型將LSTM 模型與GARCH 型模型相結合。2021 年Lu 等人［6］也是將CNN、雙向長短期記憶神經網絡（BiLSTM）與注意機制（AM）進行了結合，應用到上證綜合指數上。2021 年Boulet［7］為研究混合模型，混合GARCH 過程和神經網絡，預測資產收益的協方差矩陣的能力，提出了一個新的模型，基于多元GARCH 情況下分解波動性和相關性預測。2021 年姜旭［8］利用深度學習模型結合傳統計量GARCH 族模型來構建新的模型預測波動率。

2022 年Darapaneni 等人［9］使用LSTM 與隨機森林進行混合搭建，利用歷史價格和可用的情緒數據來預測股票的未來走勢。2022 年Fjellstr?m［10］提出了一個獨立和并行的LSTM 神經網絡的集成來預測股票價格的運動。2022 年Shi 等人［11］提出一種基于注意力機制的CNN-LSTM 和極限梯度提升算法（XGBoost）混合模型來預測股價。2022 年Ogulcan 等人［12］將線性卡爾曼濾波器和不同種類的LSTM 進行構建應用于歷史股票價格，以預測股票未來的價格。

受Shi 等人［11］所構建的帶有注意力機制的CNN-LSTM-XGBoost 混合模型的方法啟發，本文主要針對于中小企業股價進行預測，并在投資者的期望收益率下，給出一種投資組合最優決策方法。主要內容如下：

（1）在Shi 等人［11］的具有注意力機制的CNNLSTM-XGBoost 的基礎上，加入GARCH 模型對數據集進行預處理，使數據集更好地展現自身數據特征，大大減小了數據噪聲。引入BiLSTM 網絡減少訓練損失，根據數據特征修改網絡結構，提高預測精度。

（2）針對于中證500 指數中的中小企業股建立獨立并存的網絡模型，并進行相關擬合訓練，并與其他4 種文獻中的方法進行了比較，結果表明所構建網絡對于中小上市企業運行較為穩定。

（3）在給定投資者預期收益率的條件下，采用Bayes 方法進行投資組合，以達到預期收益率，為投資者提供最優決策的數據支持。［13-14］

1 相關模型介紹

1.1 ARIMA-GARCH

上世紀70 年代初，Ljung 等人［13］提出ARIMA模型，又稱求和自回歸移動平均模型。其思想是針對于非平穩時間序列進行數學建模，將其通過差分運算后，變為一個平穩的新序列，進而進行相關數據刻畫。

若{εt}是高斯白噪聲N(0，σ2)，{Xt}為非平穩序列，如果存在正整數d，可以使{Xt}的d階差分Yt，Yt= ?dXt是平穩的，則稱隨機差分方程：

為求和自回歸移動平均模型，記為ARIMA(p，d，q)，其中d為差分的階數，p、q為自回歸與移動平均的階數，B為推移算子。且：

根據平穩性的需求，多項式A(z)和多項式B(z)的根在單位圓外，即 |z|＞1，稱滿足ARIMA(p，d，q)模型（1）式的序列{Xt}為ARIMA(p，d，q)序列。

自1982 年Engle［1］提出了ARCH 過程后，Bollerslev［16］在1986 年提出了ARCH 模型的一種重要推廣模型，被稱為GARCH 模型。對于一組具有集成波動性的數據rt，本文rt為ARIMA 模型所產生的噪聲項，令at=rt-μt=rt-E(rt|Ft-1)為其信息序列，稱{at}服從GARCH(m，s)模型，如果at滿足：

其中，{εt}為零均值單位方差的獨立同分布白噪聲序列；at為噪聲rt的波動干擾項；m、s為GARCH模型階數。α0＞0；αi≥0；βj≥0；最后一個條件用來保證滿足模型的at的無條件方差有限且不變，而條件方差σ2t可以隨時間t而變。

1.2 CNN-BiLSTM

CNN（Convolutional Neural Networks）是一類包含卷積計算且具有深度結構的前饋神經網絡，是深度學習的代表算法之一。卷積神經網絡具有表征學習能力，能夠按其階層結構對輸入信息進行平移不變分類，因此也被稱為“平移不變人工神經網絡”。卷積神經網絡通常包括輸入層、卷積層、池化層、全連接層以及輸出層，如圖1 所示。

圖1 CNN 流程結構圖

LSTM（Long Short-Term Memory）是一種RNN特殊的類型，可以學習長期依賴信息。LSTM 由Hochreiter 等人［2］提出，并被Graves 等人［17］進行了改良和推廣。單向的LSTM 網絡在推測信息時是由前向后進行的，在單向LSTM 網絡的基礎上，同時考慮前期信息和后期信息的雙向LSTM 網絡—BiLSTM 網絡，可以有效保證時間序列預測所得結果的精確性。BiLSTM 單元結構如圖2 所示。ct、ht分別表示模型在t時刻的記憶狀態和隱層狀態，xt、Yt分別表示模型在t時刻的輸入與輸出，σ表示sigmoid 激活函數。

圖2 BiLSTM 總體結構圖

BiLSTM 網絡的計算方式分為前向計算和后向計算，BiLSTM 網絡模型由兩個LSTM 網絡構成，求解時分別計算前項隱藏向量產生新的隱藏向量h*t和后項隱藏向量產生新的隱藏向量h?t。h*和h?分別表示前向、后向單元狀態。將正反兩項與輸入序列的輸出結果相結合，得到結果Yt，計算公式如下：

其中，wh*y，wh?y表示每一層連接到前一個隱藏狀態時的相關信息對于之后單元影響的權重矩陣；by表示偏置項。

1.3 Attention

Attention（AT）注意力機制由Bahdanau 等人［18］提出，很快得到了廣泛的應用。AT 機制可以幫助神經網絡更好地利用相關輸入的信息，還使得LSTM 等神經網絡在長距離依賴中梯度消失的問題得到了進一步的緩解，且還具有一定的可解釋性，對相關信息進行權重的分配，忽略一些不重要的信息［19］。圖3 展示了AT 機制的結構圖。結構過程中三階段常用公式如下：

圖3 Attention 結構圖

（1）計算Query（輸出特征）與Key（輸入特征）之間的相似性或相關性，如下所示：

其中，Wh為相關權值且各層共享；bh為偏置且各層共享；ht為輸入向量。

（2）對第一階段的得分進行歸一化處理，利用softmax 函數對注意力得分進行轉換，如下式所示：

其中，v為注意力值。

（3）根據權重系數，對相關輸入向量進行加權求和得到特征變量最終的注意力值，如下式所示：

1.4 XGBoost

2016 年，Chen 等人［20］首次提出XGBoost 算法，又稱極限梯度提升算法。是一種優化結構損失函數的決策樹算法。其算法流程如圖4 所示。

圖4 XGBoost 算法流程圖

1.5 Bayes 方法

Bayes 方法是一種常用的樣本估計的方法。使用Bayes 方法的充要條件是要已知先驗信息和樣本信息。先驗信息即根據經驗、常識給定的信息，樣本信息即為所抽樣本的相關信息。其原理為現如今所熟知的條件概率公式，如下所示：

其中，ωi為投資組合中各資產所分配的權重；θ為期望收益率；π(ωi)為ωi的先驗信息；P(θ|ωi)為已知的樣本信息；P(θ)為邊際信息，通常看作常數；π(ωi|θ)為所求的后驗信息。通常可簡化為：

2 投資預測與決策

2.1 模型構建與預測

在本文的混合模型構建及預測過程中，首先使用ARIMA-GARCH 混合模型對數據進行預處理，然后采用CNN-BiLSTM-AT 混合神經網絡對數據集進行訓練并預測，最后用XGBoost 對預測結果進行修正。其相關模型影響如表1 所示。

表1 各模型作用憑欄表

根據ARIMA、GARCH、CNN、BiLSTM、AT 和XGBoost的特點，建立了基于ARIMA-GARCH-CNNBiLSTM-AT-XGBoost 的股票預測模型。模型結構圖如圖5 所示。主要結構可分為三個階段：數據預處理階段、數據訓練預測階段和預測結果調整階段。

圖5 ARIMA-GARCH-CNN-BiLSTM-AT-XGBoost模型結構

ARIMA-GARCH-CNN-BiLSTM-AT-XGBoost實施步驟如下：

（1）數據預處理階段。使用ARIAM 模型對數據集進行差分訓練，將非平穩時間序列變為平穩時間序列。通過p值檢驗檢測到殘差序列還存在著異方差性，其組成具有集成波動性特點的時間序列，則使用GARCH 模型對殘差序列進行建模，消除其存在的異方差性，大大縮小了其噪聲干擾因素，使得數據可以更好地展示數據本身所持有的特征。

（2）數據訓練預測階段。首先使用CNN 提取輸入數據的特征。然后利用BiLSTM 對提取的特征數據進行學習和預測。最后AT 機制可以用來捕捉時間序列數據在不同時間的特征狀態對預測結果的影響。

（3）預測結果調整階段。使用XGBoost 算法，通過優化結構損失函數，對預測值進行修正。以此來提高該方法的預測精度。

2.2 Bayes 投資決策

在本文中，選擇π(ωi)先驗分布為共軛先驗分布，服從LDA（狄利克雷）分布，P( )θ|ωi服從高斯分布，則π( )ωi|θ也服從LDA 分布。在給定期望收益率θ和求出π( )ωi|θ的后驗分布的條件下，使用極大似然估計法，解出作為初始值，帶入MCMC（蒙特卡羅）采樣中，進行抽樣迭代，最終取趨于穩定后的采樣結果均值作為最終值。

LDA 分布的概率密度函數如下：

其中，ωi∈[0，1] 且∑ωi= 1；α= (α1，α2，…，αk)為超參數；

3 數據與實驗

3.1 數據選取

本實驗選取中證500（000905）指數在2022 年5 月20 日時權重較高的十只股票：振華科技（000733）、山西焦煤（000983）、納思達（002180）、格林美（002340）、以嶺藥業（002603）、永泰能源（600157）、兗礦能源（600188）、廣匯能源（600256）、中天科技（600522）和中國化學（601117）作為實驗數據。從雅虎財經官網（https：//hk.finance.yahoo.com/）獲得2012年5月2日至2022年4月29日2 431個交易日的日交易數據。每條數據包含6 個項：開盤價、最高價、最低價、收盤價、調整收盤價和成交量，數據如表2。本實驗以前2 000 個交易日的數據作為訓練集，以后431 個交易日的數據作為測試集。

表2 000733 股票的部分數據

這里的開盤價是一個交易日（股票交易所開市后）的第一筆交易股票價格。最高價格是指股票在每個交易日開盤價到收盤時的最高價格。最低價是指某只股票從每個交易日開盤到收盤的最低價。收盤價是指當日股票最后一次交易前一分鐘每筆交易的加權平均交易量價格。調整收盤價是指在收盤價的基礎上進行相應的差值調整，往往與收盤價差異不大，調整后的收盤價往往是由多種影響股價的因素所導致而成，更能體現企業進行各種活動后的價值。成交量指的是當天交易的股票總數。

3.2 相關評價指標

為了證明ARIMA-GARCH-CNN-BiLSTM-ATXGBoost 的有效性，在相同的操作環境下，使用相同的訓練集和測試集數據，將該方法與CNNBiLSTM、CNN-BiLSTM-AT、SVM-LSTM 和ARIMACNN-LSTM-AT-XGBoost 進行了比較。為了評價ARIMA-GARCH-CNN-BiLSTM-AT-XGBoost 的預測效果，以均方根誤差（Root Mean Square Error，RMSE）、平均絕對誤差（Mean Absolute Error，MAE）和R平方（R2）為評價標準。

（1）均方根誤差

均方根誤差表達式為：

其中，為預測值；yi為真實值。RMSE 越小，預測越準確。

（2）平均絕對誤差

平均絕對誤差表達式為：

其中，為預測值；yi為真實值。MAE 越小，預測越準確。

（3）R平方

R平方表達式為：

其中，為預測值；yi為真實值；為均值。R2的取值范圍為0～1 之間，越接近1 效果越好。

3.3 算法步驟

ARIMA-GARCH-CNN-BiLSTM-AT-XGBoost訓練過程的主要步驟如下：

（1）輸入數據。將10 只股票相關數據分別輸入ARIMA-GARCH 層。

（2）ARIMA-GARCH 數據預處理。對于10 只股票分別進行ARIMA 模型建模，對其噪聲項（殘差項）再分別進行GARCH 建模，減少數據噪聲，得到一組新的數據，加入到原有數據集中，組成新的數據集。

（3）輸入更新后的數據。分別輸入ARIMAGARCH-CNN-BiLSTM-AT-XGBoost 訓練所需的數據。

（4）輸入數據標準。由于輸入數據差距較大，為了更好地訓練模型，采用z-score 標準化方法對輸入數據進行標準化，如下式所示：

其中，yi為標準化值；xi為輸入數據；為輸入數據的平均值；s為輸入數據的標準差。

（5）網絡初始化。初始化ARIMA-GARCHCNN-BiLSTM-AT-XGBoost 每一層的權值和偏差。

（6）CNN 層。輸入數據在CNN 層內經過卷積層，對輸入數據進行特征提取，得到輸出值。

（7）BiLSTM 層。通過BiLSTM 層的隱層計算CNN 層的輸出數據，得到輸出值。

（8）AT 層計算。通過AT 層計算BiLSTM 層的輸出數據，得到輸出值。

（9）XGBoost 修正。對預測值進行誤差修正。

（10）輸出層。計算修正后的輸出值，得到模型的輸出值。

（11）計算誤差。將輸出層計算出的輸出值與該組數據的真實值進行比較，計算出相應的誤差。

本文針對選取的10 只中小企業股票對應于10個混合模型進行訓練測試，相關結構如圖6 所示。

圖6 ARIMA-GARCH-CNN-BiLSTM-AT-XGBoost 獨立訓練模型

3.4 模型的參數設置

本實驗的ARIMA-GARCH-CNN-BiLSTM-AT模型的參數設置如表3 所示。

表3 ARIMA-GARCH-CNN-BiLSTM-AT 模型參數設置

在本實驗中，所有方法訓練參數相同，epoch為20，loss function為MAE，optimizer chooses為Adam，batch size 為100，滑動窗后設置為20，learning rate為0.01。在本文的研究中，發現隨著迭代次數的增長，信息損失越少，如圖7 所示，這也體現了模型對信息的充分利用性。

圖7 000733 在混合神經網絡訓練中信息隨迭代次數的損失

3.5 結果分析

使用ARIAM 模型對時間序列數據集進行差分訓練，對其殘差序列進行p值檢驗，檢驗序列是否還存在異方差性，相關結果如表4 所示。

表4 p 值檢驗殘差序列

由表4 可以看到，對各股票歷史數據進行差分訓練，將非平穩時間序列變為平穩時間序列的過程中，對其殘差序列進行的p值檢驗中發現，除600522 股票外其余各股p＜0.05，存在著異方差性，需進一步進行數據處理，而600522 股因其時間序列中有一段較長時間的空集，導致p值異常，這是因為其有一段較長時間的停盤期所導致。

為簡潔、直觀，本文僅以代碼000733 的股票為例。在數據預處理階段，發現有無GARCH 模型對于數據殘差項的處理有著很大的差距，如圖8 和圖9 所示。通過圖8 和圖9 可以清晰地看到，在未加入GARCH 模型前，對數據的處理所產生的殘差項大多數在±10 區間內，而在GARCH模型介入后，可以看到，絕大多數殘差落在了±0.04區間內，這大大縮小了噪聲項對于數據的影響，使得數據可以更加純粹地展示自身的數據特征，為之后的數據訓練打下了良好的基礎。

圖8 ARIMA 模型下000733 的殘差軌跡和核密度函數

圖9 加入GARCH 模型后000733 的殘差軌跡和核密度函數

通過數據訓練及預測調整階段，計算模型的評價誤差指標RMSE、MAE 和R2并分別與其他方法進行比較，結果分別如表5～7 所示。

表5 十只股票對應于各方法的RMSE 值

從表5 可以看出，針對這10 只股票，ARIMAGARCH-CNN-BiLSTM-AT-XGBoost模型下的RMSE最小效果最好，且ARIMA-GARCH-CNN-BiLSTMAT-XGBoost 模型效果明顯要優于其他模型。其他模型的效果除個別股票情況外相差較小，個別情況可能是由于不同數據集所擁有的數據特征不同所產生的。但SVN-LSTM 模型下的RMSE均值效果最差，二者相比ARIMA-GARCH-CNNBiLSTM-AT-XGBoost 的RMSE 最大減少了90.57%。

由表6 可以了解到，針對于本文所選的10 只股票而言，ARIMA-GARCH-CNN-BiLSTM-ATXGBoost 模型下的MAE 最小效果最好，且明顯要優于其他模型。SVM-LSTM 模型下的MAE 平均效果最差，二者相比ARIMA-GARCH-CNN-BiLSTMAT-XGBoost 的MAE 最大減少了92.21%。

表6 十只股票對應于各方法的MAE 值

根據表7 可知，對于本文選取的10 只股票來說，ARIMA-GARCH-CNN-BiLSTM-AT-XGBoost 模型下的R2均值更接近于1，效果最好，且效果顯著優于其他模型。CNN-BiLSTM 模型下的R2均值較其他模型而言與的1 的差值最大，且效果最差，二者相比ARIMA-GARCH-CNN-BiLSTM-ATXGBoost 的R2最大增加了144.40%。

表7 十只股票對應于各方法的R2 值

由表5～7 綜合來看，前期對于數據集噪聲項的處理是非常有必要的，越純粹的數據集越能表現出數據本身所特有的特征，可以更好地幫助研究者進行相關的研究。這10 只股票在不同的模型下雖有著不同的表現，但在ARIMA-GARCH-CNNBiLSTM-AT-XGBoost 模型下的綜合表現最好，且效果顯著優于其他模型，其他模型可能是因訓練數據不同，數據噪聲波動有所差異，對此數據未能較好地適應所導致。

由實驗結果可知，針對于不同的數據集需要制定不同的網絡模型。但針對于股票金融時間序列數據不管構建什么樣的混合模型用來預測，都存在數據噪聲干擾項，對于數據噪聲項的處理是非常有必要的，以此來保證所使用的數據的有效性，提高預測精度。針對于中證500 指數中的中小企業而言，本文所改進的ARIMA-GARCHCNN-BiLSTM-AT-XGBoost 混合模型方法在預測第二天的股票收盤價上效果最優，為投資者做出正確的投資決策提供參考。

4 Bayes 實現投資組合優化

本文使用所選的10 只股票來構建投資組合，選定2021 年12 月14 日至2022 年4 月29 日作為投資期間，選取此期間每只股票的日收盤價，并進行相關日收益率計算形成所需數據集。根據相關經驗，選取先驗信息π(ωi) 服從LDA 分布，P(θ|ωi)服從高斯分布，由經驗可知π(ωi|θ)與π(ωi)的概率分布為共軛分布。分別給定期望收益率為8%、10%、12%的情況下，對于本文所構建的投資組合權重分配方法，如表8～10 所示。由表8～10 可以看到投資組合資產分別在相對應的權重分配下最大概率會分別實現期望收益率為8%、10%和12%的情況。

表8 期望收益率為8%的情況下的投資組合權重

表9 期望收益率為10%的情況下的投資組合權重

表10 期望收益率為12%的情況下的投資組合權重

在上述隨機選定的投資區間內，在資金充足，每次買入份額相同的條件下，實行以15 天為一周期，每期三次操作，期初買入，期中買入，期末賣空的交易策略，應用上述方法分別對期望收益率為8%、10%和12%的條件下進行10 次實際操作，所得實際收益率的相關情況如圖10 所示。

圖10 期望收益率與實際收益率對比箱線

通過圖10 可以看到10 次操作的實際收益率的均值均接近期望收益率，且期望收益率在8%和10%的情況下實際收益率的均值也是超過了期望收益率，獲得了一個超額收益，說明Bayes 實現投資組合優化的可實用性。此后還分別進行了6%、14%、16%、18%和20%期望收益率條件下的實際操作所得實際收益率情況，發現隨著期望收益率的增加，在此交易策略下的實際收益率相較于期望收益率相差較大，這是由于中小企業股的投入成本相對較小，收益率有限所導致的。

5 結論

本文建立了ARIMA-GARCH-CNN-BiLSTM-ATXGBoost 模型對股價進行了預測。并在給定期望收益率的條件下，運用貝葉斯方法進行投資組合，給出最優投資策略。

本文以開盤價、最高價、最低價、收盤價、調整收盤價、成交量等數據作為輸入。充分利用了股票數據的時間序列特征。實驗結果表明，ARIMA-GARCH-CNN-BiLSTM-AT-XGBoost 模型的RMSE 和MAE 是所有方法中最小的，R2也是最接近1，其性能最優。由于股票數據存在著數據干擾，通過該模型對數據噪聲項進行處理，以此來保證數據的有效性，提高預測精度。使用Bayes 方法在給定期望收益率下進行投資組合優化。為投資者的最大化投資收益提供相關參考。

Bayes 方法相較于傳統的均值-方差模型而言，無需考慮無風險資產狀況。傳統的均值-方差模型主要是針對與無風險資產和風險資產構建的投資組合產品進行資產配置。且傳統的均值-方差模型是在確定投資者風險厭惡程度的基礎上，實現最大收益的投資組合方案，一定程度上未能滿足投資者的期望收益率。本文Bayes方法從概率角度出發，實現了在給定期望收益率條件下，最大概率實現投資者預期收益的最優投資組合方案，對于投資而言會更加嚴謹，在滿足投資者期望收益率的條件下提供最優投資決策。