基于深度模型股指預測研究

摘? 要：在長短期記憶網絡（LSTM）中引入自注意力機制應用于股票指數預測中，使模型可以處理不同時期的權值，加強了模型對歷史數據趨勢信息的提取能力。利用LSTM和Attention機制結合的LSTM-Attention神經網絡應用于股票預測，對滬深300指數近10年數據進行預測研究。實驗結果表明，在LSTM改進的神經網絡LSTM-Attention的預測效果優于傳統LSTM神經網絡模型的預測效果。

關鍵詞：自注意力機制;股票指數預測;長短期記憶網絡

中圖分類號：TP181? ? ? ? ? ? ? ? ? ?文獻標識碼：A文章編號：2096-4706（2021）16-0100-03

Research on Stock Index Forecast Based on Deep Model

DONG Shipeng

（Hebei University of Economics and Business， Shijiazhuang? 050061， China）

Abstract： The introduction of the self-attention mechanism in the Long Short-Term Memory （LSTM） is applied to the stock index prediction， so that the model can handle the weights of different periods， and it strengthens the model’s ability to extract historical data trend information. The LSTM-Attention neural network combined with the LSTM and Attention mechanism is applied to stock forecasting， and the data of the Shanghai and Shenzhen 300 index in the past 10 years is used for forecasting research. The experimental results show that the prediction effect of the LSTM-improved neural network LSTM-Attention is better than that of the traditional LSTM neural network model.

Keywords： self-attention mechanism; stock index prediction; Long Short-Term Memory

0? 引? 言

股票指數又名為股票價格指數，是一種由證券交易所或金融服務機構編制的反映股市行情的參考數值，可以作為一個國家經濟形式的綜合反映。由于我國股票市場多為散戶，易受到多種因素的影響，致使股票市場內部變化規律繁雜，穩定性差，造成股票價格劇烈波動[1]。因此，如果能對股票價格進行較為準確的預測，引到股市良好的運行，最終將為金融市場的健康發展打下較為牢靠的基礎。

金融市場的預測方法大體上可分為基于時間序列模型的預測方法和基于機器學習的預測方法。但由于股票數據具有高噪聲、高不確定性、非線性和非平穩性等特定，使得傳統的時間序列預測模型難以精確預測股票指數的變化[2]。因此本文主要是基于機器學習預測模型進行股票指數預測。

1? 研究方法

1.1? LSTM模型基本理論

LSTM神經網絡是一種循環神經網絡，主要是為了解決時間序列數據在訓練過程中的梯度消失和梯度爆炸的問題，相比于BP神經網絡，LSTM神經可以在更長的序列中取得更好的效果，能夠對有價值的信息進行長期的記憶[3]。LSTM憑借強大的特征提取和長時期數據處理能力在圖像數據和時間序列數據的預測任務中得到了成功應用。

LSTM神經網絡是一種特殊的RNN，在原來的RNN上的基礎上加入三個門：輸入門、遺忘門與輸出門，巧妙地解決了RNN在長時序序列預測中存在的梯度爆炸與梯度消失的問題。輸入門控制新的信息選擇性的記錄到細胞狀態中;遺忘門控制新狀態的前一步記憶單元中的信息選擇性的遺忘;輸出門則控制當前的輸出在多大程度上取決于當前的記憶單元。

由上述分析我們可以看出LSTM可以處理部分長序列數據的問題，通過三個門的控制以實現控制前一單元對當前單元的影響程度，加強了模型的預測能力。

1.2? LSTM-Attention基本理論

注意力集中模型是一種模擬人腦注意力的模型，該模型借鑒了人們在某個時刻對某一事物的關注會集中到某一個特定的地方，而減少甚至忽略了對其他部分的注意力。注意力集中模型通過對某些部分關注度的不同，使得模型的輸入特征賦予不同的權值，突出更為關鍵的影響因素，幫助模型更加準確的判斷。

Attention機制的基本思想是，打破了傳統編碼器-解碼器結構在編碼時都依賴于內部一個固定長度的向量。在特征關聯分析方面，利用LSTM神經網絡模型分析前一刻隱藏狀態輸出和當前時刻的輸入特征，通過多層感知機構建的注意力機制模型分析得到每一步的權值，來反映當前各輸入特征對預測信息的重要程度，提高模型的預測效果[4]。

在股票市場中，對股票價格的影響因素各種各樣，它們時刻對股票價格產生影響。為了探索這些因素對股票價格影響的高低程度，本文在傳統的LSTM神經網絡模型上引入Attention機制，采用多層感知機的方法對各特征的影響力進行權值的量化[5]。加強了LSTM神經網絡對歷史數據的提取能力，使預測效果更加精準。

2? 實驗與分析

2.1? 數據集介紹與數據預處理

本文選取滬深300近10年連續數據作為研究對象，選取2011年1月1日至2020年12月31日（除去節假日）內共包含2 432組股票價格數據的股票價格作為研究樣本。共包含6個變量分別為：開盤價、收盤價、最高價、最低價、交易次數、金額。本文為了模型泛化誤差，選取后500組數據作為預測組，前1 932組數據作為訓練組。在將數據輸入到模型之前還需要對數據進行歸一化以消除量綱，從而提高模型的性能，本文所選取的數據歸一化方法為最大最小歸一化。

對所有股票數據進行處理，生成時間序列數據，維度為（L，M，N），其中M表示樣本數，N表示總特征數，L表示序列長度，即已知的前L天的數據，用前L天的數據來預測后一天收盤價。

2.2? 評估指標

為了評估模型的預測能力，本文選取了三種評估指標，分別為均絕對誤差（MAE）、均方誤差（MSE）、平均絕對百分比誤差（MAPE）。其中平均絕對誤差（MAE）是所有單個觀測值與算數平均值的偏差的絕對值的平均值。MAE可以避免誤差相互抵消的問題，因而可以準確反映實際預測誤差的大小。均方誤差（MSE）是各數據偏離真實值差值的平方和的平均數，也就是誤差平方和的平均數。范圍[0，+∞），當預測值與真實值完全相同時為0，誤差越大，該值越大。平均百分比誤差（MAPE）常用于衡量預測準確性的統計指標。

2.3? 實驗結果與分析

本文首先應用LSTM神經網絡對滬深300指數進行訓練模型與預測，最終所得到的LSTM模型結構及各項參數為：測試窗口序列長度為10，模型共包含2層LSTM層，各層的神經元個數分別為64、10，為避免過擬合，增加兩層Dropout層，最后經過2個ReLU激活函數，輸出數據維度為1。將此訓練集輸入到LSTM神經網絡模型中通過不斷調整權值達到期望輸出最終輸出結果。由表1的評估指標可以看出LSTM模型在訓練集上的評估指標較小，可以用于滬深300指數預測。下一步應用上一步訓練好的LSTM模型測試測試集的預測效果，其預測效果如圖1所示。從中可以看出該模型總體預測效果較好，但是在極值點的預測效果較差。

本文應用LSTM-Attention神經網絡對滬深300指數進行訓練預測，訓練步驟如下：首先對滬深300數據進行數據預處理、數據歸一化，然后將輸入的時間序列數據輸入到原始的LSTM網絡中，經過三層LSTM層后，將前一刻LSTM網絡的隱藏狀態ht-1和當前時刻輸入特征xMt作為特征注意力機制的輸入，通過當前時刻的各特征進行權值的計算，將得到的權值于前一時刻的輸入進行相乘得到新的網絡輸入，通過不斷調整某一時刻的權值來自適應相關特征的影響力，直至達到最佳狀態輸出預測值、保存模型[6]。

滬深300指數開盤價、最高價、最低價、交易次數、金額作為輸入變量，收盤價作為輸出變量。首先通過Python軟件LSTM-Attention模型對滬深300訓練集進行訓練，輸入層為5個指標，輸入層為1個指標。初始權值采用隨機數，訓練樣本一共1 932組，預測樣本500組，網絡訓練初始誤差較大，因此設定樣本學習結果條件誤差精度e=0.01，訓練樣本500次。通過不斷修正隱含層節點，得到最終訓練模型，由表1可以看出LSTM-Attention的評估指標更小。模型訓練結果良好。下一步，通過利用上一步訓練好的LSTM-Attention模型進行預測，其預測模型效果圖如圖2所示，可以看出模型在測試集中的前期預測效果較好，但是在后期存在一些預測誤差。

使用訓練集分別在BP神經網絡、LSTM神經網絡、LSTM-Attention神經網絡上進行訓練研究，通過不斷改進模型參數使其預測效果更加準確。利用測試集進行模型的驗證，不同模型預測精度如表1所示。

綜上所述，通過上述分析我們可以大體上可以判斷出LSTM-Attention神經網絡預測效果大于LSTM神經網絡。通過比較LSTM、LSTM-Attention我們可以看出預測效果都還不錯，但是LSTM神經網絡在預測股票有重大轉折點時預測效果較差，尤其是在測試集數據為200～300之間預測效果較差。而當我們在將Attention機制模型與LSTM神經網絡模型結合后，Attention機制可以根據實際情況而給予不同的時間維度以不同權值，關注每一時刻的重要信息，使得LSTM-Attention神經網絡模型的預測效果最后。因此，本文最終選取LSTM-Attention作為我們的股票指數預測模型，該模型在測試集上的MAE為0.008 352 39，MSE為0.000 158 05，MAPE為2.576 957 30。

3? 結? 論

本文應用深度學習理論，基于金融時間序列數據，使用LSTM神經網絡、LSTM-Attention神經網絡分別進滬深300指數進行預測，實驗結果顯示LSTM-Attention神經網絡預測效果較好。作為LSTM模型給改進結構，LSTM-Attention繼承了LSTM在處理長時期時間序列模型的優點，又進一步解決了不同時期對當前時期的影響程度，提高了預測的精度，其預測效果優于傳統的LSTM神經網絡模型。

由于中國股市中散戶占據股票市場的大半部分，而這其中又很容易受到外界其他因素的影響，因此本文下一步工作將考慮這些因素對股票指數的影響（如股票網站、論壇）。通過提取這些網站中股票變動的重大事件中的語言文字等相關信息，將其加入股票指數預測模型中，以進一步提高模型對股票指數的預測精度，使管理者可以更好地規劃股票市場，提高中國的市場經濟。

參考文獻：

[1] 趙巖，楊立洪.基于CCA-BP神經網絡的股票價格預測研究 [J].統計與管理，2020，35（3）：66-69.

[2] 張康林，葉春明，李釗慧，等.基于Pytorch的LSTM模型對股價的分析與預測 [J].計算機技術與發展，2021，31（1）：161-167.

[3] 陳可心.基于深度神經網絡的股票走勢預測研究與應用 [D].南京：南京郵電大學，2020.

[4] 李昭昱，艾芊，張宇帆，等.基于attention機制的LSTM神經網絡超短期負荷預測方法 [J].供用電，2019，36（1）：17-22.

[5] 趙紅蕊，薛雷.基于LSTM-CNN-CBAM模型的股票預測研究 [J].計算機工程與應用，2021，57（3）：203-207.

[6] 徐月梅，王子厚，吳子歆.一種基于CNN-BiLSTM多特征融合的股票走勢預測模型 [J].數據分析與知識發現，2021，5（7）：126-137.

作者簡介：董世鵬（1996.07—），男，漢族，河北邯鄲人，研究生在讀，研究方向：數據科學。