張鴻洋 于沖沖



摘要:本文主要探討了深度學習算法LSTM的特點及對于處理有時間序列屬性數據的優點,并應用于預測股票趨勢的研究。與傳統的預測股票的股價,ikiRJ股票的收益率等最終通過回歸的方法得出股價的方法不同,本文采用的方法是把結果通過一個Sigmoid函數轉換成一個二分類問題,用以預測股票的上漲下跌的概率。主要通過選取相應的股票的一些基本面及技術指標統計量,并進行標準化處理。得出股票預測概率矩陣,再通過Black-Litterman模型進行投資資產配置。通過兩種方法結合能夠均衡收益率與風險的關系,在最小化風險的情況下,實現收益的最大化。
關鍵詞:LSTM;BL;算法原理
一、引言
預測股票的走勢與預測股票的價格指數,由于涉及的各種不穩定因素,是非常困難的。股票的投資者在買人或者賣出股票之前一般會有兩種類型的投資偏好。第一種是基本面分析方法,采用這種分析方法的投資者通過分析股票的內在價值,公司效益,當前主要經濟的表現和國內國際的政治環境等,決定是買入還是賣出。第二種投資偏好是技術分析,投資者通過研究統計市場活動,形成各種基于市場活動的統計指標,比如過去的價格,成交量,異同移動平均線(MACD),隨機指標(KDJ)等。
目前大部分的量化手段是通過分析挖掘股市歷史數據以及各項技術指標,發現當前階段股票市場的風格及特點。由于股票市場作為復雜且時變的巨系統,其價格波動往往表現為較強的非線性,因此如何從海量的市場數據中獲取有價值的信息為決策服務是一個難點。另外,市場走勢十分復雜且引發波動性原因各式各樣,政治事件,市場新聞,財務報表等因素均對股市有所影響,即使有這些指標,仍然很難預測股票走勢。
目前的價格股票預測方法主要是將數據特征提取和模型預測過程相結合來進行研究。比如Xu等人采取改進的經驗模態分解算法(EEMD)對股票時間序列進行模態分解,并根據分解得到的模態信息成功預測市場價格趨勢;而Jonathan L.Ticknor則提出運用基于貝葉斯正則化的人工神經網絡進行預測金融市場的走勢行為,利用每日價格及相關的金融技術指標作為特征來預測個股未來的收盤價。YangWendong,LouZhengzhen只因影響股市價格因素較多,提出以GA和SVM組合的方法進行多因子分析,用分類的方法進行股市預測。Mann將動態模態算法(DMD)用于證券市場這個高維非線性系統的信息提取上,并利用時空相干性結構信息來表征系統動態特征,準確的描述了市場價格變化和形態走勢;史文靜對股指期貨價格序列采用EMD算法得到IMF本征模函數,并結合RBF神經網絡對提取出高低頻IMF進行建模來實現價格預測。王鈞、張鵬、袁帥使用上證A股50的歷史交易數據作為研究對象,對其進行短期價格趨勢預測分析。依照交易數據各自特點,選取遞歸神經網絡(RNN)、長短時間記憶網絡(LSTM)和Seq2Seq及其優化模型4種神經網絡結構,進行驗證比較。經過實證研究,結合誤差指標和交易績效等展示模型預測精度和預測效果,最后得出基于Seq2Seq的深度神經網絡模型具有較好的預測精度。楊青、王晨蔚構造了一個深層LSTM神經網絡并將其應用于全球30個股票指數三種不同期限的預測研究,并得出LSTM神經網絡具有很強的泛化能力,且對比其他模型(SVR、MLP、ARIMA)具有更優秀的預測精度Guosheng Hu,Yuxin Hu等人提出了一種新的投資決策策略,通過模仿人類交易員的行為,去編撰相應算法,利用卷積自編碼器(CAE),利用深度學習以及股票的夏普比率等指標進行相應測算。朱業春利用數只股票的日數據,將信息賄補償方法與BL方法相結合,其主要創新點集中在得到綜合收益向量后的再次優化部分,將傳統的效用函數增加了信息俯項,替代方差來衡量風險,將正負偏離用信息饋捕捉,從而得到新的下一期資產權重。
以上方式通常選取以統計學理論為基礎的時間序列分析方法和機器學習方法,所選特征也相對較為單一。即使基于風險收益權衡做股票預測時,確不能有效結合股票本身的時間序列特性來做決定。而本文中將兩者有效結合一起,經LSTM模型處理后,最后一層會把結果通過一個Sigmoid函數轉換成一個二分類問題,用以預測股票的上漲的概率,再通過Black-Litterman模型進行投資資產配置。兩種方法結合能夠均衡收益率與風險的關系,在最小化避免風險的情況下,實現收益的最大化。
二、算法原理
(一)LSTM神經網絡
循環神經網絡(RNN)是目前較為流行的應用于時間序列預測的神經網絡模型。而傳統RNN模型容易產生梯度消失的問題,至于股票類長序列數據,相對無能為力。而造成梯度消失的原因,本質上是因為隱藏層狀態h(t)的計算方式導致梯度被表示為連乘積的形式,而ISTM則可利用特定記憶單元緩解RNN梯度消失問題。
LSTM結構主要由門和記憶單元組成,其中門結構包含遺忘門、輸入門、輸出門三種,通過控制信息的增加與去除,實現記憶細胞的保持和更新。
其中遺忘門主要負責以一定的概率控制是否遺忘上一層的隱藏細胞狀態,數學表達式為:
此圖要更結合實驗特征來畫,輸入的特征時……
(二)Black-Litterman模型
Black-Littennan模型是高盛的Fisher Black和RobertLitterman在他們的工作發現的,是對馬科維茨的MPT模塑的一種改進。其主要做法就是通過加入投資者自己的觀點,并進行量化且給予一定的置信度,通過條件概率的計算,在構建收益的時候通過一定的方式對市場的隱含收益率與主觀預期收益進行加權平均。
模型的主要公式如下;
s.t.風險約束,預算約束聲亡如約束,做空約束
重要參數解釋:
E[R]:新的加權后的收益向量(n*1列向量)
τ:比例系數(常數)
P:涉及主觀看法資產矩陣(k*n矩陣)
Ω:看法置信度矩陣(K*K矩陣)
Π:隱含均衡收益率向量(N*1列向量)
Q:看法向量(K*1列向量)
具體步驟為:
(1)W每個資產的均衡權重
按照CAPM假設,最優的風險資產組合即為現有的整個市場,所以均衡權重應該是按照現有的資產之間的總市值占比求得。
W是為了求初始的均衡收益,求均衡收益的方式有很多,比如CAPM估計,歷史平均來計算等。
(2)∑資產之間的協方差矩陣
通過日度歷史數據計算得到,或用協方差矩陣進行估計預測等,本文使用前者。
(3)δ風險厭惡系數
可以假設,一般取值范圍為[1,3],也可以通過計算得到,計算公式是
(4)τ均衡收益方差的刻度值
通常取值比較小,在0.025~0.05之間。
假設認為,先驗分布均衡收益的方差是和實際收益率的方差成比例的,而B-L模型是將市場均衡收益和個人觀點整合到一起的,那么先驗分布的均衡收益方差越大的話,其準確率越低,所占的權重也就越小,個人觀點權重越大,所以τ也可以看成是觀點權重。
(5)用反向求解的方式計算得到先驗的均衡收益
Π=δ*∑*ω(9)
(6)個人觀點模型化
觀點可以涉及單個資產,也可以涉及多個資產乃至所有資產最后按照一定的規則將所有觀點構建成矩陣P、Q和Ω。
考慮有K個觀點n個資產的例子,此時,P就是k*n矩陣,每一行代表一個觀點,Q為K*1矩陣,存放每個觀點的超額收益。Ω是k*k對角矩陣,對角線上的每一個元素代表該觀點的方差,與對該觀點的置信程度成反比,在學術界常用的公式是:
Ω=P (三)LSTM與BL模型的融合 首先,本文使用LSTM模型進行股票預測,在我們實驗中的LSTM模型中對于時間序列的定義取決于未來預測的需要的時間窗口的數據集的序列集合。在我們的實驗中我們選取的是日K數據,并且對于數據的選擇需要具有時間序列的學習功能,同對應剔除具有未來函數作用的特征。這一點在模型的預測中非常重要,否則會發生嚴重的過擬合現象。具有時間學力學習功能的特征如:前一天的收盤價,其中某一天的交易量等特征。同時為了讓模型具有更強的魯棒性,防止模型過擬合,對模型做了如下的優化方法: 使用dropout:經過多次實驗測試,我們發現模型經常會出現過擬合的現象。實際效果檢驗發現,使用dropout這一神經網絡的正則化技術,可以將隱藏層的一些參數按照概率p隨機置為0,能有效地防止模型過擬合。 在隱藏層中加入L1/L2正則項:經過多次實驗,單單使用dropout方法不能非常有效地防止模型過擬合。再加入L1/L2正則項能更加有效地解決模型過擬合問題。 對于訓練數據需要進行標準化處理:神經網絡普遍是使用隨機梯度下降等方法來對損失函數進行優化的。在使用梯度下降法學習參數的時候,認為不同特征對參數的影響程度是一樣的。因此,當原始數據不同維度上的特征的尺度(單位)不一致時,需要標準化步驟對數據進行預處理。在訓練神經網絡的過程中,將數據標準化,能夠加速權重參數的收斂,且能夠避免當數據的標準差非常大時,反向梯度傳播導致的梯度爆炸或梯度消失等問題。 對于LSTM模型的Labe的確定,我們是根據收益率來進行標記時間序列的表現。收益率是通過比較序列的3天移動窗口的收盤價與當前序列的最后一天的收盤價來進行計算的。對于3天移動窗口的收盤價與當前序列的最后一天相減再除以最后一天的收盤價。如若標簽移動窗口收益率大于1%-5%,則標記為1,否則標記為0。對于1%-5%可根據回測的實際情況的資產組合收益進行設定。 對于LSTM神經網絡結構的設計,我們的模型主要包括一個單一的輸入層及5個LSTM隱層層,兩個dropout層和一個輸出層組成及最后一個激活函數層。其中最后一個LSTM的隱藏層需要加入L1正則項。最后的激活函數層是一個sigmoid激活函數用以將預測問題轉換成二分類問題。 LSTM模型的輸出結果,輸出結果為一個股票與概率的列表。將序列表的概率結果作為BL模型的輸入。 三、實驗 (一)模型指標特征 在LSTM中,序列學習特性的選擇至關重要。股票數據至少有四種類型:(1)股票的歷史價格數據(如成交量、高點、低點、開盤價等);(2)由(1)計算得到的技術分析數據(如移動平均收斂/發散(MACD));(3)市場指數和/或其他有關股票的歷史價格數據;(4)經濟基本面(如國內生產總值(GDP)、油價等)。我們的序列學習特性使用了第1和第3種類型的股票數據,但沒有使用第3種類型的股票數據,以避免共同創建陷阱,即類似機器學習中常提到的多重共線性。由于是短線操作因此也不包括第4種類型的數據。我們期望LSTM的序列學習能力能找到最優的參數。在目前的研究中,一個時間序列長度取3天的數據,每個日數據有36個特征。 針對一些技術指標,由于每個指標計算的時間區間可能會導致不同的預測結果,因此針對參數選擇需要選擇多個自由度。具體參數的設置及參數的解釋如下所示。 (二)模型架構 采用的LSTM架構為一個9層結構的循環神經網絡,其中第一層為32個LSTM神經元,第二層為64個LSTM神經元,第三層為防止過擬合的Dropout層,第四層為128個LSTM神經元,第五層也為128個LSTM神經元,第六層為64個個LSTM神經元,第七層為一個Dropout層再次防止模型過擬合,第八層為一個輸出層一層的神經元,第九層為一個Sigmoid激活函數,用以將結果轉換成一個二分類問題。
(三)數據源
數據源為每只股票的上市直到今天為止的所有數據。為了防止特征與標簽有線性關系,影響模型效果,在進行訓練的時候。會將最高價,開盤價,最低價,收盤價特征剔除。
(四)結果
通過回測歷史數據,模型的準確率達到68%。
參考文獻:
[1]Mengjia Xu,Pengjian Shang,Aijing Lin.Cross -corre-lation analysis of stock markets using EMD and EEMD[J].Physica A:Statistical Mechanics and its Applications,2016,442.
[2]Jonathan L.Ticknor.A Bayesian regularized artificialneural network for stock market forecasting[J].Expert SystemsWith Applications,2013,40(14).
[3]A multi-factor analysis model of quantitative invest-ment based on GA and SVM.
[4]Jordan Mann,J.Nathan Kutz.Dynamic mode decompo-sition for financial trading strategies[J].Quantitative Finance,2016,16(11).
[5]史文靜,高巖.EMD結合RBF神經網絡新混合模型及股指期貨價格預測[J].經濟數學,2015,32(1):47-51.
[6]王鈞,張鵬,袁帥.基于股票預測的Seq2Seq RNN和LSTM模型比較[J].時代金融,2018(35):381-382+392.
[7]楊青,王晨蔚.基于深度學習LSTM神經網絡的全球股票指數預測研究[J].統計研究,2019,36(3):65-77.
[8]Deep Stock Representation Learning:FromCandlestick Charts to Investment Decisions.
[9]J.B.Heaton,N.G.Polson,and Jan Hendrik Witte.Deeplearning for finance:deep portfolios.Applied Stochastic Modelsin Business and Industry,2016.
[10]朱業春,曹崇延.基于熵補償的Black-Litterman模型的投資組合[J].中國科學技術大學學報,2015,45(12):1030-1035.
[11]Zhengyao Jiang and Dixing Xu.A DeepReinforcement Leaming Framework for the portfolio manage-ment,2017.
[12]He,Guangliang,Litterman,Robert.The Intuition Be-hind Black-Littermau Model Portfolios,2007.
[13]Steven L.Beach,Alexei G.Orlov.An application ofthe Black-Litterman model with EGARCH-M-derived viewsfor international portfolio management,2012.
[14]魏世振,尤晨,韓玉啟,陳傳明.基于信噪比的投資組合策略研究[J].系統理論與實踐2004.
[15]Hinton,G.E.,Srivastava,N.,Krizhevsky,A.,Sutskever,l and Salakhutdinov,R.R.,2012.Improving neuralnetworks by preventing co-adaptation of feature detectors.arXivpreprint arXiv:1207.0580.
作者簡介:
張鴻洋,對外經貿大學統計學院在職人員高級課程研修班學員,北京;于沖沖,京東集團反欺作研究員,北京。