基于EEMD-LSTM-Adaboost的商品價格預(yù)測

邸 浩，趙學(xué)軍，張自力

（1.北京大學(xué) 光華管理學(xué)院，北京 100871;2.嘉實基金管理有限公司，北京 100005）

0 引言

隨著金融市場的日益發(fā)展，商品期貨由于其具有分散投資風(fēng)險、可多空并舉、充分使用杠桿等特性，使得大宗商品在資產(chǎn)配置中的作用越來越重要。在對大宗商品的研究當(dāng)中，商品價格內(nèi)在運行規(guī)律的研究是學(xué)者以及商品投資者最為關(guān)注的焦點。

學(xué)者們最初廣泛使用時間序列和計量經(jīng)濟模型來預(yù)測商品的價格[1,2]。然而，商品的價格序列為非線性、非平穩(wěn)的，上述模型不能很好地抓住商品價格非線性的特點，從而導(dǎo)致預(yù)測的效果并不理想。面對傳統(tǒng)計量經(jīng)濟模型的缺陷，有學(xué)者開始采用BP神經(jīng)網(wǎng)絡(luò)的方法來對商品價格的序列進行預(yù)測研究[3]。結(jié)果顯示BP神經(jīng)網(wǎng)絡(luò)可以很好地抓取商品價格非線性的特點，從而使得預(yù)測效果得到大大提升。然而，BP神經(jīng)網(wǎng)絡(luò)在訓(xùn)練的過程中卻沒有體現(xiàn)商品價格先后的時序關(guān)系，這在商品價格預(yù)測理論上具有很大的缺陷。針對此，學(xué)者們提出了循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）。然而，RNN在處理實際問題時經(jīng)常會面臨梯度消失的情況。1997年Hochreiter和Schmidhuber[4]提出了長短期記憶（LSTM）模型，用來克服RNN梯度消失的問題。2017年Nelson[5]采用LSTM神經(jīng)網(wǎng)絡(luò)根據(jù)歷史價格以及技術(shù)分析指標(biāo)來預(yù)測股票的價格。相較于以前的人工智能算法，LSTM的預(yù)測能力得到了顯著的提升。

上述所有的研究都是采用單一的人工智能方法對商品的價格進行預(yù)測，然而單一的人工智能方法泛化能力較弱，在樣本外不能很好地預(yù)測商品的價格。針對該問題，本文擬通過Adaboost算法對LSTM神經(jīng)網(wǎng)絡(luò)進行增強。此外，金融市場是由不同投資水平的投資者組成的，不同的投資者依據(jù)不同的時間尺度看待和影響金融市場[6]。經(jīng)驗?zāi)B(tài)分解（EEMD）方法可以將原始數(shù)據(jù)進行分解，產(chǎn)生一系列具有不同特征尺度的數(shù)據(jù)序列。這些不同特征尺度的數(shù)據(jù)序列，分別代表了不同投資時間水平的投資者所引起的商品價格波動。將分解后的序列輸入到神經(jīng)網(wǎng)絡(luò)模型當(dāng)中，可以使得神經(jīng)網(wǎng)絡(luò)模型更好地識別商品價格的波動規(guī)律，進而提高商品價格預(yù)測的準(zhǔn)確性[7]。因此，本文擬將EEMD方法、LSTM神經(jīng)網(wǎng)絡(luò)模型和Adaboost算法相結(jié)合，構(gòu)建一個多尺度的組合預(yù)測模型（EEMD-LSTM-Adaboost）。

1 LSTM理論基礎(chǔ)

RNN是包含循環(huán)的神經(jīng)網(wǎng)絡(luò)，它允許信息的持久化，被用來解決非線性時間可變問題，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 RNN神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

在圖1中，RNN神經(jīng)網(wǎng)絡(luò)的模塊A讀取輸入xt，得到輸出值ht。循環(huán)可以使得信息從當(dāng)前步傳遞到下一步。實際上，RNN可以認(rèn)為是同一神經(jīng)網(wǎng)絡(luò)的多次復(fù)制，每個神經(jīng)網(wǎng)絡(luò)模塊會把消息傳遞給下一個模塊。所以，如果將這個循環(huán)展開，便得到了如圖2所示的結(jié)構(gòu)。

圖2 RNN神經(jīng)網(wǎng)絡(luò)展開結(jié)構(gòu)圖

上述鏈?zhǔn)降木W(wǎng)絡(luò)結(jié)構(gòu)揭示了RNN本質(zhì)上是與序列相關(guān)的。RNN是對于這類數(shù)據(jù)的最自然的神經(jīng)網(wǎng)絡(luò)架構(gòu)。目前RNN已經(jīng)在語音識別、圖像處理等問題上取得了顯著的效果。然而，RNN在實際應(yīng)用過程中經(jīng)常面臨梯度消失的問題，也就是后面時間節(jié)點對前面時間節(jié)點的感知力下降。為了解決RNN所面臨的上述問題，Hochreiter和Schmidhuber[4]提出了LSTM神經(jīng)網(wǎng)絡(luò)模型。這個模型類似一個具有隱藏層的標(biāo)準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），但每個普通隱藏層中的節(jié)點被存儲單元所替換。LSTM模型在RNN的神經(jīng)元部分增加了輸入門、輸出門和忘記門。該設(shè)計結(jié)構(gòu)可以有效地解決梯度消失的問題[8]。這使得LSTM非常適合處理長期依賴問題。模型的具體結(jié)構(gòu)如圖3所示。

圖3帶有忘記門的一個LSTM的記憶細(xì)胞

LSTM首先采用“忘記門”來確定細(xì)胞狀態(tài)中哪些信息需要丟失以及哪些需要保留。忘記門會讀取ht-1和xt，通過sigmoid函數(shù)來計算忘記門ft。

其次，是確定哪些信息被存放在細(xì)胞狀態(tài)中。這里包含兩個部分。第一，sigmoid層稱為“輸入門層”，它決定將要更新什么值。第二，通過tanh層來創(chuàng)建一個新的向量會被加入到狀態(tài)之中。下一步，本文會使用這兩個信息對狀態(tài)進行更新。

再次，將確定如何更新信息。本文將舊細(xì)胞狀態(tài)Ct-1更新為Ct。把舊狀態(tài)Ct-1與ft相乘，丟棄掉本文確定需要丟棄的信息。接著加上。這就是新的候選值，根據(jù)決定更新每個狀態(tài)的程度進行變化。

最后，通過“輸出門”來確定輸出什么信息。這個輸出將會基于細(xì)胞狀態(tài)。首先，通過sigmoid層來確定將要輸出的細(xì)胞狀態(tài)。然后，把細(xì)胞狀態(tài)通過tanh層進行處理（得到一個在-1到1之間的數(shù)值）并將它和sigmoid門的輸出進行相乘，最終僅僅會輸出確定輸出的部分。

在式（1）至式（6）中，Wi、Wf、WC、Wo為權(quán)值向量，bi、bf、bC、bo為相應(yīng)的偏差向量。

此為較常見的LSTM模型，此外LSTM還有很多其他的形式。例如：流形的LSTM、GRU等。研究發(fā)現(xiàn)這些不同形式的LSTM模型預(yù)測效果相差不大。

2EEMD-LSTM-Adaboost模型構(gòu)建

通過上述LSTM神經(jīng)網(wǎng)絡(luò)模型建模之后，模型的預(yù)測能力并不能滿足要求。所以，本文將進一步考慮采用Adaboost算法對LSTM神經(jīng)網(wǎng)絡(luò)模型進行增強。

Adaboost算法的基本思想：針對一個復(fù)雜的任務(wù)，將多個專家的判斷進行適當(dāng)?shù)木C合所得出的判斷，通常要比其中任何一個專家單獨的判斷效果好。Adaboost算法重點關(guān)注被錯分的樣本，器重性能好的弱預(yù)測器。

最初Adaboost算法主要應(yīng)用于二分類問題，而直接去預(yù)測商品的價格則需要對算法進行改進。下面給出改進過的Adaboost算法對LSTM神經(jīng)網(wǎng)絡(luò)模型進行增強。

輸出：強預(yù)測器。

（2）對k=1,2,…,K

①當(dāng)權(quán)值分布為Dk時，通過LSTM神經(jīng)網(wǎng)絡(luò)對訓(xùn)練數(shù)據(jù)進行訓(xùn)練，得到基于LSTM模型的預(yù)測器：hk:S→Y。

②計算hk在訓(xùn)練數(shù)據(jù)集上的預(yù)測誤差：，函數(shù)的輸出區(qū)間為[0 , 1]。

④計算當(dāng)前預(yù)測器hk的系數(shù)，其中

（2）對k=1,2,…,K

①當(dāng)權(quán)值分布為Dk時，通過LSTM神經(jīng)網(wǎng)絡(luò)對訓(xùn)練數(shù)據(jù)進行訓(xùn)練，得到基于LSTM模型的預(yù)測器：hk:S→Y。中

（4）構(gòu)建最終預(yù)測器。將上述訓(xùn)練好的預(yù)測器按照連接權(quán)值進行集成得到最終的強預(yù)測器。

通過Adaboost算法便把許多個弱預(yù)測器集成為一個強預(yù)測器，然后通過強預(yù)測器分別對IMFi及rn進行預(yù)測，最后再將預(yù)測結(jié)果進行集成得到下一時期商品的預(yù)測價格。圖4給出了EEMD-LSTM-Adaboost模型預(yù)測商品價格的整體框架。

圖4 EEMD-LSTM-Adaboost模型框架

（1）首先采用EEMD方法對商品價格序列St進行分解，得到n個IMF分量和一個趨勢項rn。

（2）針對每一個IMFi,i=1,2,…,n以及趨勢項rn，采用LSTM-Adaboost方法獲得第t+1天每個IMF的預(yù)測值和rn的預(yù)測值

（3）將上述預(yù)測結(jié)果進行集成得到第t+1天商品價格的預(yù)測值，其中：

本文將以滬金為例，來檢驗所提出EEMD-LSTM-Adaboost模型的預(yù)測能力。

3 實證分析

3.1 數(shù)據(jù)的選取及分析

本文選取2008年1月9日至2017年9月22日的滬金收盤價格日數(shù)據(jù)進行研究，共計2364個數(shù)據(jù)。其中，選取2008年1月9日至2016年12月30日的數(shù)據(jù)作為訓(xùn)練集，選取2017年1月3日至2017年09月22日的數(shù)據(jù)作為測試集。滬金價格序列的走勢如圖5所示。

對滬金價格序列進行統(tǒng)計分析，結(jié)果如表1所示。由表1可以看出，滬金價格序列的偏度為0.2257，峰度為2.5508，這表明滬金的價格序列不服從正態(tài)分布。通過ADF檢驗結(jié)果（-1.6973＞-2.8628），可以看到滬金價格序列是一個非平穩(wěn)序列。因此，不可以采用諸如多元線性回歸、VAR模型等傳統(tǒng)的方法來預(yù)測滬金的價格。本文所采用的EEMD方法可以將非平穩(wěn)的價格序列轉(zhuǎn)化為許多個平穩(wěn)的子序列，進而采用LSTM-Adaboost模型來對分解后的子序列進行預(yù)測，然后對預(yù)測結(jié)果進行集成得到滬金價格的預(yù)測值。

圖5 滬金價格走勢

表1 滬金收盤價統(tǒng)計分析

3.2 EEMD分解結(jié)果

3.2.1 IMF分量和殘差項的統(tǒng)計性質(zhì)

采用EEMD方法對滬金價格序列進行分解，分解后的子序列如圖6所示。通過圖6可以看到滬金價格序列經(jīng)EEMD分解之后得到9個IMF子序列和一個趨勢項序列（Residual）。很明顯，每個子序列的頻率不同。進一步，本文對分解后的各IMF進行統(tǒng)計分析，分析結(jié)果如表2所示。

圖6 EEMD分解結(jié)果

表2 IMF分量數(shù)據(jù)分析

由表2的結(jié)果可知IMF分量有如下兩個性質(zhì)：

（1）周期性。每個IMF分量的持續(xù)周期為該分量樣本點的數(shù)目除以極大值（極小值）點的數(shù)目。本文把持續(xù)周期1個月以內(nèi)的價格波動看作短期，1個月以上的價格波動看作中期。通過表2可以看出，分量IMF1～IMF4為分解出的高頻序列部分，代表短期投資者的投資行為所引起的商品價格波動；分量IMF5～IMF9為分解出的中頻序列部分，代表中期投資者的投資行為所引起的商品價格波動；殘差項Residual為原始數(shù)據(jù)剔除中短期干擾因素之后的趨勢項。

（2）平穩(wěn)性。通過ADF平穩(wěn)性檢驗的結(jié)果可知，各個IMF分量的ADF檢驗的t值均遠(yuǎn)遠(yuǎn)小于置信度為5%時的臨界值-2.8628，這說明各個IMF分量均為平穩(wěn)序列。這也驗證了EEMD方法可以將非平穩(wěn)序列分解成若干個相互獨立且正交的平穩(wěn)序列的結(jié)論。

3.2.2 各IMF分量以及殘差項Residual所代表的經(jīng)濟意義

（1）趨勢項。通過圖5和圖6（右下圖）可以看到，殘差項Residual基本上描述了滬金價格在2008—2017年的長期運動趨勢。在實踐中，通過對長期趨勢的預(yù)測，可以判斷當(dāng)前的滬金價格是處于高估還是低估狀態(tài)，并由此采取相應(yīng)的投資策略，從而獲得長期穩(wěn)定的收益。

（2）重大事件影響。分量IMF5～IMF9表示重大事件對滬金價格的影響，其持續(xù)周期長度短至1月長至幾年，這說明了重大事件是滬金價格波動的重要組成部分。在受到例如金融危機、戰(zhàn)爭等較大因素的影響下，滬金價格會發(fā)生較大幅度的變化，且其持續(xù)時間通常較長。這表明由重大事件引起的利好或利空消息難以由市場自動消化，對滬金價格的沖擊可能很大。盡管其影響的持續(xù)時間較長，但是由重大事件所引起的滬金價格變化一般會回歸到長期趨勢線上。如果將每個重大事件都從原始信號中分解出來，并計算出對滬金價格的影響，就可以為預(yù)測類似事件對滬金價格造成的沖擊提供參考。

（3）短期市場波動因素。分量IMF1～IMF4代表其他短期市場的波動因素，其持續(xù)周期為2～24天，這說明了短期市場因素對滬金價格波動的影響有限。例如某短期市場供求變化導(dǎo)致的滬金價格的變化。由于長期內(nèi)市場供求會再次達(dá)到均衡，公眾也會調(diào)整他們對滬金價值的評估值，因而此類因素所引起的滬金價格的波動既是不可持續(xù)的，又不會過于劇烈。短期投機者可以通過分析這些代表短期影響因素的分量IMF1～IMF4，對短期內(nèi)滬金價格的變動趨勢做出研判，并由此獲取超額收益。

3.3 滬金價格預(yù)測

通過上述分析，可以知道每個IMF分量以及殘差項都有其經(jīng)濟含義，且每個IMF分量均為平穩(wěn)序列，采用本文所提出的EEMD-LSTM-Adaboost方法可以更好地預(yù)測滬金的價格。圖7是采用EEMD-LSTM-Adaboost方法對樣本外的滬金收盤價預(yù)測的結(jié)果。

為了進一步檢驗本文所提出EEMD-LSTM-Adaboost模型的有效性，本文分別采用平均絕對百分比誤差（MAPE）、均方根誤差（RMSE）和命中率（DS）指標(biāo)作為評價標(biāo)準(zhǔn)，每個指標(biāo)的計算公式如表3所示。

圖7 滬金價格預(yù)測結(jié)果

表3 性能評價指標(biāo)公式

表3中的Ti和Pi分別表示滬金價格的預(yù)測值和真實值；n為樣本點的總個數(shù)。通過上述公式可以看出，MAPE和RMSE越小說明模型的預(yù)測能力越好，DS越大說明模型預(yù)測價格變化方向的準(zhǔn)確率越高，模型的預(yù)測能力越好。

本文選取最常見的BP神經(jīng)網(wǎng)絡(luò)作為比較基準(zhǔn)。表4展示了直接通過商品價格數(shù)據(jù)進行預(yù)測和按照將價格數(shù)據(jù)通過分解-集成的思想進行預(yù)測時各個模型的性能。

表4 模型預(yù)測性能比較

通過表4可以看到BP神經(jīng)網(wǎng)絡(luò)模型的MAPE、RMSE和DS的值分別為1.3396、1.211和54.75%，LSTM神經(jīng)網(wǎng)絡(luò)模型的MAPE、RMSE和DS的值分別為0.0952、0.217和58.66%。由此可知，LSTM神經(jīng)網(wǎng)絡(luò)相較于BP神經(jīng)網(wǎng)絡(luò)的預(yù)測能力有了較大的提升，這充分體現(xiàn)了LSTM在時間序列預(yù)測上的優(yōu)勢。同時可以發(fā)現(xiàn)，經(jīng)過Adaboost增強的LSTM的預(yù)測能力進一步得到了提升。此外，通過對比可以看出將數(shù)據(jù)進行EEMD分解-集成的三個模型的預(yù)測能力都優(yōu)于直接使用原始數(shù)據(jù)來預(yù)測商品價格的結(jié)果，并且本文所提出的EEMD-LSTM-Adaboost模型的預(yù)測能力最高，MAPE和RMSE僅為0.0196和0.007，DS比率高達(dá)65%，這說明EEMD-LSTM-Adaboost模型對商品價格的預(yù)測更為準(zhǔn)確。

4 結(jié)束語

本文將EEMD方法、LSTM神經(jīng)網(wǎng)絡(luò)和Adaboost算法相結(jié)合，構(gòu)建了一個多尺度組合預(yù)測模型（EEMD-LSTM-Adaboost）。首先應(yīng)用EEMD方法將商品價格序列分解為不同尺度的本征模態(tài)分量（IMF）和一個趨勢項。為了提高模型的預(yù)測能力和泛化能力，本文提出采用LSTM神經(jīng)網(wǎng)絡(luò)和Adaboost算法相結(jié)合的方法對分解后的商品價格序列進行建模和預(yù)測，然后通過集成得到商品價格的預(yù)測值。以滬金為例進行了實證研究，結(jié)果表明：與已有的方法相比，本文所提出的EEMD-LSTM-Adaboost方法預(yù)測能力更好。