基于變分模態分解的極限學習機

侯木舟 駱家輝 羅秋懿

(1.中南大學 數學與統計學院，長沙，410083;2.中國人民解放軍95538部隊，成都，611400)

1 引言

金融時間序列作為一種非平穩、非線性、信噪比低的時間序列數據，一直以來成為試圖對其進行預測的學者的難題.而對金融時間序列進行預測，無論是對于國家經濟金融機構制定政策還是普通投資者進行金融投資都具有高度的指導作用，故對該問題的研究一直都是各界學者研究的熱點之一.

雖然在時間序列預測領域已經有很多國內外學者提出了例如隨機游走模型[1]、自回歸滑動平均模型[2]、廣義自回歸條件異方差模型[3]等經典的統計方法，但由于傳統的時間序列預測方法往往針對平穩的時間序列數據，故在金融時間序列的預測上往往不能取得較好的精度.隨著近年來計算機技術的高速發展，機器學習、神經網絡等需要耗費大量算力的智能算法被重新重視起來，尤其是深度學習等在解決許多復雜問題上被證明是有用且高效的.在金融時間序列預測問題上，Cao 等人[4]利用單變量和多變量人工神經網絡和線性模型對中國股市作預測對比，結果表明神經網絡的性能優于線性模型.Lee 等人[5]提出了一種帶非線性時變的進化粒子群優化算法的徑向基函數神經網絡，對比傳統的粒子群算法性能該模型具有較好的預測精度和計算效率.Oliveira等人[6]利用一個由簡單指數平滑濾波器、ARIMA 和自回歸(AR)線性模型和 SVR 模型組成的混合進化系統來探索，采用粒子群算法對時間序列 AR 模型的階次、SVR 參數和時滯數進行了優化.實驗結果表明，該進化混合系統在預測領域取得了良好的效果.王文波等人[7]針對中國股市提出了一種基于經驗模態分解算法、混沌分析和 ANN理論的預測模型.其中多數方法采用了多種算法相結合的混合模型框架，都能在金融時間序列問題中取得較好的成果.尤其是很多方法在對金融時間序列數據進行預測時都會對數據進行分解處理以最大程度提高預測中噪聲對于預測準確性的影響.經驗小波變換(EWT)、經驗模態分解(EMD)等數字信號處理的方法被用來對數據進行分解.Duarte等[8]研究了小波變換(WT)在不同情況下的應用.EMD在用于預測目的的經濟和金融數據分析中也引起了廣泛關注.例如，EMD被用于建模和預測原油價格[9]、股票市場[10]、電價[11]以及匯率[12].

近年來，Dragomiretskiy和Zosso提出了一種稱為變分模態分解(VMD)[13]的新方法，以替代EMD算法來克服其局限性.例如，EMD的缺點包括缺乏精確的數學模型，內插選擇以及對噪聲和采樣的敏感性.VMD是一個完全非遞歸的變分模型，其中模態是同時提取的.特別是VMD模型會搜索多種模態及其各自的中心頻率，以使帶限模式精確地或最小二乘地再現輸入信號.總而言之，VMD能夠分離與EMD相反的相似頻率的音調.通過使用模擬諧波函數，Dragomiretskiy和Zosso發現，作為降噪方法的VMD優于EMD.Lahmiri和Boukadoum發現VMD可有效用于生物醫學信號降噪[14]也可用于分析國際股票市場[15].但是，有必要探索針對EMD的VMD在建模和預測經濟和金融數據方面的有效性.實際上，對經濟和金融數據進行建模和預測對于政府制定經濟政策以及公司管理投資組合和控制風險至關重要.

本文的研究的目的是探索VMD在提取經濟和金融時間序列特征(組成部分)以進行預測方面的有效性.我們在預測以下四種經濟和金融時間序列數據的準確性方面比較了基于EMD和VMD的方法的性能：西德克薩斯中質(WTI)(原油)，加拿大/美國匯率，美國工業生產(IP)，芝加哥期權交易所納斯達克100波動率指數(VIX).

最后，每種方法的性能將通過平均絕對誤差(MAE)，平均絕對百分比誤差(MAPE)和平方根的均方根(RMSE)進行評估.通用極限學習機(ELM)將用于訓練和測試EMD和VMD提取的模式.選擇ELM是因為當樣本數量變得非常大時，它可以提供快速學習和收斂的能力[16](Huang，2008).在本文中，我們將同時使用前饋神經網絡(FFNN)[17]和眾所周知的自回歸移動平均(ARMA)過程作為比較的基準模型.

2 研究方法

本文設計、開發和比較了兩個主要的預測系統.在第一個系統中，將EMD應用于原始數據(信號)以獲得其固有模式函數(IMF).然后，它們將被輸入到ELM進行預測.在第二系統中，將VMD應用于原始數據(信號)以獲得其變化模式.然后，將其變化模式輸入到ELM進行預測.在圖1和圖2中描述了兩個預測系統.接下來介紹EMD，VMD，ELM和統計性能指標.

圖1 基于EMD的系統

圖2 基于VMD的系統

2.1 經驗模態分解

EMD的關鍵特征是將信號分解為多個函數之和，以使每個函數具有相同數量的零交叉和極值，并且相對于其局部均值是對稱的[18](Huang等，1998).這些就是所謂的本征模態函數(IMF).通過稱為“篩選算法”的迭代過程，可以找到從低頻到高頻的各個級別的IMF.對于信號s(t),EMD分解按以下方式執行：

(a)以s(t)為單位，找到所有局部最大值Mi,i=1,2,…和極小值mk,k=1,2,….

(b)通過插值(例如三次樣條)來計算信號的上、下包絡線：M(t)=fM(Mi,t)和m(t)=fm(mi,t).

(c)計算包絡均值e(t)作為上、下包絡的平均值：e(t)=(M(t)+m(t))/2.

(d)計算細節為：e(t)=(M(t)+m(t))/2.

(e)檢查d(t)的性質：

(e.1)如果d(t)滿足前述極值數目和對稱性的條件，則計算第i個IMF：IMF(t)=d(t)，并用殘差r(t)=s(t)-IMF(t)替換s(t).

(e.2)如果d(t)不是IMF，則將s(t)替換為s(t)=d(t).

(f)重復步驟(a)至(e)，直到殘差r(t)滿足給定的停止標準.

最后，s(t)表示如下：

(2.1)

其中N是彼此幾乎正交且均值幾乎為零的IMF個數；rN(t)是最后的單調序列或常值序列，其是該信號s(t)的低頻趨勢.通常，我們通過限制從兩個連續的篩選結果中計算出的標準差(SD)的大小來停止篩選過程：

(2.2)

其中k是信號s(t)和包絡平均值e(t)之間的第k個差的索引,ε是預定的停止條件,例如，可將其值設置為0.001.

2.2 變分模態分解

VMD的目的是將輸入信號分解為k個離散數量的子信號(模態)，其中每個模態在頻譜域中具有有限的帶寬.因此，要求每個模態k主要圍繞隨著分解而確定的中心脈動ωk進行壓縮.評估一維信號帶寬的VMD算法如下:(1)對于每個模態uk,通過希爾伯特變換計算相關的分析信號以獲得單邊頻譜;(2)對于每個模態，通過與調諧到各自估計中心頻率的指數混合，將模態的頻譜轉移至基帶;(3)通過高斯平滑估計解調信號的帶寬.例如，梯度的L2范數的平方.之后，Dragomiretskiy和Zosso給出了有約束的變分問題:

(2.3)

其中，

(2.4)

f是信號，u是其模態，ω是頻率，δ是狄拉克分布，t是時間，k是模態數，*表示卷積.高階k的模態u代表低頻分量.

2.3 極限學習機

ELM算法最初是由Huang等人提出的.它是以單隱層前饋神經網絡(SLFN)為基礎演變而來的網絡結構.ELM背后的主要概念在于SLFN權重和偏差的隨機初始化.因此，不需要調整輸入權重和偏置，并且可以顯式計算隱藏層輸出矩陣，從而計算出輸出權重.該網絡只需很少的步驟即可開始訓練，并且計算成本非常低，泛化能力好.

考慮一組M個不同樣本的集合(xi,yi),其中xi∈d1,yi∈d2.那么，具有N個隱藏神經元的SLFN建模為：

(2.5)

其中f為激活函數，wi為輸入權重，bi為偏置，βi為輸出權重.

構造的ELM可以完美地逼近給定的輸出數據：

(2.6)

其矩陣形式為HB=Y,其中

(2.7)

利用矩陣H的Moore-Penrose廣義逆[19]H?,可以從隱藏層輸出矩陣H和目標值Y計算出權值B:

B=H?Y.

(2.8)

3 實驗分析

我們利用1990年至2014年的美國工業生產(IP)月數據，以及2008年1月2日至2013年12月16日的西德克薩斯中質原油(WTI)、加拿大/美元匯率、芝加哥期權交易所納斯達克100波動率指數(VIX)的日數據進行實驗.前80%的樣本用于ELM的訓練，剩下的20%用于測試.圖2-圖6顯示WTI、CANUS、IP和VIX時間序列，其中x軸為觀測數，y軸為觀測值.EMD和VMD分別對IP時間序列得到的IMFs和模態的例子如圖7和圖8所示.以IP數據集為例，我們在對IP數據進行EMD和VMD操作之后得到了多個模態，對不同的模態以其頻率高低的不同設置不同的預測參數，在進行ELM訓練后得到在其在訓練集上的模型參數.在測試集上，分別對不同的模態進行預測，結果如圖9所示，在各個模態上,VMD-ELM都能取得較好的預測效果.如圖10所示，在與EMD-ELM,FFNN和ARMA方法對比中同樣顯示出了其準確性上的優勢.

圖3 WTI時間序列

圖4 加拿大/美國匯率時間序列

圖5 IP時間序列

圖6 VIX時間序列

圖7 IP時間序列的EMD分解結果

圖8 IP時間序列的VMD分解結果

圖9 VMD-ELM在各模態上的IP預測結果

圖10 VMD-ELM在測試集上的最終預測結果與對比結果

由于VMD需要預先確定的分解k的數量，而后者取決于EMD獲得的IMFs的數量.例如，如果IMFs的個數為d，那么確定EMD得到的分解個數的參數k為d-3,d-2,d-1,d,d+1,d+2,d+3.WTI、加元/美元匯率、工業產值、納斯達克100波動率指數的模擬結果分別見表1至4.從表1所示的MAE,MAPE和RMSE值可以看出，基于VMD的預測方法在預測未來原油價格方面優于基于EMD的預測方法.同樣，在對表2中所示的MAE，MAPE和RMSE值預測所有k值的加拿大/美國匯率，基于VMD的預測方法優于基于EMD的方法.對于美國的工業生產，在MAE和MAPE方面，基于EMD的方法在k=7時的性能優于VMD，如表3所示.在k=4、5、6、7時，RMSE的性能也優于VMD.采用VMD方法時，MAE，MAPE和RMSE的最小值出現在k=8時，這個結果同樣優于基于EMD的方法進行的預測結果.表4顯示，在納斯達克100波動率指數預測中，所有k值的MAE，MAPE和RMSE值均表示基于VMD的預測方法優于基于EMD的方法.同時，表1，表2，表3，表4 證明了在預測西德克薩斯中質原油，加拿大/美國匯率，美國工業生產和納斯達克100波動率指數的所有性能指標方面，所展示的VMD-ELM預測模型優于FFNN和經典ARMA.

表1 WTI預測的性能比較

表2 加拿大/美元匯率預測的性能比較

表3 IP預測的性能比較

表4 VIX時間序列預測的性能比較

綜上所述，雖然對于本文中使用的四個數據集和統計性能度量，基于EMD的降噪優勢是顯而易見的，但實驗結果充分說明了基于VMD的模型預測金融時間序列數據的優越性.EMD分解影響預測性能的原因可能是雙重的.一方面，VMD模型搜索許多模態和它們各自的中心頻率，這樣帶限模態就可以精確地或在最小二乘意義上再現輸入信號.特別是它有分離與EMD相反的相似頻率的音調的能力.另一方面，VMD對諸如WTI，加拿大/美國匯率，工業生產和納斯達克100波動率指數之類的嘈雜數據更加穩健.實際上，由于在優化過程中通過傅立葉域中的維納濾波來更新每個模態，所以更新后的模態受噪聲干擾的影響較小.就這一點而言，VMD可以比EMD更好地捕獲短時和長時變化的信號.

4 結論

本文的目的是驗證VMD在金融時間序列數據中的有效性和優勢，并結合ELM提出一種新的VMD-ELM混合預測模型.在這方面，我們將基于VMD的ELM模型與基于EMD的ELM方法，前饋神經網絡和ARMA對于四個金融時間序列數據集的預測準確性進行了比較.使用不同的統計標準(MAE，MAPE，RMSE)進行的實驗清楚地表明，基于VMD的ELM模型對于所有數據集均實現了最低的預測誤差.這表明基于VMD的ELM預測模型可在金融時間序列預測問題上具有較強的性能和可操作性.并且，采用VMD-ELM方法的主要優點是雙重的.首先，作為一種新的數據分解技術，與EMD相比，VMD在分析諸如經濟和金融數據之類的噪聲信號時更加強大.其次，ELM是單隱藏層神經網絡算法且不需要預先給定輸入權重，因此，當樣本量較大時，它可以提供快速的學習和收斂性.因此，VMD-ELM方法適用于分析復雜的數據以及處理大型數據集時的快速處理和收斂.實際上，本文所提出的預測模型并不麻煩，易于實現且易于理解.

但是，VMD算法需要預先確定與EMD相反要提取的變化模式的數量.設置合適的條件來確定適當數量的變分模態并不容易.為簡單起見，本文建議將其固定為等于EMD提取的固有模態函數的數量.但是，在以后的工作中應在這方面開發一種正式的方法.

關于未來的研究方向，我們可以通過應用提出的模型來預測日內股票價格，資產波動性預測以及經濟和金融時間序列分類，來擴展這項研究.例如，可以在預測未來上漲或下跌的時間序列時測試VMD-ELM的有效性.最后，可以將VMD與其他數據挖掘模型相結合的準確性進行比較研究，以用于將來研究VMD-ELM模型的有效性.