信號分解與融合神經網絡的金融數據預測研究

金 豐，邵 清

(上海理工大學光電信息與計算機工程學院，上海200093)

1 引 言

近年來，隨著經濟的快速發展，金融市場的變化趨勢也越來越復雜.了解金融活動的模式并預測其發展和變化是學術界和業界研究的重點.使用某種方法對金融時間序列進行近似預測，有助于了解宏觀層面金融市場的發展和變化，為投資者和公司在微觀層面制定交易決策和計劃提供依據.但是由于金融時間序列一個嘈雜的、具有非參數特點的動態系統［1］，金融時序數據具有非線性、混沌、長記憶［2］等特點，因此預測其發展趨勢是一項極其困難的挑戰.

從自回歸求和移動平均(ARIMA)方法，到自回歸條件異方差(ARCH)模型及廣義 ARCH(GARCH)模型［3，4］，金融時間序列分析的方法和技術得到了長足的發展.但是傳統時序建模方法要求時序數據是穩定的，或者通過差分化之后是穩定的，同時這類方法本質上只能捕捉線性關系，不能捕捉非線性關系，因為上述原因，傳統時序建模方法在金融時序預測中的表現并不算太好.

具有非線性建模潛力的機器學習和深度學習方法在金融時序預測接下來的研究中大放異彩，這類方法通過特定的機器學習/深度學習模型進行預測，比如Cao［5］等人的支持向量機(SVM)、禹建麗［6］等人的 BP 神經網絡、Di Persio 和 Honchar［7］的 RNN/LSTM/GRU.這一類方法在預測性能上普遍表現較好，預測指標相較于傳統方法均有大幅提升.但是這類模型使用的均是特征+模型的預測方式，特征的好壞直接決定了預測性能所能達到的上限，目前所進行的研究中研究者們都只是簡單的使用開盤價、收盤價、技術指標等簡單的特征，使用這樣的特征得到的預測結果具有滯后性、拐點處誤差較大的缺陷，影響預測精度.

因為傳統特征提取存在的限制，部分研究人員開始在其他方向上尋找金融時序數據的預測手段.為了解決時序數據的信號分析問題，Huang［8］等提出了 Hilbert-Huang 變換.這是針對非線性非平穩數據的一種經驗性的、非參數化的、而又完備的、兼顧時域和頻域的分析方法.它包含經驗模態分解(EMD)算法和Hilbert 變換兩個過程.經驗模態分解認為任何一個復雜序列都可以分解成若干個IMF 分量，這些分量具有不同的特征尺度，與分解前的原數據序列相比更有規律性，雖然這些分量之間仍然存在著不同程度的非平穩性，但是因為它們具有不同的特征尺度，所以它們之間的相互影響被隔離了，利用這種隔離就可以減小非平穩性給預測帶來的困難.在后續的研究中，又發展出了集成經驗模式分解(EEMD)［9］和變分模態分解(VMD)［10］等信號分解方法，進一步優化了信號分解的效果.部分研究人員嘗試將信號分解方法應用到金融時序數據預測的研究中來，比如 Xu［9］、史文靜［11］等人將具有長相關性質的原始序列分解為若干個不同的本征模函數(IMF)并分別進行預測，最后將結果整合得到預測數據.盡管這種信號分解分別預測再整合的方法得到了較為準確的預測結果，但是這種方案仍然存在一些問題，在每種模式的預測過程中，真實值和預測值之間在聚合過程中經常會積累估計誤差，這會降低預測準確性［12］.部分研究人員另辟蹊徑，對EMD 分解出來的IMF 不再進行分別預測，而是對各個IMF分量進行適當的處理之后，把處理后的IMF 分量當做特征統一輸入到模型中，結合預測模型，得到比較好的效果，例如Wei［13］、潘和平［2］等人進行了這類研究.這種運用 IMF 作為綜合特征的方法也取得了良好的預測效果.同時，在不同的信號分解模型中，VMD 表現出更佳的性能［14］.

目前的研究方案在處理金融時序數據上都顯得不夠全面，我們從金融時序數據的三個特性來看，混沌特性是說明數據雖然本身看起來是雜亂無序的，但是混沌系統也有些內在的序，通過信號分解是可以得出規律的;長記憶則是相隔一段時間的數據之間具有一定的相關性或依賴性，通過循環神經網絡我們可以學習到數據的時序特征，可以解決這一問題;非線性則說明數據是受到眾多影響因素影響的，而且因素之間存在復雜的交互關系.信號分解方法成功的從數據中提取出了較為有效的特征，但是基礎的機器學習/深度學習模型往往沒有考慮到因素間的交互問題，只用一個激活函數來處理非線性的問題，這樣就導致了預測效果不佳，所以我們要引入因子分解機(FM)［15］來解決因素的交互問題.基于此，我們提出了基于變分模態分解的LSTM-FM 雙通道融合模型，將經過變分模態分解的特征輸入到兩個通道中，通過LSTM 得到數據的時序特征，通過FM 得到數據的交互特征，經過特定方案進行特征融合，使模型能同時表達數據的時序特征和交互特征.

目前特征融合在自然語言處理和圖像方面得到了較多應用，自然語言處理中大多數的特征融合方案選擇的是特征拼接的形式，將不同類型的特征進行拼接(concat)再放入dense層中做預測/分類［16］;圖像處理方面除了特征拼接，還有一類融合方案就是將不同特征按區域相加(element-wise add)，在FPN［17］、ResNet［18］等網絡中都有運用.但是一般來說圖像融合中的特征語義類似，直接進行區域相加操作是可行的，本文中的兩類特征雖然是從同一數據中提取出來的，但是特征語義是否類似并不確定.普通的拼接特征方案只是簡單的將特征融合工作交給dense 層，無法保證時序特征或者交互特征在預測中都起到足夠的作用，所以有必要在進行最終的回歸預測之前對兩個特征進行有效的融合.于是本文以圖像融合中的按區域相加操作為基礎嘗試用改進的局部連接層來融合特征，局部連接層根據卷積神經網絡［19］的卷積層改進而來，其主要區別在于局部連接層不進行權值共享.卷積核在相同的空間位置對兩個特征的加權求和進行建模，權值不共享的卷積核能夠動態的學習兩個特征的對應關系，從而使聯合損失函數最小化，獲得更好的融合效果.

本文提出的方法是首先通過信號分解方法對原始股票指數序列進行變分模態分解得到IMF 分量，再將IMF 分量輸入到LSTM-FM 模型中進行訓練來預測股票市場的指數.本文將通過將不同市場背景下的模型預測結果與傳統方法和其他機器學習方法進行分析對比，檢驗模型的有效性.

2 模型構建方法

2.1 預測模型的建立

本文提出的雙通道融合模型主要由以下幾個部分構成:

1)信號分解.根據變分模態分解算法分解原始金融時間序列并采用滑動窗口法構建后續模型所需的數據，詳見2.2 節.

2)左通道LSTM 層.用于獲取數據的時序特征，詳見2.3 節.

3)右通道FM 層.包括將三維數據過濾為二維數據的時序過濾層和根據FM 原理構建的FM 層，獲取數據的交互特征，詳見 2.4 節.

4)卷積融合層.將時序特征和交互特征拼接并經過特殊的局部連接層融合為一體，使模型能同時表達數據的時序和交互特征，詳見 2.5 節.

本文提出的模型具體如圖1 所示.

圖1 VMD-LSTM-FM 模型Fig.1 VMD-LSTM-FM model

2.2 基于變分模態分解的信號分解

我們首先使用VMD 分解來抽取出能夠代表金融時序數據內在特征的IMF 分量.VMD 通過求解以下等式來完成分解:

其中{uk}={u1，u2，…，uk}是各模態分量;{ωk}={ω1，ω2，…，ωk}是各模態相應的中心頻率;δ(t)為沖激函數.

引入拉格朗日乘法算子λ(t)，將約束性變分問題轉化為非約束性變分問題，如公式(3)所示:

其中α=二次懲罰因子，VMD 采用交替方向乘法器(ADMM)在每個模態的移位過程中獲得K 個定義模態及其中心頻率.因此，公式(4)可以表示如下:

在該過程期間，引入維納濾波器以從傅立葉頻譜生成非遞歸分解模態，并且使用公式(4)更新各個中心頻率.公式(5)和公式(6)分別如下:

在非負頻率區間，更新λ:

滿足下列公式后迭代停止，其中ε 為判定精度:

原始金融時間序列s(t)經VMD 分解后得到模態{uk}={u1，u2，…，uk}，將歸一化的數據按照時間進程依次排列，組成二維數據矩陣形式，以滑動窗口截取方式構造訓練集，構造方式如圖2 所示，假設滑動窗口的時間步長為n，其中預測標簽為n+1 時刻預測參數y 的值，則輸入模型中的數據xt格式為(?，n，k)，將數據同步輸入到兩個通道中.

圖2 數據的構造方案Fig.2 Data construction scheme

2.3 因子分解機層

在本模型中因子分解層主要是用于從數據中提取出交互特征.由于FM 在潛在空間中學習，因此FM 在學習特征交互方面具有關鍵優勢，這是我們在模型中選擇FM 的主要原因之一.

因為FM 只能輸入二維的數據，本身數據是三維的，所以必須要經過時序過濾層將數據過濾為二維，時序過濾層是一個定制的單神經元dense 層，使用固定的權重去乘以輸入，得到輸出數據.

其中 w 為固定的權重，w=［1，0，…，0］，長度為 n.經過時序過濾層的處理，FM 的輸入x'格式變為(?，k).

FM 通過因子分解的交互參數對每對特征之間的所有交互進行建模來估計目標:

各參數的意義表示如下:w0是全局偏置量，wi建模了第i個變量的強度，〈vi，vj〉建模了第i 和第j 個變量之間的交互.

在因子分解機中:交互項可以重寫為公式(11):

由于本模型注重的僅僅是獲取數據的交互特征，所以并不需要完全將因式分解機全部納入模型，只需要根據公式(11)修改dense 層的函數即可獲得能夠學習數據交互特征的FM 層，于是:

金融時序數據s(t)經過右通道FM 網絡后得到交互特征向量fFM，數據格式為(?，k).

2.4 LSTM 層

因為引入因子分解機的目的是獲得輸入之間的交互特征，在普通的LSTM 模型中是利用激活函數來簡單的處理這種非線性，更高級的時序特征比如Bi-LSTM 或者Bi-GRU 等方式都有更為復雜的模型，在非線性處理上對數據的影響較大，在后續的融合中可能造成不利影響，于是選擇了最基礎的LSTM 模型與因子分解機進行融合.在本模型中LSTM 用于提取數據的時序特征，通過對前期信息有選擇的記憶和遺忘，LSTM 實現了對相關信息的長期記憶，從而提取了數據的時間特征.

LSTM 的輸出結果如公式(13)所示:

其中ht為LSTM 的輸出，ot是輸出門的輸出，ct是細胞存儲器狀態，分別定義為公式(14)和公式(15):

細胞存儲器狀態中還包括了遺忘門的輸出ft和輸入門的輸出it，分別定義為公式(16)和公式(17):

其中xt為輸入，W 為權重系數矩陣，b 為偏置項，σ 和tanh 分別表示sigmoid 激活函數和雙曲正切激活函數.

經過左通道LSTM 網絡后得到時序特征向量ht.

2.5 卷積融合層

本模型中卷積融合層主要用于融合數據的時序特征和交互特征.金融時序數據s(t)經過右通道FM 網絡后得到交互特征向量fFM，數據格式為(?，k);經過左通道LSTM 網絡后得到時序特征向量ht，為了便于接下來的融合操作，調整LSTM 的神經元數量，使數據格式也成為(?，k).左右兩個通道的特征向量經過Concatenate 層按列拼接，Concatenate 層的輸出 Co格式為(?，2，k).

本文中的局部連接層的工作方式如圖3 所示:

圖3 卷積融合層工作樣例圖Fig.3 Convolutional fusion layer working example

在局部連接層中，卷積操作是指計算輸入向量的區域和卷積核的權重矩陣之間的點積并求和，將其結果作為卷積操作的輸出，卷積核將滑過整個圖像，重復相同的卷積運算.

在傳統的卷積層和局部連接層中，卷積核的形狀一般為正方形(即形狀一般為(2，2)，(3，3)等)，本文中局部連接層的目的是融合兩個不同的特征，所以將卷積核的大小設置為(2，1)，同時由于局部連接層的權值不共享，所以每一個融合特征Li都是由時序和交互特征以不同的權值融合的，經過反向傳播算法，不斷優化卷積核的權值，這樣在卷積操作后得到的特征向量就可以同時表征數據的時序特征和交互特征.

卷積融合層的輸出Lo的具體產生過程為:

其中f()為激活函數，Wi表示第i 層卷積核的權值向量，×表示卷積核與特征進行卷積操作，bi表示偏置.

最后我們將得到的融合特征Lo輸入到dense 層中進行回歸預測.

3 實驗分析

3.1 數據來源

為了驗證方法的有效性，我們選取兩個不同的股票市場數據來進行實驗:中國的滬深300 指數和美國的標準普爾500 指數.因為LSTM 等深度學習方法要求數據量較大，同時綜合考慮了兩個市場的運行情況，選擇了兩個市場運行相對平穩的2008年1月2日至2017年12月28日為止的數據，其中前80%部分用作訓練集，剩下的20%部分用作測試集.

在特征方面，我們選擇股票指數的開盤價、收盤價、最高價、最低價、成交量五個要素作為普通特征用于進行常規的股指預測，而VMD 分解是基于股指每日收盤價的時間序列進行分解的，分解后得到的IMF 分量作為特征來進行預測.

我們將對滬深300 指數和標普500 指數進行VMD 分解，將分解出來的IMF 分量作為特征使用.VMD 分解的第一步是要確定模態數K，K 值定的太高容易出現過分解現象，會導

3.2 VMD 信號分解

致模態重復;K 值定的太低則會出現欠分解［20］.本文根據中心頻率值確定K 值，K 值首先從5 開始，對原序列進行VMD分解，檢測每個模態對應的中心頻率，未出現中心頻率近似的模態則K 值加1，進行下一輪分解，直到出現第一個分解后出現中心頻率近似的模態為止，記錄下當時的K 值，選擇K-1的值作為VMD 分解的模態數.除此之外，對懲罰因子α 取默認值2000;τ 取值0.3 以保證數據分解的保真度.對時序數據進行歸一化處理，將數據縮放至(－1，1)，再進行VMD 分解.

圖4 滬深300VMD 分解圖Fig.4 HS300 Index VMD decomposition map

圖5 標普500 指數VMD 分解圖Fig.5 S＆P 500 Index VMD decomposition map

首先對滬深300 指數進行變分模態分解，經過測試，K 值取12 時數據分解的效果最好，VMD 分解得到的IMF 如圖4所示.

同理，對標普500 指數進行VMD 分解，經測試，K 值取10 時，數據分解的效果最好，VMD 分解得到的IMF 如圖5所示.

3.3 評價指標

本文對于價格預測能力的評價指標選取為均方根誤差RMSE、平均絕對誤差MAE、確定系數R2和方向準確率DA，其中RMSE 是用來衡量觀測值同真值之間的偏差，RMSE 越小，模型對于真實值擬合的偏差越小，結果越準確;MAE 是絕對誤差的平均值，能更好地反映預測值誤差的實際情況，同樣也是值越小結果越準確;確定系數R2越接近1，表示模型擬合效果越好.DA 的定義為模型對股票價格變化方向預測的準確性，具體公式定義:

3.4 實驗及對比實驗的設置

為了驗證本文所提出VMD-LSTM-FM 模型的有效性，我們使用前文中提到的數據、VMD 分解層數、評價指標，使用經過VMD 提取的IMF 分量用作特征進行預測.

圖6 模型loss 變化曲線Fig.6 Model loss curve

在模型參數方面，以滬深300 指數預測為例，先定義時間步長為5，將歸一化的IMF 分量數據按照時間進程依次排列，組成二維數據矩陣形式，以滑動窗口截取方式構造訓練集.根據3.2 所述 VMD 的 K 值取的12，所以輸入數據的形狀為(?，5，12).根據 2.4 節描述的模型，右通道 FM 層輸出的形狀為(?，12)，首先固定訓練次數epoch=1000，接下來我們確定左通道LSTM 合適的隱藏層數量，經過試驗LSTM 在具備三個隱藏層之后再增加隱藏層性能變化不明顯，五層以上則明顯過擬合，所以我們左通道選擇三個LSTM 層的組合.根據神經元選擇的傳統，神經元個數一般是2 的次方數，我們以(2，2)為起點，最后一層固定為12 個神經元，逐步增加神經元數目，發現(64，32，12)的神經元組合數目得到最好的預測效果.在激活函數方面，我們發現使用tanh 函數時預測效果較為理想.epoch 的大小會對模型的預測精度和運行效率造成較大影響，圖6 為模型在訓練過程中的loss 變化曲線，由此可知模型在200 次迭代后已基本收斂，300 次迭代后loss 基本穩定，于是設定epoch 為300.

為了防止模型過擬合，還需要在模型中加入dropout 層，設定從 0.2 起步，每次增加 0.1，發現 dropout=0.5 時模型表現較好.卷積融合層的參數根據2.4 節的描述，設置filters=1，卷積核大小為(2，1)，激活函數為Relu.參照上述方式選取使用數據為標普500 的模型參數.

我們將本模型的預測結果與學術界常見的幾種預測模型結果進行比較，具體的對比模型如下:

3.4.1 單通道模型

1)輸入數據為常規特征

輸入特征為t 日的指數開盤價、指數收盤價、指數最高價、指數最低價、指數成交量等五個指標，輸出結果為t+1 日的指數收盤價.比較模型為 BP 神經網絡、支持向量回歸(SVR)、循環神經網絡(RNN)、長短期記憶神經網絡(LSTM).

2)輸入數據為VMD 分解得到的IMF 分量

輸入為t 日至t+5 日的指數經變分模態分解的IMF 分量，輸出結果為t+6 日的指數收盤價.比較模型為長短期記憶神經網絡(LSTM)、因式分解機(FM).

3.4.2 雙通道模型

輸入為t 日至t+5 日的指數經變分模態分解的IMF 分量，輸出結果為t+6 日的指數收盤價.比較模型為將經過LSTM 和FM 兩個通道的特征進行拼接(VMD-C-LSTM-FM)或直接按區域相加(VMD-A-LSTM-FM).

參照前述參數配置過程，選取對比實驗模型最佳的模型參數.

3.5 實驗結果與對比分析

實驗的評價指標記錄表如表1 所示.

表1 (a) 滬深300 指數模型預測結果對比Table 1(a) Comparison of prediction results of HS300 index model

首先我們觀察到目前學術界比較常見的幾種模型(BP、SVR、RNN、LSTM)在 R2、RMSE、MAE 三項上表現各有千秋，但是它們在DA 這個值上表現普遍低于50%，說明模型沒辦法準確預測市場的趨勢，在圖形上的表現則是預測值和實際值出現了平移，如圖7 所示，這是使用普通特征進行預測無法克服的問題.

表1 (b) 標普500 指數模型預測結果對比Table 1(b) Comparison of prediction results of S＆P 500 index model

VMD 分解我們可以把它視為一種對金融時序數據進行特征提取的方法，分解出來的IMF 分量可以視作市場內在的特征，將IMF 分量輸入到模型中進行預測得到的結果更為精確，我們將VMD 引入到模型中后，DA 立刻飆升到70%以上，說明使用VMD 分解后得到的IMF 分量進行預測可以有效的捕捉市場的趨勢，在圖形上的表現則是預測值和實際值未出現平移現象，高低點重合度較高.不僅如此，在 R2、RMSE、MAE 三項指標上使用VMD 的方案也相較于普通預測方案有較大提升.

學術界目前有不少使用VMD 分解后的IMF 分量做特征的模型，但是目前大多數模型均是直接將IMF 分量投入到改進的模型中運用，沒有考慮到各個IMF分量間的交互作用.為了獲得IMF 分量間的交互信息，本文在模型中引入了因子分解機，通過因子分解機獲得IMF 分量的交互特征，并將其和LSTM 獲得的時序特征通過雙通道神經網絡融合到一起.針對傳統的拼接和按區域相加融合方案的不足，本文提出了使用改進的局部連接層進行融合的新方案，使模型能更有效的同時表達數據的時序特征和交互特征，優化模型的預測效果.從預測結果上來看，本文提出的局部連接層融合方案VMD-LSTM-FM 在兩個市場上的表現均好于特征拼接方案(VMD-C-LSTM-FM)和直接按區域相加方案(VMD-ALSTM-FM).RMSE 平均比 VMD-C-LSTM-FM 低 28.6%，平均比 VMD-A-LSTM-FM 低 44.32%;MAE 平均比 VMD-CLSTM-FM 低 42.22% 平均比 VMD-A-LSTM-FM 低 53.22%;R2平均比 VMD-C-LSTM-FM 高 2.54%，平均比 VMD-ALSTM-FM 高 6.09%;DA平均比VMD-C-LSTM-FM 高4.68%，平均比 VMD-A-LSTM-FM 高 7.23%.預測性能有明顯提升.

圖7 Fig.7

4 結 論

本文首先對學術界進行金融時序數據預測的方法進行了總結，并通過實驗驗證了以VMD 分解作為特征提取方案的有效性，克服了目前大多數研究中無法有效預測市場趨勢的問題，成功的從金融時序數據中提取出了有效的特征.

目前學術界大多數研究在使用VMD 分解后的IMF 分量做預測時均未考慮各個IMF 分量間的交互問題，本文將因子分解機引入到模型中，試圖將LSTM 和FM 融合為一體.針對目前雙通道融合方案的不足，本文基于圖像融合的原理提出了局部連接層融合特征的方案，經過實驗驗證了 VMDLSTM-FM 的有效性，提出的模型在不同市場上均表現出極佳的性能，取得了更加準確的預測結果，包括更低的預測誤差和更高的方向準確性.