基于深度學習的時間序列信號模型研究

齊菲菲，劉 芳

（廣東金融學院，廣州 510521）

0 引言

金融市場是一個由大量相關市場構成的典型復雜系統，對這個復雜系統運行規律進行理解并預測，是業界和學術界面臨的一項重大挑戰。由于金融市場內部各個元素非常復雜，許多外界影響因素難以量化，而且各個市場之間存在相互作用，使得理解金融市場的規律和行為非常困難。例如，國內的上證指數和量、深圳的創業板指數等。然而，不同金融市場的某些統計特征（如市場指數、成交交易價格等）存在極大的相似性，說明金融市場極可能存在一些普適性的規律。在個人投資方面，為了獲得較好的投資回報，規避投資風險，也迫切需要有一種科學的預測方法指導投資以及解釋價格變動原因的理論。因此，對金融市場的某些統計量進行研究，尋找其運行規律，并對未來的趨勢進行預測，具有十分重要的理論和現實意義。值得注意的是，金融市場是一個非線性、非平穩、多尺度的時間序列，其信號具有時域內相關性強、高維度、噪聲強等特點，這使得如何設計穩健的預測模型充滿挑戰。

隨著信息科學技術和計算機網絡的快速發展，人們預測市場趨勢由以往的基于經濟學、金融學理論基礎，發展到采用線性或者非線性的機器學習模型來完成，如線性判別分析、主成分分析、支持向量機、遺傳算法、小波分析、馬爾科夫鏈等。以往的研究方法都屬于淺層方法（簡要的數據分析流程如圖1 所示），其特點是應用于模式識別任務時，后續特征定義中需要預先固定特征映射。淺層學習方法主要有以下兩個缺點：一是信號的特征定義和分類預測多采用線性映射，表達能力有限，模型的特征并不能夠完全反應信號所包含的所有有用信息；二是特征定義一般取決于數據分析者的經驗知識，難以保證最優性。因此，我們更加迫切需要能夠自適應地從金融市場的時間序列信號中分析得到有用特征的分析工具，僅用淺層的模式識別算法難以滿足需求。

圖1 淺層方法的數據處理過程示意

2006 年，Hinton 提出分層初始化的高效算法，為深度學習的可行性提供了技術保障。繼該里程碑工作之后，深度學習得到了工業界的廣泛關注，谷歌、微軟、蘋果、IBM、百度等公司爭相投入資源甚至成立專門的研究院用于研究深度學習在大數據處理中的應用。深度學習包括人臉檢測、語音識別和檢測、物體識別、自然語言處理、機器人在內的眾多研究領域取得了突破。著名的《MIT 科技評論》將深度學習列為2013 年突破性科學技術之一。而近幾年，深度學習在各個領域更是取得了突飛猛進的進展，在時間序列信號分析方面的應用也越來越廣泛。

深度學習研究始于20 世紀80 年代的多層人工神經網絡研究，Rumelhart 等提出了著名的反向傳播算法（Back－Propagation，BP）用于優化深度神經網絡中的參數，但是由于以下原因，導致BP 的性能不夠理想：一是目標函數高度非凸，使得優化問題存在大量的局部優解；二是網絡待優化參數多，容易導致過擬合；三是誤差在反向傳播過程中越來越小直至消失，導致算法收斂慢，性能不夠理想；四是深度網絡學習所用的BP 算法對早期的訓練樣本較為敏感，這是因為在訓練早期權重變化會增大，且網絡的非線性會增加，隨著訓練持續，BP 所能達到的區域范圍會變小。為了克服反向傳播算法存在的問題，越來越多的學者展開研究，有兩種辦法被提出并取得了成功：一種是LeCun 提出的卷積神經網絡（Convolutional Neural Networks，CNN），該網絡利用局部感受野（local receptive field）和權重共享（weight sharing）兩大原則使得層與層之間的連接具有稀疏性，在使用BP 算法進行訓練時可取得不錯的效果。另一種是Hinton 于2006 年提出的無監督的初始化（unsupervised pretraining）＋微調（fine－tuning）的策略訓練深度神經網絡，取得了舉世矚目的優異分類性能。該方法在初始化階段訓練得到數據的生成式模型（數據比標簽維數更高，包含有更豐富的結構信息，這是生成式建模相比判別式建模的優勢，且無標簽數據比有標簽數據更容易、更易自然獲?。行Э朔恕熬S數災難”問題。其中單層結構單元（building block）由受限玻爾茲曼機（Restricted Boltzmann Machine，RBM）構成，使用對比散度（contrastive divergence）方法進行參數的近似最大似然估計。在微調階段于生成式模型的上層累加邏輯回歸模型，進而使用BP（或共軛梯度法）算法微調網絡的所有參數。采用這種方法訓練的神經網絡被稱為深度置信網絡（Deep Belief Networks，DBN）。頂端的兩隱層為無向RBM，而之下的層為有向圖。Hinton認為深度神經網絡具有優異的特征學習能力，所得到的特征能夠更本質地刻畫數據分布，從而有利于對模式的分析、可視化和分類。

Bengio 研究小組的研究成果表明使用去噪自編碼器（Denoising Autoencoder）代替RBM 初始化深度神經網絡可達到類似的好結果，說明無監督初始化可作為一般性的優化深度神經網絡有效方法。Bengio 研究小組通過一系列的數據實驗研究得出進一步結論：初始化起到的更多是對網絡學習的正則化作用，提升泛化性能，而并不一定能降低訓練誤差。深度網絡學習所用的BP 算法對早期的訓練樣本較為敏感，這是因為在訓練早期權重變化會增大且網絡的非線性會增加，隨著訓練持續，BP 所能達到的區域范圍會變小。因此即使在大訓練樣本情況下，BP 仍有可能對早期訓練數據過擬合，而初始化能夠將BP 搜索的起始點限制到較好的吸引盆，這是與傳統正則化方法（大訓練樣本下并不起作用）的重要區別。值得注意的是，深度學習模型的網絡復雜、參數較多，因此需要訓練數據的規模很大才能取得較為理想的泛化性能。

近年來，深度神經網絡在金融市場的時間序列信號分析方面也受到一定的關注。然而相關的研究報道并不多見，可能有以下兩方面的原因：一方面，這項技術對于經濟領域的學者而言還相對較為新穎，并且理解和使用起來，比淺層的學習方法更為困難，而且網絡的設置與訓練都較為耗時耗力；另一方面，早期的多層神經網絡由于訓練方法的缺陷導致效果不佳，反而不如支持向量機、線性回歸等淺層學習方法，這也在一定程度上使得研究者們對深度學習是否能夠在時間序列信號分析這方面取得顯著的效果提升持懷疑態度。

在此背景下，根據時間序列信號分析的研究發展，以及深度學習算法的推進，本文引入深度學習模型對時間序列信號進行進一步探索。此模型框架旨在能夠最大限度地提取金融時間序列信號內含有的規律和信息，根據現有的時間序列反映出來的信息建立魯棒預測模型，并利用該模型預測金融時間序列信號內的短期運行趨勢，為投資決策提供參考依據。此模型充分考慮時間序列信號的時域內相關性和信號的非平穩性，自動學習確定最佳的網絡規模，解釋并可視化非線性特征。通過對上述問題進行系統研究，希望能對推動基于深度學習的時間序列信號分析理論和應用研究的發展做出一定的貢獻。

1 基于深度學習的時間序列信號模型

本文在已有的信號處理算法研究的工作基礎上，以提升現有時間序列信號的預測性能為目標，借鑒深度學習在其他領域的已有研究成果，結合時間序列信號的時域內強相關性、高維性、非平穩性等特點，深入系統地基于深度學習理論開發時間序列信號處理的前沿理論和有效方法。開發的算法將通過Wind 數據庫中的指數數據進行分析并加以驗證，希望為時間序列信號處理的理論發展和應用推廣提供新穎手段和思路。時間序列信號的深度學習方法處理框圖如圖2 所示。

對于時間序列信號短期趨勢的預測，傳統的做法主要是利用機器學習中的分類或者聚類算法給預測結果分配合適的標簽。本文以Wind 數據庫中的“指數”數據作為研究對象，并建立深度神經網絡模型。在使用深度學習模型進行數據處理之前，需要對數據進行以下預處理：一是對時間序列數據進行離散化處理。用一定數量的字符表示各個時間段數據的范圍（比如將標簽簡單地設定為“上升趨勢”“穩定趨勢”“下降趨勢”這三類），在后續處理中利用深度神經網絡模型預測得到下一個字符，即下一時間段數據的范圍，以此來反映數據趨勢以及變化程度。二是對于缺失值問題，本文利用臨近采樣點數據使用插值法進行填補。本文主要采用的模型如圖2 所示。

圖2 時間序列信號的深度學習方法處理框圖

1.1 基于深度置信網絡的研究

本文基于深度置信網絡（Deep Belief Networks，DBN，網絡模型如圖3 所示）展開理論和應用研究，具體研究內容包括以下三個方面：

圖3 深度置信網絡示意

1.1.1 面向時間序列信號的深度神經網絡的設計與參數學習

根據時間序列信號的時域內強相關性、高維性、非平穩性等特點，設計新的深度神經網絡模型對其進行非線性處理及特征學習，并研究網絡參數的學習方法。重點研究：（a）通過設計新的時域受限玻爾茲曼機，在網絡結構單元中對時間序列信號實現有效的非線性濾波，以提取和增強其有效成分；（b）對網絡權重施加，從而使得網絡對信號的非平穩性不敏感；（c）根據網絡結構，開發學習算法，對其參數進行近似最大似然估計；（d）為提高模型的泛化性能，采用逐層初始化方法對網絡進行初始化，并揭示該初始化方法與最大似然估計之間的關系。

深度置信網絡模型中，最頂的兩個隱含層為無向的受限玻爾茲曼機（Restricted Boltzmann Machine，RBM），而之下的層為有向圖模型。根據以往研究結果得知，深度置信網絡具有優異的特征學習能力，所得到的特征能夠更本質地刻畫數據分布。根據時間序列信號的時域相關性以及非平穩性，本項目設計合理的深度置信網絡對時間序列信號進行非線性處理及特征學習，并研究網絡參數的學習方法。

1.1.2 面向時間序列信號的深度神經網絡規模學習

為進一步提升深度神經網絡的泛化性能，增強其可解釋性，本項目力求簡化網絡復雜度來確定其最佳規模（包括網絡層數和每一層的單元數）?；陧椖可暾埲嗽谛盘柼幚矸矫娴难芯炕A，本項目重點研究比較兩種網絡規模簡化方法：（a）參數化的稀疏化學習方法，此方法通過在DBN 參數學習的目標函數中加入正則化項，以懲罰過多隱層單元的激活；（b）非參數化稀疏學習方法，借鑒淺層貝葉斯學習方法的成功經驗，對網絡的層數和每層單元數并不事先施加先驗約束，而通過非參數貝葉斯學習的方法自動確定網絡的最佳規模。

近年來，貝葉斯學習與概率編程越來越受到研究者的重視，尤其是與深度神經網絡模型結合之后的貝葉斯深度學習，能夠充分利用兩者的優勢，提高模型學習的效率與性能。貝葉斯深度網絡模型具有以下幾個特點：一是能夠充分利用特定腦信號的特點設計并引入先驗到模型中，這種先驗不但能夠加快模型收斂，而且能夠起到正則化的作用，在一定程度上防止模型過擬合現象的發生；二是貝葉斯推斷學習到的參數或預測標簽的后驗概率分布，保留了預測結果的不確定性；三是能夠利用新的觀測獲得新的證據并不斷更新模型的后驗使之趨向于真實分布，也就是能夠對已有模型進行不斷的修正，進行在線學習；四是貝葉斯模型完全由數據驅動，無信息先驗的設定使得模型中的超參數都可以完全從數據中優化得到最優值，而不需要進行耗時的網格搜索。鑒于貝葉斯深度網絡模型的以上優勢，本項目將嘗試通過設計合適的貝葉斯深度學習模型，得到對時間序列信號的更本質刻畫，并得到更為理想的預測性能。

1.1.3 深度神經網絡隱含層特征的可視化

深度學習的優勢是端到端的學習（end－to－end learning），雖然深度神經網絡在各個領域已經取得了突出的研究進展，如何可視化深度神經網絡的隱含層特征仍舊是有待解決的問題。借鑒其他領域已有的研究結果，本項目擬采用深度自編碼器、主成分分析等方法對隱含層特征降維到低維的空間進行可視化，進而與其他被證明行之有效的特征進行比較，以便為改進深度神經網絡模型提供啟示和指導。

1.2 基于卷積神經網絡的研究

卷積神經網絡仿造生物的視知覺機制構建，能夠通過逐層特征變換非線性組合低層特征，形成更加抽象的高層特征，從而自動學習時間序列信號中的多層表達。CNN 可以進行監督學習和非監督學習，其隱含層內的卷積核參數共享和層間連接的稀疏性使得卷積神經網絡的參數規模較小，且沒有額外的特征分布要求，因此在各個研究領域都得到了廣泛應用。卷積神經網絡的示意圖如圖4 所示。本文的目標之一是設計出適用于分析時間序列信號的卷積神經網絡模型，設計合適的層數、卷積核，并采用有效的激活函數，以取得較好的預測性能。根據筆者在腦電信號處理方面的現有研究結果，采用批量標準化（batch normalization）對特征進行歸一化，使用dropout 做正則化，并使用指數線性單元（Exponential Linear Units，ELU）作為激活函數。

圖4 卷積神經網絡網絡示意

1.3 基于對抗自編碼器生成網絡的研究

鑒于自動編碼器（AE）在特征提取方面取得了較好的性能，對抗生成網絡（GAN）作為一個很好的生成模型，本項目希望通過結合變分自動編碼器（VAE）與對抗生成網絡各自的優勢，構造一個對抗自動編碼器網絡（如圖5 所示），利用VAE 能夠根據指定分布采樣得到生成樣本的能力，結合GAN 的損失函數自動學習的原理，改變生成模型的樣本分布，讓整個網絡能夠生成更接近真實樣本的對抗樣本。鑒于深度神經網絡需要大量的訓練數據才能取得理想的性能，本項目擬采用對抗自編碼器生成網絡擴大有效樣本的數量，使得訓練得到的模型能夠有更好的預測性能。

圖5 對抗自動編碼器生成網絡示意

通過上述模型對時間序列信號進行分析和應用研究，我們將學習到更有效的深度模型，得到更加精準的預測結果。

2 結語

本文詳細介紹了基于深度學習的時間序列信號模型研究的總體框架和基本思路。時間序列信號分析具有廣闊的應用前景，深度學習方法的引入，為更好地進行時間序列信號預測，得到更合理化的結果解釋等方面提供了一個有效途徑。

為了更好地提升信號預測的效果，需要進一步做好以下兩個方面的工作：一是獲取更多地實時性數據進行有效的預測，應用更多的合理數據可以更好地檢測模型，有效地完成預測；二是進一步完善現有的模型框架，以適應時代變化、信息更新等。