基于時域卷積與雙向GRU神經網絡的時序預測模型

王振　張生

摘 要：隨著物聯網技術和5G技術的發展，各類智能設備收集的時序數據規模急劇增長，為了利用深度學習技術對大規模時序數據進行預測，提出一種基于深度神經網絡的時序預測模型。該模型首先利用時域卷積神經網絡層對時序數據進行預處理，然后利用雙向GRU神經網絡層提取時序數據的前向特征和后向特征，最后對時序數據進行預測。在真實數據集上的實驗結果表明，該模型相比傳統長短期記憶網絡模型，預測準確度提高了近70%，預測速度提高了近10%，可更好地滿足對大規模時序數據的預測需求。

關鍵詞：深度學習;時序預測;雙向GRU神經網絡;卷積神經網絡;循環神經網絡

DOI：10. 11907/rjdk. 192539

中圖分類號：TP306 ? 文獻標識碼：A??????????????? 文章編號：1672-7800（2020）003-0048-05

Time Series Prediction Model Based on Time Domain Convolution and

Bidirectional GRU Neural Network

WANG Zhen， ZHANG Sheng

（School of Optical-Electrical and Computer Engineering，University of Shanghai for Science and Technology，Shanghai 200093，China）

Abstract： With the development of Internet of Things and 5G technology， the scale of time series data collected by various kinds of intelligent devices has increased dramatically. In order to use deep learning technology to predict large-scale time series data， this paper proposes a time series prediction model based on deep neural network. This model firstly preprocesses the time series data with the time-domain convolutional neural network layer， then extracts the forward and backward characteristics of the time series data with the bidirectional gated recurrent unit （GRU） neural network layer， and finally predicts the time series data. The experimental results on real data sets show that the model proposed in this paper can better meet the prediction requirements of large-scale time series data by improving the prediction accuracy nearly 70% and the prediction speed nearly 10% compared with the traditional LSTM network model.

Key Words： deep learning; time series prediction; bidirectional GRU neural network; CNN; RNN

0 引言

序列數據通常包括文本數據和時序數據，其中時序數據反映數據在時間維度上的變化規律，其是按時間順序存儲的一連串隨時間推移測量相同事物的數據點[1-2]。時序數據在現實生活中分布廣泛，如智能家居系統在持續監控房屋內變化時收集的溫度和濕度數據、自動駕駛汽車持續收集的環境變化數據等。時序預測即使用特定的時序預測模型對歷史數據進行擬合，分析時序數據發展規律，最終對未知數據作出預測[2]。現有時序預測方法主要分為統計學習方法和深度學習方法，其中統計學習方法適用于線性時序數據預測，深度學習方法適用于復雜非線性的大規模時序數據預測[3]。

目前時序預測領域常見的深度學習模型為門控循環單元網絡模型（Gated Recurrent Unit，GRU）[9]，該模型通過隱層狀態機制實現對時序數據歷史信息的利用，通過門控機制實現對隱層狀態的更新，該模型可較好地實現對中等規模時序數據的預測分析。但由于模型結構較為復雜，對大規模數據進行預測時運算速度較慢，且在數據規模較大時，隱層狀態機制對較早的信息無法進行有效利用，導致準確度下降[2-3]。

為了更好地對大規模時序數據進行預測，本文提出一種基于時域卷積與雙向GRU神經網絡的時序預測模型。該模型首先構建包含時域卷積層和最大池化層的時域卷積神經網絡，通過引入滑動窗口機制及最大池化結構，對大規模時序數據進行有效信息提取并縮減數據規模，然后利用雙向GRU神經網絡進行時序預測，有效避免了傳統模型中無法有效利用隱層信息的問題，以提高對大規模時序數據的預測準確度與速度。

1 相關理論

1.1 卷積神經網絡

卷積神經網絡（Convolutional Neural Network，CNN）是由LeCun[4]于1998 年提出的一種神經網絡模型。卷積神經網絡是一種前饋神經網絡，是一種主要應用于計算機視覺領域的經典深度學習模型，相較于傳統神經網絡，其引入了卷積層和池化層。

卷積層（Convolutional Layer）用于將輸入圖像特征圖與卷積核進行卷積運算，其通過滑動一個比原有輸入尺寸更小的窗口提取輸入的局部特征，然后在更高層進行合并，以得到輸入圖像全局特征。卷積層內部采用稀疏連接和權值共享機制，可以降低參數數量。

池化層（Pooling Layer）主要用于對數據進行池化處理，通常在卷積操作之后進行。池化處理的目的是為了計算特征在局部的充分統計量，從而降低總體特征數量，防止過擬合且減少計算量，同時通過增大卷積層的觀察窗口，引入空間過濾器的層級結構。

時域卷積神經網絡是一種使用一維卷積核（One Dimensional Convolution Kernel）[5]在時域上對時序數據進行卷積計算的卷積神經網絡，其工作原理如圖1所示。它將時序數據中的時間維度看作一個空間維度，通過時序分割從序列中提取出局部序列段，然后使用一維卷積核對局部序列段的鄰近信號進行卷積計算，生成一個輸出張量。

時域卷積計算如式（1）所示。

式中[yt]表示[t]時刻的時域卷積值，[xt-k+1]表示輸入序列[x={x1，x2，？，xn}]中的第[t-k+1]個值，[wk]表示一維卷積核中的權值參數，卷積核長度為[N]。

由于時域卷積神經網絡的每個輸出張量都是通過對不同位置上的局部序列段使用同一離散卷積核進行卷積計算得出的，即卷積核參數是固定的，因此時序特征在時間維度上的平移不會對時域卷積神經網絡產生影響。所以與傳統卷積神經網絡類似，時域卷積神經網絡在時間維度上具有平移不變性，可以識別出隱含在局部序列段中的局部特征模式。

由于時域卷積神經網絡在對輸入序列進行處理時沒有保留輸入時間步的順序信息，因此為了加入時序敏感性，本文引入雙向GRU網絡對時域卷積神經網絡的輸出作進一步處理。

1.2 循環神經網絡

循環神經網絡（Recurrent Neural Networks，RNN）是一類具有內部環的神經網絡[6]。其序列處理方式是：遍歷序列元素，并生成一個隱層狀態，其中包含與歷史數據相關的模式信息。其能夠保留序列前后關系，通常被用于處理序列數據。

對于傳統循環神經網絡，當輸入序列長度較大時，會產生梯度消失問題，導致RNN實際上只能學習到短期依賴關系，而無法很好地處理遠距離依賴，也稱為長期依賴問題（Long-Term Dependencies Problem）[7]。

為了解決這一問題，一種比較好的解決方案是通過引入門控機制以控制信息累積速度，包括選擇性地加入新信息，并選擇性地遺忘之前累積的信息，通常稱這類網絡為基于門控的循環神經網絡（Gated RNN）。兩種常見的基于門控機制的循環神經網絡為：長短期記憶網絡（Long Short-Term Memory，LSTM）[8]和門控循環單元網絡（Gated Recurrent Unit，GRU）[9]。

LSTM神經網絡由Hochreiter&Schmidhuber于1997年提出，其是循環神經網絡的一種變體。GRU神經網絡由Chung等提出，其在LSTM基礎上作進一步優化，使得運行計算代價更低。GRU與LSTM可得到同樣準確的預測結果，而且GRU模型中包含網絡參數更少，因此其運算性能較好，且降低了出現過擬合的風險。LSTM與GRU網絡均使用被稱為“門”（gate）的記憶模塊或結構控制對歷史序列特征的記憶。

在數字電路中存在著類似的“門”機制，其中 “門”為一個二值變量：{0， 1}，0代表關閉狀態，不允許任何信息通過;1代表開放狀態，允許所有信息通過。GRU網絡中的“門”是一種非離散數值，取值在（0， 1）之間，表示允許一定比例的信息流通過“門”。趨近于0時，表示信息流不能通過“門”;趨近于1時，表示信息流可以通過“門”。

門控循環單元模型內部結構如圖2所示，設輸入時序數據為[x={x1，x2，？，xt}]，其中[xt]表示輸入序列中第t個元素值;[ht-1]表示在t-1時刻的隱層狀態;[rt]表示重置門，用于控制前一時刻隱層單元[ht-1]對當前輸入[xt]的影響，若其值為0，則開關[rt]為打開狀態，使[ht-1]對[xt]不產生影響;[zt]表示更新門，用于決定是否忽略當前輸入[xt]，當[zt]開關接通下方支路時，將忽略當前輸入，同時在[ht-1]與[ht]之間形成短路，使得梯度得以有效地進行反向傳播。這種構成短路的機制能夠有效避免出現梯度消失現象。

在[t]時刻，門控循環單元模型在數學上的形式化表示如下：

其中，公式（2）和公式（3）中的[σ]表示Sigmoid激活函數，公式（4）和公式（5）中的[⊙]表示逐元素相乘，公式（6）為Sigmoid激活函數的數學定義。

2 模型

2.1 模型結構

本時序預測模型基本結構如圖3所示。通過卷積計算與最大池化處理過程，將較長的原始時序數據轉換為由抽象特征組成的更短序列，然后將其作為雙向GRU網絡層的輸入進行分析處理。本時序數據預測模型充分結合了時域卷積神經網絡在處理時序數據時的速度優勢與門控循環單元的時序敏感性。

本模型通過引入時域卷積神經網絡，一方面縮小了輸入數據的數量級規模，提高了模型運算速度，另一方面時域卷積神經網絡輸出中隱含了較大時間跨度下的時序特征，使雙向GRU網絡進行后續計算時可以觀察到更早的時序數據，以及分辨率更高的時序數據，從而提高了時序預測的準確性。

2.2 時域卷積神經網絡處理層

在時域卷積神經網絡處理層的卷積計算過程中使用128個時域卷積核，大小為24，最大池化層的最大池化算子大小為3。

時域卷積神經網絡處理層激活函數為線性整流函數（Rectified Linear Unit，ReLU），又稱為修正線性單元。ReLU函數可以使一部分神經元輸出為0，以提高網絡稀疏性，并且減少了參數的相互依存關系，以避免發生過擬合現象[11]。另外ReLU函數的導數為1，可減輕梯度消失問題，其數學定義如式（7）所示。

式中[x]為神經元輸入量，[w]為神經元權重參數，[b]為神經元偏移量（bias）。

通過池化處理可以對輸入數據進行縮放映射，在本模型中采用最大池化（Max Pooling）方法進行池化處理。通過最大池化處理可以在輸入特征中提取局部最大值，以降低可訓練參數數目，提高模型的魯棒性[12]。

最大池化處理在減小輸出數據維度的同時，保留了輸入數據最顯著的特征信息[13]。最大池化的意義主要為兩點：一是通過對特征圖（Feature Map）降維，有效減少后續層需要的參數;二是保持平移不變性（Translation Invariance） [14]，即當輸入數據在鄰域發生微小位移時，最大池化層的輸出是不變的，從而增強神經網絡的魯棒性，有一定的抗擾動作用。

最大池化變換函數如式（8）所示。

式中，[qli（t）]表示第[l]層第[i]個特征矢量中第[t]個神經元的值，[t∈[（j-1）W+1，jW]]，[W]為池化區域寬度，[pl+1i（j）]表示第[l+1]層中第[j]次池化計算對應的值。

2.3 雙向GRU神經網絡處理層

由于時序信息在GRU網絡中向前傳遞時會不斷衰減，越靠前的序列信息衰減越嚴重。為了克服信息衰減問題，本文對GRU網絡加以改進，同時訓練兩個方向相反的GRU以構成雙向GRU模型[10]。雙向GRU模型由兩個單向GRU疊加在一起組成，每個時刻t的輸入都會同時提供給兩個方向相反的GRU網絡層進行學習，模型最終輸出由這兩個單向GRU網絡層輸出共同決定。

本文使用的雙向GRU神經網絡模型如圖4所示。

在雙向GRU模型中，對前向傳遞和后向傳遞兩個子GRU網絡的輸出進行疊加，可得到雙向GRU模型輸出，其輸出公式如式（9）所示。

在雙向GRU神經網絡處理層中，前向傳遞子層與后向傳遞子層的神經單元個數均為32個。

為了避免模型在訓練過程中出現過擬合，在門控循環單元處理層引入Dropout機制[15]。Dropout是指在深度學習網絡訓練過程中，對于神經網絡單元，按照一定概率將其暫時從網絡中丟棄，該機制可以增強模型的泛化性，因為其不會太依賴于某些局部特征。經過實驗測試，當設置門控循環單元的Dropout為0.5時，模型性能達到最優。

3 實驗

3.1 數據集與測試環境

本實驗采用兩個數據集，分別是美國PJM公司的電力負荷數據集（包含2002-2018年間收集的145 366條電力能源消耗數據，其時間粒度為每小時，單位為兆瓦（MW）），以及德國馬克思·普朗克生物地球化學研究所的氣象站數據集（包含2009-2018年間收集的420 551條氣象觀測數據，時間粒度為每10分鐘），分別記為數據集1和數據集2。本實驗在這兩個數據集上將本模型與現有時間序列分析預測模型進行比較，最終證明本模型在解決實際問題時有較好表現。

在本實驗輸入數據中以每10分鐘為一個時間步，每6個時間步（即每小時）采集一次數據，給定過去2 880個時間步（20天）之內的數據，以預測144個時間步（24小時）之后的時間序列數據。

實驗在配置為Intel Core i5-4560 2.80GHz CPU、16GB內存、1TB硬盤，操作系統為Windows 10 64位的機器上進行，模型測試代碼使用Python語言實現。在實驗中，通過將本模型與常見的BP神經網絡模型、RNN神經網絡模型、LSTM神經網絡模型及GRU神經網絡模型進行對比，以證明本模型的高效性與準確性。

3.2 數據預處理

在將實驗數據輸入神經網絡之前，需要對其進行預處理。由于各個時序數據集中數據的數值變化范圍不同，為便于比較，需要對每個時間序列進行標準化（Standardization）處理。處理方法采用z-score標準化方法，具體是將原始時序數據的均值與標準差進行標準化，經過標準化處理后的時序數據符合標準正態分布，即均值為0，標準差為1，其轉化函數如式（10）所示。

式中[xi]表示原始數據中的第[i]個值，[μi]表示原始數據均值，[σi]表示原始數據標準差，[xi]表示標準化后的數據。

3.3 評價指標

為了驗證本模型相對其它時序預測模型的優勢，本實驗引入平均絕對誤差（Mean Absolute Error，MAE）、均方根誤差（Root Mean Square Error，RMSE）、均方誤差（Mean Squared Error，MSE） [16]與算法運行時間4項評估指標。通過該評價指標，可以充分評估各個時序預測模型在測試集上的預測誤差和預測速度。

其中MAE是指模型預測值[yi]與樣本真實值[yi]之間距離的平均值，MAE能夠較準確地反映預測值誤差的真實情況。MAE值越小，預測精度越大。MAE計算公式如公式（11）所示。

上式中[m]為測試集中的樣本個數，[yi]、[yi]分別表示第[i]個樣本的真實值和預測值。

RMSE表示模型預測值[yi]與樣本真實值[yi]之間差異的樣本標準偏差，RMSE對于測試集中的異常數據點更加敏感，即若有一個預測值與真實值相差很大，RMSE則會很大。RMSE值越小，預測精度越大。RMSE計算如式（12）所示。

MSE是指參數估計值與參數真實值之差平方的期望值，可用于評價數據變化程度，MSE值越小，說明預測模型具有更好的精度。MSE計算如式（13）所示。

3.4 實驗結果分析

表1、表2列出了使用MSE、MAE、RMSE與算法運行時間4種評價指標對BP神經網絡模型、RNN神經網絡模型、LSTM神經網絡模型、GRU神經網絡模型及本文模型在不同數據集上進行評估的結果。

對比實驗結果顯示，本模型在數據集1與數據集2上的MSE評估指標相比LSTM神經網絡模型分別提升了30.12%、70.31%，運行時間指標分別提升了12.81%、10.5%。相比單層GRU神經網絡模型，加入時域卷積網絡后的模型在數據集1與數據集2上的MSE評估指標分別提升了45.41%、69.14%，運行時間指標分別提升了8.5%、5.7%。說明通過結合時域卷積與雙向GRU神經網絡，本模型減小了運算負荷，且能夠捕獲更長時間維度中的時序信息，進而提高了本模型的預測準確性與速度。

為了驗證模型實際性能，圖5中給出了本模型時序預測結果與真實值的對比。結果顯示，本模型對時序數據的趨勢預測基本正確，說明從時域卷積神經網絡提取的顯著性特征中，雙向GRU網絡可以獲得更準確的時序規律，有效提高了時序預測精度，可滿足實際應用需要。

4 結語

在未來的高速、低延時5G網絡中，種類多樣的物聯網傳感器將產生大量時序數據。針對當前時間序列預測中存在的準確性與計算效率較低的問題，本文提出一種基于時域卷積與門控神經單元的網絡模型對時序數據進行預測。相比淺層的傳統模式識別方法，本模型可避免人工特征提取，并增強了模型泛化能力。最終實驗結果表明，相較于BP神經網絡模型、RNN神經網絡模型、LSTM神經網絡模型與GRU神經網絡模型，利用本模型進行時序預測有著更高的準確度與速度。在未來研究中，還會對本模型的神經網絡結構進行優化，以進一步提高模型預測精度和速度。

參考文獻：

[1]WEIGEND A S. Time series prediction： forecasting the future and understanding the past[M]. Routledge， 2018.

[2]潘麗娜. 神經網絡及其組合模型在時間序列預測中的研究與應用[D].蘭州：蘭州大學，2018.

[3]湯鈴. 復雜時間序列預測技術研究[M]. 北京：科學出版社，2016.

[4]LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition[J].Proceedings of the IEEE， 1998， 86（11）： 2278-2324.

[5]HAIDAR A，VERMA B. Monthly rainfall forecasting using one-dimensional deep convolutional neural network[J]. IEEE Access， 2018， 6： 69053-69063.

[6]LIPTON Z C， BERKOWITZ J， ELKAN C. A critical review of recurrent neural networks for sequence learning[J]. arXiv preprint arXiv：1506.00019， 2015.

[7]BENGIO Y， SIMARD P， FRASCONI P. Learning long-term dependencies with gradient descent is difficult[J]. IEEE transactions on neural networks， 1994， 5（2）： 157-166.

[8]HOCHREITER S， SCHMIDHUBER J. Long short-term memory[J]. Neural computation， 1997， 9（8）： 1735-1780.

[9]CHUNG J， GULCEHRE C， CHO K H， et al. Empirical evaluation of gated recurrent neural networks on sequence modeling[DB/OL].https：//arxiv.org/pdf/1412.3555.pdf.

[10]LU R，DUAN Z. Bidirectional GRU for sound event detection[J]. Detection and Classification of Acoustic Scenes and Events， 2017.

[11]LI Y， YUAN Y. Convergence analysis of two-layer neural networks with relu activation[C]. Advances in Neural Information Processing Systems，2017：597-607.

[12]SCHMIDHUBER J. Deep learning in neural networks： an overview[J]. Neural networks，2015，61： 85-117.

[13]TOLIAS G， SICRE R， JéGOU H. Particular object retrieval with integral max-pooling of CNN activations[DB/OL]. https：//arxiv.org/pdf/1511.05879.pdf.

[14]BOROVYKH A， BOHTE S， OOSTERLEE C W. Conditional time series forecasting with convolutional neural networks[EB/OL]. https：//www.doc88.com/p-4935081904951.html.

[15]SRIVASTAVA N， HINTON G， KRIZHEVSKY A， et al. Dropout： a simple way to prevent neural networks from overfitting [J]. The Journal of Machine Learning Research， 2014， 15（1）：1929-1958.

[16]MORIASI D N，ARNOLD J G，VAN LIEW M W，et al. Model evaluation guidelines for systematic quantification of accuracy in watershed simulations[J]. Transactions of the ASABE，2007，50（3）：885-900.

（責任編輯：黃 健）

收稿日期：2019-11-02

基金項目：上海市科學技術委員會科研計劃項目（17511109102）

作者簡介：王振（1993-），男，上海理工大學光電信息與計算機工程學院碩士研究生，研究方向為深度學習、時序預測;張生（1968-），男，上海理工大學光電信息與計算機工程學院高級工程師，研究方向為工業自動化、深度學習。