基于時空圖卷積網(wǎng)絡(luò)的多變量時間序列預(yù)測方法

收稿日期：2022-05-18；修回日期：2022-07-07" 基金項目：遼寧省重點研發(fā)計劃資助項目（2020JH2/10100039）

作者簡介：李懷翱（1998-），男，山東濟寧人，碩士研究生，主要研究方向為深度學(xué)習(xí)與時間序列預(yù)測；周曉鋒（1978-），女（通信作者），遼寧本溪人，副研究員，博士，主要研究方向為機器學(xué)習(xí)與工業(yè)過程優(yōu)化（zhouxf@sia.cn）；房靈申（1974-），男，遼寧沈陽人，研究員，博士，主要研究方向為智能產(chǎn)線研發(fā)與數(shù)字化設(shè)計；李帥（1988-），男，遼寧錦州人，副研究員，博士，主要研究方向為工業(yè)大數(shù)據(jù)智能分析與挖掘；劉舒銳（1993-），男，湖北襄陽人，助理研究員，碩士，主要研究方向為工業(yè)過程建模與控制.

摘 要：

為了擴大時空圖卷積網(wǎng)絡(luò)的預(yù)測范圍，將它應(yīng)用在關(guān)聯(lián)關(guān)系未知場景下的多變量時間序列預(yù)測問題，提出一種附加圖學(xué)習(xí)層的時空圖卷積網(wǎng)絡(luò)預(yù)測方法（GLB-STGCN）。圖學(xué)習(xí)層借助余弦相似度從時間序列中學(xué)習(xí)圖鄰接矩陣，通過圖卷積網(wǎng)絡(luò)捕捉多變量之間的相互影響，最后通過多核時間卷積網(wǎng)絡(luò)捕捉時間序列的周期性特征，實現(xiàn)對多變量的精準(zhǔn)預(yù)測。為驗證GLB-STGCN的有效性，使用天文、電力、交通和經(jīng)濟四個領(lǐng)域的公共數(shù)據(jù)集和一個工業(yè)場景生產(chǎn)數(shù)據(jù)集進(jìn)行預(yù)測實驗，結(jié)果表明GLB-STGCN優(yōu)于對比方法，在天文數(shù)據(jù)集上的表現(xiàn)尤為出色，預(yù)測誤差分別降低了6.02%、8.01%、6.72%和5.31%。實驗結(jié)果證明GLB-STGCN適用范圍更廣，預(yù)測效果更好，尤其適合自然周期明顯的時間序列預(yù)測問題。

關(guān)鍵詞：多變量時間序列預(yù)測；時空圖卷積網(wǎng)絡(luò)；圖神經(jīng)網(wǎng)絡(luò)；時間卷積網(wǎng)絡(luò)

中圖分類號：TP391"" 文獻(xiàn)標(biāo)志碼：A""" 文章編號：1001-3695（2022）12-006-3568-06

doi："" 10.19734/j.issn.1001-3695.2022.05.0235

Multivariate time series forecasting with spatio-temporal graph convolutional network

Li Huai’ao1，2，3，4，Zhou Xiaofeng1，2，3，F(xiàn)ang Lingshen5，Li Shuai1，2，3，Liu Shurui1，2，3

（1.Key Laboratory of Networked Control Systems， Chinese Academy of Sciences， Shenyang 110016， China; 2.Shenyang Institute of Automation， Chinese Academy of Sciences， Shenyang 110016， China; 3.Institute for Robotics amp; Intelligent Manufacturing， Chinese Academy of Sciences， Shenyang 110169， China; 4.University of Chinese Academy of Sciences， Beijing 100049， China; 5.Kunshan Intelligent Equipment Research Institute， Suzhou Jiangsu 215347， China）

Abstract：

In order to expand the prediction range of spatio-temporal graph convolutional network and apply them to the multi-variate time series prediction problems in the scenario of unknown correlation， this paper proposed a graph learning based spatio-temporal graph convolutional network（GLB-STGCN）. The graph learning layer learned the graph adjacency matrix from the time series with the help of cosine similarity， then the graph convolution network captured the interaction between multi-variables， and finally the multi-kernel time convolution network captured the periodic characteristics of the time series for precise prediction. To verify the effectiveness of GLB-STGCN， this paper used 4 public datasets from astronomy， electricity， transportation and economy and 1 industrial production dataset for the prediction experiments. The results show that GLB-STGCN outperforms the comparison methods， especially on astronomical datasets， with prediction errors reduced by 6.02%， 8.01%， 6.72%， and 5.31%， respectively. The experimental results prove that GLB-STGCN has a wider application range and better prediction effect， especially for time series prediction problems with obvious natural cycles.

Key words：multivariate time series forecasting; spatio-temporal graph convolutional network（GCN）; graph neural network; temporal convolutional network（TCN）

0 引言

隨著數(shù)據(jù)時代的到來和信息科技的發(fā)展，各個領(lǐng)域都采集到海量數(shù)據(jù)并嘗試?yán)萌斯ぶ悄芗夹g(shù)挖掘時間序列中蘊涵的信息。這些信息能夠幫助領(lǐng)域內(nèi)的工作人員對未來變化趨勢進(jìn)行預(yù)測，并基于預(yù)測結(jié)果作出合理的決策，改善領(lǐng)域的發(fā)展。比較典型的應(yīng)用場景如交通領(lǐng)域的交通流量預(yù)測和金融經(jīng)濟領(lǐng)域的銀行利率預(yù)測。在這些預(yù)測任務(wù)中，往往存在許多相互關(guān)聯(lián)的變量，難以只使用它們當(dāng)中的一個或部分進(jìn)行預(yù)測，因而這些預(yù)測任務(wù)也被稱為多變量時間序列預(yù)測問題。

解決多變量時間序列預(yù)測問題的關(guān)鍵在于對多變量之間關(guān)聯(lián)關(guān)系的描述，只有準(zhǔn)確清晰地表達(dá)各個變量之間的相互影響，才能實現(xiàn)好的預(yù)測效果。統(tǒng)計學(xué)習(xí)方法如自回歸模型（autogressive model，AR）［1］和高斯過程模型（Gaussian process，GP）［2］假設(shè)多變量之間存在線性關(guān)聯(lián)關(guān)系，而這種假設(shè)對于復(fù)雜場景顯然并不適用，導(dǎo)致這些統(tǒng)計學(xué)習(xí)方法的預(yù)測效果并不理想。近些年涌現(xiàn)出的許多深度學(xué)習(xí)方法如長短期網(wǎng)絡(luò)（long short term network，LSTNet）［3］和時間注意力機制—長短期記憶網(wǎng)絡(luò)（temporal pattern attention long short term memory network，TPA-LSTM）［4］借助于深層網(wǎng)絡(luò)強大的表達(dá)能力，能夠捕捉多個變量之間的非線性相關(guān)關(guān)系，達(dá)到更好的預(yù)測結(jié)果。但是它們沒有考慮各個變量之間成對的依賴關(guān)系，導(dǎo)致這些方法的局部信息表達(dá)能力依然有限，不能很好地描述多變量之間的相互影響。

圖神經(jīng)網(wǎng)絡(luò)的成功帶動了時空圖神經(jīng)網(wǎng)絡(luò)的發(fā)展。時空圖神經(jīng)網(wǎng)絡(luò)是針對時間序列預(yù)測任務(wù)的圖神經(jīng)網(wǎng)絡(luò)，借助于圖神經(jīng)網(wǎng)絡(luò)強大的局部信息提取能力，以時空圖卷積網(wǎng)絡(luò)為代表的時空圖神經(jīng)網(wǎng)絡(luò)在交通流量預(yù)測［5～8］和流行疾病傳播預(yù)測［9］等多個領(lǐng)域取得了很好的效果。時空圖神經(jīng)網(wǎng)絡(luò)能夠以圖結(jié)構(gòu)數(shù)據(jù)準(zhǔn)確描述多變量之間的關(guān)聯(lián)關(guān)系，實現(xiàn)很好的預(yù)測效果。但是這些時空圖卷積網(wǎng)絡(luò)方法都依賴已知的圖結(jié)構(gòu)，不能應(yīng)用于關(guān)聯(lián)關(guān)系未知的場景。為此，本文提出了一種附加圖學(xué)習(xí)層的時空圖卷積網(wǎng)絡(luò)（GLB-STGCN）。圖學(xué)習(xí)層首先為每個變量生成一個節(jié)點嵌入向量，借助余弦相似度為每個節(jié)點選擇最相似的節(jié)點成為鄰居節(jié)點，學(xué)習(xí)圖鄰接矩陣；然后通過圖卷積網(wǎng)絡(luò)使每個變量的深層特征中蘊涵了鄰居節(jié)點的時間序列信息，考慮它們之間的相互影響；最后通過多核時間卷積網(wǎng)絡(luò)捕捉不同變量的不同周期性特征，實現(xiàn)各個變量的準(zhǔn)確預(yù)測。

1 相關(guān)工作

1.1 圖神經(jīng)網(wǎng)絡(luò)

圖神經(jīng)網(wǎng)絡(luò)是在圖結(jié)構(gòu)上進(jìn)行學(xué)習(xí)和訓(xùn)練的神經(jīng)網(wǎng)絡(luò)。圖神經(jīng)網(wǎng)絡(luò)假設(shè)節(jié)點的狀態(tài)會受到它鄰居節(jié)點的影響［10］，通過圖信號傳播和圖信號融合更新每個節(jié)點的狀態(tài)，學(xué)習(xí)每個節(jié)點深層的特征，借助這些深層特征完成節(jié)點或圖的分類或預(yù)測。

圖卷積網(wǎng)絡(luò)（GCN）［11］是應(yīng)用最廣泛的圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法。它每次將節(jié)點的狀態(tài)更新為自身狀態(tài)和鄰居節(jié)點狀態(tài)的平均狀態(tài)，實現(xiàn)圖信號傳播和圖信號融合。圖卷積網(wǎng)絡(luò)的公式表達(dá)為

Hl=σ（D－12（A+I）D－12Hl－1W）（1）

其中：Hl-1是第l層的輸入；Hl是第l層的輸出；A是圖鄰接矩陣；I是單位矩陣；D是圖鄰接矩陣A的度矩陣；W是權(quán)重矩陣；σ是激活函數(shù)。

圖卷積網(wǎng)絡(luò)能夠有效地提取局部信息，在節(jié)點分類問題和圖分類中都取得了很好的效果。但是圖卷積網(wǎng)絡(luò)并不能直接提取時間序列中的長期宏觀信息，限制了它在時間序列預(yù)測領(lǐng)域的應(yīng)用。

1.2 時空圖卷積網(wǎng)絡(luò)

時空圖卷積網(wǎng)絡(luò)是在圖卷積網(wǎng)絡(luò)的基礎(chǔ)上發(fā)展起來的，主要用于解決多變量時間序列預(yù)測任務(wù)。為了彌補圖卷積網(wǎng)絡(luò)在捕捉時間序列長期依賴能力上的不足，時空圖卷積網(wǎng)絡(luò)往往會借助卷積神經(jīng)網(wǎng)絡(luò)（CNN）［12］或時間卷積網(wǎng)絡(luò)（TCN）［13］或長短期記憶網(wǎng)絡(luò)（LSTM）［14］之類的深度學(xué)習(xí)方法提取時間序列的周期性和波動性信息，然后結(jié)合GCN提取多個時間序列之間的短期局部信息，實現(xiàn)多變量時間序列預(yù)測。時空圖卷積網(wǎng)絡(luò)（spatio-temporal graph convolutional network，STGCN）［5］是一種結(jié)合CNN和GCN的時空圖卷積網(wǎng)絡(luò)，借助GCN強大的局部信息表達(dá)能力實現(xiàn)了對交通流量的精準(zhǔn)預(yù)測。在此基礎(chǔ)上，注意力時空圖卷積網(wǎng)絡(luò)（attention based spatial-temporal graph convolutional network，ASTGCN）［6］引入了注意力機制捕捉交通流量數(shù)據(jù)中的時空依賴，達(dá)到了更好的效果。這兩種方法都使用兩個獨立的模塊分別提取時間依賴和空間依賴，而時空圖序列模型（spatial-temporal graph to sequence model，STG2Seq）［7］提出了使用兩種注意力機制的門控圖卷積模塊同步捕捉交通流量數(shù)據(jù)中的時間依賴和空間依賴的方法，比分別提取兩種依賴的預(yù)測效果有了進(jìn)一步的提升。時空同步圖卷積網(wǎng)絡(luò)（spatial-temporal synchronous graph convolutional network，STSGCN）［8］則更進(jìn)一步地考慮了交通流量數(shù)據(jù)中的時空同步依賴，取得了比之前方法都更好的預(yù)測效果。除了用于預(yù)測交通流量，時空圖卷積網(wǎng)絡(luò)在其他領(lǐng)域也取得了很好的效果，如用于行人軌跡預(yù)測的注意力時空圖神經(jīng)網(wǎng)絡(luò)（AST-GNN）［15］和用于流行疾病預(yù)測的（message passing neural network，MPNN）［9］，還有用于預(yù)測學(xué)生畢業(yè)去向的基于社交圖嵌入的自注意力模型（social graph embedding based self-attention neural network，SGE-SANN）［16］。但這些時空圖卷積網(wǎng)絡(luò)僅能應(yīng)用于圖結(jié)構(gòu)已知的場景下，對于多變量之間的關(guān)聯(lián)關(guān)系未知的場景，時空圖卷積網(wǎng)絡(luò)的使用受到了很大的限制。

2 GLB-STGCN

2.1 方法架構(gòu)

GLB-STGCN首先經(jīng)過圖學(xué)習(xí)層，對每個變量進(jìn)行節(jié)點嵌入表示，根據(jù)節(jié)點嵌入向量之間的余弦相似度選擇相似的節(jié)點成為鄰居節(jié)點，學(xué)習(xí)圖鄰接矩陣，和主任務(wù)一起學(xué)習(xí)更新節(jié)點嵌入向量，從而學(xué)習(xí)得到穩(wěn)定的圖結(jié)構(gòu)。在此基礎(chǔ)上，通過圖卷積網(wǎng)絡(luò)，每個節(jié)點的深層特征中融合鄰居節(jié)點的時間序列信息，對預(yù)測任務(wù)中多變量之間的關(guān)聯(lián)關(guān)系進(jìn)行建模。之后再通過多核時間卷積網(wǎng)絡(luò)，采用四種不同大小卷積核的組合捕捉不同的周期性特征，并使用深層神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)取得更好的效果，由稠密連接得到最終預(yù)測結(jié)果。GLB-STGCN架構(gòu)如圖1所示。

2.2 圖學(xué)習(xí)層

圖學(xué)習(xí)層的目標(biāo)是從時間序列數(shù)據(jù)中學(xué)習(xí)圖鄰接矩陣來描述各個變量之間的關(guān)聯(lián)關(guān)系，圖中的每一個節(jié)點代表預(yù)測任務(wù)中的一個變量。考慮到真實世界中圖往往具有稀疏低秩的特點，并且鄰居節(jié)點之間在特征上往往更為相似［17］，圖學(xué)習(xí)層會對每個變量進(jìn)行節(jié)點嵌入表示，然后根據(jù)各個節(jié)點嵌入向量的余弦相似度選擇最近似的節(jié)點成為彼此的鄰居。

首先，對于n個變量，定義n個節(jié)點，初始時為每個節(jié)點隨機生成節(jié)點嵌入向量E0，E1，… ，En-1。然后，圖學(xué)習(xí)層成對計算各個變量的節(jié)點嵌入向量之間的余弦相似度，每個節(jié)點選擇與自身余弦相似度大于0的最多K個節(jié)點作為自己的鄰居節(jié)點，形成圖鄰接矩陣A。余弦相似度常常用于評價兩個向量或個體的相似程度，并且更加關(guān)注個體內(nèi)容，而各個節(jié)點嵌入向量又是各個變量整體特征的良好表征，會隨著方法的訓(xùn)練過程進(jìn)行更新。因此余弦相似度大于0的兩個節(jié)點嵌入向量對應(yīng)的變量彼此在特征上更加相似，所以圖學(xué)習(xí)層認(rèn)為這兩個變量成為彼此的鄰居節(jié)點才更加符合鄰居節(jié)點之間在特征上更為相似的真實世界圖特性。通過這種思路構(gòu)建的圖鄰接矩陣A可以更加準(zhǔn)確地描述多變量之間的關(guān)聯(lián)關(guān)系，并且具有稀疏低秩的特點。最后，隨著方法訓(xùn)練過程的進(jìn)行，方法會更新每個節(jié)點的節(jié)點嵌入向量E0，E1，… ，En-1，使它們對各個變量的特征表達(dá)更加準(zhǔn)確。伴隨著主任務(wù)的學(xué)習(xí)，得到的圖鄰接矩陣A對多變量之間關(guān)聯(lián)關(guān)系的描述也更加真實貼切。圖鄰接矩陣A會在隨后的圖卷積網(wǎng)絡(luò)中用于圖信號傳播和圖信號融合，作為考慮各個變量之間相互影響的重要依據(jù)。這里的K是圖學(xué)習(xí)層的稀疏化系數(shù)，用來調(diào)整學(xué)習(xí)到的圖鄰接矩陣的稀疏化程度，通過適當(dāng)調(diào)節(jié)K接近最真實的稀疏化程度，可以過濾掉一些不重要的關(guān)聯(lián)，提升方法訓(xùn)練速度。圖學(xué)習(xí)層的公式表達(dá)如下：

Cij=Ei·ETj‖Ei‖2·‖Ej‖2（2）

A=ReLU（tanh（C－I））（3）

Aij=1" j∈topK（Ai：）0" jtopK（Ai：）（4）

其中：C表示余弦相似度矩陣；Cij是節(jié)點i和j的余弦相似度。根據(jù)各個節(jié)點的余弦相似度，每個節(jié)點選擇與自身余弦相似度大于0的最多K個節(jié)點作為自己的鄰居節(jié)點，形成圖鄰接矩陣A。topK（Ai：）表示選擇i行中最大的K個數(shù)的索引組成的集合。

相比于Wu等人［18］提出的自適應(yīng)圖鄰接矩陣的方法和文獻(xiàn)［19］提出的使用注意力機制學(xué)習(xí)圖結(jié)構(gòu)的方法，圖學(xué)習(xí)層的計算代價更小，從而使方法的運行速度和訓(xùn)練速度都更快。

2.3 圖卷積網(wǎng)絡(luò)

圖卷積網(wǎng)絡(luò)的目標(biāo)是捕捉多變量時間序列之間的短期局部信息。多變量之間的相互影響體現(xiàn)在各個變量的周期性會影響與之相關(guān)變量的未來變化趨勢，通過圖鄰接矩陣描述這些變量的關(guān)聯(lián)關(guān)系，再經(jīng)過圖卷積網(wǎng)絡(luò)融合各個節(jié)點的信號并傳播，使得每個節(jié)點的深層特征中蘊涵了它鄰居節(jié)點的時間序列信息，從而達(dá)到更好的預(yù)測效果。

圖卷積網(wǎng)絡(luò)的輸入數(shù)據(jù)是多變量時間序列數(shù)據(jù)，或者是深層網(wǎng)絡(luò)中多變量時間序列的深層特征表達(dá)。同時圖卷積網(wǎng)絡(luò)還從圖學(xué)習(xí)層中獲得了圖鄰接矩陣A來描述多變量之間的關(guān)聯(lián)關(guān)系。由于多變量時間序列預(yù)測問題的一個普遍假設(shè)是各個變量的動態(tài)穩(wěn)定性會因其相關(guān)變量的波動而受到影響，產(chǎn)生同向波動或反向波動。在神經(jīng)網(wǎng)絡(luò)中，這些波動正是以時間序列數(shù)據(jù)的形式體現(xiàn)的，并能夠被神經(jīng)網(wǎng)絡(luò)的深層特征所表達(dá)。因此圖卷積網(wǎng)絡(luò)以圖鄰接矩陣A為依據(jù)，得到各個變量的相關(guān)變量，并以圖信號傳播和圖信號融合的方式將相關(guān)變量的時間序列信息融合到自身的時間序列信息中，從而將受到影響產(chǎn)生的同向波動或反向波動在深層特征中表達(dá)，作為預(yù)測結(jié)果的重要依據(jù)，實現(xiàn)準(zhǔn)確預(yù)測。圖卷積網(wǎng)絡(luò)層如圖2所示，對應(yīng)的公式表達(dá)如下：

H=σ（D－12（A+I）D－12XW）（5）

其中：X是圖卷積網(wǎng)絡(luò)層的輸入；H是圖卷積網(wǎng)絡(luò)層的輸出；A是元空間域映射函數(shù)學(xué)習(xí)到的圖鄰接矩陣；I是單位矩陣；D是圖鄰接矩陣A的度矩陣；W是權(quán)重矩陣；σ是激活函數(shù)。

2.4 多核時間卷積網(wǎng)絡(luò)

在多變量時間序列預(yù)測問題中，不同變量的時間序列往往表現(xiàn)出不同的周期性，有些變量的周期長，有些變量的周期短，很難使用一個大小的卷積核捕捉所有變量的長期宏觀信息。

為了解決各個變量周期性不同的問題，提出了一種新的多核時間卷積網(wǎng)絡(luò)。多核時間卷積網(wǎng)絡(luò)選擇1×2、1×3、1×5和1×7這四種卷積核，由這四種卷積核大小可以捕捉60、24、7和30這幾種常見的自然周期，并且根據(jù)這幾種自然周期的因式分解中各種卷積核大小的出現(xiàn)頻次，為1×2、1×3、1×5和1×7這四種卷積核提取到的時間特征賦予不同的重要程度。

隨后，由于四種不同大小的卷積核得到的時間特征尺度不同，通過上采樣的方式將得到的四種時間特征整合到相同尺度，然后分別將1×2、1×3、1×5和1×7這四種卷積核提取到的時間特征上采樣到6、3、2和1個通道，從而體現(xiàn)不同時間特征的重要程度，最終經(jīng)過一個1×1卷積層將多通道信息融合，加入稠密連接層。

多核時間卷積網(wǎng)絡(luò)如圖3所示。

2.5 稠密連接

為了使預(yù)測效果達(dá)到最優(yōu)，方法采用了深層圖卷積網(wǎng)絡(luò)和多核時間卷積網(wǎng)絡(luò)的結(jié)構(gòu)。但是它同樣面臨著所有深層圖卷積網(wǎng)絡(luò)都會面臨的過平滑問題［20］。

為了緩解深層圖卷積網(wǎng)絡(luò)的過平滑問題，進(jìn)一步提高方法的預(yù)測效果，在輸出最終預(yù)測結(jié)果前加入一層稠密連接層。多核時間卷積網(wǎng)絡(luò)的每層輸入結(jié)果都會加入到稠密連接層中，最終由這些隱含層的特征加輸入的原始時間序列數(shù)據(jù)經(jīng)過一層全連接神經(jīng)網(wǎng)絡(luò)得到最終的預(yù)測結(jié)果。稠密連接層的公式為

Y=f（X⊕H（1）⊕…⊕H（m））（6）

其中：X表示輸入的原始時間序列數(shù)據(jù)；Y表示最終的預(yù)測結(jié)果；H（i）表示第i層小質(zhì)數(shù)時間卷積網(wǎng)絡(luò)的輸入結(jié)果；⊕表示拼接操作； f（·）表示全連接神經(jīng)網(wǎng)絡(luò)。

3 實驗結(jié)果

為了充分驗證GLB-STGCN的有效性，本文選擇來自天文、電力、交通和經(jīng)濟四個領(lǐng)域的公共數(shù)據(jù)集和一個真實工業(yè)場景生產(chǎn)數(shù)據(jù)集上進(jìn)行預(yù)測實驗。

3.1 公共數(shù)據(jù)集描述

公共數(shù)據(jù)集選擇了來自天文、電力、交通和經(jīng)濟四個領(lǐng)域的四個多變量時間序列預(yù)測數(shù)據(jù)集。每個數(shù)據(jù)集上的預(yù)測目標(biāo)都是間隔一段時間后的每個變量的預(yù)測結(jié)果，根據(jù)預(yù)測結(jié)果與真實數(shù)據(jù)的誤差和相關(guān)系數(shù)評價預(yù)測方法的好壞。LSTNet［3］和TPA-LSTM［4］都選擇了這四個數(shù)據(jù)集進(jìn)行實驗驗證各自方法的有效性，這也是文章沿用這些數(shù)據(jù)集的原因。有關(guān)這四個數(shù)據(jù)集的描述信息如表1所示。

同時，本文也沿用了LSTNet［3］和TPA-LSTM［4］中實驗所使用的評價指標(biāo)，相對平方根誤差（root relative squared error，RSE）和經(jīng)驗相關(guān)系數(shù)（empirical correlation coefficient，CORR）作為評價方法預(yù)測效果的依據(jù)。RSE和CORR的計算公式為

RSE=∑（i，t）∈ΩTest（Yit－Y^it）2∑（i，t）∈ΩTest（Yit－mean（Y））2（7）

CORR=1n∑ni=1∑t（Yit－mean（Yi））（Y^it－mean（Y^i））∑t（Yit－mean（Yi））2（Y^it－mean（Y^i））2（8）

3.2 工業(yè)數(shù)據(jù)集描述

由于四個公共數(shù)據(jù)集的預(yù)測目標(biāo)都是間隔一段時間后的每個變量的預(yù)測結(jié)果，而現(xiàn)實中許多問題并不需要預(yù)測每一個變量，更多的情況是預(yù)測一個變量作為目標(biāo)，對它未來一段時間的變化趨勢進(jìn)行作圖。因此，本文在公共數(shù)據(jù)集預(yù)測實驗的基礎(chǔ)上增加了一個真實工業(yè)場景生產(chǎn)數(shù)據(jù)集預(yù)測實驗。并通過作圖的方式直觀地對比預(yù)測效果。

真實工業(yè)場景生產(chǎn)數(shù)據(jù)集來自一個卷煙廠松散回潮過程的傳感器數(shù)據(jù)。該過程涉及到的變量有10個，其中煙絲含水量是該場景下的預(yù)測目標(biāo)。松散回潮過程的作業(yè)以批次為單位，每個批次持續(xù)40 min左右，采樣頻率為6 s。通過滑動窗口加Shapelets算法［21］確定4 min為最佳預(yù)測周期，也就是預(yù)測使用的時間序列長度為40個采樣點。在此基礎(chǔ)上，通過滑動窗口預(yù)測未來4 min煙絲含水量的變化趨勢。工業(yè)數(shù)據(jù)集的描述信息如表2所示。

3.3 對比方法

為了驗證GLB-STGCN的有效性，將其與下列七種方法進(jìn)行對比：

a）AR［1］，一種自回歸預(yù)測模型。

b）向量自回歸—多層感知器（vector autoregression model multilayer perceptron，VAR-MLP）［22］，結(jié)合自回歸預(yù)測模型和多層感知機模型優(yōu)點的一種混合模型。

c）GP［2］，高斯過程時間序列預(yù)測模型。

d）循環(huán)神經(jīng)網(wǎng)絡(luò)—門控循環(huán)單元（recurrent neural network gated recurrent unit，RNN-GRU）［23］，使用門控循環(huán)單元作為記憶單元的循環(huán)神經(jīng)網(wǎng)絡(luò)模型。

e）LSTNet［3］，一種結(jié)合CNN和RNN的多變量時間序列預(yù)測模型。

f）TPA-LSTM［4］，一種注意力機制增強的循環(huán)神經(jīng)網(wǎng)絡(luò)模型。

g）多變量時間序列圖神經(jīng)網(wǎng)絡(luò)（multivariate time series forecasting with graph neural network，MTGNN）［18］，一種自適應(yīng)圖鄰接矩陣增強的時空圖神經(jīng)網(wǎng)絡(luò)模型，用于解決多變量時間序列預(yù)測問題。

上述方法中，AR［1］和GP［2］是統(tǒng)計學(xué)習(xí)方法的代表，VAR-MLP［22］結(jié)合了統(tǒng)計學(xué)習(xí)方法和深度學(xué)習(xí)方法。以RNN-GRU［23］為代表的循環(huán)神經(jīng)網(wǎng)絡(luò)是最常用的解決時間序列預(yù)測問題的深度學(xué)習(xí)方法。LSTNet［3］和TPA-LSTM［4］是針對多變量時間序列預(yù)測問題提出的深度學(xué)習(xí)框架，而MTGNN［18］是圖神經(jīng)網(wǎng)絡(luò)解決多變量時間序列預(yù)測問題的經(jīng)典應(yīng)用。因此選擇這些方法進(jìn)行對比可以充分驗證GLB-STGCN的預(yù)測效果有效性。

實驗中，所有對比方法的超參數(shù)都根據(jù)原論文的建議調(diào)整至最優(yōu)。

3.4 公共數(shù)據(jù)集對比實驗

公共數(shù)據(jù)集對比實驗中將GLB-STGCN與上述七種方法進(jìn)行對比，實驗結(jié)果如表3～6所示?？梢钥闯觯珿LB-STGCN在四個不同領(lǐng)域的預(yù)測任務(wù)中不同預(yù)測間隔條件下的預(yù)測效果都相對更好。特別在solar-energy數(shù)據(jù)集中的表現(xiàn)尤為出色，將該預(yù)測任務(wù)在四種預(yù)測間隔下的誤差分別降低了6.02%、8.01%、6.72%和5.31%。分析原因主要因為solar-energy數(shù)據(jù)集來自天文領(lǐng)域的太陽能監(jiān)測數(shù)據(jù)，而恒星的能量和性質(zhì)往往表現(xiàn)出很強的日周期、月周期和年周期，更加符合GLB-STGCN的假設(shè)。在這種場景下使用多核時間卷積網(wǎng)絡(luò)能夠更好地捕捉時間序列的周期性，從而獲得更加理想的預(yù)測效果。GLB-STGCN沒能在exchange-rate數(shù)據(jù)集上取得更好的效果，主要是因為經(jīng)濟領(lǐng)域中匯率的波動并不呈現(xiàn)出非常明顯的自然周期，會更多地受到社會因素的影響。

除了solar-energy數(shù)據(jù)集之外，GLB-STGCN在其他幾個數(shù)據(jù)集上的預(yù)測效果相比于MTGNN［18］的預(yù)測效果提升并不顯著。分析其原因，主要是electricity和traffic數(shù)據(jù)集的變量個數(shù)較多而exchange-rate數(shù)據(jù)集變量個數(shù)較少。當(dāng)數(shù)據(jù)集的變量個數(shù)較多時，圖卷積網(wǎng)絡(luò)的表達(dá)能力是限制方法預(yù)測準(zhǔn)確度的最關(guān)鍵因素，由于GLB-STGCN和MTGNN［18］都是基于圖卷積網(wǎng)絡(luò)的預(yù)測方法，所以在這兩個數(shù)據(jù)集上的預(yù)測效果差距不大。而當(dāng)數(shù)據(jù)集的變量個數(shù)較少時，多變量之間的關(guān)聯(lián)關(guān)系相對較為簡單，圖卷積網(wǎng)絡(luò)尚不能充分發(fā)揮自身的優(yōu)勢，因此GLB-STGCN和MTGNN［18］在易受社會因素影響的exchange-rate數(shù)據(jù)集上的表現(xiàn)都并不出色，沒有TPA-LSTM［4］的預(yù)測效果好。但盡管如此，GLB-STGCN在所有四個公共數(shù)據(jù)集上的預(yù)測效果都較MTGNN［18］更好，說明GLB-STGCN的確能夠?qū)Χ嘧兞恐g的關(guān)聯(lián)關(guān)系進(jìn)行更準(zhǔn)確的描述，并且對不同變量的時間序列的不同周期性有更好的適應(yīng)性，在各個場景下的多變量時間序列預(yù)測問題上的效果更加準(zhǔn)確可靠。

3.5 工業(yè)數(shù)據(jù)集對比實驗

工業(yè)數(shù)據(jù)集對比實驗更看重方法中預(yù)測目標(biāo)未來一段時間變化趨勢的預(yù)測結(jié)果與真實變化趨勢的差異，具體來說就是煙絲含水量預(yù)測趨勢是否更加貼近真實的煙絲含水量變化。相比于評價指標(biāo)，趨勢的一致性顯得更加重要，因而選擇作圖的方式進(jìn)行預(yù)測效果對比，結(jié)合平均絕對誤差（MAE）驗證方法的預(yù)測效果，對比實驗結(jié)果如圖4、5所示。

從圖4中可以看出，相比于對比方法，GLB-STGCN的預(yù)測效果更好，煙絲含水量預(yù)測趨勢更加貼近未來4 min的煙絲含水量變化趨勢。從圖5的MAE評價指標(biāo)的對比結(jié)果也可以看出，GLB-STGCN預(yù)測效果更好，相比于MTGNN［18］的預(yù)測結(jié)果，預(yù)測誤差平均降低了12.30%。并且，GLB-STGCN的預(yù)測趨勢更真實，對于波動的捕捉更加敏感，明顯改善了預(yù)測方法的滯后性，充分保證了在真實工業(yè)場景下的可用性。

3.6 運行時間對比實驗

為了解決關(guān)聯(lián)關(guān)系未知場景下時空圖卷積網(wǎng)絡(luò)應(yīng)用受限的問題，本文提出了使用圖學(xué)習(xí)層學(xué)習(xí)圖鄰接矩陣的方法。除了這些方法以外，近幾年國內(nèi)外研究中還提出了使用自適應(yīng)圖鄰居矩陣的方法和注意力機制的方法解決圖結(jié)構(gòu)未知的問題，如對比方法MTGNN［18］就使用了自適應(yīng)圖鄰接矩陣，自注意力動態(tài)圖學(xué)習(xí)網(wǎng)絡(luò)（dynamic graph representation learning via self-attention network，DySAT）［19］使用了注意力機制學(xué)習(xí)動態(tài)圖結(jié)構(gòu)。但是這兩種方法計算代價相比于本文提出的圖學(xué)習(xí)層更高。運行時間對比實驗通過使用自適應(yīng)圖鄰接矩陣和注意力機制代替圖學(xué)習(xí)層，在運行時間相對較短的exchange-rate數(shù)據(jù)集和工業(yè)數(shù)據(jù)集的預(yù)測實驗中進(jìn)行運行時間的對比，以此證明圖學(xué)習(xí)層的計算代價更低。運行時間對比實驗結(jié)果如圖6所示，其中exchange-rate數(shù)據(jù)集上的運行時間對比實驗選擇的預(yù)測間隔是三個采樣點。

從圖6中可以看出，無論在公共數(shù)據(jù)集預(yù)測實驗還是工業(yè)數(shù)據(jù)集預(yù)測實驗中，圖學(xué)習(xí)層的運行時間都短于自適應(yīng)圖鄰接矩陣和注意力機制的運行時間，自適應(yīng)圖鄰接矩陣的計算代價較小于注意力機制的計算代價。

4 結(jié)束語

本文提出了一種附加圖學(xué)習(xí)層的時空圖卷積網(wǎng)絡(luò)預(yù)測方法（GLB-STGCN）用來解決多變量時間序列預(yù)測問題。借助圖學(xué)習(xí)層，GLB-STGCN能夠從時間序列中學(xué)習(xí)符合真實關(guān)聯(lián)關(guān)系的圖鄰接矩陣用于訓(xùn)練時空圖卷積網(wǎng)絡(luò)，配合多核時間卷積網(wǎng)絡(luò)捕捉自然周期的能力，即使多變量之間關(guān)聯(lián)關(guān)系未知的場景下仍然能夠獲得很好的預(yù)測效果，這極大程度地擴展了時空圖卷積網(wǎng)絡(luò)的預(yù)測范圍。在天文、電力、交通和經(jīng)濟四個領(lǐng)域的數(shù)據(jù)集上的實驗結(jié)果表明GLB-STGCN優(yōu)于對比方法，并且更加適合解決自然周期明顯的多變量時間序列預(yù)測任務(wù)，同時在一個真實工業(yè)場景生產(chǎn)數(shù)據(jù)集上的預(yù)測實驗還證明了GLB-STGCN可以在多變量時間序列預(yù)測問題中對單個預(yù)測目標(biāo)實現(xiàn)極佳的預(yù)測效果。未來的工作重點將集中在如何使用有向加權(quán)圖描述多變量之間的關(guān)聯(lián)關(guān)系并在圖卷積網(wǎng)絡(luò)中合理地利用加權(quán)圖的權(quán)重。

參考文獻(xiàn)：

［1］Ho S L，Xie Min. The use of ARIMA models for reliability forecasting and analysis［J］. Computers amp; Industrial Engineering，1998，35（1-2）： 213-216.

［2］Roberts S，Osborne M，Ebden M，et al. Gaussian processes for time-series modelling［J］.Philosophical Transactions，2012，371：20110550.

［3］Lai Guokun，Chang Weicheng，Yang Yiming，et al. Modeling long-and short-term temporal patterns with deep neural networks ［C］// Proc of the 41st International ACM SIGIR Conference on Research amp; Deve-lopment in Information Retrieval. 2018： 95-104.

［4］Shih S Y，Sun Fankeng，Lee H Y. Temporal pattern attention for mul-tivariate time series forecasting［J］. Machine Learning，2019，108（8）： 1421-1441.

［5］Yu Bing，Yin Haoteng，Zhu Zhanxing. Spatio-temporal graph convolutional networks： a deep learning framework for traffic forecasting［C］// Proc of International Joint Conference on Artificial Intelligence. 2018： 3634-3640.

［6］Guo Shengnan，Lin Youfang，F(xiàn)eng Ning，et al. Attention based spatial-temporal graph convolutional networks for traffic flow forecasting［C］// Proc of AAAI Conference on Artificial Intelligence. 2019： 922-929.

［7］Bai Lei，Yao Lina，Kanhere S S，et al. STG2Seq： spatial-temporal graph to sequence model for multi-step passenger demand forecasting［C］// Proc of International Joint Conference on Artificial Intelligence. 2019： 1981-1987.

［8］Song Chao，Lin Youfang，Guo Shengnan，et al. Spatial-temporal synchronous graph convolutional networks： a new framework for spatial-temporal network data forecasting［C］// Proc of AAAI Conference on Artificial Intelligence. 2020： 914-921.

［9］Panagopoulos G，Nikolentzos G，Vazirgiannis M. Transfer graph neural networks for pandemic forecasting［J］. Proceedings of the AAAI Conference on Artificial Intelligence，2021，35（1）： 4951-4958.

［10］Ying Zhitao，Bourgeois D，You Jiaxuan，et al. Gnnexplainer： generating explanations for graph neural networks［J］. Advances in Neural Information Processing Systems，2019，32： 9240-9251.

［11］Kipf T N，Welling M. Semi-supervised classification with graph con-volutional networks ［EB/OL］. （2017-02-22）. https：//arxiv.org/abs/1609.02907.

［12］陳啟鵬，謝慶生，袁慶霓，等. 基于深度門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)的刀具磨損狀態(tài)實時監(jiān)測方法［J］. 計算機集成制造系統(tǒng)，2020，26（7）： 1782-1793. （Chen Qipeng，Xie Qingsheng，Yuan Qingni，et al. Real-time monitoring method for wear state of tool based on deep bidirectional GRU model［J］. Computer Integrated Manufacturing System，2020，26（7）： 1782-1793.）

［13］Lea Colin，F(xiàn)lynn M D，Vidal R，et al. Temporal convolutional networks for action segmentation and detection［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2017： 1003-1012.

［14］倪維健，孫宇健，劉彤，等. 基于注意力雙向循環(huán)神經(jīng)網(wǎng)絡(luò)的業(yè)務(wù)流程剩余時間預(yù)測方法［J］. 計算機集成制造系統(tǒng)，2020，26（6）： 1564-1572. （Ni Weijian，Sun Yujian，Liu Tong，et al. Bussiness process remaining time prediction using bidirectional recurrent neural networks with attention［J］. Computer Integrated Manufacturing System，2020，26（6）： 1564-1572.）

［15］Zhou Hao，Ren Dongchun，Xia Huaxia，et al. AST-GNN： an attention-based spatio-temporal graph neural network for interaction-aware pedestrian trajectory prediction［J］.Neurocomputing，2021，445：298-308.

［16］楊光澤，歐陽勇，孫思思，等. 基于圖卷積網(wǎng)絡(luò)嵌入社交關(guān)系的畢業(yè)去向預(yù)測［J］. 計算機應(yīng)用研究，2021，38（11）： 3322-3326，3365. （Yang Guangze，Ouyang Yong，Sun Sisi，et al. Prediction of graduation destination based on graph convolutional network embeded social relations［J］. Application Research of Computers，2021，38（11）： 3322-3326，3365.）

［17］Jin Wei，Ma Yao，Liu Xiaorui，et al. Graph structure learning for robust graph neural networks［C］// Proc of the 26th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. 2020： 66-74.

［18］Wu Zonghan，Pan Shirui，Long Guodong，et al. Connecting the dots： multivariate time series forecasting with graph neural networks［C］// Proc of the 26th ACM SIGKDD International Conference on Know-ledge Discovery amp; Data Mining. 2020： 753-763.

［19］Sankar A，Wu Yanhong，Gou Liang，et al. Dynamic graph representation learning via self-attention networks ［EB/OL］. （2019-06-15）. https：//arxiv.org/abs/1812.09430.

［20］Li Guohao，Müller M，Thabet A，et al. DeepGCNs： can GCNs go as deep as CNNs？ ［C］// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway，NJ： IEEE Press，2019： 9266-9275.

［21］Grabocka J，Schilling N，Wistuba M，et al. Learning time-series shapelets［C］// Proc of the 20th ACM SIGKDD International Confe-rence on Knowledge Discovery and Data Mining. 2014： 392-401.

［22］Zhang G P. Time series forecasting using a hybrid ARIMA and neural network model ［J］. Neurocomputing，2003，50（1）： 159-175.

［23］Fu Rui，Zhang Zuo，Li Li. Using LSTM and GRU neural network methods for traffic flow prediction ［C］// Proc of the 31st Youth Academic Annual Conference of Chinese Association of Automation. Piscataway，NJ： IEEE Press，2016： 324-328.