基于圖卷積網絡和門控循環單元的多站點氣溫預測模型

馬棟林，馬司周，王偉杰

（蘭州理工大學計算機與通信學院，蘭州 730050）

0 引言

天氣現象與農業、水資源、交通、經濟以及人們日常生活等諸多方面息息相關，據瑞再研究院報告［1］稱，受天氣變化影響，惡劣天氣事件所造成的損失不斷增加，在未來的幾十年里，此類事件造成的經濟損失將不斷上升。如何通過準確預測天氣變化減小損失成為目前亟須解決的問題。

氣象預測方法從依靠個人經驗到簡單的數值方法，再到復雜的大氣物理模型，已經走過了很長的路。近年來，氣象數據不斷增長，如何有效利用海量的氣象數據來減小預測誤差成為氣象預測研究的重點，研究者們開始使用機器學習方法預測未來天氣變化。Liu 等［2］和Kwong 等［3］提出了使用人工神經網絡進行風力預測，實驗結果表明，該方法能有效捕捉香港國際機場附近滑翔處的風速變化。Krishnaveni 等［4］提出了基于決策樹的SPRINT（Scalable PaRallelizable INduction of classification Tree）算法進行天氣預測，實驗結果表明，SPRINT 算法對天氣狀況的預測是有效和準確的。深度學習作為機器學習的一個重要分支，已在語音、圖像、視頻、交通等眾多領域取得成功［5-6］，因此一些研究者在傳統機器學習方法的基礎上，開始使用深度學習方法進行氣象預測研究。Hossain 等［7］利用內華達州西北部氣象傳感器收集的歷史氣壓、濕度和氣溫數據，使用堆疊降噪自編碼器（Stacked Denoised AutoEncoder，SDAE）來預測氣溫，結果表明，SDAE 優于標準的多層前饋網絡；Li 等［8］提出了一種端到端的集成時空注意力網絡和多層感知機混合的回歸模型，對北京地區24 個自動氣象站的地面溫度、濕度、風速和風向進行了預測，結合歷史觀測數據和數值天氣預報（Numerical Weather Prediction，NWP）系統的數據，所提出的模型比NWP 系統有更好的預測結果；Jia 等［9］提出了一種基于注意力的序列到序列的臭氧濃度預測模型，實驗結果表明，該模型比以化學為基礎的天氣研究和預測模型更簡單、效果更好；Wei［10］比較了深層神經網絡包括多層感知器（Multi-Layer Perceptron，MLP）、深層循 環神經網絡（Deep Recurrent Neural Network，DRNN）和堆疊長短期記憶（Long Short-Term Memory，LSTM），結果表明，使用堆疊LSTM 模型，對臺灣東北部臺風的預測效果最好；Kim 等［11］提出了一種結合去噪自編碼器和卷積長短期記憶的深度學習模型來預測全球海洋天氣，實驗結果表明，所提出的模型在海洋天氣預報中適用性良好；Ham 等［12］使用卷積神經網絡（Convolutional Neural Network，CNN）預測提前一年半的厄爾尼諾現象，實驗證明，CNN 模型的Nino3.4 指數的全季相關能力遠高于目前最先進的動態預報系統，同時，CNN 模型也能更好地預測海表溫度的詳細緯向分布，克服了動態預測模型不能準確預測海表溫度的詳細緯向分布的這個缺點；Chhetri 等［13］出了一種基于雙向長短期記憶網絡（Bidirectional Long Short Term Memory，BLSTM）和門控循環單元（Gated Recurrent Unit，GRU）的月度降水預測（BLSTM-GRU）模型，并將其結果與深度學習中先進的方法進行了比較，結果表明，與線性回歸、MLP、CNN、LSTM 和GRU 等模型比較，BLSTM-GRU 方法具有更低的預測誤差。

從以上基于深度學習的氣象預測方法可以發現，氣象數據具有明顯的高維特征，因此相比傳統的BP（Back Propagation）神經網絡，具有多層結構的深度神經網絡更適合進行氣象預測［14］。同時，氣象數據作為典型的時序數據，使用處理時間序列的深度學習方法（如LSTM、GRU 等）要明顯優于普通模型。然而，現有的深度學習方法大多只考慮單一的時間因素影響，忽略了氣象觀測站間的空間地理位置影響［15］，為了說明空間因素的重要性，圖1 展示了一個例子。站點2、3 氣溫相近，但與站點1 氣溫相差較大，其原因是站點2、3 的空間地理位置相近，彼此之間空間相關性大，相反站點1 與站點2、3 的空間距離相遠，空間相關性小。因此，如果能將附近地區的氣象變化信息納入模型，將有助于降低預測的誤差。

圖1 氣溫受空間地理位置影響Fig.1 Temperature affected by spatial and geographical location

綜上所述，針對現有的基于深度學習的氣溫預測方法誤差大、時空特征提取不充分的問題，本文選取氣象觀測站點地理位置數據和氣溫數據進行建模，提出一種基于圖卷積神經網絡（Graph Convolutional Network，GCN）和門控循環單元（Gated Recurrent Unit，GRU）的氣溫 預測模 型（Graph Convolutional Network and Gated Recurrent Unit，GCN-GRU）。首先，使用重新分配權重和多階近鄰連接方式修正傳統的GCN；然后，將GRU 中每個門控循環單元的矩陣乘法換成改進的GCN 操作，并將所有的門控循環單元串聯，構成圖卷積門控層；接著，使用圖卷積門控層搭建網絡主體結構，用于提取數據的時空特征；最后，使用一個全連接的輸出層輸出氣溫預測結果。

1 理論基礎

1.1 氣溫預測問題定義

氣溫預測是典型的時間序列預測問題，即，給定H個時間步長的氣溫觀測數據值，預測接下來M個時間步長的氣溫值：

其中，vt∈RN為t時刻N個氣象站點的氣溫觀測值向量，vt中每個元素記錄單個氣象站點的歷史觀測數據；P為概率函數。

傳統的深度學習方法使用單個氣象觀測站點數據進行建模預測。本文考慮到氣象觀測站之間的空間影響，將一個地區的多個氣象觀測站建模成圖網絡。因此，本文從時間和空間兩個角度分析氣溫預測問題，使用GCN 提取氣溫數據的空間特征，使用GRU 提取氣溫數據的時間特征。

1.2 GCN

近年來，由于交通網絡、萬維網和社交網絡等多種圖數據的出現，研究人員開始關注如何在圖上構造深度學習模型，圖卷積神經網絡成為了處理圖數據的有力工具。目前圖卷積神經網絡的主流方法分為兩類［16］：一類是譜域圖卷積，主要利用了圖譜理論和卷積定理，將數據由空域轉換到譜域作處理，處理完后再使用傅里葉逆變換轉換回空域［17］；另一類是空域圖卷積，這類方法繞開圖譜理論，直接在空間上定義卷積操作［18-20］。前者對圖濾波器的設計具有顯式的公式指導，但是對矩陣進行特征分解具有O(n3)的時間復雜度；后者定義直觀，靈活性更強，時間復雜度更低，具有工程上的優越性。因此本文選用空域圖卷積方法建模氣象數據圖網絡。

為了定義圖卷積，首先將氣象數據圖網絡定義為G=(V，E，W)，V∈RN為節點集合，即氣象數據圖網絡中所有氣象站點組成的集合；E∈RN×N代表所有邊的集合；W∈RN×N為加權鄰接矩陣，表示節點間的關系；度矩陣Dii=。然后依據圖譜理論推導圖卷積（GCN）［18］，利用鄰接矩陣W和度矩陣D定義圖的拉普拉斯矩陣L：

其中：IN為N階的單位矩陣，L為實對稱矩陣，從而必然存在對角矩陣Λ=diag(λ1，λ2，…，λN)與L相似，即存在正交矩陣U使得L=UTΛU。接著利用傅里葉變換和傅里葉逆變換得出譜域的圖卷積定義：

其中：X為輸入的特征矩陣；h為定義的卷積核；⊙表示哈達瑪積；F和F-1分別為傅里葉變換和傅里葉逆變換。最后利用切比雪夫多項式對式（3）進行一階近似估計，得到GCN 圖卷積如式（4）所示：

1.3 GRU

標準的循環神經網絡（Recurrent Neural Network，RNN）在訓練過程中存在梯度消失和梯度爆炸問題［22］，使得RNN難以實現信息的長期保存，長短期記憶（Long Short-Term Memory，LSTM）網絡［23］通過引入記憶單元和門控單元保存歷史信息，但是LSTM 的內部結構復雜，模型訓練時間開銷過大。因此本文參考Cho 等［24］提出的方法，使用門控循環單元（GRU）捕獲氣溫數據的時間動態變化特征。GRU 將LSTM 單元中的輸入門和遺忘門合并為更新門u(t)，用于控制隱藏狀態的更新，重置門r(t)用于判斷是否保留之前的隱藏狀態，GRU 的前向傳播計算如式（5）～（8）所示：

其中：X(t)為t時刻的輸入；H(t-1)為t-1 時刻的隱藏狀態；C(t)、H(t)分別表示t時刻的候選隱藏狀態和隱藏狀態；σ為sigmoid 激勵函數；⊙表示哈達瑪積。

2 模型設計

2.1 構建鄰接矩陣

鄰接矩陣是構建圖的重要步驟，本文使用氣象觀測站作為節點并通過觀測站之間的距離構建鄰接矩陣，對于每兩個氣象觀測站間的距離計算如式（9）所示：

其中：dij為節點i到節點j的實際距離；R為地球半徑；Lati、Longi分別為節點i的緯度和經度；b=Longi-Longj、a=Lati-Latj分別表示兩節點經緯度之差。用W表示氣象數據網的加權鄰接矩陣，W的定義如式（10）所示：

其中：Wij為利用距離dij計算出的邊的權值；σ2和ε用于控制加權鄰接矩陣W的分布和稀疏性，分別取10 和0.5［6］。

2.2 修正GCN

1.2 節介紹了GCN 的基本操作，即對每層網絡的輸出，都有如式（4）所示的計算。對于圖中的任意節點而言，節點特征每更新一次，就會多聚合更高一階鄰居節點的信息，這有利于捕獲數據空間關系，如果把最高鄰居節點的階數稱為該節點的聚合半徑，那么隨著GCN 層數的增加，節點的聚合半徑也在增長，一旦到達某一閾值，會導致節點的輸出特征過度平滑［25］。為了防止過平滑現象發生，GCN 的層數一般會設置成1～2 層，然而淺層的GCN 又不能有效地傳播節點信息。因此，為了使GCN 能更好地在氣象數據中發揮作用，本文對GCN 做了以下兩點修正［20，25-26］：

1）重新分配權重，增加鄰接矩陣W中節點自連接邊的權重［27］：

具體來說，將式（10）定義的鄰接矩陣W引入了一個參數p∈[0，1]，如式（11）所示，通過調節p的值對節點自身權重進行重新分配。當p接近1 時，模型趨向于不使用自身節點的信息；當p接近于0 時，模型趨向于不聚合鄰居節點的信息。

2）多階近鄰連接，擴大圖卷積的感受野［20］：

2.3 網絡結構

本節描述GCN-GRU 模型的基本組件和實現步驟。GCN-GRU 模型的網絡結構如圖2 所示，由1 個輸入層、3 個圖卷積門控層（Graph Convolutional Gating Layer）和1 個全連接的輸出層組成，其中圖卷積門控層由GCN 和GRU 組成。下面詳細介紹GCN-GRU 模型的實現步驟。

圖2 GCN-GRU網絡結構Fig.2 Network structure of GCN-GRU

步驟1 將GRU 循環單元的更新門u(t)、重置門r(t)以及候選隱藏狀態C(t)中的所有矩陣乘法，換成本文2.2 節修正的GCN 操作，每個循環單元的數學表達如式（13）～（16）所示：

其中：★G為圖卷積操作，X(t)為t時刻的輸入，為可學習參數；H(t-1)為t-1 時刻的隱藏狀態，當t=1 時，有H(t-1)=H(0)為初始的隱藏狀態；ut、rt分別表示更新門和重置門；C(t)、H(t)分別表示t時刻候選隱藏狀態和隱藏狀態；σ為sigmoid 激勵函數；⊙表示哈達瑪積。

步驟2 將所有的循環單元串聯，使每個循環單元的輸出都作為下一個循環單元的隱層輸入，所有串聯的循環單元便組成一個圖卷積門控層，圖3 詳細展示了圖卷積門控層的組合過程。

圖3 圖卷積門控層Fig.3 Graph convolutional gating layer

步驟3 疊加3 個圖卷積門控層，并且圖卷積門控層之間使用ReLU 激勵函數連接，最后用一個全連接層輸出預測結果。

3 實驗設計與驗證

為了驗證模型的預測效果，本文在真實的數據集上對GCN-GRU 模型進行測試。本章將對數據集和實驗設計進行說明，并對實驗結果進行詳細的對比分析。

3.1 數據集描述

采用中國氣象數據網（http：//data.cma.cn/）提供的中國甘肅國家級地面氣象站逐小時觀測數據，該數據集包含了從2020 年8 月4 日0 時到2020 年9 月20 日23 時共48 d、74 個氣象觀測站的氣象數據。因此實驗數據主要包含兩部分：一個是用于描述氣象站點的地理位置數據，該數據用于構建鄰接矩陣，主要包括區站編號、站名、經緯度、氣壓傳感器海拔高度和觀測場海拔高度；另一個是用于描述每個氣象站點的天氣狀況數據，該數據用于構建特征矩陣，每隔一小時測一次，主要包括區站編號、日期、氣壓、風速、氣溫、能見度、云量和降水量等。

3.2 數據預處理

氣象站點地理位置數據的預處理步驟如下：1）提取氣象站點地理位置數據并刪除異常站點；2）使用氣象站點地理位置的經緯度數據，利用式（9）計算出每兩個氣象站點之間的距離；3）用高斯核函數將距離dij作為參數，計算出加權鄰接矩陣。

氣溫數據的預處理步驟如下：1）根據氣象站點地理位置數據預處理的結果，提取對應氣象站點的氣溫數據；2）使用線性插值的方法填充缺失值和異常值；3）按滑動窗口的方式對氣溫數據進行時間切片；4）使用線性函數（Min-Max Scaling）方法對氣溫數據進行歸一化。

3.3 實驗設置

3.3.1 實驗環境

實驗環境如表1所示。

表1 實驗環境Tab.1 Experimental environment

3.3.2 評價指標

本文選用3 個評價指標定量分析GCN-GRU 模型的性能，其中x(t)表示真實值，x^(t)表示預測值。

1）平均絕對誤差（Mean Absolute Error，MAE）：

2）均方根誤差（Root Mean Square Error，RMSE）：

3）平均絕對百分誤差（Mean Absolute Percentage Error，MAPE）：

3.3.3 基線模型

為了測試GCN-GRU 模型的預測效果，本文與常見的氣象預測領域的神經網絡模型進行了比較，包括CNN、GRU、LSTM［10］和BLSTM-GRU；同時為了說明時間特征的重要性，與捕獲空間特征的模型GCN 和ChebNet［16］進行比較；另外，與文獻［15］的Cheb-LSTM（Chebyshev graph convolution and Long Short-Term Memory）、GCN-LSTM（Graph Convolutional Network and Long Short-Term Memory）等混合模型做實驗對比。

3.3.4 參數設置

在實驗中，將氣溫時序數據集以7∶3 的比例劃分為訓練集和測試集，模型輸入的歷史時間窗口為6 h，即H=6，預測未來6 h 的氣溫，即M=6。模型在進行多次調參的對比實驗之后，最終確定的實驗參數設置如下：三層圖卷積門控層，每層使用的激勵函數為ReLU；使用Adma 優化器和均方誤差訓練模型；訓練輪次為100，批量大小為64，初始學習率為0.01。

3.4 實驗結果與分析

3.4.1 尋找最優模型

為了得到最優預測結果的模型，1）本文將擴大圖卷積感受野的參數K，使用了5個不同的值K=1，2，3，4，5，然后通過驗證數據集觀察預測結果，圖4 展示了不同K值預測的效果。從圖4 可觀察到，隨著K的增加，預測誤差會較大幅度地減小，當K=3 時達到最小誤差，然后緩慢地增加。2）對于重新分配鄰接矩陣權重的參數p，選取了從0.01～1.00 共100 個值進行測試，圖5 為參數p在不同值下的MAE 預測誤差，可以發現隨著p的增大，預測誤差迅速減小，到達p=0.5左右時開始緩慢減小，一直到p=0.91時到達最小值，之后緩慢增加。

圖4 不同階數K下訓練模型的MAEFig.4 MAE of training model under different orders K

圖5 參數p對模型預測結果的影響Fig.5 Influence of parameter p on model prediction results

因此本文確定模型中使用參數K=3，p=0.91，以達到最好的預測效果。

3.4.2 實驗結果和分析討論

觀察表2 的實驗結果可知：GCN-GRU 模型的MAE、MAPE、RMSE 均小于基線模型CNN、GRU、LSTM、BLSTMGRU、GCN 和ChebNet，其 中MAE 分別減小了1.54、0.67、0.83、0.25、0.72 和0.62；同時，GCN-GRU 模型的預測誤差較Cheb-LSTM 和GCN-LSTM 模型也有明顯地降低，其MAE 分別減小了0.36、0.23。

表2 不同模型的氣溫預測誤差Tab.2 Temperature prediction error of different models

為了更直觀地展示不同模型的預測效果，本文可視化了9 種模型在0 號氣象觀測站點的預測值與真實值。圖6 為預測效果對比。由圖6 可知，圖6（a）展示的CNN 預測效果最差，圖6（b）和（c）展示的循環神經網絡模型比圖6（d）和（e）模型效果好，但比圖6（f）編碼解碼模型以及圖6（g）和（h）組合模型效果差。圖6（i）為本文的GCN-GRU 模型，相較于單一模型，預測效果具有明顯的優勢；相較于混合模型，隨著預測時間步長的增加，預測效果的優勢也更加明顯，且能更有效地預測氣溫的最大值和最小值。

為了分析GCN-GRU 模型有更小預測誤差的原因，本文可視化了測試集上每個氣象觀測站的MAE，點越大表示誤差越大。如圖7 所示，一個站點距離其他站點越遠，此站點預測誤差會隨之增大，原因在于其他站點與此站點的空間相關性會隨彼此之間距離的增大而減小，可見數據空間相關性是氣溫預測建模任務的關鍵因素。

圖7 測試集上每個觀測站的MAEFig.7 MAE of each observation station on testset

通過表3 比較GCN-GRU（No-modified）和GCN-GRU 預測誤差可知，GCN-GRU 較GCN-GRU（No-modified）的MAE 減小了0.4，圖6（i）展示了 預測結果，顯 然GCN-GRU（Nomodified）對最高和最低氣溫的預測存在較大的誤差，即預測結果過于平滑，可見使用本文方法改進的GCN 能夠有效地捕獲數據的空間相關性。綜上所述，GCN-GRU 較傳統方法有更小的預測誤差。

表3 未修正圖卷積的GCN-GRU與GCN-GRU氣溫預測誤差結果Tab.3 Temperature prediction error results of GCN-GRU with graph convolution without modification and GCN-GRU

圖6 不同模型的氣溫預測值與真實值Fig.6 Predicted and true temperature values of different models

4 結語

本文將一個地區的氣象觀測站建模成圖網絡，提出一種基于時空卷積的深度神經網絡模型GCN-GRU 進行多站點氣溫預測。具體來說，將GRU 循環單元的矩陣乘法換成圖卷積操作，捕獲數據的時空關系。進一步地，將GCN 使用重新分配權重和多階近鄰連接的方法進行改進，以減小模型預測的誤差。結果表明，與經典模型GRU、LSTM 等相比，GCNGRU 模型具有更小的預測誤差。

本文只考慮了氣溫特征進行預測，在接下來的工作中，將融合其他氣象特征，減小氣溫預測的誤差。