基于時空相關性的LSTM算法及PM2.5濃度預測應用

趙 彥 明

(河北民族師范學院數學與計算機科學學院 河北 承德 067000)

0 引 言

空氣污染物對人類健康的威脅與日俱增。2013年，Zheng等[1]指出實時預測空氣污染物濃度信息對于控制空氣污染和防止空氣污染引起的健康問題具有重要意義。文獻[2-3]的研究工作表明，一般來說，顆粒物體積越小，水溶性越強，在呼吸系統的穿透力與吸附率越高，對人體的健康影響越大。因此，對PM2.5粒子濃度演進過程與預測算法的研究已成為當前熱點。

現階段，空氣污染物粒子濃度演進與預測算法主要包括確定算法與統計算法。其中確定算法主要依據氣象學相關理論和大氣物化反應過程等先驗知識，應用多元統計學理論，實現大氣污染物粒子濃度演進過程模擬與濃度預測，并取得較好的研究與應用效果。主要研究成果包括：基于特定性空氣質量預測算法[4]、WRFChem算法[5]、在不同尺度和方向上模擬空氣污染物的時空分布特征算法[6]、區域多尺度空氣質量(CMAQ)算法[7]。但是，該類算法是建立在一定的先驗知識基礎上的，并受到多維條件約束，算法不具備普適性。

為改進確定算法缺欠，僅依據多元統計理論的統計算法被提出。該類算法主要包括非神經網絡算法和神經網絡算法。其中絕大部分非神經網絡算法以回歸方式解決確定性算法的缺欠，在研究與應用領域取得較好的模擬與預測效果。代表性算法包括多元線性回歸(MLR)方法[8]、支持向量回歸(SVR)方法[9]、wavelet-ARMA/ARIMA算法[10]等。

2011年Yoon等[11]的實驗表明人工神經網絡(ANN)具有非線性映射、自適應和魯棒性較好的特征，因此在大氣污染物粒子濃度演進過程模擬與濃度預測中具有較好應用價值。近年來，國內外開發了各種ANN結構來改進空氣污染物濃度的預測。人工神經網絡算法包括通用神經網絡算法與專用神經網絡算法。通用的神經網絡算法包括：基于徑向基神經網絡的空氣質量預測算法[12]、基于多層感知器的空氣質量預測算法[13]、時間延遲神經網絡(TDNN)[14]、Elman神經網絡[15]、基于模糊神經網絡的空氣預測算法[16]。通用神經網絡算法將不同類型的神經網絡算法應用于大氣污染物粒子演進模擬與濃度預測上，具有較好的效果。但是以上研究忽視了大氣污染物粒子濃度演進過程模擬與濃度預測是一個時間序列，應該從時間序列角度出發，學習該過程的時間依賴特征。因此，基于時間依賴特征學習的遞歸神經網絡(RNN)等專用神經網絡被引入到大氣污染物粒子濃度演進與預測領域。基于RNN算法的研究主要如下：2011年Feng等[17]將遞歸神經網絡(RNN)應用到空氣質量預測中，取得較好的效果；2015年Ma等[18]指出循環神經網絡(RNN)可以有效提取時間序列的時間依賴特征，并保證學習時間序列的能力。但是梯度消失或爆炸問題制約循環神經網絡學習時間序列的長時依賴性特征。長短期記憶神經網絡(LSTM)可解決傳統RNN的梯度問題，實現時間序列的長期依賴性學習。

LSTM算法已經在大氣污染物粒子濃度演進與預測領域取得較好的研究成果。一般LSTM算法包括LSTM method and evaluation算法[19]、ensemble-LSTM算法[20]、CNN-LSTM算法[21]、LSTM-FC算法[22]；基于空氣污染物粒子濃度特征的LSTM算法包括GC-LSTM算法[23]、spatiotemporal convolutional LSTM算法[24]；基于深度學習的LSTM算法包括DL-LSTM算法[25]、多輸出的DL-LSTM算法[26]、Deep DL-LSTM算法[27]。

綜上，與其他模擬與預測算法相比，基于LSTM的大氣污染物粒子濃度演進過程模擬與濃度預測算法具有較好效果，但是還存在如下缺欠：(1) 研究方法僅考慮大氣污染物粒子濃度演進過程的時間依賴性，而忽視該過程的空間相關性；(2) 研究方法忽視空間相關性，包括全局區域與局部區域相關性；(3) 沒有將空間相關性有效融合到LSTM算法中，實現集時間依賴性與空間相關性一體的LSTM大氣污染物粒子濃度演進過程模擬與濃度預測。

基于此，本文提出基于時空相關性的LSTM算法并用于PM2.5濃度預測。本文旨在研究大氣污染的演進過程，并融合自定義的空間特征與LSTM提取的時間特征，建立大氣演進算法并預測粒子濃度。本文主要創新包括：(1) 指出PM2.5演進過程是多元隨機過程，其中時間依賴性與空間相關性為主要響應因素。(2) 提出全局與局部空間相關性及其計算方法，實現算法的普適性。(3) 實現局部區域空間信息相關性因子與LSTM算法的遺忘門和記憶門融合，建立基于局部地理信息的LSTM算法(LTS_LSTM)，使LSTM算法具有局部地理信息特征學習能力。(4) 以LTS_LSTM算法學習結果為輸入，融合全局空間相關性，建立基于全局地理信息的時空相關的LSTM算法(GTS_LSTM)，從地理信息的全局角度模擬空氣污染物粒子濃度演進過程，并進行離子濃度預測。

1 算法設計

大氣污染物PM2.5的離子濃度演進是一個受多元因素制約的時間序列變化過程，具有高度的時間依賴性和空間相關性，并受諸多其他因素影響。因此，具有時間與空間記憶功能的神經網絡能夠更好地模擬PM2.5的演進過程，準確預測PM2.5粒子濃度。

1.1 PM2.5粒子濃度空間相關性特征

文獻[28]指出大氣污染物粒子濃度演進過程的地理相關性，并初步明確風力、風向和地理位置為地理相關性因素，但其忽視了地理相關性與研究區域范圍的關系。在較大的研究區域中，還存在山脈、植被等地理相關性因素。因此，根據研究區域大小，本文將研究區域劃分為全局區域與局部區域兩類。不同區域決定地理空間信息相關性的關鍵因素也不相同。基于上述分析，繪制地理相關信息圖示，如圖1所示。

(a) 觀測點分布圖 (b) 影響因素示意圖

(c) 空間相關系數矩陣

圖1中，Pi和Pj表示兩個空氣質量觀測近鄰站點，Cmountain表示近鄰觀測站點Pj與Pi間影響PM2.5粒子濃度的山脈影響系數，該系數由山脈的跨度、高度及與近鄰點Pj與Pi間連線的夾角決定。Cwind表示近鄰觀測站點Pj與Pi間影響PM2.5粒子濃度的風因素影響系數，該系數由風力和風向與近鄰點Pj與Pi間連線的夾角決定。Cvegetation表示近鄰觀測點Pj與Pi間的植被因素影響系數，該系數由近鄰點Pj與Pi間的植被繁茂程度決定，本文采用NDVI系數表示。NDVI系數能較好地反映植被茂盛程度，且受其他條件影響較少。D(j,i)表示觀測點Pj與Pi間的距離，可以用兩點間經緯度的歐氏距離表示。

PM2.5粒子濃度的地理空間信息τ(i,j)定義如下：

τ(i,j)=Wwind×cosθ×Mmountain×cosφ×NDVI/D(i,j)

(1)

式中：Wwind表示近鄰點Pj與Pi間該時段的平均風力；Mmountain表示近鄰點Pj與Pi間山脈的規模。該信息表明鄰域觀測點Pj粒子濃度與被觀測點Pi粒子濃度間的相關性。山脈規模可以表示為：

Mmountain=Mlength×Mwidth×Mhigh

式中：Mlength、Mwidth、Mhigh分別為山脈的長度、寬度、高度。

τ(i,j)具有良好的慢變性和風力實時性，是一個長時動態變化過程，區域越大穩定性越強。

在全局區域中，風的實時屬性(風力和風向)、地理位置、地域山脈、地域植被、地域溫度濕度等因素均為關鍵影響因素，并受到時間滯后性影響；而在局部區域上，觀測點之間距離較近，決定地理空間信息相關性的關鍵因素主要包括風的實時屬性(風力和風向)、地理位置因素。因此，將式(1)變換為：

(2)

該算法作為局部地理相關性計算準則，完成局部區域地理信息相關性計算，生成具有實時特征的局部地理相關性向量，實現算法地理相關性學習。

1.2 基于時空相關性的LSTM算法

PM2.5粒子濃度演進過程是一個受多重因素影響的隨機過程，具有高度的時間依賴性，尤其是長時依賴性。PM2.5粒子濃度演進過程的時間依賴性可表示為：

ρ(θ，t)=ρ(θ,t-1,t-2,…,t-k)

(3)

式(3)表明在PM2.5粒子濃度時間序列中，樣本間存在長時依賴關系。LSTM算法通過解決RNN網絡的梯度消失與梯度爆炸問題實現長短時依賴性學習，并在大氣污染物粒子濃度演進模擬與預測中取得較好進展。但是，LSTM算法不能依據地理空間的相關性特征學習粒子濃度演進過程中的地理信息相關性。因此，本文將自定義的空間相關性方法與LSTM算法融合，提出TS_LSTM算法，該算法能夠實現大氣污染物粒子濃度的時間依賴性與空間相關性學習。

1.3 LSTM算法

LSTM網絡是一種特殊類型的RNN，由一個輸入層、一個輸出層和一系列反復連接的隱藏層組成，并以門限的形式實現時間依賴性學習，其結構圖如圖2所示。

圖2 LSTM神經網絡結構圖

在此，LSTM算法的輸入向量表示為X=(x1,x2,…,xn)，xi∈RT,i=1,2,…,n，n表示輸入向量的維數，T表示時間序列的時間滯后性，Y=(y1,y2,…,yn)表示輸出序列，LSTM學習過程描述為：

ft=σ(Wf·[ht-1,xt]+bf)

(4)

it=σ(Wi·[ht,xt]+bi)

(5)

Ct=ft*Ct-1+it*Ct

(6)

ot=σ(Wo·[ht-1,xt]+bo)

(7)

ht=ot*tanh(Ct)

(8)

式中：it、ot和ft分別表示LSTM網絡的輸入門、輸出門和遺忘門；Ct和ht分別表示每個神經元細胞和記憶模塊的激活向量；W和b分別表示權重矩陣和偏置向量；*代表卷積運算。σ(·)表示激活函數;tanh(·)表示雙曲正切函數tanh()。

(9)

(10)

本文采用BPTT算法和客戶定制的RTRL算法訓練LSTM網絡。訓練步驟如下：

(1) 利用BPTT算法訓練TS_LSTM算法；(2) 按照RTRL算法訓練TS_LSTM算法，并在每個訓練步中，按照自定義的最佳響應準則將BPTT的訓練結果與本步的訓練結果融合，實現網絡參數優化調整。最佳響應準則為：

w(t,i,j)=max(wBPTT(t,i,j),wRTRL(t,i,j))

(11)

式中：w(t,i,j)表示第t步的權值結果；wBPTT(t,i,j)、wRTRL(t,i,j)分別表示第t步BPTT與RTRL權值結果。

1.4 融合地理信息的LSTM算法

研究證明，LSTM網絡已經能夠較好地學習PM2.5粒子濃度的時間依賴性特征。但為有效實現PM2.5粒子濃度的時間依賴性和空間相關性的融合學習，本文結合粒子濃度的區域分類，提出了兩步模擬與預測法：第一步改進LSTM微觀結構，根據地理信息邏輯開關(K)，實現局部區域的地理信息相關性學習；第二步根據地理信息邏輯開關(K)，融合全局地理信息與LSTM網絡的微觀輸出，實現全局區域的地理信息相關性學習。經過兩步空間相關性與時間依賴性學習，從局部和全局空間,算法實現時間依賴性與空間相關性融合學習。

時空相關性LSTM算法功能結構如圖3所示。

(a)局部地理相關性改進功能圖(LTS_LSTM)

(b) 全局地理相關性改進功能圖(GTS_LSTM)(γ=sgn()×x,x表示地理信息)圖3 時空相關性LSTM算法功能圖

TS_LSTM算法步驟如下：

1) 根據地理信息邏輯開關(K)，對表示記憶與遺忘功能的式(6)改進，改進結果為Ct=ft*Ct-1*P1t+it*Ct-1*P2t，實現局部地理相關信息與時間依賴信息的融合學習。Pit計算方法為：地理信息加強演進進程因素為P1t=Wwind×cosθ/D(i,j)，τ(i,j)>0；地理信息減弱演進進程因素為P2t=Wwind×cosθ/D(i,j)，τ(i,j)≤0。

2) 根據地理信息邏輯開關(K)，計算局部LSTM輸出與全局地理相關性的內積，實現全局地理相關性與時間依賴性的融合學習，實現LSTM網絡全局改進，并實現了時滯的初步學習，改進結果為：H·τ(i)。

通過上述改進，解決了LSTM網絡僅能實現時間依賴性學習，而不能學習空間相關性的問題，實現了全局與局部地理信息相關性與時間依賴性的融合學習，探索了時間學列中如何解決空間信息相關性的問題。

1.5 預測算法評價手段

本文使用均方根誤差(RMSE)、平均絕對誤差(MAE)和平均絕對百分誤差(MAPE)三個評價指標實現算法性能評價。上述三個指標計算公式如下：

(12)

(13)

(14)

2 實 驗

2.1 算法研究區域與驗證數據集

本文選用全局數據集和局部數據集實現算法性能研究。全局數據集限定在京津冀地區，該地區包含發展中國家的PM2.5形成的主要因素，具有良好的代表性。數據集采集自國家氣象局近七年的24小時的平均空氣粒子濃度數據；局部區域數據集限定在北京地區12個空氣監測站點。(全局區域包括：北部新區、豐臺云崗、農展館、承德、廊坊、保定、石家莊、邯鄲、東麗、津南、開發區和武清區；局部區域包括：北部新區、植物園、萬柳、奧體中心、農展館、東四、觀園、古城、天壇、萬壽西宮、豐臺花園和豐臺云崗)數據集包括每小時的空氣粒子濃度數據。全局和局部區域數據均采用20∶80的比例劃分測試集與訓練集。

(a) 北京區域空氣質量監測站的分布圖

(b) 京津冀空氣質量監測站的分布圖圖4 全局與局部研究區域圖

2.2 大氣污染物粒子濃度的空間相關

Pearson相關系數能夠準確描述數據相關性，本文采用該系數實現PM2.5污染物粒子濃度的空間相關性研究，計算全局(京津冀)與局部(北京)區域不同觀測站點的粒子濃度空間相關系數，并繪制空間相關性分布圖，如圖5所示。

(a) 時滯系數為1小時

(b) 時滯系數為36小時圖5 PM2.5粒子濃度的Pearson相關系數分布圖

實驗結果表明，在1小時時滯區間內，北京城區12個空氣監測站點PM2.5濃度的Pearson相關系數高于0.8，近鄰站點的相關系數高于0.91。因此，12個觀測站點的PM2.5濃度具有較強的空間相關性，且近鄰站點的相關性高于遠鄰站點的相關性。在36小時時滯區間內，京津冀區域12個空氣監測站點PM2.5濃度的Pearson相關系數高于7.7，近鄰站點的相關系數高于0.89。因此，12個觀測站點的PM2.5濃度具有較強的空間相關性，且近鄰站點的相關性高于遠鄰站點的相關性。綜上所述，在良好的時滯區間，全局與局部區域PM2.5粒子濃度近鄰間具有強相關性，全局區域相關系數低于局部區域的相關系數。

2.3 基于自相關的長期依賴性研究

自相關系數法能夠較好地分析時間序列的時間依賴性。本文采用自相關系數方法，計算全局區域和局部區域內12個空氣監測站點的PM2.5濃度的自相關系數，并繪制相關系數圖，如圖6所示。

(a) 局部區域時間依賴性 (b) 全局區域時間依賴性圖6 局部區域與全局區域空氣檢測站點粒子濃度的自相關系數與時間滯后的變化關系

該實驗結果表明，在局部區域中，觀測站點間的離子濃度存在長時依賴性，并且時間滯后關系清晰。在全局區域中，觀測站點間的離子濃度存在長時依賴性，并且時間滯后關系清晰。與局部區域的長時依賴性比較，宏觀區域的長時依賴性的滯后時間要長很多。

2.4 時間滯后性影響

時滯性制約了時間序列算法的學習性能，PM2.5粒子濃度演進過程受到時滯影響。因此，采用均方根誤差(RMSE)、平均絕對誤差(MAE)和平均絕對百分誤差(MAPE)三個評價指標，針對不同區域對算法的時滯性進行評價，評價結果見表1。

表1 時滯預算法性能表

實驗結果表明，時滯對算法的性能具有明顯影響，全局區域的時滯影響在12小時左右，局部區域時滯的影響在6小時左右，且宏觀區域的時滯總體大于微觀區域的時滯。算法性能影響上，時滯對宏觀區域影響比微觀區域更明顯，微觀區域的時滯影響變換快。結果表明時滯與區域大小具有較強相關性。

2.5 神經網絡結構影響

LSTM網絡結構，尤其是節點數對長時依賴性和地理信息相關性特征學習具有重要影響。因此，針對不同區域，不同網絡節點數目，在局部時滯1小時和全局時滯36小時條件下，采用設定的三個標準評價節點數對算法性能的影響，結果見表2。

表2 TS_LSTM神經網絡結構對算法性能影響

實驗結果表明，在相同時滯和相同的數據集上，隨著本文TS-LSTM神經網絡節點數目增加，算法對時間依賴性與空間相關性學習性能逐步增強，TS-LSTM算法能夠準確模擬PM2.5粒子濃度演進過程，并且準確預測PM2.5的粒子濃度。

2.6 預測值與觀測值的分布圖

在全局與局部預測與觀測數據集中個采樣1 400個樣本，繪制全局與局部PM2.5預測值與觀測值分布圖如圖7所示。

(a) 全局PM2.5預測值與觀測值分布圖 (b) 局部PM2.5預測值與觀測值分布圖圖7 全局與局部區域12個檢測站點PM2.5預測值與觀測值分布圖

實驗結果表明，本文算法的預測值與觀測值之間具有近似y=x+ε(ε為任意小正數)的擬合分布。說明算法的預測結果與觀測結果來自相同的數據集，因此本文算法具有良好的預測效果。

2.7 算法預測性能比較研究

在相同訓練和測試集、不同的輸入參數和不同的網絡構架上，將本文的TS-LSTM算法與多元線性回歸算法(MLR)[8]、支持向量機(SVR)[9]、wavelet-ARMA/ARIMA算法[10]、模糊神經網絡[16]、LSTM神經網絡[19]、GC-LSTM神經網絡[24]、DL-LSTM神經網絡[26]算法的性能進行比較，結果如表3所示。

表3 算法性能比較表

實驗結果表明，在相同訓練和測試集、不同的輸入參數和不同的網絡構架上，人工神經網絡算法具有非常好的非線性預測能力，與非神經網絡相比具有更好的預測效果；深層神經網絡的預測能力優于淺層神經網絡；本文算法預測性能優于其他LSTM網絡，且算法性能在局部區域具有優于全局區域的性能。綜上，與其他時間序列分析算法比較，本文的TS-LSTM算法具有較好的預測能力。

3 結 語

本文提出了基于時空相關性的LSTM算法，并在PM2.5演進與濃度預測上應用，解決了空氣污染物粒子濃度演進過程模擬與預測算法忽視了粒子濃度的空間相關性的問題，實現粒子濃度的時間依賴性與空間相關性融合，在全局與局部數據集上取得良好的演進模擬與預測效果。在相同數據集上，采用不同的網絡構架和實驗參數，與多種經典算法比較，本文算法具有良好的預測性能和模擬效果。研究發現在PM2.5粒子濃度演進模擬與數值預測上：1) 深度神經網絡性能優于淺層神經網絡；淺層神經網絡優于非神經網絡。2) LSTM神經網絡能夠較好地學習空氣濃度的長時依賴性，因此其具有優于同類淺層神經網絡的模擬效果與預測性能。3) 具有時空性能學習的多層深度LSTM神經網絡，具有優于傳統時間序列算法和神經網絡算法的性能。4) 本文算法在全局與局部空氣質量預測上均具有良好的預測性能和良好的模擬效果。