基于多元分解的大氣污染深度學習預測方法

衛曉旭，王曉凱，朱 濤，龔 真

(山西大學物理電子工程學院，山西 太原030006)

1 引言

近年來，大氣污染日益嚴重，全國環境空氣質量相對較差的20個城市中，其中山西省占三個。為更好的解決多變量非線性時間序列的不確定性、不穩定性和復雜性問題，利用深度學習，可以提前預測污染物濃度，提供準確的防治對策并及時控制大氣污染，修補工業生產中問題環節，創造出彈性、可塑性、可再生功能的綠色的人工自然系統。

20世紀40年代以來，人們在平穩隨機過程中廣泛使用預測方法是自回歸模型(Auto Regressive， AR)、滑動平均模型(Moving Average， MA)和混合模型。對非線性數據，運用支持向量機(Support Vector Machine，SVM)可以看作是單隱含層網絡，比BP具有較強的逼近能力和泛化能力，但是SVM算法對大規模訓練樣本難以實施，分類問題存在困難。深度學習可以對大規模數據進行整合。常用的深度網絡有卷積神經網絡(Convolutional Neural Networks，CNN)和循環神經網絡 (Recurrent Neural Network， RNN)。目前，在RNN優化中被廣泛接受的變體為長短期記憶網絡(Long Short-Term Memory， LSTM)，自此基礎上，雙向長短期記憶網絡(Bi-directional Long Short-Term Memory，BILSTM)考慮上下數據信息，更好的捕捉雙向的數據特征依賴。但是，CNN和RNN二者分別針對完全不同的問題做了優化，其任一功能存在單一性，存在數據特征提取不完全，參數權值不匹配等問題。

學者們通過對分解后的子序列進行分析可以提取出時序的特征，例如，STL在衛生醫療應用有STL-ADABOOST-ESN組合模型[1]對HIV月病發數進行預測。文獻[2]針對單一模型無法實現準確的電力能耗預測的問題，通過引入STL時間序列分解并采用支持向量回歸算法實現了電力能耗數據的準確預測。EMD是一種新的處理非平機穩信號的方法。文獻[3]提出了EMD+SVM組合模型對風力進行了短期預測。文獻[4]提出了一種基于經驗模態分解(EMD)算法和深度學習相結合的集成方法。

近年來，國內外學者運用多種先進的多變量預測方法，例如，文獻[5]基于多元回歸分析方法，依據可能影響涌水量的主要影響因子，得到非線性預測公式對涌水量進行預測研究。文獻[6]為了提高隧道火災感溫探測器溫度預測的精度，建立隧道火災溫度分布多元回歸預測模型。文獻[7]利用時間序列和線性回歸2種統計方法進行自適應預測。文獻[8]將主成分分析法與定性分析和定量分析結合，建立基于多元分析優化的模糊神經網絡預測模型預測短期太陽能輻射量。

為克服目前單一的非平穩預測算法難以充分捕捉時序的復雜關聯特性，本文提出基于多元分解分析的大氣污染深度學習預測方法。首先，確定主要預測變量，并對主變量進行STL分解得到3個分變量；其次，通過皮爾遜相關系數得出與主變量較為相關的幾個相關變量；最后，對3個分變量和其余相關變量進行CNN+BiLSTM混合網絡預測并融合得到主變量預測值。此模型充分提取復雜分平穩時序數據的特征，且可考慮多重影響因素，加之深度學習網絡，可實現自動化的可靠預測。

2 多元分析和分解的深層預測方法

在本節中，首先建立一個模型框架來解釋預測過程。然后介紹了該算法的核心關鍵部分，包括相關分析、時間序列數據分解和循環神經網絡與卷積神經網絡相結合的預測模型結構。在現存的比較成功的時序預測網絡模型的基礎上進行改進，以提高對非平穩多元時序數據的預測精度。

2.1 框架

模型框架如圖1所示。可以看出，整個模型主要由4部分組成：輸入變量、分解主變量、選擇相關變量、模型預測。輸入變量包括1個主變量及n個其它變量，分解主變量主要是對主變量進行STL分解得到3個主分量，STL可以將原始時間序列數據分解為三個子序列，它們具有不同的規律性，即趨勢性、季節性和殘差性。選擇相關變量是通過皮爾遜系數挑選出n個相關度較高的變量，相關系數是反映變量之間相關關系的一種統計指標，這部分可以去除和主變量相關度不高的變量，減少模型的計算量，提高預測精度；最后，3個主分量和其余N個相關向量經過CNN+BiLSTM混合網絡進行預測得到主變量預測值。

圖1 模型框架

2.2 相關變量的確定

由于SO2濃度受多種因素的共同作用，其在大氣中具有復雜性、隨機性、可變性和不確定性，為了減少計算量，提取相關度較高的相關變量，提高預測精確度，本文選取相關變量時利用皮爾遜相關系數，得到影響其含量最為相關的變量。

皮爾遜相關系數廣泛用于度量兩個變量之間的相關程度。其實就是兩個變量的協方差除以兩個變量的標準差，其值介于-1與1之間。最常用的公式如下

(1)

如果有兩個變量：X、Y，最終計算出的相關系數的含義可以有如下理解：

1) 當相關系數為0時，X和Y兩變量無關系。

2) 當X的值增大(減小)，Y值增大(減小)，兩個變量為正相關，相關系數在0.00與1.00之間。

3)當X的值增大(減小)，Y值減小(增大)，兩個變量為負相關，相關系數在-1.00與0.00之間。

通過對大氣中CO、PM2.5、NO、濕度、溫度等進行相關系數對比得出，皮爾遜相關系數正相關的兩大因素，即對其濃度影響最大的外部因素CO、PM2.5。同時，對附近監測站點的SO2的也進行了相關系數對比，選擇三個最相關站點的SO2作為相關變量。

2.3 基于分解的深度預測模型

STL是以魯棒局部加權回歸作為平滑方法的時間序列分解方法。STL由兩個循環機制組成，分為內循環與外循環，把時間序列分解為三個部分：趨勢分量， 周期分量和殘余分量，如式(2)，其中，為趨勢分量，St為季節分量，Rt為殘余分量。

Yt=Tt+St+Rtt=1，2，…，N

(2)

本文中應用了CNN與BiLSTM結合的混合網網絡，結構如圖2所示。

圖2 CNN+BiLST模型結構圖

(3)

(4)

(5)

雖然Bi-LSTM需要訓練更多的代來收斂到穩定性，但是輸出是同時考慮了前后的因素得到的，因此更具有魯棒性。同時也有更高的精度，因為它得到了更多的輸入信息， 為神經網絡提供的上下文全局特征，更快而且更充分地學習訓練。因此，選擇Bi-LSTM作為預測模型。

CNN-BiLSTM的方法可以通過CNN自動提取空間特征，考慮不同變量之間的水平信息提高準確性，又可以通過BiLSTM提取時序特征，學習CNN獲得的特征的更多輸入時序特征，并以此為基礎進行預測融合，使得在多維時間序列變量的水平和垂直維度上都可以提取特征。

3 實驗及結果

3.1 實驗設置和數據集

實驗數據來源于空氣檢測中心提供的大氣檢測數據，包括PM10、PM2.5、SO2、NO2、CO、臭氧、溫度、濕度等物理量。利用所提出的多元預測模型來預測二氧化硫。這些氣象數據包含9個監測站，每個監測站每小時測量一次，將每5個月的數據分為一段，一共設置三段數據，每段數據有3650個數據點。

本文設置三個實驗，驗證了該模型的預測性能。

實驗1：選定預測站點的SO2數據為主變量，通過皮爾遜系數選出幾條和主變量相關性特別高的幾個氣象要素和幾個其它站點的SO2數據，將主變量進行STL分解，連同通過皮爾遜系數選出來的相關變量一同輸入到CNN-BiLSTM中，來預測主變量。接著用LSTM、GRU、BP、ARIMA來預測主變量，觀察多元預測方法和傳統預測方法的優劣，通過3段數據進行實驗。

實驗2：在實驗1多元預測的基礎上，把STL分解去掉，直接輸入主變量和相關變量，其余部分不變，和實驗1多元預測進行對比。

實驗3：在實驗1多元預測的基礎上，把其它站點的SO2數據去掉，輸入其余變量，和實驗1多元預測進行對比。

(6)

3.2 實驗結果

3.2.1 實驗1

預測站點的SO2預測結果如圖3、4、5所示，棕色曲線代表真實數據，藍色曲線代表多元預測結果，橘黃色、綠色、紅色、紫色分別代表LSTM、GRU、BP、ARIMA模型的預測結果。

圖3 數據1多元預測結果和傳統預測方法對比

圖4 數據2多元預測結果和傳統預測方法對比

圖5 數據3多元預測結果和傳統預測方法對比

從圖中可以看出多元預測結果的曲線與真實數據的曲線更加吻合，從圖4可以看出，雖然數據的復雜度較高，但是多元預測模型相比其它傳統模型預測效果要好，特別是在數據復雜度小的時間段，多元預測方法的預測性能尤為顯著。但是在峰值較高的區間內，多元預測方法的預測結果要稍微遜色一些。表1表示多元預測方法和傳統預測方法的RMSE對比，從表中可以看出，在總體預測性能上，多元預測方法要比其余傳統模型預測方法的誤差要小。GRU模型在傳統預測模型中已經算是性能很好的模型，在預測數據1時，RMSE達到了4.71，但是在使用多元預測模型預測數據1時竟達到了6.38，在預測數據1和數據2時，更是比其它傳統模型的預測結果的RMSE要低。

表1 多元預測和傳統預測方法的RMSE對比

3.2.2 實驗2

將多元預測方法中的STL分解去掉后，再來預測數據1和數據2。兩個模型的預測結果如圖6、7所示，藍色曲線表示真實數據，黃色曲線表示去掉STL分解后模型的預測結果，綠色表示未經調整的多元預測方法預測結果。

圖6 數據1多元預測方法與去掉STL分解的多元預測方法的預測結果比較

圖7 數據2多元預測方法與去掉STL分解的多元預測方法的預測結果比較

從圖中可以明顯看出，去掉STL分解后模型的預測結果與真實數據吻合度比較差，特別在峰值特別高和復雜度比較高的區間內，對比度特別明顯。說明在加入STL分解方法后，數據的噪聲得到了降低，多元預測模型的性能得到了改善。多元預測方法與去掉STL分解的多元預測方法的RMSE情況如表2所示，從表中可以看出，在預測數據1時，多元預測模型的RMSE為3.59，去掉STL的多元預測模型的RMSE為6.05，文中的模型相對于去掉STL的模型預測性能提高了37.8%。在預測數據2時，多元預測模型的RMSE為7.38，去掉STL的多元預測模型的RMSE為10.79，文中的模型相對于去掉STL的模型預測性能提高了31.6%。通過分析發現，去掉STL分解后的模型預測性能明顯比未經調整的模型差。

表2 多元預測方法與去掉STL分解的多元預測方法的RMSE比較

數據多元多元(去掉STL)數據13.596.05數據27.3810.79

3.2.3 實驗3

將輸入的變量中，去掉相關站點的SO2變量，再預測數據1和數據2，預測結果與元模型進行對比，如圖8、9所示，圖中藍色曲線代表真實數據，黃色曲線代表原模型未經調整的預測結果，綠色曲線代表輸入變量去掉相關站點的SO2數據時模型的預測結果。

圖8 數據1多元預測方法與輸入變量去掉相關變量的多元預測方法的預測結果比較

圖9 數據2多元預測方法與輸入變量去掉相關變量的多元預測方法的預測結果比較

從圖中可以明顯的看出，輸入變量去掉相關站點的SO2數據時，預測結果效果不佳，說明其余站點的SO2變量與預測站點的SO2數據是有一定的聯系的，去掉后，模型預測性能大打折扣。多元預測方法與輸入變量去掉相關變量的多元預測方法的RMSE如表3所示，從表中可以明顯看出，在預測數據1時，多元預測模型的RMSE為3.34，減少相關變量的多元預測模型的RMSE為4.72，文中的模型相對于減少相關變量的模型預測性能提高了29.2%。在預測數據2時，多元預測模型的RMSE為7.00，減少相關變量的多元預測模型的RMSE為8.55，文中的模型相對于減少相關變量的模型預測性能提高了18.1%。通過分析預測結果發現，輸入變量去掉相關變量的多元預測方法的RMSE明顯升高。

表3 多元預測方法與去掉相關變量的多元預測方法的RMSE比較

4 結論

實際從檢測站點收集到的數據是多維的、復雜性高的、非線性的、嘈雜噪聲的。所以，在進行數據預測時，通過皮爾遜系數分析多維數據之間的相關性對主變量的預測顯得尤為重要，通過皮爾遜系數拋棄掉相關性不強的變量，大大縮短了網絡學習的時間。通過STL分解將數據分解為周期分量、趨勢分量和殘差分量，有利于深度學習網絡更有效的學習顯著的特征。

觀察實驗1和實驗3的結果可以看出，本文提出的多元預測方法的預測結果比傳統網絡預測和去掉相關變量的多元預測的效果要好很多，通過皮爾遜系數篩選出來的相關變量，減少了數據的緯度，減少了計算所帶來的負擔。

觀察實驗2的結果可以看出，對主變量進行STL分解后，再連同其余相關變量輸入到CNN-BiLSTM比不進行STL分解輸入到CNN-BiLSTM的效果要好很多，對于深度網絡，網絡訓練受輸入數據的影響很大。在提取特征時，適當的數據分解通常提供更簡單的特征，有助于網絡的訓練。

通過實驗，多元預測也存在一定的缺陷和不足，在輸入數據維度過大時，誤差反而降不下來，但是在大多數情況下，多元預測方法的性能比較突出，未來可以實現關聯變量的動態分析，從而改善多元預測的性能。