融合CNN-LSTM和注意力機制的空氣質量指數預測

劉媛媛

摘? 要： 針對空氣質量預測中復雜的時空問題，本文構造了多站點間的交互時空特征，搭建了結合CNN和LSTM的深度時空模型，并引入注意力機制學習多特征之間的權重分布，找出對空氣質量指數（AQI）影響較大的特征重點關注，構造了融合CNN-LSTM和注意力機制的AQI預測模型。使用2019年1月至2020年12月間運城市各站點的小時粒度數據進行實驗，結果表明，該模型對空氣質量指數的預測較基模型具有更優的性能。

關鍵詞： 空氣質量指數; 時空模型; CNN; LSTM; 注意力機制

中圖分類號：TP391? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2022）01-58-03

Air quality index prediction based on CNN-LSTM and attention mechanism

Liu Yuanyuan

（Department of Mathematics and Information Technology， Yuncheng University， Yuncheng， Shanxi 044000， China）

Abstract： Aiming at the complicated spatiotemporal problems in air quality prediction， this paper constructs interactive spatiotemporal features between multiple sites， builds a deep spatiotemporal model combining CNN and LSTM， and introduces an attention mechanism to learn the weight distribution between multiple features to find out the features that have a greater impact on the quality index， so as to construct an AQI prediction model combining CNN-LSTM and attention mechanism. Experiments were conducted using hourly granularity data of various stations in Yuncheng City from January 2019 to December 2020. The results show that the model has better performance in predicting air quality index than the base model.

Key words： AQI; spatiotemporal model; CNN; LSTM; attention mechanism

0 引言

近年來，隨著人們環保意識增強，空氣質量預測受到了更廣泛的關注，隨著深度學習技術的發展，空氣質量預測也由單一的CNN，RNN模型向著綜合考慮時空因素的CNN-RNN組合模型發展。黃婕[1]等基于RNN-CNN集成深度學習模型對中國大陸地區1446個監測站點的PM2.5小時濃度進行了預測，冀林[2]等使用CNNs-GRU模型，綜合考慮了時空因素，對無錫市PM2.5進行了預測，Chiou-Jye[3]等采用CNN提取空氣質量相關數據的時間特征關系，并結合LSTM用于預測PM2.5的濃度。這些組合模型，最終都被證明其預測效果優于單一的CNN、RNN模型。近年來，隨著注意力機制的發展，開始有學者將這一技術引入空氣質量預測中，余長慧[4]等使用基于注意力機制的Seq2seq模型對PM2.5濃度進行了預測，結果表明，該模型與基模型相比取得了更好的預測效果。

基于這種情況，本文提出了一種融和CNN-LSTM和注意力機制的模型。該模型構造了結合多站點多模態的時空特征，并使用CNN-LSTM模型進行空間及時間特征提取，最后引入注意力機制，對重要特征進行關注，從而提升預測效果。

1 模型理論介紹

1.1 CNN-LSTM模型

空氣質量預測是典型的時序問題，但基于其特殊性，空間特征對空氣質量的影響巨大，因此，本文將相鄰站點的空氣質量數據納入參考特征[5]，綜合考慮了空間和時間因素，構造了一種多站點時空特征。

模型的卷積神經網絡（CNN）部分使用Conv1D結構來進行特征提取。由于相鄰站點之間的空氣質量相關特征呈現交叉性的影響，因此在建模時將多站點的特征在每一個站點上展開成為綜合各站點數據的二維結構，然后利用CNN進行多站點多特征空間下的特征提取，具體過程如圖1所示。

在RNN的選擇上，本文選用LSTM來替換SimpleRNN，以解決長時間序列下的梯度消失問題。LSTM使用門控機制控制信息選擇性的通過：遺忘門將上一單元的輸出ht-1 和這一單元的輸入xt 輸入到sigmoid 函數，得到“遺忘系數”ft;輸入門使用sigmoid 函數決定要更新的數值，同時使用tanh 函數產生新的候選項，組合后完成當前單元狀態更新;輸出門使用sigmoid函數計算哪些單元狀態需要被輸出，最后經過tanh函數得到輸出ht[6]。其基本結構如圖2所示。

1.2 注意力機制原理

注意力機制來源于人類大腦的注意力運行機制，可以使模型在特定時間對特定的信息加以關注，從而過濾出對模型影響最大的特征[7-8]。

對于某長度為Tx的輸入序列，ati為歷史輸入的隱藏狀態對于當前輸入狀態的注意力權重，其計算公式為：

[ati=exp（eti）i=1Txexp（eti）] ⑴

其中，

[eti=VtanhWht-1+Uhi+b] ⑵

其中，U，V，W為權重矩陣，b為偏置項。

將ati與輸入序列歷史輸入節點的隱藏層狀態（hi）的乘積進行累加，可以得到特征向量Ct，其計算公式為：

[Ct=i=1Txatihi] ⑶

最終輸出的最后節點的狀態值記為Ht，其計算公式為：

[Ht=f（Ct，ht-1，yt-1）] ⑷

2 融入注意力機制的CNN-LSTM模型構造

針對AQI預測過程中存在的時空問題，本文構造了一種融入注意力機制的CNN-LSTM模型。該模型主要優勢在于考慮了相鄰站點之間特征的交互性，完善了時空模型，將相鄰站點的空氣質量相關因素作為特征引入，得到多站點間的交互時空關系，并構建結合了CNN和LSTM的時空模型，使用一維CNN結構Conv1D進行特征提取，使用LSTM在時間維度上根據設定的窗口進行未來空氣質量指數的預測，并在LSTM之后使用注意力機制，通過局部注意力機制學習多站點交互時空特征之間的權重分布，提升預測效果，該模型結構如圖3所示。

3 試驗與結果分析

本文所使用的試驗數據來自中國環境監測總站的全國城市空氣質量實時發布平臺發布的運城市五個國檢站點的小時粒度數據，包括AQI指數，SO2，NO2，CO，O3，PM10和PM2.5等指標。除此之外，考慮到氣像因素對AQI指數的影響，又獲取了溫度、濕度、風速、風向，降水量等相關氣象數據。本文使用運城市2019年1月至2020年12月兩年間的小時粒度數據作為訓練集對2021年1-3月的空氣質量指數進行預測，時間窗口選擇為12，即：使用前十二小時的數據對未來一小時的AQI指數進行預測。

3.1 模型評價指標

AQI預測屬于回歸問題，因此，為了更好的對模型進行評估，本文采用均方根誤差RMSE和平均絕對誤差MAE兩個指標來評價各個模型的預測效果。

[RESE=1ni=1nyi-yi]  ⑸

[MAE=1ni=1nyi-yi]? ?⑹

其中，n為樣本個數，yi為第i天AQI指數的實際值，[yi]為第i天AQI指數的預測值。

3.2 模型性能比較

為了驗證融合注意力機制和CNN-LSTM（S-CNN-LSTM-A）模型的性能，本文建立了多個對比模型，其中LSTM，CNN-LSTM模型作為基模型，并構造了引入空間特征的LSTM（S-LSTM）和CNN-LSTM（S-CNN-LSTM）。以編號為2175A的站點為例，各模型的性能指標如表1所示。

從表1可以看到，引入空間特征的LSTM（S-LSTM），CNN-LSTM（S-CNN-LSTM）模型，其RMSE較未引入前的33.71，26.97分別降低到了30.06，24.27，MAE也分別由24.95，21.79 降低到了20.28，15.54。而同時引入注意力機制和空間特征的深度時空模型（S-CNN-LSTM-A），其RMSE和MAE也分別降低到了21.84，15.07，獲得了比基模型更好的性能，其實際值和預測值的比較如圖4所示。通過模型對比發現，本文提出的融入注意力機制和空間特征的CNN-LSTM模型較基模型具有更高的精度，在空氣質量指數的預測上能夠取得更好的效果。

4 結束語

本文考慮了AQI預測過程中時空因素的影響，建立了多站點多特征基礎上的CNN-LSTM模型，并引入注意力機制來進一步提高模型的性能。結果表明，在單一站點模型基礎上引入多站點空間特征后，模型性能有了一定程度的提高，在此基礎上融入注意力機制后，模型性能又有了進一步的提升。因此，本文提出的融入注意力機制和空間特征的CNN-LSTM模型較基模型具有更優的性能。但由于數據獲取途徑有限，與運城當地生產生活相關的數據如污染企業分布，人民群眾生活習俗等數據獲取不夠，因此對運城本地的空氣質量預測精度還不夠高，這也是下一步研究的重點問題。

參考文獻（References）：

[1] 黃婕，張豐，杜震洪，等.基于RNN-CNN集成深度學習模型的PM_（2.5）小時濃度預測[J].浙江大學學報（理學版），2019，46（3）：370-379

[2] 冀林.基于CNNs-GRU深度學習的PM2.5預測研究與實現[D].重慶郵電大學，2019

[3] Chiou-Jye Huang and Ping-Huan Kuo. A Deep CNN-LSTM Model for Particulate Matter （PM2.5） Forecasting in Smart Cities[J].Sensors，2018，18（7）

[4] 余長慧，劉良.基于注意力機制的Seq2seq模型在PM2.5濃度預測中的研究[J].測繪地理信息，2021-07-13：1-9

[5] 姚紅巖，施潤和.基于周邊站點優化選取的隨機森林PM_（2.5）小時濃度預測研究[J].環境科學學報，2021，41（4）：1565-1573

[6] 張冬雯，趙琪，許云峰，劉濱.基于長短期記憶神經網絡模型的空氣質量預測[J].河北科技大學學報，2020，41（1）：67-75

[7] 李雪.基于注意力機制的PM2.5濃度預測模型[D].山東大學，2020

[8] 彭玉青，喬穎，陶慧芳，劉憲姿，劉元劍.融入注意力機制的PM2.5預測模型[J].傳感器與微系統，2020，39（7）：44-47