Attention-GRU在PM2.5濃度預測中的應用研究

摘" 要：針對PM2.5濃度預測問題，選取北京市順義監測站的每小時空氣質量數據及其對應的氣象數據作為研究樣本，提出了一種融合多頭注意力機制的GRU模型（Attention-GRU）。該模型利用門控循環單元（GRU）捕捉時間序列中與目標特征的長期依賴關系，并通過多頭注意力策略來優化多特征與PM2.5濃度的權重分布，關注影響較大的特征因素，從而提升預測的準確性。實驗結果表明，與傳統方法相比，融合多頭注意力機制的GRU模型在均方根誤差（RMSE）、平均絕對百分比誤差（MAPE）和決定系數（R2）等指標上表現優異，驗證了該方法的有效性和優越性。

關鍵詞：多頭注意力機制；PM2.5預測；門控循環單元（GRU）；空氣質量

中圖分類號：TP391 文獻標識碼：A 文章編號：2096-4706（2025）04-0074-07

Research on the Application of Attention-GRU in PM2.5 Concentration Prediction

ZHANG Lipeng， LIU Qingjie

（Institute of Disaster Prevention， Langfang" 065201， China）

Abstract： Regarding the problem of PM2.5 concentration prediction， hourly air quality data and corresponding meteorological data from the Shunyi monitoring station in Beijing are selected as research samples， and a GRU model （Attention-GRU） integrating a Multi-head Attention Mechanism is proposed. The model makes use of the Gated Recurrent Unit （GRU） to capture the long-term dependency relationship with the target feature in the time series. Moreover， it optimizes the weight distribution of multiple features and PM2.5 concentration through a multi-head attention strategy， focusing on the feature factors with greater influence， so as to improve the prediction accuracy. Experimental results indicate that compared with traditional methods， the GRU model integrating a Multi-head Attention Mechanism performs outstandingly in the indicators such as Root Mean Square Error （RMSE）， Mean Absolute Percentage Error （MAPE）， and coefficient of determination （R2）， validating the effectiveness and superiority of this proposed method.

Keywords： Multi-head Attention Mechanism; PM2.5 prediction; Gated Recurrent Unit （GRU）; air quality

0" 引" 言

城市化和工業化的快速發展導致大氣污染問題日益嚴重，特別是在北方地區，冬季采暖與不利的氣象條件疊加，常引發頻繁的污染事件，嚴重影響人民的健康和正常生產[1]。作為大氣污染監測的重要指標，PM2.5是霧霾的主要成分，其濃度在很大程度上反映了大氣環境質量。因此，準確、高效地預測PM2.5濃度對于探索大氣污染物濃度變化規律、挖掘大氣污染形成的內在原因、制定切實有效的大氣環境管理措施具有重要意義[2]。

近年來，為持續打好藍天保衛戰，國家出臺了一系列空氣質量持續改善的相關政策法規，PM2.5濃度預測方法研究也成為焦點，研究者們嘗試從不同的角度、使用不同的方法來探索更優的預測方法。最初研究者從傳統的回歸統計方法開始研究，取得了一定的效果，隨著深度學習的快速發展，一些研究者開始使用深度學習來進行探索，最常使用的例如人工神經網絡[3]、支持向量機[4]和隨機森林[5-6]等。相比于傳統的統計方法，深度學習方法展現出了其特有的優勢，能夠更好地捕捉到PM2.5和其他特征因素之間的非線性關系。彭玉青等人[7]將局部注意力機制與長短期記憶網絡（LSTM）結合，與其他基準模型對比準確性有較大的提升。王平等人[8]提出了基于季節趨勢分解的時間序列混合預測模型，充分考慮了PM2.5濃度的季節性趨勢，將季節趨勢信息進行挖掘后使用深度學習算法，為PM2.5濃度預測提供了新思路。彭豪杰等人[9]為解決傳統機器學習算法無法深層挖掘數據特征以及深度學習算法在數據較少時效果不佳的問題，提出了一種基于深度學習與隨機森林的組合模型，在預測精度上有所提高。

這些傳統方法通常將所有特征同時輸入網絡，但忽略了不同區域、季節或時間點的特征變化對預測結果的影響，導致模型難以適應復雜、多樣化的實際應用場景。這種“一刀切”的特征處理方式在面對特定時空條件下的差異時，無法有效捕捉局部特征對PM2.5濃度變化的關鍵作用。因此，這些模型往往在不同地域或不同時間段的泛化能力較差，表現出一定的局限性。

為了克服這一問題，本文提出了一種基于多頭注意力機制的門控循環單元（GRU）模型（Attention-GRU），旨在通過選擇性地關注與PM2.5濃度高度相關的特征因子，過濾掉無關或噪聲信息，從而提升模型的預測精度。多頭注意力機制的引入使得模型能夠在不同特征維度間分配不同的權重，靈活調整對重要特征的關注度。這一機制不僅增強了模型在處理復雜時序數據時的表現，還提高了對局部特征的捕捉能力，使其在應對不同地域和時間點的PM2.5濃度變化時更加穩健。

通過多頭注意力機制的加持，Attention-GRU模型能夠更好地理解各個特征因子對PM2.5濃度的不同影響。例如，某些天氣因素可能在特定區域或時段對PM2.5濃度有顯著影響，而在其他情況下則作用較小。通過動態調整注意力權重，模型能夠針對不同的時空條件自動調整預測策略，提高預測結果的準確性和泛化能力。這使得Attention-GRU模型相比于傳統方法具備更強的適應性，能夠在多變的現實環境中保持穩健的預測性能。

1" 理論基礎

1.1" 門控循環單元（GRU）

門控循環單元（Gated Recurrent Unit， GRU）是一種簡化的循環神經網絡（RNN）結構，旨在解決傳統RNN在處理長序列時的梯度消失問題。GRU通過引入兩個門控機制：重置門rt和更新門zt，有效地控制信息的流動，從而捕獲長期依賴關系。其網絡結構圖如圖1所示。

重置門和更新門的作用是通過門控狀態，對前一時間步的狀態信息ht-1與當前時間步的信息xt進行相應的運算，用以決定信息的重要程度，其中σ為Sigmoid激活函數[10]。計算式為：

（1）

（2）

候選隱狀態通過結合重置門和上一時刻的隱狀態進行計算，計算式為：

（3）

當前時間步的輸出隱狀態ht由前一時間步的狀態信息ht-1提取部分信息，并結合候選狀態保留相關內容。這個過程依靠更新門的遺忘機制與選擇性記憶，并與當前時間步的候選狀態共同決定最終輸出。計算式為：

（4）

在式（1）～（4）中，，，，，分別表示前一時間步與當前時間步各輸入層之間的連接權重矩陣； ， ， 分別表示每個GRU單元中的重置門、更新門和當前時間步隱藏層的偏置項；符號“·”表示點乘操作。

1.2" 多頭注意力機制

注意力機制的核心思想啟發于人類的視覺注意的過程。人類的視覺能夠迅速識別出最為突出和值得注意的區域。類似地，注意力機制模擬人類的視覺注意過程，通過選擇性地關注更為重要的信息，同時又忽略較為次要信息，從而達到對信息重要性進行分配的目的，使得模型更加準確[11]。

多頭注意力機制（Multi-head Attention Mechanism）[12]同樣也是模擬了人類的注意力方式。在模型訓練過程中，對各特征變量的權重分配是不相同的。與傳統的注意力策略相比，多頭注意力機制的優勢在于其增強了模型在不同位置上專注的能力。多頭注意力機制的網絡結構如圖2所示。

Multi-Head Attention機制的計算主要涉及以下3個階段：

1）V、K、Q是固定的單個值，計算Query和Key的相似度，得到對應權重系數。后對權重系數進行加權計算得到注意力得分si，計算式為：

（5）

2）使用Softmax函數對注意力得分進行數值轉換，然后再進行歸一化處理，得到權重系數，計算式為：

（6）

3）根據權重系數對第二步得到的權重系數進行加權求和，計算式為：

（7）

2" Attention-GRU神經網絡

本文針對使用GRU模型進行PM2.5濃度預測時發現的問題進行了改進。原始GRU模型對歷史序列中的數據賦予相等的權重，難以滿足精確建模的需求。為解決這一問題，我們引入了在自然語言處理領域廣泛使用的多頭注意力機制，使模型能夠根據輸入序列的重要性動態調整權重，從而更有效地關注關鍵歷史信息，降低預測誤差。

如圖3所示，該模型由五個層次組成：輸入層、網絡層、注意力層、回歸層和輸出層。

與傳統的GRU網絡相比，Attention-GRU網絡增加了一層多頭注意力機制。傳統的GRU網絡是一種循環神經網絡，通過隱藏層中的狀態捕捉序列數據中的依賴關系。注意力機制是一種增強神經網絡對輸入數據關注度和表達能力的技術，使神經網絡能夠更加關注重要部分，忽略不重要部分。

在Attention-GRU網絡中，時間序列中的每個時間步的輸入都會先送入GRU網絡單元中，然后其GRU網絡層的輸出再被作為注意力層的輸入。注意力層主要是根據GRU的輸出信息與目標特征的重要程度來分配不同的權重參數，也就是注意力值。隨后再經過回歸層，將前面輸入的結果映射成預測值，最終在輸出層輸出預測結果。

通過引入多頭注意力機制，基于注意力機制的Attention-GRU網絡能夠更好地捕捉輸入序列中的相關信息，并在對輸入進行編碼時，更加精確地區分不同時間步的重要信息。因此，基于注意力機制的Attention-GRU網絡在許多時間序列建模任務中具有卓越的性能。

3" 數據預處理

3.1" 數據來源和數據缺失值處理

本實驗使用的空氣質量數據來源于北京市生態環境監測中心，與之相對應的氣象數據來自美國國家氣候數據中心。將這兩組數據按照時間進行整合，在整合后的數據中存在一些缺失值，為避免連續缺失值對模型訓練產生不利影響，本實驗對數據集進行了預處理。對于連續缺失10個時間步長的記錄，直接予以刪除，以減少模型受到的干擾。針對少數非連續的缺失數據，使用了隨機森林算法進行填補，該方法通過其他特征之間的關系來推測缺失值，從而提升數據的完整性與準確性。對于無法通過隨機森林填補的數據項，進一步采用后置填補法，即根據前后數據進行補全，以確保數據的合理銜接。

經過上述處理，最終獲得了一個包含42 900條記錄的數據集，涵蓋了2019年1月1日至2023年12月31日期間監測站每小時的PM2.5數據。隨后，將數據集劃分為訓練集和測試集，前38 610條數據用于模型訓練，后4 290條數據用于測試，以進行后續實驗分析。

3.2" 特征相關性分析

本實驗使用的數據集特征參數共包含14個維度：PM2.5、month、PM10、SO2、NO2、O3、CO、溫度、露點溫度、海平面氣壓、風向、風速、云量、降水量。這些特征參數均為每小時采樣一次，對應的實驗特征參數如表1所示。

如圖4可知，PM2.5是有明顯的季節性趨勢的，因此本研究將月份信息也考慮到PM2.5濃度的影響因素里面。

觀察圖5的Pearson系數相關性分析可知，PM2.5與PM10和CO之間有很強的正相關關系，與NO2有中等程度的正相關關系，這表明這些污染物可能來自相似的源頭，如交通和工業排放。氣象條件（如溫度、露點、海平面氣壓、風向、風速和云量）對PM2.5的影響較小，降水在短時間內對PM2.5濃度也有一定的影響。

本實驗旨在更好地探究PM2.5的規律特性，選定PM2.5、PM10、SO2、NO2、CO以及O3六種主要空氣污染物質的濃度以及氣象因素包含氣溫、露點溫度、氣壓、風向、風速、云量、降水量和月份作為特征變量來進行下一步研究。

3.3" 數據歸一化

由于數據集中各個特征數據的單位不同，數據的衡量標準差距過大，例如本實驗所使用的數據集中CO值介于0.1～4.6 μg/m3之間，而PM2.5的值則在1～500 μg/m3之間，如果不做其他處理，直接將原始數據集作為模型輸入的話，勢必會影響模型的預測性能。因此，本實驗在模型訓練前先將原始數據集進行Min-Max歸一化操作，來保證每個特征數據項的值介于[0，1]區間內，使得訓練數據更加平滑，同時也有助于模型訓練時的收斂。Min-Max歸一化計算式為：

（8）

其中，xi為某一時刻i的實際觀測值，yi為該時刻i歸一化后的值，x為所有實際觀測值。得到歸一化的預測結果后，本實驗使用式（9）進行反歸一化，將預測結果轉換回原始的數值范圍。

（9）

其中，x*為反歸一化后得到的實際PM2.5濃度預測值，yi為該時刻i歸一化后的值。

4" 實驗與分析

4.1" 實驗設置及評價指標

本實驗使用Keras來搭建多特征PM2.5時間序列模型，構建Attention-GRU網絡模型，以更好的捕捉到與PM2.5相似程度較高的特征權重信息，從而更好地預測未來PM2.5濃度。其中模型輸入包括PM2.5、PM10、SO2、NO2、CO以及O3六種主要空氣污染物質的濃度，以及氣象因素包含氣溫、露點溫度、氣壓、風向、風速、云量、降水量和月份，這14個維度的參數依次作為特征一同輸入到網絡中。

在構建網絡模型時，采用了GRU，其中隱含層的單元數量設定為64個。在模型訓練階段，每個批次包含了30個樣本進行訓練，初始的學習率被設定為0.01，時間步長設為24。為了得到模型的最佳參數，訓練時的迭代次數是一個需要調整的關鍵參數，一般來說，迭代次數越多，模型的訓練效果會越精確。因此，在本實驗中，迭代次數被設定為300次，以期達到較優的訓練效果。

本實驗通過三個指標來評估模型的預測精度：平均絕對百分比誤差（MAPE）、決定系數（R-squared）和均方根誤差（RMSE）。其中，較小的MAPE和RMSE值表明模型誤差更小，預測精度更高；而較大的決定系數（R2）值則意味著模型的擬合效果更佳。相應的計算式為：

（10）

（11）

（12）

其中，m為測試集中的預測數量；yi為第i個樣本的預測值；為第i個樣本點的真實值。

4.2" 實驗流程

本文的實驗流程如圖6所示。實驗首先導入并加載原始數據集，確保數據的完整性和一致性。接下來，對數據集進行劃分，將其分為訓練集、驗證集和測試集，并對數據進行歸一化處理，以消除量綱差異，提升模型訓練的穩定性和效率。在數據預處理完成后，進行模型訓練。選擇多種模型進行訓練，包括基礎模型和經過改進的高級模型。在訓練過程中，監控模型在驗證集上的表現，根據設定的迭代次數和早停策略決定是否提前終止訓練，以防過擬合并節省計算資源。同時，保存表現最佳的模型權重用于未來的PM2.5濃度預測。最終，實驗對不同模型的預測結果進行誤差統計與分析，評估其預測效果。通過對比不同模型在PM2.5濃度預測中的表現，討論各模型的優缺點，從而為模型的改進和實際應用提供依據。

4.3" 實驗對比與分析

將本實驗提出的Attention-GRU模型與傳統的RNN模型、LSTM神經網絡、GRU神經網絡進行對比分析，所有模型均統一預測未來1小時的PM2.5濃度值。具體的實驗對比結果如表2所示。

通過表2實驗結果可以看出，基礎模型中GRU相較于RNN和LSTM表現較好，但仍有較大的預測誤差，其中RMSE為54.38，MAPE為405.6，R2為0.742。引入注意力機制后，模型性能顯著提升。Attention-LSTM模型的RMSE降至13.18，MAPE為58.3，R2提升至0.903，顯示出注意力機制對LSTM模型的顯著改進。對比之下，Attention-GRU模型的表現最為優異，RMSE進一步降低至10.49，MAPE減少到29.5，R2提升至0.940。這表明，MultiHeadAttention機制在GRU模型中效果尤為突出，能夠更有效地捕捉和利用時序數據中的關鍵特征。

通過對比還可以發現，表中加粗的Attention-GRU比Attention-LSTM在RMSE和MAPE的誤差更小，R2更接近于1，表明融入注意力機制的Attention-GRU模型能夠更好地擬合未來PM2.5濃度的值。Attention-GRU模型在測試集上的預測值與真實值的對比如圖7所示。從圖中可以看出，即使在一些拐點，本實驗的模型預測結果也與真實值非常接近。

為了充分驗證本實驗提出的Attention-GRU的穩健性能，將其與Attention-LSTM、GRU和LSTM模型進行了后6小時較為長期的PM2.5濃度值預測實驗，對比實驗以RMSE作為評價指標。實驗預測結果如圖8所示。

從圖8的結果可以進一步分析，Attention-GRU模型在各預測步長中的優勢尤其明顯。特別是在第3和第5步長上，Attention-GRU的RMSE值顯著低于其他模型，說明它能夠更好地捕捉數據的時序特征并有效應對復雜的PM2.5濃度波動。相比之下，盡管GRU模型在個別步長上表現較為接近，但整體誤差較大，說明其在長時間序列預測中的能力仍有局限。

Attention-LSTM和LSTM模型的表現較為相似，盡管二者在不同步長上的誤差穩定性較高，但在預測精度上不如GRU類模型。這表明LSTM在處理PM2.5濃度這種復雜多變的時序數據時，優勢并不顯著，尤其在引入Attention機制后，提升效果有限。

綜合來看，Attention機制在GRU模型中的應用顯著提升了模型的預測能力，使其在應對復雜時序數據時更加精確。而LSTM模型即使引入Attention，改進效果仍然不明顯，可能與其網絡結構和數據特征的匹配度有關。這表明在未來的模型設計中，可以重點考慮Attention機制與GRU的結合，以進一步優化大氣污染物預測的模型性能。

5" 結" 論

在本文中，我們提出了一種將多頭注意力機制融入GRU神經網絡的模型Attention-GRU，用于PM2.5濃度的預測。通過與經典時間序列模型RNN、LSTM和GRU進行對比實驗，實驗結果表明，Attention-GRU在預測精度上顯著優于其他模型，尤其是在長期預測中展現了較高的準確性和穩定性。這證明了多頭注意力機制能夠有效增強GRU對復雜時序數據的捕捉能力，并提升模型的預測性能。

盡管本研究在PM2.5預測上取得了不錯的預測效果，但仍存在一些局限性。首先，模型未考慮工廠聚集地及人為活動等外部因素對PM2.5濃度的影響。這些因素可能在實際應用中起到關鍵作用，因此未來研究將會進一步探索更多潛在的影響因素。其次，本研究主要聚焦于單一的多頭注意力機制，未來工作中可以嘗試引入混合注意力機制或結合其他深度學習方法，以提高模型對復雜環境因素下PM2.5濃度的預測能力。

參考文獻：

[1] 周珍，邢瑤瑤，林云，等.中央與地方政府PM2.5治理策略分析 [J].運籌與管理，2020，29（1）：32.

[2] 王昭，嚴小兵.長江三角洲城市群PM2.5時空演變及影響因素 [J].長江流域資源與環境，2020，29（7）：1497-1506.

[3] CORDOVA C H，PORTOCARRERO M N L，SALAS R，et al. Air quality assessment and Pollution Forecasting Using Artificial Neural Networks in Metropolitan Lima-Peru [J].Scientific Reports，2021，11（1）：24232.

[4] LIU Y，ZHU J，LI E Y，et al. Environmental Regulation， Green Technological Innovation，And Eco-Efficiency：The Case of Yangtze River Economic Belt in China [J].Technological Forecasting and Social Change，2020，155：119993.

[5] 盧鋆鏌，曾穗平，曾堅，等.基于隨機森林的高分辨率PM2.5濃度時空變化模擬——以中原城市群核心區為例 [J].中國環境科學，2023，43（7）：3299-3311.

[6] 夏曉圣，陳菁菁，王佳佳，等.基于隨機森林模型的中國PM2.5濃度影響因素分析 [J].環境科學，2020，41（5）：2057-2065.

[7] 彭玉青，喬穎，陶慧芳，等.融入注意力機制的PM2.5預測模型 [J].傳感器與微系統，2020，39（7）：44-47.

[8] 王平，許瀕月，雷卓祎，等.基于季節趨勢分解的PM_（2.5）濃度混合預測模型 [J/OL].山西大學學報：自然科學版，2024：1-10[2024-08-01].https：//doi.org/10.13451/j.sxu.ns.2024045.

[9] 彭豪杰，周楊，胡校飛，等.基于深度學習與隨機森林的PM2.5濃度預測模型 [J].遙感學報，2023，27（2）：430-440，2023，27（2）.

[10] 劉義卿，陳新房，趙晗清.基于ResNet+GRU組合模型的負電荷預測方法研究 [J].電腦與電信，2024，1（5）：89.

[11] 任歡，王旭光.注意力機制綜述 [J].計算機應用，2021，41（z1）：1-6.

[12] LI J，WANG X，TU Z，et al. On the Diversity of Multi-Head Attention [J].Neurocomputing，2021，454：14-24.

作者簡介：張黎鵬（2000—），男，漢族，河南洛陽人，碩士在讀，研究方向：時間序列分析；通信作者：劉慶杰（1978—），男，漢族，河南洛陽人，教授，碩士，研究方向：大數據處理。

收稿日期：2024-08-21