朱宗玖,趙藝偉
(安徽理工大學 電氣與信息工程學院,安徽 淮南 232001)
伴隨著工業的發展及城市化進程地不斷加快,中國城市空氣污染問題日趨嚴重。高濃度的道路揚塵等在人口密集地區可增加慢性阻塞性肺疾病、肺癌等疾病引起的過早死亡人數。探索高效率、高準確率的城市空氣質量預測模型對推進城市空氣污染防治意義重大[1]。空氣質量主要受CO、SO2、NO2、O3、PM2.5和PM10這6種因素影響,將其與空氣質量指數(Air Quality Index,AQI)結合可以直觀地反應出空氣質量。在預測模型中,長短期記憶神經網絡的使用較為廣泛。
因此,文獻[2]采用LSTM模型對Covid-19陽性病例數進行預測;文獻[3]采用CNN進行特征提取,再將特征數據以時序方式作為LSTM的輸入數據,建立CNN-LSTM模型對高速鐵路在地震時的響應進行預測;文獻[4]通過量子粒子群算法對CNN-LSTM模型的關鍵參數進行尋優,建立QPSC-CNN-LSTM模型,對水質進行預測;文獻[5]和文獻[6]都是通過麻雀搜索算法(SSA)對LSTM的超參數進行尋優,建立SSA-LSTM模型來進行預測。雖然各模型都能實現預測,但精度不高,不利于尋找最優解。綜上,提出麻雀搜索算法優化卷積神經網絡-長短期記憶網絡預測模型。利用麻雀算法來優化參數,建立了基于SSA-CNN-LSTM的空氣質量指數預測模型。最后,進行仿真實驗驗證,證實了SSA-CNN-LSTM模型的優越性。
麻雀搜索算法(Sparrow Search Algorithm,SSA)于2020年提出,是通過麻雀的覓食和反哺食行為發現的。該算法較為新穎,并且具有尋優能力強,收斂速度快的優點[7]。
算法流程如下:
(1)初始化種群、迭代次數、捕食者和加入者的比例。
(2)計算適應度值,并排序。
(3)利用式
(1)
更新捕食者位置。ST為安全值,R2為預警值,當R2 (4)利用式 (2) 更新加入者位置。此處n為加入者數量并不是種群數量。 (5)利用式 (3) 更新警戒者位置。 (6)計算適應度值并更新麻雀位置。此處i為遍歷意識到危險的麻雀數量,不是整個種群。 (7)是否滿足停止條件,滿足則退出,輸出結果,否則,返回第二步。 卷積神經網絡,簡稱CNN,可以非常有效地從一維序列數據,如單變量時間序列數據中自動提取和學習特征,其結構圖如圖1所示,主要分為如下幾個層: 圖1 CNN結構圖 (1)輸入層(Input layer):該層要做的處理主要是對數據進行預處理。 (2)卷積層(Convolutional layer):通過卷積核的過濾提取出數據中局部的特征。 (3)池化層(Pooling layer):池化即下采樣,目的是為了減少特征圖。池化層夾在連續的卷積層中間,用于壓縮數據和參數的量,減小過度擬合。 (4)全連接層(Fully-Connected layer):把所有局部特征結合變成全局特征。經過卷積層和池化層降維過的數據,全連接層才能“跑得動”,不然數據量太大,計算成本高,效率低下。 (5)輸出層就是對處理后的數據進行輸出[8]。 卷積神經網絡的實質就是一種輸入到輸出的映射[9]。CNN相較于傳統神經網絡具有參數共享、局部連接兩大優勢,使網絡需要訓練的參數大大減少,卻不會降低準確率[10]。但其在應用中生物學基礎支持不足,沒有記憶功能;全連接模式過于冗余而低效。CNN的最大優點就在于特征檢測,但是其特征理解不足。 綜上,眾多研究者們考慮到將CNN模型與LSTM模型結合使用,這種混合模型稱為CNN-LSTM[11]。此模型中卷積神經網絡對輸入的子序列進行解釋,然后將這些子序列一起作為序列提供給LSTM模型進行解釋[12]。 Long Short-Term Memory網絡一般被稱為LSTM,是由循環神經網絡(RNN)改進后所得到的,主要用來解決反復使用權重所帶來的梯度爆炸和梯度消失問題[13]。與原始的循環神經網絡的隱層相比,LSTM增加了一個細胞狀態(cell state),同時,LSTM“門”的數量更多結構也更復雜。它擁有輸入門、遺忘門和輸出門,以及與隱藏狀態形狀相同的記憶細胞[14-15],具體結構如圖2所示。LSTM的核心是細胞狀態,以及其中的各種門結構[16-17]。 圖2 LSTM結構圖 如圖2,細胞狀態Ct-1,隱層狀態ht-1,t時刻輸入向量Xt為LSTM在t時刻的輸入,細胞狀態Ct和隱層狀態ht為兩個輸出,其中,ht還作為t時刻的輸出。LSTM的進行步驟大致為:細胞狀態Ct-1的信息一直在上面那條線上傳遞,t時刻的隱層狀態ht與輸入xt會對Ct進行適當修改,然后傳到下一時刻。此外,Ct-1會參與t時刻輸出ht的計算。最后,隱層狀態ht-1的信息,通過LSTM的“門”結構,對細胞狀態進行修改,并且參與輸出的計算。 選用基于麻雀算法優化卷積神經網絡-長短期記憶網絡的模型來進行回歸預測。通過SSA算法對CNN-LSTM模型的參數進行優化,主要是為了避免CNN-LSTM模型依據經驗選取參數會使精度降低這一問題,采用的組合模型結構如圖3所示。 圖3 SSA-CNN-LSTM模型結構圖 實驗數據來自中國環境監測總站的全國城市空氣質量實時發布平臺發布的成都市公開數據,包括PM2.5、PM10、SO2、NO2、CO、O3和AQI指數等指標。在此基礎上采用成都市2017年1月—2022年3月間每天的數據作為數據集,按照7∶3來劃分訓練集和測試集在MATLAB2022b軟件上進行仿真實驗。 基于SSA-CNN-LSTM模型對空氣質量指數預測仿真實驗流程如圖4所示。對數據進行預處理后分類,模型構建結合麻雀算法優化后的參數,將訓練集、測試集放在優化后的模型中進行模擬,若誤差較小,則輸出空氣質量指數預測、計算各類指標結果。反之,重新對參數進行優化。 圖4 仿真實驗流程圖 使用平均絕對誤差MAE(mean absolute error)、決定系數R2(coefficient of determination)、和均方誤差MSE(mean square error)4種評估指標來更好的對模型的預測效果進行評估。其公式如下: (4) (5) (6) 將處理后的數據輸入模型以7∶3來劃分訓練集和測試集,對SSA-CNN-LSTM模型進行訓練,如圖5所示。可以看出:不論訓練集還是測試集,曲線波動走向近乎一致,空氣質量指數的預測值和真實值都非常貼近。說明此模型對空氣質量指數的預測誤差小且精確度較高。 圖5 SSA-CNN-LSTM模型預測效果圖 為驗證對于空氣質量指數的預測,SSA-CNN-LSTM模型是否相對具有優勢。將提出的模型和CNN-LSTM模型、WOA-LSTM模型進行對照實驗,對模型進行訓練時,隱藏層中的激活函數都使用Tanh函數。CNN-LSTM模型、WOA-LSTM模型對空氣質量指數預測的結果如圖6、7所示。表明模型的訓練精度均低于SSA-CNN-LSTM模型。 圖6 CNN-LSTM模型預測效果圖 圖7 WOA-LSTM模型預測效果圖 如表1和圖8所示,分別將CNN-LSTM、WOA-LSTM和SSA-CNN-LSTM模型在測試集上的預測評價指標進行了記錄。 表1 模型評價指標 圖8 評價指標對比圖 從圖表中得出,SSA-CNN-LSTM模型的MSE、MAE值分別為4.994 9、1.320 7。較CNN-LSTM模型降低了3.706 1、0.518 1;較WOA-LSTM模型降低了10.212 3、1.320 5;此外,R2值也為最高,相對于CNN-LSTM模型提高了0.31%,相對于WOA-LSTM模型提高了0.84%。綜上可得,SSA-CNN-LSTM模型通過麻雀搜索算法幫助CNN-LSTM模型尋找最優參數,最終得到了更為精準的AQI預測效果。 以成都市數據為例進行仿真實驗,得到了以下結論。 (1)空氣質量指數進行預測時,長短期記憶網絡的參數需要依據經驗而得,消耗大量的時間,且精度也不太理想。 (2)麻雀搜索算法不僅減小了調參對精度的影響,而且時效性也得到了改善。同時,更加注意到LSTM所遺漏的信息,進而最大限度地保護結果的精確性。 (3)提出的SSA-CNN-LSTM模型與其他兩種模型進行比較。結果顯示,此模型的評價指標值皆為最佳。綜上,此模型對空氣質量指數可以提供更為精確的預測。

1.2 卷積神經網絡

1.3 長短期記憶網絡

2 SSA-CNN-LSTM模型

3 實驗與結果分析
3.1 數據來源
3.2 實驗流程

3.3 評價指標

3.4 模型性能比較





4 結語