基于注意力機制與LSTM-CCN的月降水量預測

收稿日期：2023-12-13；接受日期：2024-04-01

基金項目：重慶市技術創新與應用發展專項重點項目（CSTB2022TIAD-KPX0132）

作者簡介：周" 祥，男，副教授，研究方向為水利工程、水文與水資源。E-mail：30364899@qq.com

Editorial Office of Yangtze River. This is an open access article under the CC BY-NC-ND 4.0 license.

文章編號：1001-4179（2024） 06-0129-07

引用本文：周祥，張世明，蘇林鵬，等.

基于注意力機制與LSTM-CCN的月降水量預測

［J］.人民長江，2024，55（6）：129-135.

摘要：針對現有月降水量預測方法預測準確性不高的問題，提出一種基于注意力機制與LSTM-CCN的月降水量預測方法。首先，利用長短時記憶神經網絡（long short-term memory neural network，LSTM）提取氣象數據在時間維度的特征分布，從時間相關性方面捕獲相鄰時間段或長距離氣象數據段中的統計分布；其次，利用因果卷積神經網絡（causal convolutional network，CCN）將氣象數據映射到空間維度，深層次地從空間維度捕獲氣象數據在空間中的特征統計分布；再次，以并聯的方式將時間和空間特征作為交叉注意力網絡的輸入，構造融合的時空特征；最后，以長短時記憶神經網絡構造解碼器，并將融合的時空特征作為解碼器的輸入，預測的月降水量作為輸出。選取河南省新鄉市2001～2017年數據集進行測試，結果表明：所提出方法的均方根誤差僅為13.08 mm，相比主流方法具有更低的預測誤差。研究成果可為提高氣象預測的準確性和實用性提供參考。

關" 鍵" 詞：月降水量預測； 多層注意力機制； 因果卷積神經網絡； 長短時記憶神經網絡

中圖法分類號： TV124

文獻標志碼： A

DOI：10.16232/j.cnki.1001-4179.2024.06.018

0" 引 言

在全球范圍內，氣候變化引發了極端天氣事件的增加，其中降水模式的變化對社會和環境造成了嚴重影響。月降水量作為氣象現象的關鍵指標之一，對于農業、水資源管理、城市規劃等領域的決策具有重要意義［1-2］。在這個背景下，準確預測月降水量不僅有助于優化資源分配，提高農作物產量，還能在一定程度上預防和應對災害事件。

傳統降水量預測中，人們在面臨降水量突變或異常變化時，常常依賴經驗和統計方法來做出應對決策［3-5］。然而，隨著科技的進步和人工智能技術的快速發展，基于數據驅動的預測方法日益受到關注。通過分析歷史氣象數據、海洋溫度、大氣壓力等多種因素，結合先進的機器學習和深度學習技術，研究人員能夠建立更為精確的月降水量預測模型［6-8］。這些模型能夠捕捉復雜的時空關系，從而提高預測的準確性和穩定性。如張麗婷等［9］提出了一種基于深度學習方法的降水量預測模型，通過建立季節性回歸統計方法和長短時記憶神經網絡模型，在揚州市區59 a的歷史數據集中挖掘降水量的統計特征分布，通過比較兩種模型的預測精度，建立回歸特征模型。韓瑩等［10］提出了一種改進長短時記憶神經網絡的月降水量預測模型，通過在湖北省5個縣級基站歷史數據集上進行訓練與測試，驗證了利用平行學習結構和寬帶學習系統改進的長短時記憶神經網絡可以有效提高月降水量的精度。程桂芳等［11］以鄭州市近30 a的歷史數據為訓練數據集，通過構造差分自回歸模型、長短時記憶神經網絡模型和時間序列可分解模型的多個模型組合模型來提高月降水量的預測精度，通過預測2022年4～12月鄭州市當地月降水量來驗證所設計模型的可靠性。王文川等［12］提出了小波變換和長短時記憶神經網絡的組合模型，通過小波分解對時間序列數據進行預處理，得到多個低頻和高頻序列數據，并基于分解后的數據進行神經網絡模型的訓練與參數的優化。

現有月降水量模型大多依賴長短時記憶神經網絡提取時間序列的特征，并且取得了令人印象深刻的預測性能；然而，很少有研究將時間序列和空間維度特征進行關聯來挖掘不同維度的特征語義信息。為此，本文利用長短時記憶神經網絡LSTM和因果卷積神經網絡CCN分別提取時間序列和空間維度的特征統計分布，并利用交叉注意力融合網絡建立時序和空間維度特征的上下文語義關聯，通過挖掘不同維度之間的特征來彌補單一維度特征的不足。此外，本文研究的月降水量預測模型不僅是為了滿足氣象學的研究需求，更是為了應對日益頻發的極端降水事件。通過提前預測月降水量的變化，可以采取預防性措施，如加強防洪工程、調整農業生產計劃、做好城市排水系統的維護等，從而最大程度地減輕災害的影響。

1" 月降水量預測方法

傳統月降水量預測方法主要借助長短時記憶神經網絡、門控循環神經網絡和循環神經網絡等時間序列神經網絡提取歷史降水量在時序維度的特征［13-15］。很少有研究從多個維度挖掘特征在深度空間中的語義關聯。為此，本文為探究月降水量歷史數據在時間和空間維度的特征分布，提出一種基于LSTM-CCN并行網絡的月降水量預測方法，分別借助長短時記憶神經網絡和因果卷積神經網絡提取歷史月降水量數據在時間和空間維度的特征，其次利用設計的交叉注意力網絡挖掘不同維度特征間的關聯，以此增強特征表達的魯棒性和可靠性。

1.1" 時間序列特征提取

氣象數據中的降水量分析在氣候研究、水資源管理等領域具有重要意義。然而，由于降水量數據的復雜性，傳統的分析方法難以充分捕捉數據中的季節性、周期性和長期依賴性等特征［16］。受長短時記憶神經網絡在時間序列數據中良好表現的啟發，本文利用長短時記憶神經網絡提取月降水量數據集在時間維度的特征，旨在有效地揭示降水量變化的潛在規律。

在使用LSTM網絡進行特征提取前，首先通過數據歸一化、序列切分等步驟將月降水量時間序列數據片段作為一個時間步，將連續的若干月組成一個輸入序列，以及下個月的降水量作為輸出標簽。假設某一時間段的月降水量歷史序列數據為X={x1，x2，…，xn}，然后利用長短時記憶神經網絡LSTM的輸入門、遺忘門和輸出門，提取月降水量歷史數據在時序維度上的特征表示，長短時記憶神經網絡內部結構如圖1所示。其中，輸入門決定當前時間步細胞狀態的更新情況，遺忘門旨在決定當前時間步細胞狀態中信息的遺忘情況，具體計算如公式（1）和公式（2）所示。

it=σWi·［ht－1，xt］+bi（1）

ft=σWf·［ht－1，xt］+bf（2）

式中：σ表示激活函數；it表示輸入門；ft表示遺忘門；ht－1表示上一時間步隱藏層狀態；xt表示時間步t時刻的降水量時序片段；Wi、Wf、bi和bf分別表示輸入門和遺忘門的權重矩陣和偏置，是一組可學習的參數。

將多個記憶細胞的輸出進行拼接，控制當前時間步t時刻長短時記憶神經網絡的輸出，同時將上述t時刻不同記憶單元的輸出作為輸出門單元的輸入，并與更新細胞單元進行點乘運算，得到最終的輸出，即降水量歷史數據在時序維度的特征表達，具體計算如公式（3）和公式（4）所示。

ot=σWo·［ht-1，xt］+bo（3）

Ft=ot·tanh（ft·Ct-1+it·C～t）（4）

式中：ot和Ft分別表示輸出門和最終的時序特征表

達；Wo和bo是輸出門的權重矩陣和偏置；Ct-1和C～t分別表示更新門和候選細胞狀態。

1.2 ""空間序列特征提取

近年來，因果卷積神經網絡在文本情感分析、語音識別、金融大數據預測和交通流預測等時間序列領域取得了顯著的成效，這歸因于卷積網絡強大的空間特征捕獲能力［17-18］。為此，本文借助因果卷積神經網絡來提取月降水量在空間維度的特征，采用的因果卷積神經網絡結構如圖2所示。因果卷積神經網絡是卷積神經網絡在處理時間序列數據時的變體模型，能夠捕獲時間序列數據中的因果關系，從而更準確地提取月降水量在空間中的特征表達，非常適用于本文研究的月降水量預測時序任務。

在時間序列數據分析中，過去短時間或長距離信息對當前時間步和未來時間段的預測至關重要［19］。然而，傳統的卷積操作并不考慮時間維度的因果性，可能會將未來的信息引入當前的預測中，導致預測性能不佳。因果卷積網絡采用了一種特殊的卷積結構，以確保卷積操作只使用過去的信息，遵循時間的因果性［20-22］。在卷積核的滑動過程中，不允許從未來的時間步中獲取信息，只能從當前時間步及之前的時間步獲取信息，這主要是通過限制卷積核的索引范圍來實現的，保證卷積操作始終是因果的。不同時間段的因果關聯關系可表示為公式（5）。

Fc=f（N－1i=0wi·xt－1+b）（5）

式中：Fc表示第t個時間步的空間特征表達；xt－1表示第t-1時刻的降水量時間序列數據；wi和b表示權重矩陣和偏置，是一組可學習參數；N表示卷積核的大小；f（·）表示激活函數。值得注意的是，由于xt－1僅包含過去的信息，這種卷積操作能夠捕獲到時間序列數據的因果關系。而對于t－1＜0的情況，意味著卷積核的滑動超出了序列的時間范圍，這也是因果卷積的關鍵之處，有效防止了未來信息的泄漏。

1.3" 交叉注意力融合

現有主流的月降水量預測模型大多僅采用單一的時間序列特征，轉少研究融合時間序列和空間序列特征。本文利用長短時記憶神經網絡提取了月降水量歷史數據在時間維度上的特征，同時利用因果卷積神經網絡提取了歷史數據在空間維度的特征，并將兩維特征集并行輸入至交叉注意力融合網絡，挖掘跨維度間特征的關聯性。所設計的交叉注意力融合網絡如圖3所示。

圖3中，對于給定的時間維度特征集Ft和空間維度特征集Fc，首先利用維度轉換函數將跨維度間的特征統一成相同大小的特征表示；然后，分別計算Ft和Fc的相關性矩陣，并作為Ft的權重。具體計算如公式（6）所示。

Ft|c=softmax（LN（Ft，Fc）·FTcd）LN（Ft，Fc）（6）

式中：LN（Ft，Fc）表示線性轉換函數，旨在將Ft轉換為與Fc等維度的特征圖；d表示特征維度的大小。融合后的特征既包含空間維度信息又包含時序維度信息，同時捕獲了跨維度間特征的相關性［23］，有效增強了特征表達的魯棒性。

1.4" 降水量預測

月降水量是連續性事件預測，因此，本文采用上述介紹的長短時記憶神經網絡構造解碼器，并以融合特征Ft|c為解碼器的輸入，t+1時刻的降水量為輸出。解碼器網絡的結構如圖4所示。

圖4中，t時刻隱藏單元為H，輸入為Ft|c，上一時間步的隱藏狀態為ht－1，t時刻的預測輸出可表示為公式（7）～（10）。

rt=σ（WirFt|ct+bir+Whrh（t－1）+bhr）（7）

zt=σ（WizFt|ct+biz+Whzh（t－1）+bhz）（8）

nt=tanh（WinFt|ct+bin+rt（Whnh（t－1）+bhn））（9）

ht=（1－zt）nt+zth（t－1）（10）

式中：Wir、Whr、Wiz、Whz、Win和Whn是可學習的參數，分別表示輸入門、重置門、隱藏層和輸出門之間的權重；b表示對應的偏置；nt表示輸出門的激活值；ht為t時刻的隱藏層狀態；Ft|ct為t時刻的輸入融合特征；h（t－1）為t-1時刻的隱藏層狀態；rt和zt分別表示重置門和更新門。

將一段時間內的輸出拼接，得到T時間段內的降水量預測結果，即{ht－1，ht，…，ht+T}。最后，利用交叉熵損失函數驗證預測值與真實降水量之間的誤差，根據誤差值反向迭代優化網絡模型。

2" 試 驗

2.1" 試驗數據

月降水量具有明顯的季節效應，為了更好地分析不同時間段內的降水量統計特征，采用多年時間段的降水量歷史數據作為模型的訓練集。選擇河南省新鄉市1960～2000年的月降水量數據集進行訓練，具體包括8個氣象觀測站40 a的觀測數據。此外，為了驗證模型預測的性能，在2001～2017年數據集上進行測試。

2.2" 試驗環境與評價指標

試驗環境采用Windows 10操作系統 13代i5-13500HX，顯卡為RTX4060，顯存大小為16 GB。開發語言為Python，編輯器采用Pycharm。模型訓練階段的初始學習率為0.001，batch大小為8，優化器采用 Adam。模型訓練和測試階段的誤差曲線如圖5所示，超參數設定的依據如圖6所示。可以看出，當迭代次數為180時，曲線趨于平穩，表明模型收斂。

為了驗證模型的預測性能，采用當前主流的均方根誤差（root mean squared error，RMSE）來驗證預測的精準度，采用R2－score來判斷整體性能，其值在0～1之間，值越大表示模型的預測性能越好，具體計算如公式（11）～（12）所示。

RMSE=1mmi=1（pi－pEuclid ExtrazB@i）2（11）

R2－score=1－mi=1（pi－pEuclid ExtrazB@i）mi=1（pi－pi）（12）

式中：pi表示預測值，pEuclid ExtrazB@i表示真實值，m表示數據集中的樣本總數，pi表示平均降水量。

2.3" 消融試驗

為了探究空間和時序特征在模型整體預測性能方面的角色，設計了表1所列的消融試驗。此處，選擇單一的時間序列模型為基準模型。

可以看出，僅利用單一時序特征預測的降水量和真實降水量相差18.37 mm。僅利用空間維度的特征預測月降水量與真實降水量相差24.15 mm。然而，結合時序特征和空間維度特征，模型預測的月降水量與真實降水量相差13.08 mm，相比單一使用時序和空間維度特征預測降水量，誤差下降了5.29 mm和11.07 mm。此外，時序特征和空間維度特征融合模型的R2－score達到了0.89，相比單一時序特征，提升了0.21。上述結果也驗證了傳統利用時序維度的特征預測降水量的有效性，這也是當前主流模型采用時間序列網絡的主要原因；其次，利用因果卷積提取的空間特征，有助于彌補時序特征在空間維度特征表達的不足。總之，同時利用上述時序特征和空間維度特征，可以有效降低預測月降水量和真實降水量之間的誤差。

2.4" 試驗結果與分析

為了驗證所設計模型的有效性，在相同的數據集和評價指標下進行對比試驗。此處，選擇時間序列任務中經典的模型，包括長短時記憶神經網絡（LSTM）、循環神經網絡（RNN）、門控循環神經網絡（GRU）、卷積神經網絡（CNN）、因果卷積神經網絡（CCN）以及組合模型LSTM-CNN、RNN-CNN、GRU-CNN。具體預測結果如表2所列。

通過分析表2中結果，可以發現：① 在單一時序神經網絡中，LSTM網絡表現最佳，可以實現18.37 mm的預測誤差；② 雖然結合空間維度特征可以有效緩解預測誤差大的問題，但卷積網絡僅從空間提取特征，不保留時序關聯；③ 相比RNN、GRU等時序神經網絡，融合LSTM網絡和因果卷積的混合模型可以實現最低的預測誤差，這歸因于因果卷積既保留空間維度特征又保留了空間位置信息；④ 本文設計的長短時記憶神經網絡模型和因果卷積的融合模型（LSTM-CCN）相比其他模型中表現最好的GRU-CCN，預測誤差降低了0.43 mm。

此外，為了直觀展示所設計模型在不同時間節點上的預測結果，給出了河南省新鄉市1 a的預測結果與真實結果的誤差曲線，并與當前主流的降水量預測模型LSTM-CNN、RNN-CNN、GRU-CNN模型進行對比，誤差曲線如圖7所示。可以看出，雖然所設計模型在單一節點上有所波動，但整體曲線較平穩，這表明本文模型具有較好的穩定性，符合實際應用。此外，為了探究測試集20 a的降水量預測與真實降水量值間的誤差曲線變化，以年為時間節點，繪制了20 a內不同模型的預測變化曲線（圖8），可以看出，所提出模型仍然保持一定的競爭力。

3" 結 論

本文探討了基于時間維度和空間維度特征對神經網絡預測月降水量性能的影響，主要借助長短時記憶神經網絡提取月降水量歷史數據在時序維度的特征，利用因果卷積神經網絡提取歷史數據在空間維度的特征，并以并行的方式構造交叉注意力融合網絡，挖掘時序特征和空間特征在深度空間中的關聯信息，旨在強化特征表達的魯棒性和可靠性。通過在河南省新鄉市近20 a的數據集上進行測試可知，所提出方法的均方根誤差僅為13.08 mm，優于當前主流的降水量預測方法，驗證了所設計模型的優越性。

所設計的模型在預防災害、優化資源配置和保障社會穩定方面具有重要的實際應用價值，該方法的實現有望為未來的氣象預測和災害預防提供更為準確和可靠的支持，以適應不斷變化的氣候環境。

參考文獻：［1］" KUMAR D，SINGH A，SAMUI P，et al.Forecasting monthly precipitation using sequential modelling［J］.Hydrological Sciences Journal，2019，64（6）：690-700.

［2］" ESTVEZ J，BELLIDO-JIMNEZ J A，LIU X，et al.Monthly precipitation forecasts using wavelet neural networks models in a semiarid environment［J］.Water，2020，12（7）：1909.

［3］" 郭詩君，尹泰來，吳冬雨，等.1951～2019年丹江口庫區降水量時空變化研究［J］.人民長江，2020，51（增2）：57-62.

［4］" TAO L，HE X，LI J，et al.A multiscale long short-term memory model with attention mechanism for improving monthly precipitation prediction［J］.Journal of Hydrology，2021，602：126815.

［5］" 賀玉琪，王棟，王遠坤.BRR-SVR月降水量預測優化模型［J］.水利學報，2019，50（12）：1529-1537.

［6］" PAKDAMAN M，FALAMARZI Y，BABAEIAN I，et al.Post-processing of the North American multi-model ensemble for monthly forecast of precipitation based on neural network models［J］.Theoretical and Applied Climatology，2020，141（1/2）：405-417.

［7］" 丁光旭，郭家力，湯正陽，等.多種降水再分析數據在長江流域的適用性對比［J］.人民長江，2022，53（9）：72-79.

［8］" BANADKOOKI F B，EHTERAM M，AHMED A N，et al.Precipitation forecasting using multilayer neural network and support vector machine optimization based on flow regime algorithm taking into account uncertainties of soft computing models［J］.Sustainability，2019，11（23）：6681.

［9］" 張麗婷，李鵬飛，龐文靜，等.基于季節性自回歸積分滑動平均與深度學習長短期記憶神經網絡的降水量預測［J］.科學技術與工程，2022，22（9）：3453-3463.

［10］韓瑩，談昊然，王樂豪，等.改進的LSTM模型在月降水量預測中的應用［J］.計算機仿真，2023，40（5）：535-540.

［11］程桂芳，王雪敏.基于組合模型的月降水量預測研究［J］.水電能源科學，2023，41（4）：13-16.

［12］王文川，楊靜欣，臧紅飛.基于WD-COA-LSTM模型的月降水量預測［J］.水資源與水工程學報，2022，33（4）：8-13，23.

［13］NOURANI V，MOLAJOU A，UZELALTINBULAT S，et al.Emotional artificial neural networks （EANNs） for multi-step ahead prediction of monthly precipitation；case study：northern Cyprus［J］.Theoretical and Applied Climatology，2019，138（3/4）：1419-1434.

［14］TANG T，JIAO D，CHEN T，et al.Medium-and long-term precipitation forecasting method based on data augmentation and machine learning algorithms［J］.IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2022，15：1000-1011.

［15］BOUAZIZ M，MEDHIOUB E，CSAPLOVISC E.A machine learning model for drought tracking and forecasting using remote precipitation data and a standardized precipitation index from arid regions［J］.Journal of Arid Environments，2021，189：104478.

［16］ZHANG T，LIANG Z，LI W，et al.Statistical post-processing of precipitation forecasts using circulation classifications and spatiotemporal deep neural networks［J］.Hydrology and Earth System Sciences，2023，27（10）：1945-1960.

［17］SHANG Z，CHEN Y，CHEN Y，et al.Decomposition-based wind speed forecasting model using causal convolutional network and attention mechanism［J］.Expert Systems with Applications，2023，223：119878.

［18］SHENG Y，WANG H，YAN J，et al.Short-term wind power prediction method based on deep clustering-improved Temporal Convolutional Network［J］.Energy Reports，2023，9：2118-2129.

［19］WANG Y，SONG X，YE R，et al.A short-term load forecasting method based on attention mechanism of time convolution network［C］∥2022 IEEE 6th Advanced Information Technology，Electronic and Automation Control Conference （IAEAC）.IEEE，2022：891-896.

［20］LIMOUNI T，YAAGOUBI R，BOUZIANE K，et al.Accurate one step and multistep forecasting of very short-term PV power using LSTM-TCN model［J］.Renewable Energy，2023，205：1010-1024.

［21］JAVED U，IJAZ K，JAWAD M，et al.A novel short receptive field based dilated causal convolutional network integrated with Bidirectional LSTM for short-term load forecasting［J］.Expert Systems with Applications，2022，205：117689.

［22］陳帥宇，趙龑驤，蔣磊.基于ARIMA-CNN-LSTM模型的黃河開封段水位預測研究［J］.水利水電快報，2023，44（1）：15-22.

［23］LI J，YUAN X.Daily streamflow forecasts based on cascade long short-term memory （LSTM） model over the Yangtze River Basin［J］.Water，2023，15（6）：1019.

（編輯：謝玲嫻）

Monthly precipitation prediction based on attention mechanism and LSTM-CCN

ZHOU Xiang1，2，ZHANG Shiming3，SU Linpeng4，ZHANG Shouping1，2

（1.Chongqing Water Resources and Electric Engineering College，Chongqing 402160，China；

2.Reservoir Safety and Water Environment Big Data Chongqing University Engineering Center，Chongqing 402160，China；

3.Upper Changjiang Rive Bureau of Hydrological and Water Resources Survey，Hydrology Bureau of Changjiang Water Resources Commission，Chongqing 400020，China;

4.Chongqing Yuxi Water Conservancy and Electric Power Survey and Design Institute Co.，Ltd.，Chongqing 402160，China）

Abstract：

To address the issue of low accuracy in existing monthly precipitation prediction methods，an attention mechanism and LSTM-CCN for the monthly precipitation prediction method were proposed.Firstly，the long short-term memory neural network （LSTM） was used to extract the temporal feature distribution of meteorological data，capturing the statistical distribution in adjacent or long-distance meteorological data segments from a temporal correlation perspective.Secondly，the causal convolutional network （CCN） projected meteorological data to the spatial dimension，deeply capturing the statistical distribution of spatial features of meteorological data.Thirdly，the time and space features were input into the cross-attention network in parallel，constructing a fused spatiotemporal feature.Finally，a decoder constructed with the long short-term memory neural network took the fused spatiotemporal feature as input，and the predicted monthly precipitation served as the output.The test was carried out on the data set from Xinxiang City，Henan Province from 2001 to 2017.The results showed that the proposed method′s root mean square error was only 13.08 mm，demonstrating lower prediction errors compared to mainstream methods.The introduction of this work contributes to enhancing the accuracy and practicality of meteorological predictions.

Key words：

monthly precipitation prediction; multi-layer attention mechanism; causal convolutional neural network; long short-term memory neural network