基于UI-LSTM模型的短時降水預測研究

包 順，秦華旺，戴躍偉，陳浩然，尹傳豪

(1.南京信息工程大學 電子與信息工程學院，江蘇 南京 210044；2.南京信息工程大學 自動化學院，江蘇 南京 210044)

0 引言

短臨預報是指預測未來較短時間(0～2 h)的降雨強度。提前預測降雨對人們生活和日常出行具有重大的意義。特別是對極端惡劣天氣的預警,可以提前做出預防措施,防止造成重大的生命和財產損失。由于短期的強降雨對農業、工業和旅游業造成了重大的影響,所以對降水的短時預測是非常有必要的,利用歷史數據,運用深度學習算法能夠學習大氣復雜的物理規律,對未來短時內降水精準預測。

傳統的雷達回波外推主要采用光流法[1-2],利用相鄰2幀之間的相關性,從而計算出相鄰幀之間的運動信息,進行外推。光流法的缺點是同一目標在不同幀運動時,亮度不會發生變化。近年來主要采取深度學習方法進行外推,可以分為2類:基于卷積神經網絡(Convolutional Newral Network,CNN)和循環神經網絡(Recurrent Neural Network,RNN)。

首先,介紹RNN用于降水預測。降水預測被視為時空預測問題,時空預測模型是指給定一系列歷史幀生成未來幀。最早,由Shi等[3]提出了ConvLSTM模型,通過將全連接的LSTM模型擴展到輸入到輸入和狀態到狀態的卷積結構,能夠更好地學習時空相關性,成功地將深度學習引入降水預測,為降水預測奠定了基礎;ConvGRU模型是ConvLSTM模型的變體,在ConvLSTM的細胞結構上進行優化,減少了參數,加快了訓練時間。同樣Shi等[4]提出了一種基準和新模式,對流模型中卷積的位置是不變的,為了學習位置變化趨勢,提出了TrajGRU模型。Wang等[5]提出了PredRNN模型,用于時空預測,在ConvLSTM的基礎上引入了時空記憶流,可以減少底層到網絡頂層的信息損失,來捕獲長期記憶性;同樣在PredRNN的基礎上,提出了PredRNN++網絡[6],為了解決深度網絡傳播過程中的梯度消失問題,加入了Gradient Highway Unit可以緩解梯度消失。文獻[7]為了能夠學習短期框架依賴和長期高級關系的良好表示,提出了一個新的模型E3D-LSTM,采用三維卷積進行編碼和解碼,并將其集成到潛在的RNN中,以獲得運動感知和短期特征;由于以往大多數用于時空預測的RNN并沒有有效地利用差分信號,而且它們相對簡單的狀態轉換函數阻止了它們學習太復雜的時空變化。為此,Wang等[8]提出了內存中的內存(MIM)網絡和相應的循環塊,能夠模擬時空動力學中的非平穩和近似平穩的特性。

Lin等[9]為了提取具有全局和局部依賴性的空間特征,在ConvLSTM中引入了自注意機制。Luo等[10]在PredRNN的基礎上引入交互框架,來增強短期依賴性,可以應用于任何ConvRNN模型,同時加入雙重注意力機制,結合時間信息和通道信息,用于恢復長期、記憶性和更好的時空相關性。對于CNN,文獻[11-12]采用基于Unet框架進行短時降水預測,提出了SmaAt-Unet網絡來解決降水預測問題,引入了注意力機制與深度可分離卷積,但缺乏長期依賴性,難以學習長期的雷達回波變化。

盡管基于傳統的RNN模型和CNN模型在降水預測任務中取得了不錯的效果,但存在以下問題:CNN模型缺乏長期依賴性,不適合進行長期預測;RNN模型主要以ConvLSTM為代表以及多種變體,ConvLSTM模型由于先經過編碼器部分,等編碼器部分完全結束,再經過解碼器部分預測輸出,編碼器和解碼器不同尺度的雷達回波圖之間沒有進行特征融合,對于低頻和高頻信息沒有進行有效結合。此外,大多數模型采用單一卷積核提取特征,導致只能進行局部特征的提取,在捕獲高維和長期依賴性存在不足[13-14]。因此,本文提出了UI-LSTM模型。首先,采用了U形結構[15-16],可以進行多尺度特征提取,同時中間經過跳過連接,將淺層信息和深層信息拼接,再通過卷積進行特征提取。其次,對于UI-LSTM細胞內部的輸入到輸入和狀態到狀態采用Inception結構[17]和分組卷積[18],用不同尺寸的卷積核來提取特征,比單一的卷積效果更好。不僅提高了降水預測的準確度,而且具有一定的泛化能力。為了證明本方法的有效性,在公開數據集CIKM AnalytiCup 2017上進行充分實驗,證明了UI-LSTM模型性能的優越性。

1 降水預測問題描述

降水預測問題可以描述為時空預測[19-20]問題,通過歷史幀預測未來幀。通過模型訓練,使得預測的未來幀接近觀測的歷史幀,從而實現對未來短時間的降水預測。降水不僅要考慮降水空間分布,同時還要考慮降水的時間連續性[21],給模型的預測增加了難度。如果觀察到某一t時刻雷達回波圖大小為M×N,通道數為P,從空間維度上看,P可以作為測量的觀測值,可以用X∈RP×M×N張量表示。從時間維度上看,通過輸入一段時間的連續幀來預測未來一段時間內的降水變化。假設輸入為t個時刻,輸入的連續序列表示為{X1,X2,…,Xt},通過輸入歷史幀去預測未來幀,預測未來一段時間的K幀圖像表示為{Xt+1,Xt+2,…,Xt+k},通過模型訓練使得預測的序列接近真實的雷達回波序列{Xt+1,Xt+2,…,Xt+k}。公式如下:

(1)

本文使用雷達回波序列進行降水預測,輸入為連續5幀雷達回波圖,預測未來10幀雷達回波圖。

2 模型構建

2.1 UI-LSTM模型網絡架構

UI-LSTM網絡架構由5層UI-LSTM細胞結構組成,如圖1所示。對原有模型進行改進,ConvLSTM采取的是編碼器解碼器結構,編碼器層與層之間輸出經過了下采樣,解碼器層與層之間輸出經過了上采樣,而PredRNN層與層之間輸出的隱藏狀態是直接連接的,UI-LSTM網絡采用了U形級聯方式,經過每層UI-LSTM細胞結構輸出并不是直接作為下一層UI-LSTM細胞結構的輸入,而是經過下采樣和卷積進行大小和通道數的調整,作為到下一層UI-LSTM細胞結構的輸入。為了不因為增加了一層UI-LSTM細胞而使得網絡參數量增多,因此,選擇了隱藏狀態通道數為16、32、64、32、16,效果最佳。

圖1 UI-LSTM網絡架構Fig.1 UI-LSTM network architecture

2.2 UI-LSTM細胞結構

圖2 UI-LSTM細胞結構Fig.2 Cell structure of UI-LSTM

下面給出UI-LSTM細胞結構具體:

(2)

(3)

(4)

(5)

(6)

(7)

式中:*表示2D卷積操作,°表示Hadamard乘積運算,σ表示Sigmoid激活函數,tanh表示雙曲正切激活函數。

2.3 Inception結構

Inception是經典模型GoogleNet中最核心的子網絡模型,Inception[24]就是將多個卷積或池化操作放在一起組裝成一個網絡模塊,使用單層卷積時,提取出來的特征往往很單一。本文采取Inception結構變體,將卷積換成分組卷積,可以減少參數量的同時防止過擬合,由于ConvLSTM采用固定的卷積核來學習對輸入和隱藏狀態的參數矩陣,再經過激活函數,從而得到輸入門、遺忘門、更新門和輸出門。卷積可以提取的特征往往有限,不能對輸入進行充分的特征提取,通過采用Inception使用不同大小卷積核對輸入和隱藏狀態進行提取,采用分組卷積可以減少參數量,進一步提取局部信息和全局信息。Inception結構如圖3所示。

圖3 UI-LSTM細胞中的Inception結構Fig.3 Inception structure of UI-LSTM cells

3 實驗

3.1 實驗數據集

雷達數據集使用的是阿里天池CIKM AnalytiCup 2017公開數據集,訓練集包括10 000個序列,測試集包括4 000個序列,驗證集包括 2 000個序列。每個序列的時間不同,驗證集是從訓練集中隨機選擇2 000個序列,每個序列包括 15幀雷達回波圖,其中時間間隔為6 min,使用的高度層為3.5 km。在每個序列中使用前5幀作為輸入,后10幀用作預測,即用前0.5 h觀測數據去預測未來1 h的狀態。每張圖大小為101 pixel×101 pixel,每個像素值為[0,255]。每張雷達回波圖覆蓋范圍為深圳地區101 km×101 km。

3.2 實驗參數設置

所有實驗均在Pytorch框架下實現,并且在單張NVIDIA Tesla V100(顯存為32 GB)上運行,使用Adam優化器進行訓練,學習率設置為0.000 1,損失函數使用的是平均絕對誤差(MAE)和MSE組合。在雷達回波數據集上使用的最大迭代次數設置為80 000,batch size設置為8。輸入Xt維度為(101,101,1),經過padding操作周圍補0維度為(128,128,1)輸入到模型中,經過5層UI-LSTM細胞單元輸出,輸出的隱藏層維度為(128,128,16),經過卷積核為1×1卷積輸出(128,128,1)為最終的輸出。

3.3 評價標準

選用關鍵成功指數(HSS)、臨界成功指數(CSI)、MAE和結構相似性(SSIM)用來評估所有實驗模型的預測效果,其中HSS、CSI是降雨預測常用指標。MAE是用來計算真實的圖片和預測出的圖片之間的像素集差異,定義為L1損失[25],表示預測圖像的每個像素和該圖像的地面真實值之間的差異度量。SSIM用于衡量真實圖片和預測圖片的結構差異。為了便于對降雨預測準確性評價,首先將預測的雷達回波圖和真實的雷達回波圖通過公式轉換成雷達反射率,如果該點的值大于設置的閥值,值為1,反之為0。然后計算出TN真陰性,實際為0,預測也為0;TP真陽性,實際為1,預測也為1;FP假陽性,實際為0,預測為1;FN假陰性,實際為1,預測為0。選取5、20、40 dBz分別作為閥值來計算HSS和CSI作為評價結果,可以體現模型對不同的降雨等級預測效果,選取40 dBz作為閥值可以預測對暴雨的預測準確率,具體公式如下:

(8)

(9)

(10)

(11)

3.4 實驗結果

為了充分驗證所提出的UI-LSTM模型的優越性,本文采用HSS、CSI、MAE和SSIM作為評價指標,對模型進行評估,并對比了ConvLSTM、ConvGRU、TrajGRU、PredRNN和PredRNN++這5種模型,來充分驗證本模型的性能,所有實驗都客觀公正。實驗結果如表1所示。

表1 各個模型在測試集評估指標結果對比Tab.1 Comparison of evaluation results of each model on the test set

由表1可知,所提出的UI-LSTM模型在MAE指標上取得了最優效果,相比于其他5種模型,比最好的PredRNN++模型MAE指標小了0.14,表明UI-LSTM模型預測的圖片和真實圖片之間的差異更小。同時UI-LSTM模型在CSI指標上,在閥值為5、20、40 dBz時都要高于其他5種模型,尤其在閥值為40 dBz效果更加顯著,比ConvLSTM模型的指標CSI高了0.049 5,接近50%。表明UI-LSTM預測中雨、暴雨更加精準。UI-LSTM模型在HSS指標上,在閥值為20、40 dBz時,比其他5種模型效果更好,但在閥值為5 dBz時,比PredRNN低0.001。在SSIM指標上UI-LSTM在所有模型中排第二,比PredRNN++低0.001。UI-LSTM模型相對于其他模型:第一,結合U形結構,能夠學習多尺度特征,增強了空間依賴性;第二,采用Inception結構,有利于長期依賴性。總體上,UI-LSTM在指標上要優越于其他5種模型。

為了直觀地看出各個模型好壞,從測試集中隨機選取了一個序列,通過將像素值轉成雷達回波值,對各個值區間定義色彩,并與其他5種模型預測結果一起進行可視化。如圖4所示,第一行前5張圖片為輸入,后10張圖片為地面真實輸出,其余各行分別是各個模型的預測結果,最后一行是UI-LSTM模型預測結果。從圖中可以看出,ConvLSTM、ConvGRU和TrajGRU模型預測結果和真實圖片差距很大,尤其是預測的后5張圖片和真實的圖片相比對于高波值預測效果差,且預測的圖片喪失了很多細節。PredRNN模型預測結果對于后5張圖片雖然對高回波值有所改善,但是與真實圖片結構上還是有一定差距。PredRNN++模型預測結果與PredRNN相比結構上有所提高,但是對于高回波值預測效果差。UI-LSTM模型預測結果與ConvLSTM、ConvGRU、TrajGRU、PredRNN、PredRNN++模型預測結果相比,與真實圖片較為接近,且對于高回波值預測效果較好。

圖4 各個模型在CIKM AnalytiCup 2017數據集中預測結果Fig.4 Predicted results of each model on CIKM AnalytiCup 2017 dataset

各個模型預測出10幀圖片,每個圖片代表預測的一個時刻的雷達回波圖,通過對每個時刻的HSS、CSI加起來求平均,得到每個時刻的HSS、CSI平均值,同時選取閥值為40 dBz繪制折線圖如圖5所示。

(a)HSS=40

從圖5可以看出,UI-LSTM模型在每個時刻預測圖片的HSS、CSI指標要遠高于ConvLSTM、ConvGRU、TrajGRU、PredRNN和PredRNN++模型,在第24、30 min預測的HSS、CSI指標要和PredRNN較為接近。總體而言,UI-LSTM模型在HSS和CSI指標上要優于ConvLSTM、ConvGRU、TrajGRU、PredRNN和PredRNN++模型,預測效果更好。

3.5 消融實驗

為了進一步說明加入Inception的有效性,本文做了消融實驗。原來是在ConvLSTM細胞下,將ConvLSTM結構做改進,使用了5層結構,同時層與層之間通過U形結構連接,實驗結果證明部分指標效果的確提高了,但是SSIM效果還是不理想。因此,在輸入到輸入和狀態到狀態間的卷積,用Inception替換,用不同尺度卷積核來學習隱藏狀態和輸入的特征,實驗結果表明加入Inception結構,MAE降低0.09,SSIM提高了0.005 3,同時HSS、CSI指標整體上有所提升。表明引入Inception結構確實能夠提升模型性能。實驗結果如表2所示。

表2 消融實驗結果比較Tab.2 Comparison of ablation experiment results

結果表明,在U-LSTM加入Inception后,MAE和SSIM指標均有提升,HSS和CSI指標在5、40 dBz時,UI-LSTM比U-LSTM預測效果更好,但在20 dBz時預測效果較差。總體上,加入Inception能夠使得預測圖片更加真實,且對中雨和暴雨預測更加精準。對于模型引入Inception結構和未引入Inception進行可視化效果對比,如圖6所示,表明在引入Inception預測的雷達回波圖結構上與真實圖片更為接近,且對于 40 dBz時預測效果更加好,預測的雷達回波圖各個像素點的雷達回波值與真實圖片差距較小。

圖6 消融實驗在CIKM AnalytiCup 2017數據集中預測結果Fig.6 Predicted results of ablation experiments on CIKM AnalytiCup 2017 dataset

40 dBz時,對于U-LSTM和UI-LSTM模型繪制折線圖,如圖7所示,橫坐標為預測的每個時刻分別對應預測10幀,縱坐標對應HSS和CSI。從圖7中可以看出,UI-LSTM預測的每幀的平均值HSS和CSI均要比U-LSTM更高,且效果顯著。

(a)HSS=40

(b)CSI=40

4 結束語

本文提出了一種新的UI-LSTM模型用于降水預測,使用U形結構能夠提取多尺度信息,且對淺層信息和深層進行拼接,通過卷積在輸入下一層網絡中,增強了網絡的性能。同時為了有效提取輸入雷達回波圖的特征,引入了Inception結構替代卷積來學習輸入到輸入、狀態到狀態的參數矩陣,提升了降水預測的精準度,增強了長期依賴性。在對于多種模型對比實驗中,提出的UI-LSTM預測性均比其他模型性能更優越,對氣象預測具有一定的價值。但考慮到設計模型的參數量大和預測的后幾幀都損失了很多細節,且預測的雷達回波圖與真實圖片存在一定差距。未來的工作中需要提高網絡的長期依賴性,同時要減少模型訓練時間和參數量,模型需要朝著輕量化方向發展,希望通過不斷優化模型,提高降水預測的準確性。