陳代明 王亞東 咸永財 張鳴倫 劉明 沈凱令



摘? 要: 短臨降水預測由于氣象數據體量大、種類繁多,以及大氣系統的復雜性,預測難度大。擬構建一個基于時空預測網絡的雷達回波外推模型來提高預測性能。該網絡旨在將時間特征和空間特征進行解耦,獨立提取特征??臻g模塊通過注意力機制建模時間不變信息,時間模塊通過級聯的門控機制建模時間依賴。最后,在雷達回波數據集上驗證了模型的性能。
關鍵詞: 短臨預報; 神經網絡; 時空解耦; 雷達回波
中圖分類號:TP399? ? ? ? ? 文獻標識碼:A? ? ?文章編號:1006-8228(2023)05-01-05
Radar echo extrapolation research based on spatiotemporal prediction network
Chen Daiming1, Wang Yadong1, Xian Yongcai1,? Zhang Minglun1, Liu Ming1, Shen Kailing2
(1. National Energy Shanxi Hydro electric Limited Liability Company, Hanzhong, Shanxi 723000, China;
2. Nanjing University of Information Science and Technology)
Abstract: Short-term precipitation prediction is difficult due to the large volume and variety of meteorological data, as well as the complexity of atmospheric systems. We propose to construct a radar echo extrapolation model based on a spatiotemporal prediction network to improve the prediction performance. The network aims to decouple temporal and spatial features and extract features independently. The spatial module models time-invariant information through an attention mechanism, and the temporal module models temporal dependence through a cascaded gating mechanism. The performance of the model is validated on a radar echo dataset.
Key words: short-term forecasting; neural networks; spatiotemporal decoupling; radar echoes
0 引言
短時強降雨一直是重大自然災害中需關注和研究的重點問題。我國長江中下游流域今年極端暴雨天氣頻發,由此造成的災害和影響極其嚴重。由于強降雨短臨預報能夠根據當前時刻的天氣情況提供未來多個小時內降雨強度估計值,所以預報的結果可以用于輔助相關部門和相關行業組織及時做出正確決策。
短時強降雨具有高度非線性、隨機性和復雜性,使得強降雨短臨預報成為具有挑戰性的世界難題。
新一代多普勒天氣雷達作為探測云團降水的主要工具,輸出的產品已成為天氣監測、預警強對流天氣的重要信息來源。其中,雷達回波圖像具有嚴格的時序特征(時間分辨率為6分鐘),其反射率因子能夠更直觀、高效的反映降水實況,結合其他氣象要素指標或天氣形勢,可以獲得更好的效果,對提高災害性天氣監測能力和改進天氣預報質量有重要的現實意義[1]。目前,降水預測主要就是基于多普勒雷達的歷史數據和實時雷達觀測結果,推測雷達回波未來的位置和強度,利用Z-R關系[2-4]求出未來時刻的降雨強度,然后,預報員結合自身經驗,在預測結果的基礎上給出最終短臨預報。然而,由于氣象數據體量大、種類繁多、不易處理,以及大氣系統的復雜性,在實際業務中,只有經驗豐富的預報員才能較為準確的給出定性的預報,主觀性較強。有鑒于此,本項目將針對這一目標,專注于基于天氣雷達數據的外推研究,基于石家莊市氣象局提供的數據,擬構建一個基于時空預測網絡的雷達回波外推模型。
本文在傳統卷積神經網絡的基礎上,提出了一個改進的基于時空預測網絡的回波外推模型,模型通過雙分支特征并行提取的編碼結構從歷史的雷達回波圖像中分別學習回波的空間和時間變化規律,從而實現對雷達回波的外推。在對比實驗中與之前的深度學習雷達回波外推方法進行對比,實驗表明本文提出的算法的表現優于現有的深度學習外推方法。
1 研究現狀
1.1 研究現狀
傳統短臨預報主要包括統計預報、數值模式預報和雷達外推方法。統計預報法缺乏物理基礎、預報精度不高;當前主流的數值模式歐洲ECMWF模式[5]、美國GFS模式[6]與中國天氣預報GRAPES模式[7]等雖然能進行中長期、大尺度的降雨范圍、趨勢等預報,但因其時間(1-3h)、空間(3-13km)分辨率相對于中小尺度強對流天氣系統偏低,不能準確地捕捉較短時內、中小尺度強對流發生、發展等全生命史。近年來,盡管基于雷達回波的外推方法取得了一定的效果,但仍存在一些問題[8]。目前相對成熟的雷達外推方法主要是交叉相關法和光流法。交叉相關法從近2幀圖像中推演[9],屬于剛體線性外推,無法解決形變問題,不具備從歷史數據中學習的能力,無法解決對流天氣的生消問題。光流法比交叉相關法精確一些[10],但其成功使用有較大限制,因為在雷達外推過程中光流估計步驟和雷達回波的外推步驟是分開的,因而會產生累積誤差,使得光流法參數設置十分困難。
深度學習是在這樣的背景下異軍突起,正演變成一場盛大的創新革命,成為了人工智能最炙手可熱的領域。施恩[11]等人提出了一種基于動態卷積神經網絡方法來實現雷達回波的外推,其性能要勝于傳統方法COTREC[12]和DITERC[13]。施行健[14]等人提出一種卷積長短期記憶網絡(Convolutional Long Short-Term Memory, ConvLSTM)模型,該模型可以同時學習到雷達圖像空間和時間上的特征,解決回波外推問題的同時也獲得了比實時光流法更加準確的結果。張玲玲[15]在其基礎上將卷積自編碼器與ConvLSTM進行對接,增強了外推圖像的質量。隨后施行健[16]在ConvLSTM的基礎上又進行改進,提出了軌跡門循環單元(Trajectory Gate Recurrent Unit, TrajGRU)模型。該模型相對于未改進前增加了一定的抗畸變性,但在實際業務中效果與ConvLSTM相差不大。與此同時,作者還制定了一個新的評估基準HKO-7,實現了對降水更加合理的預測。事實上,降水預測可以看作是一種回歸問題。吳昆[17]等人采用三維卷積神經網絡(3D Convolutional Neural Networks, 3DCNN)和LSTM結合的方式預測了特定區域的降水量,并在氣象站平臺上實現穩定運行。Han[18]等人進一步將3DCNN應用于三維多普勒雷達數據中進行對流風暴預測,并將預測問題轉化為分類問題。關鵬洲[19]將Inception網絡與Xgboost集成學習相結合,得到了較好的回歸效果。
1.2 存在的問題
已有的時空預測網絡,大多針對的是視頻這種時間分辨率較高的時空序列,而雷達數據間隔時間較長,加上氣象系統本身的復雜性,雷達回波序列預測更加困難,尤其是對流的產生和消失不能做到很好的預測。另外,時空預測普遍存在的后期預測模糊問題,尤其是對于雷達外推,當前的解決方案并不能很好的解決。因此,需要針對雷達回波序列的特點,設計適合的算法。
普通卷積運算對局部特征變化的圖像并不適用。普通卷積核默認是以從左到右、自上而下的方式進行計算加權,卷積核鄰域與被卷積目標位置對應關系是不變的,所以普通卷積對擁有局部不變特征的圖像較為合適。但面對具有如旋轉、放縮和生消等特性的回波圖像時,這樣的卷積操作是有明顯局限的。
2 工作內容
2.1 數據集制作
本研究使用寶雞新一代多普勒天氣雷達數據,收集了2019-2021年24次降水事件的雷達數據來制作數據集。原始雷達數據首先被質量控制,然后被插值到笛卡爾坐標,空間分辨率為水平1千米。在這項研究中,我們使用組合反射率的數據,數據集的時間分辨率為6分鐘。
將預處理過的雷達回波序列按天分類,每一天240幀圖像劃分為6個塊,每個塊是40幀。隨機選取4個塊作為訓練集,1個作為驗證集,1個作為測試集。訓練集和驗證集都是選取一個長度為30的滑動窗口,進行采樣,其中10幀作為輸入,20幀作為標簽。每個樣本張圖像存放在一個文件夾內代表一個樣本;測試集的滑動窗口長度同樣為30,其中10幀作為輸入,20幀作為標簽驗證。將所有樣本按照80%、10%、10%來劃分,分別得到訓練集、驗證集和測試集。
2.2 雷達回波外推模型
在本節中,我們定義了雷達回波外推任務以及我們設計的體系結構中每個組件的作用。令[xt∈rw×h×c]表示雷達回波序列[x]中的第[t]幀,其中w,h和c分別表示寬度,高度和通道數。雷達回波外推的目的是在給定輸入幀[x1:t]的情況下生成未來幀[xt+1]。在第t個時間步,我們的網絡觀察到直到第t幀的先前連續幀的歷史記錄,并生成下一幀的預測值。我們的模型是一個解耦時間和空間的雙分支網絡??紤]到雷達回波在時空中產生一系列變化,而以往的幀預測網絡只在統一的時空中進行建模,這會導致信息的紊亂和丟失,不能讓模型全面的學習到時空的變化,也會導致錯誤的預測。因此,我們采用了將時間和空間分開解耦的方式,獨立的學習一系列信息,并通過適當方式進行合并,來產生更準確的預測。
2.2.1 空間模塊
空間模塊處理時間不變的靜態信息??臻g模塊接收輸入模塊的輸入并進入多頭注意力機制(圖1)。
具體來說,將輸入通過兩個不同的線性變換或者非線性變換,即Key模塊和Value模塊。此外,將初始狀態為零的張量通過Query模塊來作為注意力機制中的Query部分,值得注意的是,Query在整個時間序列的過程中是隨時間傳播,不斷更新修改。注意力機制即將過去的信息與當前的輸入信息進行非均等權重的分配,讓過去與現在的相關性更大的信息能夠得到更多的關注。此后,在通道方向上進行分裂,劃分成若干的組別。
[AttentionQ,K,V=softmaxQKIdV]? ⑴
考慮到時空中會包含若干獨立的時空行為,我們設立若干個獨立模塊,其參數是可以學習的,我們通過模型的更新過程,不斷調整獨立模塊的參數,使其逼近各種時空行為。具體來說,我們通過注意力機制進行選擇,使輸入選擇與自己的時空行為更相近的獨立模塊,并在此基礎上通過ConvGRU進行更新。
[zt=σWzxt+Uzht-1rt=σWtxt+Utht-1ht=tanhWxt+Urt°ht-1ht=1-zt°ht-1+zi°ht]? ⑵
最后,我們將所有的更新數據在通道方向上進行結合并通過線性變換或非線性變換進行更新(圖2)。
2.2.2 時間模塊
時間模塊我們采用PredRNN++網絡中的循環單元CausalLSTM來捕獲時間信息。的變換來擬合現實情況下的變換趨勢。
[gtitft=tanhσσW1Xt,Hkt-1,Ckt-1]
[Ckt=ft⊙Ckt-1+it⊙gt]
[g'ti'tf't=tanhσσW2Xt,Ckt,Mk-1t] ⑶
[Mkt=f't⊙tanhW3Mk-1t+i't⊙g't]
[ot=tanhW4Xt,Ckt,Mkt]
[Hkt=ot⊙tanhW5Ckt,Mkt]
最后,將提取的時間信息送入解碼模塊,與空間模塊提取的信息合并后進行解碼。
3 實驗結果與分析
3.1 實驗環境
實驗設計代碼基于版本3.8的Python語言開發。深度學習網絡模型主要通過Pytorch開源神經網絡庫實現,鑒于模型結構與訓練數據較大,應對如此龐大的計算量僅僅使用CPU訓練耗時太久難以完成,因此我們結合GPU加速深度學習實驗的經驗,采用NVIDIA GeForceGTX3060進行GPU并行計算加速。
3.2 評估方法
在氣象業務中,對不同的降水強度往往給予的關注程度不同,因此應該根據模型在不同降水程度下的綜合表現作為評價算法好壞的重要依據。選取不同降水強度,并找到對應的反射率進而定位到對應的灰度閾值上,即可完成降水強度在回波圖像上的表征。本文中采用的預測指標包括: 臨界成功指數(CSI) 、誤報率(FAR) 以及探測概率(POD)。本文以nS、nM和nF分別表示預測圖像中成功、漏報和空報的格點數,CSI、FAR、POD計算公式如下:
[CSI = nS /( nS + nM + nF )]
[FAR = nf/(nS + nF)]? ⑷
[POD = nS /( nS + nM)]
POD和CSI指標越高代表預測的越精準;而FAR值越低自然代表模型越精準。為了能更直觀的反映外推出的圖像相似程度,將MSE也放入評價標準中。MSE通過累計所有像素差異得來,是最直接的誤差來源,值越小代表預測效果越好。
3.3 實驗結果
外推模型評估方面,選取了反射率為30和50(單位dBZ)兩個等級作為對應灰度閾值來進行二值化。這些等級分別代表了降水大雨級別和暴雨級別。實驗將本文的算法與ConvLSTM、TrajGRU、PredRNN以及PredRNN++四種主流算法進行對比,突出所提算法的準確率。在兩個閾值條件下,進行了外推時長為1小時的實驗,實驗結果如表1和表2所示。
在不同反射率強度對應的各模型統計結果中,可以看出,本文模型的POD和CSI兩個指標較另外四種方法均為最高,FAR和MSE數值均為最低,提出的模型在所有評價標準中均是最優的。30dbz情況下,相比于ConvLSTM、TrajGRU、PredRNN、PredRNN++,POD增長0.061、0.045、0.020、0.011;CSI增長0.030、0.021、0.012、0.008;FAR下降0.056、0.038、0.021、0.008。
實驗證明,將時空提取過程分為兩個獨立的分支,即時間分支和空間分支,可以更全面和精細化的提取并預測未來的變換趨勢。
3.4 可視化展示
4 結束語
本文提出了一種用于雷達外推的雙分支時間空間獨立提取器網絡。我們網絡的時間分支能夠有效建模時間依賴,對時間上的非平穩變換也能準確捕獲。空間分支建模時不變信息,對圖像的細節也能較好的擬合。最后,網絡融合空間分支和時間分支的各自的優勢,進而產生準確的預測。我們在雷達回波數據集上的實驗證明了模型的有效性。未來可以將其應用于其他時空序列預測問題上,如交通流預測等。
參考文獻(References):
[1] 王婷,劉云鵬,董晨,等.短臨降水預報方法及其應用研究綜述[J].電子世界,2019(10):11-13
[2] 朱亞宗,董德保,何越,等.CINRAD/SA雷達天饋系統關鍵參
數測量方法研究[J].物聯網技術,2019(9):25-27
[3] Zeng Zhilin, Wang Donghai, Chen Yun. An investigation of
convective features and Z-R relationships for a local extreme precipitation event[J]. Atmospheric Research,2021,250
[4] Sébastien Verrier,LaurentBarthes,Cécile Mallet.
Theoretical and empirical scale dependency of Z-R relationships: Evidence, impacts, and correction[J]. Journal of Geophysical Research. Atmospheres,2013,118(14)
[5] 陶祖鈺,趙翠光,陳敏.談談統計預報的必要性[J].氣象科技
進展,2016,6(1):6-13
[6] Huosheng Xie,Lidong Wu,Wei Xie,Qing Lin,Ming Liu,
Yongjing Lin. Improving ECMWF short-term intensive rainfall forecasts using generative adversarial nets and deep belief networks[J].Atmospheric Research,2021,249
[7] Malay Ganai,SnehlataTirkey,R.P.M. Krishna,Parthasarathi
Mukhopadhyay. The impact of modified rate of precipitation conversion parameter in the convective parameterization scheme of operational weather forecast model (GFS T1534) over Indian summer monsoon region[J]. Atmospheric Research,2021,248(prepublish)
[8] 薛紀善.新一代數值預報系統(GRAPES)的初步結果[A].
中國氣象學會.海峽兩岸氣象科學技術研討會論文匯編[C].中國氣象學會:中國氣象學會,2004:1
[9] 吳劍坤,陳明軒,秦睿,等.多種雷達回波區域跟蹤技術對比研
究[A]. 中國氣象學會.第35屆中國氣象學會年會S1災害天氣監測、分析與預報[C].中國氣象學會:中國氣象學會,2018:6
[10] 陳雷,戴建華,陶嵐.一種改進后的交叉相關法(COTREC)在
降水臨近預報中的應用[J].熱帶氣象學報,2009,25(1):117-122
[11] Shi E, Li Q, Gu D, et al, A Method of Weather Radar
Echo Extrapolation Based on Convolutional Neural Networks[C], International Conference on Multimedia Modeling, Bangkok, Thailand, Springer,2018:16-28
[12] Fletcher T D, Andrieu H, Hamel P. Understanding,
management and modelling of urban hydrology and its consequences for receiving waters: A state of the art[J].Advances in water resources,2013,51:261-279
[13] Zhang Y, Chen M, Xia W, et al, Estimation of weather
radar echo motion field and its application to precipitation nowcasting[J]. Acta Meteorol, Sin,2006,64(5):631-646
[14] Shi X J, Chen Z, Wang H, et al, Convolutional LSTM
network: A machine learning approach for precipitation nowcasting[C].Advances in neural information processing systems, Quebec, Canada, MIT Press,2015:802-810
[15] 張玲玲.基于雷達回波圖像的短期降雨預測[D]. 碩士,河北
師范大學,2018
[16] Shi X J, Gao Z, Lausen L, et al, Deep learning for
precipitation nowcasting: A benchmark and a new model[C]. Advances in Neural Information Processing Systems, Long Beach, USA, MIT Press,2017:5617-5627
[17] Wu K, Shen Y, Wang S, 3D Convolutional Neural
Network for Regional Precipitation Nowcasting[J], Journal of Image and Signal Processing,2018,7(4):200-212
[18] Han L, Sun J, Zhang W, Convolutional neural network
for convective storm nowcasting using 3-D Doppler Weather Radar Data[J]. IEEE Transactions on Geoscience and Remote Sensing,2019,58(2):1-9
[19] 關鵬洲,王夢毫,李倩.基于集成學習和深度學習的短期降
雨預測模型[C].2017年(第五屆)全國大學生統計建模大賽獲獎論文選.中國統計教育學會,2017:2-23