999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

基于多要素的短臨降水預報及可解釋性分析

2024-11-04 00:00:00陳龍彭靜胡雪飛黃占鰲李孝杰
計算機應用研究 2024年9期

摘 要:當前的短臨降水預報方法大多是基于雷達回波外推,沒有充分考慮其他氣象要素對降水生消演變的密切影響,從而限制了其預報的準確性。為解決此問題,基于風云四號B星數據,制作了包含四種背景氣象要素、以定量降水估計為預報對象的短時臨近降水預報數據集,提出了短臨降水預報模型——MFPNM。以TransUNet為骨干,設計了并行雙編碼器分別提取預報對象和背景氣象數據的高維時空特征;構造了內容編碼模塊將背景數據的空間特征作為預報對象高維特征向量的可學習位置編碼;以已有的Transformer模塊構建序列數據高維特征間的全局關系,以實現更準確的序列預測。MFPNM在風云-4B數據集和開源數據集上達到了最優水平,采用的指標包括臨界成功指數、虛警率、均方根誤差和結構相似性等。同時通過SHAP(shapley additive explanations)技術對模型進行了可解釋性分析。實驗結果及可解釋性分析表明,該模型具有更好的預報準確度及可靠性。

關鍵詞:短時臨近降水預報;氣象衛星;數據融合

中圖分類號:TP391 文獻標志碼:A 文章編號:1001-3695(2024)09-029-2773-08

doi:10.19734/j.issn.1001-3695.2024.01.0030

Precipitation nowcasting based on multiple factors and explainability analysis

Chen Long,Peng Jing,Hu Xuefei,Huang Zhan’ao,Li Xiaojie

(School of Computer Science,Chengdu University of Information Technology,Chengdu 610225,China)

Abstract:The current methods for short-time precipitation nowcasting are based on radar echo extrapolation model,without fully considering the close influence of other meteorological factors on the evolution of precipitation generation and cancellation,thus limiting the accuracy of the forecasts.To address the above issues,this paper produced a short-time precipitation nowcasting dataset,and proposed the MFPNM(multiple factors precipitation nowcasting model)Based on data from the Fengyun-4B satellite,the dataset toke quantitative precipitation estimation as the forecast object and contained four background meteorological factors.Taking the TransUNet as the backbone of the model,this molel proposed the parallel dual encoder to extract the high-dimensional spatio-temporal features of the forecast object and the background meteorological data,respectively.Besides,it constructed the content coding module to encode the spatial features of the background data as the learnable positional embedding of the high-dimensional feature vectors of the forecast object.It used a Transformer module to construct the global relationship between the high-dimensional features of the sequence data for better sequence prediction.The metrics used in this paper included critical success index,false alarm rate,root-mean-square error,and structural similarity,etc.The MPFNM was evaluated on two datasets(the proposed dataset and an open-source dataset)and outperformed the baseline models,and it was analyzed for explainability through the SHAP technique.The experimental results and explainability analysis show that the model has better forecasting accuracy and reliability.

Key words:short-time precipitation nowcasting;meteorological satellite;data fusion

0 引言

短時臨近降水預報指提供某一地理區域未來0~6 h(0~2 h為重點)時段的高時空分辨率降水預報。準確的預報有助于提前規劃和危機管理,如生成緊急降雨警報,為機場及地面交通管理、戶外活動和體育比賽提供天氣指導。短臨降水預報對時空分辨率和預報實時性的要求遠高于傳統預報任務,該領域具有相當高的挑戰性,已成為氣象學界的研究熱點。

傳統氣象預報任務依賴于數值天氣預報技術(numerical weather prediction,NWP)[1,2]。在大量氣象觀測資料的基礎上,NWP利用流體力學和熱力學定律來描述和模擬大氣、海洋和陸地表面的基本物理過程,從而提供可靠的預報。迄今為止,其仍然是中長期天氣預報的主流方法。但是因為其模擬過程極其復雜且耗時,難以滿足短時臨近預報的實時性要求。降水預報基于對降水的準確觀測,而觀測方式包括雨量計、天氣雷達和衛星等。當前主流臨近降水預測算法是雷達云圖外推預測算法,主要包括:互相關法[3]、質心跟蹤法[4]和光流法[5,6]等。天氣雷達利用水汽對電磁波的散射作用探測大氣中的降水空間分布、強度以及演變過程。這些信息通過時序的雷達回波圖表示,雷達回波圖具有非常高的時空分辨率,能夠顯示降水結構的演變。不同于NWP,作為一種基于數據圖像驅動技術,雷達云圖外推算法主要是根據當前時刻雷達云圖預測下一時刻雷達云圖,如假定降水分布不變,計算其質心的運動軌跡[4]。而云圖與降水的關系依賴于經驗公式:Z-R關系式[7],這類方法對氣象資料的利用效率低、外推時效性有限且泛化能力弱。從輸入輸出的形式上看,雷達云圖外推的核心是圖到圖(image2image)的預測,可以視為深度學習中時空序列預測任務(spatio-temporal seq2seq)的子任務。

Shi等人[8]創新性地提出了ConvLSTM模型,將卷積與長短期記憶網絡(long short-term memory,LSTM)相結合以便同時對雷達云圖序列時空關系建模,其中,LSTM捕獲云圖序列隨時間的演變,二維卷積則學習數據的空間分布。在ConvLSTM的基礎上,Shi等人[9]進一步提出了TrajGRU,該模型可以主動學習降水的結構與位置變化。這些工作開創了時空序列網絡在臨近降水預報方面的應用,后續涌現出一系列時空模型,如ST-LSTM[10]、Causal LSTM[11]、E3D-LSTM[12]和IDA-LSTM[13]等。Wang等人[10]提出了時空LSTM(spatio-temporal LSTM,ST-LSTM)單元,該單元允許沿著狀態轉換路徑在堆疊的循環層上更新記憶狀態,以便同時提取并記憶空間和時間表示。Wang等人[11]提出15aafaf7088ccbaccaf8e33f8e409b30339102903e98d13b134327b895f03b19了PredRNN++,它利用一種名為Causal LSTM的新循環結構(具有級聯雙記憶)使PredRNN在時間上遞歸的更深。后來,Wang等人[12]又提出了E3D-LSTM,其結合了ST-LSTM、3D卷積和記憶注意力模塊,構建了一個記憶增強的循環網絡以捕獲長期視頻動態。此外,U-Net結構也被用于臨近預報。Samsi等人[14]實現了基于U-Net的數據并行CNN模型,以實現更快的迭代。文獻[15]將預測視為圖像到圖像的轉換問題,利用U-Net卷積神經網絡并采用三個二元分類來指示降雨率的強度。在不確定性預測方面,Bihlo等人[16]使用SVG-LP模型[17]進行降水臨近預報。吳卓升等人[18]提出了基于動態概率的卷積神經網絡,引入動態概率計算層對不同的雷達回波輸入序列計算對應的概率卷積核,使模型能夠在測試階段對輸入做動態調整。

上述方法有力地促進了短臨降水預報的研究,但是均基于雷達回波圖[19]進行預測,而雷達的應用常受到地面雜波、地形及成本等因素限制;其次,雷達回波強度并不直接反映降水量,而是依賴于經驗公式:Z-R公式,存在二次誤差且泛化能力弱。另一方面,溫度、壓力和濕度等氣象要素在任何時間和地點都有意義,而降雨的生消具有局部性強、突發性強、在時空分布上相對稀疏和變化快等特點,這使得針對降水的臨近預報比其他氣象要素更具挑戰性。已有研究表明,在短臨降水預報中引入其他氣象要素作為背景信息,可以提升預報的準確性,降水并非孤立事件,其與天氣系統中其他要素密切相關[20~24]。Kaparakis等人[20]提出了weather fusion U-Net(WF-UNet)模型,其利用core 3D-UNet模型,將降水和風速變量作為學習過程的輸入,并分析其對降水目標任務的影響,證明了相比于僅使用降水雷達數據,引入背景變量可以獲得更優的預測結果。Küük等人[21]提出了一個基于Transformer的模型,其使用提前兩小時的衛星數據來預報地面雷達圖像序列。該模型在反映惡劣天氣條件的數據集上進行訓練,可以預測不同天氣現象下發生的雷達場,并對快速增長/衰減的場和復雜的場結構表現出魯棒性。Mark等人[25]提出了多要素的風暴事件圖像數據集,并將其應用于短臨降水預報和雷達云圖反演。這些工作都擴展了氣象數據(來自雷達或氣象衛星載荷)在短臨降水預報中的應用,并獲得了更好的預報效果,本文是這些工作延續。

本文提出了短臨降水預報模型——MFPNM,該模型引入多種氣象要素作為短臨降水預測過程的背景信息,以獲得豐富的學習特征、實現更為準確的預報。該模型包括兩個編碼器(序列編碼器和背景編碼器)、內容編碼模塊(content embedding)和Transformer注意力模塊、序列解碼器。模型的輸入包括降水變量和背景變量,其中降水變量是序列數據,而背景變量指初始時刻其他的氣象要素,如溫度、壓力、紅外通道云圖等。以TransUNet為骨干,本文在原始的編碼器與解碼器中引入3D卷積,同時處理降水變量的時序信息和空間特征,即序列編碼器與序列解碼器;同時,設計了并行的背景編碼器提取背景變量的空間特征;另外,本文提出了內容編碼模塊以替代原TransUNet中的位置編碼,將背景變量特征編碼到降水變量特征中作為其可學習的位置編碼。MFPNM模型沿用了TransUNet中的Transformer模塊,通過注意力機制學習序列數據間的相關性,以建模序列元素間的長程依賴關系。

為了有效地訓練和驗證提出的模型,本文利用氣象衛星數據制作了以多種物理要素為背景變量的高分辨率短臨降水預報數據集,以推動短臨降水預報研究。通過在制作的和開源的數據集上進行實驗,驗證了所提模型優異的預報性能。另外,使用SHAP技術對模型進行了可解釋性分析,驗證了所提模型的可靠性和多要素融合預報的有效性。

1 算法

氣象衛星的觀測范圍廣且不受自然條件限制,但存在分辨率較低、獲取的降水數據特征不足以及時空分布相對稀疏等問題?;贑NN-RNN的預測模型在下采樣中丟失過多信息,其在特征稀疏的衛星降水數據上表現相對較差。ViT(vision Transformer)網絡是將圖像分割成塊并轉換為序列,通過嵌入層得到序列中每個成員的向量表示,利用Transformer的注意力機制捕捉圖像中的全局關系;受ViT的啟發,本文將其擴展到時空序列預測任務。常規的ViT模型無法有效地處理尺寸較大的降水序列數據,但是通過結合U-Net網絡與ViT模型得到的TransUNet模型可以較好地處理該問題。

本文提出了一個基于TransUNet的降水預報模型——MFPNM,其網絡結構如圖1所示,主要包括兩個編碼器(序列編碼器和背景編碼器)、一個序列解碼器、內容編碼模塊(content embedding)和Transformer注意力模塊。其中,序列編碼器接受過去連續T個時刻定量降水估計(quantitative precipitation estimation,QPE)數據作為輸入Sin,背景編碼器將序列初始時刻對應的背景變量(CTH、CTT、CTP和CLE,具體情況如表1所示)作為輸入Gin,以預測未來T個時刻的QPE數據Sout。序列編碼器和背景編碼器分別獲取Sin和Gin的高維向量表示,Gin為目標變量Sin提供豐富的氣象背景信息如溫度、壓力等,這些氣象背景信息將通過內容編碼模塊融合到降水數據的高維特征中作為其位置編碼。卷積操作具有局部性,基于卷積的U-Net對遠程依賴關系的建模能力有限,因此在U-Net引入Transformer模塊,通過多頭注意力機制計算不同特征向量之間的相關性,學習序列數據間的全局關系。最終,序列解碼器重構出序列預測結果。同時,在序列編碼器與解碼器之間使用了短連接來解決下采樣過程信息丟失的問題。

1.1 雙編碼器時空特征提取

本文設計了雙編碼器分別提取降水序列變量Sin和背景變量Gin的高維特征并映射為向量表示。Transformer的輸入是具有位置嵌入(positional embedding,PE)的一組向量,其通過注意力機制計算向量之間的相關性并構建向量間的全局關系;本文使用了序列編碼器學習得到這些向量。但作為預測目標的降水數據在空間分布上具有稀疏性,經過序列編碼器下采樣后空間信息損失較重;引入背景編碼器處理與降水具有強相關性的背景變量如溫度、壓力等,可以為模型處理序列變量提供豐富的氣象背景信息和學習特征,因為降水具有區域性和時效性,而溫度、壓力等氣象要素在任何時刻、任何地點都有意義且都與降水密切相關。

如圖1右側所示,構建編碼器與解碼器的基本塊包括Ch block、Res block、down block和up block。Ch block用作編碼器和解碼器的輸入輸出層,用于將數據在通道維度進行快速升維或降維;其內部采用雙層卷積的殘差結構,同時對輸入使用1×1卷積改變通道數。Res block是網絡中提取特征的殘差塊,與down block與up block構成了編碼器與解碼器的主干;down block與up block分別負責進行下采樣與上采樣,up block會接受來自前一層和對應短連接的特征圖作為輸入。根據文獻[12,20],三維卷積網絡(3D-CNN)和循環遞歸網絡(RNN)都具有時空建模功能,本文在序列編碼器和序列解碼器中使用3D卷積和3D轉置卷積來保留序列的時間和空間特征,即對應的基本塊中均使用3D卷積。而背景編碼器只處理初始時刻背景變量的空間特征,其使用的Ch block、Res block和down block中均使用2D卷積。

序列編碼器的輸入Sin是一個時空序列變量,包括通道、長、寬和時間四個維度,3D卷積核會同時在空間(長和寬)和時間維度提取QPE序列的時空信息,通道數對應于卷積核數,不同的卷積核會提取不同類型的特征。將初始時刻的云頂高度(cloud top height,CTH)、云頂溫度(cloud top temperature,CTT)、云頂壓力(cloud top pressure,CTP)和云反射率(cloud emissivity,CLE)四種背景變量在通道維度疊加,形成三維變量作為背景編碼器的輸入Gin,即這些數據表征了同一時間和空間下不同的氣象要素。在兩個編碼器最后一層通過Ch block將特征的通道數統一擴展到N,以確保兩個編碼器都得到N個向量。通過訓練,序列編碼器可以學習到輸入序列的高維特征,背景編碼器學習初始時刻其他氣象要素的高維特征。這些高維特征分別被映射為N×d1的二維特征矩陣Svectors和N×d2的二維特征矩陣Gpe(N個長度為d1和d2的向量,每個向量表示整個序列或對應背景變量的某種高維特征),這些氣象背景信息將通過內容編碼模塊以位置編碼的形式,融合到降水數據的高維特征。

1.2 內容編碼模塊

為了給Transformer模塊提供更合理的位置嵌入,本文模型通過背景編碼器對背景變量進行特征提取,得到的向量作為可學習的位置編碼。ViT模型通常將圖像切分為一系列補丁,再展平為多個一維向量,因此可以直接對向量進行位置編碼。為了處理高時空分辨率的氣象數據,本文使用了序列編碼器對序列數據進行降維,得到高維特征表示,但是這些特征間的位置信息與原始序列間的位置信息并不對應。為了合理地表達特征間的位置信息,如1.1節所述,本文引入了背景編碼器提取初始時刻背景變量的空間特征作為序列數據高維特征的位置編碼。

如圖2所示,傳統的位置編碼服從標準正態分布;而本文提出的內容編碼中使用背景編碼器的輸出Gpe作為位置嵌入。通過訓練與學習,背景編碼器擬合數據集中背景變量Gin的分布,因此可以將背景編碼器每次前向傳播視為一次采樣過程。Sin與Gin具有強相關性,Gpe為Svectors提供的位置嵌入因Svectors不同而不同,也即位置嵌入是基于輸入向量的內容而不同的,而非一個服從正態分布的隨機參數。在內容編碼模塊中,使用兩個linear線性映射層將兩組向量的長度統一到d維;最后,將二者加和得到編碼后的向量。通過內容編碼后,向量將傳入Transformer模塊計算向量間的相關性,通過注意力機制捕獲序列時空特征間的長程關系。對于任意降水序列,初始時刻作為背景變量的氣象條件不同,則對應的背景向量也不同,內容編碼模塊可以提供針對降水序列內容的位置嵌入。

1.3 模型可解釋性分析方法

深度學習模型在降水預測中存在黑盒問題,其具有大量的計算層和參數以及復雜的模型結構,這是模型學習能力的基礎,但使其內部工作機制變得難以理解。在應用深度學習模型進行降水預測時,需要權衡模型的性能和可解釋性,以確保模型的預測結果在實際應用中是可靠的??山忉屝苑椒砂凑沼柧氈芷趧澐郑柧毲捌诘目山忉屝灾財祿治?,如數據可視化、統計分析數據分布(MMD)等;訓練中應用可解釋性方法即創建可解釋的模型,如Li等人[26]提出了一種基于大氣散射模型的物理感知清晰特征預測模塊,該模塊可以從場景照明和深度中推斷出透光率的變化。訓練后的可解釋性即解釋黑盒模型的決策依據,典型方式是敏感性分析(sensitivity analysis)和基于梯度的方法(gradient-based method)。敏感性分析考察模型對特定數據實例的敏感程度及數據對模型決策邊界的影響;基于梯度的方法考察輸入的哪一部分更影響決策,對于圖像任務來說,輸入對決策的貢獻度體現為顯著圖,顯示圖片中每個像素的重要性。

本文使用基于梯度的SHAP(Shapley additive explanations)技術[27],分析引入的背景變量是否為序列變量的預測提供了合理的氣象背景信息。分析流程如圖3所示,利用背景編碼器提取到背景變量的特征矩陣(N×d2),這些特征向量是數據在模型中的抽象表示。采用SHAP技術計算特征矩陣中每個特征向量的Shapley value,與原特征向量相加即得到對應的重要性向量,重要性向量表征了對應特征向量對輸出結果的貢獻度。為了便于通過可視化判斷,后續重要性向量進行上采樣輸出得到顯著圖,可直觀判斷模型從輸入數據中學習到的特征向量的有效性。

SHAP基于博弈論中的Shapley值概念,為每個特征分配一個Shapley值,表示該特征對于模型輸出的貢獻。這種方法提供了一種全局解釋,可以揭示每個特征對于整體預測的影響。對于本文的N個d維特征向量,SHAP通過以下步驟計算Shapley值:

a)采樣特征子集。對于給定的N個特征向量,生成一系列子集,每個子集包含若干個特征向量。

b)計算邊際貢獻。對于每個特征子集,計算該子集中每個特征的邊際貢獻,即在考慮其他特征的情況下,每個特征對于模型輸出的貢獻。

c)計算平均邊際貢獻。對于每個特征,計算它在所有可能子集中的平均邊際貢獻,得到Shapley值。

d)分配Shapley值。將計算得到的Shapley值分配給每個特征,表示該特征對于整體預測的平均貢獻。

2 數據集

本文在自制的FY-4B數據集和開源的SEVIR數據集上進行了實驗,數據集制作流程介紹如下。

2.1 FY-4B衛星數據概要

我國氣象衛星系統發展逐步成熟,其可以穩定持久提供豐富的氣象數據且不受地形、地面雜波和惡劣天氣等因素影響。本文所使用數據來自我國第二代靜止軌道氣象衛星風云四號B星(簡稱FY-4B,http://www.nsmc.org.cn/nsmc/cn/satellite/FY4B.html),其于2022年6月1日轉入業務試運行。FY-4B提供了豐富的定量監測產品,包括云和大氣產品、地表類產品、天氣產品、輻射產品等等。本文使用的定量降水估計(quantitative precipitation estimation,QPE)是采用衛星紅外資料生成的衛星估計降水,反映了高時空分辨率的同區域降水動態變化信息,全面監測降水系統的強度、面積、趨勢走向等特征演變。降水是大氣中水的相變,降水的形成大致包括:a)水汽的水平輸送;b)水汽垂直運動:水汽輻合上升,絕熱膨脹并冷凝成云;c)云滴增長。當水汽供應越充足,上升運動增強,則云頂高度越高,云層越厚,當云層溫度足夠低或云頂壓力足夠大時就會通過冰晶效應或云滴碰撞合并,使得云滴快速增長形成降水。因此,本文另外選用了云頂高度(CTH)、云頂壓力(CTP)、云頂溫度(CTT)和云反射率(CLE)作為預報QPE的氣象背景數據,數據產品概況如表1所示。

數據的空間分辨率為4 km,時間分辨率為15 min,FY-4B星下點精度為東經133°,覆蓋從東經51.776°至西經145.776°區域,包括亞洲、大洋洲和西太平洋,數據存儲為2 748×2 748的二維矩陣。本文使用數據覆蓋2022年6月1日至2023年5月31日,為方便敘述,本文稱每15 min一次的數據為一幀,理論上,每天包含96幀數據,一年有35 040幀數據,在排除不可用數據(缺失、損壞和空值)后,實際數據的完整性如表1所示。

2.2 FY-4B數據預處理與數據集制作

地面溫度、壓力等物理要素在任何時間任何地點都有意義,但現實中多數時間和區域均無雨,即原始降水數據中存在大量零值,為避免數據集中有效數據太少導致模型無法訓練,因此數據預處理時需要盡力篩選出原始數據中的降雨區域。數據集的制作主要包括以下步驟:

a)根據需要下載選定數據產品、篩選可用數據。風云衛星遙感服務網提供多種下載方式,下載地址:http://satellite.nsmc.org.cn/PortalSite/Data/Satellite.aspx?currentculture=zh-CN。

b)將原始數據由標稱圓盤投影轉換為墨卡托投影。

c)降水區域選擇:

(a)根據定量降水估計(QPE),統計中心2 560×2 560區域內每個格點的月平均降水;

(b)將區域劃分為256×256的100個子區域,每月選擇降水量最大的四個子區域備用;

(c)計算每幀QPE數據的每個子區域中降水面積比,圖4(a)是一個有效降水面積為19%的子區域,公式如下:

p=降水量大于0.1 mm/h的像素點數256×256×100%(1)

d)時間點篩選:

(a)篩選出QPE、CTH、CTT、CTP和CLE數據都可用的時間點,共計33 348個;

(b)根據需要篩選降雨區域面積足夠大的數據,本文采取閾值為19%,四個子區域內分別得到9 804,9 237,6 646和7 822個可用數據。如圖4(b)所示,為原始數據與篩選后得到的數據集中有效降雨面積大于特定閾值的子區域的比例分布。藍色圓點表示降水面積比大于某閾值的子區域在所有子區域中的占比;篩選掉閾值小于19%的子區域后,得到紅色方點所示的分布。

e)設定序列長度為16,步長為2,從上述可用數據中生成連續的序列數據。

f)劃分數據集。將所有序列隨機分為訓練集、測試集和驗證集(數據量為8 000:1 000:1 000)。

最終,數據集樣本量為10 000,每個樣本為5×16×256×256的四維矩陣,5代表QPE、CTH、CTT、CTP和CLE五類變量,16表示序列包含4 h共16幀,256×256是數據覆蓋的空間范圍。

2.3 SEVIR數據集

storm event imagry(SEVIR)數據集是一個多源氣象數據集,包含來自對地靜止環境衛星系統(GOES-16)與下一代雷達(NEXRAD)系統的五種圖像數據:GOES-16 0.6 μm可見衛星通道(C02)、6.9 μm和10.7 μm紅外通道(C09,C13;分辨率為2 km)、GOES-16收集的閃電事件(分辨率為8 km)和垂直集成液體雷達拼圖(vertically integrated liquid,VIL,分辨率為1km)。五個變量依次表示為VIS、IR069、IR107、LGHT和VIL。C09通道被稱為“中層水汽”通道,用于跟蹤對流層中層風;C13被廣泛應用于與云和其他大氣特征相關的監測,例如估計云頂溫度、云粒徑和大氣濕度校正。最后,閃電計數提供了5 min內匯總的云間和云地閃電總數。VIL提供了給定大氣柱中液態水總量的估計,是惡劣天氣的重要診斷工具,被廣泛用于業務臨近預報系統。SEVIR數據集將單位為kg/m2的VIL通過非線性縮放存儲為0~255的整數;在輸入模型時通過最大最小歸一化映射到[0,1]。SEVIR包含超過10 000個天氣事件,每個天氣事件由跨越4 h的384 km×384 km的圖像序列組成(長度為49幀、時間分辨率為5 min)。數據集中的變量于2017—2019年采集自美國本土,且進行了時空對齊。Veillette等人(2020)設計了復雜的采樣方案,以避免數據集中包含過多無降水樣本從而導致數據類別不平衡問題。

本實驗中將兩個紅外通道數據作為背景變量,VIL作為預測目標,由于設備限制,只采用每個序列的前16幀,其中前8幀作為歷史數據,后8幀作為預測目標。打亂所有天氣事件并將其按5:1:1的比例拆分為訓練集、驗證集和測試集。三種變量都通過雙線性差值統一調整為256×256的二維圖像。

3 實驗與結果

3.1 實驗方案

給定初始時刻背景變量(為方便敘述,以FY-4B數據集為例,包括CTH、CTP、CTT和CLE)和前8個時刻QPE序列數據,模型預測出未來8個時刻的QPE數據,序列編碼器輸入QPE序列的形狀為(256,256,8),初始時刻背景變量在通道維度疊加成為背景編碼器的輸入,其形狀為(4,256,256)。對數據進行標準化處理,對不同類型數據進行伸縮變換使得不同量度之間的特征具有可比性,使用最大最小值標準化(min-max standardization)將數據變換到[0,1];為了避免少量極端值的存在影響標準化,使其余大部分數據的分布過于集中,先對這些極端值采取了適當的截斷措施再對數據進行標準化。模型中卷積核大小為3×3(如圖1、2所示),使用的基礎通道數為16,每次下采樣時通道數翻倍。Transformer的嵌入維度為512,其MLP的維度為4 096。使用ReLU函數作為網絡的激活函數、在模型的輸出層使用sigmoid()函數將輸出約束在[0,1],并用Kaiming方法初始化網絡的參數,通過l1+l2損失進行優化,模型中使用了分組歸一化(group normalization)。損失函數公式如下:

loss=1N×256×256∑Nn=1∑256i=1∑256j=1|xn,i,j-n,i,j|+(xn,i,j-n,i,j)2(2)

其中:N表示預測幀數;數據的長寬為256;xn,i,j和n,i,j表示第n幀(i,j)處的真實數值和預測數值。在訓練步驟中,模型使用ADAM優化器,以0.000 1的學習率進行迭代優化。每個迭代過程的批量大小和最大epoch數分別設置為20和100。此外,還采用了early-stop策略。模型的實現基于PyTorch深度學習框架,使用了DataParallel并行化訓練策略以加速訓練,所用顯卡為NVIDIA GeForce GPU RTX 4080Ti。

3.2 評價指標

本文采用了圖片質量評價指標(RMSE和SSIM)和基于降雨等級的預報技能得分(CSI、FAR和HSS)對算法的臨近預報性能進行全面評估。預報技能得分的計算基于降水閾值,對于FY-4B數據集的定量降水估計(QPE,單位為mm/h),本文選定0.1、2.5、8和16作為閾值,依據為小時累計降雨等級表(如表2所示);對于SEVIR數據集的垂直累計液體(VIL,單位為km/m2),選定0.1、0.3和1.4作為閾值,數據集中VIL大于0.1、0.3和1.4的像素點占比分別為25%、18%和10%。在給定某閾值時,將預測數據和真實數據中大于等于閾值的數據設為1,將小于閾值的數據設為0,由表3統計各類別檢驗結果的數量,由式(3)~(5)計算關鍵成功指數(critical success index,CSI)、誤報率(false alarm rate,FAR)和海德克技能評分(heidke skill score,HSS)。臨界成功指數(CSI)指預報結果的正確部分占所有結果的比例;虛警率(FAR)預報結果中誤報部分所占比例。圖像質量評價指標包括均方根誤差(RMSE)和結構相似性(SSIM),其計算方法如式(6)(7)所示。

CSI=TPTP+FP+FN(3)

FAR=FPTP+FP(4)

HSS=2×TP×TN-FN×FP(TP+FN)×(TN+FN)+(TP+FP)×(TN+FP)(5)

RMSE=1n∑ni=1(xi-yi)2(6)

SSIM=(2μxμy+C1)(2σxy+C2)(μ2x+μ2y+C1)(σ2x+σ2y+C2)(7)

其中:xi和yi分別表示真實數據x和預測數據y的第i個值;μ和σ表示均值和方差;σxy表示x和y之間的方差。C1和C2分別為6.502 5和58.522 5。

在計算SSIM時,需將降水量通過線性映射擴展到0~255并存為灰度圖,SSIM從亮度、對比度和結構三方面評價預報降雨分布圖與真實降雨圖之間的相似度。RMSE衡量預報降雨量與真實降雨量之間的差異。SSIM的最佳值為1,RMSE的最佳值為0。

3.3 結果與分析

3.3.1 FY-4B數據集

為驗證本文模型的有效性,將其與近年的SOTA模型進行對比實驗。實驗的定量結果如表4~6所示,相比對比模型,本文模型在各個指標上都明顯取得更好的效果,可以證明本文模型的有效性。隨著降雨等級增強,各指標都逐漸變差,因為極端的降水事件在現實中發生概率也較低,訓練樣本少使得模型無法有效學習到其規律。但是觀察表4、5可知,當降雨等級越高,本文模型與次優模型的差異越大,如在誤報率方面,降雨量大于2.5時相差0.013 4,而在降雨量大于16時相差0.044 5,這表明本文模型可以更好地預報極端降雨事件,這得益于其他氣象背景信息的引入;而其他模型只依賴于降水數據進行預測,很難有效利用稀疏的極端降水數據。

預報技能得分是基于閾值進行計算的,并不能反映預測值與真實值之間的實際差異,因此本文也使用了均方根誤差(RMSE)和圖像結構相似性(SSIM)。均方根誤差是計算每個像素點真實降雨量與預測降雨量之間誤差的均值平方根,而SSIM是從亮度、對比度和結構等方面評價真實圖像與預測圖像的相似性。本文模型在EF Sat2Rad的基礎上將RMSE降低了0.57,將SSIM提升0.09。

某時刻降雨的定性結果如圖5所示,圖5(a)為模型的輸入數據,即過去兩小時(每15 min一幀,共8幀)的降雨趨勢圖,各個模型根據輸入預測未來兩小時的降雨趨勢圖;圖5(b)為預測時段的真實降雨;圖5(c)為本文MFPNM模型預測結果;圖5(d)~(g)依次是EF Sat2Rad[21]、WF-UNet[20]、IDA-LSTM[13]和E3D-LSTM[12]等模型的結果。各個模型均能預測出降雨的整體趨勢,而在細節上則差異明顯。圖5(f)(g)的基于CNN-RNN的模型在小雨區域表現很差,基本無法預測,而在降雨量大時傾向于低估降雨量,特別是隨預報時間延長,無法或只能部分預測出暴雨區域。WF-UNet可以較好地捕獲暴雨,但是會將部分無雨的離散點錯誤地預報為有雨。EF Sat2Rad普遍低估降雨的強度,如預測的中雨區域明顯小于真實中雨區域。但是相比于前兩個方法,WF-UNet和EF Sat2Rad都能捕獲到小面積的降雨。本文模型在預測降雨時由于結合了更多氣象背景信息,其可以充分關注到大雨到暴雨的區域,可以看出預測的大雨區域會比實際更大,而在暴雨區域預報地很精準,從這些定性結果中可以判斷本文模型的有效性和預報的高準確度。

3.3.2 SEVIR數據集實驗結果及分析

在SEVIR數據集上在進行了模型間對比實驗,包括本文MFPNM、WF-UNet[20]和EF Sat2Rad[21]。SEVIR數據集的VIL原始數據為1~255的整數,在分析實驗結果時轉換為實際的垂直累計液體值,單位為kg/m2,其遵循如圖6所示的非線性關系。

在SEVIR數據集上各預報時刻和不同降雨閾值水平下的CSI得分與HSS得分如圖7、8所示,圖中thr表示降雨等級。由圖7、8可知,MFPNM在不同閾值和不同時間下的CSI和HSS得分均明顯優于其他兩個模型,表明本文模型預報性能優異。在不同閾值水平下,三個模型的預報性能都隨著預報時間的增加而下降,但是根據曲線的趨勢可知,MFPNM隨預報時間延長,得分變化更為平滑穩定;反之,WF-UNet和EF Sat2Rad的得分變化波動大,這表明了MFPNM的預報性能更穩定。在預報時間40 min、閾值為0.1和1.4時可觀察到MFPNM的指標顯然更高,這源于其對序列數據長程關系的建模能力。

3.4 模型可解釋性分析

可解釋性分析流程如1.3節所述,SHAP方法計算得到每個特征的重要性向量以表征其對預測的貢獻度。為評價所得重要性向量是否能客觀反映特征的貢獻度,使用預訓練網絡得到了對應的顯著圖,可以直觀表現背景變量的不同區域對于模型最終輸出的顯著性或重要性,亮色(如黃色或紅色)表示高重要性,而深的顏色(如藍色)表示低重要性。如圖9所示,第一行是背景編碼器的輸入及其顯著圖;第二行是模型的預測結果(連續五個時刻),其顯示了降雨的分布范圍與強度變化。顯著圖與背景編碼器的輸入之間具有強相關性,背景編碼器良好地學習到了輸入數據的有效特征,而顯著性圖中高亮區域與降水區域具有明顯的空間對應關系,說明這些特征在模型中得到了應有的關注,特別是其作為特殊的位置編碼參與Transformer模塊中注意力的計算,為QPE的預測提供了有益的信息。這表明了本文模型作出的降水預報是基于模型正確識別了氣象要素,驗證了降水預測結果的可靠性。

4 結束語

本文以TransUNet模型為基礎提出了基于雙編碼器與內容編碼的短臨降水預報算法,通過在降水預測過程中融入更多氣象背景信息,引導模型實現更為準確的預報。為此,利用我國第四代靜止衛星FY-4B的氣象數據制作了一個包含多種物理要素的短臨降水預報數據集。在該方法中,采用雙編碼器分別提取降水數據的時空特征和其他變量的空間特征;通過內容編碼模塊將其他變量特征編碼到降水特征中作為其可學習的位置編碼,同時為其提供更為豐富的氣象背景信息,以解決降水數據稀疏的問題。使用SHAP技術對模型進行了可解釋性分析,其結果表明本文模型是基于正確理解輸入數據而得到合理且可靠的預測結果。通過與其他現有模型的比較,本文模型的性能優越性得到了充分證明。

參考文獻:

[1]Marchuk G I.Numerical methods in weather prediction[M].[S.l.]:Academic Press,2012.

[2]Alley R B,Emanuel K A,Zhang Fuqing.Advances in weather prediction[J].Science,2019,363(6425):342-344.

[3]Chen Mingxuan,Wang Yingchun,Yu Xiaoding.Improvement and ap-plication test of TREC algorithm for convective storm nowcast[J].Journal of Applied Meteorological Science,2007,18(5):690-701.

[4]Moral A D,Rigo T,Llasat M C.A radar-based centroid tracking algorithm for severe weather surveillance:identifying split/merge processes in convective systems[J].Atmospheric Research,2018,213:110-120.

[5]Woo W C,Wong W K.Operational application of optical flow techniques to radar-based rainfall nowcasting[J].Atmosphere,2017,8(3):48.

[6]Ayzel G,Heistermann M,Winterrath T.Optical flow models as an open benchmark for radar-based precipitation nowcasting[J].Geoscient-ific Model Development,2019,12(4):1387-1402.

[7]Dhiram K,Wang Zhenhui.Evaluation on radar reflectivity-rainfall rate(Z-R)relationships for Guyana[J].Atmospheric and Climate Sciences,2016,6(4):489-499.

[8]Shi Xingjian,Chen Zhourong,Wang Hao,et al.Convolutional LSTM network:a machine learning approach for precipitation nowcasting[C]//Proc of the 28th International Conference on Neural Information Processing Systems.Cambridge,MA:MIT Press,2015:802-810.

[9]Shi Xingjian,Gao Zhihang,Lausen L,et al.Deep learning for precipitation nowcasting:a benchmark and a new model[C]//Proc of the 31st International Conference on Neural Information Processing Systems.Red Hook,NY:Curran Associates Inc.,2017:5622-5632.

[10]Wang Yunbo,Long Mingsheng,Wang Jianmin,et al.PredRNN:recurrent neural networks for predictive learning using spatiotemporal LSTMs[C]//Proc of the 31st International Conference on Neural Information Processing Systems.Red Hook,NY:Curran Associates Inc.,2017:879-888.

[11]Wang Yunbo,Gao Zhifeng,Long Mingsheng,et al.PredRNN+:towards a resolution of the deep-in-time dilemma in spatiotemporal predictive learning[C]//Proc of the 35th International Conference on Machine Learning.[S.l.]:PMLR,2018,5123-5132.

[12]Wang Yunbo,Jiang Lu,Yang M H,et al.Eidetic 3D LSTM:a model for video prediction and beyond[C/OL]//Proc of the 7th International Conference on Learning Representations.2019.(2019-12-21).https://openreview.net/forum?id=B1lKS2AqtX.

[13]Luo Chuyao,Li Xutao,Wen Yongliang,et al.A novel LSTM model with interaction dual attention for radar echo extrapolation[J].Remote Sensing,2021,13(2):164.

[14]Samsi S,Mattioli C J,Veillette M S.Distributed deep learning for precipitation nowcasting[C]//Proc of the 31st International Conference on Neural Information Processing Systems.Red Hook,NY:Curran Associates Inc.,2019:5622-5632.

[15]Agrawal S,Barrington L,Bromberg C,et al.Machine learning for precipitation nowcasting from radar images[EB/OL].(2019-12-11).https://arxiv.org/abs/1912.12132.

[16]Bihlo A.Precipitation nowcasting using a stochastic variational frame predictor with learned prior distribution[EB/OL].(2019-05-13)[2024-03-09].https://doi.org/10.48550/arXiv.1905.05 037.

[17]Denton R,Fergus R.Stochastic video generation with a learned prior[EB/OL].(2018-03-02).https://arxiv.org/abs/1802.07687.

[18]吳卓升,張巍,林艷,等.動態概率卷積神經網絡在雷達回波外推中的應用[J].計算機應用研究,2021,38(7):2125-2129.(Wu Zhuosheng,Zhang Wei,Lin Yan,et al.Application of dynamic probability convolutional neural network in radar echo extrapolation[J].Application Research of Computers,2021,38(7):2125-2129.)

[19]潘龍,吳錫.基于雙向Transformer的降水臨近預報模型[J/OL].計算機應用研究.(2024-03-18).https://kns.cnki.net/kcms/detail/51.1196.TP.20240315.0936.001.html.(Pan Long,Wu Xi.Bidirectional Transformer-based precipitation nowcasting model[J/OL].Application Research of Computers.(2024-03-18).https://kns.cnki.net/kcms/detail/51.1196.TP.20240315.0936.001.html.)

[20]Kaparakis C,Mehrkanoon S.WF-UNet:weather data fusion using 3D-UNet for precipitation nowcasting[J].Procedia Computer Science,2023,222:223-232.

[21]Küük ,Giannakos A,Schneider S,et al.Transformer-based nowcasting of radar composites from satellite images for severe weather[EB/OL].(2023-10-30)[2024-03-09].https://doi.org/10.48550/arXiv.2310.19515.

[22]Ivashkin V,Lebedev V.Spatiotemporal data fusion for precipitation nowcasting[EB/OL].(2018-12-28)[2024-03-09].https://doi.org/10.48550/arXiv.1812.10915.

[23]An S.Nowcast-to-forecast:token-based multiple remote sensing data fusion for precipitation forecast[C]//Proc of the 32nd ACM International Conference on Information and Knowledge Management.New York,NY:ACM Press,2023:4495-4501.

[24]Bouget V,Béréziat D,Brajard J,et al.Fusion of rain radar images and wind forecasts in a deep learning model applied to rain nowcasting[J].Remote Sensing,2021,13(2):246.

[25]Mark S V,Siddharth S,Christopher J M.SEVIR:a storm event imagery dataset for deep learning applications in radar and satellite mete-orology[C]//Proc of the 34th International Conference on Neural Information Processing Systems.Red Hook,NY:Curran Associates Inc.,2020:article No.1846.

[26]Li Xilai,Liu Wuyang,Li Xiaosong,et al.Physical perception network and an all-weather multi-modality benchmark for adverse weather image fusion[EB/OL].(2024-02-03)[2024-03-09].https://doi.org/10.48550/arXiv.2402.02090.

[27]Lundberg S M,Lee S I.A unified approach to interpreting model predictions[C]//Proc of the 31st International Conference on Neural Information Processing Systems.Red Hook,NY:Curran Associates Inc.,2017:4768-4777.

收稿日期:2024-01-21

修回日期:2024-03-25

基金項目:國家自然科學基金資助項目(42075142,42130608);國家重點研發計劃資助項目(2020YFA0608000);四川省科技計劃資助項目(2022YFG0029,2023YFG0101,2024YFG0001);成都信息工程大學科技創新能力提升計劃資助項目(KYTD202330)

作者簡介:陳龍(1997—),男,四川巴中人,碩士,主要研究方向為深度學習與降雨預報;彭靜(1991—),女,四川綿陽人,講師,博士,主要研究方向為圖形圖像處理、分布式計算優化等;胡雪飛(1980—),女,重慶永川人,副研究員,碩士,主要研究方向為數字文旅、文化傳播等;黃占鰲(1993—),男,四川隆昌人,講師,博士,主要研究方向為神經網絡理論與應用、不平衡數據學習;李孝杰(1981—),女(通信作者),山東菏澤人,教授,碩導,博士,主要研究方向為機器學習、圖像處理與智慧氣象(lixj@cuit.edu.cn).

主站蜘蛛池模板: 日韩一二三区视频精品| 黄色网在线| 国产精品太粉嫩高中在线观看| 日本伊人色综合网| 国产成人高清精品免费软件| 亚洲国模精品一区| V一区无码内射国产| 国产美女91呻吟求| 99精品国产电影| 在线视频97| 亚洲国产成人精品无码区性色| 婷婷六月综合网| 久爱午夜精品免费视频| 国产精品亚欧美一区二区| 国产国语一级毛片| 欧美a在线| 国产导航在线| 喷潮白浆直流在线播放| 亚洲最大情网站在线观看 | 婷婷五月在线视频| 国产精品久久久久久影院| 久久精品视频亚洲| 综合色区亚洲熟妇在线| 精品午夜国产福利观看| 尤物成AV人片在线观看| 国产成a人片在线播放| 午夜少妇精品视频小电影| 亚洲人成高清| 高清亚洲欧美在线看| 2021国产在线视频| 久久91精品牛牛| 91精品网站| 激情视频综合网| 看国产毛片| 国产一级视频在线观看网站| 三上悠亚一区二区| 久久婷婷五月综合色一区二区| 免费女人18毛片a级毛片视频| 国产日本欧美在线观看| 欧美精品在线观看视频| 久青草网站| 67194亚洲无码| 午夜a视频| 爆操波多野结衣| 欧美成人第一页| 欧美日韩一区二区三区在线视频| 97视频免费在线观看| 激情亚洲天堂| 第一区免费在线观看| 国产成人综合日韩精品无码首页| 婷婷亚洲最大| 日韩精品高清自在线| 71pao成人国产永久免费视频| 激情五月婷婷综合网| 日韩一区精品视频一区二区| 少妇被粗大的猛烈进出免费视频| 亚洲成人高清在线观看| 亚洲日韩久久综合中文字幕| 国产高清不卡| 日本人妻丰满熟妇区| 久久精品国产999大香线焦| 精品精品国产高清A毛片| 久久精品最新免费国产成人| 国产人妖视频一区在线观看| 激情综合婷婷丁香五月尤物| 一级成人a做片免费| 精品福利网| 任我操在线视频| 伊人精品成人久久综合| 欧美色伊人| 亚洲精品第一在线观看视频| 国产久草视频| 中文字幕在线一区二区在线| 日韩免费中文字幕| 国产精品99久久久| 色播五月婷婷| 亚洲综合欧美在线一区在线播放| 国产精品手机在线观看你懂的| 亚洲精品在线91| 国产剧情伊人| 国产成人三级| 国产高清在线精品一区二区三区|