自注意力機制改進U-Net網絡的強積冰云層預測

翟辰飛，董文瀚，張曉敏，李大東，陳曉軍

1.空軍工程大學，西安 710038

2.中國飛行試驗研究院，西安 710089

3.中國人民解放軍94816部隊

4.中國人民解放軍 93135部隊

飛機積冰[1]是指飛行器在飛行過程中機體表面聚積冰層的現象，飛機積冰嚴重影響飛行安全，是造成飛行事故的主要原因之一。為減少因積冰造成的飛行事故，及時準確地預測積冰云層的位置及強度一直是眾多專家學者及氣象工作者研究的重要課題。

強對流天氣所形成的云系中蘊含大量水汽且溫度較低，易造成飛機中度以上積冰，對飛行安全危害最大。氣象工作者通過氣象雷達掃描得到的雷達回波圖可以準確反映對流天氣的強度，分析歷史雷達回波圖可以尋找強對流天氣的發展規律，并進一步預測對流天氣的發展變化。因此，準確判斷強對流天氣的發展變化對于積冰云層的預測至關重要。

現階段，國內外對于積冰云層的預測主要分為兩類，傳統方法是在天氣學的基礎上實現雷達圖像外推。丁建軍等[2]提出了一種基于雷達跟蹤外推及GoogleMaps的強對流天氣臨近預報系統，利用交叉相關外推算法，實現對寧夏中北部地區1 h內強對流天氣的跟蹤外推預報；曹春燕等[3]提出了一種基于傳統光流法的強對流預報算法，該算法彌補了交叉相關外推算法對于較強垂直運動預測不理想的問題，提升了強對流天氣的準確率。雖然傳統的雷達回波外推方法被長期應用于實際工作中且不斷改進，但對流天氣本身的復雜非線性特點，導致預測結果與實際天氣相差較大。

隨著深度學習等方法的興起，計算機視覺技術逐漸成為雷達圖像外推任務的研究熱點。這一類方法旨在通過對雷達圖像中各區域的空間相關性及同一區域的時間相關性的智能分析，解決對流天氣系統非線性的問題。Shi等[4]提出了一種時空序列預測模型，將卷積神經網絡與循環神經網絡相結合，提出了一種全新的雷達回波外推方法；Wang等[5]將MIM模塊加入時空序列網絡，使模型能夠學習到更多高階非平穩特征；Xu等[6]將GAN網絡與ConvLSTM網絡相結合，解決了小規模數據集不易訓練等問題；Geng等[7]將圖像數據與數值模擬數據同時作為輸入數據，提升了數據資料的多樣性；Shi等[8]結合光流法提出了TrajGRU模型，該模型解決了領域點位置信息固定的問題，使其更好地學習回波圖像中的時空相關信息。

上述深度學習方法均是卷積神經網絡（convolutional neural networks，CNN）與循環神經網絡（recurrent neural networks，RNN）模型的改進，雖然此類模型解決了對流天氣預測過程中的非線性不穩定，但在訓練、檢驗過程中還存在以下幾點問題：（1）時間維度信息不均衡。RNN將當前時間狀態與前面多個時間的隱藏狀態相結合作為當前時間的輸入信息，此舉可以使網絡模型有效學習到同一區域的回波變化，但當輸入序列過長時，會因梯度衰減較大導致梯度消失，造成圖像低層信息丟失。（2）空間維度信息缺失。CNN通過一定大小的卷積核有效提取圖像空間信息，隨著特征圖的減小，卷積核中的感受野可以逐步學習到圖像全局信息。但因CNN卷積核使用相同權重參數進行特征提取，會導致重要程度高但出現次數少的空間信息被忽略，特別是在積冰云層預測任務中，強回波區占比少，易造成強回波區預測結果的準確率下降。

針對時間維度信息不均衡問題，Ronneberger等[9]提出了基于全卷積網絡的U-Net網絡模型，其獨特的U型結構較好地解決了RNN因梯度消失導致的初始圖像信息消失的問題；針對空間維度信息缺失問題，Vaswani等[10]基于自注意力模塊（self-attention）計算圖像中不同像素之間的特征關系并建立圖像的全局特征，從而提取不同回波強度之間的依賴關系。相比于使用同一權重參數的CNN，自注意力模塊為不同重要程度的信息分配不同權重參數，從而提高圖像重要特征的提取能力。針對上述問題，本文提出U-Net網絡與自注意力機制相結合的GC-ResUNet預測模型，該模型繼承了兩種網絡的優點，為解決積冰云層的預測問題提供了一種新的思路。

1 數據集的建立

1.1 數據集選取

氣象雷達在連續時間內向云中發射電磁脈沖，脈沖散射后返回雷達天線構成氣象雷達回波[11]，通過雷達回波可以準確判斷云中對流的活動情況，該數據在時間和空間上均具有相關性。

本文所用數據集由2018—2020年間沿海地區雷達回波拼圖制作而成，其原始圖像尺寸大小為3 190×2 240，每張圖像之間間隔6 min。由于圖像邊緣包含大片無回波區域，為減少網絡計算的復雜度，提高計算機的運算效率，針對原始圖像數據主回波區域進行裁剪，裁剪后的圖像尺寸大小為900×900，再通過壓縮處理，將圖像調整為尺寸大小為256×256的PNG圖片。然而，處理后的回波圖像分辨率降低且圖像特征易丟失，為解決上述問題，對處理后的特征圖像采用增強深度超分辨率網絡（ED-SR）[12]重構圖像分辨率，以此達到訓練、檢驗模型的目的。

1.2 數據預處理

氣象雷達在平掃過程中，受雷達站附近建筑物、山體等低空地物影響，在低仰角區域往往會產生地物虛假回波[13]。模型訓練與檢驗過程中，地物回波會影響模型對氣象回波的特征提取，從而降低氣象回波預測的準確率。

如圖1所示，矩形區域為多普勒天氣雷達受地物雜波影響產生的地物噪聲。為減小噪聲對雷達回波外推模型的影響，使用非局部均值濾波算法（non-local means filter）對調整后的圖像去噪。其過程為將濾波區域范圍為滑動窗口大小遍歷整個圖像，計算濾波值點與滑動窗口中像素點的絕對差值和，將計算結果輸入到指數函數中，計算權值并通過權值進行濾波操作。相比于均值濾波，該算法在去除噪聲的同時保留了圖像邊緣的細節，更適用于處理雷達回波噪聲。圖2為去噪后的回波圖像。

2 建立GC-ResUNet時空序列預測模型

2.1 U-Net時空序列預測模型

U-Net神經網絡[14]最早應用于醫學圖像語義分割，該算法獨特的網絡結構以及強大的遷移學習能力使其被廣泛應用于目標識別、物體檢測等任務且取得了較好的預測效果。

相比于傳統神經網絡，U-Net神經網絡結構有以下三個特點：（1）傳統卷積神經網絡由全連接層組成，其網絡結構與圖像輸入密不可分，導致訓練好的網絡只能應用于相同尺寸的圖像輸入，網絡泛化能力差。為解決此問題，U-Net神經網絡使用全卷積層（fully convolution）替代全連接層（fully connection），由于其卷積核尺寸與圖像輸入無關，使得U-Net神經網絡適用于任意圖像尺寸輸入，增強了網絡的泛化能力。同時，全卷積網絡在GPU加速的前提下網絡整體運算效率顯著提升。（2）傳統卷積神經網絡通過下采樣（downsampling）操作實現圖像特征信息壓縮，以學習更深層次的特征信息，但在圖像壓縮過程中容易丟失空間信息。為解決此問題，UNet神經網絡加入上采樣（upsampling）操作還原像素的空間信息。（3）U-Net網絡在編碼器與解碼器之間加入跳躍連接（skip-connection）操作，整合不同層次的特征圖像信息，避免傳統循環神經網絡因梯度消失造成低層特征信息丟失的問題。

U-Net神經網絡解決了傳統神經網絡時間維度信息丟失的問題，但其在卷積壓縮過程中降低了圖像分辨率，使得重要程度高但出現頻率低的空間特征信息丟失，雷達回波圖像包含大量此類空間特征。因此，U-Net神經網絡對于積冰云層的預測結果與實際情況差別較大。

2.2 GCNet自注意力機制模塊

注意力機制[15]（attention）源于人類視覺注意力機制，通過對不同信息分配不同權重，實現重要特征信息的提取。然而該方法僅能分析判斷信息的重要程度，缺乏對空間信息的捕捉能力，面對回波區域分布密集且相關性強的雷達回波圖，更需關注各回波區域之間相連的邊緣信息。因此本節引入GCNet（global context network）自注意力機制[16]，對圖像信息中的重要特征進行提取。

自注意力機制分為空間自注意力機制和通道自注意力機制，GCNet屬于通道自注意力機制的一種。通道自注意力將像素信息壓縮到不同通道內，通過計算不同通道之間的權重比達到提取重要信息的目的。具體結構見圖3。

GCNet由三部分組成：

（1）建立全局上下文特征圖。首先將經過特征提取后的特征圖X∈RC×H×W（C為特征圖通道數，H為高度，W為寬度）輸入到權重參數為Wk的1×1卷積層以及非線性激活函數Softmax中，得到包含全局上下文信息大小為(H×W)×1×1的權重矩陣，然后與Reshape后大小為C×(H×W)的特征矩陣相乘，得到大小為C×1×1的具有全局上下文信息的特征矩陣(Z1)。計算見式（1）：

（2）計算每個通道的重要程度。首先將大小為C×1×1的特征矩陣Z1輸入到權重參數為Wv1、大小為1×1的卷積層，得到大小為C/r×1×1的特征矩陣。其中r為參數減少值，目的是通過減少參數量提高網絡的計算效率。為使模型在訓練過程中更加穩定防止過擬合，在卷積層后加入層歸一化LayerNorm以及非線性激活函數ReLU。然后將大小為C/r×1×1的特征矩陣輸入權重參數為Wv2大小為1×1的卷積層。該卷積層的目的是計算每個特征通道的權重比例，得到大小為C×1×1的特征矩陣Z2。計算見式（2）：

式中，ReLU為非線性激活函數，LN表示層歸一化，Wv1、Wv2分別為兩個卷積層的權重參數。

（3）將具有不同通道權重的特征矩陣Z2與輸入特征圖X∈RC×H×W相乘，得到含有不同權重信息的特征圖Z∈RC×H×W，計算見式（3）。

GCNet自注意力模塊通過學習不同通道之間的相關信息，增加了重要信息的權重參數，突出圖像中的重點信息，增強了網絡捕獲強對流回波的能力。

2.3 GC-ResUNet時空序列預測模型

本文提出了基于U-Net神經網絡的改進模型GCResUNet，該模型繼承了U-Net神經網絡的結構特點，在此基礎上加入自注意力模塊，確保上下文語義信息完整的同時，加強圖像中重要信息的提取能力。

本文利用10張連續歷史雷達回波圖（過去1 h）作為預測模型輸入，在U-Net框架的基礎上加入自注意力機制模塊搭建GC-ResUNet時空序列預測模型，對雷達回波圖像進行未來1 h的外推分析。首先將建立的氣象雷達回波數據集按照6∶2∶2的比例劃分成訓練集、交叉驗證集以及測試集，利用訓練集訓練GC-ResUNet模型，通過反復迭代優化模型參數，減小預測結果與真實數據之間的誤差值；其次利用交叉驗證集進一步擬合模型參數，不斷更新損失函數，使損失函數穩定到一個較小的數值；最后將驗證集以10張為一個batch輸入調試好的GC-ResUNet模型得到未來1 h的預測結果。從雷達圖像的預測結果可以判斷強對流天氣發生的強度及位置，進而完成對積冰云層的預測任務。

GC-ResUNet模型主要由壓縮路徑（編碼結構）、擴展路徑（解碼結構）、跳躍連接結構以及自注意力模塊四部分組成，具體模型結構見圖4。

網絡框架左半部分為壓縮路徑（編碼結構），自注意力模塊嵌入在壓縮路徑中。壓縮路徑采用自上而下結構，包含4個模塊，每個模塊先采用兩次3×3大小的非線性卷積層和歸一化層獲得圖像中的細節信息，然后將特征圖分別進行下采樣及自注意力操作。下采樣壓縮特征圖尺寸，使得特征信息更加抽象，便于下層網絡提取更深層次的邊緣信息，新的特征圖向下傳遞作為下一層網絡的輸入，特征圖尺寸減半，通道數增加一倍。自注意力模塊不改變特征圖的尺寸及通道數，經過該模塊后的特征圖保留了原圖中的重要特征信息。

網絡框架右半部分為擴展路徑（解碼結構），擴展路徑采取自下而上結構，與壓縮路徑相對稱，也包含4個模塊。每個模塊先通過非線性上采樣將下層特征圖通道數減半，再將該特征圖與壓縮路徑中經過自注意力模塊得到的特征圖拼接，合并成一個2倍大小的特征圖，該特征圖經過兩次非線性卷積處理后，提取出包含重要特征信息以及邊緣輪廓信息的特征圖像。由于GCResUNet網絡中每一層特征圖尺寸相同，這保證了該層特征圖不會因圖像壓縮而丟失細節信息，使得自注意力模塊可以學習到原始輸入圖像中的重要特征信息。

2.4 評估標準

本實驗所用數據集以雷達回波圖為基礎，為準確分析判斷預測結果，本文選用氣象領域常用臨界成功指數（critical success index，CSI）、探測概率（probability of detection，POD）、虛警率（false accept rate，FAR）作為預測評價標準，計算見式（4）、（5）、（6）：

式中，NTP為觀測發生且預報發生的總格點數；NFP為觀測發生但預報未發生的總格點數；NFN為觀測未發生但預報發生的總格點數；NTN為觀測未發生且預報未發生的總格點數。

不同強度條件下，逐格點計算實驗評分，事件發生記為1，事件未發生記為0，由此對預測得到的回波圖像進行評估分析，具體判斷標準見表1。

表1 類別判斷標準Table 1 Category criteria

2.5 損失函數

損失函數用來衡量模型訓練中預測值與真實值的差異，通過反復調整模型參數使模型的學習能力達到最優狀態。對回波圖像數據集中不同閾值下的格點數進行統計，弱回波區（20～30 dBz）占總回波強度區域的80%，強回波區（40 dBz以上）僅占總回波強度區域的15%左右，數據不均衡影響網絡模型的特征學習能力。為解決上述問題，本文構建以均方誤差（MSE）與平均絕對誤差（MAE）為基礎的加權損失函數，為兩個函數分別配置權重參數W1=0.01,W2=1，從而提高整個回波區的預測能力。

平均絕對誤差損失函數：

均方誤差損失函數：

加權損失函數：

式中，yi,j、y′i,j分別表示真實回波圖與預測回波圖中的像素值；H和W分別表示圖像的高和寬；N表示圖像中像素點的數量；W1、W2分別表示MAE、MSE的權重參數。

3 實驗分析

本文將歷史雷達回波圖分別輸入GC-ResUNet以及傳統光流法進行對比實驗，分析不同回波強度條件下，網絡模型的預測能力。實驗選用Pytorch深度學習框架，根據超參數初始化設置經驗，經過反復調試，將初始學習率設為10-4，動量大小設為0.5，訓練批量大小設為10，訓練最終迭代30萬次。模型訓練、測試的數據集源自2018—2020年間沿海地區雷達回波拼圖資料，每張回波圖間隔6 min，模型以10張（1 h）歷史回波圖作為輸入，預測10張（1 h）未來回波圖。

文中選取一組強回波天氣作為個例進行分析，圖5為歷史10個時刻回波數據，圖6為未來10個時刻真實回波數據，圖7為未來10個時刻預測回波數據。從預測效果來看，GC-ResUNet模型能夠預測出回波的整體運動趨勢，在初始時刻對于回波的位置及強度預測基本準確，但隨著時間序列的增長，模型的預測能力減弱，主回波區中的強回波在位置及強度上都未能實現準確預測，邊緣區域的弱回波消失。

為檢驗GC-ResUNet模型在不同回波強度下的魯棒性，本實驗對該模型在20、30、40、50 dBz四種不同回波強度下的CSI、POD、FAR結果進行分析評價，圖8為評分結果的趨勢圖。從結果來看，該模型在不同回波強度下的預測結果隨著時間序列的增加，CSI和POD評分逐漸下降，FAR評分逐漸升高；隨著回波強度的增強，CSI和POD評分逐漸減少，FAR評分逐漸增加。

為更好地檢驗GC-ResUNet算法的預測效果，將GC-ResUNet算法與傳統光流法的評分結果進行定量分析，分析結果如表2、表3所示。

表3 逐6 min模型回波強度評分結果對比Table 3 Comparison of echo intensity score results for each 6 min model

表2為不同回波強度模型評分結果對比。從預測結果來看，GC-ResUNet在不同回波強度下CSI相較于傳統光流法的提升幅度在0.08～0.10之間，POD相較于傳統光流法提升幅度在0.06～0.13之間，雷達回波強度在30 dBz以下GC-ResUNet的預測成功率相較于傳統光流法有20%左右提升，而雷達回波強度在30 dBz以上時GC-ResUNet的預測成功率相較于傳統光流法提升33%～70%，表明GC-ResUNet在保證回波主體預測能力的前提下增強了重要信息的學習能力；FAR相較于傳統光流法下降幅度在0.10～0.13之間，表明GC-ResUNet對于邊緣信息的預測能力有所增強。

表2 不同回波強度模型評分結果對比Table 2 Comparison of scoring results of different echo intensity models

表3為逐6 min模型回波強度評分結果對比。從預測結果來看，初始時刻傳統光流法與GC-ResUNet的預測成功率相差0.05，但隨著預測時間的增加兩者之間的差距越來越大，當預測時間為60 min時，兩者的預測成功率相差0.11，表明兩者在初始時刻的預測能力近似，但隨著時間增長，GC-ResUNet的預測能力優于傳統光流法。POD與FAR的變化趨勢也都能表明GC-ResUNet對于長時間的預測能力有所提升。

從實驗結果來看：（1）不同模型隨著回波強度的增強預測成功率均有下降，這是因為該地區全年出現40 dBz以上的強對流天氣相對較少，導致用于訓練強回波區的數據少，無法使模型很好地學習到此類回波的圖像特征，但GC-ResUNet網絡的下降幅度小于傳統光流法。雖然GC-ResUNet網絡相比于傳統光流法可以學習到更全面的信息，但數據特征數量上的差異還是會使網絡學習到的圖像特征產生偏差。（2）不同模型隨著預測時間序列增長預測成功率均有下降，傳統光流法的下降程度大于GC-ResUNet。這是因為強對流天氣生命史短暫且具有明顯的突發性，隨著時間的增加，網絡累積帶來的誤差會對預測結果帶來較大影響，雖然GC-ResUNet產生的誤差小于傳統光流法，但是僅依靠深度學習網絡無法完全捕捉到天氣變換過程中的內在規律。

4 結束語

本文針對雷達回波外推問題，提出了基于U-Net神經網絡與GCNet自注意力機制的深度學習模型GC-ResUNet，該模型利用雷達回波數據集進行模型訓練與測試，根據積冰云層與回波強度之間的關系，完成了積冰云層的預測任務。通過與傳統光流法的預測評分對比，得出以下結論：

（1）GC-ResUNet模型在訓練過程中同時提取出回波圖像的細節信息與全局上下文信息，并通過全局信息的權重比增強了圖像中重要信息的學習能力。相較于傳統光流法，改進后的神經網絡結合加權損失函數，使該模型對于中低強度回波的預測能力提升20%左右，對于強回波的預測能力提升33%～70%，可以更好地完成積冰云層的預測任務。

（2）在數據集較小的情況下，GC-ResUNet發揮了比傳統光流法更好的預測效果，但該模型還有很大的提升空間，可以通過增加強回波發生的比例，提升模型對于強回波區的預測能力。

（3）雖然用來解決氣象任務的方法眾多，但都有各自的局限性，這是由天氣變化的復雜性以及天氣預報的特殊性決定的。未來可以考慮將深度學習方法與基于物理機制的數值模擬方法相結合，發揮各模型的優勢，提升預測效果。