基于多維損失函數優化FSRNet的氣象觀測圖像超分辨率重構算法

王瑞祥

（1.河南省氣象探測數據中心，河南 鄭州 450003；2.中國氣象局·河南省農業氣象保障與應用技術重點實驗室，河南 鄭州 450003）

0 引言

目前，我國已建立地面、高空和空間觀測相結合的綜合氣象觀測網，在支撐公共氣象、資源氣象及生態氣象服務中發揮了顯著作用，但在部分氣象災害重點監測區域、特殊地理位置和一些重點服務區域仍然存在觀測途徑難、站點稀少等問題，難以捕捉到局地災害性天氣現象和觀測資料。據此，河南作為志愿氣象觀測的試點省份，已招募社會志愿氣象觀測設備并入觀測站網序列。但是由于志愿觀測設備存在多樣性，測量環境各異，儀器缺乏穩定性，數據采集和傳輸受到通信條件和觀測環境多種因素的限制，一系列觀測圖像質量較低，給研究帶來了困難，因此需要對氣象觀測圖像進行超分辨率重構。

超分辨率（Super-Resolution，SR）是圖像分析與識別中的一項基本技術，可以極大地促進農作物圖像的目標識別任務，在傳統的圖像識別領域應用廣泛［1-2］。在農業氣象觀測以及一些志愿觀測圖像中，例如農作物的生長圖像、重要天氣現象圖像、天氣過程的圖像等，不同觀測設備的圖像質量存在較大的差異，傳統圖像空間中的像素級均方誤差損失函數通常運用在極個別圖像的超分辨率重構上［3］，其像素級的輸出更接近真實的HR 圖像，會使得輸出的圖像產生平滑和模糊的效果，對細節和紋理的要求不高。相對于普通圖像的超分辨率，氣象觀測圖像中不同的觀測要素存在特定的先驗知識，例如霧霾、冰雹、降水、大風以及農作物不同的周期生長，具有不同的知識特點，這些先驗知識是氣象圖像的超分辨率的關鍵，例如，不同天氣圖像所對應的天氣現象字段以及不同的農作物圖片對應的生長周期等可以幫助重建更加精細的目標形狀［4］，其字段的構造成分可以重塑目標細節。

通過對FSRNet 超分辨率網絡各個模塊進行分析研究發現，傳統的超分辨率網絡模塊之間構造相對粗略，損失函數的設計相對欠缺不夠完善，從而導致經過網絡訓練輸出的超分辨率圖像的紋理不夠精細、各項硬指標和視覺質量不高。針對以上問題，本研究提出了一種基于多維損失函數優化FSRNet 的氣象觀測圖像超分辨率重構算法，降低了計算復雜度，節省了大量的計算量，對網絡訓練采用遞進式的方法，對模型進行分步訓練，解決了網絡訓練時較難的參數調整，避免了粗略超分辨率網絡造成先驗估計準確性較低等相關問題，使粗略超分辨率網絡輸出質量較高的圖像。

1 傳統超分辨率網絡

傳統的超分辨率網絡結構可大致分為粗糙SR網絡（coarse SR network）、精細SR 編碼器（fine SR encoder）、先驗估計網絡（prior estimation network）和精細SR 解碼器（fine SR decoder）四個模塊。網絡的輸入經過立方卷積插值模糊處理過的圖像，最后輸出的是高分辨率的SR 圖像。通過立方卷積插值（bicubic）對氣象觀測圖像進行接近高分辨率的圖像放大效果處理，為了使先驗估計網絡直接從分辨率相對較低的氣象觀測圖像中提取到關鍵的先驗信息，首先不改變輸出圖像大小，使圖像由粗糙SR 網絡輸入，先快速生成一個粗略的SR圖像，使得先驗估計網絡能夠提取到相對準確的圖像中目標關鍵點和解析圖。氣象觀測圖像途徑粗略的SR 網絡后可以產生粗略SR 圖像，將粗略SR 圖像輸入到先驗估計網絡中，通過先驗估計網絡來預測氣象觀測圖像中的目標解析圖和關鍵點熱圖，對圖像進行降采樣，使得輸出的先驗信息包括多個預測的目標解析圖。接著將粗略SR 圖像輸入到精細SR 編碼器中，精細SR 編碼器利用殘差塊進行特征提取，將特征進行下采樣，將先驗特征融合圖像特征作為串聯結構形式，并把其作為精細SR 解碼器的輸入，運用精細SR 解碼器將特征進行上采樣到一個較高的分辨率，恢復最終的HR 圖像，此時相對分辨率較模糊的氣象觀測圖像就完成了傳統的超分辨率重建，可以提高氣象圖像精細化程度，但圖像的紋理不夠精細、各項硬指標和視覺質量仍不高。

2 超分辨率網絡的改進

2.1 粗糙SR網絡的優化

原始的FSRNet 超分辨率網絡對于圖像的輸入尺寸相對較大，往往是插值過后的低分辨率圖像，然而輸入圖像的尺寸與經過神經網絡訓練計算的時間復雜度成正比，尺寸越大則時間復雜度越高。因此，為了提高網絡的效率和重構質量，把原始圖像進行降分辨度輸入，保證輸入尺寸為較低的16×16 低分辨率圖像，并以此輸入至粗糙SR 網絡中進行圖像恢復，并在粗糙SR 網絡末端融入轉置反卷積函數再把圖像恢復至128×128×3。FSRNet 在粗糙SR網絡中使用了3個殘差塊來提取特征，在最后增加一個轉置卷積層來放大圖像。

2.2 多維損失函數構建

通過使用FAN網絡，來提取目標熱圖進行監督訓練，引入的蒸餾FAN網絡表示為FANd。

通過引入圖像目標注意力損失，恢復目標圖像周圍區域的屬性特征，由于圖像的關鍵點熱圖可以更好地體現目標所在的位置特征，所以運用目標關鍵點熱圖表現位置信息，記為Mτ，將放大后的圖像與目標圖像構成逐要素信息矩陣向量，并對其進行向量積計算，以目標周圍的圖像特征作為圖像目標注意力的重點關注區域，由此目標注意力損失可以表示為lat，其損失函數表示為式（1）。

式中：G代表圖像目標SR 網絡的生成器，G在訓練的第一階段表示為粗略SR 網絡，后一階段表示剩余網絡。HSR和LSR分別為輸入的目標圖像和Plow。目標熱圖在各通道上的最大值為關鍵點注意力熱圖Mτ。使熱圖標準化至［0，1］范圍內，使得界標之間的差異性特征更為鮮明，圖像的長和寬W、H均為128像素。

先驗損失的引入，通過先驗估計網絡PNet預測目標先驗信息，減少生成的圖像先驗信息和目標先驗信息之間的差異性，先驗損失函數記為lprior，其定義如式（2）。

式中：PNet降采樣后輸出，所以經過粗略SR 網絡后輸出的氣象觀測圖像為64×64像素。

感知損失的引入［5］，使用VGG16網絡的高級特征記為φVGG，生成更真實的HR 圖像，有效防止生成的氣象圖像產生失真和模糊的問題，感知損失函數記為lperc，其表現形式如式（3）。

通過引入逐像素均方誤差損失訓練，找出目標圖像和超分辨圖像之間的差異性最小的界值，均方誤差損失函數記為lmse，其表現形式如式（4）。

與基于MSE的深度模型圖像重建相比，生成對抗網絡（GAN）對SR 的圖像重建帶來了顯著的效果，通過判別網絡區分SR 圖像和真實環境下的高分辨率圖像，有效地還原真實環境下的圖像。引入對抗損失函數來生成超分辨率氣象觀測圖像，通過構 建 鑒 別 器Diden，MSE 損 失 可 以 用IHSR～PNetr與ISR～PNetg之間的關系來表示，其中IHSR～PNetr表示為圖像的目標分布特征，ISR～PNetg表示為圖像生成的分布的特征，用Wasserstein 距離［6］的概念來度量IHSR～PNetr與ISR～PNetg之間的關系，為了對鑒別器中“Lipschitz-1 條件”進行有效規范和限定，采用帶有梯度懲罰策略的WGAN（WGAN with gradient penalty）［7］，該策略相比于傳統的WGAN 訓練更加穩定，可以使收斂速度變得更快，并且使得生成的樣本圖像質量更高。令I～表示為PNetr和PNetg的樣本中的隨機采樣圖像，對抗性損失函數記為lWGAN，其表現形式如式（5）。

熱力圖可以精確描述目標中心點的特征，通過訓練，可以準確得知目標中心存在損失，為了更好地發掘目標中心點的特征，引入熱圖損失，使得目標結構的一致性得以提升。通過量化目標圖像熱力圖與最小生成圖像相互之間存在的關系，用它們之間的差異性距離來計算熱度損失，把熱圖損失記為lheatmap，其損失函數的形式語言定義如式（6）。

式中：N表示關鍵點的數量。綜上所述，通過上述損失函數的融入，進行多維訓練，首先訓練粗略SR 網絡，其次訓練剩余網絡部分，具體訓練損失函數表示為式（7）、式（8）。

本研究優化超分辨率網絡結構，構成了一種多維損失函數的超分辨率網絡（Multi-dimensional loss function super resolution network，MLFSRNet），通過融入對抗性損失訓練，以超分辨率網絡生成器和鑒別器網絡組成網絡的整體結構。生成器網絡的結構在FSRNet 的基礎下優化了粗糙SR 網絡，以卷積層（Conv）、平均池化層（AvePool）和LeakyReLU激活組成鑒別器網絡的結構。

3 試驗分析

3.1 數據集和相關參數

為了使模型能夠更好地擬合真實環境，更容易與先進的算法模型進行比較，選擇使用公開的數據集MWD（Multi-class Weather Dataset）進行試驗分析，該數據集包含6 個常見類別的65 000 張圖像，這些類別包括晴天、多云、下雨、下雪、薄霧和雷雨天氣。該數據集還有利于天氣分類和屬性識別。

3.2 損失函數的影響分析

通過消融研究來驗證本研究所提出的MLFSRNet網絡在引入面部注意力損失、熱圖損失和感知損失的有效性，使用最普遍使用的峰值信噪比PSNR來評估超分辨率網絡的性能，用結構相似性SSIM指標來評估各個損失函數對于網絡優化的影響，以不同結構的網絡進行試驗對比。由表1 可知，由不同損失函數構成的網絡與構造的多維損失函數相比，其中lstep1-δlheatmap-εlat是去掉了注意力損失和熱度損失，只有像素損失和感知損失并進行對抗性訓練的結果，lstep1-εlat加入了熱圖損失，lstep1包含注意力損失、熱度損失以及像素損失和感知損失。由試驗可知，當在模型中融入注意力損失和熱圖損失構成多維損失融入后，PSNR 和SSIM 指標在數據集上的試驗效果都有明顯上升，由此可知MLFSRNet網絡的性能更好，可以生產出效果更佳的超分辨率圖像。

表1 超分辨率網絡的PSNR和SSIM指標的消融比較

3.3 粗略SR網絡的優化分析

為了驗證MLFSRNet 優化后粗略SR 網絡的性能，與傳統超分辨率網絡的粗略SR網絡進行對比分析。MLFSRNet 輸入的是16×16 像素的低分辨率圖像，FSRNet輸入的是128×128像素，所以MLFSRNet的粗略SR 網絡算法復雜度有所降低。該模型隨著網絡訓練PSNR 和SSIM 的變化情況如圖1 所示，MLFSRNet 和原始FSRNet 的粗略SR 網絡在PSNR和SSIM 上的對比見表2，由此可知構造的模型對圖像的超分辨率優化比傳統模型效果更好。

圖1 MLFSRNet網絡訓練PSNR和SSIM變化圖

表2 MLFSRNet與傳統FSRNet對比

3.4 MLFSRNet與先進算法模型對比分析

將構造的多維損失函數的超分辨率網絡MLFSRNet方法與一些先進的算法模型進行對比分析，圖2 分別顯示了構造的算法在不同量級的MWD 數據集中效果都優于其他算法。由表3也可以看出構造的網絡在PSNR和SSIM上都優于傳統的FSRNet［8-9］。

圖2 MLFSRNet網絡與先進算法對比

表3 MLFSRNet與優秀的FSRNet比較PSNR和SSIM

4 結論

本研究提出了一種多維損失函數優化FSRNet的超分辨率網絡MLFSRNet，首先引入熱圖損失、目標注意力損失和對抗性損失等多維損失函數，對FSRNet 進行模塊優化，使用轉置卷積放大低分辨率的圖像，從而降低了算法復雜度，并提升了粗略SR 網絡的性能。其次對模型進行分步訓練，先對低分辨率圖像進行粗略SR 網絡訓練，再使剩余網絡融入訓練，解決了網絡訓練時調參困難等相關問題，引入熱圖損失、目標注意力損失和對抗性損失訓練，也提高了超分辨率氣象觀測圖像的質量，通過試驗證明MLFSRNet 對于氣象圖像的超分辨率重建效果比一些先進的算法更好，為氣象領域圖像天氣現象識別提供了支撐。