基于SAU-NetDCGAN的天氣云圖生成方法

摘要：天文臺天氣監測系統對天氣云圖存在巨大需求。為解決傳統的生成對抗網絡在擴充天氣云圖數據集時模型不穩定以及圖像特征丟失等問題，提出一種基于SAU-NetDCGAN的雙層嵌入式對抗網絡天氣云圖生成方法，該方法由兩層網絡相互嵌套組成。首先，第一層嵌入式網絡是將U型網絡添加到生成對抗式網絡的生成器中，該網絡作為基礎架構，利用編碼器與解碼器之間的跳躍連接增強圖像的邊緣特征恢復能力；接著，第二層嵌入式網絡是將簡化參數注意力機制（simplify-attention，SA）添加到U型網絡中，該注意力機制通過簡化參數降低了模型復雜度，有效地改善了圖像暗部特征丟失的問題；最后設計了一種新的權重計算方式，加強了各特征之間的聯系，增加了對圖像細節紋理特征的提取。實驗結果表明，該方法生成的圖像在清晰度、色彩飽和度上與傳統的生成對抗網絡相比圖像質量更好，在峰值信噪比、結構相似性的評價指標下分別提高了27.06dB和0.6065。

關鍵詞：深度學習；圖像生成；生成式對抗網絡；U-Net；注意力機制

中圖分類號：TP393.04文獻標志碼：A

文章編號：1001-3695（2023）05-046-1577-06

doi：10.19734/j.issn.1001-3695.2022.08.0422

0引言

大型高海拔天文臺是目前最先進的宇宙線探測設備之一。天文臺在檢測宇宙線時，對周圍的天氣要求十分苛刻，惡劣的天氣會對天文臺的核心部件造成損壞，所以需要時刻監測天氣的變化。天文臺周圍天氣的監測通過望遠鏡觀測并拍攝圖像，然后將拍攝的圖像傳輸到地面工作人員的電腦進行人工天氣圖像識別，但是這種方法不僅準確率低，而且耗時、花費高昂。當前，大部分天文臺采用深度學習的方法進行圖像生成，進而用生成的圖像訓練天氣識別網絡。

圖像生成技術的產生和更新已經成為當下十分重要的發展方向，表現出了良好的發展前景。同時，圖像生成技術廣泛應用于信息安全［1～3］、醫療［4～6］以及無人駕駛［7～9］等方面，發揮了非常大的作用。2014年Goodfellow等人［10］提出生成對抗網絡（GAN），但是傳統的GAN存在模型崩潰的問題，所以有許多學者提出了改進的生成對抗網絡。文獻［11］提出一種端到端的圖像生成模型，通過改進的退化模型直接學習和估計模糊圖像與其傳輸圖像之間的映射關系，但是該模型在訓練時使用了大量的無效特征。文獻［12］提出一種增強生成器的條件生成對抗網絡（CGAN），通過整合—加強—減去的促進策略，運用了一個簡單有效的增強型解碼器，增強了圖像特征的恢復。近年來，注意力機制［13］在深度學習中取得了成功，因為注意力機制類似于視覺效果，不僅能夠獲取更多的關鍵特征，還可以過濾掉一些不必要的信息。Zhang等人［14］將注意力機制添加到GAN中，有效地解決了圖像長距離依賴性問題。孫雄風等人［15］結合最小二乘對抗損失防止GAN的梯度消失，緩解了生成器優化矛盾，但是生成的圖像缺乏細節紋理和存在噪點。Yu等人［16］提出一種改進的U-Net用于從PPG信號中學習高維特征，以減少學習特征的冗余。

上述方法都采用了深度學習方法進行圖像生成，但是訓練網絡模型需要使用大量數據集。同時天文臺監測系統對天氣圖像存在巨大需求，使用小樣本數據集訓練會出現網絡模型過擬合，導致模型的泛化能力差。傳統的生成對抗網絡模型在擴充天氣云圖數據集時會出現不穩定及生成圖像特征缺乏多樣性的問題。為了解決上述問題和提高天文臺生成圖片的質量，本文提出一種基于SAU-NetDCGAN的雙層嵌入式對抗網絡天氣云圖生成方法。本文的主要貢獻有：a）將U型網絡作為生成器的基礎架構，利用編碼器與解碼器之間的跳躍連接增強了圖像的特征恢復能力；b）將簡化參數注意力機制嵌入到U型網絡中，有效地改善了圖像特征丟失的問題；c）設計了一種新的權重計算方式，加強了各特征之間的關聯，增加了對圖像細節紋理特征的提取。

1相關工作

1.1U-Net結構

U-Net［17］是一種自編碼的網絡結構。該網絡模型由編碼器（encoder）和解碼器（decoder）構成。網絡輸入一張512×512的特征圖，進入encoder部分，進行卷積操作。卷積操作在卷積運算、歸一化和LeakyReLU激活函數等一系列操作后，學習到特征圖的特征。完成卷積操作后就開始進行下采樣。下采樣主要是通過卷積和池化來進行的，模型每提取一次特征，通過池化層來減小特征圖的大小，有效緩解了模型運算壓力。

decoder利用反卷積或線性插值等進行上采樣，這樣不僅能夠避免被壓縮圖片的邊緣特征丟失，還能最大化地提高圖片的分辨率。與下采樣的過程相反，decoder在經過幾次反卷積后，將壓縮的圖片還原成原始特征圖片的大小。

1.2深度卷積生成對抗網絡（DCGAN）

傳統的GAN在訓練中由于生成器和判別器在博弈中很難同時收斂，所以容易出現模式崩潰的情況。為了解決這一問題，文獻［18］提出了將卷積神經網絡（CNN）加入到GAN中，改進后的GAN稱為DCGAN。該網絡加速了特征的提取，提高了模型的穩定性，主要原理是在生成器和判別器中加入了batchnormalization（BN）層。在訓練開始時，BN層使用固定的參考小批量樣本來計算歸一化批量統計量，從而減少小批量樣本對其他樣本的依賴，有效防止生成器將樣本收斂在同一個點，保證了梯度傳播到每一層。

2改進的網絡模型及實現方法

2.1本文實現方法

首先收集天文臺周圍的天氣云圖數據集約7000張圖片，對數據集進行分類，其中5000張圖片作為訓練集，2000張圖片作為測試集；其次，在已經搭建好的DCGAN模型中添加U-Net和SAU-Net模塊，完成本文模型的搭建工作并訓練網絡；接著，將數據集作為輸入傳入進模型中，模型經過對抗學習，生成出接近視覺效果的圖片；最后，將生成的圖片與經典網絡生成的圖片進行對比得到實驗結果。

2.2網絡框架

本文以DCGAN為基準網絡框架，在其生成器中添加帶有簡化參數注意力機制的U-Net模塊。判別器是一個二分類網絡，在最后一層借鑒了文獻［19］中使用的PatchGAN，綜合考慮云圖的不同特征。本文的整體網絡框架如圖1所示。

2.3改進的生成器結構

由于傳統的DCGAN模型在卷積層提取特征時容易出現丟失關鍵信息的情況，所以在其生成器中添加了SA

（simplify-attention）和U-Net。改進的生成器結構主要由三部分組成，如圖2所示。首先是提取基礎特征的卷積塊，然后是基于簡化參數注意力機制與U-Net特征提取塊（simplify-attentionU-Netfeaturesextractblock，SUFEB），最后是特征解碼塊。

2.3.1簡化參數的注意力機制（SA）

在云圖特征提取過程中，U-Net容易丟失云圖邊緣紋理、光譜信息等淺層次的表征，而更加偏向于云圖中區域類別的深層次表征。為了使U-Net更好地提取天氣云圖的局部信息和全局信息，同時讓模型自動學習特征圖的重要性，本文將注意力機制嵌入到U-Net中。由于主流注意力機制的參數量過多，導致該網絡的計算成本增加，所以本文提出一種簡化參數的注意力機制，提高了算法的運行效率，如圖3所示。相較于以前的網絡結構，簡化參數注意力機制能夠通過對特征重新標定的策略，完成對現有特征圖重要程度的自動學習。該機制不僅使云圖邊緣特征信息大大增加，同時還有效地改善了特征丟失的問題，提高了實驗結果的準確性與泛化性。

首先，與主流的注意力機制相比，該注意力模塊使用較少的參數量建立起特征圖與其對應特征權重之間的聯系。

SA模型的方法為：對于大小為W×H×C的輸入特征圖U，U=［h1，h2，…，hx］，將特征圖U進行一維向量化操作，得到一維的特征圖Z。一維向量化操作就是將特征圖的每個像素特征進行通道級別的壓縮，將每個像素特征壓縮為一個值，其公式如下：

其中：W′為第x個通道優化后得到的特征圖。通過上述操作，完成對權重值的增強或抑制，重要的特征會通過高的權重值得到增強，不重要的特征則會被抑制。

2.3.2添加SA的U-Net（SAU-Net）

在U-Net的編碼器中添加SA，該機制通過特征設定策略對輸入圖的特征進行自動學習，幫助模型更好地學習到哪些特征需要增強，哪些特征需要抑制。改進的U-Net能夠保證在壓縮提取特征時，最大化地保留輸入圖片的特征，提高實驗結果的準確性。與傳統的U-Net模型不同，改進的U-Net模型在多云、陣雨等紋理信息的提取中得到了增強，能夠獲得更多的邊緣特征和暗部特征。

圖4為SAU-Net模型結構，與傳統的U-Net模型最大的區別在于，SAU-Net將編碼器得到的結果不直接傳入解碼器，而是通過自注意力通道進行特征加強。這使得改進后的模型能夠提取準確的特征，提高了模型的泛化能力。

2.4判別器結構

判別器的網絡結構如表1所示。判別器主要是用于對生成圖像進行判斷并輸出介于0～1的值。網絡結構由四個卷積層組成，在每一層后添加LeakyReLU激活函數保持梯度傳遞，在第2和4層后面添加歸一化處理，保證了網絡的穩定性，在第5層添加了PatchGAN，使得模型的感受野更大，提高了判別器的準確性。

3.3對比實驗結果

本文方法與幾種流行的生成對抗網絡模型進行對比，這幾種算法分別是GAN［10］、WGAN［21］、CGAN［22］、DCGAN［18］。為了客觀地評價生成圖像的質量，對生成的圖像測試了其PSNR和SSIM，結果如表2所示。表2中的實驗結果均在訓練200epoches的條件下得到。由表2可知，本文方法的PSNR和SSIM值都高于其他算法。其中本文方法的PSNR值與GAN相比提高了27.06dB，SSIM值與GAN相比提高了0.6065。在多云這一類天氣圖像中，本文方法的SSIM值最接近1，更加符合視覺效果。圖7和8展示了幾種算法生成圖像的對比。

從圖8可以看出，DCGAN算法在云圖的高密度區域有明顯的噪聲，在低密度區域出現鋸齒狀；CGAN算法對色彩還原度不準確，出現了偏色等問題；WGAN算法在少量特征圖中如晴朗圖還原度較好，但是在多特征圖中如陣雨圖有特征模糊現象；GAN在特征還原中產生了較多的模糊；本文方法在圖片還原度上取得了不錯的效果，對于細節特征的處理有較好的表現，在多特征圖中得益于SA和U-Net的特征提取能力，在細節部分和邊緣部分相比于其他網絡模型的生成結果更加清晰。

3.4消融實驗對比

為了進一步驗證本文方法的可行性，下面進行消融實驗。實驗中逐步添加各模塊進行測試對比。在消融實驗中，保持實驗參數不變，仍然選擇PSNR、SSIM作為圖像生成的評價指標。

首先選擇普通的DCGAN作為主體網絡，逐步加入U-Net、SAU-Net模塊，結果如表3所示。說明了本文方法具有最佳的效果。

圖9、10展示了添加不同模塊后生成的圖片效果。通過觀察可以看出，DCGAN生成的圖片存在暗部特征上顏色還原不準確和圖片的邊緣特征丟失等問題，分別在濃霧云圖和多云圖片中體現。其次在DCGAN中添加U-Net模塊后發現，生成的圖片色彩過于飽和，如多云圖片；部分圖片的邊緣存在少量的噪點，如晴朗圖片和濃霧圖片。接著繼續在之前的網絡中添加SA模塊，可以看出此時生成的圖片效果已經接近真實視覺效果，但是在圖片紋理部分還存在問題。綜上，通過消融實驗可以得出，本文方法能夠獲得高對比度、高清晰度、噪聲更小、細節還原更顯著的圖片，更加符合視覺效果。

4結束語

本文針對天文臺天氣監測系統天氣云圖數據集不足的問題，提出一種基于SAU-NetDCGAN的雙層嵌入式對抗網絡的天氣云圖生成方法。本文方法不僅解決了訓練數據集不足的問題，還改善了圖片生成過程，減少了模型參數量，提高了模型的時間效率；其次，該方法充分地還原了圖像的邊緣特征和暗部特征，生成的圖像具有較好的視覺效果，圖像的質量也較高；最后，與其他傳統的生成對抗網絡生成的圖像對比，本文方法生成的圖像更加符合人眼，視覺并且評價指標也優于其他算法。然而，在實際應用中，盡管簡化了網絡的參數，但依舊存在一些不足，如網絡層數較復雜、模型的穩定性不夠好、訓練的epoch次數過少。在未來的工作中，將本文模型應用于天文臺中，以確保天文臺的安全使用。同時，將進一步研究如何降低網絡模型復雜度，提升特征提取能力和研究高效的損失函數。

參考文獻：

［1］CaoJingyi，LiuBo，WenYunqian，etal.Hidingamongyourneighbors：faceimageprivacyprotectionwithdifferentialprivatek-anonymity［C］//ProcofIEEEInternationalSymposiumonBroadbandMultimediaSystemsandBroadcasting.Piscataway，NJ：IEEEPress，2022：1-6.

［2］PavezV，HermosillaG，PizarroF，etal.Thermalimagegenerationforrobustfacerecognition［J］.AppliedSciences，2022，12（1）：articleNo.497.

［3］胡麟苗，張湧.基于生成對抗網絡的短波紅外—可見光人臉圖像翻譯［J］.光學學報，2020，40（5）：75-84.（HuLinmiao，ZhangYong.Facialimagetranslationinshort-wavelengthinfraredandvisiblelightbasedongenerativeadversarialnetwork［J］.ActaOpticaSinica，2020，40（5）：75-84.）

［4］徐峰，馬小萍，劉立波.基于生成對抗網絡的甲狀腺超聲圖像文本跨模態檢索方法［J］.生物醫學工程學雜志，2020，37（4）：641-651.（XuFeng，MaXiaoping，LiuLibo.Cross-modalretrievalmethodforthyroidultrasoundimageandtextbasedongenerativeadversarialnetwork［J］.JournalofBiomedicalEngineering，2020，37（4）：641-651.）

［5］王江濤，吳新紅，閆冰，等.一種基于互信息對比學習由磁共振成像生成頭部偽CT圖像的方法［J］.中華放射醫學與防護雜志，2022，42（2）：95-102.（WangJiangtao，WuXinhong，YanBing，etal.Mutualinformation-basedcontrastivelearningforthegenerationofpseudo-CTimagesoftheheadfrommagneticresonanceimaging［J］.ChineseJournalofRadiologicalMedicineandProtection，2022，42（2）：95-102.）

［6］陳雪云，黃小巧，謝麗.基于多尺度條件生成對抗網絡血細胞圖像分類檢測方法［J］.浙江大學學報：工學版，2021，55（9）：1772-1781.（ChenXueyun，HuangXiaoqiao，XieLi.Classificationanddetectionmethodofbloodcellsimagesbasedonmulti-scaleconditionalgenerativeadversarialnetwork［J］.JournalofZhejiangUniversity：EngineeringScience，2021，55（9）：1772-1781.）

［7］吳驊躍，段里仁.基于RGB熵和改進區域生長的非結構化道路識別方法［J］.吉林大學學報：工學版，2019，49（3）：727-735.（WuHuayue，DuanLiren.UnstructuredroaddetectionmethodbasedonRGBentropyandimprovedregiongrowing［J］.JournalofJilinUniversity：EngineeringandTechnologyEdition，2019，49（3）：727-735.）

［8］黃迎港，羅文廣，藍紅莉，等.復雜路況下無人車輛全速域路徑跟蹤復合控制研究［J］.重慶理工大學學報：自然科學版，2022，36（2）：28-36.（HuangYinggang，LuoWenguang，LanHongli，etal.Studyoncompositepathtrackingcontrolofunmannedvehicleinfull-speeddomainundercomplexroadconditions［J］.JournalofChongqingUniversityofTechnology：NaturalScience，2022，36（2）：28-36.）

［9］王大方，杜京東，曹江，等.面向自動駕駛數據生成的風格遷移網絡研究［J］.汽車工程，2022，44（5）：684-690.（WangDafang，DuJingdong，CaoJiang，etal.Researchonstyletransfernetworkforautonomousdrivingdatageneration［J］.AutomotiveEngineering，2022，44（5）：684-690.）

［10］GoodfellowI，Pouget-AbadieJ，MirzaM，etal.Generativeadversarialnetworks［J］.CommunicationsoftheACM，2020，63（11）：139-144.

［11］CaiBolun，XuXiangmin，JiaKui，etal.DehazeNet：anend-to-endsystemforsingleimagehazeremoval［J］.IEEETransonImageProcessing，2016，25（11）：5187-5198.

［12］趙揚，李波.基于增強生成器條件生成對抗網絡的單幅圖像去霧［J］.計算機應用，2021，41（12）：3686-3691.（ZhaoYang，LiBo.Singleimagedehazingbasedonconditionalgenerativeadversarialnetworkwithenhancedgenerator［J］.JournalofComputerApplications，2021，41（12）：3686-3691.）

［13］WangFeng，TaxDMJ.SurveyontheattentionbasedRNNmodelanditsapplicationsincomputervision［EB/OL］.（2016-01-25）.http：//doi.org/10.48550/arxiv.1601.06823.

［14］ZhangHan，GoodfellowI，MetaxasD，etal.Self-attentiongenerativeadversarialnetworks［EB/OL］.（2019-06-14）.http：//doi.org/10.48550/arxiv.1805.08318.

［15］孫雄風，黃珍，陳志軍，等.基于改進GAN的端到端自動駕駛圖像生成方法［J］.交通信息與安全，2021，39（5）：50-58，75.（SunXiongfeng，HuangZhen，ChenZhijun，etal.AnimagegenerationmethodforautomateddrivingbasedonimprovedGAN［J］.JournalofTransportInformationandSafety，2021，39（5）：50-58，75.）

［16］YuMingzheng，HuangZhiwen，ZhuYidan，etal.Attention-basedresidualimprovedU-Netmodelforcontinuousbloodpressuremonitoringbyusingphotoplethysmographysignal［J］.BiomedicalSignalProcessingandControl，2022，75：103581.

［17］RonnebergerO，FischerP，BroxT.U-Net：convolutionalnetworksforbiomedicalimagesegmentation［C］//ProcofInternationalConferenceonMedicalImageComputingandComputer-AssistedIntervention.Cham：Springer，2015：234-241.

［18］RadfordA，MetzL，ChintalaS.Unsupervisedrepresentationlearningwithdeepconvolutionalgenerativeadversarialnetworks［EB/OL］.（2016-01-07）.http：//doi.org/10.48550/arxiv.1511.06434.

［19］SajjadiMSM，ScholkopfB，HirschM.EnhanceNet：singleimagesuper-resolutionthroughautomatedtexturesynthesis［C］//ProcofIEEEInternationalConferenceonComputerVision.Piscataway，NJ：IEEEPress，2017：4501-4510.

［20］章文星，呂達仁.地基熱紅外云高觀測與云雷達及激光云高儀的相互對比［J］.大氣科學，2012，36（4）：657-672.（ZhangWen-xing，LyuDaren.ComparisonofcloudbaseheightsbygroundbasedskyIRbrightnesstemperaturemeasurementswithcloudradarandceilometerinShouxian［J］.ChineseJournalofAtmosphericSciences，2012，36（4）：657-672.）

［21］ArjovskyM，ChintalaS，BottouL.Wassersteingenerativeadversarialnetworks［C］//Procofthe34thInternationalConferenceonMachineLearning.［S.l.］：JMLR.org，2017：214-223.

［22］MirzaM，OsinderoS.Conditionalgenerativeadversarialnets［EB/OL］.（2014-11-06）.http：//doi.org/10.48550/arxiv.1411.1784.