基于生成對抗網(wǎng)絡的梯度引導太陽斑點圖像去模糊方法

李福海，蔣慕蓉*，楊磊，諶俊毅

（1.云南大學信息學院，昆明 650500；2.中國科學院云南天文臺，昆明 650216）

0 引言

在航空航天與電子設備快速發(fā)展的今天，日地之間的環(huán)境成為人們賴以生存的必備空間。由于太陽耀斑、日冕物質(zhì)拋射等太陽能量變化，通常會伴隨著X 射線、紫外線輻射增強、高能粒子流暴漲等現(xiàn)象發(fā)生，這些物質(zhì)一旦接近地球表面，將會對地面通信、衛(wèi)星基站、航天和電力等設備系統(tǒng)造成巨大損害，使用地基望遠鏡對太陽表面進行實時觀測并實施空間預警可以減少通信設備的損失。但是由于大氣湍流的擾動，通過地基望遠鏡獲取的太陽活動觀測圖像會發(fā)生嚴重模糊，降低了峰值能量與成像的角分辨率［1］，需要借助于圖像去模糊方法對低質(zhì)的太陽斑點圖像進行高分辨率重建。

目前，針對拍攝的低分辨率圖像進行高清重建主要有斑點干涉術、斑點掩模法［2］、位移疊加法［3］、基于消息傳遞接口的選幀位移疊加（Level1+）［4］等方法，在重建過程中需要較多的先驗知識，如大氣視寧度、斑點干涉函數(shù)，并且需要較多的圖像幀數(shù)，導致重建過程存在計算量大、部分高頻信息無法恢復等問題。隨著深度學習廣泛應用于計算機視覺和圖像處理領域，如何使用深度學習方法重建太陽斑點圖像，成為太陽觀測圖像處理的研究熱點之一。但現(xiàn)有深度學習重建網(wǎng)絡對于特征明顯、信息量較大的低分辨率圖像重建效果較好，而對于特性單一、噪聲較多、局部細節(jié)模糊的太陽斑點圖重建效果不理想，重建的圖像容易出現(xiàn)偽像、部分高頻信息難以恢復等問題。

基于上述問題，本文提出了一種基于生成對抗網(wǎng)絡（Generative Adversarial Network，GAN）與梯度信息聯(lián)合的去模糊方法來重建太陽斑點圖，能夠很好地恢復出高頻信息，滿足云南天文臺太陽圖像重建的要求。首先，根據(jù)輸入圖像存在嚴重模糊等特點，生成器采用特征金字塔網(wǎng)絡（Feature Pyramid Network，F(xiàn)PN）［5］與梯度的引導方式來構成，使用梯度引導方式可以有效還原圖像細節(jié)，防止重建圖像幾何變形［6］；其次，考慮到圖像無明顯輪廓、難以獲取有效梯度信息的特點，采用一種快速去模糊的方法對圖像進行預處理，促使圖像能夠恢復出部分輪廓，有效提高梯度引導帶來的局部細節(jié)重建效果；之后，使用雙鑒別器的構造方法來鑒別重建圖像與梯度圖的真實性，損失函數(shù)由像素內(nèi)容損失、感知損失和對抗損失三部分組成，以此保證網(wǎng)絡的重建效果與準確度。實驗結果表明，本文方法重建出的高分辨率太陽斑點圖像相較于現(xiàn)有深度學習去模糊方法更加接近Level1+多幀重建效果，具有太陽米粒輪廓更清晰、局部信息明顯、偽像較少等特點。

1 相關工作

深度學習作為當前圖像高清重建的主流方法之一，已經(jīng)被廣泛運用在多種類型的重建任務上。針對高清重建問題采用的網(wǎng)絡模型不同，通常分為卷積神經(jīng)網(wǎng)絡的重建方法與生成對抗網(wǎng)絡的重建方法。

1.1 卷積神經(jīng)網(wǎng)絡重建方法

近年來，隨著網(wǎng)絡層數(shù)的逐漸加深，超分辨率與去模糊兩個方向的圖像重建任務聯(lián)系越來越緊密，將估計模糊核的去模糊思路作用在超分辨率任務上的網(wǎng)絡模型并不少見。Johnson 等［7］提出了感知損失，使用預訓練網(wǎng)絡提取高級特征進行比較，會獲得高質(zhì)量的重建圖像。Gu 等［8］考慮到預測的模糊核與實際不匹配將會導致圖像平滑或銳利，提出基于卷積網(wǎng)絡的迭代修正模糊核（Iterative Kernel Correction，IKC）算法。Guo等［9］為了縮小模糊核的尋找空間，提出了一種對偶回歸映射網(wǎng)絡（Dual Regression Networks-Large，DRN-L）來估計模糊核，再重構低分辨率圖像。Kaufman 等［10］為了能夠?qū)δ：诉M行尋優(yōu)，提出兩個層次的模型用于重建，第一個層次用于得到模糊核圖片，第二個層次使用模糊核進行去模糊，這樣的構造允許對模糊核使用損失函數(shù)。Yang 等［11］為了恢復出局部重建細節(jié)，使用了基于參考圖（Reference-based）機制構造了用于超分辨率的紋理轉換網(wǎng)絡（Texture Transformer network for image Super-Resolution，TTSR），采用低分辨率圖像與同目標參考圖共同重建出高清圖像。以上工作表明卷積網(wǎng)絡對于邊緣細節(jié)處理、超分辨率重建和去模糊是有效的，但是本文通過實驗發(fā)現(xiàn)，多數(shù)模型僅針對雙三次退化和高斯模糊等人為構造的模糊核是有效的，而對于受大氣湍流影響導致的太陽斑點模糊圖像去模糊往往結果并不盡如人意。

1.2 生成對抗網(wǎng)絡的重建方法

隨著Goodfellow 等［12］構造了GAN 之后，近年來有關GAN的發(fā)展非常迅速，其中Radford等［13］使用反卷積的方式構造了深度卷積生成對抗網(wǎng)絡（Deep Convolutional GAN，DC-GAN）模型，首次將GAN 應用于圖像生成。Zhu 等［14］在風格遷移中使用兩對生成器與鑒別器構造出循環(huán)一致性對抗網(wǎng)絡（Cycleconsistent Adversarial Network，Cycle-GAN）模型，實現(xiàn)了高質(zhì)量的遷移效果；隨后Engin 等［15］將Cycle-GAN 用于重建工作，獲得了令人滿意的效果。Kupyn 等［16］采用雙尺度鑒別器，使得其能夠處理更大更復雜的真實模糊，并提出重建模型使用平均相對性最小二乘對抗損失（Relativistic average Least squares GAN Loss，RaLsGAN）［17］的建議，比Wasserstein 距離［18］和梯度懲罰的損失具有損失下降更快、更穩(wěn)定，生成圖像具有更優(yōu)視覺效果的優(yōu)點，同時提出的Deblur-GANv2 版模型獲得了當前公開數(shù)據(jù)集上去模糊方向領先的效果。在太陽斑點重建方面，Ren 等［19］在Cycle-GAN 的基礎上，添加了感知損失，針對太陽斑點難以獲取有效細節(jié)的問題，改進了內(nèi)容損失函數(shù)，提高了太陽斑點重建的局部細節(jié)。Jia 等［20］為了提高Cycle-GAN 對于太陽斑點去模糊的泛化能力，使用同一太陽望遠鏡拍攝到相同波長的斑點圖像，隨后經(jīng)過精心挑選圖像子塊將其傳入網(wǎng)絡學習，最終重建獲得了較好的恢復效果。本文經(jīng)過實驗發(fā)現(xiàn)，Deblur-GANv2 雖然對于由于相機抖動、目標運動等因素造成的圖像模糊能夠起到非常好的去模糊效果，但對于太陽斑點此類擁有更加復雜模糊核的圖像而言，不能恢復出較好的邊緣細節(jié)。Ren 等［19］改進的Cycle-GAN 用于太陽斑點的恢復取得了良好的視覺效果，但是其在太陽斑點米粒形狀的邊緣出現(xiàn)了大量偽像且很難恢復出米粒間的高頻信息。而Jia 等［20］的結果與Ren 等［19］的結果相似，雖然在數(shù)據(jù)集的選幀算法上更勝一籌，但Cycle-GAN 在重建太陽斑點圖像時細節(jié)恢復能力較弱，導致太陽斑點米粒間大量高頻信息的丟失。

2 本文方法

2.1 網(wǎng)絡整體結構

為了恢復出圖像的高頻信息、減少米粒輪廓的偽像，采用以FPN 結構與梯度信息引導聯(lián)合重建的方式設計生成器網(wǎng)絡，因為FPN 結構能夠注意到更小的細節(jié)，同時將圖像準確、有效的梯度圖加入解碼器的特征序列中能夠有效幫助其恢復出圖像的輪廓、局部細節(jié)。為了保證獲取的梯度信息具有有效性與真實性，需要將梯度分支的重建結果傳入鑒別器驗證，本文使用了雙鑒別器網(wǎng)絡的結構對高清重建圖像與梯度分支結果進行分別驗證，驗證結果產(chǎn)生的對抗損失一并加入到生成器的損失函數(shù)進行參數(shù)尋優(yōu)。此外，輸入的圖像由于大氣湍流等因素的影響導致嚴重模糊、缺乏細節(jié)，而常規(guī)的超分辨率重建與去模糊網(wǎng)絡中使用的像素內(nèi)容損失通常采用的均方誤差（Mean Squared Error，MSE）會使得重建圖過于平滑，更加難以重建出局部細節(jié)。基于以上考慮，本文采用平均絕對值誤差（Mean Absolute Error，MAE）作為像素內(nèi)容損失進行處理。

為了接近云南天文臺所使用的基于消息傳遞接口的選幀位移疊加算法（Leve1+）的重建效果，本文將Level1+的重建結果作為有監(jiān)督的真實圖像，將大氣湍流導致的模糊圖作為網(wǎng)絡的輸入圖像。本文方法網(wǎng)絡框架如圖1所示。

圖1 本文方法網(wǎng)絡框架Fig.1 Network structure of proposed method

2.2 生成器結構

2.2.1 生成器模型

本文提出的生成器模型結構受Ma 等［6］和Kupyn 等［16］的啟發(fā)，采用FPN結構與梯度分支引導重建的方式構成，而FPN下采樣提取特征階段（FPN 編碼器階段）采用Inception 模塊，生成器整體結構如圖2 所示。其中，梯度分支部分正如Ma等［6］所描述的，將獲取到的圖像多尺度特征分層次輸入梯度分支中將會有助于梯度信息的還原，且將梯度信息加入特征圖中一并卷積提取也會恢復圖像的局部細節(jié)。

圖2 生成器結構示意圖Fig.2 Schematic diagram of generator structure

與上述工作不同的是，本文通過實驗發(fā)現(xiàn)Ma 等［6］提出的梯度引導的保持結構超分辨率（Structure-Preserving Super Resolution with gradient guidance，SPSR）模型雖然能夠借用梯度圖引導恢復局部的細節(jié)，但是該模型設計的梯度分支依靠編碼器傳入特征梯度信息會過于依賴輸入圖的原始特征。對于太陽斑點此類原圖高度模糊的情況，編碼器將會在原圖中無法提取有效的特征梯度信息，從而導致梯度分支引導難以達到預期效果。

為了避免這個問題，本文所采用的FPN 結構在特征橋梁連接后的自頂向下上采樣重建階段（FPN 解碼器階段）構造了梯度分支。這樣設計的目的是因為從FPN結構的解碼器中能夠獲取更加有效的圖像特征，而不是編碼器當中提取的模糊特征，因此它能通過這些有效特征的梯度信息更好地還原出梯度圖。實驗結果表明，該設計能夠有效提取梯度信息，且能恢復出局部細節(jié)。此外，在特征堆疊之后為了減少生成器帶來的偽像，本文采用Wang 等［21］提出的殘差密集塊（Residualin-Residual Dense Block，RRDB）模塊，能夠在生成器訓練時提高其穩(wěn)定性且產(chǎn)生更少的偽像。

2.2.2 生成器損失函數(shù)

1）像素內(nèi)容損失。

對于重建的圖像，通常超分辨率重建與去模糊的深度學習網(wǎng)絡采用均方誤差（MSE）得到逐像素的差值比較，將結果作為像素內(nèi)容損失，使用這樣的損失將會有助于矯正生成器結果的顏色和紋理特征。但采用均方誤差的損失函數(shù)將會使得重建圖像的邊緣、局部細節(jié)變得更加平滑，這與本文的重建目標相違背，因此本文采用平均絕對值誤差（MAE）作為像素內(nèi)容損失。而對于生成器的另一條梯度分支，同樣需要像素內(nèi)容損失作為引導。與重建圖的考慮一致，均方誤差可能會影響梯度分支獲取的準確性，因此也采用了平均絕對值誤差作為其損失函數(shù)。而為了保證重建圖像與目標圖具有相似的輪廓，本文采用均方誤差對兩者的梯度圖做損失。所以，本文的像素內(nèi)容損失一共由三個部分組成，分別是重建圖像的像素內(nèi)容損失，梯度分支輸出結果對應的像素內(nèi)容損失，重建圖像的梯度圖像素內(nèi)容損失，其計算式如式（1）所示：

2）感知損失。

正如Johnson 等［7］所描述的，如果僅僅使用逐像素作差將會導致重建圖像難以恢復出原圖的感知效果。若兩張圖像僅僅只是產(chǎn)生小像素的平移，盡管從視覺感知上來說，兩者區(qū)別并不大，但逐像素作差的結果將會認為這兩張圖完全不一樣。考慮上述因素，本文同樣引入了感知損失，采用在ImageNet上預訓練完成的VGG19（Visual Geometry Group 19）網(wǎng)絡［22］，將重建圖與Level1+目標輸入其中并比較其輸出結果的差異性。這樣的操作將會使得重建圖像與Level1+圖像具有相似的特征圖，從而使得重建圖像看上去更加真實。感知損失的計算式如式（3）所示：

其中Φ(·)表示上述提到的預訓練VGG19模型。

3）對抗損失。

為了獲取到更加高質(zhì)量的重建圖像，本文使用了Kupyn等［16］建議使用的平均相對性最小二乘對抗損失（RaLsGAN）［17］，它能獲得更加高質(zhì)量的感知效果與逼真的高頻信息。其生成器的計算式如式（4）所示：

其中：pdata（x）代表目標（真實）分布；pz（z）代表生成（虛假）分布。與常規(guī)的GAN 中鑒別器用于鑒別輸入樣本是真實樣本的概率不同，在使用相對性對抗損失的GAN 中，鑒別器D的目標變成了鑒別一個樣本比另一個樣本更加真實的概率。因此，隨著訓練的迭代次數(shù)增加，鑒別器D（G（z））將會提高，而鑒別器D（x）則會下降，最終兩者達到平衡。

4）生成器損失函數(shù)。

最終將上述的損失函數(shù)相加即可得到損失函數(shù)，但為了使得損失函數(shù)各項之間的數(shù)值保持平衡，本文通過反復實驗設置了加法每一項的權重。生成器損失函數(shù)計算式如式（5）所示：

2.3 鑒別器結構

2.3.1 鑒別器模型

與其他GAN 網(wǎng)絡的設計思路相同，本文在鑒別器的使用上也采用了類似VGG128（Visual Geometry Group 128）［22］的結構作為生成器結果的真假辨認。值得一提的是，為了恢復出具有更高的細節(jié)，本文的鑒別器并未使用到池化層，且與Ledig 等［23］一樣，采用斜率為0.2 的帶泄露的線性整流單元（Leaky Rectified Linear Unit，LeakyReLU）作為激活函數(shù)。兩個鑒別器的輸入分別是來自于生成器的兩個分支，即重建圖像主干與梯度分支，結構示意圖如圖3所示。

圖3 鑒別器結構示意圖Fig.3 Schematic diagram of discriminator structure

2.3.2 鑒別器損失函數(shù)

與生成器的對抗損失對應，鑒別器采用的平均相對性最小二乘對抗損失計算式如式（6）所示：

因此，本文使用的兩個鑒別器損失函數(shù)如式（7）與式（8）所示：

3 實驗與結果分析

3.1 數(shù)據(jù)集

本文采用來自撫仙湖1 m 真空太陽望遠鏡（1 m New Vacuum Sun Telescope，NVST）所連續(xù)拍攝的太陽斑點作為數(shù)據(jù)集。雖然其觀測數(shù)據(jù)量巨大，但并非所有拍攝圖像都適用于重建工作，常見的Level1+算法采用200 幀拍攝的模糊圖像重建出1 幀，因此對于數(shù)據(jù)集的采集來說會出現(xiàn)有大量拍攝圖但均無對應的高清參照圖情況。但在Jia 等［20］的實驗下發(fā)現(xiàn)，深度學習網(wǎng)絡僅需要采用波長相同的拍攝圖像與其對應的少量高清參照圖即可完成模型的學習且能較好恢復出該波長下大多數(shù)的拍攝圖像。有了這個先驗知識，本文使用中國科學院云南天文臺所提供的重建選幀算法獲取模糊圖IBlur與其Level1+對應的少量重建圖ILevel1+作為數(shù)據(jù)集（IBlur，ILevel1+）。與Jia等［20］的數(shù)據(jù)集設計一樣，本文在挑選出拍攝圖后與其對應的Level1+圖像一并進行了分塊操作，最終獲得了超過5 萬張大小為256 × 256 的圖像子塊作為實際訓練數(shù)據(jù)集。受大氣湍流、光學系統(tǒng)的熱變形與重力變形等影響，拍攝模糊圖IBlur的模糊因子構成與常規(guī)的失焦模糊、運動模糊都不盡相同，特征難以辨認，細節(jié)獲取難度較大。部分數(shù)據(jù)集如圖4所示。

圖4 部分數(shù)據(jù)集Fig.4 Part of dataset

3.2 預處理方法

由于大氣湍流等引起的高度復雜模糊輸入圖像不再具有明顯的輪廓、細節(jié)等原因，生成器模型當中的梯度分支獲取的梯度信息依然較為模糊。為了讓梯度分支更好地引導重建，本文選用了Kupyn 等［16］提出的DeblurGANv2 模型進行預處理，而其生成器的編碼器部分選用了Mobile 模塊，這是因為Mobile-Net 參數(shù)量小、訓練速度更快，比起采用Inception 模塊而言，更適合作為預處理方法。通過實驗發(fā)現(xiàn)，由DeblurGANv2-Mobile 模型得到的預處理結果雖然難以獲取到局部細節(jié)，但是可以恢復出大致的結構，這將有效提升本文模型的梯度分支帶來的局部細節(jié)重建效果，且最終獲得的重建效果從測試集評估的結構相似度（Structural SIMilarity，SSIM）評價指標上看能夠比未經(jīng)過預處理時提高約2個百分點。

3.3 訓練過程

3.4 與同類方法的對比

將本文提出的方法與當前幾種在公開數(shù)據(jù)集上的超分辨率、去模糊先進算法以及太陽斑點同類去模糊算法進行了比較，其中包括了針對公開數(shù)據(jù)集上的超分辨率模型重建方法SPSR［6］、DRN-L［9］，去模糊模型重建方法DeblurGANv2［16］，以及同樣針對太陽斑點進行高清恢復的模型重建方法Cycle-GAN［19］、Cycle-GAN［20］。

為了將文獻［19-20］方法進行區(qū)分，本文將文獻［19］方法表示為Cycle-GAN1，文獻［20］方法表示為Cycle-GAN2。而DeblurGANv2［16］擁有兩個版本，分別是采用了Mobile 模塊與Inception 模塊構造的DeblurGANv2-Mobile 和DeblurGANv2-Inception。此外，本文方法+預處理表示使用DeblurGANv2-Mobile進行圖像預處理后，再使用本文方法得到的結果。

3.4.1 定量比較

為了保證對比的公平性，本文采用了對比方法研究中均出現(xiàn)過的評價指標：峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結構相似度（SSIM）。定量比較的結果如表1 所示，可以看出，本文所提出的方法在PSNR 和SSIM 上均取得了較好的結果。

表1 不同方法在測試集上的評估結果Tab.1 Evaluation results of different methods on test set

3.4.2 定性比較

從更加直觀的角度來看，本文提出的方法有效接近了目標Level1+的重建效果。不同方法的重建結果如圖5～6所示。

圖5 不同方法的重建結果對比Fig.5 Comparison of reconstruction results of different methods

從圖5 中可以發(fā)現(xiàn)，采用的FPN 與梯度引導聯(lián)合的重建方式能夠清晰地還原出圖像的整體輪廓特征且產(chǎn)生極少的偽像。此外，可以從圖6 的局部放大結果中觀察到，本文方法還原出的局部高頻信息更加接近Level1+圖像，而同樣采用的FPN 構造的DeblurGANv2 雖然能夠有效還原出邊緣信息，但是會丟失細節(jié)特征。Jia 等［20］雖然在數(shù)據(jù)集上做了很多工作，然而其重建模型的不適應性導致生成圖像上的米粒輪廓存在大量的偽像。Ren 等［19］針對太陽斑點特性，將Cycle-GAN 進行改進后，能夠清晰還原出太陽斑點圖像的米粒輪廓特征，但是同樣會帶來大量偽像，忽略掉較多的高頻信息。

圖6 不同方法的重建結果細節(jié)對比Fig.6 Detail comparison of reconstruction results of different methods

作為采用梯度引導的重建網(wǎng)絡，梯度分支的有效性將作為重要的參考依據(jù)。從圖7 輸入圖像的梯度圖可知，對于太陽斑點的模糊圖細節(jié)獲取難度較大，這也證實了本文模型的設計想法，對于太陽斑點圖像而言，梯度分支想要獲取圖像的特征信息，不能過于依賴輸入圖像的原始梯度信息，而需要在解碼器階段的特征信息中逐漸獲取圖像的細節(jié)，從而梯度分支才能恢復出有效的梯度去引導重建。

圖7 不同方法的梯度分支信息獲取情況對比Fig.7 Comparison of gradient branch information acquisition of different methods

經(jīng)過預處理之后，模型的梯度分支可以獲取到圖像的有效輪廓特征，與重建圖像的局部細節(jié)效果一致，梯度分支最終獲取到的梯度結果同樣比無預處理時更加清晰、準確。這表明了本文方法的梯度分支能夠正確引導圖像重建。

3.4.3 預處理方法的比較

從圖6～7 的結果中可以發(fā)現(xiàn)，采用預處理之后無論是重建結果還是梯度分支的獲取情況都能夠比無預處理更加接近Level1+算法重建的結果，然而使用預處理也會花費更多的時間。表2 與圖8 給出了本文模型使用兩種不同預處理與未使用預處理時的結果比較，可以看出：使用預處理時，能夠獲得更好的結果，但訓練時間會大幅增加，且Inception 模塊比Mobile 模塊在模型尺寸和訓練時間上都需要花費更多開銷，評估指標SSIM 卻提高不多；而無預處理方法即本文模型在針對太陽斑點圖像時也能獲得較好的去模糊視覺效果且節(jié)約大量訓練時間，但會導致梯度分支的使用率降低，同時可能會丟失部分細節(jié)。因此，在太陽斑點圖重建時，如果原圖有一定輪廓特征，就可使用本文模型進行訓練，如果原圖無明顯輪廓、難以獲得有效梯度信息，使用預處理就可獲得更加精確的去模糊效果。

圖8 不同預處理方法在不同訓練時間上的SSIM對比Fig.8 SSIM comparison of different preprocessing methods in different training time

表2 不同預處理方法的性能比較Tab.2 Performance comparison of different preprocessing methods

3.5 消融實驗

本文所提出的模型梯度分支構造在FPN的解碼器階段提取特征，為了驗證其有效性，分別對梯度分支的構造方式、去掉梯度分支進行了測試。其中，把梯度分支構造在FPN 的編碼器階段與Ma 等［6］的想法近似，但對于太陽斑點圖像而言，在輸入圖中難以獲取有效原始梯度信息，因此梯度分支得到的結果并不理想，可參考表3與圖9。而將本文模型的梯度分支去掉以后，模型將退化為近似Kupyn等［16］提出的結構。

表3 不同梯度分支構造帶來的影響Tab.3 Impact of different gradient branch structures

圖9 不同梯度分支構造方式結果對比Fig.9 Results comparison of different gradient branch construction methods

3.6 公開數(shù)據(jù)集對比結果

為了驗證所提出的模型是否在常規(guī)模糊中同樣適用，本文同樣在公開的模糊數(shù)據(jù)集中進行比較。選取的公開數(shù)據(jù)集有DVD 數(shù)據(jù)集與GOPRO 數(shù)據(jù)集，定量評估結果如表4～5 所示，定性評估結果如圖10～11所示。

其中，DVD 數(shù)據(jù)集上選取的比較算法為DeblurGANv2［16］的兩個版本算法，GOPRO 數(shù)據(jù)集上還選取了額外三種去模糊算法［24-26］，下面首先對這三種算法進行簡要介紹。

3.6.1 額外對比方法

1）結合深度學習的非均勻運動模糊去除（Deep Learning a convolutional neural network for non-uniform motion blur removal，DL）模型［24］。首先，該算法使用卷積神經(jīng)網(wǎng)絡估計斑塊大小的非均勻運動模糊核場；隨后，使用馬爾可夫隨機場模型來修正估計的模糊核場的結果；最后，使用反卷積方法清除非均勻運動模糊。

2）用于運動去模糊的深度多尺度卷積神經(jīng)網(wǎng)絡（Deep multi-scale convolutional neural network for dynamic scene Deblurring，DeepDeblur）［25］。該算法將模糊圖分成三個不同尺度大小的圖像，逐級輸入三個不同的卷積神經(jīng)網(wǎng)絡，網(wǎng)絡間使用上采樣層將不同特征連接在一起，得到較好視覺效果的重建圖像。

3）用于深度圖像去模糊的尺度遞歸網(wǎng)絡（Scale-Recurrent Network for deep image deblurring，SRN）［26］。與DeepDeblur［25］算法相似，首先，該算法構造了三個不同尺度的編碼器-解碼器結構；隨后，將模糊圖分成三個不同尺度大小的圖像，逐級輸入編碼器-解碼器當中；最后，通過上采樣連接不同尺度的特征圖像，得到最終的重建結果。

3.6.2 評估結果

在表4～5 以及圖10～11 中可以看到，本文所提出的模型在公開數(shù)據(jù)集中也具有一定的競爭力，能夠有效恢復出圖像局部細節(jié)。同時，從評估結果中也看出，本文所提出的預處理方法在評估指標上沒有明顯提升，這是因為公開數(shù)據(jù)集的模糊圖像均具有明顯的梯度特征，無需進行預處理操作。本文方法需要預處理是因為太陽斑點圖像的特殊模糊性質(zhì)導致其不具有明顯梯度特征，若直接將其模糊特征輸入到梯度分支當中，梯度分支很難捕獲有效的邊緣細節(jié)，在最后聯(lián)合梯度分支結果與FPN 結果進行重建時，無效的梯度分支結果將會影響模型計算。

表4 不同方法在DVD數(shù)據(jù)集上的評估結果Tab.4 Evaluation results of different methods on DVD dataset

表5 不同方法在GOPRO數(shù)據(jù)集上的評估結果Tab.5 Evaluation results of different methods on GOPRO dataset

圖10 不同方法在公開數(shù)據(jù)集上的重建結果對比（圖像1）Fig.10 Reconstruction result comparison of different methods on public datasets（Image 1）

圖11 不同方法在公開數(shù)據(jù)集上的重建結果對比（圖像2）Fig.11 Reconstruction result comparison of different methods on public datasets（Image 2）

4 結語

本文提出了一種基于生成對抗網(wǎng)絡的FPN框架與梯度引導聯(lián)合的去模糊方法，能夠有效重建受大氣湍流、光學系統(tǒng)的熱變形和重力變形等影響的太陽斑點圖像。針對梯度分支難以獲取原圖像梯度的情況可采用預處理先行去模糊的方法以獲得更加有效的梯度信息。在損失函數(shù)上采用了平均絕對值誤差作為像素內(nèi)容損失來對局部細節(jié)進行重建，而對抗損失采用了Kupyn等［16］建議使用的平均相對性最小二乘對抗損失以獲得更高質(zhì)量的感知圖像。實驗結果表明，本文所提出的模型在太陽斑點圖像的恢復上具有很強的能力，其視覺質(zhì)量和評估指標明顯優(yōu)于其他對比深度學習模型在太陽斑點圖像上的重建效果。

盡管本文所提的方法從視覺上能夠非常逼近云南天文臺所采用的Level1+算法結果，然而它也同樣會將Level1+算法重建中帶來的偽像一并進行學習。在未來的工作中，將嘗試引入無監(jiān)督的方式對太陽斑點圖像進行重建，減少對Level1+算法結果的依賴性，重建出更高質(zhì)量、更接近真實的太陽斑點圖像。