基于結(jié)構(gòu)重參數(shù)化的太陽斑點圖像弱監(jiān)督去模糊方法

作者簡介：鄧林浩（1998－），男，廣東茂名人，碩士研究生，主要研究方向為深度學習、計算機視覺；蔣慕蓉（1963－），女（通信作者），湖南邵陽人，教授，碩導，博士，主要研究方向為應(yīng)用數(shù)學、圖像處理（jiangmr@ynu.edu.cn）；楊磊（1980－），男，云南大理人，高級工程師，碩士，主要研究方向為天文圖像重建；諶俊毅（1979－），男，湖南益陽人，高級工程師，碩士，主要研究方向為高性能計算；金亞輝（1996－），男，河南信陽人，碩士研究生，主要研究方向為深度學習.

摘 要：針對云南天文臺拍攝的模糊太陽斑點圖像使用有監(jiān)督學習模型進行重建時容易產(chǎn)生偽像、訓練時間長、重建結(jié)果過分依賴參考圖像等問題，提出一種基于結(jié)構(gòu)重參數(shù)化與多分支模塊相結(jié)合的弱監(jiān)督去模糊方法重建太陽斑點圖。首先，結(jié)合單尺度與多尺度網(wǎng)絡(luò)設(shè)計去模糊模型，在模型中構(gòu)造多分支模塊提取不同尺度的特征，增強細節(jié)信息，減少偽像生成；其次，對每個分支結(jié)構(gòu)進行重參數(shù)化，使得結(jié)構(gòu)參數(shù)的重用貫穿整個特征提取過程，節(jié)省計算時間；之后，將去模糊模型分別嵌入退化學習與逆退化學習的弱監(jiān)督訓練中，先對模糊圖像進行等級劃分，利用退化模型分別學習不同等級的退化，構(gòu)成對應(yīng)等級的配對數(shù)據(jù)集，再使用去模糊模型對數(shù)據(jù)集進行逆退化，實現(xiàn)太陽斑點圖的重建。實驗結(jié)果表明，該方法與現(xiàn)有深度學習去模糊方法相比，模型訓練效率更高，對參考圖像的依賴較小，能夠滿足太陽斑點圖像高分辨率重建要求。

關(guān)鍵詞：弱監(jiān)督；太陽斑點；去模糊；重參數(shù)化；輕量網(wǎng)絡(luò)

中圖分類號：TP391.41 文獻標志碼：A

文章編號：1001－3695（2023）04－047－1250－06

doi：10.19734/j.issn.1001-3695.2022.07.0388

Abstract：With the supervised deep learning algorithms，it is prone to generate artifacts when restoring the blurred solar speckle images taken by Yunnan Observatories，and it has a long training time and over-reliance on reference images，this paper proposed a weakly supervised method based on structural reparameterization combined with multi-branch module to reconstruct solar speckle images.Firstly，deblurring model combined single-scale and multi-scale network to design，with constructing multi-branch modules to extract features of different scales，enhanced detailed information，and reduced the generation of artifacts.Secondly，each branch structure re-parameterized to make the reuse of structure parameters runs through the entire feature extraction process.After that，the deblurring model embedded in the weakly supervised training，the blurred image assorted firstly，then the degradation model used to learn different levels of degradation.Constituted paired dataset of corresponding le-vels，and the deblurring model used to inversely degenerate the dataset to reconstruct solar speckle images.Experimental results show that compared with the existing deblurring method，the proposed method has higher model training efficiency and less dependence on reference images，which can meet the high-resolution reconstruction requirements of solar speckle images.

Key words：weakly supervised；solar speckle；deblurring；re-parameterization；lightweight network

0 引言

伴隨著大氣湍流的干擾，從地基望遠鏡獲取的太陽活動觀測圖像會產(chǎn)生嚴重模糊，需要借助圖像處理方法對模糊圖像進行高分辨率重建。大多數(shù)深度學習模型利用網(wǎng)絡(luò)直接學習模糊圖像與清晰圖像之間的映射，對于特征明顯、信息量較大的模糊圖像重建效果較好，但對于米粒結(jié)構(gòu)單一、噪聲較多、局部細節(jié)模糊的太陽斑點圖像重建則容易出現(xiàn)偽像、部分高頻信息難以恢復等問題。為了更好地恢復出太陽斑點圖像中的高頻細節(jié)，崔雯昊等人[1]將感知損失引入Cycle-GAN中得到MCycle-GAN，結(jié)合RFCNN進行多幀融合，提高圖像高頻信息的感知能力和捕捉更多細節(jié)特征的能力；Jia等人[2]將精心挑選后的圖像子塊傳入CycleGAN中，提高重建效果；李福海等人[3]采用FPN與梯度信息引導聯(lián)合重建的方式設(shè)計生成器網(wǎng)絡(luò)，有效恢復圖像的高頻信息、減少米粒輪廓的偽像。這些方法都是利用大量成對的訓練數(shù)據(jù)去學習圖像先驗和噪聲分布。然而太陽斑點圖像與相機抖動、目標運動等造成的模糊圖像不同，其模糊因素都是由大氣湍流的不規(guī)則變化導致而成的，這使得不同時刻拍攝的太陽斑點圖像模糊分布差異較大，在數(shù)分鐘前完成的訓練模型可能并不適用于數(shù)分鐘后拍攝的太陽斑點圖像，需要重新訓練，而且新拍攝的太陽斑點圖像在短時間內(nèi)沒有對應(yīng)的真實圖像，使得基于深度學習的有監(jiān)督方法依賴于模糊圖像及其對應(yīng)的清晰圖像而無法實施。

目前，很多深度學習重建模型為了得到更加精細的紋理細節(jié)而專注于復雜的網(wǎng)絡(luò)設(shè)計，導致計算復雜度增加，模型效率降低。文獻［4，5］使用遞歸層構(gòu)建參數(shù)較少的深度網(wǎng)絡(luò)，降低模型復雜度，但造成精度損失以及更多額外浮點運算開銷；文獻［6，7］通過將輕量殘差塊與組卷積變體相結(jié)合減少模型寬度和深度來降低計算復雜性。文獻［8，9］充分利用中間特征并增強識別能力來降低模型復雜性；Ding等人[10]通過對3×3、1×3與3×1卷積組成的模塊利用卷積層的重參數(shù)化加強卷積核的骨架，提升收斂模型的準確性和效率；2021年，Ding等人[11]通過折疊殘差連接、1×1卷積與3×3卷積組成的模塊重用，提高傳統(tǒng)VGG模型在多個高級視覺任務(wù)上的性能和效率；Du等人[12]通過組合非線性函數(shù)與兩個殘差塊重新參數(shù)化普通卷積層，它和普通卷積層具有相同的推理時間結(jié)構(gòu)，但前者具有更高的表示能力，可以在保持模型原有效率的基礎(chǔ)上提高模型性能。這些方法都是基于單尺度線性網(wǎng)絡(luò)，缺少上下文信息，直接用于太陽斑點圖重建時效果較差。

基于上述問題，本文提出一種結(jié)構(gòu)重參數(shù)化與多分支模塊相結(jié)合的弱監(jiān)督去模糊方法來重建太陽斑點圖。首先，考慮到單尺度網(wǎng)絡(luò)能生成精細空間細節(jié)與多尺度網(wǎng)絡(luò)能有效編碼不同尺度信息的特點，采用單尺度網(wǎng)絡(luò)與下采樣到不同尺度的方式設(shè)計了去模糊模型，重建圖像細節(jié)，在模型中構(gòu)造多分支模塊，包括1×1卷積和3×3卷積、特征圖的一階和二階空間導數(shù)以及非對稱卷積，增強模型提取細節(jié)特征的能力；其次，考慮到多分支模塊會導致運算量增加、模型復雜化等問題，對每個分支結(jié)構(gòu)進行重參數(shù)化，降低模型結(jié)構(gòu)復雜度，提高模型效率；之后，將去模糊模型分別嵌入退化學習與逆退化學習的弱監(jiān)督訓練中，先對模糊程度不同的圖像劃分等級，防止去模糊模型訓練過擬合；然后利用退化模型分別學習不同等級的退化，生成對應(yīng)等級的配對數(shù)據(jù)集，以此減少對參考圖的依賴，再使用去模糊模型對數(shù)據(jù)集進行逆退化，實現(xiàn)太陽斑點圖的重建。實驗結(jié)果表明，該方法能夠有效地學習圖像先驗，減少模型對參考圖像的依賴性，推理效率更高，重建的圖像也更加接近云南天文臺所用的Level1+[13]重建效果。

1 本文方法

本文方法包括以下三點：a）去模糊模型的設(shè)計；b）結(jié)構(gòu)重新參數(shù)化；c）弱監(jiān)督訓練。為了恢復出圖像的高頻信息，去模糊模型結(jié)合單尺度網(wǎng)絡(luò)能關(guān)注精細的空間信息與多尺度網(wǎng)絡(luò)能產(chǎn)生多尺度的特征表示的特點，通過使用結(jié)構(gòu)重參數(shù)化在模型中構(gòu)造多分支模塊，利用多分支拓撲和不同規(guī)模、不同復雜度的路徑組合使模型能夠恢復圖像更加精細的高頻細節(jié)；結(jié)構(gòu)重參數(shù)化可以在訓練模型達到更高的性能水平后，將其轉(zhuǎn)換為簡單卷積結(jié)構(gòu)進行測試，以此提高模型測試時的性能和效率；弱監(jiān)督訓練分為退化學習和逆退化學習兩個階段，首先通過退化學習模擬高分辨率圖像退化到低分辨率圖像，以此提高模型的泛用性，再進行逆退化學習，重建高分辨率太陽斑點圖。

1.1 去模糊模型（DBM）設(shè)計

為了使模型獲得更好的性能和效率，文獻［12，14，15］采用單尺度網(wǎng)絡(luò)與可重新參數(shù)化的構(gòu)建塊結(jié)合，通過堆疊更深的網(wǎng)絡(luò)和在訓練期間引入增強殘差塊或者多分支結(jié)構(gòu)，恢復丟失的高頻細節(jié)，同時提高模型效率，但與多尺度網(wǎng)絡(luò)[3，16，17]相比，由于單尺度線性網(wǎng)絡(luò)沒有經(jīng)過任何下采樣操作，圖像的上下文信息沒有得到交互，重建效果也會有所下降。所以為了得到既有良好的空間信息又有較強語義信息的特征圖，本文基于單尺度線性網(wǎng)絡(luò)，聯(lián)合下采樣到不同尺度的方式設(shè)計了去模糊模型（deblurring model，DBM）。

去模糊模型包括三個主要部分：第一部分將輸入圖的特征信息經(jīng)過沒有任何下采樣操作的單尺度線性進行學習精細的細節(jié)；第二部分將輸入圖通過下采樣到不同尺度進行恢復；第三部分將不同尺度上的特征信息進行融合后，將特征信息重新整合得到重建圖像。其中，每個部分都利用若干個多分支卷積模塊（multi-branch module，MBM）對特征圖進行邊緣提取，通過堆疊MBM恢復每個尺度的圖像精細的高頻細節(jié)，考慮到模塊堆疊過多會增加模型復雜度，MBM在測試時重新參數(shù)化為普通3×3卷積。同時為了使恢復的圖像可以包含更多的紋理細節(jié)，本文在模型中還加入了哈爾小波變換重建模塊，通過哈爾小波變換輔助恢復空間結(jié)構(gòu)更精細的清晰圖像。DBM結(jié)構(gòu)如圖1所示。

在多分支卷積模塊中，為了能夠更有效地提取圖像的邊緣信息和紋理結(jié)構(gòu)，同時也為了使模塊結(jié)構(gòu)能夠重參數(shù)化成單個3×3卷積，考慮到傳統(tǒng)邊緣檢測算子中，Sobel和Laplacian算子都為3×3常數(shù)矩陣，在推理時可以更好地重參數(shù)化，所以本文在多分支拓撲結(jié)構(gòu)中結(jié)合Sobel一階微分算子和Laplacian二階微分算子提取圖像的邊緣信息。此外，為了能夠提取到不同感受野的特征組合，使模塊有更強的表達能力，還加入非對稱卷積1×3和3×1卷積對特征進行學習。多分支卷積模塊結(jié)構(gòu)如圖2所示。

1.3 弱監(jiān)督訓練

弱監(jiān)督訓練分為退化學習和逆退化學習兩個階段。退化學習階段通過使用去模糊模型作為退化模型學習高分辨率太陽斑點圖像如何退化到低分辨太陽斑點圖像，然后利用鑒別器通過損失函數(shù)約束引導模型生成真實的低分辨太陽斑點圖像。此外，在學習退化時，使用的數(shù)據(jù)集是兩組沒有對應(yīng)關(guān)系的低分辨率和高分辨率圖像。之后，使用訓練完畢的退化模型將高分辨率太陽斑點圖退化生成低分辨率太陽斑點圖，將這些圖像構(gòu)成新的配對的數(shù)據(jù)集。逆退化學習階段為重建過程，通過使用新的配對數(shù)據(jù)集對去模糊模型進行訓練，考慮到新的配對數(shù)據(jù)集的分布與原始分布可能存在一定的差異，本文還加入了少量的低分辨率和高分辨率太陽斑點圖像對，使重建圖像更加真實可靠，最后利用鑒別器鑒別重建的高分辨太陽斑點圖像的真實性，實現(xiàn)圖像高分辨率重建。弱監(jiān)督訓練如圖3所示。

2.3 多分支模塊性能分析

為體現(xiàn)多分支邊緣提取模塊中每一分支的有效性，本文刪除一些分支并觀察模型性能的變化。先將3×3卷積和單分支1×1卷積與3×3卷積分支作對比，再以1×1卷積與3×3卷積分支作為基線，分別與多分支模塊中的其他分支進行排列組合對比，實驗結(jié)果如表2所示，表中最后三列為數(shù)據(jù)集分級后的三個等級的結(jié)構(gòu)相似度（SSIM）與峰值信噪比（PSNR）。

可以發(fā)現(xiàn)，使用任何一個分支都可以提高模型的性能，而刪除任一分支都會降低其性能，這意味著每個分支相互補充，都有助于圖像重建。值得一提的是，所有分支都可以重參數(shù)化為一個3×3普通卷積，并且在推理階段具有相同的計算和內(nèi)存成本。

2.4 退化學習結(jié)果分析

為了能夠定量分析退化學習與真實退化之間的相似程度，本文依次將等級1～3的模糊圖構(gòu)成數(shù)據(jù)集進行退化學習，并使用評估指標Frechlet incetion distance（FID）進行分析，F(xiàn)ID數(shù)值越小意味著生成分布與真實圖片分布之間越接近。一般情況下，如果FIDlt;100則認為兩張圖像具有相似的分布。定量評估結(jié)果如表3所示。

為了能夠定性分析退化學習得到的圖像與真實退化的圖像之間的退化分布，本文對每個等級的模糊圖進行頻譜分析，退化學習的實驗結(jié)果如圖5所示。

由圖5可以看到每個等級的模糊圖的退化分布基本一致，模型學習擬合每一等級的退化分布也基本與真實退化相同。

2.5 與其他方法對比分析

將本文方法與當前幾種有監(jiān)督算法進行對比，其中包括去模糊重建方法DeblurGAN-v2[16]、NBNet[17]，超分辨模型重建方法ECBSR[14]以及同樣針對太陽斑點圖進行高清恢復的模型重建方法DSFSP[3]。分別計算各個方法模型的參數(shù)量params、浮點運算FLOPs、推理時間infer-time和評價重建結(jié)果常用的結(jié)構(gòu)相似度（SSIM）與峰值信噪比（PSNR），它們之間的定量比較結(jié)果如表4所示。從表4可以看到本文方法在每個不同等級的數(shù)據(jù)集都可以重建出不錯的評價指標，而其他方法隨著圖像模糊等級增加，重建圖像的SSIM與PSNR下降越大。

再對各個方法之間的重建結(jié)果進行定性比較，結(jié)果如圖6所示。由圖6看出，在不同等級的數(shù)據(jù)集中，本文方法重建的圖像能夠清晰地還原出圖像的整體輪廓特征，而且重建圖像能有更多的細節(jié)紋理。此外，從圖6的局部放大結(jié)果中觀察到，本文方法重建結(jié)果更真實，高頻細節(jié)更多。而DeblurGANv-2和NBNet只能恢復出大體的輪廓，邊緣部分也比較模糊，ECBSR和DSFSP方法的SSIM和PSNR雖然與本文接近，但它們都丟失了很多細節(jié)特征，有很多微小的邊緣細節(jié)沒有恢復出來。

3 結(jié)束語

本文提出了一種基于結(jié)構(gòu)重參數(shù)化與多分支模塊相結(jié)合的弱監(jiān)督去模糊方法，重建受大氣湍流、光學系統(tǒng)的熱變形和重力變形等影響的太陽斑點模糊圖。通過將數(shù)據(jù)集進行等級劃分，抽取信息含量較大的模糊圖像作為訓練集，對每個等級的數(shù)據(jù)集進行退化學習，使得模型更易學習未知退化。使用結(jié)構(gòu)重參數(shù)化將訓練階段和測試階段的模型結(jié)構(gòu)分離開來，在訓練階段使用復雜結(jié)構(gòu)提高模型性能，在測試階段將復雜結(jié)構(gòu)重新參數(shù)化為簡單結(jié)構(gòu)提高模型效率。最終重建出的圖像細節(jié)豐富、邊緣清晰，其視覺質(zhì)量、評價指標和運行效率也明顯優(yōu)于其他模型。

盡管本文方法重建出的圖像細節(jié)豐富、邊緣清晰，與云南天文臺重建方法Level1+得到的結(jié)果較為近似，但對于模糊因素更加復雜、多變的圖像子塊則難以適用。在未來的工作中，將嘗試引入多幀圖像融合的方式對太陽斑點圖像數(shù)據(jù)集進行處理，以此重建出更高質(zhì)量、更接近真實的太陽斑點圖像。

參考文獻：

［1］崔雯昊，蔣慕蓉，楊磊，等.結(jié)合MCycleGAN與RFCNN實現(xiàn)太陽斑點圖高分辨重建［J］.計算機科學，2021，48（S1）：38－42，56.（Cui Wenhao，Jiang Murong，Yang Lei，et al.Combining MCycleGAN and RFCNN to achieve high-resolution reconstruction of sun spot images［J］.Computer Science，2021，48（S1）：38－42，56.）

［2］Jia Peng，Huang Yi，Cai Bojun，et al.Solar image restoration with the Cycle-GAN based on multi-fractal properties of texture features［J］.The Astrophysical Journal Letters，2019，881（2）：L30.

［3］李福海，蔣慕蓉，楊磊，等.基于生成對抗網(wǎng)絡(luò)的梯度引導太陽斑點圖像去模糊方法［J］.計算機應(yīng)用，2021，41（11）：3345－3352.（Li Fuhai，Jiang Murong，Yang Lei，et al.Solar speckle image deblurring method with gradient guidance based on generative adversarial network［J］.Journal of Computer Applications，2021，41（11）：3345－3352.）

［4］Hui Zheng，Wang Xiumei，Gao Xinbo.Fast and accurate single image super-resolution via information distillation network［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2018：723-731.

［5］Jiwon K，Jung K L，Kyoung M L.Deeply recursive convolutional network for image super-resolution［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2016：1637-1645.

［6］Liu Xin，Li Yuang，F(xiàn)romm J，et al.SplitSR：an end-to-end approach to super-resolution on mobile devices［C］//Proc of ACM Conference on Interactive，Mobile，Wearable and Ubiquitous Technologies.New York：ACM Press，2021：1－20.

［7］Nie Ying，Han Kai，Liu Zhenhua，et al.GhostSR：learning ghost features for efficient image super-resolution［EB/OL］.（2021）［2022－07-15］.https：//arxiv.org/abs/2101.08525.

［8］Lai Weisheng，Huang Jiabin，Ahuja N，et al.Deep Laplacian pyramid networks for fast and accurate super-resolution［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2017：5835－5843.

［9］Liu Jie，Tang Jie，Wu Gangshan.Residual feature distillation network for lightweight image super-resolution［C］//Proc of European Confe-rence on Computer Vision.Cham：Springer，2020：41－55.

［10］Ding Xiaohan，Guo Yuchen，Ding Guiguang，et al.ACNet：strengthening the kernel skeletons for powerful CNN via asymmetric convolution blocks［C］//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2019：1911-1920.

［11］Ding Xiaohan，Zhang Xiangyu，Ma Ningning，et al.RepVGG：making VGG-Style ConvNets great again［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2021：13733-13742.

［12］Du Zongcai，Liu Ding，Liu Jie，et al.Fast and memory-efficient network towards efficient image super-resolution［EB/OL］.（2022）［2022－07-15］.https：//dblp.org/rec/journals/corr/abs－2204－08397.

［13］向永源.太陽高分辨高速重建算法的研究［D］.北京：中國科學院大學，2016.（Xiang Yongyuan.Research on the algorithm of high resolution and high speed reconstruction of the sun［D］.Beijing：University of Chinese Academy of Sciences，2016.）

［14］Zhang Xindong，Zeng Hui，Zhang Lei.Edge-oriented convolution block for real-time super resolution on mobile devices［C］//Proc of the 29th ACM International Conference on Multimedia.New York：ACM Press，2021：4034－4043.

［15］Kartikeya B，Milos M.Collapsible linear blocks for super-efficient super resolution［EB/OL］.（2021）［2022－07-15］.https：//dblp.org/rec/journals/corr/abs－2103－09404.

［16］Kupyn O，Martyniuk T，Wu Junru，et al.DeblurGAN-v2：deblurring（orders-of-magnitude）faster and better［C］//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2019：8877－8886.

［17］Cheng Shen，Wang Yuzhi，Huang Haibin，et al.NBNet：noise basis learning for image denoising with subspace projection［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2021：4896－4906.

［18］Chollet F.Xception：deep learning with depthwise separable convolutions［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2017：1800-1807.

［19］Ding Xiaohan，Zhang Xiangyu，Ma Ningning，et al.Diverse branch block：building a convolution as an inception-like unit［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2021：10886-10895.

［20］Alexia J M.The relativistic discriminator：a key element missing from standard GAN［EB/OL］.（2018－09-10）［2022－07-15］.https：//arxiv.org/pdf/1807.00734.pdf.

［21］Christian L，Lucas T.Photo-realistic single image super-resolution using a generative adversarial network［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2017：4681－4690.

［22］Justin J，Alexandre A，Li Feifei.Perceptual losses for real-time style transfer and super-resolution［C］//Proc of European Conference on Computer Vision.Cham：Springer，2016：1604-1613.

［23］Aujol J F，Gilboa G，Chan T，et al.Structure-texture decomposition by a TV-Gabor model［C］//Proc of the 3rd International Conference on Variational，Cteometric，and Level Set Methods in Computer Vision.Berlin：Springer-Verlag，2005：85－96.