基于密集殘差塊生成對抗網絡的空間目標圖像超分辨率重建

景海釗，史江林，邱夢哲，齊勇，4，朱文驍

（1.陜西科技大學 陜西人工智能聯(lián)合實驗室，陜西 西安 710021；2.西安交通大學 系統(tǒng)工程研究所，陜西 西安 710049；3.西安衛(wèi)星測控中心，陜西 西安 710043；4.陜西科技大學 電子信息與人工智能學院，陜西 西安 710021）

1 引言

在空間目標態(tài)勢感知領域，基于自適應光學（Adaptive Optics，AO）圖像對空間目標的結構、載荷和姿態(tài)研判識別工作具有重要意義?？臻g目標由于受距離遠、運動速度快、光照條件不佳和大氣湍流等外界因素的影響較大，地基望遠鏡采集的圖像一般存在嚴重的降質，降質圖像表現(xiàn)出低分辨率和低信噪比的特點，成像模糊且細節(jié)無法分辨，可以獲得的目標信息非常有限［1］。為獲得更清晰的圖像，現(xiàn)代大型望遠鏡通常采用AO系統(tǒng)。由于采用了波前校正技術，AO系統(tǒng)采集的圖像像質有一定程度的改善，但受變形鏡校正能力、波前傳感器探測精度，以及控制回路帶寬等因素的限制，通常存在校正殘余像差［2］，不能完全滿足校正需求。而且波前校正本身也會引入新的噪聲和誤差，因此，AO圖像中目標的高頻信息仍然受到較大程度的抑制和衰減。通常采用傳統(tǒng)的AO圖像重建方法來提高圖像質量，但圖像事后重建只能恢復圖像質量達到光學系統(tǒng)的衍射極限，因此AO圖像的超分辨率重建成為空間目標圖像細節(jié)重建的主要方法。

圖像超分辨重建主要有基于插值、基于建模以及基于深度學習的方法［3-4］?；诓逯岛突诮５某直媛手亟m然容易實現(xiàn)，但在處理圖像時會出現(xiàn)細節(jié)退化、處理速度慢和先驗知識依賴度高等問題。而深度學習作為一種能夠從數(shù)據(jù)中捕捉有效特征的強大方法［5-6］，現(xiàn)已廣泛應用于圖像超分辨率處理中［7-9］。為了提高空間目標AO圖像的清晰度，改善圖像質量，本文針對AO圖像特點，提出一種基于密集殘差塊生成對抗網絡（Generative Adversarial Network，GAN）的AO圖像超分辨率重建方法，構建了一個空間目標AO圖像深度學習訓練集，通過在數(shù)據(jù)集上對生成對抗超分辨率網絡的穩(wěn)定訓練，提升了AO圖像分辨率，有效改善了AO圖像的質量。

2 相關工作

2.1 AO圖像重建

傳統(tǒng)AO圖像重建方法主要包括盲解卷積法、斑點重建法和相位差法等［2］。其中，盲解卷積法采用單幀或連續(xù)幾幀退化圖像就可以完成圖像重建，對成像系統(tǒng)和處理對象沒有特殊要求，實際運用最為靈活，但該方法需要大量的先驗信息對算法的求解加以約束，否則難以獲得理想的處理結果；斑點重建利用大氣湍流的統(tǒng)計特性分別重建目標的相位和振幅，已大量應用于太陽高分辨率圖像處理中，但該方法需要用到大氣湍流的統(tǒng)計信息，通常需要上百幀短曝光退化圖像才能完成一次圖像重建，因此在成像過程中目標不能出現(xiàn)明顯變化；相位差法是一種基于波前像差探測的圖像復原技術，通過同時采集同一目標經不同光學通道的一組或多組短曝光圖像，不僅可以重建出退化目標的清晰圖像，還可以獲得導致目標退化的畸變波前，重建結果的可靠性得到大幅提高，但該技術需要一套額外的成像裝置，而且算法對系統(tǒng)參數(shù)比較敏感，在工程運用中還存在一些技術難點。綜上所述，以上3種技術都有各自特點，適用于不同的應用場景和處理對象，但是要應用在AO系統(tǒng)中還需要有針對性地加以改進。Matson等［10］提出一種基于最大似然估計（MLE）的多幀盲解卷積（MFBD）算法用來重建人造衛(wèi)星圖像，但在處理中需要支持度和正則化約束作為約束條件，同時需要多幀序列圖像以保證算法的魯棒性。田雨等［11］提出一種基于幀選擇與多幀降質圖像盲解卷積的圖像處理方法用于AO圖像的高分辨率恢復，有效補償了AO系統(tǒng)校正帶來的影響，恢復出達到衍射極限的圖像。但該方法需要篩選出合適的多幀圖像進行迭代盲解卷積，同時需要正則化約束作為先驗知識。

傳統(tǒng)AO圖像處理方法在空間目標圖像重建中的廣泛應用，證明了這些方法的可靠性［12-13］。但這類方法的缺點是需要先驗知識對計算進行約束，迭代計算量大，并且針對特定任務需要使用專用的方法進行重建，通用性不強。

現(xiàn)階段已有許多基于深度學習的智能模型被應用于圖像重建任務［14-16］。深度學習方法的應用可以有效提高處理效率，同時在一定程度上提高圖像的修復效果，最重要的是減少先驗知識的約束，削弱了圖像重構中噪聲的影響。

Ramos等［17］提出一種基于深度神經網絡的多幀太陽圖像重建方法，通過在網絡中輸入新的圖像幀，在輸出端直接獲取復原后的校正圖像，輸入的序列圖像會逐步提高輸出圖像的質量，相比傳統(tǒng)方法獲得了更快的處理速度和更好的復原效果。史江林在2019年提出一種基于條件生成對抗網絡（cGAN）的空間目標圖像盲復原方法［18］，該方法通過構建生成模型和判別模型實現(xiàn)模糊觀測圖像到清晰圖像的映射，準確恢復圖像的邊緣輪廓，有效改善了圖像的高頻細節(jié)。該方法不僅提高了復原精度，而且在相對較差的大氣湍流條件下提高了單幀圖像的復原效率。

基于深度學習的空間目標AO圖像重建方法相較于傳統(tǒng)方法，優(yōu)點是處理速度快、計算時間短，便于實時重構；缺點則是需要構建針對任務特點的訓練集與深度神經網絡，且神經網絡訓練過程耗時較長。

2.2 圖像超分辨率重建

圖像超分辨率重建即用特定算法將同一場景中的低分辨率圖像重建成高分辨率圖像［19］。高分辨率圖像因具有更高的像素密度，能夠突破衍射極限獲得圖像更多的細節(jié)特征，而在實際場景中得到了廣泛的應用。

圖像超分辨率重建技術可根據(jù)輸入圖像的數(shù)量分為單幀圖像超分辨率和多幀圖像超分辨率。其中，單幀圖像超分辨率重建技術憑借其靈活性、簡便性及高實用性，已經普遍應用在圖像壓縮、醫(yī)學成像［20］、遙感成像［21］和公共安防［22］等領域，是目前圖像處理領域的研究熱點。但是傳統(tǒng)的單幀圖像超分辨率算法仍有一定的局限性，隨著放大倍數(shù)的增大，模型先驗信息的不足使算法無法實現(xiàn)圖像高頻信息的重建。傳統(tǒng)的單幀圖像超分辨率方法主要分為三類：基于插值的超分辨率算法（最近鄰內插、雙三次插值等），這類算法雖簡單但重建圖像有偽影和振鈴；基于建模的超分辨率算法（最大后驗估計法［23］、迭代反向投影算法［24］等），這類算法相較于插值法重建效果較好，但模型運算效率低且受放大因子的影響較大；基于學習的超分辨率算法（局部嵌入、稀疏編碼［25］等），該類算法的重建質量最好，是目前研究的主要方向。這些方法都通過學習高分辨率圖像與低分辨率圖像樣本對的映射函數(shù)，或者利用圖像的內部相似性來重建高分辨率圖像。

近年來，基于深度學習的超分辨率技術得到了積極的探索與發(fā)展。在自然圖像處理領域，基于深度學習的超分辨率算法在已公開的圖像數(shù)據(jù)集上取得了很好的重建效果。主流的網絡模型包括卷積神經網絡和GAN，這兩個網絡模型都能有效地恢復出圖像的高頻細節(jié)。但是，在空間目標AO圖像超分辨率重建領域，突破衍射極限的超分辨率重建算法研究卻不多見。一方面受限于AO圖像本身質量不高，另一方面也受限于沒有公開的AO圖像訓練集。本文將基于深度學習的GAN引入AO圖像超分辨率重建中，以期改善空間目標AO圖像質量，提高圖像清晰度。

圖1 密集殘差塊GAN生成器網絡結構Fig.1 Framework of residual in residual dense block GAN generator network

3 空間目標AO圖像超分辨網絡

本文將GAN引入AO圖像超分辨率復原領域中，使用結合多級殘差網絡和密集連接形成的密集殘差塊來構建GAN，以提高網絡深度，降低重建圖像偽影，使訓練更加容易，如圖1所示。在判別網絡中使用相對平均判別器，以生成更穩(wěn)定、質量更高的數(shù)據(jù)樣本，提升模型的訓練穩(wěn)定性和圖像重建質量。

3.1 網絡結構

GAN是一種生成模型，基本思想是從訓練數(shù)據(jù)庫里獲取很多的訓練樣本，從而學習這些訓練案例生成的概率分布。本文生成器網絡的輸入為256×256的低分辨率空間目標AO圖像，輸出為1 024×1 024超分辨率重建的空間目標AO圖像。在AO圖像仿真訓練集上進行監(jiān)督訓練，使生成器網絡學習低分辨率AO圖像到高分辨率AO圖像的映射關系，從而實現(xiàn)對AO圖像的超分辨率重建。

為了更好地改善圖像質量，結合空間目標AO圖像背景單一、分辨率有限且存在運動模糊、湍流模糊以及過曝等特點，在SRGAN［8］網絡結構上參考ESRGAN［9］方法，對生成器網絡進行了兩項改進。首先去掉網絡結構中的批歸一化層（BN層），其次用多級殘差網絡和密集連接形成的密集殘差塊替代普通殘差塊（如圖1和圖2所示）。判別器網絡仍然采用基于SRGAN的VGG網絡結構（如圖3所示），但是參考Relativistic GAN［26］改進了判別器網絡損失函數(shù)。

對于不同的基于PSNR度量的任務（包括超分辨率和去模糊），去掉BN層能夠提高任務性能并減小計算復雜度。BN層在訓練時，使用一個batch的數(shù)據(jù)的均值和方差對該batch特征進行歸一化。測試時，使用在整個訓練集上估計的均值和方差進行特征歸一化。當訓練集和測試集的統(tǒng)計量相差很大時，BN層就會傾向于生成不好的偽影，并且限制模型的泛化能力。當BN層在較深網絡層數(shù)的GAN框架下進行訓練時，圖像更容易產生偽影，降低了訓練穩(wěn)定性。因此，本文去掉了BN層，這樣能提高模型的泛化能力，減少計算復雜度和內存占用率。

圖2 SRGAN生成器網絡結構Fig.2 Framework of SRGAN generator network

圖3 SRGAN判別器網絡結構Fig.3 Framework of SRGAN discriminator network

3.2 損失函數(shù)

本文采用相對平均判別器，其核心思想為：在訓練中GAN應該同時降低真實數(shù)據(jù)為真的概率。GAN的標準判別器直接將生成樣本xf或真實圖像xr作為輸入，判定該樣本是真實圖像的概率；而相對判別器將真假樣本對(xr，xf)作為輸入，預測真實圖像xr相對生成假圖像xf更加真實的概率（見圖4），從而使得判別器更穩(wěn)健，生成對抗網絡訓練更穩(wěn)定。

圖4中，DRa表示相對平均判別器，σ表示sigmoid激活函數(shù)，C(x)表示未激活的判別器的輸出，E[?]表示一個小批次的圖像數(shù)據(jù)的平均操作。

在SRGAN中，標準判別器表示為：

本文采用相對平均判別器表示：

圖4 標準判別器和相對判別器的區(qū)別Fig.4 Difference between standard and relative discriminators

相對平均判別器的損失函數(shù)定義為：

與此對應的生成器網絡的對抗損失函數(shù)為：

式中：xf=G(xi)，xi表示輸入的低分辨率圖像，xf表示生成的預測超分辨率圖像，xr表示原始真實高分辨率圖像。從式（4）可以看到，生成器網絡的對抗損失包含真實高分辨率圖像xr和預測超分辨率圖像xf兩部分，而SRGAN中僅包含預測超分辨率圖像xf。這有助于學習到更加清晰的邊緣和細節(jié)紋理。

生成器網絡最終損失函數(shù)LG由對抗損失，感知損失Lpercep和內容損失L1組成，即：

其中：

其中：φi，j是預先訓練好的VGG-19卷積網絡模型結構中第i個池化層前、第j個卷積層輸出的特征圖，Wi，j和Hi，j是對 應特征圖 的維數(shù)。

4 實驗與討論

4.1 構建AO圖像訓練數(shù)據(jù)集

本文中，空間目標AO圖像是地基AO望遠鏡CCD成像系統(tǒng)獲取的空間目標和背景信息的二維圖像。受距離遠、運動速度快、光照條件不佳和大氣湍流等外界因素的影響，AO圖像具有背景單一、分辨率有限，且存在運動模糊、湍流模糊以及過曝等特點。針對AO圖像特點，在構建訓練數(shù)據(jù)集時除了考慮運動、湍流模糊之外，還需要考慮系統(tǒng)噪聲的影響。系統(tǒng)噪聲主要包括光子噪聲和電子噪聲。假設光子噪聲服從泊松分布，電子噪聲服從高斯分布，將這些噪聲分別添加到仿真退化圖像中。

在具體構造訓練數(shù)據(jù)集時，對積累的80個重點空間目標的3D仿真模型分別進行5種不同對地姿態(tài)渲染，得到400幀清晰的空間目標圖像（1 024×1 024），并進行數(shù)據(jù)增強（包括鏡像和翻轉）得到1 200幀1 024×1 024的高分辨率空間目標灰度圖像。然后，對1 200幀高分辨率圖像IHR降采樣得到256×256的低分辨率圖像。在大氣湍流強度為的條件下，對1 200幀低分辨率圖像分別進行Zernike多項式降質仿真和功率譜反演法降質仿真，以模擬大氣湍流相位屏對空間目標圖像造成的降質影響，此時得到2 400幀低分辨率降質圖像。同時，對這2 400幀低分辨率降質圖像添加泊松噪聲和方差為0.01的高斯噪聲，最終得到2 400對低分辨率降質圖像ILR和對應高分辨率圖像IHR的空間目標自適應光學圖像仿真數(shù)據(jù)集（ILR?IHR），如圖5所示。

圖5 空間目標AO圖像仿真數(shù)據(jù)集（部分）Fig.5 Simulation data set（partial）of space target AO images

4.2 訓練參數(shù)設置

實驗中，超分辨率因子為4，即輸入低分辨率圖像為256×256，輸出超分辨率圖像為1 024×1 024。訓練生成對抗網絡在2塊NVIDIA Ge-Force RTX 3090 GPU圖像處理工作站上進行，訓練集為上節(jié)介紹的空間目標AO仿真圖像。通過4倍降采樣獲取網絡輸入的低分辨率圖像，輸入數(shù)據(jù)的batchsize設為16。GAN的訓練更新迭代次數(shù)為105，學習率設為10-4，交替更新生成器網絡和判別器網絡。本文中的生成器網絡有16個RRDB密集殘差塊。

4.3 評價指標選取

這里以仿真圖像為例測試了基于GAN的AO圖像超分辨率性能，在仿真測試之前，定義了兩種圖像性能評價指標，分別為：峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結構相似度（Structural Similarity Index Measure，SSIM）。

PSNR是一種客觀圖像質量評價指標，它表示信號的最大功率與可能影響其表示精度的噪聲功率的比率，即最大信噪比，具體公式如下：

其中：

式 中：MSE表 示 參 考 圖 像I(i，j)和 噪 聲 圖 像K(i，j)之間的均方誤差，MAXI表示圖像點顏色的最大數(shù)值，如果每個采樣點用8位表示，那么就是255。MSE越小，PSNR越大，圖像質量越好。

SSIM是兩個圖像相似性的另一個度量，它將圖像結構相似性定義為3個不同因素的組合：亮度，對比度和結構。均值用作亮度的估計值，標準差用作對比度的估計值，協(xié)方差用作結構相似度的度量。具體公式如下：

其中：x和y表示兩幅圖像，L(x，y)表示亮度估計值，C(x，y)表示對比度估計值，S(x，y)表示結構估計值，μx表示圖像x的均值，μy表示圖像y的均值，是圖像x的方差，表示圖像y的方差，σxy表示 圖 像x和 圖像y的 協(xié) 方 差，c1，c2和c3是 用 來保持穩(wěn)定的常數(shù)。當c3=c2/2時，

SSIM值越大，兩張圖像越相似。在極端情況下，當兩張圖像完全相同時，SSIM值為1。

4.4 實驗結果討論

從圖6中可以看出，哈勃望遠鏡1的自適應光學圖像經過4種方法的超分辨率處理，圖像分辨率得到提升，圖像質量有所改善。尤其是基于深度學習的BSRNet方法和本文的基于密集殘差塊的GAN方法，在圖像高頻細節(jié)方面表現(xiàn)更佳。太陽帆板和中間結構件的高頻信息得到了有效的恢復及重建。表1通過客觀評價指標進一步驗證了主觀視覺評價，相較于傳統(tǒng)插值方法，PSNR提高11.6%以上，SSIM提高10.3%以上；相較于深度學習盲圖像超分辨率網絡方法，PSNR提高1.5%，SSIM提高5%。

圖7為sat1衛(wèi)星AO圖像4種不同方法的超分辨率結果。從圖中可以發(fā)現(xiàn)，BSRNet方法和本文GAN方法的重建效果較為明顯，BSRNet雖然在圖像恢復中能夠有效恢復圖像邊緣輪廓信息，但是在細節(jié)紋理上表現(xiàn)一般，有些紋理過于平滑，導致視覺評價效果不如GAN方法。這也可以從表2的客評價指標中得到證實，相較于傳統(tǒng)插值方法，PSNR提高了17.5%以上，SSIM提高了13.4%以上；相較于深度學習盲圖像超分辨率網絡方法，PSNR提高了8.1%，SSIM提高了6.1%。

圖8進一步驗證了基于深度學習方法在自適應光學圖像超分辨領域的可行性。通過主觀對比可知，BSRNet方法和GAN方法在AO圖像超分辨率重建上明顯優(yōu)于傳統(tǒng)的Bicubic插值和Nearest插值。當然，這也依賴于AO圖像訓練集的先驗信息和強大的算力平臺支撐。本文方法在哈勃望遠鏡2的AO圖像超分重建中，在邊緣輪廓、紋理細節(jié)等高頻信息方面都取得了最好的效果。表3的PSNR和SSIM客觀評價指標進一步證實了主觀判斷的可靠性，相較于傳統(tǒng)插值方法，PSNR提 高18.3%以 上，SSIM提 高11.8%以上；相較于深度學習盲圖像超分辨率網絡方法，PSNR提高10%，SSIM提高3.8%。

圖6 哈勃望遠鏡1自適應光學圖像4種不同方法的超分辨率結果對比（（a）是原始輸入為256×256的低分辨率仿真自適應光學圖像，（b）～（e）是輸出為1 024×1 024的超分辨率圖像）Fig.6 Comparison of super-resolution results of AO images from Hubble Telescope 1（（a）is a low-resolution simulation adaptive optical image whose original input is 256×256，and（b）-（e）are 1 024×1 024 super resolution image network）

圖7 Sat1衛(wèi)星自適應光學圖像4種不同方法的超分辨率結果對比（（a）是原始輸入為256×256的低分辨率仿真自適應光學圖像，（b）～（e）是輸出為1 024×1 024的超分辨率圖像）Fig.7 Comparison of super-resolution results of AO images from sat1 Satellite（（a）is a low-resolution simulation adaptive optical image whose original input is 256×256，and（b）-（e）are 1 024×1 024 super resolution image network）

圖8 哈勃望遠鏡2自適應光學圖像4種不同方法超分辨率結果對比（（a）是原始輸入為256×256的低分辨率仿真自適應光學圖像，（b）～（e）是輸出為1 024×1 024的超分辨率圖像）Fig.8 Comparison of super-resolution results of AO images from Hubble Telescope 2（（a）is a low-resolution simulation adaptive optical image whose original input is 256×256，and（b）-（e）are 1 024×1 024 super resolution image network）

表1 哈勃望遠鏡1自適應光學圖像4種不同方法超分辨率結果的客觀評價指標Tab.1 Evaluation index of four super resolution methods of Hubble Telescope 1 AO image

表2 Sat1衛(wèi)星自適應光學圖像4種不同方法超分辨率結果的客觀評價指標Tab.2 Evaluation index of four super resolution methods of Sat1 Satellite AO image

5 結論

本文將GAN引入AO圖像超分辨率復原中，通過使用結合多級殘差網絡和密集連接形成的密集殘差塊來構建生成網絡，以提高網絡深度，降低重建圖像偽影，使訓練更加容易。構建空間目標AO圖像專用訓練數(shù)據(jù)集，實現(xiàn)了基于密集殘差塊生成對抗超分辨率網絡的訓練。將相對平均損失函數(shù)引入判別器網絡，使判別器更穩(wěn)健，GAN訓練更穩(wěn)定。實驗結果表明，基于GAN的超分辨率方法相較傳統(tǒng)插值超分辨率方法，PSNR提 高11.6%以 上，SSIM提高10.3%以上；相較基于深度學習的盲圖像超分辨率方法，PSNR平均提高了6.5%，SSIM平均提高了4.9%。該方法提高了圖像分辨率水平，增強了圖像邊緣輪廓，銳化了圖像細節(jié)紋理，實現(xiàn)了對降質觀測AO圖像的恢復重建。如何均衡密集差塊網絡深度與網絡訓練效率之間的關系，是下一步需要研究解決的問題。

表3 哈勃望遠鏡2自適應光學圖像4種不同方法超分辨率結果的客觀評價指標Tab.3 Evaluation index of four super resolution methods of Hubble Telescope 2 AO image