密集殘差網絡紅外圖像超分辨率重構

賈 宇,溫 習,王晨晟

(1.華中光電技術研究所-武漢光電國家研究中心,湖北 武漢 430223；2.中國人民解放軍32381部隊,北京 100072)

1 引 言

對于成像系統而言,更高的分辨率代表著更豐富的細節信息。一般而言,在未達到衍射極限的情況下,可以通過光學系統的設計和增大靶面像素數來提高圖像的分辨率。但在實際應用中,由于體積與成本的限制,不可能無限制地采用復雜、昂貴的光學系統與探測器。這就需要在硬件條件一定的情況下,通過算法來進行圖像的超分辨率增強。因此,圖像超分辨率(SR)也一直是學術界關注的研究熱點[1]。超分辨率旨在提高圖像的像素分辨率,將一定分辨率的圖像轉換成具有更高(通常是倍增)分辨率的圖像,以使其具有更好的視覺質量和更精細的細節信息[2-3]。

通過超分辨率提升獲得的高分辨率圖像,更多的是以提供給人眼觀察為主。因此,作為顯示輸出端的優化手段,它對于如電腦顯示器,高清監視器和手持設備(智能電話和平板電腦等)來說異常重要。在應用領域上,超分辨率可用于場景中的物體檢測、監視視頻中的人臉識別、醫學成像、遙感成像和天文圖像等。醫學圖像SR技術的應用可以給醫生呈現更清晰的細節,幫助醫生做出更準確的醫學診斷[4-7]；SR技術應用在航空遙感[8-9]探測中可以獲得更復雜的地表紋理信息細節；在刑偵上應用的SR技術可以幫助警方提供更準確的犯罪嫌疑人外形與面貌信息,為偵查過程提供更有效的線索[10]。

很多超分辨率算法都要借助與額外的機構或成像器件,如基于亞像元微位移的多幅低分辨率圖像重構方法[11]、基于微掃描獲取的多幅低分辨圖像重構方法[12]與基于壓縮感知方法構建測量矩陣的超分辨率重構方法[13]。這三種SR方法都需要微掃描系統、多個CCD或壓縮采樣等硬件設備和復雜的后續處理技術來提高圖像分辨率,占據成像系統空間。

因此,很多采用了純計算的方式來實現超分辨率圖像增強。這種方法可大致分為兩大類:傳統方法和深度學習方法。經典算法已經存在了數十年,但與基于深度學習的算法相比卻表現不佳。因此,最新算法依賴于數據驅動的深度學習模型來重構所需的細節,以實現準確的超分辨率。

基于深度學習的超分辨率重構方法是一種新興的方法。與傳統方法相比,具有清晰度好、精度高等優點。然而,一些基于深度學習的SR算法以均方差最小化為優化目標[14-17]。該方法雖然能提高重構圖像的客觀評價指標,但不能有效地重構圖像的細節紋理。Ledig等人提出(使用對抗式生成網絡的超分辨率,SRGAN)將對抗式生成網絡應用于SR領域[18]。重構后的圖像紋理相對清晰,但與真實圖像相比有些圖像細節不真實。

為了重構更真實的高分辨率紅外圖像細節信息,從提高低分辨率紅外圖像中缺失的高頻細節信息的角度出發,本文提出了一種密集殘差網絡和對抗式生成網絡相結合的SR算法。在該算法中,密集殘差網絡有效利用了低分辨率紅外圖像的全部特征,生成高清晰度的高分辨率紅外圖像。最后,利用判別網絡對生成的網絡輸出圖像是否為高分辨率紅外圖像進行識別。該方法利用密集殘差網絡和對抗式生成網絡在紅外圖像SR領域的優勢,使重構圖像具有更好的紋理信息和更清晰的視覺效果。

2 模型設計

本文提出的紅外圖像SR算法結合了密集殘差網絡和對抗式生成網絡。對抗式生成網絡的優點是可以重構具有更真實紋理細節的紅外高分辨率圖像。在網絡中,利用密集殘差網絡有效利用了低分辨率紅外圖像的全部特征,提高網絡在訓練過程中對紅外圖像局部細節的理解。最后,該方法可以重構出具有較好細節和清晰度的高頻高分辨率紅外圖像。本節將詳細介紹這種紅外圖像SR方法的具體操作。

2.1 對抗式生成網絡

對抗式生成網絡由生成式網絡和判別式網絡組成。對抗式生成網絡的訓練過程是判別式網絡訓練N次,穿插生成式網絡訓練1次的交替優化過程。其優化損失函數可定義為:

(1)

其中,V(D,G)表示對抗式生成網絡的損失優化函數；G代表生成式網絡；D代表判別式網絡；Pdata(x)表示真實圖像所服從的分布；Pz(z)表示噪聲所服從的分布；E表示數學期望。這樣,生成網絡可以不斷優化,得到與原始圖像非常相似的輸出結果。因此,基于對抗式生成網絡的SR方法可以重構出具有良好視覺效果的高分辨率圖像,圖1為對抗式生成網絡流程圖。

圖1 對抗式生成網絡流程圖

1)生成網絡

根據對抗式生成網絡的定義,通過求解式(1)中的最優化問題,得到Pdata(x)的超參數θg:

(2)

其中,該公式包括四個功能模塊:邊緣信息提取、殘差密集學習、邊緣增強融合和圖像上采樣模塊。生成網絡框架如圖2所示。邊緣提取模塊通過拉普拉斯銳化濾波器獲得初步邊緣紅外圖像,并通過3×3卷積層將邊緣的先驗信息轉化為高分辨特征；殘差密集塊(RDB)形成連續存儲機制,RDB中的局部特征融合可自適應學習通過計算圖像特征空間中的間隙,使圖像特征之間的歐氏距離最小,從而使以前更有效的特征能夠穩定網絡訓練過程和感知損失,從而使生成的圖像在語義上與高分辨率紅外圖像特征差別較小,生成的圖像能夠擬合高分辨率紅外圖像特征的潛在分布。定義Ωi(·)表示RDB的第i層卷積之后的輸出特征映射的激活值。感知損失函數的表達式為:

lfeature=

(3)

圖2 生成網絡框架

2)判別網絡

利用判別網絡對實際樣本數據和生成網絡生成的虛假圖像進行概率估計,通過優化公式(1)中的最小最大化問題得到Ωi。判別網絡框架如圖3所示。判別網絡主要用于二值分類,以區分生成圖像的真實性。D的網絡結構如圖1所示。利用步長為1的卷積層提取紅外圖像的淺層特征,利用步長為2的卷積層減小紅外圖像尺寸。然后利用4個密集連接塊(DDB)對圖像特征進行密集連接學習,利用具有PReLU和Sigmoid激活函數的密集層對圖像特征的真、假屬性進行判別。

(4)

ladv_D(X,Y)=EY～Pdata(Y)[logD(Y)]+EEX～Pdata(x)

[log(1-D(G(X)))]

(5)

圖3 判別網絡框架

由于重構圖像放大后的紋理太不自然,為了解決這一問題,在對抗式生成網絡中加入了圖像變換系數處理過程,使網絡能夠訓練出紅外圖像的超系數α,從而提高了圖像的高分辨率和頻率細節信息使圖像的紋理更逼真。因此,在本文中,我們的損失函數將系數的損失加到SRGAN感知損失函數中。損失函數可以表示為:

loss=ladv_D(X,Y)+αladv_G(X,Y)

(6)

3 實驗和分析

3.1 實驗設備和數據集

本文提出的基于GAN的紅外圖像SR模型已經在Ubuntu 16.04上的PyTorch 0.4.1中實現,其中CUDA 8、CUDNN 5.1和NVIDIA 1080Ti都是基于GAN的。所有實驗都是在高分辨率紅外圖像數據集上進行的。數據集一包含2000個訓練圖像和200個測試圖像,數據集二包含400個圖像。混合后的圖像被隨機分為兩部分:A部分和B部分。A部分包括2000個圖像,B部分包括其他400個圖像。

訓練數據集由2400幅高分辨率紅外圖像組成,其中2000幅來自數據集一中的訓練圖像,其余來自數據集二中的訓練圖像。測試數據集由200個獨立于訓練圖像的低分辨率紅外圖像組成。所有圖像首先調整為1024×1024像素,作為參考高分辨率(HR)圖像。圖4為超分辨率重構示例圖。

3.2 評價指標

在超分辨率重構領域,評價重構圖像質量最常用的指標是峰值信噪比(PSNR)和結構相似性指數(SSIM)。然而,許多研究表明,均方誤差和峰值信噪比不能準確反映圖像的視覺質量,因此我們還引用特征相似性(FSIM)、通用圖像質量(UIQ)來評價重構圖像的質量。根據人類視覺系統(HVS),FSIM主要通過圖像的低級特征來理解圖像。相位一致性(PC)可以提取高維度的圖像特征,但無法對圖像對比度的變動做出響應,因此引入梯度特征獲取圖像對比度信息。相位一致性是FSIM的主要特征,梯度是FSIM的次要特征。FSIM值越大,圖像之間的特征相似度越高,重構圖像的質量越好。FSIM表示如下:

(7)

其中,Φ表示圖像的整個像素域;SPC(x)和SG(x)分別表示為圖像的相位一致性和梯度大小。SL(x)和PCm(x)表示為:

SL(x)=[SPC(x)α]·[SG(x)β]

(8)

PCm(x)=max(PC1(x),PC2(x))

(9)

UIQ是一種綜合了線性相關損失、亮度失真和對比度失真三個因素的圖像質量評價指標。UIQ值越大,重構圖像與原始圖像在線性、亮度和對比度方面的相關性越高,重構圖像的質量越好。UIQ定義如下:

(10)

其中,式(10)中的第一項表示x與y之間的線性相關系數。當值為1時,表示x和y是線性相關的。第二項表示圖像亮度的相關性,第三項表示圖像對比度的相關性。

3.3 實驗結果與分析

為了顯示本文方法的性能,我們將本文方法與SRGAN方法進行了定量比較。使用兩個紅外高分辨率圖像測試數據集進行實驗,得到的重構圖像的PSNR和SSIM結果分別為2、3和4,如表1所示。從表1的結果可以看出,本文提出的改進方法的圖像質量評價標準PSNR和SSIM比以往大多數方法有了顯著的改進。為了更準確地評價重構圖像的質量,我們利用FSIM和UIQ對實驗結果進行了進一步的分析。從表2可以看出,我們提出的方法在FSIM和UIQ兩個評價指標上都取得了良好的效果。

表1 測試數據集PSNR/SSIM對比表

表2 測試數據集FSIM/UIQ對比表

4 結 論

通過對基于深度學習的SR算法研究,我們發現對抗式生成網絡模型可以重構紋理更清晰的紅外高分辨率圖像。由于密集殘差網絡具有將圖像中的高頻細節和低頻細節分解并分別表示的特點,為進一步提高重構圖像質量,提出將密集殘差網絡融合到對抗式生成網絡結構中。通過一系列實驗驗證,本文提出的超分辨率重構算法能夠有效地改善SRGAN算法重構圖像質量評價標準中測量值較低的缺點,PSNR、SSIM、FSIM和UIQ都有所提高。同時,該算法生成具有真實紋理細節的重構圖像。該方法充分體現了該方法在紅外圖像SR領域的優勢。