雙判別生成對抗網(wǎng)絡的紅外圖像超分辨重建

邢志勇,肖兒良,簡獻忠

1(上海理工大學 光電信息與計算機工程學院,上海 200093)

2(上海市現(xiàn)代光學系統(tǒng)重點實驗室,上海 200093)

E-mail:passix@163.com

1 引 言

紅外圖像是通過紅外設備“測量”物體向外輻射的熱量而獲得的,能夠在惡劣環(huán)境下獲取圖像信息.但由于硬件條件限制,紅外圖像分辨率差、對比度低、視覺效果模糊等.因此利用圖像處理的方法獲取高分辨率紅外圖像在遙感、監(jiān)控、目標檢測、軍事等領域有重要的現(xiàn)實意義.

圖像超分辨重建技術(shù)[1]SR(Super Resolution)借助相關網(wǎng)絡模型,可以有效地提高圖像的質(zhì)量.其主要分為三個方向:基于插值的方法、基于重建的方法、基于學習的方法.基于插值的方法是通過將低分辨率圖像的像素點映射到高分辨率圖像上,對缺失的像素點用已知的像素點來估計,經(jīng)典的方法有局部邊緣自適應法[2,3]、雙三插值法[4].基于重建的方法是通過挖掘低分辨率圖像中高頻信息,結(jié)合圖像的先驗信息,求解低分辨率成像的逆過程,從而恢復圖像中的高頻信息.如相似性冗余先驗[5,6]、梯度輪廓先驗[7]算法等.基于學習的方法是通過學習大量的樣本集,從而構(gòu)建出含有先驗信息的低分辨率圖像到高分辨圖像之間的映射關系,實現(xiàn)圖像超分辨重建.后隨著深度學習的發(fā)展,該方法在圖像超分辨領域中占據(jù)著主導地位.2014年,Chao Dong 等人提出的SRCNN[8]算法用三層卷積網(wǎng)絡對圖像進行超分辨重建,首次實現(xiàn)了深度學習在圖像超分辨重建上的應用.2016年Kim在SRCNN模型上進行改進,提出VSDR[9]、DRCN[10]算法,通過加深網(wǎng)絡模型深度來重建出質(zhì)量更好的高分辨率圖像.2017年Ledig等人提出基于GAN網(wǎng)絡的SRGAN[11]算法,采用判別對抗的訓練模式,使超分辨重建出的圖像在視覺感知上更進一步.2018年,Zhang等人提出的RDN算法,利用密集連接的思想充分提取底層模型的低分辨率圖像特征.RDN中的局部特征融合能自適應地學習來自先前和當前局部特征的有效信息,實現(xiàn)連續(xù)記憶(CM)機制,從而降低數(shù)據(jù)維度,增強模型的泛化能力,使訓練更加穩(wěn)定.

特別地,2018年邵保泰等人將SRGAN算法[12]應用在紅外圖像領域,取得了較好的效果.但該算法在生成器上采用常規(guī)的SRCNN網(wǎng)絡結(jié)構(gòu),相對來說模型較為簡單,特征提取不夠充分,使得生成的紅外圖像在高頻細節(jié)上存在丟失問題.

為更好的提高紅外圖像超分辨重建的質(zhì)量,充分提取圖像的高頻細節(jié)特征,本文在SRGAN網(wǎng)絡模型基礎上進行改進,利用RDN網(wǎng)絡殘差密集連接的特性,提出一種雙判別生成對抗網(wǎng)絡紅外圖像超分辨重建算法(DD-SRGAN).在生成網(wǎng)絡中,引入無BN層的RIRB,內(nèi)部殘差塊密集連接,外部殘差塊采用遠、近跳躍連接,實現(xiàn)紅外圖像信息在這種跳躍連接中傳遞到深層網(wǎng)絡.去掉BN層可提高模型的泛化能力,減弱重構(gòu)圖像的偽影.在判別網(wǎng)絡中,引入雙判別器,圖像判別器ID(Image Discriminator)和特征判別器FD(Feature Discriminator).ID:在像素域上對輸入的紅外圖像進行判別;FD:通過對特征圖結(jié)構(gòu)信息進行編碼,并利用高頻分量和結(jié)構(gòu)分量來區(qū)分超分辨SR紅外圖像和真實高分辨HR(High-resolution)紅外圖像.同時,本文利用感知損失和雙判別損失函數(shù)優(yōu)化訓練,并根據(jù)紅外圖像特征性質(zhì)減少數(shù)據(jù)通道參數(shù),簡化訓練過程.實驗結(jié)果表明,在4倍超分辨重建紅外圖像的情況下,也能達到更好的視覺效果.

2 理論基礎

2014年,Goodfellow等人提出的生成對抗網(wǎng)絡GAN[14]模型在圖像超分辨領域引起了科學界的高度關注,和常規(guī)基于深度學習的圖像超分辨重建算法相比,該算法生成的圖像質(zhì)量明顯得到改善.GAN網(wǎng)絡模型包括一個生成器G和一個判別器D,生成器G用給定的噪聲z(一般服從均勻分布或正態(tài)分布)生成一個類似真實樣本的數(shù)據(jù)G(z);而判別器D是一個二分類器,對生成器G生成的數(shù)據(jù)和真實數(shù)據(jù)進行判別分類.GAN網(wǎng)絡的訓練過程就是訓練D最大化判別正確率,同時訓練G最小化log(1-D(G(z)))的過程.即G和D的訓練就是關于函數(shù)值極大極小的博弈問題.目的是能夠?qū)崿F(xiàn)生成器生出判別器無法對真實數(shù)據(jù)和生成數(shù)據(jù)進行判別的結(jié)果,達到欺騙的目的.函數(shù)式如公式(1)所示:

(1)

依據(jù)GAN網(wǎng)絡的思想,結(jié)合超分辨圖像的特性,本文將其運用在紅外圖像超分辨領域.對生成器來說,輸入為低分辨率圖像ILR,輸出則為高分辨率圖像ISR,判別器的輸入為生成的高分辨率圖像ISR和原始高分辨率圖像IHR,輸出則是對圖像的來源進行判定.函數(shù)式如公式(2)所示:

(2)

在訓練過程中,生成器G盡可能生成能欺騙判別器D的高分辨率紅外圖像ISR,而判別器D則對生成的高分辨紅外圖像ISR和真實的高分辨率IHR紅外圖像進行判別,通過這種反復優(yōu)化訓練促使生成器能夠重建出接近于真實紅外圖像IHR的高分辨率紅外圖像ISR,達到紅外圖像超分辨重建的目的.

3 重建算法

3.1 網(wǎng)絡結(jié)構(gòu)

本文引用上述GAN網(wǎng)絡的思想,通過引入額外的特征判別器FD,協(xié)同原有的圖像判別器ID,和生成器G進行對抗,實現(xiàn)紅外圖像的超分辨重建.

整個生成網(wǎng)絡架構(gòu)包括16個外部殘差塊、4個內(nèi)部殘差塊、兩個亞像素卷積層和多個跳躍連接.子像素卷積層使用64個濾波器,其他卷積層均采用128個濾波器.殘差塊中去掉BN層,只保留卷積和池化層.生成網(wǎng)絡及內(nèi)部殘差塊結(jié)構(gòu)如圖1所示.

圖1 生成網(wǎng)絡模型

生成網(wǎng)絡的具體實現(xiàn)過程如下:

1)首先對輸入的低分辨率紅外圖像ILR進行一層9×9的卷積,提取低頻紅外圖像特征.

2)利用密集連接的RIRB加深網(wǎng)絡深度,學習更多非線性和更大感受野的高頻紅外圖像特征.

3)通過對每個外部殘差塊的輸出進行一次1×1的卷積,聚合不同殘差塊紅外圖像的特征.

4)將RIRB中獲得的特征通過兩個亞像素卷積層,實現(xiàn)對低分辨紅外圖像ILR4倍的上采樣.

5)最后通過3×3卷積,完成紅外圖像的超分辨重建.

判別網(wǎng)絡模型結(jié)構(gòu)如圖2所示[15],該網(wǎng)絡以生成的超分辨紅外圖像ISR和原始高分辨紅外圖像IHR為輸入,通過8個卷積層提取圖像的512維特征,作為兩個全連接層、sigmoid激活函數(shù)的輸入,再計算樣本分類概率,判定紅外圖像來源.

3.2 損失函數(shù)

在圖像的超分辨重建領域,主要用損失函數(shù)評判網(wǎng)絡性能.傳統(tǒng)方法中應用最廣泛的損失函數(shù)是最小均方誤差(Mean-Square Error,MSE),MSE越小,超分辨出的圖像和原圖像相似度就越高.其對應的損失函數(shù)定義如公式(3)所示:

(3)

基于MSE損失函數(shù)能帶來較高的峰值信噪比(Peak Signal to Noise Ratio,PSNR)[16],但結(jié)果會因缺乏高頻細節(jié)而圖像過于平滑.為了提高紅外圖像的質(zhì)量,獲取更多高頻細節(jié)特征,本文采用兩個損失分量:感知損失分量[17]和雙判別網(wǎng)絡損失分量.該損失函數(shù)分別定義如公式(4)、公式(5)所示:

(4)

(5)

(6)

(7)

和LMSE不同,感知相似性損失LP是在特征域中測兩個圖像之間的差異.函數(shù)定義如公式(8)所示:

(8)

圖2 判別網(wǎng)絡模型圖

4 實 驗

4.1 數(shù)據(jù)

本文中,紅外圖像超分辨重圖像主要來源CVC-09/14:(FIR Sequence Pedestrian Dataset)數(shù)據(jù)庫[19],主要場景涉及行人、車輛、建筑、街道等.數(shù)據(jù)采集首先對CVC-09/14數(shù)據(jù)庫紅外圖像(640×480)進行剪切、翻轉(zhuǎn)得到9000張(296×296)紅外圖像IHR作為訓練集,再對IHR進行4倍降采樣,得到像素大小為74×74的ILR作為本文模型的輸入.

4.2 實驗細節(jié)

首先,對輸入的ILR和IHR紅外圖像進行歸一化處理,使灰度取值范圍線性映射到[0,1]區(qū)間,設置方程(5)中平衡項λ值為10-3.采用VGG19網(wǎng)絡模型的前五層,在激活函數(shù)之前獲取紅外圖像特征圖φm.為平衡不同的損失項,在計算損失項前采用比例因子r為1/12.75對特征圖進行縮放[20].

其次,為防止DD-SRGAN模型在訓練過程中出現(xiàn)局部最優(yōu)的情況,先對生成網(wǎng)絡進行預訓練處理.隨機選取自建數(shù)據(jù)庫中64張對應的IHR和ILR紅外圖像進行訓練,采用Adam算法[21]進行優(yōu)化,優(yōu)化參數(shù)β設為0.9,迭代次數(shù)為96000,初始預訓練模型的學習速率為10-4,下降速率為0.1.

最后,在對抗訓練階段,利用預訓練好的初始化生成模型,對DD-SRGAN網(wǎng)絡進行對抗優(yōu)化訓練,優(yōu)化過程同樣使用β為0.9的Adam算法,迭代次數(shù)為90000,初始學習速率設為10-4.訓練過程的損失函數(shù)指標變化曲線如圖3(a)、圖3(b)所示,圖3(a)為判別網(wǎng)絡損失函數(shù)變化曲線,圖3(b)為生成網(wǎng)絡損失函數(shù)變化曲線.整個實驗過程在matlab2016、python3.0計算機(windows10,Intel core i7-8700,內(nèi)存12GB)上進行的.

圖3 DD-SRGAN損失函數(shù)曲線

4.3 質(zhì)量評定標準

評判超分辨率紅外圖像質(zhì)量的好壞主要取決于兩個方面,一是主觀評價,通過視覺感知來判別紅外圖像的亮度、清晰度、框架和細節(jié)信息等;二是客觀評價,通過算法模型計算各類指標參數(shù),依據(jù)量化指標評定,客觀評價主要參考兩項指標:圖像的峰值信噪比PSNR和結(jié)構(gòu)相似性SSIM(Structural Similarity)[22].

(9)

(10)

式中M、N為紅外圖像的尺寸,μIHR和σIHR分別為IHR的平均灰度值和方差,μISR和σISR分別為ISR的平均灰度值和方差,σIHRISR為IHR和ISR的協(xié)方差,C1、C2為常數(shù).

4.4 實驗結(jié)果分析

利用4.3節(jié)超分辨率質(zhì)量評定方法,在CVC-09測試集中隨機抽取四張紅外圖片進行測試,將結(jié)果與Bicubic、SRCNN、RDN、SRGAN四種經(jīng)典的超分辨算法進行量化對比,得到表1、表2所示數(shù)據(jù).從數(shù)據(jù)中可知,本文算法所重建出的紅外圖像在亮度、對比度、清晰度上要優(yōu)于前四種算法.特別地,和RDN以及SRGAN算法相比,本文算法證明了在生成網(wǎng)絡中采用密集殘差連接的方式,以及引入雙判別網(wǎng)絡的思想有利于重建圖像質(zhì)量的進一步提高.在視覺效果上,本文算法生成的高分辨率紅外圖像ISR在邊緣輪廓以及細節(jié)紋理等高頻特征上也更加清晰、豐富.如例1中頭部細節(jié)紋理信息更加突出,例2中車牌標志相比較RDN、SRCNN算法,本文算法避免了突出高頻特征導致圖像過于平滑的問題,例3、例4在細節(jié)上也能體現(xiàn)出本文算法所帶來的更好的視覺感受.五種算法的重建結(jié)果圖如圖4所示.

表1 5 種算法的 4倍SR 重建 PSNR /dB結(jié)果

Table 1 ×4 SR of 5 algorithms PSNR /dB results

BicubicSRCNNRDNSRGAN本文例126.50 31.2430.7631.2830.87例224.64 30.9529.6830.2729.94例324.83 29.4030.0129.3829.70例425.31 31.7732.5330.9430.63均 值25.32 30.8430.7530.4730.29

本文對CVC-14中測試集以及自建紅外數(shù)據(jù)集中隨機抽取20張紅外圖像進行驗證,結(jié)果如表3所示.在SSIM指標上,本文算法比SRGAN綜合提高0.045,在PSNR上提高0.89dB.但相比于SRCNN、RDN,本文算法在PSNR上不具備優(yōu)勢,主要原因是傳統(tǒng)卷積網(wǎng)絡采用MSE損失函數(shù),而本文算法采用對抗損失和感知損失函數(shù).

表2 5 種算法的4倍 SR 重建 SSIM 結(jié)果

Table 2 ×4 SR of 5 algorithms SSIM results

BicubicSRCNNRDNSRGAN本文例10.785 0.8300.870 0.9090.966例20.717 0.8010.822 0.9070.967例30.735 0.7930.815 0.8990.961例40.802 0.8440.869 0.9190.974均 值0.759 0.8170.844 0.9080.967

圖4 五種算法的重建結(jié)果

由傅里葉頻譜圖特性可知,頻譜圖中亮點數(shù)越多,圖像的高頻細節(jié)特征就越充分[23].為證明本文算法在獲取高頻特征上的優(yōu)越性,分別對例1、例2進行二維傅里葉離散變換,再進行灰度處理.結(jié)果如圖5所示,(a)、(b)分別表示SRGAN算法重建圖像的頻譜圖和本文算法重建圖像的頻譜圖.由圖可知,本文算法的頻譜圖對應的亮點數(shù)較為密集,證明了本文算法在提取紅外圖像高頻特征上相比于SRGAN算法具有更大的優(yōu)勢.

此外,為進一步驗證本文算法在處理圖像細節(jié)偽影上的優(yōu)勢,采用Laplace算子[24],分別對SRGAN和本文算法所得到的紅外圖像進行邊緣紋理特征分析.以例1為例,得到如圖6所示的結(jié)果,(a)、(b)分別表示為上述兩種算法重建圖像的Laplace算子紋理特征圖.由細節(jié)部分圖像的紋理特性可知,本文算法能做到,噪聲影響較少,邊緣偽影現(xiàn)象不明顯.

表3 兩種數(shù)據(jù)集下的測試結(jié)果

Table 3 Test results under two datasets

BicubicSRCNNRDNSRGAN本文CVC-14PSNR26.7530.6931.0229.9130.58SSIM0.7390.8270.8810.9030.944自建數(shù)據(jù)PSNR27.8031.9633.2030.0631.17SSIM0.7610.8400.9080.9150.963

圖5 傅里葉頻譜圖

圖6 Laplace算子紋理特征圖

5 結(jié)束語

本文在SRGAN圖像超分辨算法的基礎上對模型進行改進,提出了基于DD-SRGAN的單幀紅外圖像超分辨重建算法,有效地提高了紅外圖像的質(zhì)量,弱化了圖像細節(jié)偽影問題,使得圖像的邊緣和紋理特征更加明顯.本文算法核心是運用兩個判別器與生成器對抗訓練.對于生成網(wǎng)絡,引入無BN層的殘差中的殘差塊(RIRB),內(nèi)部殘差塊密集連接,外部殘差塊遠、近跳躍連接,實現(xiàn)高頻信息能有效的提取并傳遞到深層網(wǎng)絡.實驗結(jié)果表明,該算法在客觀評價和主觀視覺上較SRGAN算法都有較好提升,為后續(xù)實現(xiàn)紅外圖像檢測與識別提供保障.但紅外圖像本身邊緣信息平滑,圖像數(shù)據(jù)信息較少,制約了超分辨網(wǎng)絡性能的進一步提高.因此相比于可見光圖像,紅外圖像超分辨重建在圖像特征信息提取上還有很多有待解決的問題.