改進的深度反投影網絡紅外圖像超分辨率重建

林仁浦，張 力，馬晨暉，劉 軒，張 豪

改進的深度反投影網絡紅外圖像超分辨率重建

林仁浦1，張 力1，馬晨暉1，劉 軒1，張 豪2

（1. 火箭軍工程大學，陜西 西安 710025；2. 31608部隊，福建 廈門 361023）

深度反投影網絡在可見光圖像的超分辨率重建中具有優異的表現，本文探索將深度反投影網絡應用到紅外圖像超分辨率重建中。針對紅外圖像對比度低、圖像質量不高的特點，在深度反投影網絡框架上作如下改進：在上采樣模塊之前添加串聯層，將前一次的下采樣輸出和原始低分辨率預處理圖像串聯作為上采樣模塊的輸入，以此提高網絡獲取圖像高頻信息的能力，增強生成圖像的細節信息。實驗結果證明，本文算法較改進前能夠得到細節更加豐富、視覺效果更加良好的紅外超分辨率重建圖像。

紅外圖像；超分辨率；深度反投影網絡

0 引言

紅外圖像是利用探測器捕獲物體紅外輻射所呈現出的圖像，自然界中不存在絕對零度的物體，任何物體都會向外輻射紅外線。物體輻射紅外線的強度受物體的溫度、材料、形狀等影響，物體輻射紅外線強度的差異，在紅外探測設備上得以表現，進而將這種差異用于區分成像物體。紅外圖像反映的是被觀測物體和背景之間的溫度差，這一特性使得紅外圖像通常不受天候的影響，因而紅外圖像常被用于夜間的監控和偵察。受制于紅外硬件系統的客觀發展，紅外圖像在實際應用中都會涉及到分辨率較低的問題，提高紅外圖像的分辨率在遙感、目標檢測識別等領域具有迫切的應用需求[1]。

當前，圖像的超分辨率重建技術是一個熱點研究方向，超分辨率重建技術通常被分為3類：基于插值的算法[2]、基于重建的算法[3]和基于深度學習的算法[4]。基于插值的方法通常利用圖像相鄰像素之間的統計特征處理圖像，這種方法雖然能夠增強圖像分辨率，但圖像的邊緣會比較模糊。基于重建的算法主要用于恢復圖像的高頻信息，對于結構復雜的圖像，處理效果較差。基于深度學習的算法通過對大量數據樣本的學習，能夠建立高分辨率圖像和低分辨率圖像之間的非線性映射關系，目前此類方法在超分辨率重建中取得了較好的應用效果。

Dong等[5]首次提出用于解決圖像超分辨率重建的卷積神經網絡SRCNN（Super-Resolution Convolutional Neural Networks），該網絡主要由3個卷積層構成，由于卷積操作無法對圖像進行放大，所以在使用SRCNN網絡時，首先需要利用雙三次插值算法對圖像進行預處理，將低分辨率圖像放大至目標大小。之后Dong等又提出改進型算法FSRCNN[6]（Faster Super-Resolution Convolutional Neural Networks），在FSRCNN結構中引入反卷積操作作為圖像放大的手段，替代雙三次插值的預處理。Kim等[7]提出用于圖像超分辨率的深度卷積神經網絡VDSR（Very Deep Convolutional Networks），該方法利用梯度剪裁來解決由網絡結構過深而引起的梯度消失和梯度爆炸。Haris等[8]提出深度反投影網絡DBPN（Deep Back-Projection Networks），該網絡包含相互依賴的上-下采樣模塊，通過這樣的方式提供錯誤反饋機制，同時利用深度級聯的方式將不同的圖像退化和超分辨率組件包含在網絡中，DBPN相對于SRCNN、FSRCNN、VDSR等算法在圖像超分辨率重建質量上有較明顯的提升，但在實際訓練中DBPN從原始低分辨率圖像上只進行了一次信息獲取，一旦前面的上下采樣層丟失細節信息較多，那么該網絡的特征提取能力就會顯著下降。目前神經網絡算法在可見光領域中的超分辨率重建中取得了一定的技術性突破，探究將這類算法改進運用到紅外圖像的超分辨率重建中，將會推動紅外圖像成像技術的發展。

考慮到DBPN在可見光圖像超分辨率重建算法中相較其他圖像重建算法效果更加優異，本文探索在DBPN算法結構的基礎上，提出一種可以適合紅外圖像超分辨率重建的方法。

1 本文算法

本文針對紅外圖像的特征，在DBPN算法的基礎上提出改進型算法，提高網絡對紅外圖像高頻信息的獲取能力。

1.1 深度反投影網絡

深度反投影網絡由Haris等人[8]于2018年提出，該網絡結構包含數個串聯的上下采樣層，通過不斷地對圖片進行退化和超分辨率重建來提取圖片中的空間細節信息。深度反投影網絡主要包括初始化特征提取模塊，反投影模塊，以及重建模塊，具體框架結構，如圖1所示。改進型算法是在原先的算法基礎上添加了融合通道，融合預處理圖像和網絡處理過程中的中間變量。

1.1.1 初始化特征提取模塊

初始化特征提取模塊由兩個卷積層組成，其中第一個卷積層的卷積核大小kernel＝3，卷積操作的步長stride＝1，零填充padding＝1，經過該層卷積操作圖像的尺寸大小沒有發生改變，但是卻可以根據實驗需求改變圖像的通道數；第二層卷積操作是一個卷積核大小kernel＝1的卷積操作，該層操作主要是修改圖像的通道數，生成與原始圖像相同通道數的圖片。初始化特征提取模塊通過卷積操作提取圖像中的特征細節。

1.1.2 反投影模塊

反投影模塊由多個上下采樣層相互連接組成，這種連接方式使得網絡能夠在不同深度獲取HR（High-Resolution）的特征，同時上下采樣層可以使用不同類型的圖像退化和超分辨率組件，從而能夠更加豐富地獲取圖像細節信息。

圖1 深度反投影網絡結構圖，主要包括初始化特征提取、反投影和重建3個部分

如圖2所示，深度反投影網絡的向上反投影單元，主要經過反卷積操作、卷積操作和反卷積操作，具體步驟如下：

放大：

縮小：

殘差計算：

殘差結果放大：

輸出特征圖：

如圖3所示，深度反投影網絡的向下反投影單元，主要經過卷積操作、反卷積操作和卷積操作，具體步驟如下：

縮小：

放大：

殘差計算：

殘差結果縮小：

輸出特征圖：

式中：p－1￠代表反卷積操作；g－1￠代表卷積操作。

1.1.3 重建模塊

重建模塊包含一個串聯層和卷積層，串聯層將所有上采樣層的輸出進行串聯，這使得網絡能夠充分利用前面所有的高分辨率特征圖，最后通過卷積層來融合所有特征圖的特征信息，并歸一化圖片的通道。

1.1.4 融合通道

如圖4所示，本文提出的改進算法在原算法的基礎上，在上反投影單元之前添加串聯層，將經過預處理的圖像Lpre和下反投影單元的輸出串聯后輸入到上反投影單元，通過這樣的方式不斷強化網絡獲取高頻信息的能力。反投影模塊中的上下反投影單元采用不同的HR和LR（Low-Resolution）算法，融合通道為不同的上下反投影單元提供了細節信息更加豐富的輸入圖像，由于不同HR、LR算法在圖像紋理信息獲取能力不同，引入融合通道能夠結合不同HR、LR算法的特點，圖5為添加了融合通道的改進型算法模型。

圖2 深度反投影網絡的向上反投影單元

圖3 深度反投影網絡中的向下反投影單元

2 實驗

2.1 數據

本文數據采用CVC-09以及CVC-14紅外公開數據集[9]，選用CVC-09數據集中的7000張紅外圖像作為訓練集，選用CVC-14中的部分紅外圖像作為測試集，在進行訓練前，分別對訓練集和測試集圖像進行下采樣操作獲得用于訓練和測試的低分辨率數據集，下采樣因子為4。使用主觀評價方法和峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、結構相似性（Structural Similarity，SSIM）[10]3種評價方法對本文算法效果進行評估，同時選用Bicubic[11]、SRCNN和DBPN算法作為本文算法的對比算法。

2.2 實驗設置

本文神經網絡訓練平臺采用pytorch，GPU采用GTX1080ti，設定的學習速率為0.0001，采用Adam模型優化，迭代次數50000次。

2.3 質量評價標準

圖像質量評價標準是衡量超分辨率圖像重建算法的重要指標，目前圖像質量評價標準主要分為客觀評價方法與主觀評價方法。客觀評價方法是通過設計系統的算法，依據圖像的客觀數據衡量超分辨率圖像的質量。主觀評價方法是通過人眼觀測圖像，并對圖像質量進行評判的方法。

2.4 實驗結果討論

實驗選用了CVC-14中的圖片作為測試集，在網絡模型放大因子為4的基礎上，將本文算法的結果與Bicubic、SRCNN、DBPN的重建結果進行比較，并利用主觀和客觀兩類評價指標進行對比。

2.4.1 主觀評價效果

我們從實驗數據中選取了4張圖片，在4倍放大因子的基礎上，對比不同算法的實際重建效果，具體情況如圖6、圖7、圖8、圖9所示。

圖4 改進后的深度反投影網絡

圖5 改進后的上采樣層

圖6 行車圖像使用不同超分辨率重建方法的重建結果對比

圖7 行人圖像使用不同超分辨率方法的重建結果對比

圖9 馬路圖像使用不同超分辨率方法的重建結果對比

圖6表示的是行駛中汽車的街景圖片，對比本文提出的算法和其他算法，放大街景圖片中的長凳，本文所提算法能夠清晰地還原出長凳的細節，從細節對比來看，本文算法相比其他算法具有一定的優勢；圖7表示的是街邊的行人圖片，放大街邊建筑物的細節后進行觀察對比，可以看出本文提出的算法在紋理細節上更加豐富；圖8拍攝的是斑馬線圖片，截取圖片中的建筑物細節，可以發現本文算法能夠比較逼真的還原原始圖像的細節；圖9表示的是行駛過程中拍攝的馬路圖片，放大遠處的物體，本文提出的算法能夠較平滑地還原物體細節。因此，我們可以推斷本文算法在與Bicubic、SRCNN、DBPN等算法相比，在圖像超分辨率重建方面具有明顯的優勢。

2.4.2 客觀評價效果

本文采用的客觀圖像指標有PSNR和SSIM。峰值信噪比是對比兩幅圖像對應像素之間的誤差，通過誤差值判斷圖像的失真程度，峰值信噪比的數值越大表明生成圖像越接近原始高分辨率圖像，圖像的重建質量越好。結構相似度用來衡量圖像的相似程度，該指標數值越接近1，則表明生成的超分辨率圖像越接近原始高分辨率圖像，超分辨率重建效果越好。

在4倍放大因子的條件下，選用CVC-14中的4張圖片，對比本文算法和Bicubic、SRCNN、DBPN在PSNR和SSIM標準下的重建效果。如表1和表2所示，本文算法在PSNR和SSIM評價標準下都能夠取得優于其它算法的實驗結果，因此可以證明本文算法要優于其它算法。

表1 不同重建方法的PSNR評價效果對比

表2 不同重建方法的SSIM評價效果對比

3 結論

本文通過改進深度反投影網絡算法，獲得了一種可以應用到紅外圖像超分辨率重建的模型。在DBPN的網絡模型中引入融合通道，提高了上采樣層對高頻信息的獲取能力，較原始網絡結構能夠獲取更豐富的紋理信息。實驗結果表明該方法能夠重建出細節信息豐富的紅外圖像，具有較好的視覺感知效果。最后通過主觀和客觀圖像質量評估方法，證明了本文改進算法在重建紅外圖像上的實際效果。

[1] DONG W, SHI G, LI X, et al. Image reconstruction with locally adaptive sparsity and nonlocal robust regularization[J]., 2012, 27(10): 1109-1122.

[2] YANG H, HUANG Z. Fast image interpolation algorithm based on gradient[J]., 2013, 32(10): 2821-2823.

[3] Papyan V, Elad M. Multi-Scale Patch-Based Image Restoration[J]., 2015, 25: 249-261.

[4] 王威, 張彤, 王新. 用于圖像超分辨率重構的深度學習方法綜述[J]. 小型微型計算機系統, 2019, 40(9): 1891-1896.

WANG Wei, ZHANG Tong, WANG Xin. Survey of Single Image Super-resolution Based on Deep Learning[J]., 2019, 40(9): 1891-1896.

[5] DONG C , LOY C C , HE K , et al. Image Super-Resolution Using Deep Convolutional Networks[J]., 2016, 38(2): 295-307.

[6] DONG C, LOY C C, TANG X. Accelerating the super-resolution convolutional neural network[C]//, 2016: 391-407.

[7] KIM J, LEE J K, LEE K M. Accurate image super-resolution using very deep convolutional networks[C]//, 2016: 1646-1654.

[8] Haris M, Shakhnarovich G, Ukita N. Deep Back-Projection Networks for Super-Resolution[C]//, 2018: 1664-1673.

[9] SOCARRAS Y, RAMOS S, VAZQUEZ D, et al. Adapting Pedestrian Detection from Synthetic to Far Infrared Images[C]//–, 2013: 1-3.

[10] WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: From error visibility to structural similarity[J]., 2004, 13(4): 600-612.

[11] ZHANG L , WU X. An edge-guided image interpolation algorithm via directional filtering and data fusion[J]., 2006, 15(8): 2226-2238.

Improved Super-resolution Reconstruction of Infrared Images Based on Deep Back-projection Networks

LIN Renpu1，ZHANG Li1，MA Chenhui1，LIU Xuan1，ZHANG Hao2

(1. Rocket Force University of Engineering, Xi’an 710025, China;2. 31608 Troops, Xiamen 361023, China)

Deep back-projection networks have excellent performance in the super-resolution reconstruction of visual images. This paper explores the application of deep back-projection networks to the super-resolution reconstruction of infrared images. In view of the characteristics of low infrared image contrast and low image quality, the following improvements were made in the framework of the deep back-projection network: adding a concatenation layer before the upsampling module, cascading the previous downsampling output and the original low-resolution preprocessed image as the input of the upsampling module. This was designed to improve the network's ability to obtain high-frequency information of the image and enhance the detail of the generated image. The experimental results proved that the proposed algorithm could create infrared super-resolution reconstructed images with richer details and improved visual effects.

infrared images, super-resolution, deep back-projection networks

TP183

A

1001-8891(2020)09-0873-07

2020-06-15；

2020-09-03.

林仁浦（1991-），男，碩士，主要從事數字圖像處理和超分辨率研究工作。E-mail:18752659887@163.com