基于并聯卷積與殘差網絡的圖像超分辨率重建

王匯豐，徐巖，魏一銘，王會真

（蘭州交通大學 電子與信息工程學院，蘭州 730070）（?通信作者電子郵箱xuyan@mail.lzjtu.cn）

基于并聯卷積與殘差網絡的圖像超分辨率重建

王匯豐，徐巖*，魏一銘，王會真

（蘭州交通大學 電子與信息工程學院，蘭州 730070）（?通信作者電子郵箱xuyan@mail.lzjtu.cn）

現有的圖像超分辨率重建算法可以改善圖像整體視覺效果或者提升重建圖像的客觀評價值，然而對圖像感知效果和客觀評價值的均衡提升效果不佳，且重建圖像缺乏高頻信息，導致紋理模糊。針對上述問題，提出了一種基于并聯卷積與殘差網絡的圖像超分辨率重建算法。首先，以并聯結構為整體框架，在并聯結構上采用不同卷積組合來豐富特征信息，并加入跳躍連接來進一步豐富特征信息并融合輸出，從而提取更多的高頻信息。其次，引入自適應殘差網絡以補充信息并優化網絡性能。最后，采用感知損失來提升恢復后圖像的整體質量。實驗結果表明，相較于超分辨率卷積神經網絡（SRCNN）、深度超分辨率重建網絡（VDSR）和超分辨率生成對抗網絡（SRGAN）等算法，所提算法在重建圖像上有更好的表現，其放大效果圖的細節紋理更清晰。在客觀評價上，所提算法在4倍重建時的峰值信噪比（PSNR）和結構相似性（SSIM）相較于SRGAN分別平均提升了0.25 dB和0.019。

視覺效果；超分辨率重建；并聯結構；殘差網絡；感知損失

0 引言

超分辨率重建（Super-Resolution， SR）是通過低分辨率（Low-Resolution， LR）圖像來產生紋理細節清晰、視覺效果更好的高分辨率（High-Resolution， HR）圖像。在醫療成像［1］時產生低分辨率圖像會影響對病灶的觀察，在衛星遙感拍攝［2］時，獲得的圖片分辨率較低會對后續工作有不良影響。圖像超分辨率重建可以獲得更多有效信息，超分重建在計算機視覺領域不可或缺。

目前，超分辨率重建主要有傳統方法和深度學習的方法。傳統方法包含插值法、重構法等。插值法［3］是利用圖像自身的相似屬性進行插補來獲取高頻圖像，將重建圖像逼近到較好的效果，最常用的方法有最近鄰插值和雙三次插值（Bicubic）。這類方法簡單有效、復雜度低、速度快，但在圖像的紋理細節較多區域效果不佳。重構法是預先假設將低分辨率圖像當作采樣圖像預估出效果不錯的高分辨率圖像，此類方法如最大后驗概率（Maximum A Posteriori， MAP）法［4］是把重建圖像看作統計學問題，在重建過程中加入先驗信息進行約束，能夠保證重建結果，但需要依賴先驗信息完成且涉及到很大的計算量。隨后，將機器學習應用于超分辨率重建取得了重大突破，如稀疏表示法［5］優化局部和局部的相鄰圖像塊之間連接性，進而使得圖像局部與全局之間更具有兼容性，但重建圖像質量和計算復雜度均與字典大小相關，當字典不夠完備時，重建圖像的邊緣缺乏細節信息，整體效果模糊。

近年來深度學習迅速發展，Dong等［6］首次將卷積神經網絡用于超分辨率重建問題中，提出了超分辨率卷積神經網絡（Super-Resolution Convolutional Neural Network， SRCNN）算法，重建效果相較于插值法、重構法和基于學習的方法有著顯著提升，但是對低分辨率圖像信息利用不充分，通過逐步加深網絡層讓LR-HR的映射能力更強，擁有更大的感受野，能夠融入更多的背景信息，然而網絡層加深也會帶來問題。Kim等［7］把殘差網絡引入到圖像超分辨率重建中，提出了深度超分辨率重建網絡（Very Deep convolutional network for Super-Resolution， VDSR）模型，抑制深層網絡問題，加速收斂；但其模型是卷積層的簡單堆積，不能有效提取圖像信息。Lim等［8］移除殘差模塊中的歸一化層和激活函數層，提出增強深度殘差網絡結構，減少了計算量；但是無法有效利用淺層特征。Zhang等［9］提出了密集殘差網絡，該網絡是將密集連接網絡和殘差網絡［10］相結合，這樣可以使信息提取充分；但會使得參數增加，計算量增大。深度學習算法可以有效地恢復圖像，但需要平衡網絡深度、增強提取信息能力和降低計算復雜度等。

對于簡單的網絡堆積，重建圖像的效果未得到很好的改善，本文提出了一種圖像超分辨率重建算法，將并聯卷積和殘差網絡相結合，結合后的網絡不易發生梯度爆炸或消失，避免網絡退化。其中，并聯卷積網絡在提取特征時，獲得了更加豐富的特征，還可加快特征提取速度。然后，在并聯子網絡中引入自適應殘差網絡，可以加強輸出特征的信息完備性，優化網絡性能。最后，在整個網絡中加入全局殘差，以補償顏色信息缺失。實驗結果表明，本文算法網絡復雜度較低，對圖像恢復效果好。

1 本文算法

卷積神經網絡有著良好的學習性能，在超分辨率重建中有好的效果。現有的網絡結構深度較深，網絡復雜度高，隨著網絡加深特征提取能力下降，信息丟失嚴重。在保證提取特征豐富的前提下，本文設計了并聯結構與殘差思想結合的超分辨率重建網絡。首先，并聯神經網絡可以同時提取不同的特征信息，這樣會提取出更加豐富的特征，還可加快提取速度。自適應殘差網絡是依據殘差思想來設計的，不僅可以解決網絡深度問題，還可以解決梯度消失等問題，讓網絡模型訓練起來更易收斂，訓練時根據所需進行特征補充。全局殘差主要用于補償丟失的顏色，網絡加深會讓顏色退化或者失真，直接通過全局殘差網絡從低分辨率圖像來補充損失的信息。本文算法的整體網絡結構如圖1所示。

圖1 本文算法的整體網絡結構Fig. 1 Overall network structure of proposed algorithm

1.1 并聯卷積網絡

本文設計的并聯卷積網絡是兩個大小和深度不同的網絡結構，通過兩個不同的卷積網絡分別提取特征，最后將所獲得的特征信息進行融合，這樣便可獲得更加豐富的特征。在信息流動過程中隨著網絡深度加深會有損耗，所以在并聯的網絡模型中對各自的卷積神經網絡加入跳躍連接，有效地讓特征重復使用。如圖1～2所示，在并聯網絡中，整個特征信息提取網絡分為相同卷積核特征提取網絡和不同卷積核特征提取網絡。相同卷積核特征提取模塊中，均使用的卷積核，這樣就會有更少的參數量和更小的計算量；而在不同卷積核特征提取模塊中采用和的卷積核，將和的卷積核混合使用，保證參數量較少的同時具有較大的感受野。通過這兩個模塊進行特征提取，這樣獲得的特征信息更豐富有效。為了獲得更加有效的特征，本文網絡均采用步長為1進行提取特征。提取特征信息時，為保證特征圖輸入輸出大小一致，對特征圖周圍進行填充，填充與輸出特征圖大小之間的關系為：

在整個并聯的網絡中，每個網絡將前幾個卷積輸出特征信息進行跳躍連接，可以將特征信息重復使用，補償隨層數增加時丟失的特征，使提取的特征信息更加豐富并且增強網絡結構內部信息流動性。跳躍連接與殘差網絡連接方式不同，殘差網絡是直接進行相加操作，相加操作是將像素相加進行特征融合，而跳躍連接是按照維度將特征信息拼接（通過CAT方式連接）起來進行特征融合。不同的方式都是對特征信息的整合，利用了豐富的特征信息，重建出的圖像效果更好。

1.2 自適應殘差網絡

為了進一步提取特征，引入殘差思想以提高網絡質量。如圖2所示，在并聯網絡不同層分別引入自適應殘差網絡，通過自適應殘差網絡增強輸出特征的豐富性，避免梯度消失，其本質仍然是既有殘差網絡的效果，又可增加特征提取的多樣性。如圖3所示，在主網絡中自適應殘差網絡是一個的卷積核和一個的卷積核，其中的卷積核是用于整合信息和對卷積核通道數進行升維或者降維，這樣方便與主網絡進行相加操作。如圖4所示，在副網絡中自適應殘差網絡是一個的卷積核，與后面輸出的維度一致，所以不需要加入的卷積核。在每一個殘差網絡中權值共享，減少計算的參數量，自適應殘差就可在反向傳播更新權值后，獲得所需要的特征。這樣并聯網絡可以獲取更加豐富有效的特征信息，最后進行特征信息融合。

圖2 并聯卷積模塊Fig. 2 Parallel convolution module

圖3 自適應殘差模塊1Fig. 3 Adaptive residual module 1

圖4 自適應殘差模塊2Fig. 4 Adaptive residual module 2

針對顏色丟失或失真，在網絡末層引入直接殘差的方式，提高重建后高分辨率圖像的保真度。全局殘差還可以在末層補充特征信息，有助于重建圖像有更好的效果。選擇顏色比較明顯的圖像在去除全局殘差模塊（Global Residual， GR）和未去除全局殘差模塊進行對比，未去除全局殘差模塊的圖像相較于去除全局殘差模塊有著更好的顏色。顏色作為圖片信息，表明全局殘差模塊不僅可以提高重建后高分辨率圖像的保真度，還可以在末層補充特征信息有助于重建圖像有更好的效果，如圖5所示。

圖5 有無全局殘差模塊的網絡重建效果對比Fig. 5 Comparison of network reconstruction effects with and without global residual module

表1給出了本文算法的網絡結構和卷積核參數設置，Layer_name表示卷積模塊和卷積核名稱，卷積層中有兩個特征提取模塊（Feature Extraction Module， FEM）和相對應的自適應殘差模塊（Adaptive Residual Module， ARM），Conv是所使用的獨立卷積核，Upconv是反采樣操作；Kernel_size則為對應卷積核尺寸大小；Input_channel和Output_channel分別表示輸入通道數和輸出通道數。輸入圖片為低分辨率圖像、尺寸小，輸入通道為3，設定輸出通道為32，其余參數可由網絡模型中上一通道數、步長（本文步長全部為1）和根據所需加入填充由式（1）計算得出。

表1 網絡結構和卷積核參數Tab. 1 Network structure and convolution kernel parameters

1.3 損失函數

為了增強重建后圖像的語義特征，引入感知損失，感知損失是在深度特征級別上約束原始圖像和重建圖像。深度特征由神經網絡提取，并隨著網絡加深獲得圖像更加深層的語義特征信息，監督深度特征的差異進行懲罰，重建圖像可以保留原圖像中更高級別的語義特征信息。感知損失只是輕微提升質量，主要還是通過網絡結構來提升。由于均方損失具有的均值回歸特性可保證像素間良好的一致性，因此可有效緩解細節平滑效應。均方損失和感知損失表達式如式（2）、（3）所示：

2 實驗與結果分析

2.1 數據集

本文實驗采用DIV2K數據集［11］，該數據集包含來自網絡的不同高質量圖像（2K分辨率），主要用于圖像復原任務［12］。將數據集中的800張圖像進行編碼用于訓練模型，采用驗證集中的100張圖像用于在模型訓練中進行驗證。使用單一數據集具有不公平性，因此采用Set5［13］、Set14［14］、Urban100［15］和BSDS100［16］這四個測試集用于測試訓練模型的效果。將數據集中的每張圖像進行下采樣來降低圖像分辨率作為LR圖像，將原圖的高分辨率圖像作為HR圖像，讓其一一對應成為圖像對用于訓練。

2.2 實驗環境

實驗硬件設備為AMD Ryzen7 4800H，處理器基準頻率為2.9 GHz，加速頻率為4.2 GHz，16 GB內存，NVIDIA GeForce RTX2060 6 GB顯卡。在Windows 10操作系統下安裝Anaconda3，然后在Python3.7中搭建深度學習框架Pytorch。

2.3 結果分析

本文網絡使用可以自適應優化的Adam優化器［17］優化參數。初始化學習率為0.000 1，epochs初始設置為200。將訓練好的網絡模型在數據集Set5、Set14、Urban100和BSDS100上進行測試對比。為驗證本文算法的圖像超分辨率重建效果，將其分別與Bicubic、SRCNN［18］、VDSR［19］、超分辨率生成對抗網絡（Super-Resolution Generative Adversarial Network， SRGAN）［20］、文獻［21］算法等進行對比，均采用DIV2K數據集進行訓練。在Urban100中選出img005、img014、img018這三幅圖像進行對比，可以看出Bicubic重建后圖像信息丟失嚴重，效果也最差。SRCNN算法重建出的圖像與Bicubic重建出的圖像相比，整體效果明顯提升，但是網絡層數少、提取的特征較少，恢復出的細節信息也少。VDSR的網絡層較深，并加入了殘差網絡，重建后的圖像效果較好，但是網絡單一使得內部信息流通差，一些細節紋理會丟失。而對于SRGAN而言，在網絡模型訓練時加入了感知損失，改善重建后圖像的整體視覺效果，但是依舊缺乏了細節信息。文獻［21］算法相較于其他對比算法有著更好的細節效果，但整體效果表現一般。本文算法不僅可以恢復出不錯的整體效果，而且在一些邊緣或者細節的地方也有著更好的效果。不同算法重建圖像的主觀效果對比如圖6所示。

圖6 不同算法重建圖像的主觀效果對比Fig. 6 Subjective effect comparison of images reconstructed by different algorithms

為了進一步對比這些算法的重建效果，比較更加細節的圖像區域。從Urban100中選出img066、img088和img098三幅圖像通過區域放大進行比較。從Bicubic中可以看出，重建圖像是模糊的，呈現不出細節紋理。對于SRCNN，放大圖像有著基本細節輪廓，效果提升明顯，但是不能完全清晰看出細節紋理。對于VDSR，整體效果均有所改善，已經有著不錯的細節信息。跟其他算法相比，SRGAN提升了整體效果，但細節較少，甚至出現部分失真現象。本文算法在提升整體效果的同時，改善了圖像信息中的細節紋理，這樣使得重建后的圖像效果可以均衡提升。如圖7所示，三幅圖像有著不同的場景，可從中得到相同的比較效果。

2.4 客觀評價

本文使用圖像重建質量評定中最常用的峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）［22］和結構相似性（Structural SIMilarity， SSIM）［22］評價重建質量。PSNR是基于誤差敏感的圖像質量評價，數值越大表示重建后圖像質量越好；SSIM是根據重建圖像與原圖在獨立亮度、對比度和結構等方面進行比較，局部處理后獲得更加精確的結果，當結果越接近1時，表明重建后的圖像效果越好。結合這兩種評價指標進行分析，避免單一客觀評價與主觀評價相反的問題。

本文算法有著較高的PSNR值和SSIM值，在2倍中，本文算法的PSNR相較于SRGAN平均提升了0.35 dB，其SSIM相較于文獻［21］算法平均提升了0.035；在3倍中，本文算法的PSNR和SSIM相較于SRGAN分別平均提升了0.315 dB和0.022；在4倍中，本文算法的PSNR和SSIM相較于SRGAN分別平均提升了0.25 dB和0.019。上述結果表明本文算法能夠提升重建后圖像視覺效果，不同算法在2倍、3倍、4倍上的結果對比分別如表2～4所示。

圖7 不同算法在Urban100測試集上的重建效果局部放大對比Fig. 7 Local amplification comparison of reconstruction effect of different algorithms on Urban100 test set

表2 不同算法在2倍上的PSNR、SSIM對比Tab. 2 Comparison of PSNR and SSIM of different algorithms on ×2

表3 不同算法在3倍上的PSNR、SSIM對比Tab. 3 Comparison of PSNR and SSIM of different algorithms on ×3

2.5 消融實驗

為了驗證兩個自適應殘差模塊（ARM）和全局殘差模塊（GR）的有效性，設計了消融實驗。在總網絡模型基礎上移除掉這三個模塊后成為原始模型（Original Model， OM），對比原始模型+自適應殘差模塊1（OM+ARM1）、原始模型+自適應殘差模塊1+自適應殘差模塊2（OM+ARM1+ARM2）、原始模型+自適應殘差模塊1+自適應殘差模塊2+全局殘差模塊（本文算法）的結果。

將訓練好的各個組合模塊進行測試對比，并選擇Urban100數據集中的img048、img077和img087進行比較分析，可以看出移除模塊后會讓重建圖像質量下降，丟失大量細節特征，變得模糊。上述結果表明加入模塊后可以很好地提升網絡的有效性，重建出更高質量圖像，具體效果對比如圖8所示。

表4 不同算法在4倍上的PSNR、SSIM對比Tab. 4 Comparison of PSNR and SSIM of different algorithms on ×4

圖8 消融實驗中在Urban100測試集上不同算法的重建效果對比Fig. 8 Reconstruction effect comparison of different algorithms in ablation experiment on Urban100 test set

通過客觀分析可以看出，本文網絡模型測試出的PSNR和SSIM值均優于缺失模塊的網絡，相較于原始模型分別平均提升了1.557 0 dB和0.240 3，相較于原始模型＋自適應殘差模塊1分別提升了0.928 6 dB和0.167，相較于原始模型+自適應殘差模塊1+自適應殘差模塊2分別提升了0.405 3 dB和0.080。綜上可得，本文算法中的自適應殘差模塊和全局殘差模塊有助于提升算法性能，整體數據表現如表5所示。

表5 消融實驗中不同算法的PSNR、SSIM對比Tab. 5 Comparison of PSNR and SSIM of different algorithms in ablation experiment

3 結語

本文設計了一種基于并聯結構結合殘差思想用于圖像超分辨率重建的網絡模型，在并聯結構中以不同的卷積組合可以捕獲更豐富的信息，并聯方式也加快了信息獲取和網絡收斂。并聯結構中加入的自適應殘差網絡和全局殘差網絡，讓整個網絡結構的全局信息得以補充；內部引入跳躍連接使整個網絡信息流通性加強，避免了一些重要特征的丟失，也進一步增強了高頻信息的提取。本文算法不僅注重局部與全局信息融合，也重視低級語義信息與高級語義結合，最后加入感知損失，提升了整個網絡重建圖像的質量。實驗結果表明，相較于Bicubic、SRCNN、VDSR、SRGAN以及文獻［21］算法，本文算法在整體視覺效果上有明顯的改善，也減輕了邊緣結構的鋸齒效應，在客觀評價的PSNR和SSIM值上也有著不錯的表現。在以后的研究中可以進一步通過拓寬和加深網絡結構來改進網絡，也可以嘗試引入更多的方法來改善網絡性能。

[1] SHI W Z， CABALLERO J， LEDIG C， et al. Cardiac image super-resolution with global correspondence using multi-atlas PatchMatch ［C］// Proceedings of the 2013 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 8151. Berlin： Springer， 2013： 9-16.

[2] HU M G， WANG J F， GE Y. Super-resolution reconstruction of remote sensing images using multifractal analysis ［J］. Sensors， 2009， 9（11）： 8669-8683.

[3] ZHU S Y， ZENG B， LIU G H， et al. Image interpolation based on non-local geometric similarities ［C］// Proceedings of the 2015 IEEE International Conference on Multimedia and Expo. Piscataway： IEEE， 2015： 1-6.

[4] SCHULTZ R R， STEVENSON R L. Extraction of high-resolution frames from video sequences ［J］. IEEE Transactions on Image Processing， 1996， 5（6）： 996-1011.

[5] PELEG T， ELAD M. A statistical prediction model based on sparse representations for single image super-resolution ［J］. IEEE Transactions on Image Processing， 2014， 23（6）： 2569-2582.

[6] DONG C， LOY C C， HE K M， et al. Learning a deep convolutional network for image super-resolution ［C］// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8692. Cham： Springer， 2014： 184-199.

[7] KIM J， LEE J K， LEE K M. Accurate image super-resolution using very deep convolutional networks ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 1646-1654.

[8] LIM B， SON S， KIM H， et al. Enhanced deep residual networks for single image super-resolution ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2017： 1132-1140.

[9] ZHANG Y L， TIAN Y P， KONG Y， et al. Residual dense network for image super-resolution ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE，2018： 2472-2481.

[10] 梁敏，王昊榕，張瑤，等.基于加速殘差網絡的圖像超分辨率重建方法［J］.計算機應用，2021，41（5）：1438-1444.（LIANG M， WANG H R，ZHANG Y， et al. Image super-resolution reconstruction method based on accelerated residual network ［J］. Journal of Computer Applications， 2021， 41（5）： 1438-1444.）

[11] HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE，2016： 770-778.

[12] 唐艷秋，潘泓，朱亞平，等.圖像超分辨率重建研究綜述［J］.電子學報，2020，48（7）：1407-1420.（TANG Y Q， PAN H， ZHU Y P， et al. A survey of image super-resolution reconstruction ［J］. Acta Electronica Sinica， 2020， 48（7）： 1407-1420.）

[13] ABUDU RAHIMAN V， GEORGE S N. Single image super resolution using neighbor embedding and statistical prediction model ［J］. Computers and Electrical Engineering， 2017， 62（1）： 281-292.

[14] ZEYDE R， ELAD M， PROTTER M. On single image scale-up using sparse-representations ［C］// Proceedings of the 2010 International Conference on Curves and Surfaces， LNCS 6920. Berlin： Springer， 2010：711-730.

[15] MARTIN D， FOWLKES C， TAL D， et al. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics ［C］// Proceedings of the 2001 8th IEEE International Conference on Computer Vision. Piscataway： IEEE， 2001： 416-423.

[16] HUANG J B， SINGH A， AHUJA N. Single image super-resolution from transformed self-exemplars ［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE，2015： 5197-5206.

[17] PEREYRA M， SCHNITER P， CHOUZENOUX é， et al. A survey of stochastic simulation and optimization methods in signal processing ［J］. IEEE Journal of Selected Topics in Signal Processing， 2016， 10（2）： 224-241.

[18] YUAN Y， LIU S Y， ZHANG J W， et al. Unsupervised image super-resolution using cycle-in-cycle generative adversarial networks ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2018：814-823.

[19] LEDIG C， THEIS L， HUSZáR F， et al. Photo-realistic single image super-resolution using a generative adversarial network ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway：IEEE， 2017： 105-114.

[20] 南方哲，錢育蓉，行艷妮，等.基于深度學習的單圖像超分辨率重建研究綜述［J］.計算機應用研究，2020，37（2）：321-326.（NAN F Z， QIAN Y R，XING Y N， et al. Survey of single image super resolution based on deep learning ［J］. Application Research of Computers， 2020， 37（2）： 321-326.）

[21] 劉月峰，楊涵晰，蔡爽，等.基于改進卷積神經網絡的單幅圖像超分辨率重建方法［J］.計算機應用，2019，39（5）：1440-1447.（LIU Y F， YANG H X，CAI S， et al. Single image super-resolution reconstruction method based on improved convolutional neural network ［J］. Journal of Computer Applications， 2019， 39（5）： 1440-1447.）

[22] WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity ［J］. IEEE Transactions on Image Processing， 2004， 13（4）： 600-612.

Image super-resolution reconstruction based on parallel convolution and residual network

WANG Huifeng， XU Yan*， WEI Yiming， WANG Huizhen

（School of Electronic and Information Engineering，Lanzhou Jiaotong University，Lanzhou Gansu730070，China）

The existing image super-resolution reconstruction algorithms can improve the overall visual effect of the image or promote the objective evaluation value of the reconstructed image， but have poor balanced improvement effect of image perception effect and objective evaluation value， and the reconstructed images lack high-frequency information， resulting in texture blur. Aiming at the above problems， an image super-resolution reconstruction algorithm based on parallel convolution and residual network was proposed. Firstly， taking the parallel structure as the overall framework， different convolution combinations were used on the parallel structure to enrich the feature information， and the jump connection was added to further enrich the feature information and fuse the output to extract more high-frequency information. Then， an adaptive residual network was introduced to supplement information and optimize network performance. Finally，perceptual loss was used to improve the overall quality of the restored image. Experimental results show that， compared with the algorithms such as Super-Resolution Convolutional Neural Network （SRCNN）， Very Deep convolutional network for Super-Resolution （VDSR） and Super-Resolution Generative Adversarial Network （SRGAN）， the proposed algorithm has better performance in image reconstruction and has clearer detail texture of the enlarged effect image. In the objective evaluation， the Peak Signal-To-Noise Ratio （PSNR） and Structural SIMilarity （SSIM） of the proposed algorithm inreconstruction are improved by 0.25 dB and 0.019 averagely and respectively compared with those of SRGAN.

visual effect; super-resolution reconstruction; parallel structure; residual network; perceptual loss

TP391

A

1001-9081（2022）05-1570-07

10.11772/j.issn.1001-9081.2021050742

2021?05?10；

2021?09?09；

2021?10?14。

國家自然科學基金資助項目（62063014）。

王匯豐（1995—），男，甘肅天水人，碩士研究生，CCF會員，主要研究方向：計算機視覺、圖像處理； 徐巖（1963—），男，甘肅蘭州人，教授，碩士，主要研究方向：語音信號處理、圖像處理； 魏一銘（1995—），男，河南鄭州人，碩士研究生，主要研究方向：計算機視覺、圖像處理； 王會真（1996—），女，甘肅白銀人，碩士研究生，主要研究方向：文本處理。

This work is partially supported by National Natural Science Foundation of China （62063014）.

WANG Huifeng， born in 1995， M. S. candidate. His research interests include computer vision， image processing.

XU Yan， born in 1963， M. S.， professor. His research interests include speech signal processing， image processing.

WEI Yiming， born in 1995， M. S. candidate. His research interests include computer vision， image processing.

WANG Huizhen， born in 1996， M. S. candidate. Her research interests include text processing.