基于小波域的圖像超分辨率重建方法

董本志， 于明聰， 趙 鵬

(東北林業大學 信息與計算機工程學院，黑龍江 哈爾濱150040)

1 引 言

圖像超分辨率重建[1](Super-Reconstruction，SR)是通過低分辨率 (Low Resolution, LR)圖像或者圖像序列恢復出高分辨率(High Resolution, HR)圖像的技術，由Harris[2]等人在20世紀60年代首次提出，之后在衛星成像[3]、醫學成像[4]、光學成像[5]、圖像生成[6]、生物成像[7]等計算機視覺任務和圖像處理領域均取得了突出成就。目前主流方法有基于插值、基于重構、基于學習3種。

基于插值和基于重構的方法對自然圖像的先驗知識具有較大的依賴性，從而導致處理復雜圖像時無法恢復出更多的細節信息，重建能力有限。基于學習的方法通過建立高、低分辨率圖像兩者之間的映射關系，利用學習獲得的先驗知識來完成高分辨率圖像的重建。目前基于學習的方法主要有基于稀疏表示、近鄰嵌入和深度學習的方法。Timofte[8]等人將稀疏字典和領域嵌入進行結合，提出了錨定領域回歸算法和改進后的錨定領域回歸(A+)算法，計算效率得到了提高，但圖像細節恢復效果較差。傳統學習模型的特征提取和表達能力極其有限，很大程度上限制了重建效果，而基于深度學習的方法以其強大的學習能力在超分辨率領域得到了廣泛的應用，重建效果相較于其他方法具有大幅提升。

基于深度學習的SR研究中，Dong[9]等人首次提出了基于卷積神經網絡(CNN)的超分辨率圖像重建方法SRCNN，通過端對端的訓練學習來解決SR問題。SRCNN具有3個卷積層，分別代表圖像塊的特征提取、表示和重構，顯著提高了傳統方法的重構進度。但是該網絡學習到的特征單一且感受野太小，缺乏語境信息，收斂速度慢，同時計算花銷很大。隨后FSRCNN[10]、ESPCN[11]等利用反卷積層以及亞像素卷積層替代SRCNN 模型中雙三次插值的操作，有效減少了總計算復雜度，但是隨著網絡層數的加深，訓練花銷和構建難度逐漸增大。何凱明[12]于2015年提出的殘差網絡(Resnet)使網絡深度大幅加深得以實現，在減少訓練時間和加快收斂速度方面展現了較強的優勢 。基于這一思想，Kim等人在SRCNN的基礎上，提出了超分辨率重建深度網絡[13](VDSR)和循環超分辨率神經網絡[14](DRCN)。通過梯度裁剪、跳躍連接、遞歸監督等方法，降低了深度網絡訓練的難度。但是其輸入圖像需要進行雙三次線性插值放大的預處理，會丟失低分辨率圖像的原始信息，導致最終結果出現偽影問題。隨后的基于殘差網絡的超分辨率模型，如DRNN[15]，LapSRN[16]，SRResNet[17]，DenseNet[18]等陸續被提出。然而上述模型都是通過單尺寸卷積模塊的線性疊加實現網絡縱向加深，以追求其更高的表達能力和抽象能力。然而伴隨著網絡的加深，從原始圖像中提取到的淺層特征逐漸被淡化，在逐層卷積和過濾計算的過程中會出現結構信息丟失從而出現偽像。2018年Li[19]等人提出了雙通道卷積神經網絡，該網絡通過特有的深、淺雙通道提取特征信息，獲取了更多原始圖像信息，具有較好的重建效果。同年，Du[20]等人通過引入多尺度卷積濾波器競爭策略來增強網絡的重建能力，可以自適應地選擇圖像重建信息的最優尺度，并在有限的計算資源下構建了淺層網絡，擴展性較強，處理實際問題時效果很好。但是這兩種算法仍不能充分利用原始圖像信息的結構與細節信息。

小波變換具有多分辨率分析功能和逐步分解等特性，能夠在圖像重建過程中全面利用圖像的結構與細節信息，使得超分辨率重建后的圖像信息豐富且細節清晰。Bae[21]等人于2017年提出利用小波殘差網絡來進行圖像超分辨率重建和圖像去噪；相似地，Guo[22]等人提出一種基于小波變換的深度網絡來恢復圖像損失的細節，并取得了較好的結果。2018年，Liu[23]等人以U-NET[24]為網絡基本架構，加入小波變換來進行圖像超分辨率重建等任務。上述3種網絡在小波域內重建效果可觀，但仍然未能充分利用每一個卷積層的信息。

針對上述方法的不足，本文提出基于小波域的殘差密集網絡(WRDSR)。WRDSR以神經網絡預測小波系數，將圖像重建從低維到高維的映射過程轉化為同等維度的預測，能夠更有效地重建出清晰圖像。同時，網絡采用密集連接、跳躍連接以及特征融合來加強網絡各層次的信息交流，防止了因激活層中線性整流函數(Rectified Linear Unit, ReLU)的截斷效應導致信息在傳遞過程中出現丟失的現象[25]，更好地捕捉上下文之間的信息，最后通過亞像素卷積與小波逆變換進行圖像重構，緩解棋盤效應，進而提高圖像重建質量。

2 模型設計

基于小波域的殘差密集網絡模型(WRDSR)通過空域到小波域的變換來實現超分辨率圖像的重建。為了更加有效地提取特征并降低運算的復雜度，網絡直接將LR 圖像的小波子帶圖像作為網絡的輸入，最終映射到HR圖像的小波域下，共分為小波分解、特征提取和小波重建3個模塊。首先，小波分解模塊利用二維離散小波變換將低分辨率圖像分解成4個不同頻率的子帶圖像以分離結構與細節信息，使得后續網絡能夠對結構與細節分別進行最大程度的特征提取與留存。在特征提取過程中，模塊采用殘差密集網絡對小波分解輸出的4個LR小波子帶圖像實現特征提取。最后，小波重建模塊將殘差密集網絡輸出的特征圖通過亞像素卷積生成4個對應的HR小波子帶圖像，經二維離散小波逆變換生成最終的HR圖像。整體結構如圖1所示。

圖1 網絡模型結構

2.1 小波分解

小波變換已被證明是一種高效的特征提取方法[26]。它可以充分表達和利用一張圖像在不同水平上的上下文和紋理信息，二維離散小波變換(2DDWT)如圖2所示。同時小波變換具有正交性，因而可將其應用到圖像超分辨率重建中。

圖2 二維離散小波變換

Huang等人[27]證明，圖像的高頻小波系數會隨著其模糊程度的增加而逐漸消失，獲得清晰SR圖像的關鍵在于還原低頻信息的同時也能還原高頻小波系數。所以SR可以看作是恢復輸入LR圖像細節的問題，這可以與小波變換相結合，如果把變換后低頻小波圖像表示為LR 圖像，那么其它的小波子帶圖像就是想要的重建圖像易缺失的高頻細節。WRDSR采用哈爾小波進行2DDWT，其具體步驟為：首先對圖像的每一行進行1DDWT，獲得原始圖像在水平方向上的低頻分量L和高頻分量H；然后分別對L、H的每一列進行1DDWT，獲得原始圖像的水平和垂直低頻分量LL、水平低頻和垂直高頻分量LH、水平高頻和垂直低頻分量HL以及對角線高頻分量HH。輸入的LR圖像經過2DDWT得到4個小波子帶圖像LRWav，即：

LRWav={LLL,LLH,LHL,LHH}∶=2DDWT{LR}，

(1)

式中，LLL,LLH,LHL,LHH是LR圖像生成的小波子帶圖像，分別對應低頻分量、水平低頻垂直高頻分量、水平高頻垂直低頻分量和對角線高頻分量，2DDWT{LR}表示對LR圖像進行2DDWT操作。

2.2 特征提取

特征提取模塊中的網絡由密集連接塊(Dense Block，DB)以及特征融合層組成，擁有4個輸入通道，分別對應于2DDWT模塊中輸出的4個小波子帶圖像LLL,LLH,LHL,LHH，通過神經網絡向前傳播表示為一系列特征圖。

首先，LRWav通過一個初始3×3的卷積層對4個輸入進行淺層特征提取操作F1，得到淺層特征ILR：

ILR=F1(LRWav)

.

(2)

ILR隨后進入由密集連接塊組成的深度特征提取層，其中每個密集連接塊內分別含有3個3×3用于提取特征的卷積層以及3個用于調整神經元的活躍度，增強網絡的非線性的ReLU層。層與層之間采用密集連接，同時前一個DB的輸出和每一層的輸出直接連接到后一層，既保持了前饋的特性，又可以結合圖像淺層低維特征(紋理、彩色、形狀)和深層的高維語義特征生成質量更好的特征表示，減少了信息流在網絡中傳遞的損失。隨后在末端進行塊內特征融合并通過1×1卷積層實現降維，得到每個DB塊的特征圖輸出。DB結構如圖3所示。

圖3 DB結構

第i個DB輸出fd表示為：

fd=(FDBi(FDBi-1(…FDB1(ILR)…)))，

(3)

式中，FDBi表示第i個DB的特征提取操作。

每個DB的輸出，不僅作為下一個DB的輸入，同時也輸入到塊外特征融合來充分利用原始圖像中的分層特征，通過網絡的不同域信息流保留盡可能多的特征，對最后特征融合層的輸出利用1×1卷積層進行降維得到最終小波預測系數f(LRWav)：

f(LRWav)=Fconcat(f1,f2,…,fd)，

(4)

式中，Fconcat為特征融合操作，fd為第i個DB輸出。為了整個深度網絡訓練的穩定性和特征提取的高效性，在DB塊內以及整體特征提取模塊中加入殘差鏈接來避免梯度爆炸和梯度消失的問題。

2.3 小波系數重建損失

在相機成像過程中，由于硬件方面的限制，生成的圖像上每個像素只代表附近的顏色，而在微觀上，實際物理像素之間還存在許多像素，即亞像素。在SR過程中，無法被傳感器檢測出來的亞像素可以通過算法近似計算出來，相當于推理出圖像缺失的紋理細節等高頻信息。

WRDSR在提取了LR空間的特征后，采用亞像素卷積用于完成將非線性映射得到的高維小波特征圖超分辨率重建成高分辨率小波深度圖。假設目標倍數為r，輸入的低分辨率特征圖大小為H×W，將其與通道數為r2的H×W亞像素卷積核進行卷積，得到H×W×r2個像素值，再將其重新排列組合成大小為rH×rW的目標圖像。上采樣過程如圖4所示。

圖4 亞像素卷積

小波逆變換得到最終重建結果SR，即：

SR=2DIDWT{f(LRWav)}，

(5)

式中，2DIDWT{f(LRWav)}表示對f(LRWav)進行2DIDWT操作。

2.4 小波系數重建損失

神經網絡訓練過程是一個通過迭代不斷降低損失值并得到最優解的過程。在圖像空間常用的損失函數是對HR圖像和SR圖像逐像素進行均方誤差操作，本文同樣采取這種方式，不同之處在于對圖像對應的小波系數進行這一操作。本文針對SR采用小波系數重建損失，標簽為 HR圖像的小波系數HRWav：

HRWav={HLL,HLH,HHL,HHH}∶=2DDWT{HR}，

(6)

式中，HLL,HLH,HHL,HHH分別對應低頻分量、水平低頻垂直高頻分量、水平高頻垂直低頻分量和對角線高頻分量的小波系數。

整體網絡的損失函數為：

(7)

3 實 驗

3.1 實驗環境

實驗硬件設備為PC：Intel(R)Core(TM)i7-6700 CPU@3.40 GHz處理器，4G運行內存，利用NVIDIA GeForce RTX 2080 Ti進行GPU加速。軟件環境為window 10 系統下的Tensorflow機器學習框架。

3.2 實驗數據及實驗參數設置

實驗數據分為訓練集和測試集。訓練集采用DIV2K數據集并通過水平、垂直方向反轉以及90°旋轉來增強數據集，其中DIV2K是Timofte[28]等發布的2K分辨率的高質量數據集，近幾年被廣泛運用在超分辨率領域，包含800張訓練圖片，100張驗證圖片和100張測試圖片。為了驗證算法的有效性，選取4個標準測試集：Set5[29]，Set14[30]，BSD100[31]，Urban100[32]進行測試。SET5、SET14和BSD100數據集中的圖像由自然場景組成，URBAN100數據集包含具有挑戰性的城市場景圖像以及不同頻段的細節。

訓練時，礙于內存限制，DB塊采用6塊，同時利用雙三次插值法以因子k(k=2,3,4)對原始HR圖像進行下采樣，生成相應的低分辨率圖像，并將HR圖像對應的小波圖像作為訓練標準，然后對每一次迭代后的結果利用式(7)進行損失計算，采用ADAM優化器進行更新權重和偏置，初始學習率設置為0.001，訓練過程中當連續10個epochs損失函數沒有降低時將學習率削減一半，當學習率低于0.000 02時停止整個訓練過程。

對于原始彩色圖像，將每張彩色圖像從RGB顏色空間轉換為YCbCr彩色空間。由于人眼視覺相比于顏色對圖像亮度更加敏感，且在Y通道做映射關系不會影響圖像的重建質量，所以僅對Y通道即亮度通道做訓練從而得到對應的映射關系，對Cb、Cr 顏色分量進行簡單的插值放大，這樣可以在減輕計算開銷的同時保證圖像的重建質量。

3.3 實驗結果及分析

基于文中算法流程，分別利用訓練集和測試集進行了實驗，同時對SRCNN[9]、VDSR[13]、LapSRN[16]、DWSR[22]等進行了復現。由于實驗環境等差異，復現后的數據可能與原文獻實驗數據有些許差異。

評價超分辨率圖像質量主要分為主觀評價和客觀評價，前者是通過觀察者的主觀感受來評價重構圖像質量，后者是根據量化指標來衡量輸出圖像質量。其中，量化指標采用圖像超分辨率常用的峰值信噪比(Peak Signal to Noise Ratio, PSNR)和圖像的結構相似性(Structural Similarity, SSIM)。PSNR是基于MSE定義：

.

(8)

PSNR定義為：

(9)

式中，I和K表示兩個m×n的圖像，MAXI是圖像可能的最大像素值，通常PSNR越大，失真度越小。SSIM定義：

(10)

在客觀評價上將本文算法同雙三次線性插值(Bicubic)、SRCNN、VDSR、LapSRN、DWSR、Du[20]和SDSR 7種方法在4個測試集上的×2、×3、×4放大倍數進行對比，對比結果為6次實驗的平均值，指標最高的數據加粗顯示，如表1所示。從表1可以看出，相比傳統Bicubic方法，基于學習的超分辨率重建方法在PSNR和SSIM上有著顯著的優勢。在基于深度CNN的方法中，本文算法指標全面優于SRCNN。相比于DWSR的10層簡單網絡，采用殘差密集網絡后，圖像特征提取能力更強，同時獲取淺層結構和細節信息更多，重建效果更優。相比于VDSR、LapSRN和SDSR，WRDSR在Set5、Set14和BSD100上測試結果基本持平，Set5和Set14上個別PSNR稍稍遜色于Du[20]。相比于其他算法，WRDSR在Urban100上優勢明顯，并且SSIM普遍高于其他算法，這得益于小波變換與殘差密集網絡相結合獲取到了更多圖像中不同層次的結構性信息，并且Urban100中以城市場景圖像為主，富含不同頻段的細節，結構性信息豐富，從而結構相似性更高，重建效果更加優秀。

表1 PSNR/SSIM結果對比表

圖5 標準測試集測試結果

在主觀評價上，為了更加清晰地對比本文算法與其他算法的重建結果，分別從Set5的×2結果、Set14的×3結果、Urban100的×4結果中分別挑選一張圖片進行比較，如圖5所示。圖5中，Set5蝴蝶圖像測試結果很好地保留了黑色線條上的豁口以及紋理邊緣的不平整性，而其他結果線條過于平滑，并未完整保留原始圖像特征。Set14中No.1的重建結果在胡須等細節恢復優秀的基礎上，整體直觀感受更接近于原圖。對于Urban100中No.92重建圖像，本文方法生成的圖像線條紋理更加清晰和銳利，線條溝壑的結構清晰可見，而其他結果中線條邊緣比較模糊，信息損失嚴重。上述結果圖中直觀感受更強的原因是殘差密集網絡在提取圖像特征時，有效地獲取到更多由小波變換所提供的結構性信息，使得在重建圖像時結構性更強，更加接近于原始圖像。

本文算法在非標準測試集上也進行了測試以驗證算法的普適性。測試集數據采集地點為東北林業大學帽兒山實驗林場，以其30～40 年生的大葉榆、大果榆、裂葉榆、春榆等榆樹上榆紫葉甲蟲為研究對象，拍攝到200 張像素大小為500×375 的圖片數據。測試圖像進行3倍Bicubic下采樣并通過WRDSR進行3倍放大得到測試結果，平均PSNR為35.29 dB，平均SSIM為0.938 9，測試結果如圖6所示，其中第1行為原始圖像，第2行為退化后圖像經WRDSR恢復后圖像。在對實際圖像進行重建時，無論是榆紫葉甲蟲還是樹葉等背景圖像，均得到很好地重建，樹葉紋理清晰，孔洞等結構性信息很好地保留了下來。

圖6 非標準測試集測試結果。(a)原始圖像；(b)退化后經WRDSR恢復圖像。

圖7 WRDSR與其他5個算法在urban100數據集×2超分辨率重建的平均運行時間比較

(a) Learning rate： 0.01

(b) Learning rate: 0.001圖8 收斂速度對比

基于深度CNN的6個SISR方法在urban100上×3超分辨率重建的平均運行時間對比上, WRDSR在保證了恢復質量的同時，算法的重建速度方面也具有一定的優勢，參見圖7。相較于DWSR的10層簡單網絡，WRDSR網絡層數更多，結構更復雜，所以重建速度稍慢于DWSR。同時也可看出，WRDSR和DWSR兩種基于小波變換的算法在重建速度上優于其他非小波域算法，這是緣于小波變換的稀疏性，使得網絡參數大幅度減少，提高了網絡的整體性能。

3.4 收斂速率

本文算法除主觀評價與客觀評價外，在收斂速率上較其他算法也存在優勢。如圖8所示，分別以0.01和0.001的學習率進行收斂速率實驗，其中本文算法和DWSR在小波域下進行訓練，Bicubic、SRCNN和VDSR在非小波域下進行訓練。

通過兩種學習率下的結果均可看出，小波域訓練算法相較于非小波域訓練算法收斂速度具有一定的優勢，其具體原因如圖9所示。大小為40×40的原始圖像經小波變換后分成4個20×20的子圖像，這樣在訓練時大大減少了卷積計算量，也縮小了重建所需的最小接收域。而相較于DWSR在小波域下，本文算法通過密集連接充分獲取了各層次特征，在同等epoch下獲取到了更多重建所需的信息，因而PSNR平均增長速度更快，收斂更早。

圖9 小波變換樣例

4 結 論

基于小波域的殘差密集網絡，可以很好地利用小波變換分離結構與細節信息的能力，同時也利用了殘差密集網絡對底層信息獲取力強的優點，有效解決了傳統圖像超分辨率重建算法原始圖像信息利用不足的問題。在客觀評價上與算法Bicubic、SRCNN、VDSR、LapSRN、DWSR和SDSR相比，WRDSR在評價指標PSNR/SSIM上平均提高了2.824 dB/0.059 5、0.747 dB/0.016 8、0.016 dB/0.002 4、0.025 dB/0.004 3、0.21 dB/0.004 7和0.20 dB/0.005 7。主觀評價上，重建圖像具有更銳利的邊緣和清晰的輪廓，更多地保留了原始圖像的信息，具有更好的圖像辨識度和視覺效果。