基于多尺度條件生成對抗網絡的圖像去模糊

王晨卿，荊 濤，劉云鵬，陳 頌，蔣曉瑜，閆興鵬

(陸軍裝甲兵學院 信息通信系，北京 100072)

0 引 言

圖像去模糊技術是圖像處理和計算機視覺領域內的研究熱點。在相機拍攝過程中，由于相機抖動旋轉、目標物體相對位移或鏡頭失焦等因素的影響，會導致所拍攝圖像產生模糊。傳統的去模糊算法首先根據先驗約束[1-4]估計模糊核，然后再通過反卷積復原圖像，其缺點在于泛化能力差且計算過程復雜。近年來，卷積神經網絡(convolutional neural network，CNN)被應用到圖像去模糊領域，并以其固有的多尺度特征提取能力取得了良好效果[5,6]。Nah等[7]以分層網絡級聯作為多尺度特征表達方式的CNN能以由粗到細的策略逐步地恢復出清晰圖像，然而這種方式會導致模型的參數量和計算時間增加。Kupyn等[8]使用生成對抗網絡以端到端方式進行去模糊處理并提升了運行速度，然而由于其扁平化的網絡結構導致了處理效果不佳。

針對現有的去模糊方法中效果不佳和處理速度慢等問題，本文提出一種端到端方式的多尺度條件生成對抗網絡模型，用以高效地處理復雜場景下的非均勻模糊問題。首先構造了一種多尺度殘差模塊，增強網絡的多尺度特征提取能力，同時減少網絡參數量，并以多尺度殘差塊為主體構造生成器網絡；添加全局和局部跳躍連接的結構，以提高網絡的學習效率和多尺度特征的自適應表達能力。其次引入PatchGAN[9]鑒別器網絡結構提升局部圖像特征提取和表征，并加速網絡收斂。

1 相關工作

1.1 條件生成對抗網絡

傳統的生成對抗網絡模型如圖1(a)所示，生成對抗網絡(generative adversarial network，GAN)由一個生成器G(Generator)和一個鑒別器D(Discriminator)組成，訓練的過程就是兩者進行動態地“零和博弈”。網絡訓練時輸入隨機噪聲z到生成器G，G通過不斷地學習真實數據x的分布，使生成的數據G(z)盡量接近于真實數據x的分布。而鑒別器D的任務是把真實數據x與生成數據G(z)盡量區分開。模型最終的目的是鑒別器D無法區分生成數據G(z)的真假。傳統GAN的損失函數可以表示為

Ez～Pz[log(1-D(G(z)))]

(1)

其中，x，z分別為輸入的真實數據和隨機噪聲，Pr和Pz分別表示真實數據分布和隨機噪聲分布，E[*]表示數學期望。對抗過程中交替更新生成器G和鑒別器D，直到二者達到納什均衡，即D(G(z))=0.5。

然而傳統的GAN作為一種無監督學習模型，不需要預先假設數據分布模型，其生成過程過于自由，因此對于較復雜的數據或高分辨率的圖像信息，傳統的GAN變得不在生成器和鑒別器中引入約束條件y，為生成特定條件下的數據提供方向上的指導，y可以是標簽或圖像可控。針對這種情況，CGAN[10]被提出并廣泛應用于圖像翻譯、圖像修復和超分辨率重建等領域，其通過在生成器和鑒別器中引入約束條件y，為生成特定條件下的數據提供方向上的指導，其中y可以是標簽或圖像等任意輔助信息。因此將傳統的GAN由無監督學習方式轉變為監督學習，更有利于生成符合條件的數據。CGAN的模型框架如圖1(b)所示，其目標函數可以表示為

圖1 生成對抗網絡的基本框架

Ez～Pz[log(1-D(G(z|y)))]

(2)

1.2 多尺度特征表達方式

在計算機視覺處理任務中，表達多尺度特征需要用不同大小的感受野來提取不同尺度下的特征信息。而CNN因其固有的特征提取能力，能夠以堆疊卷積層的方式由粗到細地提取到圖像的多尺度特征。通過增加CNN網絡層的深度和寬度來提取更加豐富和抽象化的圖像特征信息，該種策略已經被廣泛應用并且取得了良好的效果，如AlexNet[11]和VGGNet[12]等。然而，通過簡單地堆疊網絡層或者以多層網絡級聯的方式進行多尺度特征提取，不僅會造成運行時間和內存的增加以及模型的過擬合，同時，冗余的網絡層會導致傳輸過程中的特征丟失。

為了有效地增強CNN的多尺度特征提取能力，ResNet[13]通過學習殘差的方式解決了深層CNN中的網絡退化問題，因此可以使用深層殘差網絡來提高多尺度特征提取能力。GoogLeNet[14]通過并行使用多個不同內核大小的卷積層提取到不同尺度的圖像特征，而后進行級聯拼接實現多尺度特征的融合。DenseNet[15]在任意兩個網絡層之間添加跳躍連接，使當前層的特征信息能夠傳遞給后續所有的網絡層，實現了多尺度特征的復用，然而其能力受到計算量的約束。Res2Net[16]基于ResNet中的bottleneck模塊，將中間的3×3卷積層改進為分級連接的較小卷積塊，增加了網絡層的感受野范圍；并通過將特征通道數均分為L組，在更為精細的層次上提升了多尺度表達能力，同時減小了參數量。相關網絡的模型結構如圖2所示。

圖2 多尺度網絡模型的結構對比

2 本文方法

2.1 多尺度殘差模塊

為更好地還原清晰圖像的邊緣結構和紋理細節，提升網絡的去模糊效果，本文提出一種有效的多尺度殘差模塊MSR2B(multi-scale Res2Net block)，以充分提取不同比例的特征信息。MSR2B的結構如圖3所示，以輸入特征分組數L=4為例進行說明。該模塊由PartA和PartB兩部分組成，其中PartA基于Res2Net模型的分級殘差連接方式，PartB并行使用了兩組不同內核大小的卷積核，最后通過拼接操作(concatenation operation)融合特征圖。PartA和PartB能夠以不同的策略提取到多尺度特征，將兩者結合產生了更好的效果。

圖3 多尺度殘差模塊MSR2B的結構(特征通道分組L=4時)

(3)

在PartB中，構造了一個并行的雙分支結構，其中包含兩個不同內核大小的卷積層：3×3卷積和5×5卷積。將ti(2≤i≤L)處的特征圖經過拼接(concat)后經雙分支卷積處理，以自適應地提取不同尺度的圖像特征。PartB的功能可以表示為

(4)

(5)

(6)

Cn=Cn-1+Wout

(7)

在MSR2B中刪除了傳統殘差網絡中的批歸一化(batch normalization，BN)層，因為BN層占用了過多的計算內存，并且在去模糊任務中添加BN層會弱化圖像本身的細節信息并帶來偽影和棋盤效應，并且增加了模型復雜度，限制了網絡的泛化能力[17]。MSR2B通過在單個塊內進行分級連接和并行卷積再融合的殘差網絡結構不僅可以增強多尺度特征的提取能力，而且相比于傳統的bottleneck模塊帶來的計算復雜度也可以忽略。

2.2 網絡結構

本文的生成器網絡以MSR2B殘差模塊為主體結構，如圖4所示。生成器網絡包含一個步長為1，卷積核尺寸為7×7的常規卷積層。兩個步長為2，卷積核尺寸為3×3的跨步卷積層，可以對圖像進行下采樣并擴展通道數量。然后堆疊了9個多尺度殘差塊MSR2B用以充分提取多尺度圖像特征。最后包含了兩個步長為2、卷積核尺寸分別為3×3的轉置卷積層和一個步長為1、卷積核尺寸為7×7的常規卷積層，用來對圖像進行上采樣并恢復特征通道數量。除最后一層卷積外的常規卷積和轉置卷積后都跟隨ReLU激活函數以增強網絡的非線性表征能力，最后一層卷積后添加tanh激活函數。

為了進一步增強網絡的特征學習能力，在生成器網絡中添加了全局跳躍連接和局部跳躍連接。局部跳躍連接的作用表現在：一方面為了防止特征信息隨著網絡深度的增加而逐漸丟失，另一方面為了充分利用各個MSR2B模塊的不同輸出特征，因此將各個MSR2B的輸出都發送至網絡末端進行特征融合，并在殘差網絡末端添加一個1×1大小的瓶頸卷積，其作用是自適應地提取多尺度特征并解決特征融合帶來的冗余信息，同時減小網絡的計算復雜度。其次通過添加全局跳躍連接，可以提高網絡對圖像特征信息的復用，并降低模糊圖像到生成圖像之間端到端學習的復雜度。

GAN常用的鑒別器大多為二分類器，是將圖像經過多個卷積層和全連接層后得到的標量值直接作為判別的結果輸出，是對整張圖像的真實性做出的判斷。本文采用PatchGAN鑒別器網絡，通過假設一張圖像內的多個圖像塊(patch)之間的像素是互相獨立的，然后對每個圖像塊進行鑒別，并取所有圖像塊的鑒別結果的平均值作為輸出結果。相比于傳統的二分類器，PatchGAN更加關注圖像中的局部高頻信息，能夠表達更為精確的整體差異；并且由于PatchGAN是對小尺寸的圖像塊而非整張圖像進行處理，加速了訓練過程中的網絡收斂。如圖4所示，本文中的鑒別網絡包含5個卷積層，前4層卷積大小依次為4×4×64、4×4×128、4×4×256和4×4×512，且步長均為2，其后連接BN層和斜率α=0.2的LeakyReLU激活函數層。最后一層卷積大小為4×4×1，步長為1，其后連接Sigmod激活函數層。本文中鑒別器的輸入為來自生成器的輸出圖像和對應的清晰圖像(約束條件y)，且每個patch的大小均為70pixel×70pixel。

圖4 本文去模糊條件生成對抗網絡的結構

2.3 損失函數

本文采用的損失函數由對抗損失和內容損失兩部分組成。總的損失函數表示為

Ltotal=Ladv+λLpers

(8)

(1)對抗損失。傳統的GAN在訓練過程中存在著模式崩塌和不易收斂等問題，Arjovsky等指出這些問題是由于傳統的GAN采用JS散度(jensen shannon divergence)和KL散度(kullback leibler divergence)作為優化策略而導致的，并提出WGAN網絡，使用Wasserstein距離衡量真實樣本分布與生成樣本分布之間的距離替代傳統策略來優化網絡[18]。然而WGAN會通過剪切權重的方式來強制滿足Lipschitz約束，從而導致梯度消失或梯度爆炸等問題。為進一步解決此問題，WGAN-GP使用了梯度懲罰的方式替代權重剪切，并且獲得了更好的性能[19]。WGAN-GP的損失函數表示為

(9)

(2)內容損失。為了更好地恢復模糊圖像的細節特征，本文使用感知損失Lpers[20]替代傳統的L1或L2損失函數來定義網絡訓練的內容損失，用以改善生成圖像和清晰圖像之間的內容一致性。Lpers定義為清晰圖像經過卷積后得到的特征矩陣與生成圖像經過卷積后的特征矩陣之間的歐式距離，可以表示為

(10)

其中，R、G(B)分別表示清晰圖像和生成圖像，φi,j表示在ImageNet數據集上預訓練的VGG19網絡中第i個池化層前的第j個卷積層輸出的特征圖，wi,j和hi,j表示特征圖的維度，由于較低層的特征圖相對于深層的特征圖著重于表達圖像的紋理特征，故這里選擇i=j=3。感知損失函數Lpers有助于網絡生成真實性更強的圖像。

3 實驗結果與分析

3.1 數據集

GOPRO數據集由Nah等[7]提出，通過使用GoPro4 Hero Black高速相機以240 fps的幀率拍攝多個場景的視頻，并對視頻中的連續幀求平均來生成模糊圖像，這些模糊圖像較好地模擬了復雜相機抖動、散焦和物體相對位移等真實的非均勻模糊場景。GOPRO數據集中包括3214個清晰-模糊圖像對，選取其中2103對作為訓練集，另外1111對作為測試集。

K?hler數據集是K?hler等[21]通過記錄和回放6D相機的運動軌跡得到的。K?hler數據集作為評價非均勻去模糊算法的標準數據集，其中包含了4張清晰圖像，且每張清晰圖像分別對應了12張不同模糊核的模糊圖像，但由于該數據集內容較小，只能用作測試集使用。

3.2 訓練細節

實驗中使用PyTorch深度學習框架，在裝有Intel i7-6900K CPU和單塊Nvidia Titan X GPU的工作站上進行網絡模型的訓練。訓練中采用自適應估計矩陣(adaptive moment estimation，Adam)算法進行優化，其中首次估計的指數衰減率β1=0.5，第二次估計的指數衰減率β2=0.999，參數ε=10-8。交替更新生成網絡和鑒別網絡，即每更新1次生成器需要對鑒別器進行5次優化更新，經過300個epoch后模型收斂，前200個epoch的初始學習率設置為1×10-4，在后100個epoch的學習率線性衰減至1×10-7。感知損失函數的權重因子設置為λ=100，實驗過程中將batchsize設為2。并將隨機裁剪得到的256×256像素大小的圖像數據作為訓練輸入。

為準確評估圖像的去模糊效果，并評價本文所提出的去模糊多尺度生成對抗網絡方法的有效性，采用峰值信噪比(peak signal to noise ratio，PSNR)和結構相似性(structural similarity，SSIM)作為客觀評價標準。PSNR反映了對應像素點之間的差異程度，評價結果以dB(分貝)為單位表示，其值越高表明圖像越清晰；SSIM從亮度、對比度和結構3個方面來衡量圖像的相似度，取值范圍是[0,1]，其值越接近于1表明圖像質量越高。

3.3 多尺度殘差模塊的有效性分析

首先分析了MSR2B模塊中特征通道分組數L的大小對于網絡性能的影響。由于在本文的生成網絡中，MSR2B模塊的輸入和輸出特征通道數均為256，為了使模塊內的通道數能夠均分，設計了L=1，L=2和L=4這3種參數下的多尺度殘差模塊MSR2B，并在GOPRO數據集下進行訓練，保持了相同的實驗參數。客觀評價結果見表1，可以看出隨著L的增大，網絡層獲取的感受野范圍越來越大，提取到的多尺度特征越來越精細，PSNR和SSIM也隨之增大，并在L=4時表現出最佳性能。圖5所示為不同尺度L下的網絡去模糊效果，結果表明，隨著特征分組的增加，網絡的去模糊性能隨之提升，可以恢復出更多的細節紋理和圖形結構信息。盡管可以通過繼續增大塊內特征通道分組數L來提高特征提取能力，但是隨著L的增加，圖像的特征會被已有的感受野完全覆蓋，模塊的性能提升將會受限且復雜度會隨之增大，為了平衡網絡的計算復雜度和性能，本文最終選擇使用L=4時的MSR2B作為多尺度殘差模塊的基準結構。

表1 不同尺度下MSR2B的性能比較

圖5 不同尺度下MSR2B的去模糊效果對比

其次驗證了基準模塊MSR2B(L=4)的數量k對于網絡去模糊性能的影響。如圖6所示，從圖中可以看出，一開始隨著MSR2B模塊的增加，網絡的去模糊效果快速提升，然而繼續增加MSR2B模塊的數量會導致網絡的參數量增大并且性能提升的效率不明顯。因此為了平衡網絡的計算復雜度和去模糊性能，最終選擇使用MSR2B模塊的數量為k=9。

圖6 不同數量的MSR2B對網絡性能的影響

最后為了驗證本文提出的多尺度殘差模塊MSR2B的有效性，將該模塊與殘差模塊ResNet和Res2 Net在生成網絡中的特征提取能力進行了比較。在本文的生成器主干網絡結構中，分別使用經典的ResNet殘差模塊和Res2Net(L=4)殘差模塊替換掉MSR2B(L=4)基準殘差模塊，并且為了公平比較，在保持其它實驗參數固定的條件下進行了訓練。以這3種模塊為主干特征提取結構的條件生成對抗網絡在GOPRO數據集上的測試結果見表2，視覺效果對比如圖7所示，從中可以得出，本文提出的多尺度殘差模塊MSR2B在圖像去模糊任務中非常有效。從客觀評價結果上看，MSR2B模塊相較于傳統的ResNet模塊提升較大，在測試集上的平均PSNR和SSIM分別提高了1.02 dB和0.01；相較于Res2Net(L=4)模塊也有進一步地提高，在測試集上的平均PSNR和SSIM分別提高了0.26 dB和0.002。從視覺效果對比上看，使用ResNet模塊的去模糊網絡可以從嚴重模糊中恢復出圖形結構，但是字符仍然不夠清晰，人眼無法識別出圖中的有效信息；使用Res2Net(L=4)模塊的網絡由于增強了多尺度特征提取能力，因此能恢復出較清晰的圖像，但部分字符仍存在扭曲失真；MSR2B模塊網絡的多尺度特征表達能力進一步提升，恢復出了更豐富的圖像紋理和細節信息，字符的邊緣結構更加清晰。

表2 不同殘差模塊之間的性能比較

圖7 不同殘差模塊的去模糊效果對比

3.4 與其它方法對比

將本文的多尺度生成對抗網絡與其它先進的方法在GOPRO和K?hler評估數據集上的結果進行對比，對比的方法包括：Pan等[4]提出的通過去除圖像邊緣的離群值來估計模糊核的傳統盲去模糊方法；Sun等[22]使用CNN估計模糊核，并結合反卷積恢復圖像的過渡方法；Nah等[7]使用基于分層級聯網絡的多尺度CNN，以端到端的方式進行去模糊的方法；以及Kupyn等[8]基于圖像翻譯思想而提出的條件生成對抗網絡，采用深層殘差網絡進行不同尺度的特征提取，并以端到端的方式進行盲圖像去模糊的方法。實驗結果通過其發布的帶有默認參數的官方代碼實現或直接從其論文中得出。

表3中顯示了不同方法在GOPRO和K?hler評估數據集上的客觀評價結果，其中本文的去模糊方法在兩個數據集上均達到了最佳PSNR和SSIM值。其中在GOPRO數據集上，相比于Nah等的多尺度級聯網絡，PSNR提高了0.2 dB，SSIM提高了0.05；相比于Kupyn等的方法在運行時間上減少了24%。在K?hler數據集上PSNR和SSIM相比于Kupyn等的生成對抗網絡，分別提高了2.0%和2.5%。圖8顯示了本文和其它方法在GOPRO數據集上的去模糊視覺結果對比，從中可以看出，Nah等和Kupyn等的方法都取得了不錯的去模糊效果，但是仍未能很好地恢復圖像的紋理和細節特征，如圖中標識牌的顏色、窗戶的框架輪廓和廣告牌上的文字等，本文方法則可以對其進行較好地恢復；在K?hler數據集上的視覺效果對比如圖9所示，本文方法相比于Nah的方法能更為清晰地恢復圖像，相比于Kupyn等的方法減少了圖像中的偽影，并且顯示出了良好的泛化能力。綜上所述，本文方法可以更清晰、更真實地還原圖像的邊緣結構和紋理信息，同時處理速度更優。

表3 不同方法在測試集上的客觀評價結果

圖8 在GOPRO數據集上的視覺效果對比

圖9 在K?hler數據集上的視覺效果對比

4 結束語

本文提出一種基于多尺度條件生成對抗網絡的端到端圖像去模糊方法，用以解決現有的方法中去模糊效果不佳和處理速度慢等問題。在生成器網絡中，本文提出一種多尺度殘差模塊MSR2B作為主干特征提取結構，該模塊通過擴展模塊內部的精細感受野范圍來表達多尺度特征；并進一步添加全局和局部的跳躍連接，來融合多尺度信息并提升網絡的自適應特征表達能力。通過PatchGAN判別網絡來表征和提取局部細節特征，并加速網絡收斂。實驗結果表明，本文提出的方法相比于以分層級聯和加深深度作為多尺度策略的方法，去模糊效果更好并且運行速度更快。