基于多通道GAN 的圖像去噪算法

王洪雁，楊曉，姜艷超，汪祖民

（1.浙江理工大學信息學院，浙江 杭州 310018；2.大連大學信息工程學院，遼寧 大連 116622；3.五邑大學智能制造學部，廣東 江門 529020）

1 引言

近年來，圖像處理技術的快速進步，使其在醫(yī)學影像、衛(wèi)星遙感以及智能監(jiān)控等應用領域獲得持續(xù)關注。高質量圖像是保證后續(xù)有效處理的前提，然而采集及傳輸過程中圖像不可避免地被噪聲所污染，從而影響后續(xù)圖像分類、識別等任務完成的可靠性。因此，如何在不破壞圖像原有特征的條件下最大限度地去除噪聲以盡可能恢復原始圖像是目前圖像處理領域的熱點問題之一[1]。

針對此問題，眾多有效去噪算法相繼被提出，常見去噪算法通常可分為以下2 類。1) 基于傳統(tǒng)濾波器去噪。其基于圖像及噪聲的統(tǒng)計及結構約束設計濾波器實現去噪。其中，文獻[2]首先提出用于去除低密度噪聲的中值濾波器（MF,median filter），該濾波器對高密度噪聲適用性較差。基于此，文獻[3]提出可高效濾除高密度噪聲的自適應中值濾波器（AMF,adaptive median filter），由于該濾波器使用固定窗口尺寸，對于具有不同噪聲密度的圖像無法自適應調整窗口閾值，因而導致圖像模糊。需要注意的是，上述濾波器僅利用噪聲統(tǒng)計信息而較少考慮圖像自身相關結構及統(tǒng)計約束，且卷積核設置不同將導致卷積過程丟失部分有用信息[4]。針對此問題，文獻[5]提出k 均值奇異值分解（k-SVD,k-means singular value decomposition）方法，利用離散余弦變換構造字典，并基于奇異矩陣更新字典參數。然而，該方法僅基于當前圖像塊恢復圖像，沒有考慮其他相關區(qū)域信息，從而導致紋理細節(jié)丟失。針對上述問題，基于圖像非局域及稀疏性，文獻[6]提出三維塊匹配濾波（BM3D,block-matching and 3D filtering）方法，基于硬閾值及維納濾波聯(lián)合去噪，可較好地保留圖像細節(jié)，然而其需要同時考慮多圖像塊匹配，因而計算復雜度較高。2) 基于特征學習去噪。此類方法通過學習含噪與去噪圖像之間映射關系實現去噪[4]。其中，基于卷積神經網絡（CNN,convolutional neural network）權值共享、穩(wěn)健性強、特征有效表達等優(yōu)勢，文獻[7]將CNN 用于圖像去噪，然而其去噪效果嚴重依賴特征提取深度，即基于淺層網絡則泛化能力較差，基于深層網絡盡管去噪性能較好但計算復雜度較高。針對此問題，文獻[8]提出的前饋去噪卷積神經網絡（DnCNN,denoising convolutional neural network）將殘差思想應用至圖像去噪，在提取深度特征時將低級特征信息作為參考，并引入批量歸一化（BN,batch normalization）調節(jié)網絡以提升網絡收斂速度，從而高效獲取殘差圖像，顯著改善去噪效果。2015 年，Ronneberger 等[9]提出利用U-net 實現有效語義分割，該網絡由如下兩部分構成：擴張路徑用于精準定位；收縮路徑用于獲取上下文信息?；诖思軜嫞琔-net 可實現高效像素級分類，由此，文獻[10]基于此網絡實現圖像去噪。此外，文獻[11]通過并行訓練多通道自編碼器以估計各通道最優(yōu)權重，從而實現自適應圖像去噪。上述算法皆基于開環(huán)網絡，為使輸出結果可反饋調節(jié)網絡，從而改善去噪性能，Divakar 等[12]于2017 年基于閉環(huán)思想提出利用對抗原理訓練去噪網絡，去噪模型包括生成及判別網絡，通過將判別結果反饋至生成網絡以改善去噪效果。文獻[13]提出的去噪模型中生成及判別網絡均采用淺層卷積網絡，其損失函數建模為像素及對抗損失，相比上述學習模型，該方法去噪效果較好，然而直觀可感知細節(jié)即主觀信息仍有明顯丟失。針對此問題，文獻[14]聯(lián)合感知及對抗損失，基于預訓練幾何組特征差異衡量去噪效果，該方法表明感知損失更利于提升主觀感知。為進一步提升去噪性能，文獻[15]采用如下復雜生成網絡，包含收縮路徑及具有短接連接的擴展路徑，基于二維小波分解與重構實現上下采樣，小波分解后接高通濾波器直接跳轉至擴展路徑，并連接收縮路徑，從而盡可能地保留圖像細節(jié)，然而上述結構在改善去噪效果的同時也使計算復雜度顯著增加。

針對上述問題，本文提出基于生成對抗網絡（GAN,generative adversarial network）的多通道圖像去噪算法。所提算法首先分離彩色圖像RGB 三通道；其次利用U-net 衍生網絡及殘差塊構建生成模塊以有效提取圖像特征；再次基于全卷積神經網絡構造對抗模塊；最后基于均方誤差（MSE,mean square error）損失、感知損失及對抗損失構建復合感知損失函數，以改善去噪性能同時有效保留圖像的細節(jié)信息。

2 去噪相關工作

圖像去噪的目的是由含噪圖像恢復相應原始圖像，具體地，令f∈RN×N和u∈RN×N分別表示含噪圖像和對應的原始未污染圖像，二者之間的關系為

其中，O為含噪空間至原始空間的映射函數。

傳統(tǒng)去噪方法中映射函數通常基于空域或變換域構造?？沼蛉ピ胫苯幼饔糜谙袼?，常用去噪方法包括均值及中值濾波，其利用某像素鄰域均值/中值替換此像素值。然而，空域去噪方法噪聲普適性較差且圖像細節(jié)易丟失。針對此問題，變換域去噪方法被提出，其基于傅里葉變換或小波變換等方法映射空域圖像至變換域以利于有效分離噪聲，從而提升去噪效果[16]。

相較于基于圖像像素及其變換域的傳統(tǒng)去噪方法，基于學習的去噪方法則利用訓練所得模型獲得圖像及噪聲統(tǒng)計信息，從而構造含噪圖像至去噪圖像的映射關系，進而實現去噪[17]。典型的基于學習的去噪模型包括基于BN 及殘差學習以加速訓練過程，從而提升去噪性能的DnCNN，以及融合編解碼結構與跨層連接，以加速網絡收斂的卷積編碼器[18]。需要注意的是，上述基于學習的去噪模型皆為開環(huán)結構，因而無法將輸出結果反饋至模型，以提升其去噪性能。針對此問題，基于閉環(huán)結構的對抗學習思想被引入去噪領域，以充分利用輸出結果改善去噪模型有效性，進而提升去噪效果。

作為對抗學習模型的典型代表，GAN 廣泛應用于去噪領域，其由生成器G 和判別器D 構成，結構如圖1 所示。其中，生成器G 接收含噪圖像，并對其預去噪以生成圖像G(f) ；判別器D以原始圖像u及G(f) 為輸入，其輸出賦予原始圖像較高值、生成圖像G(f) 較低值?；谒鶚嬙鞊p失函數迭代訓練G 和D，迫使G(f) 漸次逼近真實圖像，最終使D 無法準確區(qū)分原始及生成圖像，從而完成去噪。常用目標函數為二者極大極小值博弈，即

其中，E(·) 為期望算子，logD(u)為判別器D 正確識別真實圖像的概率，log(1 -D(G(f)))為D 將生成圖像識別為虛假圖像的概率?；诖藢箵p失，可反向調節(jié)生成器及判別器，以改善去噪性能。然而，此對抗損失易導致高頻偽影，且無法保持主觀特征信息。

圖1 生成對抗網絡結構

3 所提圖像去噪算法

所提算法將含噪圖像分離為RGB 三通道，各通道具有相同網絡結構，以盡可能保持特征融合后分通道細節(jié)信息。以單個通道為例，所提算法框架如圖2 所示。生成器G 以含噪圖像為輸入，輸出為去噪圖像；判別器D 以原始及去噪圖像為輸入，輸出為[0,1]，表征去噪與原始圖像的相似性。基于所構造的復合感知損失交替迭代訓練判別及生成網絡，最后加權融合各通道輸出，以獲得最終去噪圖像。

3.1 生成網絡

圖2 所提算法框架（以RGB 中單個通道為例）

生成網絡是基于GAN 去噪網絡的核心部分，圖像去噪性能較大程度上依賴于生成網絡。如前所述，U-net 為具有編碼/解碼器結構的全卷積神經網絡。與普通編解碼結構相比，U-net 的優(yōu)勢在于具有跳躍連接，能將編/解碼器特征圖按通道拼合，因而可保留具有不同分辨率的像素級細節(jié)信息[19]。此外，ResNet 由于殘差塊間跳躍連接可避免梯度消失，從而可顯著提高網絡收斂速度。由此，本節(jié)利用U-net 衍生網絡以及ResNet 構建生成網絡，在U-net 基礎上引入部分具有跳躍連接的殘差塊，通過編碼器、解碼器及殘差塊的處理，盡可能地保留圖像信息，同時不顯著增加計算復雜度，最后通過損失函數迭代調整網絡。生成網絡結構如圖3 所示，其中，k、n和s分別表示卷積核大小、濾波器數和卷積步長。

生成網絡中，編/解碼器采用對稱卷積操作以保證圖像輸入/輸出維度相同；第一層和最后一層卷積核尺寸為7 ×7，其他層卷積核大小為3 ×3，步長設置為1 以捕捉更多細節(jié)信息；各卷積層后接BN 以提升學習率，從而加快網絡訓練速度；各BN 后接激活函數ReLU[4]；最后一層以tanh()· 為激活函數以緩解梯度消失效應，從而保證訓練穩(wěn)定性；此外，生成模塊中還加入9 個殘差塊，在保證去噪效果的同時有效保留圖像低階特征。

3.2 判別網絡

判別網絡基于全卷積神經網絡構建，其將傳統(tǒng)CNN 中全連接層替換為卷積層，以消除輸入圖片尺寸限制。判別網絡以生成網絡產生的偽圖像G(f)和原始圖像為輸入，判別網絡結構如圖4 所示。判別模塊包含5 個卷積層，每層卷積核大小為4 ×4，步長為2 且濾波器個數依次為64、128、256 及512；除最后一層外，其他層皆后接BN 及非線性激活函數LeakyReLU，以避免ReLU 神經元“死亡”[20]。輸出采用Sigmod 函數以便于概率分析并將判別結果歸一化[21]，此輸出表征輸入圖像與原始未污染圖像的相似程度，數值越高，表明輸入圖像越接近原始干凈圖像；反之，則接近生成圖像。

3.3 損失函數

為訓練所構建的生成及判別網絡以改善去噪性能，同時盡可能保持原始圖像細節(jié)特征，本節(jié)基于可度量生成對抗網絡性能的對抗損失、表征主觀信息的視覺感知損失和表述像素間一致性的MSE 損失[22]這3 類損失度量，構造可體現去噪效果、內容完整性以及主觀視覺效果的復合損失函數。

3.3.1 對抗損失

基于訓練數據集，最小最大化如式(2)所示的對抗損失，以獲得最優(yōu)生成及判別網絡，從而提升生成網絡的生成圖像與原始圖像之間的相似性，進而改善圖像去噪性能。

圖3 生成網絡結構

圖4 判別網絡結構

3.3.2 MSE 損失

對抗損失雖然可有效調節(jié)生成及判別模塊，但是易導致高頻偽影。由于MSE 所具有的均值回歸特性可保證像素間良好的一致性，因此可有效緩解細節(jié)平滑效應。MSE 損失可表示為

3.3.3 感知損失

圖像處理中細節(jié)信息完整性尤其重要，然而基于上述MSE 損失訓練網絡易產生圖像模糊，從而導致主觀信息缺失[23]。由于感知損失可度量生成及原始圖像在感知特征空間的距離，而不僅局限于像素空間[24]。因此，可基于如下感知損失有效保持主觀特征信息

其中，φ為預訓練VGG-19 網絡的最后卷積層輸出。通過將原始圖像與去噪圖像分別輸入預訓練VGG-19 網絡，以獲取各自圖像特征，從而衡量二者感知特征損失。

3.3.4 復合感知損失函數

綜上所述，基于GAN 構建的去噪網絡的復合感知損失函數可表示為

其中，λ1、λ2和λ3分別表示各損失權重，其可基于實驗設置。

3.4 融合模塊

所構建去噪網絡中的融合模塊采用空域圖像融合算法，即加權平均法。設三通道加權系數分別為wA、wB、wC，且滿足w A+wB+wC=1，則融合圖像像素F(i,j)可表示為

加權系數可通過諸如最大、最小、平均以及主成分分析（PCA,principal componentanalysis）等方法[24]設置。若令wA、wB和wC分別為δ(A(i,j) -max(A(i,j),B(i,j),C(i,j)))、δ(B(i,j)-max(A(i,j),B(i,j),C(i,j)))和δ(C(i,j) -max(A(i,j),B(i,j),C(i,j)))，則表示三通道基于像素取大原則融合；類似地，若令δ(A(i,j) -min(A(i,j),B(i,j),C(i,j)))、δ(B(i,j) -min(A(i,j),B(i,j),C(i,j)))和δ(C(i,j) -min(A(i,j),B(i,j),C(i,j)))，則意味著三通道基于像素取小準則融合，其中，max(·)、min(·)和δ(·)分別表示極大值算子、極小值算子和狄拉克函數。由于所構建的去噪網絡無差別處理三通道信息，因此為了盡可能保持圖像原有的細節(jié)信息，本文采用算術平均法融合三通道信息，即。

4 實驗結果分析

基于2020 年阿里天池算法挑戰(zhàn)賽所提供的圖像數據集，本節(jié)通過將所提算法與 BM3D[6]、DnCNN[8]、RED-WGAN[11]、WGAN-VGG[14]、MSRResNet-GAN[25-26]及DUGAN[27]等算法進行對比，在人類主觀感知及客觀評價方面驗證所提算法的有效性。所用數據集分為8 個類別，每個類別包含160 張圖片，所采用圖像均具有豐富的紋理及邊緣特征，因而去噪難度較大。為充分驗證所提算法的去噪效果，本節(jié)在訓練圖像中分別添加密度為15%、25%、35%的椒鹽噪聲。

4.1 實驗環(huán)境配置

網絡設置如下。生成器由15 層CNN 構成，如圖3 所示，其中包含9 層殘差網絡，編/解碼結構中卷積核大小分別設置為7 ×7、3 ×3、3 ×3、3 ×3、3 ×3、7 ×7 ；判別器基于全卷積神經網絡構建，如圖4 所示，卷積核大小設置為4 ×4 。訓練過程中，批處理大小為64，采用Adam 算法更新梯度，學習率為0.001，動量值為0.9，權值衰減為0.000 01。為增加訓練樣本數，可對訓練數據隨機添加類別、密度各異的噪聲以增加模型泛化能力。

實驗硬件環(huán)境為處理器Intel Core i7-7700，主頻3.60 GHz，內存12 GB，NVIDIA TITAN XP；軟件環(huán)境為Window10 64 bit、Python3.6、TensorFlow。

4.2 評價指標

去噪效果主要從視覺主觀感受及修復逼近程度2 個方面衡量。視覺主觀感受表征人類視覺對去噪圖像所感知主觀信息的保留程度；修復逼近程度表征去噪與標準圖像之間的偏差，偏差越小，表明逼近程度越高，去噪效果越好。通常采用峰值信噪比（PSNR,peak signal to noise ratio）和結構相似性指數測量（SSIM,structural similarity index measurement）作為定量指標。其中，PSNR 評估去噪與真實圖像間像素差異，用于衡量整體去噪性能；SSIM 權衡圖像間結構差異，用于表征細節(jié)相似程度[28]。PSNR、SSIM 數值越高，表明圖像還原度越高。PSNR 可表示為

其中，MSE表示原始圖像與去噪圖像間的均方根誤差。

基于指標亮度（L,luminance）、對比度（C,contrast）以及結構（S,structure），可計算SSIM 為

由式(7)可知，MSE 降低則PSNR 增加，表明圖像修復程度越高，去噪效果越好。由式(9)可知，SSIM 從L、C、S三方面度量圖像相似性，取值范圍為[0,1]，其值越大，表明圖像失真越小。

4.3 實驗結果

4.3.1 去噪效果

圖5 為所提算法及對比算法的去噪效果，對應的PSNR 和SSIM 分別如表1 和表2 所示，其中，加粗字體表示最高值，下劃線表示次高值。由圖5(c)可知，BM3D 雖可有效去除噪聲，但其在聯(lián)合濾波及逆變換過程中易產生細節(jié)平滑，從而造成信息丟失，導致圖像模糊；由于DnCNN 卷積中采用固定濾波窗口提取特征且無補充信息結構，因此易產生如圖5(d)所示的部分高頻信息丟失現象；相較于上述算法，MSRResNet-GAN 所得去噪圖像邊緣較銳化，然而由于其缺乏特征重建結構，從而導致如圖5(e)所示的圖像特征缺失；再者，WGAN-VGG基于對抗及感知損失調節(jié)模型參數，雖可較大程度地保留圖像細節(jié)，但易產生部分高頻偽影；此外，RED-WGAN 及DUGAN 分別采用典型編/解碼結構及殘差塊構建去噪網絡，因而可保持相對較完整的主觀信息，但由于此二者均采用跨層連接融合像素，因此導致去噪效果易產生如圖5(g)和圖5(h)所示的模糊化現象；相較于上述模型，所提算法綜合利用編解碼結構及殘差塊的優(yōu)勢構建基于GAN 的去噪網絡，且構造可體現去噪效果、內容完整性以及主觀視覺效果的復合損失函數，因而可有效去除圖像噪聲，同時盡可能保持圖像細節(jié)信息。

圖5 不同算法去噪效果

表1 不同噪聲密度下不同算法的去噪PSNR 值

表2 不同噪聲密度下不同算法的去噪SSIM 值

由表1 和表2 可知，BM3D、DnCNN 的PSNR均值分別比所提算法低1.96 dB、1.84 dB，SSIM 分別低0.048 7、0.045 7，這可歸因于BM3D 采用傳統(tǒng)濾波器去噪，DnCNN 采用固定濾波窗口去噪；其次，MSRResNet-GAN 引入殘差網絡，因而在噪聲密度為25%的Panda 圖像中擁有次高值，PSNR均值比所提算法低0.55 dB，SSIM 均值比所提算法低0.026 2；再者，WGAN-VGG 由于采用完全卷積操作提取特征，其PSNR 均值比所提算法低0.6 dB，SSIM 均值比所提算法低0.022 7；由于RED-WGAN及DUGAN 利用自編碼模型及殘差網絡提取特征，因而部分去噪性能優(yōu)于所提算法，但所提算法PSNR 均值在噪聲各異的條件下比RED-WGAN 和DUGAN 分別提高0.21 dB 和0.04 dB，SSIM 均值分別提高0.011 3 和0.004 6。綜上所述，所提算法在視覺主觀感受及圖像修復逼近程度兩方面皆有較好的去噪效果。

4.3.2 損失函數影響

圖6 為所提算法基于如下?lián)p失函數的去噪效果：(a) L1 和感知損失（Percep）；(b) 對抗（Wass）和感知損失；(c) 僅感知損失；(d) MSE 和感知損失；(e) MSE、對抗和感知損失。由圖6(a)和圖6(b)可知，基于L1 和感知損失以及對抗和感知復合損失雖可保持主觀細節(jié)信息，但易導致圖像高頻信息丟失，如鴨爪部分高頻特征明顯缺失，此現象源于L1 損失僅衡量預測值平均誤差且損失極小時梯度更新依舊較大，從而導致信息丟失；感知損失使網絡訓練更側重于特征空間而忽略輪廓細節(jié)，且對抗損失僅保留噪聲圖像細節(jié)，易產生高頻偽影。其次，由圖6(c)可知，僅基于感知損失的去噪圖像輪廓相比上述二者突出，然而由于其在輸出圖像特征抽取及表達時最小化組間差異，因而易導致部分高頻偽影。再者，圖6(d)基于感知損失保留主觀特征信息可有效改善主觀感知，然而其基于MSE 最小化生成去噪圖像與原始圖像差異易導致細節(jié)丟失。最后，由圖6(e)可知，所提算法綜合MSE、對抗和感知損失形成復合損失，從而可有效度量生成對抗網絡去噪效果、表征主觀信息、描述像素一致性，因此，所提算法可在有效消除噪聲的同時保留圖像主觀細節(jié)信息。

圖6 不同損失函數去噪效果對比（Duck）

表3 為不同損失函數去噪PSNR/SSIM 值。由于利用圖像像素差異優(yōu)化網絡，因此基于MSE 損失調節(jié)網絡易產生較高PSNR/SSIM 值。由表3 可知，綜合MSE 和感知損失取得次高值，所提算法損失的PSNR 比其提升0.04 dB。綜上所述，所提算法綜合損失去噪效果優(yōu)于其他組合損失。

表3 不同損失函數去噪PSNR/SSIM 值

4.3.3 運行時間

實驗選取標準圖像庫中3 幅測試圖像，并基于上述平臺評估算法的平均運行時間，結果如表4 所示。由表4 可知，首先，傳統(tǒng)去噪算法BM3D 速度明顯快于基于深度學習的去噪算法，其原因在于BM3D 雖需存在圖像塊提取及搜索操作，然而代碼經多次優(yōu)化后計算復雜度顯著下降，而基于深度學習的去噪算法則需要抽取圖像深度抽象特征且迭代訓練模型，以實現有效去噪，因而計算復雜度較高；其次，基于深度學習的去噪算法中，所提算法、RED-WGAN 運行速度快于DnCNN、MSRResNet-GAN、WGAN-VGG 和DUGAN，這主要是因為DnCNN、MSRResNet-GAN 和WGAN-VGG采用較耗時的常規(guī)特征提取操作，因而模型效率低下，而RED-WGAN 利用基于編/解碼結構的高效生成模型抽取并整合特征信息，且所提算法結合U-net衍生網絡及殘差塊實現跨層連接，從而保證提取高級特征的同時參考低級特征信息，進而可顯著提升運行效率；再者，由表 4 可知，所提算法與RED-WGAN 運行時間較接近，然而由于所提算法采用多跨層連接的特征參考方法，因此平均耗時小于RED-WGAN；此外，上述算法中，DUGAN運行效率較低是因為其較大網絡深度所導致的計算復雜度顯著上升以及網絡收斂性。

綜上所述，所提算法基于U-net 及殘差塊互連的生成模塊，以實現特征提取階段細節(jié)信息的有效保持，同時提升模型運行效率，基于全卷積結構的判別模塊可突破輸入樣本尺寸限制；其次，基于多通道GAN 模型并采用平均加權融合模塊，以盡可能保持圖像原有特征；再者，基于MSE、對抗和感知損失構造復合感知損失，以有效表征模型去噪損失，從而實現去噪效果的顯著提升；此外，由于所提算法僅增加網絡寬度而非深度，且引入可避免梯度消失提高收斂速度的殘差模塊，從而可顯著縮小網絡參數規(guī)模同時降低運行時間，進而可以較低計算代價獲得較好去噪效果。

表4 不同算法的平均運行時間

5 結束語

針對傳統(tǒng)去噪算法去噪性能不佳的問題，基于對抗學習模型，本文提出多通道融合圖像去噪算法。所提算法利用U-net 衍生網絡提取圖像特征，并基于殘差塊跳躍連接融合像素級特征，進而有效保留圖像細節(jié)信息；而后基于MSE、對抗和感知損失構建復合損失函數以迭代調節(jié)網絡，使生成器與判別器達至納什平衡，從而最大限度地去除圖像噪聲；最后基于算術平均加權融合三通道輸出信息，以獲得最終去噪圖像。通過與BM3D、DnCNN、MSRResNet-GAN、RED-WGAN、WGAN-VGG 及DUGAN 這6 種主流去噪算法對比，驗證所提算法的有效性。由客觀評價可知，所提算法的PSNR/SSIM均值均高于對比算法，耗時高于BM3D，低于其他對比算法；由主觀感受可知，相較于對比算法，多數場景下，所提算法主觀視覺特征顯著。