結(jié)合感受野優(yōu)化與殘差激勵的圖像去噪*

葛 超 周先春，2 殷 豪 吳 迪

（1.南京信息工程大學電子與信息工程學院 南京 210044）

（2.南京信息工程大學江蘇省大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心 南京 210044）

1 引言

目前的去噪算法多種多樣，在傳統(tǒng)的圖像去噪算法中基于偏微分方程（PDE）［1］和三維塊匹配算法（BM3D）［2~3］去噪效果較為優(yōu)秀。偏微分方程的圖像去噪方法可以在去掉圖像噪聲的同時保持圖像的邊緣和紋理等細節(jié)，但在圖像平滑區(qū)域會產(chǎn)生階梯效應(yīng)。而BM3D 通過塊匹配操作尋找相似塊，同時結(jié)合硬閾值濾波和維納濾波的優(yōu)勢進行去噪，不僅有突出的峰值信噪比（PSNR），而且視覺效果較好，然而計算時間耗時比較大。近些年來隨著硬件的提升和大數(shù)據(jù)的爆發(fā)，掀起了深度學習浪潮，從AlexNet［4］到VGGNet［5］，再到Inception v1~v4［6~8］網(wǎng)絡(luò)等取得的成果，展現(xiàn)了深度學習帶來的圖像識別和分類等領(lǐng)域的進步。隨著深度學習的發(fā)展，國內(nèi)外學者開始使用卷積神經(jīng)網(wǎng)絡(luò)對圖像去噪領(lǐng)域的應(yīng)用，如使用多層感知機（MLP）［9］，Vincent 等提出了去噪自編碼的概念，而Xie 等則將去噪自編碼器應(yīng)用于圖像去噪工作［10］；Chen 等構(gòu)建了一種前饋深層網(wǎng)絡(luò)（TNRD）［11］，去噪效果較為理想。2017 年，Zhang等提出了一種結(jié)合批標準化算法和殘差學習的網(wǎng)絡(luò)模型（DnCNN）［12~14］，使得圖像去噪達到了新的高度；次年，又提出一種快速、靈活的基于CNN的圖像去噪方案（FFDNet）［15］，使得網(wǎng)絡(luò)更具有魯莽性。

過去的去噪研究，一般都是建立在單一的3×3卷積核的基礎(chǔ)上，感受野只有加深卷積層才能得到提升，但隨著卷積層數(shù)的提升，圖像的邊緣信息往往容易丟失，且訓練更加困難。根據(jù)現(xiàn)有的前人的研究成果，提出了由不同卷積核并聯(lián)連接組成的Concatenate block，隨后對Concatenate block 內(nèi)部的卷積的大小、通道數(shù)和Concatenate block 數(shù)量的選擇進行大量研究對比，最終得出一個圖像去噪效果與邊緣信息保存完整的優(yōu)秀模型；并通過殘差激勵把淺層的圖像信息連接到末尾，更好地保護了圖像細節(jié)的丟失。最后本文的圖像去噪模型加入了批標準化算法（BN）、殘差學習、Adma 優(yōu)化算法［16］和ReLU非線性激活函數(shù)等。

當前人們對于卷積神經(jīng)網(wǎng)絡(luò)處于研究階段，如何進行參數(shù)選擇、卷積核的尺寸大小、學習率的變化和如何選擇最優(yōu)的網(wǎng)絡(luò)層數(shù)等還需要經(jīng)過嚴格的證明與研究，本文主要針對以上問題繼續(xù)研究。

2 基于Concatenate block 圖像去噪的研究

2.1 提出一個Concatenate block新框架

在圖像分類中，由于使用了不同的卷積運算可以獲得輸入圖像的不同特征信息，并行處理這些運算并結(jié)合所有結(jié)果將獲得更好的圖像表征。因此提出構(gòu)造一個新的Concatenate block 的框架，如圖1 所示。Concatenate block 的輸入層為上一層非線性激活函數(shù)的輸出，經(jīng)過不同的卷積核再通過依次并連輸出。

圖1 新的Concatenate block框架

2.2 構(gòu)造基于Concatenate block 的CCNN 實驗?zāi)Ｐ?/h3>

為了找出不同卷積核組合的優(yōu)異性，進行concatenate block 的實驗?zāi)Ｐ陀脕頇z驗不同卷積核的去噪效果；如圖2所示。設(shè)置（1）1×1、3×3、5×5；（2）3×3、5×5、7×7；（3）5×5、7×7、9×9；（4）1×1、3×3、5×5、7×7；（5）3×3、5×5、7×7、9×9；五種不同的Concatenate block 組合進行實驗對比。為了簡化參數(shù)量，根據(jù)卷積核大小，通道數(shù)量依次遞減設(shè)置為64-32-32或64-32-16-16，但總的通道數(shù)量需要保持128 不變，且僅包含三層Concatenate block。最終定義相同的損失函數(shù)作為評判標準。

圖2 基于Concatenate block的實驗?zāi)Ｐ?/p>

實驗在BSD400 公開數(shù)據(jù)集中進行訓練，如圖3 所示，圖中縱坐標為損失函數(shù)曲線（越低越好），橫坐標為訓練一次正反傳播的次數(shù)。經(jīng)過實驗可知，其中5-7-9 的實驗結(jié)果比較接近3-5-7-9 的效果，但是考慮到隨著層數(shù)的增加，5-7-9 構(gòu)成的CCNN網(wǎng)絡(luò)參數(shù)遠超3-5-7-9的網(wǎng)絡(luò)，不利于訓練，并且因為淺層而帶來的感受野優(yōu)勢也會消失，最終本文選擇3-5-7-9 卷積核組成的Concatenate block應(yīng)用于的圖像去噪。

圖3 不同卷積核的損失函數(shù)變化

如表1，使用Set12 數(shù)據(jù)集進行測試，檢測3-5-7-9 組成的簡單CCNN 模型在噪聲水平為25下對比BM3D、EPLL、MLP 和TNRD 算法的平均PSNR（dB），已經(jīng)比BM3D 算法高出0.15（dB）。證明本文構(gòu)想的CCNN網(wǎng)絡(luò)可行性。

表1 簡單CCNN模型對比不同算法在Set12數(shù)據(jù)集上的平均PSNR（dB）

2.3 CCNN模型的進一步改進

卷積神經(jīng)網(wǎng)絡(luò)模型旨在學習輸入圖像到殘差圖像之間的端到端映射函數(shù)。根據(jù)2.2節(jié)的實驗結(jié)果，實現(xiàn)了如圖4 所示的Concatenate block 框架。輸入層為上一層非線性激活函數(shù)ReLU 層的輸出，分別經(jīng)過3×3×64、5×5×32、7×7×16和9×9×16卷積核后進入Concatenate 函數(shù)，為了順利進行連接操作，對不同的卷積層都加入對應(yīng)大小的padding 操作，使得圖像大小保持不變并且可以更好地保留更多的邊緣細節(jié)。經(jīng)過Concatenate 函數(shù)后最終就得到了不同的卷積核組成寬通道，更有利于對學習圖像中的特征和噪聲的分布。對Concatenate 函數(shù)后面加上批量歸一化（BN）層，最后在采用非線性激活函數(shù)ReLU作為輸出前加上一個跳躍連接。

圖4 優(yōu)化的Concatenate block框架

2.4 自適應(yīng)最優(yōu)Concatenate block層數(shù)設(shè)計

為了確定提出的CCNN 網(wǎng)絡(luò)最佳網(wǎng)絡(luò)層數(shù)，本文選擇使用BSD400數(shù)據(jù)集訓練新模型。圖像去噪與圖像識別、分類不同，圖像去噪不需要完整的物體輪廓信息，因此本文在BSD400數(shù)據(jù)集基礎(chǔ)上，進行如下設(shè)計：

Step1：以步長為10 裁剪patch 大小為（40×40）的圖像，以最低的成本擴充了大量的訓練樣本。為了加快運行效率，批處理大小為128，最終構(gòu)成238336張40×40大小的圖像為訓練樣本H。

Step2：以2個Concatenate block為一個步長，依次串聯(lián)組成圖像去噪模型，輸入訓練樣本集H。用平方誤差函數(shù)定義代價函數(shù)，則引入代價函數(shù)如式（1）：

其中hw，b（x）是預(yù)測圖像，優(yōu)化的目標主要是為了使代價函數(shù)Loss 最小，就是L（w，b）最小，需要對權(quán)重w和偏置b進行不斷調(diào)整來實現(xiàn)，初始化時，為了方便訓練會將它們設(shè)置成隨機的、各不相同的很小的數(shù)據(jù)，每一次迭代，權(quán)重w與偏置b都通過式（2）與式（3）進行更新：

式中，L表示當前網(wǎng)絡(luò)層數(shù)，α為學習率。同時設(shè)置循環(huán)為50次，每個循環(huán)訓練為2000次，得到實驗網(wǎng)絡(luò)模型，再將Set12 數(shù)據(jù)集經(jīng)過已經(jīng)訓練好的網(wǎng)絡(luò)模型，求出平均峰值信噪比（PSNR）作為判定條件。為了防止出現(xiàn)過擬合現(xiàn)象，可以使用提前終止算法減緩過擬合現(xiàn)象。

同時在每層中的非線性映射之前結(jié)合歸一化步驟完成尺度和移位步驟，能夠?qū)⑸窠?jīng)網(wǎng)絡(luò)中某層的將激活值規(guī)整到均值為0，方差為1 的正態(tài)分布范圍內(nèi)的數(shù)據(jù)，然后向后輸入，來緩解內(nèi)部協(xié)變量移位的問題，解決隨著網(wǎng)絡(luò)層數(shù)加深而使得導致網(wǎng)絡(luò)訓練難度增大的問題。

規(guī)范化計算方式：

在經(jīng)過標準化操作后，不論神經(jīng)元發(fā)生什么變化，輸出結(jié)果都會被規(guī)范化到這樣的范圍中，另外平移參數(shù)和縮放參數(shù)可以自適應(yīng)學習，引入?yún)?shù)少，并且可以使用反向傳播進行更新，能夠一定程度上加快神經(jīng)網(wǎng)絡(luò)訓練的收斂速度，降低了對網(wǎng)絡(luò)參數(shù)初始化過程的依賴程度。

Step3：以2 個Concatenate block 構(gòu)建初始CCNN 圖像去噪網(wǎng)絡(luò)，輸入訓練樣本H。經(jīng)過Step2后得到的PSNR 為評價標準，獲得峰值信噪比PSNR=PSNRn，PSNR越高說明圖像去噪效果越好。

Step4：以2個Concatenate block為一個步長，迭代增加Concatenate block 構(gòu)建新的CCNN 圖像去噪網(wǎng)絡(luò)。采用與Step2 相同的步驟得到新CCNN 網(wǎng)絡(luò)的PSNRn+2。

Step5：若滿足PSNRn+2>PSNR，則PSNR=PSNRn+2，然后再繼續(xù)執(zhí)行Step4；若滿足PSNRn+2

Step6：針對Step5 中確定的網(wǎng)絡(luò)N層數(shù)，再對N-1層和N+1層進行訓練并對比三者最終PSNR的大小，對比返回最大PSNR 值對應(yīng)的網(wǎng)絡(luò)層數(shù)，并以此層數(shù)確定為最終的網(wǎng)絡(luò)層數(shù)。

經(jīng)過Step1~Step6 訓練出不同層數(shù)的結(jié)果，如圖5 所示。首先根據(jù)Step5~Step6 的實驗結(jié)果得到6 個Concatenate block 的去噪效果最優(yōu)，再對比測試6-1 和6+1 層的PSNR 值，經(jīng)過實驗數(shù)據(jù)對比最終確定本文的選擇6 個Concatenate block 構(gòu)造CCNN圖像去噪模型。

圖5 Concatenate block數(shù)量對PSNR（dB）的影響

3 基于CCNN模型的圖像去噪

由第2 節(jié)的實驗數(shù)據(jù)，本文提出最終的CCNN模型如圖6 所示。在參考了Inception 網(wǎng)絡(luò)基礎(chǔ)上，第一層使用3×3×64 的卷積層，僅使用ReLU 激活函數(shù)；第二層使用3×3×128 卷積后，在ReLU 激活函數(shù)后加上增加批量規(guī)范化（BN），后面連接上文提出的6 個Concatenate block，最后一層僅采用3×3×1 的卷積層。

圖6 CCNN圖像去噪模型

通過shortcut 函數(shù)實現(xiàn)殘差激勵，使得CCNN模型更加容易保留圖像的淺層的噪聲特征信息；使用Concatenate block提取噪聲特征。最后使用輸入圖像減去（Subtract）最后卷積核3×3×1 的輸出信息。使得整個模型學習的是噪聲的特征信息，相比較于圖像的各類特征，噪聲的高頻特征更容易訓練。

4 實驗結(jié)果與分析

為了評估所提出的CCNN 模型去噪效果，本文在BSD400數(shù)據(jù)集上裁剪patch大小為（40×40）的圖像。設(shè)置σ=25 和σ=50 兩個噪聲級別。采用Orthogonal初始化和Adam優(yōu)化器進行訓練，學習速率變化區(qū)間為0.001~0.00005。選擇常用的指標，即峰值信噪比（PSNR）以評估去噪性能。

選取的對比算法中有三維塊匹配算法（BM3D）、前饋深層網(wǎng)絡(luò)（TNRD）、DnCNN 和本文提出的CCNN模型。如圖7所示，在Set12數(shù)據(jù)集中選取C.man，starfish，peppers 三幅圖像在噪聲水平25下局部細節(jié)放大對比圖。

圖7 噪聲σ=25時，不同算法的圖像去噪局部放大圖

從圖7 和表2 中可以看出，經(jīng)過CCNN 模型處理后的圖像視覺效果有明顯的改善，且圖像的邊緣信息保存完好，圖像質(zhì)量得到了顯著改進。如C.man 圖像為例，BM3D 的頂樓黑色部分已經(jīng)模糊消失，TNRD 的樓房邊緣噪聲信息明顯，而DnCNN 和CCNN 都能較好的還原原圖信息。本文不僅對C.man 的高樓、海星的白圈和辣椒枝干圖片的噪聲信息處理的效果明顯，而且細節(jié)信息保存完好。

表2 在Set12數(shù)據(jù)集中不同照片面對不同算法的PSNR（dB）

為了防止數(shù)據(jù)的偶然性，選擇樣本更多的測試集（BSD68）上進行實驗并計算出平均PSNR。與文獻綜述［17］的多種算法實驗數(shù)據(jù)做對比，對比結(jié)果如表3所示。

表3 不同噪聲水平時，多種算法在BSD68上的平均PSNR（dB）

由表2、3 可知，對Set12 和BSD68 的數(shù)據(jù)集進行測試，表明CCNN 模型都取得最優(yōu)秀的去噪效果。其中，與經(jīng)典算法中最好的BM3D 相比，平均PSNR 高出了0.50dB~0.65dB。與卷積神經(jīng)網(wǎng)絡(luò)中最新的去噪方法FFDNet、ADNet 等方法相比，本文提出的方法去噪結(jié)果也更優(yōu)秀。

5 結(jié)語

本文提出了一種結(jié)合感受野優(yōu)化和殘差激勵的圖像去噪模型，即CCNN 模型。該模型針對圖像去噪中圖像邊緣細節(jié)容易丟失的特點，提出由不同的卷積核并聯(lián)的Concatenate block，使得模型在淺層時候就獲得了更大的感受野，從而獲取更多的特征信息，并實現(xiàn)自適應(yīng)Concatenate block 層數(shù)。通過輸入圖像跨尾連接的殘差激勵更好地避免因隨著卷積層的加深而丟失特征信息，并且利用殘差學習結(jié)合噪聲特點，使得模型更易于訓練。實驗結(jié)果表明，在Set12 和BSD68 的測試數(shù)據(jù)集中加入不同程度的高斯白噪聲，本文的CCNN 不僅相較于傳統(tǒng)的圖像去噪方法視覺效果優(yōu)秀且耗時短，而且與當前先進出色的DnCNN 和在高噪聲表現(xiàn)突出的FFDNet網(wǎng)絡(luò)比較，也取得了更好的PSNR值。