基于深度學習的圖像去噪研究

胡超秀

（山西師范大學 教育科學學院，山西 臨汾 041000）

引言

在實際生活中，由于復雜環境的影響，圖像在傳播過程中很容易受到噪聲的干擾，從而使圖像中添加了很多種類不同的噪聲，使圖像變的模糊，更可能使圖像失去了原來的特征，進而導致在圖像識別、分割、提取、檢測等方面出現錯誤。

為了獲得高質量高精度的圖像，便于為圖像的后期處理提供精準的圖像數據，首先需要為圖像去噪。圖像去噪一方面是要去除圖像的噪聲，另一方面是盡可能的不去改變圖像原有的特征，保留原圖像足夠多的特征。對于不同種類的噪聲，圖像去噪的方法也不相同，如加性噪聲，乘性噪聲，量化噪聲等。傳統的圖像去噪方法有空域和變換域濾波、基于圖像自相似性、基于稀疏表達、基于馬爾科夫場等，這些方法在去噪的同時也失去了一些原本的特征。

近年來，深度學習技術不斷完善，在圖像處理方面取得了很高的成就。圖像去噪技術也得到了發展，但還存在不足之處，需要繼續著手于深度學習在圖像去噪方面的研究，盡可能的降低圖像中的噪聲，提高圖像去噪效果，從而提高圖像質量，為后期的圖像處理提供精準的數據，提高圖像處理的準確性。

在圖像去噪的傳統算法中，在圖像保真度和視覺質量方面效果較好的是NLM[1]算法和BM3D[2]算法，都很大程度依賴計算機性能，計算時間太長，遠不能滿足實時計算的需求。十幾年來，卷積神經網絡在圖像處理方面取得了一定成功。用深度學習技術實現圖像去噪的方法也得到了發展。Xie等人利用多層的全連接網絡的去噪自編碼實現圖像去噪[3]，Burger等人提出利用多層感知器（MLP）實現圖像去噪[4]，Mao等人在2016年提出了利用網絡結構深的卷積編碼器[5]實現圖像去噪。基于卷積神經網絡的圖像去噪這一方法在圖像處理方面取得了很大成果，因為CNN具有局部感受域[6]這種結構，加快了訓練速度，減少運算數量。Zhang等人在2017年提出了利用深度卷積神經網絡[7]實現圖像去噪效果。但是，這些基于卷積神經網絡的圖像去噪算法還沒有得到廣泛應用，去噪效果的改進還需要大量的數據模型來支持。因此，基于深度學習的圖像去噪算法還有待進一步研究實現。

1 神經網絡相關理論

1.1 神經元

神經元是人腦的基本計算單元，它會將接收到的信號進行處理，若神經元感知到這個信號處理后滿足神經元的某一閾值，它就會被激活，并將信號傳導至下一神經元。人工神經網絡是一種從信息處理角度模仿人腦神經元的數學模型。其大致結構如圖1所示:

圖1 神經元模型

圖1中x=(x1,x2,…,x n)為輸入數據，w=(w1,w2,…,w n)為權重，b、f、y分別代表偏置、激活函數、數據的輸出。神經元將輸入x和與之相對應的權重w相乘然后再將其相加得到一個總輸入，數學表達式是：

然后這個值作為激活函數f的自變量得到y i:

常用的激活函數有sigmoid型函數和tanh函數。sigmoid取值范圍為[0，1]。Sigmoid[8]函數為:

1.2 感知器

感知器是較為簡單的一種神經網絡。不同的感知器，實現的神經網絡的功能也是不一樣的。整個過程中，數據由輸入層進入神經網絡，接著逐層向后傳遞，直至到達輸出層，如圖2所示：

圖2 前饋神經網絡模型圖

1.3 BP網絡

BP神經網絡算法由兩部分組成，分別是信息的正向傳播和誤差的反向傳播。具體結構如圖3所示。

圖3 神經網絡結構圖

反向傳播基于梯度下降算法，前向傳播的實際輸出與期望輸出之間差值被定義為誤差信號[9]，公式如下：

m表示樣本數，yi為實際值，y0為輸出值。通過調整網絡參數來使實際輸出越來越接近預期輸出。

權重w的更新為:

同理可得b的更新為:

1.4 卷積神經網絡

1.4.1卷積神經網絡

卷積神經網絡是一種前饋神經網絡[10]，它是根據生物的視覺和知覺機制來構建的，可進行監督學習，也可進行非監督學習。圖像輸入像素的一個小窗口就叫做局部感受野。每個隱含層的神經元只與輸入神經元的一小部分區域連接。如圖4所示：

圖4 局部感受野

1.4.2 卷積神經網絡的特點

卷積神經網絡通過采用局部連接的方式，來減少網絡中的參數數量，進而提高學習效率。

卷積層中的卷積核作用于整張圖片（如圖5），首先從輸入層輸入圖像，然后對圖像的不同位置進行卷積，最終得到的卷積結果就是輸入圖像的特征。在卷積神經網絡中，被同樣結構的卷積核進行卷積，實現了權重共享，這導致網絡中的計算量大大降低。

圖5 卷積核作用過程

1.4.3 ReLU激活函數

ReLU激活函數在神經網絡中稀疏表達能力較強，ReLU在梯度下降算法中速度較快，并且緩解了S型函數中梯度彌散問題。

圖6 ReLU激活函數

2 圖像去噪原理及其卷積神經網絡模型

2.1 圖像去噪原理

噪聲會直接影響視覺感官效果，甚至會使圖片丟失原本特征，使圖像變得模糊，從而不能從中提取出重要信息，而圖像去噪是利用技術手段使圖片恢復到原來的樣子，進而提高圖像質量，為后續的圖像處理提供清晰的圖像數據。

2.1.1 噪聲模型

噪聲模型分為兩種，分別是：加性噪聲和乘性噪聲。其中加性噪聲可以表示為：

其 中f(x,y)、n(x,y)、g(x,y)分 別 為 原 始 圖像、添加的噪聲、有噪聲的圖像。常見的噪聲有很多種，但由于我們平時看到的圖像大多數都是經過數碼相機、成像設備得到的，所以本文主要是研究在深度學習技術上加性高斯白噪聲的去除問題。

2.1.2 常用的圖像去噪算法

基于深度學習的圖像去噪算法是通過學習圖像的細節特征而實現的圖像去噪。隨著深度學習技術的不斷發展，通過嘗試不同方法來實現圖像去噪，并取得了一定效果。

一種是通過卷積神經網絡實現圖像去噪，由于這種神經網絡具有稀疏連接和權值共享等特點[11]，使網絡中的參數大大降低，提升訓練速度，使得卷積神經網絡在圖像處理識別方面取得了良好的效果。

另一種是通過自編碼器實現圖像去噪，這種方式可以很好的去學習圖像的細節特征，它的學習方式是無監督的學習方式[12]。

2.1.3 圖像去噪效果評價

在圖像去噪方面，通常需要判斷圖像的去噪效果，一般評價圖像的去噪效果有兩個常用的方法，本文主要通過PSNR（峰值信噪比）[13]和SSIM（結構相似性）來檢驗圖像的去噪效果。

PSNR（峰值信噪比）是通過均方誤差（MSE）實現的。兩個圖像之間PSNR值越大，則越相似。兩幅大小均為m*n的灰度圖像A(i,j)和B(i,j)的均方差公式為：

在此基礎上，PSNR為：

SSIM是通過比較兩幅圖像的結構相似性來判斷去噪效果，其值最大為1。SSIM評價模型為：

圖7 簡單的CNN網絡結構

2.2卷積神經網絡模型

卷積神經網絡一般結構為：

2.2.1 輸入層

輸入層可處理多維數據。卷積神經網絡是使用梯度下降來學習的，就需要對輸入特征進行標準化處理，有利于提升算法的運行效率和學習表現。

2.2.2卷積層

卷積層內包含多個卷積核，利用卷積核可以有效提取輸入數據的特征。在卷積神經網絡中，絕大多數輸入數據的特征提取都要用到卷積層的卷積操作。內積運算是將兩個向量對應的標量先相乘，再求和的運算。卷積操作可以理解為內積。原理圖如圖8所示。

圖8 卷積過程

2.2.3池化層

在卷積過程中，常用的池化技術就是均值池化(Average Pooling)、最大池化(Max Pooling)。均值池化是取區域內所有值的平均值作為最后的輸出數據，最大池化是取所有值之中的最大值作為最后的輸出數據。池化層進行池化操作的目的是縮小圖片的尺寸，減小計算量便于處理。池化的作用體現在降采樣。池化層在考慮傳播方向時，不需要再次考慮更新權重問題，因為它一般不設置參數值。由于相鄰像素或區域相關性較大，所以底層信息可能會存在一定的冗余，利用池化層正好可以解決這一問題。池化操作的池化規模一般為2×2。如圖9為一個簡單的池化過程：

圖9 簡單池化過程

2.2.4 全連接層

在輸出數據之前，至少要加上一層全連接層，它能增強網絡的非線性映射能力，限制網絡的大小，還可以用來收集更多的信息，盡量地保證網絡的性能。全連接層中，每一神經元與前一層的所有神經元相連接，計算表達式為：

3 基于深度學習的圖像去噪實驗與分析

3.1 CNN去噪模型

在本次實驗中使用的卷積神經網絡結構由輸入層、卷積層、輸出層構成。由于整個網絡都用了大小為3*3的卷積核，使得網絡變得很簡單。

圖10 實驗中的卷積神經網絡結構圖

如下表1為每一層的具體數據：

表1 網絡層次結構

3.2 實驗數據

圖11 數據集

本文中采用的是具有明顯細節不同特征的400張灰色圖像作為數據集來訓練模型，以下為數據集的一部分。

這些數據集具有不同的細節特征，有遠景、近景，有人臉、動物，這樣豐富的數據集使訓練出來的的模型并不只適用于某一類圖像去噪，而是使訓練出來的模型可以廣泛運用在不同類型的圖像去噪中，從而使模型具有更好的適用性。

本文選取的測試集如圖12所示：

圖12 測試集

3.3 參數設置

由于是深度網絡，所以不需要人工提取圖片的特征，直接在輸入層將圖像輸入。本文采用個400個圖像大小為180*180的圖片來訓練模型，卷積層采用了大小一樣的卷積核。學習率在網絡模型的訓練中是一個很重要的參數，學習率如果設置的太小，會使訓練時間過長，收斂速度過慢，在長時間的參數更新中，一直會有微弱的噪聲。但是，如果學習率設置的太大，會使模型的誤差增大，使得網絡性能降低。所以，我們在不同的網絡中應選擇合適的學習率，本文將梯度下降算法學習率設置為0.001。隨著迭代次數的增大，去噪效果會越來越好，但是當迭代的次數增大到一定程度時，去噪效果就達到了一個穩定的狀態。此刻，就不再需要增加迭代次數了，本研究中將網絡迭代次數設置為50次。

3.4 實驗結果與分析

首先對實驗中采用的測試集，通過添加不同的噪聲進行去噪，分別采用噪聲標準差為σ=10，15，20，25，35對測試集中的數據進行對比，然后對實驗結果進行對比分析。

σ=10時：

經過對比，在不同噪聲下的去噪效果，可以發現5幅圖中不同的Denoised圖像清晰度逐漸降低，但整體去噪效果還是不錯的，保留了原始圖像的細節特征。實驗結果可以很好的說明在不同噪聲下的去噪效果，最后與其他去噪實驗做對比來更好的說明本研究實驗的去噪效果。如表2所示：

表2 不同噪聲下的峰值信噪比

本文采用鄧正林去噪實驗中的數據[14]與本研究中的數據進行對比，在噪聲水平為σ=25時與BM3D、WNNM、MLP在相同測試集下的結果。如表3所示。

表3 測試集在噪聲水平為25時不同去噪算法的去噪結果

通過數據對比分析可以看出，本文的圖像去噪效果整體上要優于其它去噪算法的去噪效果。個別圖像由于訓練模型的數據集小，硬件條件不足，導致某些細節特征未被訓練。在以后的研究中將增大訓練的數據集，以便達到更好的去噪效果。

4 結語

深度學習在圖像識別方面取得了很大的成功，促進了圖像去噪的發展，使得在圖像處理研究方面有了更好的的發展。深度學習是一種對提取的特征進行學習的技術，它可以模擬出人腦中的神經網絡結構，使其具有學習能力。通過對大量數據進行訓練，最終可以達到一個良好的效果。

綜上所述，本文構建的去噪網絡可以獲得真實清晰的去噪結果，避免了圖像去噪結果中出現邊界偽像的現象。