基于雙樹小波和神經網絡的圖像降噪與增強

劉文輝，許 瑞

(新疆教育學院 信息科學與技術學院，新疆 烏魯木齊 830043)

0 引 言

在圖像的拍攝和傳輸過程中，許多主觀因素和客觀因素會為圖像引入大量的噪聲，導致圖像的細節信息和邊緣信息受到污染[1]。圖像降噪技術是解決該問題的一個主要手段，該手段分為基于濾波器和基于變換兩大類技術，基于濾波器的技術主要有中值濾波器[2]、雙邊濾波器[3]等，基于變換的技術則主要有離散小波變換(discrete wavelet transform，DWT)[4]、雙樹小波變換[5]等。

DWT在圖像降噪方面具有顯著的效果，但是也存在缺乏平移不變性和缺乏方向選擇性的不足[6]。文獻[7]將DWT和雙邊濾波器結合，通過DWT和雙邊濾波器的多級降噪處理實現對圖像的增強。文獻[8]提出具備自學習能力的圖像增算法，該算法為雙樹小波變換增加了稀疏編碼和字典學習的自學習能力，對醫學圖像實現了較好的降噪效果。文獻[9]提出基于小波變換和改進中值濾波的醫學圖像耦合去噪方法，該方法的優點是結合中值濾波和小波的優點提高了去噪的效果。當前基于DWT的降噪算法實現了較好的總體降噪性能，但也弱化了圖像的邊緣信息，而邊緣信息是醫療病情診斷、圖像分割等應用領域的關鍵信息。

為了在保持優良降噪性能的前提下，保護圖像的邊緣信息，提出了基于神經網絡和雙密度雙樹小波的圖像降噪與增強算法。本文利用CNN識別圖像的邊緣，對非邊緣區域進行降噪處理，同時保留邊緣區域的信息。在降噪過程中，采用雙密度雙樹DWT對噪聲圖像進行降噪處理，再訓練神經網絡來降低噪聲圖像和原圖像的均方誤差，從而對圖像進行增強。

1 非下采樣剪切波(non subsampled shearlet，NSST)變換

小波變換缺乏平移不變性和方向選擇性，難以準確提取信號的幾何特征。而NSST變換對信號的方向和形狀具有較高的敏感性，同時具備平移不變性，因此采用NSST提取圖像的空間特征。

1.1 shearlet變換

二維空間中具備復合伸縮性質的仿射系統可表示為

AS(Ψ)={Ψj,l,k(x)=
|detA|j/2Ψ(SlAjx-k)∶j,l∈Zk∈Z2}

(1)

(2)

(3)

假設?ξ=(ξ1,ξ2),ξ1≠0, 那么Ψ′0(ξ) 可定義為

(4)

(5)

并且Ψ′2滿足以下關系

(6)

那么，結合式(5)和式(6)可獲得以下關系

(7)

(8)

(9)

(10)

1.2 NSST變換

NSST包含尺度分解和方向局部化兩個步驟：多尺度分解通過非下采樣金字塔濾波器組(non subsampled Laplacian pyramid，NSLP)實現，保證平移不變性，抑制偽吉布斯現象。通過剪切濾波器(shearlet filter，SF)實現方向局部化，源圖像經過n級分解得到1個低頻子帶圖像和n個大小相同但尺度不同的高頻子帶圖像。

NSST變換在不同的位置k、尺度j和方向l上建立波形集。NSST利用了非下采樣的拉普拉斯金字塔濾波器和剪切濾波器SF，NSLP通過以下的迭代程序完成分解

(11)

2 算法總體設計

算法第1步通過NSST將噪聲圖像分解成若干子帶，再將細節子帶分割成9×9×J的塊，尺度的數量為J+1。第2步將數據輸入訓練的卷積神經網絡(convolutional neural networks，CNN)，決定中心向量的類。第3步對非邊緣的系數進行降噪處理，邊緣的系數保持不變。

2.1 CNN網絡設計

2.1.1 CNN網絡模型

假設pi表示卷積層的第i個輸入特征圖，qj表示卷積層的第j個輸出特征圖，3D卷積運算和ReLU激活函數的組合模型為

(12)

(13)

CNN模型輸出關于邊相關性的概率分布，如果中心向量和邊的相關性高，輸出值則接近1，否則輸出值接近0。

2.1.2 CNN網絡訓練

將多項式logistic的softmax損失作為CNN的目標函數。采用隨機梯度下降算法(stochastic gradient descent，SGD)最小化目標函數，訓練的batch大小、動量衰減和權重衰減分別設為128、0.9和0.0005。網絡迭代的更新規則為

(14)

式中：z,i,β和L分別為動量、迭代次數、學習率和損失函數， ?L/?wi表示目標函數對權重w求偏導。

2.2 算法的總體步驟

設噪聲圖像為v，圖像降噪和增強的步驟總結為：

步驟2 創建9×9×J大小的3D塊，輸入CNN。

步驟4 通過雙密度雙樹小波變換(double-density double tree wavelet transform，DDDTDWT)[11]對非邊緣區域的噪聲系數進行降噪處理。

步驟5 通過神經網絡對降噪的非邊緣區域和保留的邊緣區域統一進行訓練，增強圖像的總體質量。

3 圖像降噪與增強

基于硬閾值的小波變換圖像降噪方法存在連續性變差、光滑性變差的問題，而基于軟閾值的小波變換圖像降噪方法在信號重構過程中容易出現偏差?？紤]上述問題，通過雙密度雙樹小波變換實現圖像的降噪處理，并通過神經網絡對降噪的非邊緣區域和保留的邊緣區域進行訓練，增強圖像的總體質量。圖1是圖像降噪和增強的流程。

圖1 圖像降噪和增強的流程

3.1 基于雙密度雙樹小波變換的圖像降噪處理

通過母小波推導雙密度雙樹小波變換(double-density double tree wavelet transform，DDDTDWT)的方法為：對非邊緣區域進行DWT變換，獲得兩個下采樣的圖像，分別經過低通濾波器和高通濾波器獲得4個子帶，選出其中的低頻-低頻成分進行分解。

DDDTDWT包含兩個小波函數，因此其細節系數多于DWT。其系數包含1個低通子帶和8個高通子帶，對低通系數進行第2級分解，第2級分解共產生17個子帶，包含1個低通子帶和16個高通子帶。

DDDTDWT的尺度函數為

ψhi(t),ψgi(t),i=1,2

(15)

ψh1(t)≈ψh2(t-0.5)

(16)

DDDTDWT通過式(15)解決DWT的方向限制。DDDTDWT的濾波器組結構如圖2所示，小波ψhi(t) 為ψgi(t) 的1/2偏移。

圖2 DDDTDWT的濾波器組結構

DDDTDWT的小波函數和尺度函數分別為

ψg1(t)≈ψg2(t-0.5)

(17)

(18)

(19)

(20)

DDDTDWT具備較好的降噪性能，將復數值分成實部和虛部分別進行降噪處理，再將實部樹和虛部樹融合獲得最終的像素值。

3.2 基于人工神經網絡的圖像增強

通過人工神經網絡(artificial neural network，ANN)對圖像進行增強，ANN的結構包括輸入層、隱藏層和輸出層，隱藏層為10個神經元。降噪的非邊緣區域和保留的邊緣區域作為ANN的輸入，ANN輸出增強的圖像。隱藏層神經元的激活函數為sigmoid函數。

圖3是ANN訓練的流程。小波降噪的輸出圖像作為神經網絡的輸入，訓練過程中固定神經元的數量、權重偏置和隱層數量。

圖3 ANN訓練的流程

4 實驗與結果分析

使用本文提出的算法建立一個面向噪聲圖像的降噪和增強模型，并且在常規圖像和醫學圖像上測試了模型的有效性。

4.1 度量標準

通過PSNR評價圖像的質量，PSNR的公式定義為

(21)

使用均方誤差(mean-square error，MSE)作為ANN訓練的目標函數，MSE的計算公式為

(22)

式中：I(i,j) 處理后 (i,j) 位置的像素值，K(i,j) 為原圖像 (i,j) 位置的像素值。

4.2 數據集

第1組測試圖像為兩個512×512的8比特灰度圖像和兩個256×256的8比特灰度圖像。Lena圖像和Man圖像為512×512，Cameraman圖像和Peppers圖像為256×256。采用標準偏差分別為{10,20,30,50,70}的加性高斯白噪聲對每個圖像分別進行處理，獲得不同級別的噪聲圖像。

第2組測試圖像來自于公開醫學圖像數據庫(www.field-ii.dk/)的腎臟超聲圖像kidney圖像，該圖像被許多研究者用于圖像降噪實驗。

4.3 仿真參數

NSST的分解級數J和分解方向數Θ分別設為3和8，采用maxflat濾波器作為金字塔濾波器。Caffe是一種快速特征嵌入的卷積框架[12]，利用Caffe和2.1.2小節的內容訓練CNN模型，CNN的結構如圖4所示，CNN網絡由2個全連接層、1個下采樣層和3個卷積層構成，卷積層的步長為1，核大小為3×3，下采樣層的步長為3，核大小為3×3。CNN每層的權重被初始化為均值0、方差0.02的高斯分布，每層的偏置初始化為0。從ILSVRC內隨機選擇50 000個圖像作為CNN的訓練圖像[13]，將圖像轉化成灰度圖像，對灰度圖像分別進行標準差為{10,20,30,50,70}的高斯白噪聲加噪處理。另外，根據3.2小節的內容訓練ANN。

圖4 CNN的網絡結構

4.4 實驗結果與分析

4.4.1 對比方法介紹

本文算法在空間域將噪聲圖像分割成邊緣區域和非邊緣區域，對非邊緣區域采用雙密度雙樹小波變換進行降噪，在保留的邊緣區域和降噪的非邊緣區域輸入神經網絡進行增強處理，本文方法簡記為NeuralDWT。因此選擇基于頻率域和基于空間域兩類圖像降噪技術作為對比方法，如下是每個方法的信息介紹：

DDDT-DWT是一種基于雙密度雙樹小波變換的圖像降噪算法[14]，本文技術也采用了DDDT-DWT技術對非邊緣區域進行降噪處理，通過該方法可以觀察邊緣檢測機制是否有效。

DWT_Semi-soft是一種基于半軟函數普通小波的圖像降噪技術[15]，本文認為DDDTDWT優于常規的小波技術，通過該方法可以驗證該理念。

NL-means&sparses是一種非局部中值濾波器和空間稀疏編碼結合的圖像降噪技術[16]，該技術與本文技術的思想一致，所采用的技術有所區別，通過該方法可以觀察本文所采用的技術是否有效。

RNNID利用循環長短期記憶神經網絡分析圖像空間域的結構[17]，該算法對于醫學圖像的邊緣進行了有效的增強。通過該方法可以觀察本文邊緣檢測是否有效。

4.4.2 視覺效果評價

首先評價圖像降噪技術的視覺效果，Man圖像中同時包含了高紋理區域和平滑區域，因此采用Man圖像作為視覺效果的benchmark圖像，結果如圖5所示，其中噪聲圖像被添加了標準偏差=20、均值=0的高斯白噪聲。圖中的降噪算法均獲得了滿足需要的視覺效果，NL-means & sparses和RNNID的降噪效果好于DDDT-DWT和DWT_Semi-soft，可看出多技術混合的降噪方法優于單一的小波降噪方法。本文算法也獲得了較好的降噪效果，并且本文算法在高紋理區域(圖中人物的帽子、頭發等位置)的細節也略好于其它降噪方法。

圖5 Man圖像的降噪結果

然后評價了圖像降噪技術對醫學圖像的視覺效果，圖6是kidney圖像的降噪處理結果，其中噪聲圖像被添加了標準偏差=0.07、均值=0的高斯白噪聲。這些方法均獲得了滿足需要的視覺效果，NL-means & sparses的視覺效果低于其它的降噪方法，NL-means & sparses的降噪處理明顯弱化了超聲圖像內的邊緣，并且導致對比度出現明顯的衰減。本文算法的邊緣部分保留了豐富的細節信息，在局部的液體區域實現了高度的還原。

圖6 kidney超聲醫學圖像的降噪結果

4.4.3 量化指標評價

該小節定量評價了圖像降噪技術的效果，統計了均值=0、標準偏差={10,30,50,70}高斯白噪聲圖像的降噪結果，結果如圖7所示。NL-means & sparses對于低噪聲的性能較好，但其性能隨著噪聲加重而衰減?？傮w而言，混合降噪技術的降噪性能優于單一小波變換技術(DDDT-DWT和DWT_Semi-soft)，而本文算法的性能略高于其它4個降噪技術。

圖7 降噪算法的定量評價實驗

該小節定量評價了圖像降噪技術對醫學超聲圖像的處理效果，噪聲圖像被添加了標準偏差=0.07、均值=0的高斯白噪聲，實驗結果如圖8所示。NL-means & sparses的降噪性能低于其它4個算法，可見在醫學圖像應用中，基于頻域變換的降噪技術好于基于空間域變換的降噪技術。RNNID技術通過長短期記憶網絡對醫學圖像的局部特征進行了深度地學習，獲得了較好的降噪效果。本文算法通過邊緣保留機制和圖像增強機制提高了總體的圖像質量，最終的圖像PNSR指標高于其它4個降噪算法。

圖8 超聲醫學圖像的定量評價實驗

4.5 時間效率分析

本文的實驗環境為：Windows 10操作系統，16 GB內存、Intel-Xeon 2.40 GHz CPU，仿真平臺為Matlab Version 7.14。比較了每個算法對512×512 Lena圖像降噪處理的平均時間：DDDT-DWT 為23.59 s、DWT_Semi-soft為6.54 s、NL-means & sparses 為29.07 s、RNNID 為42.16 s、NeuralDWT為29.33 s。DWT_Semi-soft僅包含基本小波變換和軟閾值函數兩個計算部分，其速度較快。DDDT-DWT、NL-means & sparses和本文算法的計算時間較為接近。RNNID包含復雜度的深度神經網絡模型，導致降噪處理時間較長。

5 結束語

本文提出了基于神經網絡和雙密度雙樹小波的圖像降噪與增強算法。利用CNN識別圖像的邊緣，對非邊緣區域進行降噪處理，保留邊緣區域的信息。在降噪過程中，采用雙密度雙樹DWT對噪聲圖像進行降噪處理，再訓練神經網絡來降低噪聲圖像和原圖像的均方誤差，從而對圖像進行增強，實驗結果表明，本方法對于一般圖像實現了較好的降噪和增強效果。雖然本文算法對于超聲醫學圖像的PNSR值較高，但是在視覺效果上并未表現出明顯的優勢，未來將針對醫學圖像的特點進行深入研究和改進。