基于圖像局部曲面可展化的混合噪聲抑制算法

王滿利 馬鳳穎 張長森

(河南理工大學物理與電子信息學院 焦作 454000)

1 引言

近年來，隨著目標檢測技術的快速發展，基于旋翼無人機載具的目標檢測逐漸進入人們的視野。但是，對于室外目標檢測而言，因室外復雜的成像，導致采集圖像富含多種類型的噪聲，嚴重影響了目標檢測的準確度。因此，圖像降噪成為目標檢測圖像處理的首要環節[1]，圖像去噪同樣在醫學圖像處理任務(腫瘤檢測、分類、分割)中十分重要，電子計算機斷層掃描(Computed Tomography,CT)的重建和去噪對于醫學圖像的臨床分析具有關鍵作用[2-4]。對于旋翼無人機載具而言，因其所攜帶的硬件資源有限，要求降噪算法必須具有低資源開銷特性；又因室外采集圖像噪聲的多類型特征，要求降噪算法必須具備去除混合噪聲的能力。

常用的圖像降噪算法包括：空域降噪算法[5]、變換域降噪算法[6,7]以及基于深度機器學習的降噪算法[8,9]等。

傳統空域降噪算法的降噪效率較高，但是會引起較為嚴重的圖像邊緣細節損失，隨著空域降噪理論的發展，出現了兼顧圖像邊緣保持與噪聲抑制的空域降噪算法，該類算法在提高圖像邊緣保持性能的同時會相對犧牲部分噪聲抑制性能，且其多由迭代求解，算法復雜耗時，多數算法僅對單一類型的噪聲有效。變換域降噪算法在去除圖像噪聲的同時能較好地保持圖像的細節信息，但容易引起吉布斯效應[10]或振鈴效應[11]，且變換域降噪算法大多對混合噪聲無能為力。基于深度學習的圖像降噪算法的降噪效果依賴于學習圖像數據集、深度網絡的結構以及目標損失函數的設置，降噪效果顯著卻以高計算復雜度、高硬件設備開銷為代價。

由以上分析可知，現有的降噪算法要么僅對單一類型噪聲有效，要么算法復雜需要高的資源開銷，很難滿足旋翼無人機載具的低資源開銷、且能有效抑制混合噪聲的需求；又因室外采集圖像普遍包含高斯噪聲(Gaussian Noise, GN)和椒鹽噪聲(Salt & Pepper Noise, SPN)，因此，本文開展低資源需求的混合噪聲(本文的混合噪聲由高斯噪聲和椒鹽噪聲構成)抑制算法研究。

本文在全變分濾波和均值曲率濾波去除噪聲的思想啟發下，研究了基于圖像局部曲面可展化的混合噪聲抑制算法(mixed noise suppression algorithm based on Developable Local Surface of image, DLS)。首先，對含有混合噪聲的圖像進行局部可展化處理(Developable Processing of local surface, DP)，得到初步降噪圖像；其次，在空間域和變換域分別對高對比度層圖像和低對比度層圖像進行降噪處理；最后，迭代去除混合噪聲中的椒鹽噪聲和高斯噪聲，在有效去除混合噪聲的同時保留圖像細節信息，得到最終降噪圖像，完成降噪過程。

2 混合噪聲的模型及其抑制方法

圖像局部曲面可展化(為方便表述，簡稱為DP)能有效消除混合噪聲圖像的椒鹽噪聲和部分高斯噪聲，使得處理后的混合噪聲近似為高斯噪聲。使用局部曲面可展化算法對混合噪聲圖像處理，得到直方圖對比圖如圖1所示。圖1(a)為 5 12×512的灰度圖像添加均值為0，方差為20的高斯噪聲圖像對應的直方圖，圖1(b)為高斯噪聲圖像添加密度為0.05的椒鹽噪聲對應的混合噪聲圖像直方圖，圖1(c)為經DP處理后圖像的直方圖。由圖1(b)可知混合噪聲圖像不再滿足高斯分布，與圖1(b)相比，圖1(c)顯著抑制了直方圖兩邊緣0像素和1像素的統計柱圖，圖1(c)中整體直方圖近似為高斯分布。

圖1 局部曲面可展化的直方圖對比

基于圖像局部曲面可展化的混合噪聲抑制模型框架如圖2所示。由圖2可知，基于圖像局部曲面可展化的混合噪聲抑制算法實現過程如下：首先，將混合噪聲(高斯噪聲方差為20，椒鹽噪聲密度為0.05)圖像經DP處理，得到初步降噪圖像；然后將初步降噪圖像分為高對比度層和低對比度層，在空間域和傅里葉域分別對高對比度層和低對比度層圖像噪聲進行抑制；最后迭代執行局部曲面可展化算法和分層降噪算法，直至滿足終止迭代條件。

圖2 基于圖像局部曲面可展化的混合噪聲抑制模型框架

2.1 混合噪聲模型

高斯噪聲和椒鹽噪聲是可見光圖像中最常見的兩種噪聲，因此，本文研究的混合噪聲就由不同方差的高斯噪聲和椒鹽噪聲構成，高斯噪聲和椒鹽噪聲都屬于加性噪聲，該類混合噪聲可由式(1)所述的噪聲模型表示

其中，f為含有混合噪聲的原圖像，u為目標圖像，n為混合噪聲中的高斯噪聲成分，s為混合噪聲中的椒鹽噪聲成分。

目前單獨針對去除單一類型的高斯噪聲或椒鹽噪聲的降噪算法已比較成熟，但是，真實的噪聲圖像往往不是單一類型噪聲，導致現有的成熟降噪算法無法直接應用。但是，假如借助某一算法能使混合噪聲近似為高斯噪聲，則就可以借助現有成熟的高斯噪聲降噪算法實現噪聲的抑制。經過查閱文獻[12-14]發現高斯曲率濾波器使用的圖像局部曲面可展化恰好具備上述功能?；旌显肼晥D像局部曲面可展化可以快速地消除椒鹽噪聲對圖像的干擾，同時，圖像局部曲面可展化能在強保持圖像邊緣下消除部分高斯噪聲，使圖像的混合噪聲近似為高斯噪聲。因此，借助圖像局部曲面可展可使式(1)轉化為式(2)

其中，sd為 局部曲面可展化去除的椒鹽噪聲，nd為局部曲面可展化過程中去除的部分高斯噪聲，ng為近似高斯噪聲成分。

混合噪聲圖像執行一次局部曲面可展化后的結果如圖3所示。

圖3(b)為經局部曲面可展化算法處理過的圖像，圖像中的椒鹽噪聲被有效去除，同時去除了部分高斯噪聲，殘余噪聲幾乎全為高斯噪聲成分。由圖3(c)的差分圖像也可以看到，去除的噪聲中椒鹽噪聲占據主體，也有部分高斯噪聲成分。

圖3 局部曲面可展化降噪結果

2.2 局部曲面可展化的混合噪聲抑制模型

混合噪聲圖像經過曲面可展化后，抑制混合噪聲問題轉化為去除近似高斯噪聲問題。

借鑒分層降噪思想，利用分層降噪實現近似高斯噪聲的抑制。為了提高分層降噪圖像的質量，本文采用迭代降噪思想，在分層降噪之后，再次迭代執行局部曲面可展化與分層降噪，實現混合噪聲殘余的進一步抑制。

根據上述思想，設計式(3)所示混合噪聲抑制目標函數實現混合噪聲的迭代去除

3 局部曲面可展化和分層降噪

為提高目標檢測與識別的精確度，本文通過對圖像進行局部可展化處理，抑制圖像中的椒鹽噪聲和低密度高斯噪聲，在空間域和傅里葉域分別對高對比度圖像和低對比度圖像進行分層降噪，在去除高斯噪聲的同時，保留圖像邊緣、紋理等細節，實現目標檢測場景下的混合噪聲抑制。

3.1 圖像局部曲面可展化

由微分幾何原理可知，可展曲面Sd可 由其切平面TSd局 部逼近，Sd與TSd之 間的關系滿足：?m ∈Sd,?ε>0,?m0∈Sd,0<|m ?m0|<ε,s.t.m ∈TSd(m0)。

上述原理涉及3類可展曲面，有且僅有3類可展曲面，分別是柱面、錐面和切線可展曲面。此原理為局部曲面可展化的理論基礎，局部曲面可展化的具體實施過程如下：圖像曲面S上任意一點m，首先枚舉點m鄰域內所有切平面TSdk,k=1,2,...,N；接著計算點m到切平面TSdk的距離dk,k=1,2,...,N， 得到絕對值最小值|dm|=min{|di|,i=1,2,...,8}；然后將最小絕對值最小值距離|dm|對應的切平面TSdmin近似為可展曲面，近鄰投影使得圖像曲面更加可展；最后將最小絕對值最小值距離|dm|與點m處的像素值Ui,j相加，即將點m移至切平面TSdmin， 完成Ui,j值的更新，完成一次Ui,j的局部曲面向可展曲面演化。

首先對含有混合噪聲的圖像進行局部可展化處理，使得圖像局部曲面向可展曲面演化，改變圖像中的噪聲分布，抑制圖像中的椒鹽噪聲和低密度高斯噪聲，得到初步降噪圖像。圖像局部曲面向可展曲面演化是在得到當前點到切平面8 種距離{di,i=1,2,...,8}的 絕對值最小值|dm|后，完成一次像素點Ui,j的局部可展化。如式(5)所示

3.2 分層降噪

3.2.1 高對比度層圖像降噪

經圖像局部曲面可展化處理后的初步降噪圖像可近似為兩個去噪層的和：x=s+S，其中s為高對比度圖像，S為低對比度圖像。在空間域處理初步降噪圖像的高對比度圖像，利用導波圖像g對含有噪聲的圖像y進行濾波，接著使用聯合雙邊濾波算法計算像素p的去噪后的高對比度值s?p，然后使用雙邊濾波核對有導圖像和去噪后的高對比度圖像進行分層濾波[16,17]

式(8)中，在一個以每個像素p為中心的正方形鄰域窗口Np上 定義雙邊核，q∈Np,kp,q為雙邊濾波核，σs為雙邊濾波空間核，決定著空間距離的變化，σl為經小波噪聲方差估計修正后的方差，γr為雙邊范圍參數，決定像素值之間的差異。式(9)中，g?p為導波圖像，式(10)中，yp是有噪聲圖像，s?p為經濾波處理過的含有混合噪聲的高對比度圖像。

對含有混合噪聲的圖像進行局部可展化處理后，圖像中的噪聲近似為高斯噪聲，本文使用Symlets小波系的Sym5小波對噪聲圖像做單尺度分解，以對角小波細節系數hf的中位數估計噪聲標準方差σl

其中，m edian()表 示取中位數運算，hf為對角小波細節系數，a bs()表示取絕對值運算，0.6745為高斯噪聲標準方差的調整系數。

3.2.2 低對比度層圖像降噪

通過提取低對比度信號并進行短時傅里葉變換(Short-Time Fourier Transform, STFT)來準備頻域的小波收縮，處理低對比度圖像，其核心思想是收縮有噪聲的傅里葉系數Sp,f，然后將其轉換到空間域，頻域Fp上的非歸一化離散傅里葉逆變換的實質是，通過得到所有縮小的小波系數的平均值，從而得到低對比度的值，在抑制低對比度圖像高斯噪聲的同時保留圖像邊緣、紋理等細節。具體實施過程如下：

通過從gp和yp中減去雙邊濾波后的g?p和s?p值，再乘以濾波核kp,q，得到低對比度信號。假設濾波核kp,q是無噪聲的，得出

3.3 算法實現

基于圖像局部曲面可展化的混合噪聲抑制算法具體實施步驟如下：

(1) 對混合噪聲圖像進行局部曲面可展化處理，其迭代次數為1，輸出圖像U1。

(2) 將U1分為高對比度層和低對比度層，在空間域和變換域分別對高對比度層和低對比度層圖像降噪，輸出圖像U2。

(3) 對U2進行圖像局部可展化處理，其迭代次數為1，輸出圖像U3，判斷U3是否滿足終止迭代條件，若滿足，則終止迭代，并輸出U3作為最終降噪圖像；若不滿足，則令U3=U1，轉步驟(2)執行，直至滿足算法停止條件。

基于圖像局部曲面可展化的混合噪聲抑制算法實現流程圖如圖4所示。

圖4 基于圖像局部曲面可展化的混合噪聲抑制算法實現流程圖

4 數值實驗

數值實驗主要包括兩部分內容：

(1) 驗證DLS算法抑制混合噪聲的有效性；

(2) 將DLS算法與雙域降噪算法(Dual-Domain Image Denoising, DDID[17])、高斯曲率濾波器(Gaussian Curvature Filter, GCF[12,13])、3維塊匹配濾波算法(Block-Matching and 3D filtering,BM3D[18])、極小曲面濾波器(Minimal Surface Filter, MSF[14])、加權聯合稀疏表示(Weighted Joint Sparse Representation, WJSR[19])、三邊濾波器(Triateral Filter, TF[20])和一種快速靈活的去噪卷積神經網絡(a Fast and Flexible Denoising convolutional neural Network,FFDNet[8])7種算法進行比較，從視覺感知和客觀數據方面驗證DLS算法的性能優劣。

本文在BSD68和Set12上廣泛地測試了DLS算法的有效性，其綜合性能如表1所示，并與現有的一些方法進行了比較。下面抽取實驗中的6幅測試圖像說明算法性能，其中，LI1為house圖片，LI2為采用旋翼無人機載具的室外真實數據圖片。為客觀評價本文提出算法的降噪性能，選用峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)、均方誤差(Mean Square Error, MSE)和結構相似性(Structural SIMilarity index, SSIM)指標對不同濾波器去噪后的圖像進行定量測量。

表1 DLS算法在BSD68和Set12的數據集的綜合性能

為驗證DLS算法的可行性，將局部可展化算法和DLS算法進行對比研究，結果如圖5所示。

圖5(a)和圖5(d)為由高斯噪聲和椒鹽噪聲組成的混合噪聲圖片，圖5(b)和圖5(e)為經局部曲面可展化處理后的圖片，圖5(b)和圖5(e)中的椒鹽噪聲被有效去除，同時去除了部分高斯噪聲，殘余噪聲幾乎全部為高斯噪聲成分，圖5(c)和圖5(f)為經DLS算法降噪后的圖片，將經局部可展化處理后的圖片進行分層降噪，可以明顯看出，圖像中的殘余噪聲被有效去除，同時保留了圖像的邊緣、紋理等細節，因此，DLS算法是可行的。

圖5 DLS算法降噪視覺效果圖

DLS計算復雜度為O(N2(1+lgN)) ，其中N為圖片像素總數。下面以boat圖片為例，從客觀數據方面驗證DLS算法的可行性。圖6直方圖中紅色柱圖為DLS算法指標，黑色柱圖為經局部曲面可展化算法處理后的算法指標，由圖6可以明顯看出，DLS算法的PSNR指標明顯高于局部曲面可展化算法，混合噪聲密度越大，DLS算法優勢越明顯；在高斯噪聲方差為5，椒鹽噪聲密度為0.03的混合噪聲下，DP算法的MSE指標和SSIM指標性能優于DLS算法，隨著噪聲密度加大，DLS算法的MSE指標和SSIM指標性能明顯比DP算法性能好，綜合視覺感知和客觀數據可知，DLS能有效抑制混合噪聲。

圖6 DLS算法對boat圖片的降噪算法指標圖

通過分析混合噪聲圖像的局部方差可知，被噪聲污染的像素點與其8領域像素點差值很大，增大了局部方差，隨著算法迭代次數的增加，像素點Ui,j與其8領域像素的方差緩慢下降，逐漸趨于平穩。圖像在高斯噪聲方差為10，椒鹽噪聲密度為0.05的混合噪聲下，對應的基于圖像局部曲面可展化的混合噪聲抑制算法迭代執行過程中局部方差折線圖如圖7所示。由圖7可知，隨著DLS算法迭代次數的增加，噪聲圖像的局部方差緩慢下降，條件滿足終止迭代。

圖7 局部方差

經驗證DLS算法能有效抑制圖像中的混合噪聲，接下來將DLS算法與DDID, GCF, BM3D,MSF, WJSR, TF和FFDNet 7種算法進行比較，從視覺感知和客觀數據方面驗證DLS算法的性能與優劣。

以LI1和LI2測試圖像進行對比實驗，測試圖像混合噪聲由方差為10的高斯噪聲和密度為0.05的椒鹽噪聲構成。首先從視覺角度來分析DLS算法的性能，8種降噪算法的降噪結果如圖8所示。由圖8可知，經DDID, BM3D和FFDNet算法降噪后圖像存在明顯椒鹽噪聲殘余，由局部放大圖可以看出，殘留噪聲嚴重影響圖像質量和視覺效果，其中基于深度機器學習的FFDNet降噪算法采用了算法源程序和訓練結果，由于FFDNet只能去除高斯噪聲，且訓練數據集也均為只含有高斯噪聲的圖片，故FFDNet算法對椒鹽噪聲無能為力。經GCF和MSF算法降噪過的圖像存在明顯斑塊，由局部放大圖可以發現，斑塊造成嚴重的圖像細節損失。經WJSR和TF算法降噪后的圖像存在振鈴現象，由其局部放大圖可知，振鈴現象造成圖像模糊，嚴重影響圖像質量。DLS算法降噪圖像不存在振鈴現象和明顯的斑塊，由局部放大圖可以明顯看出，經DLS算法處理過的圖像平滑，視覺效果好且未發現噪聲殘余。

圖8 LI1-LI2降噪結果對比

由視覺比較可知，DLS算法能有效抑制混合噪聲。為進一步驗證DLS算法的性能，本文將LI1和LI2圖像的MSE和SSIM指標以表格形式展示，PSNR指標以折線圖形式展現，并展開詳細闡述。

LI1和LI2圖像在不同混合噪聲濃度下的MSE和SSIM指標數據分別如表2和表3所示，表2中的黑體字表示同組數據的最小值，表3中的黑體字表示同組數據的最大值。

分析表2 8種降噪算法的MSE數據可知，在兩幅圖像的12種數據中，DLS算法有7組MSE數據為最低，3組MSE數據僅次于最低的DDID算法，DDID在椒鹽噪聲密度較低時，其MSE指標較低，隨著混合噪聲密度變大，其MSE遠遠高于DLS算法；BM3D是當前降噪性能最好的算法之一，但BM3D也對混合噪聲無能為力，其MSE遠遠高于DLS算法；高斯曲率濾波器能有效去除椒鹽噪聲和低密度高斯噪聲，但對中、高密度高斯噪聲去除效果不明顯；FFDNet算法經卷積神經網絡訓練后能快速有效地去除高斯噪聲，但對未訓練過的椒鹽噪聲無能為力；DLS算法與其他3種抑制混合噪聲算法相比，其MSE指標遠遠低于WJSR, TF和MSF，雖然在混合噪聲密度較小的情況下，TF和MSF有幾組數據的MSE指標與DLS算法的MSE指標接近，隨著混合噪聲密度變大，TF算法和MSF算法性能遠遠不及DLS算法，總體來說，DLS算法性能優于其他7種算法的降噪性能。

對比表3的SSIM數據可知，DLS算法的SSIM指標數據有10組為最優，其余2組數據僅低于GCF的SSIM指標，且與其十分接近。DLS算法的性能不僅比去除單一噪聲的降噪算法好，且優于去除混合噪聲的降噪算法。綜合表2和表3的數據可知，DLS算法降噪圖像的MSE指標和SSIM指標統計為最優。

表2 8種算法降噪圖像的MSE統計

表3 8種算法降噪圖像的SSIM統計

接下來將LI1, LI2, Lena圖像、peppers圖像和4幅圖像平均值的PSNR數據以折線圖形式展現，進一步驗證DLS算法的降噪性能，以及與其他混合降噪算法相比，DLS算法的性能與優劣。

8種降噪算法的PSNR指標如圖9所示。圖9中，4幅圖像混合噪聲由方差為15的高斯噪聲和密度為0.05的椒鹽噪聲構成，圖片的橫坐標為不同圖像和其對應的平均指征。“Mean”是4幅圖像的平均值，其中紅色折線為DLS算法的評價指標。由圖9的折線圖可以明顯看出，DLS算法的PSNR指標在4幅圖像和其均值處均優于其他降噪算法。由客觀數據分析結果可以發現，DLS算法的PSNR,MSE和SSIM指標數據均為最優，相比于其他7種降噪算法，DLS算法具有明顯的優越性。

圖9 8種降噪算法的PSNR指標

綜合視覺效果和客觀數據實驗，DLS算法在去除由高斯噪聲和椒鹽噪聲組成的混合噪聲中有明顯優勢。TF算法和MSF算法去除混合噪聲算法性能比其他4種降噪算法性能好，但隨著噪聲密度變大，TF算法和MSF算法性能明顯下降，總體來說并不如DLS算法理想。

5 結論

本文所提基于圖像局部曲面可展化的混合噪聲抑制算法，綜合利用了圖像局部可展化處理和分層降噪算法，使其優勢互補，實現了基于旋翼無人機載具目標檢測所需的低資源開銷混合噪聲抑制。局部曲面可展化以多類型噪聲抑制有效性與高效的椒鹽噪聲抑制性使混合噪聲分布成為近似高斯分布；分層降噪以強邊緣保持性與高效的高斯噪聲抑制性有效去除了近似高斯分布的噪聲殘余；兩算法的有機融合迭代，實現了高效率的混合噪聲抑制，且有效避免了曲面可展化引起的斑塊缺陷以及分層降噪引起的振鈴現象。