基于非局部自相似性的低秩稀疏圖像去噪

張雯雯，韓裕生

(1.中國人民解放軍陸軍炮兵防空兵學院，合肥 230031； 2.偏振光成像探測技術安徽省重點實驗室，合肥 230031)

0 引言

噪聲廣泛存在于圖像信號的獲取、傳輸及存儲過程中，降低了圖像的質量，不利于后續圖像分析及處理。因此，如何有效地從噪聲中恢復出清晰干凈的圖像是圖像處理領域重要的研究內容。圖像去噪通常作為進一步進行邊緣檢測、圖像分割、特征提取及模式識別等處理的預處理，而在實際中，去除噪聲及保護邊緣細節往往是一對矛盾體，如何在有效去除噪聲的同時充分保留邊緣細節特征成為了人們研究的熱點。

三維塊匹配濾波 (Block-Matching and 3D filtering, BM3D) 算法[1]是當前去噪效果較好的算法之一，該算法通過在圖像中尋找相似塊的方法進行濾波，雖能較好保留邊緣細節，但算法復雜度高，且只適用于高斯白噪聲。為了得到效果更好且適應性更廣泛的去噪算法，引入了塊先驗的思想。基于高可能性的先驗塊在塊重建時會帶來更好的恢復效果。EPLL(Expected Patch Log Likelihood)算法是Zoran等[2]提出的基于圖像塊先驗知識的去噪算法，通過研究不同圖像塊的先驗知識產生的去噪效果，找到較好的高斯混合模型作為先驗知識，但該算法存在內部非自適應的問題。SSC_GSM(Simultaneous Sparse Coding with Gaussian Scale Mixture)算法[3]針對圖像非局部模型如何設置空間自適應參數的問題，提出利用并行稀疏編碼開發非局部高斯尺度混合模型。

目前先驗信息應用最廣泛的是稀疏編碼的方法。為了提高編碼精度及對異常數據的魯棒性，文獻[4]提出了帶字典原子關聯度的非負稀疏編碼方法，文獻[5]通過權值矩陣泛化殘差分布減少異常點對編碼和字典學習的應用。NCSR(Non-locally Centralized Sparse Representation)算法[6]用學習的先驗塊構造出過完備字典，通過利用圖像非局部冗余性集中式的稀疏約束來降低稀疏編碼噪聲。稀疏編碼的去噪算法對細節保存能力較強，但效率低，冗余的稀疏字典無法描述圖像具體特征而影響去噪效果。

利用外部塊先驗正則化去噪過程雖然取得較好的效果，但它們忽略了圖像內部的自相似性。PCLR(external Patch prior guided internal CLusteRing)算法[7]結合外部先驗及內部自相似性來提高去噪性能，利用學習得到的高斯混合模型(Gaussian Mixture Model, GMM)來指導相似塊聚類和低秩子空間學習。雖然這種方法具有很強的魯棒性，但計算量較大，且得到的圖像在細節方面不盡人意。顯然，如何在提高去噪效果的同時較好地保留邊緣細節是一個值得研究的問題。

針對上述不足，本文在PCLR的基礎上提出基于非局部自相似性的低秩稀疏去噪算法。從自然圖像中學習利用非局部自相似性(Nonlocal Self-Similarity, NSS)，將學習的先驗模型應用于去噪圖像達到更優的去噪效果。首先利用馬氏距離(Mahalanobis Distance, MD)作為塊相似性度量對外部塊分組，建立基于塊組的高斯混合模型。利用先驗模型指導噪聲圖像內部聚類，獲得不同結構的潛在塊子空間。為了解決低秩近似的方法忽略了稀疏有用信息的問題，利用穩健主成分追蹤(Stable Principle Component Pursuit, SPCP)模型[8]建立低秩稀疏近似過程來恢復潛在子空間，最后通過最小化目標函數實現去噪。與其他算法相比較，提出的算法效率更高，且具有更好的去噪效果及更強的細節邊緣保持能力。

1 GMM學習圖像塊

從含有噪聲的圖像y中恢復出干凈圖像的問題，可用公式y=x+v表示。x表示原始干凈圖像矢量，v表示加性噪聲矢量。為解決該問題的不適定性，將學習自然圖像塊像素得到的高斯混合模型作為先驗信息用于正則化去噪過程。假設噪聲圖像塊的潛在結構形成k個低維子空間，則利用k個高斯的加權平均和得到給定圖像塊xi的概率：

(1)

2 低秩近似與去噪

低秩矩陣近似的原理是利用原始高維空間中高效且高代表性的低維結構。含噪聲圖像是一個高維矩陣，可以利用合適的低秩矩陣近似保持原復雜圖像的諸多性質，同時有效地減少冗余信息及噪聲。

給定圖像x，且假設塊獨立，利用以下塊聚類似然公式得到所有重疊塊Rx到k類的分區。

(2)

(3)

利用以下全局目標函數實現圖像去噪：

(4)

其中λ是一個正常數。該能量函數有效地將圖像內部的自相似性和塊先驗融入到整個圖像的去噪模型中。文獻[5]采用的塊聚類方法會將大量的平滑塊聚集成一個巨大的類，為了提高塊聚類的準確性，采用k-mean[10]的方法，通過利用平均強度和每個塊的位置對平滑塊進行精確細分類，當某個類的塊數小于10，則會被分到其他相似的類中。

3 改進算法

3.1 基于非局部自相似性的先驗塊分組

非局部自相似性被廣泛應用于圖像恢復，是最成功的先驗之一，但大多數去噪算法，如文獻[1,4,11]都只是將NSS應用于噪聲圖像，并不能高效地利用自相似性。為了獲得更優性能的去噪算法，本文提出的基于自相似性的低秩稀疏去噪算法，建立用于學習干凈自然圖像NSS先驗學習機制，提高先驗模型的效率。

圖1 基于塊組的GMM先驗模型學習流程

(5)

(6)

3.2 基于SPCP的低秩稀疏模型

利用上述基于塊組的GMM先驗模型引導噪聲圖像塊聚類成k類后，利用PCLR算法中低秩近似的方法復原各個圖像塊的實驗結果如圖2所示，去噪后圖像細節丟失，尤其是同噪聲大小相當的有用高頻信息。由于這些有用像素的分布較為稀疏，容易被當作噪聲處理掉。

為了解決這個問題，本文基于SPCP方法建立出低秩稀疏的去噪模型，將聚類圖像矩陣分解為低秩、稀疏及噪聲三部分，并通過最小化全局目標函數達到去噪及保持邊緣細節的目的。

圖2 PCLR算法去噪后細節丟失(σ=35)

PCLR低秩去噪模型通過式(3)近似求解秩的最小化，最后達到去噪目的。該模型基于經典的主成分尋蹤方法，即退化圖像可以表示為D=A+E，D表示退化后圖像，A為低秩結構，E為稀疏的結構。低秩結構包含了數據之間的相關性，稀疏結構包含了數據間的差異性。

傳統的方法認為除去低秩部分外均是無用信息，但事實上該部分仍存留隨機且稀疏的有用信息。為了在去噪過程中更好地保留細節信息，引入SPCP理論，通過添加噪聲項給出新的約束條件，考慮了污染稀疏數據的隨機噪聲，重新建立去噪模型。

(7)

其中:Sk表示稀疏的有用信息矩陣，本文的低秩稀疏模型目的是保留該部分細節信息并疊加到低秩恢復的圖像中，從而得到質量更高的干凈圖像。

利用文獻[8]提出的SPCP模型表示式(7)的優化問題，即：

(8)

定義基于SPCP去噪模型的增廣拉格朗日函數ζ，初始化乘子L得到式(9)：

(9)

(10)

其中常數β可以用來調節拉格朗日函數ζ的收斂性，且〈L,Zk-Sk〉=tr(LT(Zk-Sk));然后利用交替方向迭代算法更新Zk,Sk,Vk,L。更新迭代l次可以得到當ζ(Zk,Sk,Vk,L,β)取最小值時候的Zk、Sk、Vk。具體更新步驟可以參考文獻[12]。

(11)

構造全局目標函數如下：

(12)

3.3 時間復雜度分析

在訓練階段，假設有L1個塊組，每個塊組有L2塊，一共有L1×L2塊。在一次迭代中，對于M步，時間復雜度為O(p4L1L2)；對于E步，則為O(p6L1L2)，假設迭代次數為T，則基于塊組的GMM訓練模型時間復雜度為O(p6L1L2T)。

而對于式(12)的去噪模型，假設k個聚類中有m個塊，而每個塊都有n個維度，算法正t次迭代后收斂，則該算法單次迭代的時間復雜度為O(tmkn3/4)。

4 實驗結果與分析

為驗證本文提出算法的去噪效果及邊緣細節保持能力，選取多組自然圖像進行實驗，與先進的去噪算法進行比較，包括EPLL[2]、NCSR[6]、SSC_GSM[3]和PCLR[7]。從伯克利圖像分割數據集(BSD)中選取200張訓練圖像均勻采樣得到2×106張圖像塊，并從中學習得到有250個混合組件的GMM及參數Θ。

所有的實驗均在操作系統為Windows 10、CPU為3.20 GHz的Intel Core i5-6500、GPU大小為8 118 MB、內存為8 192 MB的PC機上運行,編程環境為Matlab R2014b。

4.1 驗證算法去噪性能

由文獻[5]實驗經驗可得，對于σ≤20，20<σ≤40，40<σ≤60和σ>60的情況下，分別設置塊尺寸為7×7，8×8，9×9和10×10，在6個尺寸均為256×256的不同測試圖像上進行實驗，驗證提出算法的優越性能。由于許多實際噪聲分布近似為高斯白噪聲，因此本節將標準差分別為σ=15，35，55和75的高斯白噪聲添加到原始測試圖像上來研究和比較圖像去噪效果。

實驗中EPLL方法的參數設置如上，NCSR方法的基本參數設置為：正則化參數為0.02，聚70類，外層與內層迭代均為3次。SSC_GSM方法設置外層迭代14次。PCLR方法的正則化參數分別為：正則化參數為0.18，搜索因子為0.67。

采用本文提出的去噪方法和文獻中提出的去噪方法得到的結果圖像分別如圖3所示。為了定量地衡量去噪效果及效率，通過峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)及時間(TIME)兩項指標對去噪結果進行統計分析，并列出表1。從實驗結果可以看出，不論噪聲水平高或者低，提出的算法在PSNR結果上表現都更優異，處理效率更高；而且去噪效果更好，相比其他四種算法，原圖像中許多邊緣和紋理細節特征(如小溪河流曲線、手套、遠處建筑曲線)都被很好地保留，具有較高的視覺質量。且從圖像eagle、plane、cameraman的實驗結果來看，由于本文重新建立了低秩稀疏的去噪模型，所以當圖像背景低秩屬性明顯(如天空背景)時，去噪效果相比其他算法會有更大的改善。

圖3 不同算法對不同圖像去噪結果

圖像σEPLLPSNR/dBTIME/sNCSRPSNR/dBTIME/sSSC_GSMPSNR/dBTIME/sPCLRPSNR/dBTIME/s本文算法PSNR/dBTIME/smountaineagleparaglideplanecameramanLena1533.464333.3310933.402033.633933.92935 29.884329.4129330.172930.3013430.571155 28.234324.2119828.735128.6821428.77137526.924322.9817727.684927.5317127.84131535.054235.6311935.891936.043936.32935 30.354328.2632631.042931.2413431.541055 28.084325.4323728.505028.7214827.97137526.394323.4619226.834926.9512927.43121537.174437.9511137.252037.474337.96935 33.304233.0631934.133033.9215933.911155 31.164329.6922232.044931.9128531.89137529.544327.5219930.654830.3523230.88131537.994438.9011438.401938.224239.46935 33.444332.9332634.012933.9815434.541155 30.634427.6825431.804931.9426432.28137529.174326.0419430.284930.1120730.98121531.784432.0112631.932032.224032.8293527.734327.6634227.953028.1514628.84115525.644325.7125025.955026.1617826.90137524.104324.2325624.575024.7315025.03131531.564231.8612432.062032.033932.8193527.654427.8534228.012928.0910728.96105525.734425.8724826.154926.1311827.00127524.324424.5524824.934924.8311325.3812

4.2 驗證算法邊緣細節保持能力

為進一步驗證提出算法對邊緣細節的保持能力，本節通過對低分辨率(Low Resolution, LR)圖像直接超分辨率(Super Resolution, SR)或先去噪后SR兩種處理方式來研究和比較。選取尺寸為512×512的多組圖像作為原始圖像，通過下采樣和高斯模糊仿真高分辨率圖像退化到LR圖像的過程，得到尺寸為256×256的低分辨率圖像。

圖4為當σ分別0.5、15和35時候，圖像Barbara低分辨率圖像利用Yang等[14]于2010年提出的ScSR算法直接超分辨率，與經過算法PCLR或本文算法去噪后再超分辨率得到的結果對比圖。表2是這三種方式得到的PSNR及SSIM結果值。由實驗結果可以看出，當噪聲水平較低時，直接SR與去噪后SR相比，兩種方式的結果對細節保持能力差別不大。而隨著噪聲水平的提升，直接SR雖然可以在一定程度上提高圖像的分辨率，但是無法去除噪聲帶來的嚴重影響，且細節信息嚴重丟失，不利于后續圖像處理與分析。先利用提出的算法對低分辨率圖像去噪后再對圖像SR，則既能夠保持清晰的邊緣又可以提高去噪圖像的清晰度；且無論噪聲水平的高低，從圖4及表2均可以看出，提出的算法在定量結果PSNR及SSIM上都有更優表現，且細節的保持能力也更好。

圖4 不同噪聲水平直接或去噪后超分辨率結果

算法σ=0.5PSNR/dBSSIMσ=5PSNR/dBSSIMσ=15PSNR/dBSSIMσ=35PSNR/dBSSIM直接ScSR34.050.83632.030.68729.080.37727.940.162先去噪后ScSRPCLR33.450.80232.300.72931.150.63734.060.836本文算法34.220.87733.510.82532.070.71134.980.894

5 結語

為解決圖像在去除噪聲的同時容易丟失細節信息的問題，提出了一種基于自相似性的低秩稀疏去噪算法。該方法在學習階段，利用基于馬氏距離的塊匹配方法將干凈自然圖像塊分組，建立基于塊組的高斯混合模型，從自然圖像中學習NSS。基于塊組的先驗模型中各個高斯組件所包含的信息更豐富，在同等程度下，每種模式的學習數量更多，從而聚類效率更高，因此提出算法時間復雜度較低。然后利用基于塊組的GMM先驗模型引導噪聲圖像塊聚類，考慮了目標圖像塊中稀疏的有用信息， 將噪聲圖像矩陣分為低秩矩陣、稀疏矩陣及噪聲矩陣，通過保留低秩及稀疏信息提高算法保留細節信息的能力，最后通過最小化全局目標函數實現去噪。實驗結果表明，提出的算法在PSNR、SSIM及時間運行的結果上都優于列出的其他算法，不僅去噪效果更好，而且能夠有效地保持圖像的邊緣及紋理特征。提出的算法在圖像復原、增強等諸多領域都具有重要的應用價值。

[11] GU S, ZHANG L, ZUO W, et al. Weighted nuclear norm minimization with application to image denoising [EB/OL]. [2017- 12- 24]. http://101.96.10.63/www4.comp.polyu.edu.hk/～cslzhang/paper/WNNM.pdf.

[12] XU J, ZHANG L, ZUO W, et al. Patch group based nonlocal self-similarity prior learning for image denoising [C]// ICCV ’15: Proceedings of the 2015 IEEE International Conference on Computer Vision. Washington, DC: IEEE Computer Society, 2015: 244-252.

[13] AYBAT N S, GOLDFARB D, IYENGAR G. Fast first-order methods for stable principal component pursuit [EB/OL]. [2017- 12- 24]. http://pdfs.semanticscholar.org/be40/b2c105dc20dde4ae8dfa146bb05d25543ad3.pdf.

[14] YANG J, WRIGHT J, HUANG T S, et al. Image super-resolution via sparse representation [J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.