多模圖像聯合非局部濾波快速算法

楊元琴， 魏　寧， 董方敏

(湖北省水電工程智能視覺監測重點實驗室(三峽大學)，湖北 宜昌 443002)

多模圖像聯合非局部濾波快速算法

楊元琴， 魏寧， 董方敏

(湖北省水電工程智能視覺監測重點實驗室(三峽大學)，湖北 宜昌 443002)

提出一種新的基于非局部均值的多模圖像濾波方法。在該方法中，對于噪聲圖像濾波采用非局部均值方法，其中對于噪聲圖像塊之間灰度相似測度權重由另一幅圖像引導計算。實驗結果表明，該方法比基于局部的圖像去噪方法如雙邊濾波算法有更好地去噪效果。通過構造聯合積分圖像對提出算法進行加速，與原始算法相比其顯著提速兩個數量級，加速算法的復雜度不受濾波器大小影響，易于在并行系統中實現。

圖像去噪；聯合雙邊濾波；非局部濾波；積分圖像

圖像在獲取、傳輸和記錄過程中不可避免地要受到各種噪聲信號的干擾。在圖像處理與計算機視覺領域，圖像去噪是一項重要、基本的研究課題。去除圖像噪聲能提高圖像視覺質量，是圖像后續處理的前提，另外，圖像去噪的方法在理論上與其他圖像處理有著緊密的聯系，研究圖像去噪方法有一定的理論價值和實際意義。

多模圖像是指對同一目標在不同條件(不同時間、不同傳感器等)下獲得的兩幅或者兩幅以上的圖像，如對同一人體器官通過計算機斷層成像(computer tomograph，CT)和核磁共振成像(magnetic resonance imaging，MRI)所產生的圖像；對同一場景進行拍攝時帶閃光燈和不帶閃光的圖像；用不同波段的成像設備獲取的遙感圖像等等。多模圖像一方面可以反映不同空間結構信息形成、信息互補，另一方面圖像之間存在著空間位置上的高度相關性可以方便對成像內容的結構進行深入分析。但多模圖像由于受到成像帶寬的限制，往往在有些波段的圖像會存在較大的噪聲干擾。多模圖像聯合去噪就是用噪聲較小模態的圖像信息來指導噪聲較大模態的圖像進行濾波處理。

多模圖像聯合去噪的方法基本都是以傳統圖像去噪方法作為基礎進行改進而得到。傳統的基于空間域圖像去噪方法大致可以分為局部方法和非局部方法兩種。局部去噪方法相對簡單，主要是設計合適的濾波器與圖像做卷積運算。其具代表性的局部聯合去噪算法是由Petschnigg等[1]提出的聯合雙邊濾波(joint bilateral filter)算法。該算法繼承了雙邊濾波(bilateral filter)算法[2]的特點，在構造局部濾波器系數時不僅考慮了中心點與鄰域點之間的空間距離，同時還考慮了中心點與領域點灰度值之間的相似程度。而不同于雙邊濾波，聯合雙邊濾波算法在對一幅圖像進行濾波時所使用的濾波器系數由另一幅圖像來引導計算。該算法在對閃光與非閃光圖像進行聯合處理時取得了較好的效果。聯合雙邊濾波具有將多種信息進行結合并完成濾波的特點，同時還被應用到不同變換域信息聯合去噪上，如，Knaus和 Zwicker[3]提出了雙域去噪(dual denoising)。該算法通過聯合雙邊帶濾波將頻域和時域濾波的結果進行互補獲得了很好的去噪效果。Yu 等[4]提出在空間域使用雙邊濾波并在變換域使用小波變化，通過將兩者的結合得到了比較好的去噪效果。邱宇等[5]將曲線波與雙邊濾波算法有機結合，取得了較好效果。蔡超等[6]將多分辨率分析概念引入到雙邊濾波中，根據噪聲強弱，在不同尺度下采用不同的參數可以達到比較好的去噪效果。余博等[7]對相關參數的選取進行了研究，提出了一類自適應的改進雙邊濾波算法，基本實現了參數的自適應選取。近年來，由于聯合雙邊濾波受到廣泛關注，其計算速度的劣勢凸顯。Zhang等[8]提出了針對聯合雙邊濾波的加速算法，并通過構造聯合積分直方圖達到了對原始算法的加速，能夠在常數時間獲得與原始算法近似的結果。

雙邊濾波算法的加權系數不僅考慮了像素間的空間距離，也考慮了亮度相似度，因此能更好地實現圖像的去噪和邊緣保留[9-11]，但其存在算法魯棒性的問題。由于灰度測度權重的獲取是通過兩個獨立像素的灰度差，當兩個像素均受到噪聲污染時，灰度測度的穩定性就會降低，且噪聲越大穩定性就越差。Buades等[12]提出的非局部均值算法(NL-means)能夠解決這一問題，該算法在計算灰度測度權重時不再使用當前像素點與鄰域像素點的相似度，而是使用以這兩個像素為中心的鄰域塊之間的相似度。由于圖像通常都包含豐富的紋理，且重復出現，因此加權平均的像素點可以擴展到整幅圖像而不必局限于圖像的局部。相比于雙邊濾波，非局部均值算法能夠獲得更準確的灰度測度權重。但是，由于非局部均值算法需要計算圖像塊之間的相似性，而且圖像塊的搜索區域可以擴展到整幅圖像，因此算法的復雜度很高。

在對多模圖像去噪的過程中，如果能將多幅圖像之間的這種非局部的相似性聯合起來進行平均系數設計，其去噪結果能夠對邊緣細節和重復紋理細節得到很好地保持。目前基于非局部聯合去噪研究較少，本文提出了一種聯合非局部濾波算法，該算法旨在保持非局部濾波算法的優勢，在對一幅圖像進行全局濾波時，其濾波權重由參考圖像中所有的相似圖像塊決定。該算法對于含有周期性紋理的閃光與非閃光圖像，或者是存在著大量平坦區域的多模醫學圖像，相比于聯合雙邊濾波算法具有更好的去噪效果。另外，為了解決非局部算法復雜性高的問題，本文構造了相應的聯合積分直方圖對算法進行了加速。通過理論分析表明，加速算法較原始算法能夠提高近2個數量級。

1　聯合非局部濾波

其中，相似測度權值{w(i,j)}j依賴于像素i與j之間的相似性，并滿足。相似測度權重{w(i,j)}j不同于原始的雙邊濾波那樣通過原始噪聲圖像來計算，而是通過聯合參考圖像I的信息計算得到。在濾波時任意兩個像素之間的相似性是以這兩個像素為中心的鄰域塊之間的相似性決定，鄰域塊灰度值向量之間的相似性通過歐氏距離計算，即：

其中，p為以當前像素為中心的鄰域半徑。則式(1)中的權重定義為：

2　算法加速

用所提出算法進行濾波，由于其過程存在大量的冗余計算，因此非常耗時。假設給定兩個固定像素，并通過式(2)計算兩個像素之間的相似性時，部分圖像子塊的平方差求和會被反復多次計算其他固定像素之間相似性，其計算冗余延長了計算時間。本文提出了一種基于積分直方圖的加速算法避免上述冗余，有效提高了計算效率。

假設計算圖1(a)中的兩個像素i，i+t之間的相似性，t代表兩像素點在空間的平移向量。將圖像I平移t個單位得到圖像It。如圖1(b)所示，可以看到每一對有著相同位移 t的圖像塊之間的相似性DP(I,i,i+t)可以通過對圖像(I–It)2中相應塊中對應塊的元素進行求和得到。

為了避免對(I–It)2中的元素重復求和，構造了積分圖像Jt，如圖1(c)所示，即：

圖1　當比較兩個像素的相似性時，對于每個可能的位移t構造積分圖像((a) 相似像素位移相差t；(b) 計算矩陣(I–It)2；(c) 構造積分圖像Jt)

規定 J(0,0)=0。這樣，任意圖像塊之間的距離DP(I,i,i+t)能夠通過積分圖像 Jt快速地計算得到：

所提出的加速算法可最大程度地減少乘法和加法重復計算次數。假設給定圖像為N×N，在相似性計算時的鄰域大小為P×P，可以發現直接使用原始暴力方法計算的算法復雜度為O(N4×p2)。通過加速計算之后，圖像Jt的大小隨著向量t的增加而減少。加速之后算法的復雜度降為O(N4/4)。值得注意的是，加速方法其算法復雜度不依賴于圖像相似塊的大小P，這樣擴展了算法的適用性。另外，可以看到主要計算量來自于(I–It)2的計算以及 Jt的構造。由于參數都是相互獨立的，因此該算法能夠通過并行計算進一步提高執行效率。

聯合非局部濾波快速算法的步驟如下：

算法：聯合非局部濾波快速算法

步驟1. 對于每一個可能的平移量t，用參考圖像I構造平方差圖像(I–It)2。

步驟 2. 對每一個(I–It)2通過式(4)計算得到積分圖像Jt。

3　實驗與結果

為了驗證本文算法的性能，將實驗結果與聯合雙邊濾波方法[1]的結果進行比較。之所以不與基于積分直方圖的聯合雙邊濾波方法[8]的結果相比較，是因為后者是對前者的加速改進，盡管得到了幾乎一致的實驗效果，但是圖像質量在灰度量化中還是有所損失。

實驗用3個數據集進行測試。所提出方法實驗結果與聯合雙邊濾波方法的結果比較如圖2所示。圖2中前兩行分別是對“lamp”和“carve”圖像[1]的去噪處理。其中每一行的第1列為非閃光圖像，第2列為對應的閃光圖像，第3列為聯合雙邊濾波方法去噪結果，第4列為所提出方法的去噪結果。一般閃光圖像具有清晰的輪廓邊緣和高對比度的邊緣信息，而非閃光圖像具有更自然的環境光氛圍和更細膩的紋理細節，但由于感光度低含有較大噪聲。為了突出兩種算法濾波的效果，實驗中在原始非閃光圖像加入PSNR=45 dB的高斯噪聲。如圖1所示，兩種方法都得到了相比單模式圖像更好地去噪效果。但是對于重復紋理較為密集的“lamp”圖像所提出的方法對于稻草的細節紋理邊緣進行了更好地保持，去噪效果顯著。同時對于細節紋理較多的“carve”圖像，所提出的方法在去除噪聲的同時能夠更好地保持了瓦罐表面和背景墻壁的紋理。

圖2的最后一行是從Brainweb上獲得的模擬腦部MRIT1和T2多模圖像。結果顯示對于該組圖像兩種方法的去噪效果基本持平，本文提出的方法并沒有顯示出明顯的優勢。

圖2　實驗結果(從第1列至第4列：非閃光圖像(噪聲圖像)；閃光圖像(參考圖像)；聯合雙邊濾波方法的去噪結果；所提出方法的去噪結果)

另外，圖3比較了本文所提出方法在不同參數下的實驗結果。其中列表示參數h，h是式(3)中的方差，隨著h的增加圖像平滑程度越強；行代表鄰域塊p的大小變化，結果顯示隨著塊的增大，圖像的平滑程度減弱，這是由于當鄰域塊過大時，對于像素灰度的度量誤差就會過大，去噪效果就會更差。從本文的測試數據可以觀察得到，當鄰域塊大小取p=5時是比較合適的。

圖3　所提出方法在不同參數下的結果(從第1列至第3列：h=10、20、30；從上到下：p=3、5、7)

圖4為不同噪聲強度的圖像去噪后的結果對比。第1列表示不同的噪聲強度的圖像，從上至下PSNR= 45,20,10 dB。第2、3列分別表示聯合雙邊濾波方法與所提出方法得到的去噪結果(其中均選取試驗中效果最好的參數)。結果顯示所提出方法在細節部分，特別在尖銳邊緣區域、帶狀紋理等情況下能夠得到比聯合雙邊濾波方法更好地去噪效果。

圖4　不同噪聲強度下去噪結果對比(第1列為噪聲圖像；第2列為聯合雙邊濾波方法的去噪結果(從上至下參數設置為p=5，σs=5，σr=2、3、6)；第3列是本文方法去噪結果(參數設置為：p=5，h=10、15、20))

4　結　論

本文提出了一種針對多模圖像去噪的聯合非局部濾波算法。實驗表明，該算法的去噪效果要優于傳統的局部去噪算法，特別是對于復雜的重復性的紋理圖像更能體現出其優勢。此外本文針對非局部算法計算復雜度高的問題，提出的基于聯合積分直方圖的加速算法，通過加速能夠將計算復雜度降低2個數量級，從而有效提高了算法的計算效率及適用范圍。

[1] Petschnigg G, Szeliski R, Agrawala M, et al. Digital photography with flash and no-flash image pairs [J]. ACM Transactions on Graphics, 2004, 23(3): 664-672.

[2] Tomasi C, Manduchi R. Bilateral filtering for gray and color images [C]//Proceedings of the 1998 IEEE International Conference on Computer Vision. Bombay, India,1998: 839-846.

[3] Knaus C, Zwicker M. Dual-domain image denoising [C]// Proceedings of International Conference on Image Processing. Melbourne, Austrilia, 2013: 440-444.

[4] Yu H, Zhao L, Wang H. Image denoising using trivariate shrinkage filter in the wavelet domain and joint bilateral filter in the spatial domain [J]. IEEE Transactions on Image Processing, 2009, 18(10): 2364-2369.

[5] 邱宇, 王世元, 余勇志. 一種基于曲線波的改進自適應交叉雙邊濾波方法[J]. 西南師范大學學報: 自然科學版, 2013, 38(2): 96-105.

[6] 蔡超, 丁明躍, 周成平, 等. 小波域中的雙邊濾波[J].電子學報, 2004, (1): 128-131.

[7] 余博, 郭蕾, 錢曉亮, 等. 一種新的自適應雙邊濾波算法[J]. 應用科學學報, 2012, 30(5): 517-523.

[8] Zhang K, Lafruit G, Lauwereins R, et al. Constant time joint bilateral filtering using joint integral histograms [J]. IEEE Transactions on Image Processing a Publication of the IEEE Signal Processing Society, 2012, 21(9): 4309-4314.

[9] 張闖, 遲健男, 張朝暉, 等. 基于邊緣檢測與雙邊濾波的彩色圖像去噪[J]. 電子學報, 2010, 38(8): 1776-1783.

[10] 葉仕通. 結合閾值去噪與邊緣優化的圖像增強算法[J].圖學學報, 2014, 35(4): 571-576.

[11] 戚曉偉, 陳秀宏. 改進的 Otsu 方法的雙邊濾波邊緣檢測算法[J]. 計算機工程與應用, 2012, 48(31): 150-155.

[12] Buades A, Coll B, Morel J M. A non-local algorithm for image denoising [C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. CVPR 2005, 2005: 60-65.

Accelerated Multimodal Images Joint Non-local Filtering

Yang Yuanqin,Wei Ning,Dong Fangmin

(Hubei Key Laboratory of Intelligent Vision Based Monitoring for Hydroelectric Engineering, China Three Gorges University, Yichang Hubei 443002, China)

In this paper, a novel non-local averaging based multimodal image filtering method is provided. In the method, the mean average for filtering the noisy image is computed non-locally and weights for average is jointly guided by the reference image taken from another imaging device. The experiment results show that the proposed method is better than state of the art joint bilateral filter, especially in the case of the periodic texture is involved in the images. Furthermore, an acceleration algorithm is proposed by constructing integral histograms, speeding up by factor of about 2 order compared with the brute-force method. In addition, the algorithm is independent of the size of the filter, and easy to be implemented on parallel system.

image denoising; joint bilateral filter; non-local filter; integral image

TP 399

10.11996/JG.j.2095-302X.2016010074

A

2095-302X(2016)01-0074-05

2015-06-15；定稿日期：2015-09-14

國家自然科學基金項目(61202141)；國家自然科學基金面上項目(61272236)

楊元琴(1990–)，女，湖北宜昌人，碩士研究生。主要研究方向為計算機圖像處理。E-mail：747640839@qq.com

魏寧(1980–)，男，甘肅蘭州人，副教授，博士。主要研究方向為機器視覺、計算機圖形學。E-mail：weininglz@163.com