基于雙邊與高斯濾波混合分解的圖像融合方法

周志強, 汪　渤, 李立廣, 李　筍

(1. 北京理工大學自動化學院, 北京 100081; 2.空軍駐華北地區軍事代表室, 北京 100086)

?

基于雙邊與高斯濾波混合分解的圖像融合方法

周志強1, 汪渤1, 李立廣2, 李筍1

(1. 北京理工大學自動化學院, 北京 100081; 2.空軍駐華北地區軍事代表室, 北京 100086)

摘要：針對紅外與可見光圖像融合時,兩種異質圖像信息容易相互干擾,造成融合圖像出現模糊、信息混亂和對比度降低等問題,提出了一種基于雙邊與高斯濾波混合分解的融合方法。首先采用雙邊和高斯濾波器對輸入的紅外與可見光圖像進行混合信息分解,得到小尺度紋理細節、大尺度邊緣和底層粗略尺度圖像信息;其中的大尺度邊緣信息包含紅外圖像的主要特征,依據該特征確定各分解子信息的融合權重,從而將重要的紅外特征信息注入到可見光圖像;最后通過對各融合子信息進行組合重構出融合圖像。實驗結果表明,該算法融合效果要優于傳統基于多尺度分解的圖像融合算法。

關鍵詞：高斯濾波; 雙邊濾波; 信息分解; 圖像融合

0引言

紅外與可見光圖像融合是多傳感器圖像信息融合領域中的一項重要技術。由于紅外成像傳感器能夠探測到人眼不可見的紅外波段熱輻射信息,將紅外圖像信息與可見光圖像有效融合于一起,可以增強人們在遮擋、微光和惡劣天氣條件下的場景感知和目標識別能力。因此,紅外與可見光圖像融合技術在近幾十年來被廣泛研究和應用。

目前,紅外與可見光等多源圖像融合中應用最為廣泛的是基于多尺度分解的圖像融合方法[1],包括早期的拉普拉斯金字塔變換(Laplasse pyramid transform, LAP)方法[2]和后來發展起來的離散小波變換方法(discrete wavelet transform, DWT)[3]等。文獻[4]基于人類視覺系統對局部對比度敏感的特性,在LAP方法的基礎上,又提出了基于對比度金字塔變換(ROLP)的多尺度融合算法,能夠很好地融合紅外與可見光圖像中的高對比度特征信息。由于普通的離散小波變換不具有平移不變性,學者們又提出了其他性能更好的多尺度分解方法。其中,雙樹復數小波(dual tree complex wavelet,DT-CWT)由于比一般小波具有更好的平移不變性和方向選擇性,基于雙樹復數小波變換的圖像融合方法取得了更好的融合效果[5]。更為復雜的非降采樣曲波變換(nonsubsampled contourlet transform,NSCT)在分解過程中沒有經過降采樣,且具有更多的方向選擇性,被證明融合效果要優于其他多尺度分解方法[6]。此外,shearlet變換近些年來也被有效應用于圖像融合中[7-9]。

紅外圖像主要反映的是場景里物體的熱輻射信息,其成像特性與可見光波段的自然圖像具有很大的差異,可表現為圖像的局部灰度極性相反,對比度不自然,圖像信息整體較為模糊等。由于這些因素的影響,紅外與可見光圖像融合時,兩種異質圖像信息往往容易形成相互干擾,使融合圖像出現信息混亂、背景模糊和對比度下降等情況。上述多尺度分解方法并不能對紅外圖像特征進行有效提取和分離,因此也無法依據紅外與可見光圖像特性的不同分析和解決上述融合問題。

與傳統的多尺度分解方法不同,本文利用雙邊與高斯濾波器對輸入圖像進行混合信息分解,在達到尺度分離的同時還可以得到不同尺度的圖像紋理細節和邊緣信息。其中,大尺度邊緣信息里包含了紅外圖像的主要特征,依據該特征可確定各分解子信息的融合權重,將重要的紅外圖像信息注入到可見光圖像,避免相互出現干擾。最終的融合圖像既能突出顯著的紅外目標特征,又能保持可見光圖像清晰的背景、紋理細節和對比度信息,并且通過參數的控制,可以方便地調整融合結果中的紅外圖像信息量。

1雙邊濾波及其圖像信息分解

雙邊濾波是一種非線性濾波方法,對圖像信號具有良好的邊緣保持作用[10]。雙邊濾波器采用兩個高斯濾波核,不僅在空間域上考慮鄰近像素點距離對濾波中心點的影響,還在圖像灰度域上考慮了灰度值間的相似度對濾波結果的作用。以gσ代表標準偏差為σ的高斯函數,表示為

(1)

則原始圖像I在某點p處的雙邊濾波定義如下:

(2)

由式(2)可知,雙邊濾波器可以看作是由兩個高斯濾波器組合而成。在空間域由于高斯核函數gσs的作用,噪聲和高頻信息能夠有效被濾除。同時,由于灰度域高斯核函數gσr的作用,與濾波中心點灰度值相差較大的鄰域像素點對濾波結果影響較小,從而能夠保留原始圖像中較大的灰度突變特征。因此,雙邊濾波在去除高頻紋理信息的同時,可以有效保留圖像邊緣。基于這種特性,可應用雙邊濾波器對圖像進行不同尺度信息分解,得到包含圖像邊緣的大尺度圖像信息BF(I)和小尺度圖像紋理細節信息D(I),其中

(3)

應用式(2)、式(3)能夠在保持邊緣的基礎上達到大尺度圖像信息和小尺度紋理信息的有效分離,進而可以對不同信息分別進行處理。這種雙尺度圖像信息分解方法被廣泛運用于多種圖像處理算法中,包括圖像去噪、紋理增強[11]、高動態范圍壓縮[12]、色調和光照處理[13]等,并被證明能夠有效避免相關圖像處理過程中的“光暈”現象。

2雙邊與高斯濾波混合信息分解

在圖像平滑和去噪處理中,高斯濾波器是最廣為應用的基本工具之一。它在空間域上通過高斯濾波函數對濾波中心點周圍像素進行加權處理,濾波公式可表示為

(4)

由式(2)可知,當σr取值較小而σs取值較大時,雙邊濾波器將能夠保留更多的大尺度邊緣信息。因此,在式(3)分解的基礎上,結合高斯和雙邊濾波器可進一步得到如下的混合圖像信息分解:

(5)

上述分解過程如圖1所示,分解后可得到小尺度的紋理細節信息D(I)、大尺度邊緣信息E(I)以及底層的粗略尺度圖像信息A(I)(其中A(I)=G(I))。

圖1　雙邊與高斯濾波混合圖像信息分解過程

與可見光圖像相比,紅外圖像通常成像較為模糊,圖像中主要以大尺度信息為主,缺乏豐富的紋理細節信息,并且對于熱輻射顯著的紅外目標,邊緣特征較為強烈。因此,紅外圖像在經過雙邊與高斯濾波混合信息分解后,顯著的紅外特征信息將主要體現在E(I)分量中。以圖2(a)所示的紅外圖像為例,對其進行雙邊與高斯濾波混合信息分解,為使分解出的大尺度邊緣特征信息更為突出,令σs=8、σr=0.1(雙邊濾波時使圖像灰度歸一化于[0,1]),得到的紋理細節信息、大尺度邊緣信息以及粗略尺度信息分別如圖2(b)~圖2(d)所示。其中,紋理細節信息D(IR)和大尺度邊緣信息E(IR)都表示為其絕對值形式,并為顯示方便經過了一定的亮度變換。從圖中可以看出,圖2(a)的紅外圖像信息主要集中于場景中的人物、房屋和樹木等目標上,且細節信息較少,邊緣信息較為突出。因此,圖像經過分解后,只得到少量有用的紋理特征,除底層的粗略尺度低通濾波信息外,重要的紅外特征信息集中反映在大尺度邊緣信息分解結果中(見圖2(c))。

圖2　紅外圖像信息分解結果

由以上分析可知,采用上述雙邊與高斯濾波混合分解方法能夠通過不同尺度和類型信息分解的方式,提取和分離出圖像中的顯著紅外特征。因此,為避免紅外與可見光圖像融合時出現信息干擾,可利用這種分解方式在子信息融合的過程中設法將顯著的紅外圖像信息注入到可見光圖像中,使融合圖像既能突出顯著的紅外目標特征,又能保持可見光圖像清晰的背景、紋理細節和對比度信息。具體融合過程可簡述為:首先,對源圖像分別進行雙邊與高斯濾波混合信息分解;然后,根據分解出的紅外特征確定各子信息的融合權重;最后,通過對融合后的子信息進行組合重構出融合圖像。

3分解子信息的融合

對紅外圖像IR和可見光圖像IV進行雙邊與高斯濾波混合信息分解,得到的分解信息分別表示如下:

對于紅外與可見光圖像融合,上述分解不但可以達到不同尺度紋理、邊緣以及底層粗略尺度圖像信息的有效分離,從而在不同尺度上實現各子信息的融合處理,而且便于選取顯著紅外圖像信息,將其注入到可見光圖像中。

為使可見光圖像在注入紅外圖像信息的同時,既能突出紅外圖像中的顯著目標,又能保持可見光波段的清晰背景和紋理細節,在對各尺度子信息進行融合時,利用大尺度邊緣分解信息所表征的紅外圖像特征確定各子信息的融合權重。

首先,結合紅外與可見光圖像中的大尺度邊緣信息E(IR)和E(IV),判斷圖像各區域是否存在顯著的紅外特征:

(6)

對于圖像中的某點x,R(x)>0表示該點存在重要的紅外信息,并且其值越大,紅外特征越顯著。然后,對所有點處的R(x)進行歸一化和非線性變換處理:

(7)

式中，函數Sλ:[0,1]→[0,1]為非線性變換函數,定義為

(8)

按式(7)計算得到圖像融合過程中紅外特征的顯著性強度C后,再按如下公式分別確定紅外圖像中各子信息的融合權重:

式中，W0、W1和W2分別表示紅外圖像的小尺度紋理信息、大尺度邊緣信息和底層粗略尺度圖像信息的融合權重;高斯函數gσ1、gσ2用來對權重系數進行平滑處理,使其適應不同尺度子信息的融合,其中σ1=2,σ2=2σs。

令DF、EF和AF分別表示紅外與可見光圖像中各子信息的加權融合結果,其計算公式分別為

最后,對這些融合子信息進行累加,可重構出最終的融合圖像IF:

(9)

圖3給出了非線性變換函數Sλ(α)(見式(8))在不同參數λ下的曲線形狀。增大參數λ時,曲線形狀緩慢變陡峭,相應的非線性變換逐漸變劇烈,最終通過式(7)在融合過程中引入的紅外特征也逐漸變得強烈。因此,通過調整參數λ,上述方法可以方便地對融合進的紅外圖像信息量進行控制。另外,在依據紅外特征顯著性強度對不同尺度子信息進行加權融合時,通過對權重系數進行不同程度的高斯平滑處理,可消除尺度因素的影響,使不同尺度子信息都能夠自然融合。

圖3　不同參數情況下的非線性變換函數曲線

4實驗結果及分析

下面通過在不同測試數據上的實驗檢驗和評估本文方法的融合效果。圖4給出了本文方法在常用紅外與可見光圖像融合測試數據“UN Camp”上的融合結果。其中,融合圖像圖4(c)和圖4(d)的λ參數取值分別為λ=5和λ=50。從圖中可以看出,本文方法能夠將紅外圖像中的顯著目標和可見光圖像中的背景與細節信息很好地融合于一起,并且λ越大,融合圖像中的紅外特征信息越強烈。實際使用時,可根據觀察者的需要,對參數λ進行進一步調整。

圖4　本文方法在測試數據“UN Camp”上的融合結果

圖5給出了不同融合方法在“Trees”測試數據上的實驗結果。其中,GRAD表示基于梯度金字塔分解的圖像融合方法[15]。如圖5(c)~圖5(g)所示,LAP、GRAD、ROLP、DT-CWT和NSCT融合方法通過不同的多尺度分解實現圖像信息融合,得到的融合結果中雖然都能夠突出目標人物信息,但是原可見光圖像中的樹木、道路等背景與細節信息融合出現混亂,在融合結果中難以辨認。本文方法通過雙邊與高斯濾波混合分解,實現紅外特征及不同尺度信息的有效分離,從而在融合過程中能夠通過顯著紅外圖像信息的注入,有效避免兩種信息相互干擾。從圖5(h)可以看出,本文方法在融合進紅外圖像中顯著的人物目標的同時,保持了可見光圖像中遠處明亮的背景信息,人物目標兩旁的樹木枝葉在融合圖像中也更加容易分辨,整體融合的視覺效果要明顯優于其他方法。

圖5　不同方法在測試數據“Trees”上的融合結果比較

圖6所示的是各種融合方法在“Octec”圖像數據上的融合結果比較。從圖6(d)中的融合結果可以看出,通過利用多尺度梯度分解,GRAD方法能夠有效地融合紅外與可見光圖像。但是GRAD在分解過程中不能分離出顯著的紅外目標特征,造成在融合結果中引入了過多的紅外背景信息,形成強烈干擾,使融合圖像整體上變模糊。相同的問題同樣發生于LAP、DT-CWT與NSCT等方法融合結果中,由于可見光圖像中未加選擇地引入了過多的紅外背景干擾信息,融合圖像的背景和細節變模糊,對比度顯著降低。圖6(e)中的ROLP方法融合結果則出現過增強現象,使圖像整體對比度不太自然。相比之下,本文方法的融合圖像(見圖6(h))不但突出了被煙霧遮擋的紅外圖像目標,而且很好地保持了可見光圖像清晰的背景、細節以及對比度信息,整體融合效果要優于其他方法。

采用互信息(mutual information, MI)作為融合性能客觀評價指標,對不同方法的融合結果進行比較。MI指標用來衡量所有轉化到融合圖像中的源圖像信息量,指標值越高表示有更多的信息轉化到融合圖像中,融合效果越好。文獻[16]證明MI指標能很好地適用于紅外與可見光圖像融合性能評價。表1給出了各種方法在不同測試數據上的MI指標評價結果。從表中可以看出,本文方法對不同測試數據的融合性能指標值均要顯著高于其他方法。

圖6　不同方法在測試數據“Octec”上的融合結果比較

測試數據融合方法LAPGRADROLPDT-CWTNSCT本文方法UNCamp0.22250.23640.22420.20720.22020.5952Trees0.32030.36760.31390.33370.33860.6283Octec0.35820.43530.35540.37740.39900.7353

5結論

傳統的多尺度圖像分解方法主要注重不同尺度信息的分離,在進行紅外與可見光圖像融合時,容易造成兩種圖像信息相互干擾,使融合圖像背景和細節不清晰。本文利用雙邊與高斯濾波器對源圖像進行混合信息分解,在達到尺度分離的同時還可以得到不同尺度圖像紋理細節和邊緣信息。應用這種混合分解方式,根據紅外圖像大尺度邊緣信息較為突出,而可見光圖像背景和細節信息較為豐富的特點,將重要的紅外圖像信息注入到可見光圖像中,使融合圖像既能突出顯著的紅外目標特征,又能保持可見光圖像清晰的背景、紋理細節和對比度信息。實驗結果證明,本文方法融合性能要明顯優于傳統基于多尺度分解的圖像融合方法。

參考文獻：

[1] Jing Z L, Xiao G, Li Z H.Imagefusion:theoryandapplication[M].Beijing: Higher Education Press, 2007.(敬忠良,肖剛,李振華. 圖像融合—理論與應用[M].北京:高等教育出版社,2007.)

[2] Burt P J, Adelson E H. The Laplacian pyramid as a compact image code[J].IEEETrans.onCommunications,1983,31(4):532-540.

[3] Chipman L J, Orr T M, Graham L N. Wavelets and image fusion[C]∥Proc.oftheSPIE,1995: 208-219.

[4] Toet A, Van Ruyven L J, Valeton J M. Merging thermal and visual images by a contrast pyramid[J].OpticalEngineering, 1989, 28(7): 789-792.

[5] Lewis J J, O’Callaghan R J, Nikolov S G, et al. Pixel-and region-based image fusion with complex wavelets[J].InformationFusion, 2007, 8(2): 119-130.

[6] Zhang Q, Guo B. Multifocus image fusion using the nonsubsampled contourlet transform[J].SignalProcessing, 2009, 89(7): 1334-1346.

[7] Miao Q G, Shi C, Xu P F, et al. A novel algorithm of image fusion using shearlets[J].OpticsCommunications, 2011, 284(6) : 1540-1547.

[8] Liu X, Zhou Y, Wang J J. Image fusion based on shearlet transform and regional features[J].AEU-InternationalJournalofElectronicsandCommunications, 2014, 68(6): 471-477.

[9] Kong W W, Zhang L J, Lei Y. Novel fusion method for visible light and infrared images based on NSST-SF-PCNN[J].InfraredPhysics&Technology, 2014, 65(7):103-112.

[10] Tomasi C, Manduchi R. Bilateral filtering for gray and color images[C]∥Proc.ofthe6thInternationalConferenceonComputerVision, 1998: 839-846.

[11] Fattal R, Agrawala M, Rusinkiewicz S. Multiscale shape and detail enhancement from multi-light image collections[C]∥Proc.oftheACMSIGGRAPH, 2007: 51-59.

[12] Durand F, Dorsey J. Fast bilateral filtering for the display of high-dynamic-range images[C]∥Proc.oftheACMSIGGRAPH, 2002:257-266.

[13] Bae S, Paris S, Durand F. Two-scale tone management for photographic look[C]∥Proc.oftheACMSIGGRAPH, 2006, 25: 637-645.

[14] Bennett E P, Mason J L, McMillan L. Multispectral bilateral video fusion[J].IEEETrans.onImageProcessing,2007,16(5):1185-1194.

[15] Burt P, Kolczynski R. Enhanced image capture through fusion[C]∥Proc.ofthe4thInternationalConferenceonComputerVision,1993:173-182.

[16] Hossny M, Nahavandi S, Creighton D. Comments on “information measure for performance of image fusion”[J].ElectronicsLetters，2008, 44 (18): 1066-1067.

周志強(1982-),男,講師,博士,主要研究方向為多源圖像融合,計算機視覺。

E-mail:zhzhzhou@bit.edu.cn

汪渤(1964-),男,教授,博士,主要研究方向為導航、制導與控制。

E-mail:wangbo_bitauto@gmail.com

李立廣(1980-),男,工程師,主要研究方向為空軍軍通裝備質量。

E-mail:53801057@qq.cn

李筍(1987-),男,博士研究生,主要研究方向為圖像處理、目標識別。

E-mail:lsbit@foxmail.com

網絡優先出版地址：http://www.cnki.net/kcms/detail/11.2422.TN.20150917.1659.006.html

Image fusion based on a hybrid decomposition via

bilateral and Gaussian filters

ZHOU Zhi-qiang1, WANG Bo1, LI Li-guang2, LI Sun1

(1.SchoolofAutomation,BeijingInstituteofTechnology,Beijing100081,China; 2.AirForce

MilitaryRepresentativeOfficeinHuabeiArea,Beijing100086,China)

Abstract:The fusion result of infrared and visible images tends to become blurred, confused and suffers contrast degradation due to different characteristics of the two sources of information. To solve these problems, a fusion algorithm based on a hybrid decomposition via bilateral and Gaussian filters is proposed. Bilateral and Gaussian filters are applied firstly to achieve a hybrid decomposition for infrared and visible images. Small-scale texture details, large-scale edges and coarse image information of the input images are obtained. The sub-information is then merged to inject prominent infrared image features into the visible image, for which the fusion weights are determined according to the infrared image features represented by the decomposed large-scale edges. Finally, all the merged sub-information is assembled to reconstruct the fused image. Experiments demonstrate that the proposed fusion method obviously outperforms the image fusion algorithms based on the conventional multi-scale decomposition.

Keywords:Gaussian filter; bilateral filter; information decomposition; image fusion

作者簡介：

中圖分類號：TP 312

文獻標志碼：A

DOI:10.3969/j.issn.1001-506X.2016.01.02

基金項目：國家自然科學基金(61403033)資助課題

收稿日期：2014-12-03；修回日期：2015-09-09；網絡優先出版日期：2015-09-17。