基于目標提取的紅外與可見光圖像融合新算法

聶其貴，馬惠珠

1.哈爾濱工程大學信息與通信工程學院，黑龍江哈爾濱 150001 2.北京聯合大學信息服務工程重點實驗室，北京 100101

基于目標提取的紅外與可見光圖像融合新算法

聶其貴1，馬惠珠2

1.哈爾濱工程大學信息與通信工程學院，黑龍江哈爾濱 150001 2.北京聯合大學信息服務工程重點實驗室，北京 100101

針對灰色系統理論在空間域對紅外與可見光圖像融合的不足，以及非下采樣Contourlet變換（NSCT）在圖像融合領域的優勢，提出了一種基于目標提取的紅外與可見光圖像融合新算法。首先，對紅外和可見光圖像分別進行NSCT變換；其次，對紅外低頻分量應用灰色系統理論進行目標提取，并利用所提融合規則對低頻分量進行融合，同時對高頻分量采用常用融合規則進行融合；最后，對融合后高、低頻分量進行NSCT逆變換，得到融合圖像。通過與4種常用方法進行實驗對比，結果表明，文中算法得到的融合圖像視覺效果較好，某些客觀評價指標提升明顯。

圖像融合；非采樣Contourlet變換；灰色系統理論；目標提??；融合規則；紅外線；可見光

圖像融合是將2個或2個以上的傳感器在同一時間或不同時間獲取的關于某個具體場景的圖像或圖像序列信息加以綜合，以生成新的有關此場景解釋的信息處理過程［1］。

在對紅外與可見光圖像融合規則的研究中，人們根據各類源圖像的特點，提出了金字塔變換法、小波變換法和基于區域的融合方法等［1-2］。由Minh N.Do和Vetterli［3］提出的Contourlet變換，將拉普拉斯金字塔分解與方向濾波器組相結合，具有良好的多分辨率和方向性，是一種較好的圖像表示方法，但Cont-ourlet變換不具備平移不變性，在圖像處理中會產生Gibbs現象［4］。為了解決這一問題，ArthurL Cunha和Minh N.Do［5］提出了非下采樣的Contourlet變換（nonsubsampled Contourlet transform，NSCT），該變換因無下采樣過程，所以具有良好的平移不變性和足夠的冗余信息，因此可以有效地提取待融合圖像中的方向細節信息，得到較好的融合效果。

在多分辨率分解中，低頻分量是源圖像的近似，包含了源圖像大部分信息，因此對于基于多分辨率分解的圖像融合來說，低頻分量融合規則的選取更能決定融合圖像的質量。目前低頻分量的融合往往是簡單的加權平均或基于鄰域特征（鄰域方差、窗口能量等）的系數選大處理，其融合結果圖像會表現出對比度下降、目標指示能力減弱、光譜失真等問題［6］。參考文獻［7］中將灰色系統理論應用于紅外與可見光圖像融合中，該方法直接在空間域對圖像進行處理，對于某些圖像能獲得較理想融合效果圖，但對于目標、背景信息區分不明顯或背景含有較強干擾信息的紅外圖像來說，該方法融合結果圖含有較強噪聲，視覺效果較差［8］。基于此，文中提出一種新的基于NSCT和目標提取相結合的紅外與可見光圖像融合方法。首先對紅外和可見光圖像分別進行NSCT分解，分解后的低頻分量使用文中所提融合方法，高頻分量使用基于相關信號強度比的加權圖像融合算法［9］；最后對融合后的高、低頻分量進行NSCT逆變換得到融合圖像。

1 NSCT變換理論

非下采樣Contourlet變換綜合了非下采樣塔式濾波器組（nonsubsampled pyramid filter bank，NSPFB）和非下采樣方向濾波器組（nonsubsampled drectional fil-ter bank，NSDFB）2部分內容。對待分解圖像首先采用NSPFB對其進行多尺度分解，圖像經J級NSPFB分解，可得到與源圖像具有相同尺寸的J＋1個子帶圖像；然后再采用NSDFB對得到的各帶通子帶圖像進行方向分解，對某尺度下的子帶圖像進行n級方向分解，可得到與輸入圖像具有相同尺寸的2n個方向子帶圖像［10］。從而實現了對圖像進行多尺度、多方向的分解。二者的有機結合使得NSCT既具有Cont-ourlet變換的多尺度和多方向特性，同時還具備了平移不變性。圖1給出了NSCT的實現結構圖，圖2給出了NSCT對頻率的劃分示意圖［11］。

圖1 NSCT變換

圖2 對頻率的劃分

2 基于灰色系統理論的目標提取

1982年，中國學者鄧聚龍［12］教授創立的灰色系統理論，提出一種研究少數據、貧信息不確定性問題的新方法。信息完全明確的系統稱為白色系統，

信息未知的系統稱為黑色系統，部分信息明確、部分信息不明確的系統稱為灰色系統。

根據具體情況的差異，目標在紅外圖像中的表現形式有明、暗2種，分別對應背景溫度低、目標溫度高和背景溫度高、目標溫度低這2種情況。但無法確定某一像素點是目標點還是背景點，因此，可以把紅外圖像看成一個部分信息已知、部分信息未知的灰色系統，應用灰色關聯理論檢測和提取紅外圖像中的目標，其基本步驟簡述如下［7］：

1）確定參考數列。參考數列是表示目標溫度特征的數值序列。當紅外圖像中的目標偏亮時，則選擇參考序列為全1的5點序列；反之，當目標偏暗時，參考序列選擇全0的5點序列，即xo＝［1 1 1 1 1］或xo＝［0 0 0 0 0］。本文參考序列選為xo＝［1 1 1 1 1］。

2）確定比較數列。比較數列是表示圖像中任一像素點及其4鄰域特征的數值序列。紅外圖像中，比較序列選定為xr＝［xi－1，jxi，j－1xi，jxi，j＋1xi＋1，j］，其中，1≤i≤M，1≤j≤N（M、N分別為待處理圖像的行和列數。當于i＝1時，取xi－1，j＝0；當j＝1時，取xi，j－1＝0；當i＝M時，取xi＋1，j＝0，當j＝N時，取xi，j＋1＝0），r＝1，2，…，M×N。

3）計算各像素點的比較數列與參考數列之間的灰色關聯系數ξor，即

式中：Δmin＝min｜xo（t）－xr（t）；Δmax＝max｜xo（t）－xr（t）｜；Δor（t）＝｜xo（t）－xr（t）｜；r＝1，2，…，M× N；t＝1，2，…，5；λ為分辨系數，是一個事先取定的常數，常取λ≤0.5；

4）計算以各像素點為中心形成的比較數列xr與參考數列xo之間的灰色關聯度Ror，即

目標點的判斷規則如下：當灰色關聯度Ror小于某一取定的閾值θ時，說明該像素點與參考序列具有相似的特征，判定為目標點；反之，則該像素點判定為非目標點。

3 算法描述

假設圖像在融合之前，已經經過嚴格的空間配準。這里以2幅圖像的融合為例，對于多幅圖像的融合方法可以類推。設紅外與可見光圖像分別為A和B，融合后的圖像為F，其融合步驟如下［13］：

1）分別對2幅源圖像進行J級NSCT分解，得到各源圖像分解后的NSCT高、低頻分量：｛C?（x，y），C?（x，y）｝和｛C?（x，y），C?（x，y）｝，其中C?（x，y）為S圖像低頻分量，C?（x，y）為S圖像j尺度下k方向高頻分量（S＝A或B）；

2）對高、低頻分量采用不同的的融合規則分別進行融合處理，得到融合圖像F的高、低頻分量：｛C?（x，y），C?（x，y）｝；

3）對融合后的低頻分量和各尺度下的高頻分量進行NSCT逆變換得到融合圖像F。

3.1 低頻分量的融合

NSCT分解后，圖像的低頻分量是原圖像的近似，包含了源圖像大部分的信息，因此，低頻分量融合規則的選取十分重要?；诖耍闹袑⒒疑到y理論應用于NSCT域，提出了一種新的紅外與可見光圖像低頻分量融合規則。

首先，對分解后的紅外圖像低頻分量C?（x，y）運用灰色關聯理論檢測和提取紅外圖像中的目標驟進行目標提取，得到二值圖像M（x，y），令目標區域M（x，y）＝1，非目標區域M（x，y）＝0；其次，在目標區域選擇紅外圖像，在非目標區域選擇可見光圖像，進行低頻分量融合，得到融合后低頻分量C?（x，y），即

3.2 高頻分量的融合

對高頻部分的融合選取文獻［9］所提“基于指數函數的RWAM（E-RWAM）”方法。具體步驟如下：

1）計算相關信號強度比R?（x，y）。

式中：

P為掩模窗口，用于對高頻分量進行線性濾波；S為A或B。

2）計算加權系數dj，k（x，y）。

4 實驗結果和分析

實驗仿真平臺：MATLAB R2012a；實驗仿真軟硬件配置：CPU：Inter?i5-2430M＠2.4GHz；內存：2GB；操作系統：Windows7旗艦版。

為了驗證文中算法的有效性，采用2組已經嚴格配準的紅外和可見光圖像（UNcamp圖像和dune圖像，這2組圖像均來自網站“http：／／www.imagefu-sion.org／”）進行融合實驗。并選用4種現有常用融合方法進行對比，分別是基于拉普拉斯金字塔變換的圖像融合方法（method 1）、文獻［9］中第3章所提方法（method 2）、文獻［13］中4.2.2節所提方法（method 3）和基于NSCT分解，低頻取平均、高頻取文中所用高頻融合規則的方法（method 4）。實驗中，NSCT分解層數J＝3，各層分解方向數分別為21、22、23；根據文獻［7］、［9］和多次仿真比較，當其他參數取如下值時，文中方法可獲得較理想結果。分辨率λ＝0.1，關聯度閾值θ＝0.88，掩模窗口P＝1／16?［1，2，1；2，4，2；1，2，1］，階數N＝3。

圖3是對圖像UNcamp運用各融合方法的仿真結果圖。從圖3中可見，紅外圖像中目標清晰可見，但周圍環境信息一片模糊；而可見光圖像中環境信息清晰可見，但目標圖像遭到隱藏，不可見。從視覺效果來看，5種融合算法均能保留可見光圖像中的景物特征信息，同時也能融入紅外圖像中的人物特征信息。但（d）、（f）兩圖對比度較低，目標信息不清晰；4種常規算法的融合結果圖像均存在不同程度的光譜失真（圖像左下角樹木），而文中算法則較好地保留了可見光圖像的光譜信息且目標信息清晰可見。

圖3 UNcamp圖像融合結果

圖4是對圖像dune運用各融合方法的仿真結果圖。

圖4 dune圖像融合結果

從圖4中可見，紅外圖像中目標清晰，但背景信息模糊；可見光圖像中光譜信息豐富，但目標信息隱藏不可見，且2幅圖像對比度都較低。從視覺效果來看，5種方法的融合結果圖都在一定程度上繼承了紅外圖像的目標信息和可見光圖像的光譜信息，但圖（c）的對比度較低，4種常規方法的融合結果圖在光譜信息方面均存在不同程度失真（圖中標注橢圓形區域），而文中算法則較好地保留了可見光圖像的光譜信息且圖像對比度明顯提高。

文中選取標準差（SD）、信息熵（H）、互信息（MI）和平均梯度（AG）作為客觀評價指標［14，15］。圖像的標準差反映了圖像灰度相對于灰度平均值的離散情況，標準差越大，圖像灰度級分布越分散，可以看出更多信息；圖像信息熵的含義為圖像的平均信息量，融合圖像中信息熵越大，說明圖像中包含的信息越多，融合效果越好；互信息可用來衡量融合圖像從源圖像中繼承信息的多少，值越大繼承信息越多；平均梯度反映了圖像的清晰程度，同時還反映了圖像中微小細節反差和紋理變換特征，值越大越好。各指標數據如表1、2所示，表1為UNcamp圖像的仿真實驗數據，表2為dune圖像的仿真實驗數據。

表1 UNcamp圖像融合性能客觀評價

表2 dune圖像融合性能客觀評價

對于UNcamp圖像，從表1可以看出，在平均梯度方面，method 3獲得了最佳效果，文中算法在平均梯度方面略遜于method1、method 3和method 4，但文中算法在其他3項指標方面均獲得了最佳效果，且效果提升明顯。與4種常規算法相比，文中算法與3種常規算法中最佳標準差（method 3）、最佳信息熵（method 3）和最佳互信息（method 3）相比，分別提升了24.35%、5.20%和89.89%。對于dune圖像，從表2可以看出，同樣文中算法在平均梯度方面略遜于method2、method3和method4，在標準差、信息熵和互信息方面，文中算法與4種常規算法中最佳值相比，相應評價指標分別提升了29.29%、4.55%和70.94%。從總體效果來看，文中算法明顯優于4種常規算法，與視覺效果相符。與method 4相比（低頻融合規則不同，高頻融合規則相同）可知，低頻部分融合規則的選取對圖像融合質量至關重要。對于文中算法融合結果圖在平均梯度方面遜于某些常規算法這一現象，可能是由本算法低頻分量融合規則中忽略了紅外圖像非目標區域的細節信息引起的。因現實中大多紅外圖像并非二值圖像，也就是說非目標區域也含有一定的細節信息，而平均梯度主要反映了圖像的細節反差和紋理變換特征，所以這可能是導致文中算法在平均梯度方面遜于其他方法的原因。

5 結束語

針對灰色系統理論在空間域對紅外與可見光圖像融合的不足，將其應用到NSCT域，在此基礎上提出了一種基于NSCT和目標提取的紅外與可見光圖像融合新算法。實驗結果表明，在視覺效果方面，文中所提方法不僅能有效地提取出紅外圖像中的目標信息，還能有效地保持可見光圖像所反映的光譜信息；在客觀評價指標方面，與4種常規算法相比，本文方法在標準差、信息熵和互信息方面具有明顯的優越性；但在平均梯度方面，文中算法獲得的效果不是很理想，需要進一步優化，這也是下一步要進行的主要工作。

［1］敬忠良，肖剛，李振華.圖像融合——理論與應用［M］.北京：高等教育出版社，2007：3-10，194-215.

［2］劉貴喜，趙曙光，陳文錦.紅外與可見光圖像融合的多分辨率方法［J］.光電子·激光，2004，15（8）：980-984.

［3］DO M N，VETTERLI M.The Contourlet transform：an efficient directional multiresolution image representation［J］.IEEE Trans on Image Processing，2005，14（2）：2091-2106.

［4］張瑩，李言俊，張科，等.基于NSCT的紅外與可見光圖像融合［J］.計算機工程與應用，2011，74（3）：196-198.

［5］CUNHA A L，ZHOU J P，DO M N.The nonsubsampled Cont-ourlet transform：theory，design，and applications［J］.IEEE Trans on Image Processing，2006，15（10）：3089-3101.

［6］郭明，符拯，奚曉梁.基于局部能量的NSCT域紅外與可見光圖像融合算法［J］.紅外與激光工程，2012，41（8）：2229-2235.

［7］王春華，馬國超，馬苗.基于目標提取的紅外與可見光圖像融合算法［J］.計算機工程，2010，36（2）：197-200.

［8］邢素霞，肖洪兵，陳天華，等.基于目標提取與NSCT的圖像融合技術研究［J］.光電子·激光，2013，24（3）：583-588.

［9］李光鑫.紅外和可見光圖像融合技術研究［D］.長春：吉林大學，2008：25-45.

［10］彭海.紅外與可見光圖像融合方法研究［D］.杭州：浙江大學，2012：31-41.

［11］郭明，王書滿.基于區域和方向方差加權信息熵的圖像融合［J］.系統工程與電子技術，2013，35（4）：720-724.

［12］劉思峰.灰色系統理論的產生與發展［J］.南京航空航天大學學報，2004，36（2）：267-272.

［13］苗鳳美.基于NSCT和區域分割相結合的圖像融合新算法［D］.西安：西安電子科技大學，2009：33-35.

［14］孫巖.基于多分辨率分析的多傳感器圖像融合算法研究［D］.哈爾濱：哈爾濱工程大學，2012：36-45.

［15］王曉文，趙宗貴，湯磊.一種新的紅外與可見光圖像融合評價方法［J］.系統工程與電子技術，2012，34（5）：871-875.

A fusion algorithm of the infrared and visible image based on target extraction

NIE Qigui1，MA Huizhu2
1.College of Information and Communication Engineering，Harbin Engineering University，Harbin 150001，China 2.Beijing Key Laboratory of Information Service Engineering，Beijing Union University，Beijing 100101，China

Considering the shortcomings of the infrared and visible light image fusion based on grey system theory in the spatial domain，and utilizing the advantages of nonsubsampled Contourlet transform（NSCT）in image fusion，a fusion algorithm of the infrared and visible light image based on target extraction is proposed.Firstly，the nonsub-sampled Contourlet transform is performed respectively on infrared image and visible light image.Secondly，the grey system theory is applied to the low frequency component of the infrared image for target extraction，and then the low frequency components are fused by making use of the proposed fusion rule.At the same time the common fusion rule is applied to the high frequency components.Finally，the reverse nonsubsampled Contourlet transform is performed on the fused low frequency part and high frequency part in order to obtain the fusion image.Compared with four commonly used methods，the results show that the fusion image has a good visual effect，and some objective evalua-tion indexes are improved obviously.

image fusion；nonsubsampled Contourlet transform；grey system theory；target extraction；fusion rule；infrared；visible light

TP391

A

1009-671X（2014）05-048-05

10.3969／j.issn.1009-671X.201310005

2013-10-18.

日期：2014-09-22.

聶其貴（1989-），男，碩士研究生；

馬惠珠（1971-），女，教授，博士.

聶其貴，E-mail：nieqigui＠163.com.

http：／／www.cnki.net／kcms／doi／10.3969／j.issn.1009-671X.201310005.html