采用目標提取和NSCT的紅外與可見光圖像融合

桑高麗 ，宣士斌 ，2，趙 波 ，鄭增國

1.廣西民族大學 數學與計算機科學學院，南寧 530006

2.廣西混雜計算與集成電路設計分析重點實驗室，南寧 530006

圖像融合是將兩個或兩個以上的傳感器在同一時間（或不同時間）獲取的關于某個具體場景的圖像或者圖像序列信息加以綜合和處理，以得到一個關于此場景質量更高的圖像，即通過對多幅圖像信息的提取與綜合，產生對同一場景或目標更全面、準確和可靠的圖像描述[1]。經過融合處理得到的圖像可以彌補單一源圖像的信息量不足問題，更符合人眼或機器的視覺特性。

由于紅外圖像和可見光圖像各有自己的優、缺點，例如，紅外圖像可在場景內定位具有較高溫度的物體，發現被隱蔽的熱源，但是對于溫差不大的背景信息不太敏感。而可見光圖像則可以提供背景信息，受關照和遮擋等因素的影響，不能發現與背景顏色相近或隱藏的目標。將二者融合，可以使得紅外圖像和可見光圖像的優勢互補，實現在背景中定位熱源目標的功能。紅外圖像與可見光圖像融合已成為近年來圖像研究領域的熱點之一，廣泛應用于目標檢測、目標識別和目標跟蹤等方面[2-3]，在機器視覺、天文探測、紅外遙感軍事偵察、監視和制導等領域也得到廣泛應用。

常用的紅外圖像和可見光圖像融合規則分為基于像素點、窗口以及感興趣區域3類[4]。其中基于像素點融合是目前應用最廣泛、實現也最簡單的融合規則（如小波系數取小，小波系數取大法等），這類方法的缺點是計算數據量大，實時性差，加之圖像的特征也不是由單一像素表征，因此基于像素點的融合規則由于沒有考慮像素點的鄰域信息會導致對圖像特征表征的失真；而基于窗口的融合規則利用窗口內的鄰域特征指導設計融合規則，考慮的是局部范圍內的鄰域特征（如基于拉普拉斯金字塔變換的圖像融合算法研究[5-6]）；基于區域或目標的融合規則是將特征級融合和像素級融合結合在一起，使用分割的方法將感興趣區域圖像劃分為不同的區域 ，根據不同區域的特點指導像素級融合，與前兩種方法相比，基于區域或目標的融合規則能獲得最好的融合效果。目前基于區域方面的圖像融合算法已得到廣泛的研究[7-9]，但由于對圖像信息量考慮不足，現有融合方法在光照不足、目標隱藏或目標和背景顏色接近時易出現目標信息減弱或丟失的現象，不能滿足人們對信息獲取的需求。

本文采用基于目標提取和NSCT相結合的融合方法，首先對紅外圖像做基于區域生長法的目標提取，得到目標區域和非目標區域，然后對紅外圖像和可見光圖像分別做基于NSCT的多尺度分解，分別對位于目標區域和非目標區域的的低頻和高頻系數采用不同的融合規則。本文還對融合結果與現有的融合方法進行對比，實驗表明，本文算法更好地保留了目標信息和細節信息，清晰度高，也具有較高的信息量。

1 融合算法相關理論介紹

本文通過區域生長的方法對紅外圖像進行目標提??；然后采用NSCT對源圖像分解。

1.1 區域生長法原理介紹

由于紅外成像是熱輻射成像，而一般目標和背景具有較大的溫差，所以根據紅外成像的特點，目標區域具有較高的溫度可以很容易被捕捉得到，并且同一目標的溫差一般都是均勻且穩定的，因此，溫度相近的部分通常被認為是同一目標或背景。

區域生長的基本思想是將具有相似性質的像素集合起來構成區域[10]。首先對每個需要分割的區域找出一個種子像素作為生長的起點，然后將種子像素周圍鄰域中與種子有相同或相似性質的像素（根據事先確定的生長或相似準則來確定）合并到種子像素所在的區域中。而新的像素繼續做種子向四周生長，直到再沒有滿足條件的像素可以包括進來，一個區域就生長而成了。區域生長法的具體步驟如下：

（1）選擇或確定一組能正確代表所需區域的種子像素（本文選取最亮的點為種子）。

（2）確定在生長過程中能將相鄰相素包含進來的準則，常用的生長準則和方法有三種，即基于區域灰度差、基于區域內灰度分布統計性質、基于區域形狀?？紤]紅外圖像目標與背景相對比較穩定的基本特征，本文采用基于區域灰度差的區域生長準則提取目標。

（3）確定讓生長過程停止的條件或規則，生長過程的停止是通過設定門限來實現的，圖像特征各異，門限的設定也不能一概而論，通常最佳門限值是經過大量反復的實驗確定的。

圖1是本文提取目標的實驗結果。

圖1 本文實驗結果

1.2 非降采樣Contourlet變換（NSCT）

NSCT是一種具有平移不變性和良好方向選擇性的分解算法，主要由兩部分組成，非降采樣不可分離雙通道濾波器組和非降采樣方向濾波器，圖2展示了NSCT的基本結構圖，它們在子帶內對二維的頻率平面進行了劃分，如圖2所示。

圖2 NSCT分解示意圖

其中，非抽樣方向濾波器組利用L級樹形結構的扇形濾波器組把整個頻域劃分成2L個楔狀區域。由于NSCT采用了具有各向異性（Anisotropic）的輪廓波基作為圖像的分解基元，因此具有多方向選擇性[7]。

2 采用目標提取和NSCT的紅外與可見光圖像融合方法

基于區域生長的目標提取技術可以把紅外圖像分割為目標區域和背景區域，然后利用NSCT的多尺度、多方向的分解特性，抽取出目標區域和背景區域的重要信息，再根據目標區域和背景區域特性的不同而采用不同的融合規則。圖3是算法的流程圖。

圖3 基于目標提取和NSCT的圖像融合算法流程圖

圖像融合的目的是為了解決單一圖像信息量不足，使得融合后的圖像更利于人眼和機器識別及后續處理。信息熵是圖像所含信息量的一個重要測度，信息熵越大，表示圖像包含的信息量越多，圖像效果越好[10]。已有算法的融合結果存在不同程度的源圖像的信息丟失，使得融合結果在信息含量上存在不足，所以基于上述考慮，提出基于局部信息熵的最大選擇融合策略。

基于目標提取和NSCT的紅外圖像與可見光圖像融合方法分為以下幾個步驟：

（1）設有兩幅圖像，紅外圖像A和可見光圖像B都已經配準完畢。

（2）對紅外圖像運用區域生長法進行目標提取，得到目標區域和背景區域。

①目標區域

目標區域具有較高的像素值，所以能量值高于其他區域，為了保證紅外圖像的熱目標信息能夠最大限度加入到融合圖像，所以目標區域直接選取紅外圖像A的分解系數作為融合系數。

②背景區域

因為可見光圖像包含大量的背景信息，而背景信息可以提供目標的局部位置信息，又多尺度分解的低頻信息是對源圖像的粗略成像，即可見光圖像B的低頻系數包含了大量的背景細節信息，所以選取可見光圖像的低頻系數作為融合圖像的低頻系數。

鑒于之前的分析和對信息量的考慮，在高頻子帶的處理中，選擇基于窗口的局部信息熵的融合方法。

其中L為圖像總的灰度級數，Pi為灰度值為i的分布概率，其取值范圍是[0,1,…,L-1]。如若只對圖像的某一區域定義熵，則為局部熵，在此定義窗口的大小為3×3，即是在此窗口范圍內信息熵的值。由熵的定義可知，圖像的局部熵反映了該局部所含有信息量的大小，描述了圖像的局部性質。

（5）通過對上面得到的融合系數做NSCT反變換，基于目標提取和NSCT的融合圖像就最終得到了。

3 實驗結果與分析

為了驗證本文算法的有效性，本文選擇了三組紅外與可見光圖像做實驗。為了和已有算法效果做對比，在此選擇五種不同的融合方法：小波系數取小法，對于小波分解得到的各層小波系數，融合規則是選取較小的作為融合系數；小波系數取大法對于小波分解得到的各層小波系數，融合規則是選取較大的作為融合系數；基于拉普拉斯金字塔變換的圖像融合法[5]（以下簡稱拉普拉斯法），采用基于窗口（窗口大小為3×3）平均梯度的融合規則；基于NSCT的紅外與可見光圖像融合法[7]（簡稱NSCT法），則是依照區域匹配度量和顯著性度量規則進行融合；提升方向波變換法[11]，用提升波對圖像進行多尺度分解，然后選擇具有較強各向異性信息分量的融合規則。在實驗的過程中，各種方法多尺度分解為相同的層數：3層。

例1背景相對簡單的單目標紅外與可見光圖像（見圖4），此組圖像的背景信息僅為灌木叢和石子，比較簡單，紅外圖像中目標清楚且唯一。

第一組實驗對象見圖4（a）和圖4（b），觀察發現在圖4（a）紅外圖像中，目標清晰可見，背景模糊；圖4（b）的可見光圖像中，目標被遮擋不可見。圖4（c）～（h）分別為小波系數取大法，小波系數取小法，Laplace法，NSCT法，提升方向波變換法和本文算法的融合結果，觀察結果發現，圖4（c）目標幾乎完全丟失，使用簡單的小波系數取大法雖然能看到目標和背景，但對比度較差。拉普拉斯金字塔法和提升方向波變換法得到的效果較好，背景和目標都比較清晰，但背景和目標的亮度都有一定程度的減弱。使用NSCT法目標信息和背景信息亮度有明顯加強，但是失真現象嚴重，不利于人眼觀察。圖4（h）相比前面的幾種方法，很好地保留了紅外圖像的目標信息和可見光圖像的背景信息，視覺效果好。

圖4 紅外和可見光圖像融合實驗1

圖5 紅外和可見光圖像融合實驗2

為了更客觀地對上述幾種方法的融合效果進行評價，本文分別計算以上融合結果的信息熵、標準差、相關系數等以比較各種算法。標準差反映了圖像灰度偏離灰度均值的程度，可以用來評價圖像反差的大小，標準差越大，則灰度級分布越分散，圖像包含的信息量越大[12]。相關系數衡量的是圖像之間的相關程度，其值越接近于1，表示融合結果與源圖像越相近，越少的失真度，融合效果越好。表1是第一組圖像的客觀評價性能。由表1可知，本文算法所得圖像的信息熵和標準差最大、與源圖像有較大的相關度。說明本算法的綜合融合效果優于其他5種融合方法。

表1 融合性能的客觀評價1

例2具有復雜背景的單目標紅外與可見光圖像（見圖5），可見光圖像中背景信息有柵欄，煙囪，平房，山路等，紅外圖像中目標清晰且唯一。

圖5是本文算法和其他四種不同的算法的效果圖，很顯然簡單的邏輯方法（灰度取大和取小）降低了融合圖像整體的對比度，并且使得融合圖像中存在著嚴重的信息丟失現象，如圖5（c）中煙囪的部分信息丟失，人的紅外信息全部丟失。圖5（d）中柵欄信息存在缺失。而Laplace金字塔的融合結果圖5（e）與前面兩種方法相比對比度提高，包含的細節信息也明顯增多，但是在房檐處存在嚴重的不連續性失真現象，目標信息有明顯減弱的現象。圖5（f）和（g）分別是NSCT法和提升方向波變換法的融合結果，得到的圖像對比度較低，目標和背景區域都有不同程度的信息減弱。圖5（h）是本文算法融合結果，相比于前面幾種算法，既很大程度上提取了紅外圖像中的目標信息，又很好地保留了可見光圖像中背景的細節和輪廓信息，視覺效果最好。

同理，計算上述融合圖像的客觀評價指標（見表2），本算法所獲圖像的信息熵較大，標準差最大、與原紅外圖像和可見光圖像的相關系數最大，綜合指標最優，說明本文方法的綜合融合性能優于其他傳統的小波變換法等5種融合方法。

表2 融合性能的客觀評價2

例3復雜背景下大目標的紅外與可見光圖像（見圖6），背景信息有欄桿，草叢，樹木等，紅外目標較大，且有部分顏色與背景相近。

圖6 紅外和可見光圖像融合實驗3

圖6是本文的第三組實驗，圖6（a）為紅外圖像，可以看到目標的衣服和背景極為接近，在可見光圖像圖6（b）中，由于目標和背景比較相近而導致目標不容易識別，但是目標信息仍然是可見的。圖6（c）和源可見光圖像相比，除了對比度有些許降低外，幾乎沒有什么改善。圖6（d）、（e）和（g）雖然都不同程度地保留了紅外和可見光圖像的信息，但是通過對比發現，都有不同程度的信息缺失。圖6（f）信息量明顯不足。圖6（h）目標信息和背景信息最為完整，易與觀察和識別。但是也存在不足之處，由于目標信息與背景相近，以致于提取的目標信息不完整，所以在此目標信息有塊現象存在，針對這類目標與背景比較相近，以及多目標的情況是今后要繼續研究的工作。

本組圖像的融合性能評價參數計算如表3，再次說明了本文算法的有效性。

表3 融合性能的客觀評價3

4 結論與展望

本文在進行紅外與可見光圖像融合時候，先運用目標提取的方法，然后在NSCT的基礎上，提出了基于局部信息熵的融合規則，較好地解決了融合圖像的信息含量不足的問題。下一步的工作包括本文中出現的目標與背景顏色相近的紅外圖像與可見光圖像的融合，以及同一場景中多目標紅外與可見光圖像融合的算法研究。

[1]王春華，馬國超，馬苗.基于目標提取的紅外與可見光圖像融合算法[J].計算機工程，2010，36（2）：197-200.

[2]付立冬，姜學軍，譚小波.紅外圖像特征提取方法研究[J].科技信息，2009（15）.

[3]劉寶源.紅外與可見光圖像融合技術研究[D].武漢：華中科技大學，2009.

[4]劉坤，郭雷，陳敬松.基于區域分割的序列紅外圖像融合算法[J].紅外與激光工程，2008，38（3）：553-557.

[5]陳浩，王延杰.基于拉普拉斯金字塔變換的圖像融合算法研究[J].激光與紅外，2009，39（4）：339-442.

[6]李振華，敬忠良，孫韶媛，等.基于方向金字塔框架變換的遙感圖像融合算法[J].光學學報，2005，25（5）：598-602.

[7]劉剛，許林峰.基于非降采樣Contourlet變換的紅外與可見光圖像融合及穩健性分析[J].控制與決策，2010，25（4）：623-626.

[8]何國棟，梁棟，姚紅，等.基于非抽樣Contourlet變換的紅外圖像和可見光圖像融合算法[J].微電子學與計算機，2009，26（2）：8-11.

[9]Liu Kuna，Guo Lei’a，Li Huihuia，et al.Fusion of infrared and visible light images based on region segmentation[J].Chinese Journal of Aeronautics，2009，22：75-80.

[10]陳方昕.基于區域生長法的圖像分割技術科技信息[J].科技信息，2008（15）：58-59.

[11]劉啟海，林玉池，馮偉昌，等.采用提升方向波變換的異源圖像融合新算法[J].紅外與激光工程，2010，39（2）：358-362.

[12]柴奇，楊偉，管怡，等.一種改進的可見光與紅外圖像融合算法[J].紅外技術，2008，30（2）：87-90.