夜視環境下激光助視成像與紅外熱像的融合

蔣 濤，左 昉，郝延福

(北京科技大學自動化學院，北京100083)

1 引言

圖像融合［1］是指將多個圖像傳感器或同一圖像傳感器在不同工作模式下獲取的關于同一場景的圖像信息加以綜合，充分利用待融合圖像的冗余和互補信息，得到關于此場景更準確的描述。近年來，關于對可見光與紅外熱像的融合研究比較多，融合方法也是層出不窮。針對夜視環境下圖像融合的研究則比較少，主要有微光圖像與紅外圖像的融合［2］、微光圖像與激光助視成像的融合［3］。對于激光助視成像與紅外熱像的融合幾乎是空白。由于不同波長的傳感器成像原理不相同，導致其成像特點也不盡相同，很難有一種通用的融合算法適合所有的圖像融合，必須針對不同的融合圖像采取相應的融合算法。因此，本文將根據夜視環境下激光助視成像的特點和紅外熱成像的特點對其進行融合算法優化研究。

2 基于NSCT的圖像分解

NSCT(Nonsubsampled Contourlet Transform)［4］是一種基于Contourlet變換的多尺度、多方向的圖像分解重構框架，與Contourlet變換類似，NSCT包括非下采樣塔形濾波器組(Nonsubsampled Pyramid Filter Bank，NSPFB)和非下采樣方向濾波器組(Nonsubsampled Directional Filter Bank，NSDFB)兩部分，NSPFB對信號進行多尺度分解，NSDFB對信號進行多方向分解。由于NSCT利用Z變換的等效位移特性，去掉了Contourlet變換中信號進入分解濾波器后的下采樣和進入重構濾波器之前的上采樣，而是改為對分解濾波器進行上采樣，對重構濾波器進行下采樣，所以具有平移不變性。避免了Contourlet變換由于采樣所引起的吉布斯(Gibbs)效應。圖1為NSCT分解過程示意圖。

圖1 NSCT分解過程示意圖Fig．1 NSCT decomposition process

如果對圖像進行N級NSCT變換，li為在尺度i(其中i=1，2，…，N)下的方向分解級數，則圖像經過N級NSP分解，會得到(N+1)個與原圖像一樣大小的子帶圖像，對NSP分解后尺度下的子帶圖像進行li級方向分解，則得到2li個與源圖像相同尺度的方向自帶圖像，所以對一幅圖像進行N級非下采樣Contourlet變換，會得到個與源圖像尺度相同的子帶系數［5］。

3 脈沖耦合神經網絡(Pulse Coupled Neural Network，PCNN)

PCNN［6］起源于20世紀60年代，該網絡模型通過模擬貓的大腦皮層細胞對信號的處理機制而產生的，有著重要的生物學背景。PCNN是由若干個神經元互相連接而構成的反饋性網絡，每個神經元由三部分組成:接受部分(receptive field)、調制部分(modulation field)和脈沖產生部分(pulse generator)，如圖2所示。

用PCNN對M×N的圖像進行處理時，把圖像中每個像素的灰度值作為神經元的輸入，因此M×N的圖像對應著M×N個PCNN神經元，每個神經元的離散數學表達式如下:

圖2 神經元模型Fig．2 neural cell model

其中，n表示迭代次數;Fij(n)，Lij(n)表示第(i，j)個神經元的反饋輸入和連接輸入;Iij(n)表示外部輸入信號。Mijpq，Wijpq分別是反饋輸入和鏈接輸入中神經元之間的連接權系數矩陣，β表示神經元之間的連接強度常數，Uij(n)為內部活動項，Tij(n)為動態門限，Yij(n)表示脈沖耦合神經網絡的輸出，VF，VL，VT表示輸入反饋放大系數、連接放大系數和動態門限放大系數，αF，αL，αT分別表示輸入反饋函數、連接函數與動態門限函數的時間常數。

4 圖像融合規則

本文所采用的融合規則思路:根據激光助視成像上的光斑分布和紅外熱成像的目標信息提取圖像分割模板，利用圖像分割模板對NSCT分解系數進行分區域處理［7］，得到融合圖像的帶通方向子帶系數和低通方向子帶系數，最后經過NSCT逆變換得到融合圖像。其融合規則如圖3所示。

圖3 基于NSCT的圖像融合框圖Fig．3 Schematic diagram of image fusion based on the NSCT

4．1 基于PCNN的圖像分割模板提取

二維圖像矩陣M×N可以理解為M×N個PCNN神經元模型，當內部連接矩陣Mijpq，Wijpq所在鄰域內有灰度值相似的像素存在時，則其中某個像素激發產生的脈沖輸出將會引起附近相似灰度值像素對應的神經元激發，產生脈沖輸出序列Yij(n)，輸出序列Yij(n)就構成了分割的二值圖像［8］。

根據分割的二值圖像將原圖像分為前景A和背景B兩部分，計算A，B兩部分之間的類內方差σα與類間方差σβ:

其中，μA，μB分別為A，B的均值，σ2A，σ2B分別為A，B的方差，μ=PAμA+PBμB均值。則其方差比為:

δ反應了圖像中目標與背景之間的差別，δ越大說明類與類之間的差別比較大，類內部的差別比較小。所以δ越大表明分割效果越好［9］。

對輸入的激光助視成像和紅外熱像進行分割融合得到融合模板M。將紅外熱像的目標區域記為M1，激光照射到的區域去除紅外熱像的目標區域記為M2，激光照射不到的區域去除紅外熱像的目標區域記為M3。

4．2 低通系數融合規則

圖像的低通子帶集中了圖像的主要能量，決定圖像的輪廓。對于激光助視成像和紅外熱像的融合，主要目的是為了在激光助視成像上體現出紅外目標，并且能夠用紅外信息來彌補激光照射的盲區。由此可以歸納出低通系數融合規則如下:

其中，AF(i，j)為融合圖像的低通系數;AI(i，j)為紅外熱像經過N級NSCT變換后的低通系數;AL(i，j)為激光助視成像經過N級NSCT變換后的低通系數。

4．3 帶通系數融合規則

帶通子帶系數包含了原圖像中邊緣、區域輪廓等細節，反映的是圖像突變特性。激光助視成像中激光照射到的區域細節信息比較豐富，應多反映在圖像中，從而有如下規則［10］:

其中，DKil(i，j)表示圖像在尺度i、方向l、點(i，j)處NSCT的帶通方向子帶系數;K分別代表融合圖像、激光助視成像、紅外熱像;NM1表示區域M1中像素的數目;fKM1(i，j)表示圖像K在區域M1中像素(i，j)處的灰度值。

5 實驗結果與分析

為了驗證本文融合算法的融合效果，在Matlab2013環境下進行實驗。實驗中采用了兩組圖像，一組是在夜間采集某小區露天停車場的激光助視成像和紅外熱像的照片，如圖4(a)和圖4(b)所示;另一組停車場邊有行人路過的照片，如圖5(a)和圖5(b)所示。兩組圖像已經經過嚴格配準。選取兩種不同的融合算法與本文的融合算法進行比較，分別是方法A:經NSCT分解后，低頻系數選取紅外信息，高頻融合系數選取方差最大法;方法B:采用OSTU提取分割模板，其余步驟與本文方法相同。方法A是為了表明簡單融合算法對激光助視成像和紅外熱像的融合效果，方法B是為了對比OSTU與PCNN提取不同分割模板，對融合效果的影響。此外還需說明的是本文算法中NSCT分解級數為4級，方向分解級數依次為3，2，2，2。金字塔分解濾波器為“pyrexc”，方向分解濾波器為“dmaxflat7”。在PCNN中連接因子為0．4，衰減因子為0．3，閾值為240。所用圖像大小均為352×288。兩組圖像經不同算法融合后結果如圖6所示。

圖4 第一組激光助視與紅外熱像Fig．4 First set of laser assistant vision image and infrared image

圖5 第二組激光助視與紅外熱像Fig．5 Second set of laser assistant vision image and infrared image

圖6 融合結果比較Fig．6 Comparison of fusion results

從主觀評價的角度來看，方法A雖然既能反映紅外信息，又能體現出激光助視成像中的細節信息。但在激光可以照射到的區域反映的圖像信息失真，不符合人眼的視覺習慣，且弱化了小物體的紅外目標信息。在方法B中，由于OSTU不能反映某個像素與其鄰域之間的關系，無法使分割后的二值圖像盡量形成連通區域，這樣對分割后的紅外圖像影響很大，從而使提取到的分割模板不夠準確，導致融合圖像中很多細節信息被紅外圖像覆蓋。而在本文方法中，PCNN每次形成的脈沖都要受到該像素自身與其鄰域像素值的影響。然后再選取前景和背景類間方差最大的分割圖像作為分割模板，這樣就使分割模板兼具兩者優良特性，可以準確的提取到夜間熱成像中的紅外信息。在激光照射到的位置能清楚地看到符合人類視覺習慣的景物，在激光照射弱的區域可以選擇性的顯示更多細節信息。同時也能在融合圖像中準確地反映出紅外信息。

從客觀評價角度來看，本文采用信息熵(IE)，標準差(SD)，平均梯度(AG)三項指標評價三準方法的融合效果。它們的定義如下:

其中，pk為灰度k的分布概率，其范圍為［0，1，…，K－1］;ΔFx、ΔFy分別為融合圖像F在x和y方向上的方差。評價結果見表1和表2。從表中可以看出本文方法的信息熵和標準差明顯優于方法A和方法B，平均梯度也明顯優于方法B，與方法A和激光助視成像的平均梯度不差上下，表明本文方法一方面能充分反映兩幅源圖像的信息量，另一方面又能夠體現激光助視成像的細節信息即清晰度。

表1 第一組實驗結果對比表Tab．1 Experimental results comparison fo first set

表2 第二組實驗結果對比表Tab．1 Experimental results comparison fo second set

6 結束語

由于成像機理和波譜接受頻段的不同，夜視環境下，激光助視成像和紅外熱像所反映的信息差異很大，圖像之間的相關性弱，但互補明顯。本文根據二者成像特點引入了分區域融合的思想。實驗證明本文方法能夠在融合圖像中最大程度保留激光助視成像細節信息和紅外熱像目標信息。不論從視覺效果方面還是客觀指標方面來看，本文算法都要好于其他算法。但是本文算法運行時間過長，圖像亮度分布不均勻，分割連接處不夠自然。這些都是下一步研究的內容。

［1］ JING Zhongliang，XIAO Gang，LI Zhenhua．Image fusion:theory and application［M］．Beijing:China Higher Education Press，2007．(in Chinese)敬忠良，肖剛，李振華．圖像融合—理論與應用［M］．北京:高等教育出版社，2007．

［2］ BO Lianfa，CHEN Qian，SUN Jie，et al．Study on the fusion technology of infrared and low light level image［J］．Journal of Infrared and Millimeter Waves，1999，(1):47－52．(in Chinese)柏連發，陳錢，孫婕，等．紅外與微光圖像融合技術研究［J］．紅外與毫米波學報，1999，(1):47－52．

［3］ SUN Shaoyuan，ZHANG Baomin，WANG Liping，et al．Fusion of low light level image and laser assistant vision image based on contrast modulation［J］．Infared and Laser Engineering，2003，32(2):171－172，190．(in Chinese)孫韶媛，張保民，王利平，等．微光圖像與激光助視圖像的對比度調制融合［J］．紅外與激光工程，2003，32(2):170－172，190．

［4］ Arthur L da Cunha，Zhou Jianping，Minh N Do．The nonsubsampled contourlet transform:theory，design and applications［J］．IEEE Transactions on Image Processing，2006，15(10):3089－3101．

［5］ XU Yuemei．Study on multi－focus image fusion based on multi－scale transform［D］．Xuzhou:China University of Mining＆Technology，2012．(in Chinese)徐月美．多尺度變換的多聚焦圖像融合算法研究［D］．徐州:中國礦業大學，2012．

［6］ Deng Zhang，Shingo Mabu，Kotaro Hirasawa．Image denoising using pulse coupled neural network with an adaptive pareto genetic algorithm［J］．IEEE Transactions on Electrical and Electronic Engineering，2011，6(5):474－482．

［7］ YANG Yuetao，ZHU Ming，HE Baigen，et al．Fusion algorithm for infrared and visible light images based on region segmentation and NSCT［J］．Laser＆Infrared，2010，40(11):1250－1257．(in Chinese)楊粵濤，朱明，賀柏根，等．基于區域分割和非采樣Contourlet變換的紅外和可見光圖像融合［J］．激光與紅外，2010，40(11):1250－1257．

［8］ YU Ruixing，ZHU Bing，ZHANG Ke．New image fusion algorithm based on PCNN［J］．Opto－Electronic Engineering，2008，35(1):126－130．(in Chinese)余瑞星，朱冰，張科．基于PCNN的圖像融合新方法［J］．光電工程，2008，35(1):126－130．

［9］ XIN Guojiang，ZOU Beiji，et al．Image segmentation with PCNN model and maximum of variance ratio［J］．Journal of Image and Graphics，2011，16(7):1310－1316．(in Chinese)辛國江，鄒北驥，等．結合最大方差比準則和PCNN模型的圖像分割［J］．中國圖象圖形學報，，2011，16(7):1310－1316．

［10］ZHANG Jinglei，ZHAO Eying．Fusion method for infrared and visible light images based on NSCT［J］．Laser＆Infrared，2013，43(3):319－323．(in Chinese)張驚雷，趙俄英．基于NSCT的紅外和可見光圖像融合方法［J］．激光與紅外，2013，43(3):319－323．