基于四階相關系數(shù)的NSCT域紅外與可見光圖像融合

楊如紅，邵振峰，張 磊

(武漢大學測繪遙感信息工程國家重點實驗室，湖北武漢430079)

1 引言

圖像融合就是將源自不同傳感器的同一目標或場景的圖像進行綜合處理，剔除冗余信息且盡可能保留互補信息，從而獲得信息更豐富、更可靠的融合圖像。紅外與可見光圖像融合是圖像融合領域的一個重要應用。紅外圖像表征特定場景向外輻射能量的差異，具有良好目標指示性，但對亮度變化不敏感、對比度較低?？梢姽鈭D像噪聲低、清晰度高，含較豐富的細節(jié)信息。因此，兩者的結合在安全監(jiān)控、人類視覺輔助系統(tǒng)、智能交通、軍事勘察得到了廣泛應用。

近年來，多尺度分析方法在圖像融合領域取得許多研究成果［1－3］。目前主要的多尺度分析方法包括小波變換、Curvelet變換、Contourlet變換和非下采樣Contourlet變換(Nonsubsampled contourlet transform，NSCT)等。

Contourlet變換［4］將小波變換的優(yōu)點延伸到高維空間，具有更好的方向性和多分辨率特性，但其上采樣與下采樣過程中不滿足平移不變性，且冗余問題嚴重。為解決Contourlet變換存在的缺陷，A．L．Cunha［5］于 2006 年提出了非下采樣 Contourlet變換，它不僅繼承了Contourlet變換的多尺度、多方向的特性，還克服了Contourlet變換不滿足平移不變性和頻譜混疊等缺陷，具有更高的冗余度和平移不變性，能更好地表征圖像的細節(jié)特征。在圖像融合過程中，融合規(guī)則的設計也直接影響到圖像融合的優(yōu)劣。傳統(tǒng)的融合規(guī)則即低頻平均加權與高頻絕對值取大［6］將會導致融合圖像對比度下降。鄧承志等［7］在低頻部分采用基于粒子群優(yōu)化算法的加權系數(shù)融合規(guī)則，考慮到不同傳感器低頻成分的差異，但在高頻部分直接用加權局部能量取大值法，沒有考慮鄰域內(nèi)像素間的相互影響，而且迭代運算速度較快，精度很難把握。葉傳奇等［8］在處理高頻部分時考慮到鄰域內(nèi)像素間的相關性，采用基于區(qū)域方差的選擇策略，低頻分量采用基于區(qū)域相似度的融合策略，融合性能增強，但其存在一定的模糊度。

本文充分結合紅外和可見光圖像的物理特性的差異，在高頻部分采用基于其物理特性的加權融合規(guī)則，在低頻分量，為避免匹配度“負值”現(xiàn)象，引入四階相關系數(shù)匹配策略，更好地保留了目標信息，提高融合圖像的清晰度，實驗結果也表明本文算法的有效性。

2 非下采樣Contourlet變換

為克服Contourlet變換的缺陷，本文利用非下采樣Contourelet變換(NSCT)作為多尺度分析工具，其由兩個步驟完成多尺度、多方向分解，主要基于一個非下采樣金字塔(Nonsubsampled Pyramid，NSP)和一個非下采樣方向濾波器組(Nonsubsampled Directional Filter Bank，NSDFB)結構，實現(xiàn)多尺度、多方向分解［5］。圖1(a)為非下采樣Contourlet變換的圖像分解過程，在二維頻率平面進行劃分得到如圖1(b)所示。

圖1 非下采樣Contourlet變換

3 融合策略

根據(jù)紅外圖像低頻能量集中與可見光圖像高頻細節(jié)信息豐富的特點，本文采用圖2所示的融合流程，其具體步驟是:首先，采用NSCT對源紅外與可見光圖像進行多尺度、多方向分解，分別得到對應的低頻子帶系數(shù)和高頻子帶系數(shù);然后，低頻部分考慮到紅外和可見光圖像物理特性差異，采用基于區(qū)域平均梯度的加權融合策略，高頻部分采用區(qū)域相關系數(shù)匹配度的融合策略;最后，通過NSCT逆變換對處理后的系數(shù)進行重構得到融合圖像。

圖2 融合算法流程圖

3．1 低頻系數(shù)融合規(guī)則

低頻系數(shù)反映了圖像的能量分布，即源圖像的近似特征，其占據(jù)了源圖像大部分能量信息。傳統(tǒng)的平均加權忽略了局部鄰域內(nèi)像素間的相關性，會降低融合圖像對比度，損失部分有用的信息。紅外圖像和可見光圖像同一目標的灰度分布特性相差很大，甚至極性完全相反?？紤]紅外圖像的目標突出特點，一般的加權融合策略為盡可能地保留目標信息，往往采用紅外圖像加權系數(shù)大于可見光圖像加權系數(shù)的方法，這樣必然造成部分可見光圖像光譜信息丟失，而增加了紅外圖像的冗余信息。因此考慮到紅外和可見光圖像不同的物理特性，本文采用基于區(qū)域平均梯度加權的融合策略，其具體公式如下:

vis(m，n)和Glinf(m，n)分別表示紅外和可見光圖像的區(qū)域平均梯度，平均梯度可以敏感地反映圖像中的微小細節(jié)，還可以反映出圖像的紋理變換特征。

3．2 高頻系數(shù)融合規(guī)則

高頻系數(shù)反映了圖像的細節(jié)特征分布，包含豐富的紋理、輪廓信息。傳統(tǒng)的系數(shù)絕對值選大法忽略了鄰域間的相關性，未能完整提取圖像的細節(jié)信息，融合圖像會產(chǎn)生一定程度的模糊，因此本文采用基于區(qū)域匹配度的融合策略。由于紅外和可見光圖像灰度分布特性的差異，區(qū)域系數(shù)匹配度易出現(xiàn)“負值”現(xiàn)象，為此本文引入四階相關系數(shù)［9］F計算鄰域內(nèi)紅外和可見光圖像高頻系數(shù)的匹配度，并據(jù)此來決定融合圖像的高頻系數(shù)。其中四階相關系數(shù)定義為:、

將高頻分量分解成若干個M×N的區(qū)域子塊，計算區(qū)域窗口內(nèi)紅外和可見光圖像高頻系數(shù)的匹配度F，然后設定一個閾值 th，當F＞th時，說明兩者的匹配度高，需同時保留兩者的有用信息。文獻［9］采用區(qū)域四階相關系數(shù)融合策略，但是沒有考慮融合圖像高頻信息之間的互補性和冗余性，系數(shù)直接相加會影響融合圖像的清晰度和對比度。因此本文引入加權系數(shù)R，來選擇合適的高頻系數(shù)，此時融合圖像的高頻系數(shù)定義為:

當F＜th時，說明兩者的匹配度低，保留絕對值較大的高頻系數(shù)，此時融合圖像的高頻系數(shù)定義為:?

4 實驗和分析

為驗證算法的有效性和實用性，本文利用兩組不同的紅外和可見光圖像進行實驗，并將本文提出的融合算法與小波變換融合方法、Curvelet變換融合方法和傳統(tǒng)的NSCT融合方法的融合圖像進行對比實驗。在傳統(tǒng)的NSCT融合方法中采用低頻取平均、高頻采用絕對值取大的融合策略。由于圖像分解層數(shù)增加，提取的細節(jié)信息相應增加，但各子帶間的相互干擾性也會增加，反而影響融合質(zhì)量，因此本文多尺度分解層數(shù)選擇為4。拉普拉斯塔濾波器選擇“9－7”濾波器，方向濾波器選用“pkva”濾波器。

實驗中圖像的大小為256×256，匹配度F的閾值設置為0．9，實驗結果如圖3和圖4所示。

從圖3、圖4均可以看出，本文提出的基于四階相關系數(shù)的融合算法目標信息保留很好，同時場景細節(jié)信息豐富，而在小波變換、Curvelet變換和傳統(tǒng)的NSCT方法中目標特征不明顯，且圖像存在一定的模糊度。為進一步驗證本文所提方法的有效性，本文還選取一些公認評價指標［10］來評價實驗結果，即熵、平均梯度、清晰度、空間頻率，其中熵反映了圖像中信息量的豐富度，熵越大，圖像所包含的信息量越大，平均梯度、清晰度和空間頻率反映了圖像的細節(jié)對比特征，值越大，細節(jié)越豐富。表1、2分別為實驗一和實驗二融合圖像的客觀評價結果。

圖3 實驗一融合結果

圖4 實驗二融合結果

從表1和表2的客觀評價結果可以看出，本文所提方法取得了較大的熵、平均梯度、清晰度、空間頻率值，這與主觀評價結果是一致，進一步說明本文所提方法可以得到更好的融合結果。

表1 實驗一的客觀評價指標

表2 實驗二的客觀評價指標

5 結論

針對紅外和可見光圖像的成像特點，本文所用多尺度算法在低頻部分采用基于融合圖像自身物理特性的加權系數(shù)的選擇方案，高頻部分考慮到高頻分量的變化，引入?yún)^(qū)域四階相關系數(shù)匹配度，降低融合圖像的模糊度的同時，更好地保留了圖像邊緣和紋理等細節(jié)信息。兩組不同實驗表明，本文方法具有更好的魯棒性，并且能得到更好的視覺效果，主客觀評價上本文方法優(yōu)于其他三種方法。

［1］ YANG Xiaohui，JIN Haiyan，JIAO Licheng．Adaptive image fusion algorithm for infrared and visible light image based on DT － CWT［J］．J．Infrared Millim．Waves，2007，26(6):419 －424．(in Chinese)楊曉慧，金海燕，焦李成．基于DT－CWT的紅外與可見光圖像自適應融合［J］．紅外與毫米波學報，2007，26(6):419－424．

［2］ LIU Songtao，ZHOU Xiaodong．Recent development of imagefusion techniques［J］．Laser ＆ Infrared，2006，36(8):627 －631．(in Chinese)劉松濤，周曉東．圖像融合技術研究的最新進展［J］．激光與紅外，2006，36(8):627 －631．

［3］ SFirooz．Comparative image fusion analysis［C］．IEEE Proceedings of the Conference on Computer Vision and Pattern Recognition，2005:1 －8．

［4］ DoM N，Vetterli M．Contourlets:a directionalmultiresolu-tion image representation［C］//Image Processing，2002，International Conference on IEEE，2002，1:I－ 357 －I－360．

［5］ Da Cunha A L，Zhou J，Do M N．The nonsubsampled contourlet transform:theory，design，and applications［J］．Image Processing，IEEE Transactions，2006，15(10):3089－3101．

［6］ ZHANG Jinglei，ZHAO Eying．Fusion method for infrared and visible light images based on NSCT［J］．Laser＆ Infrared，2013，43(3):319 －323．(in Chinese)張驚雷，趙俄英．基于NSCT的紅外與可見光圖像融合方法［J］．激光與紅外，2013，43(3):319 －323．

［7］ DENG Chengzhi，RAOWei．Shearlet based adaptive fusion of infrared and visible images［J］．Laser ＆ Infrared，2013，43(4):399 －403．(in Chinese)鄧承志，饒偉．基于 Shearlet變換的紅外與可見光圖像自適應融合［J］．激光與紅外，2013，43(4):399－403．

［8］ YE Chuanqi，WANG Baoshu，MIAO Qiguang．Fusion algorithm of infrared and visible light images based on NSCTtransform［J］．Systems Engineering and Electronics，2008，30(4):593 －596．(in Chinese)葉傳奇，王寶樹，苗啟廣．基于 NSCT變換的紅外與可見光圖像融合算法［J］．系統(tǒng)工程與電子技術，2008，30(4):593－596．

［9］ Zhenfeng S，Jun L，Qimin C．Fusion of infrared and visible images based on focus measure operators in the curvelet domain［J］．Applied optics，2012，51(12):1910 －1921．

［10］ WEIH，JING Z L．Evaluation of focus measures in multi－ focus image fusion［J］．Pattern Recognition Letters，2007，28(4):493 －500．