基于NSCT的自適應可見光與紅外圖像融合方法

高永光，宋志娜，蔡肖芋

（1.61683部隊，北京 100094；2.武漢大學 遙感信息工程學院，湖北 武漢 430079；3.武漢大學測繪遙感信息工程國家重點實驗室，湖北 武漢 430079）

基于NSCT的自適應可見光與紅外圖像融合方法

高永光1，宋志娜2，蔡肖芋3

（1.61683部隊，北京 100094；2.武漢大學 遙感信息工程學院，湖北 武漢 430079；3.武漢大學測繪遙感信息工程國家重點實驗室，湖北 武漢 430079）

針對可見光與紅外圖像的融合問題，基于 NSCT 多方向、多尺度分解和平移不變性等優點，提出了一種基于NSCT的自適應可見光與紅外圖像的融合方法。通過 NSCT 對可見光與紅外圖像進行分解，在各分解層上根據圖像質量評價指標來選取融合規則，并通過評價指標的自適應控制 NSCT 分解層數使最終融合圖像具有最優的效果。實驗結果表明，與傳統融合算法相比，該方法在主觀和客觀評價方面均優于其他融合方法。

紅外圖像；圖像融合；NSCT；質量評價

圖像融合是將多個圖像傳感器或同一圖像傳感器以不同工作模式獲取的關于同一場景的圖像信息加以綜合，以獲得更準確的場景描述[1]。可見光影像是由傳感器接收地物反射的可見光波段光譜來成像，具有空間分辨率高、細節豐富的特點，但可見光影像受云層狀況、成像時間等天氣條件影響。 與可見光影像的成像機理不同，紅外影像是將紅外傳感器接收到的紅外輻射映射成灰度值并轉化為紅外影像。紅外傳感器是被動工作方式，具有抗干擾性強、目標識別能力強、能全天候工作的特點。但紅外影像也有對比度低、邊緣模糊、信噪比低、成分復雜等缺點，受大氣熱輻射、作用距離遠、探測器噪聲等因素影響。因此通過圖像融合使得融合圖像中既包含可見光圖像中的豐富細節信息，又包含了紅外圖像中的目標信息，從而便于識別和后續分析處理，具有很重要的現實意義[2-4]。

近些年來出現了多尺度分析工具——非下采樣Contourlet變換NSCT（nonsubsampled contourlet trasnform），該工具來源于Contourlet變換，具有多方向、多尺度分解和平移不變性，能夠很好地捕捉圖像中潛在的幾何結構信息，應用在可見光與紅外圖像融合中具有較強優勢[5-7]。但現有基于NSCT的多源圖像融合方法多數是將NSCT分解后的子帶圖像劃分為低頻部分和高頻部分，忽略了高頻部分包含的細節信息；另一方面，現有圖像融合的一般流程為圖像融合完成后再對圖像進行質量評價，很少將圖像效果評價的信息加入到融合規則的選取和參數的選擇過程中。考慮到上述兩個方面，本文將質量評價指標應用在低頻、次高頻和高頻部分的融合規則選取中，提出了一種基于 NSCT變換的自適應可見光與紅外圖像融合算法，將圖像質量評價指標應用到NSCT變換的規則選取中，通過自適應的方式得到最優表示的融合圖像。

1 NSCT變換理論

NSCT變換由非下采樣金字塔濾波器組（nonsubsample pyramid filter banks，NSPFB）和非下采樣方向濾波器組（non-subsample pyramid directional banks，NSDFB）組成，是借鑒Atrous算法實現的一種多尺度變換方法[8]。NSCT變換首先由NSPFB進行多尺度、多分辨率變換，再由NSDFB進行多方向變換，且兩組濾波器都可以重構。NSCT變換能完成對圖像多尺度、多方向的分解和重構，適合于多尺度圖像處理。

圖1 NSCT分解結構圖

NSCT變換過程中對分解濾波器先作上采樣操作，再將信號輸入分解濾波器；在NSCT變換的重構過程中對合成濾波器先作上采樣操作，再將信號輸入合成濾波器。由于NSCT變換的分解和重構是對相應的分解濾波器和合成濾波器作上采樣操作，所以使NSCT變換具有平移不變的特性，并且經過NSCT變換后的子帶信號與原始輸入信號大小是相同的。

2 基于NSCT的自適應可見光與紅外圖像融合

2.1 NSCT分解層數對融合結果的影響

在基于NSCT變換的多源圖像融合中，如果分解級數K取值過小，NSCT變換相對于其他多尺度分析工具的優勢就得不到體現；如果K取值過大，NSCT算法在程序運行過程就會占用較大內存，從而導致運算效率低，因此正確選取分解級數K對圖像融合有著直接的影響。總結其他研究成果，分解級數K的取值范圍一般為 2＜K＜7。本文采用循環迭代自適應的方法來確定K的取值，當K的取值滿足以下三個條件其中一個時停止迭代，并得到最終的融合圖像。

1）NSCT變換分解級數K達到某一上限，即當K=7。

2）當K=n和K=n+1時的二次圖像融合效果質量評價指標

3）E（K）取值達到最優。E（K）計算公式如下：

其中，SSIM為基于結構相似度的融合圖像評價指標[9]，該指標反映的是圖像的亮度、對比度和結構3個方面的信息；Q為基于邊緣信息傳遞量的因子[10]，反映的是圖像中的邊緣信息。

2.2 融合規則的選取

源圖像經過NSCT變換分解的低通子帶部分包含了圖像的大部分信息，為了使融合的圖像更清晰，并且保留兩幅圖像中的細節信息，低頻子帶部分采用平均梯度加權方法來作為融合規則。如果直接采用兩幅圖像的平均梯度作為選取規則，難免會將高頻部分的信息當作低頻選取的依據，故在此構建平均梯度矩陣并對該矩陣進行NSCT分解，取其低頻部分系數作為源圖像低頻部分融合規則選取的依據。平均梯度矩陣的構成規則如下：

式中，f (x, y)位于邊框位置。

源圖像經過NSCT分解后的次高頻部分既包含了圖像中的邊緣信息，又包含了一部分的細節信息。本文次高頻部分的融合規則選取對NSCT分解后的次高頻子帶系數采用局部方差取大的方法，能最大限度地保留源圖像中的邊緣信息和細節信息，計算方法為：

式中，M1（x，y）和 M2（x，y）分別為可見光與紅外圖像經過 NSCT 分解后的次高頻子帶系數，局部方差范圍選擇5×5的窗口。

質量評價指標因子Q反映了融合圖像中保留源圖像邊緣信息量的多少，因此為了使融合圖像保留更多的源圖像邊緣信息并方便后續目標信息的提取，源圖像經NSCT分解后的高頻子帶系數融合采用Q因子作為選取依據。在融合過程中，為了確定是從源圖像X還是Y中提取的信息以及提取了多少，構建了非歸一化的Qxy/y和Qyy/x矩陣。該矩陣反映了源圖像X相對Y和源圖像Y相對X所包含的邊緣信息量的大小。矩陣經NSCT分解后的高頻子帶系數記作C1（x，y）和 C2（x，y），圖像經NSCT分解后的高頻系數融合計算方法為：

其中，H1（x，y）和H2（x，y）分別為可見光圖像和紅外圖像經 NSCT 分解后的高頻子帶系數。

2.3 自適應可見光與紅外圖像融合

基于NSCT變換的自適應可見光與紅外圖像融合算法的步驟為：

1）對源圖像可見光圖像和紅外圖像進行N層NSCT變換，并構建平均梯度和Q因子矩陣，分別得到源圖像分解的低頻子帶部分、次高頻子帶部分和高頻子帶部分。

2）對第一步構建的平均梯度矩陣和Q因子矩陣同樣進行NSCT變換，并對各個子帶部分采取不同的融合規則重構圖像，然后以圖像質量評價指標SSIM和Q因子構建一個新的質量評價指標Evaluation，并以此作為NSCT變換分解層數的控制參數。

3）當新的質量評價指標E（K）達到最優時停止迭代，并得到最終的融合圖像。

3 實驗與分析

本次實驗選取了兩組實驗數據，第一組為Landsat7衛星ETM+傳感器獲取的全色波段0．4～0．9 μm影像，空間分辨率為30 m；紅外影像為熱紅外波段10～14 μm影像，空間分辨率為60 m。第二組數據為西安閻良機場地區的可見光與機載紅外圖像數據，其中可見光圖像為全色波段8 bit的灰度圖像（波段范圍為0．4～0．9 μm），紅外圖像為單波段16 bit的灰度圖像（波段范圍為3～5 μm），兩幅圖像空間分辨率均為1 m。將本文提出的方法與簡單加權平均（WA）[11]、小波變換融合（WT）、NSCT 變換融合方法進行對比[6,12]，并進行客觀質量評價來驗證本文方法的優越性。融合圖像的質量采用均值、信息熵、標準差、SSIM和Q因子作為評價指標。融合結果如圖2、圖3所示。

圖2 實驗一融合結果

圖3 實驗二融合結果

從融合結果圖可以看出，本文的算法結果不僅包含了可見光影像中豐富的細節信息，也使得紅外圖像的熱目標信息得以凸顯。相比加權平均法，本文方法更能捕捉圖像的細節信息，驗證了多尺度分析工具用于圖像融合的優越性；與小波變換法、NSCT 變換融合相比較，NSCT 變換融合方法有著更好的視覺效果，而本文的融合算法主觀上比 NSCT 變換融合算法更優。

本文從均值、信息熵、標準差、SSIM和Q因子共5個圖像質量評價指標對上述實驗結果進行客觀評價，表1、表2為質量評價結果。圖像均值反映了對圖像在平均亮度上的要求，信息熵反映了對圖像細節表現能力的要求，標準差反映了對圖像灰度分布上的要求，SSIM反映了圖像結構相似程度，Q因子為圖像質量因子。從表中結果可以看出，本文算法在信息熵、標準差、SSIM、Q因子指標上均優于其他算法，取得了最佳的融合效果，統計數據得到的評價結果與理論分析、視覺效果一致，驗證了本文算法的有效性。

表1 實驗1圖像質量評價

表2 實驗2圖像質量評價

4 結 語

本文針對可見光與紅外圖像的融合問題，充分利用了NSCT變換的優勢并采用圖像質量評價體系作為指導，提出了一種基于NSCT的自適應可見光與紅外圖像的融合方法，該方法將圖像質量評價指標應用于圖像融合規則的選取過程中，并通過最終的圖像質量評價指標控制NSCT變換的分解層數，使得融合圖像達到最佳的效果。在實際圖像融合過程中，隨著傳感器種類的增多，多源圖像、多種融合方法相結合得到更好的融合效果將是今后重要的研究方向。

[1] 敬忠良,肖剛,李振華．圖像融合:理論與應用[M]．北京:高等教育出版社,2007

[2] TOWNSEND D W, BEYER T． A Combined PET/CT Scanner: the Path to True Image Fusion [J]．British Journal of Radiology, 2002, 75(9): 24-30

[3] 田思．微光與紅外圖像實時融合關鍵技術研究[D]．南京：南京理工大學,2010

[4] 李俊山,楊威,張雄美．紅外圖像處理、分析與融合[M]．北京：科學出版社,2009

[5] 向靜波,蘇秀琴,陸陶．基于Contourlet變換和形態學的圖像增強方法[J]．光子學報,2009,38(1):224-227

[6] 張強,郭寶龍．一種基于非采樣 Contourlet 變換紅外圖像與可見光圖像融合算法[J]．紅外與毫米波學報,2007,26(6):476-480

[7] 劉興淼,王仕成,趙靜．結合統計分布和非下采樣Contourlet變換的紅外小目標檢測[J]．光學精密工程,2011,19(4):908-915

[8] DO M N, VETTERLI M． The Finite Ridgelet Transform for Image Representation [J]． IEEE Transactions on Image Processing, 2003, 12(1):16-28

[9] STARCK J L,MURTAGH F, CANDèS E J,et al． Gray and Color Image Contrast Enhancement by the CurveletTransform [J]．IEEE Transactions on Image Processing, 2003, 12(6): 706-717

[10] BURT P J, ADELSON E H． The Laplacian Pyramid as a Compact Image Vode [J]．IEEE Transactions on Communications, 1983, 31(4): 532-540

[11] 李偉．像素級圖像融合方法及應用研究[D]．廣州：華南理工大學,2006

[12] 劉倩,杜宏．一種基于小波變換的可見光與紅外圖像融合算法研究[J]． 車輛與動力技術,2011(3): 73-80

P237

B

1672-4623（2016）12-0030-03

10.3969/j.issn.1672-4623.2016.12.011

高永光，博士，工程師，研究方向為遙感應用。

2015-06-29。

項目來源：國家重點基礎研究發展規劃項目（2012CB719906）；國家高技術研究發展計劃資助項目（SS2013AA122301）。