一種新穎的紅外與可見光圖像融合方法

李嬋飛，劉文晶

（1.漢口學院，湖北 武漢 430212；2.重慶郵電大學 移通學院，重慶 401520）

0 引言

多傳感器圖像融合是指對同一場景的多幅圖像信息進行融合生成單幅圖像的過程，使得融合后的圖像更加符合人類對視覺的感知。近些年來，圖像融合被廣泛應用于生物識別、無損檢測、軍事監視、臨床醫學、遙感信息等領域[1-7]。

紅外和可見光圖像融合是多傳感器圖像融合研究的重要組成部分。紅外圖像主要是利用紅外傳感器來記錄不同物體的熱輻射信息，能較好地探測隱蔽的熱目標，受環境變化影響較小。可見光圖像是用來記錄物體光譜信息的反射特性，主要包含的是圖像的場景細節和邊緣信息[8]。將紅外與可見光圖像進行融合，能夠有效地將紅外圖像中的目標信息和可見光圖像中的目標場景、細節邊緣信息相結合，增強對場景的理解，突出熱目標。

根據應用場合的不同，紅外與可見光圖像融合可以分為3個層次：像素級，特征級和符號級[9]。在紅外與可見光圖像融合過程中，基于像素級的多分辨率分析融合是一類應用廣泛的融合方法。文獻[10-11]將金字塔變換（Laplacian pyramid transform,LPT）應用于圖像融合，但是LPT 會產生大量的冗余信息，對圖像的方向特性不能有效表達；文獻[12]將小波變換 （discrete wavelet transform,DWT）應用于圖像融合，小波變換可以克服LPT的缺點，但是捕捉到圖像方向信息有限（僅水平，垂直和對角方向），且會在圖像局部區域產生振鈴效應；文獻[13]將平穩小波變換（stationary wavelet transform,SWT）應用于圖像融合，SWT 能克服DWT 產生的振鈴效應問題，但其分解策略和小波一樣，僅對每層的低頻成分重新分解，圖像時頻分辨率不高；文獻[14]將輪廓波變換（contourlet transform,CT）應用于圖像融合，但是由于缺乏平移不變性，導致Gibbs 效應的產生；文獻[15]將非下采樣輪廓波變換（nonsubsampled contourlet transform,NSCT）應用于圖像融合，NSCT 能克服CT的缺陷，但是計算效率偏低，比較耗時。文獻[16-17]將多分辨率分析工具和圖像分割結合應用于圖像融合，盡管該類算法融合圖像可以較好地保持紅外目標信息，但是對于紅外圖像的重要特征信息和可見光圖像中特定的重要場景細節信息不能有效保持。因此，將紅外圖像的重要特征信息和可見光圖像中特定的場景細節信息從源圖像中提取出來引入圖像融合過程是非常必要的。

鑒于上述考慮，提出了一種新穎的紅外與可見光圖像融合方法。利用支持向量機（support vector machine,SVM）[18]和圖像腐蝕膨脹算法在圖像分塊的基礎上將可見光圖像分割為場景細節特征豐富的區域特征子圖像和灰度場景子圖像，在Canny 檢測算子和最大內間方差方法基礎上結合可見光特征子圖像信息引入Laplacian 圖像銳化算法將紅外圖像分割為邊緣增強的目標子圖像，特征子圖像和灰度場景子圖像。然后分別將兩特征子圖像，兩場景子圖像利用小波包[19]分解并擇取不同的融合規則融合獲得融合背景圖像，將紅外目標子圖像融入到融合背景圖像中獲取最終融合圖像。

1 小波包變換原理

多分辨率分析可以對信號進行有效的時頻分解，但是其每層的分解都是在低頻成分進行，因此它對高頻段的成分分辨率影響較低。小波包分解（wavelet packet）是在多分辨率分析基礎上發展起來的一種精細的信號分析方法，它能夠為信號提供一種更為精細的分解方法，不僅對信號進行多頻帶劃分，而且對多分辨率分析沒有分解的高頻成分進行再分解，提高了信號的時頻分辨率，是一種更有價值的信號分析工具。

小波包變換主要分為分解和重構兩個步驟，其分解和重構公式分別如(1)、(2)所示：

式中：h0(2l－k)和h1(2l－k)是多分辨率分析濾波器系數；g0(2l－k)和g1(2l－k)分別為小波包重構過程中的低通和高通濾波器組。

2 新穎的紅外與可見光圖像融合方法

一種新穎的紅外與可見光圖像融合方法主要利用支持向量機和圖像腐蝕膨脹算法在圖像分塊的基礎上將可見光圖像分割為具有重要特征場景的特征子圖像和灰度場景子圖像，在Canny 檢測算子和最大內間方差方法基礎上結合Laplacian 算子圖像銳化算法和可見光特征子圖像將紅外圖像分割為邊緣增強的目標子圖像，特征子圖像和灰度場景子圖像。然后分別將兩特征子圖像，兩場景子圖像利用小波包分解并擇取不同的融合規則融合獲得融合背景圖像，將紅外目標子圖像融入到融合背景圖像中獲取最終融合圖像。該算法流程圖如圖1所示。

2.1 可見光圖像分割

在可見光圖像中，有價值的除了場景邊緣細節和光譜信息之外，還應包含一些特定的重要場景特征信息。在紅外和可見光圖像融合過程中，如果將可見光圖像作為一個整體和紅外圖像融合難以有效表達其特定場景特征信息，因此有必要根據可見光圖像特點和圖像融合目的對其進行分割。

由圖2(a)可見光源圖像可知，煙囪和屋頂等特征信息應該是圖像融合過程中感興趣的重要場景特征信息，如果利用簡單的像素級融合不能有效地保持其豐富的場景細節邊緣特征。因此提出利用SVM和圖像腐蝕膨脹算法在圖像分塊的基礎上對可見光圖像進行特征子圖像的劃分。首先利用圖像分塊獲取含有煙沖、屋頂的子圖像塊，再利用支持向量機將該子圖像像素點進行分類以剔除煙囪、屋頂之外的場景信息，從而得到圖像(b)。由圖(b)可知，該子圖像雖然包含煙囪、屋頂信息，還包含一些其他的小零星場景點。為了得到盡可能準確的煙囪、屋頂子特征圖像，在(b)的基礎上結合圖像分塊(c)（(c)為(b)圖像分塊之后的圖像）和腐蝕膨脹算法可以得到比較準確的含有煙囪、屋頂的特征子圖像(d)。

圖1 圖像融合算法流程圖Fig.1 Image fusion method flow

圖2 可見光源圖像及其分割圖像Fig.2 Original visible light image and segmentation images

2.2 紅外目標提取增強

隱藏的紅外熱目標是紅外圖像中最為重要的信息，為了在紅外和可見光圖像融合過程中較好地保持該熱目標信息，文獻[17]提出了一種Canny 邊緣檢測和最大類間方差的目標分割算法。在此基礎上，提出了一種紅外目標提取增強法，首先利用Canny 檢測算子獲取目標邊緣輪廓，利用Laplacian 圖像銳化算子對該目標輪廓進行增強，并計算邊緣內部區域均值Mean；然后利用最大內間方差法獲取源紅外圖像分割閾值T*；如果Mean＞T*，則對應區域為目標圖像，否則為紅外背景子圖像；最后根據節2.1 中的可見光特征子圖像信息將紅外背景子圖像分割為紅外特征子圖像和灰度場景子圖像。經過前述步驟得到增強的紅外目標圖像，特征子圖像和灰度場景子圖像。由圖3可知，經過邊緣增強的目標人物比原始目標圖像更為清晰明亮，邊緣輪廓更清晰突出。

2.3 低頻融合準則

圖像經小波包分解之后，低頻部分主要包含的是源圖像的概貌紋理近似信息，體現的是圖像的大尺度特征，因此低頻融合準則的好壞對圖像融合質量起著重要作用。在圖1中，根據特征子圖像特點，融合準則1 擇取系數取大法，該融合準則計算簡單且可以較好地保持可見光子圖像中豐富的煙囪、屋頂等重要場景細節信息。對于場景子圖像融合來說，它們都可以看作一般的背景區域，為了更好地保持紅外圖像的近似紋理輪廓信息和可見光圖像豐富的光譜細節信息，其低頻子帶融合準則3 擇取能量梯度相結合的融合準則。假設E和AV 分別表示區域能量和平均梯度，則其具體融合準則如公式(3)所示：

2.4 高頻融合準則

圖像經過小波包分解之后，高頻部分主要包含的是圖像的邊緣輪廓細節信息，體現的是圖像的小尺度特征，且其數據量較大。為了更好地提取圖像的細節信息，融合準則2和4 均是模值擇大法。但是為了使得融合系數的選取更為準確可靠，在進行模值擇大法之后，對融合系數進行系數修正。具體修正方法：如果某像素點融合系數來源于紅外圖像系數，但其3×3鄰域內像素點融合系數均來自于可見光圖像系數，則該像素點融合系數取自于可見光圖像融合系數更為合理，因此有必要對其進行系數修正；反之，做相反的處理。經過系數修正的融合高頻系數更為精確連貫。

3 實驗結果與性能評價

為了驗證本文提出方法的有效性，選取荷蘭TNO Human Factors Research Institute在不同時刻拍攝的“UN Camp”紅外和可見光序列圖利用Matlab 軟件進行實驗驗證。對比方法為：小波變換融合算法（方法1），平穩小波變換融合算法（方法2），非下采樣輪廓波融合算法（方法3），基本小波包變換融合算法（方法4），文獻[17]融合算法（方法5），文獻[16]融合方法（方法6），文獻[20]融合方法（方法7），提出方法。其中方法1～方法5的低頻融合準則均是均值法，高頻融合準則是模值取大法。除了方法3和方法7是自適應分解層之外，其他方法均采用相同小波基函數bior4.4 進行4 層分解。

文章主要通過主觀和客觀兩方面對不同方法融合性能進行對比評價，主觀直接通過人眼觀察對比各方法融合圖像的視覺效果，客觀上采用標準差、信息熵、互信息、空間頻率[21-22]4種指標進行評價，同時對不同方法的運行時間進行對比分析。各方法融合結果如圖4～圖7所示，客觀評價指標如表1和表2所示。

觀察圖4、5、6、7可知，方法1～方法4 能綜合可見光和紅外圖像信息，對紅外圖像目標人物和可見光圖像屋頂、煙囪等信息有一定程度體現，但其融合圖像亮度不高；方法5、6、7所得融合圖像整體效果相對于前述4種方法有較大程度提升，但是在融合圖像中，可見光圖像的屋頂、煙囪等重要特征信息存在一定程度的昏暗模糊現象。對比而言，本文方法的融合圖像整體對比度更高，反差更大，紅外圖像熱目標及其邊緣更為清晰明亮突出，可見光圖像的煙囪、屋頂等重要特征信息得到了最大程度的清晰體現，且較好地保持了可見光圖像的背景光譜信息。因此，本文融合方法在主觀評價上融合效果最好。

比較表1、表2中不同客觀評價指標可知，本文算法的標準差、信息熵、互信息、空間頻率不僅是所有融合方法中的最大值，且相對于其他融合算法都有較大幅度提高。由此可知，本文方法融合圖像有最高的對比度，包含更為豐富的圖像信息且從源圖像獲取的信息最多，而且融合圖像包含更為豐富的紋理細節特征，在空間域上最為活躍。另外，在運行時間方面本文方法的運行時間適中，滿足實時性要求，從客觀上評價上最為有效。

圖3 紅外源圖像及其目標圖像Fig.3 Original infrared image and target images

圖4 源圖像和不同方法融合圖像（1814）Fig.4 Original images and fusion result of different methods（1814）

圖5 源圖像和不同方法融合圖像（1830）Fig.5 Original images and fusion result of different methods（1830）

圖6 源圖像和不同方法融合圖像（1819）Fig.6 Original images and fusion result of different methods（1819）

圖7 源圖像和不同方法融合圖像（1824）Fig.7 Original images and fusion result of different methods（1824）

表1 不同方法融合結果客觀評價指標Table1 Original images and evaluation result of different methods

表2 不同方法融合結果客觀評價指標Table2 Original images and evaluation result of different methods

綜合主、客觀評價可知，本文方法是對比方法中性能最優的方法。

4 結論

為了提升紅外與可見光圖像融合效果，在融合圖像中更好地突出紅外熱目標信息，更高效地體現可見光圖像重要的場景特征細節信息并最大程度地保持可見光圖像豐富的光譜信息，提出了一種新穎的圖像融合算法。對于紅外圖像，不僅提取了紅外熱目標，且對該目標邊緣利用Laplacian 圖像銳化算法進行邊緣增強；對于可見光圖像，結合支持向量機和腐蝕膨脹算法在圖像分塊的基礎上提取包含重要場景信息特征子圖像。結合小波包變換對不同的紅外、可見光子圖像運用不同的融合規則融合，并對高頻融合系數進行系數修正使其更為精確可靠。實驗結果表明，本文的融合方法無論是從主觀視覺效果還是客觀評價指標上都要優于對比方法。