基于對比度金字塔與雙邊濾波的非對稱紅外與可見光圖像融合

楊九章，劉煒劍，程 陽

（北京理工大學 仿生機器人與系統教育部重點實驗室，北京 100081）

0 引言

在夜間低照度和濃霧等照明條件較差的情況下，可見光圖像難以獲得令人滿意的環境與目標信息。紅外圖像可捕捉到場景熱信息，為解決照明調節差的問題提供了一種有效的方法。由于紅外圖像采用的光譜與人眼可感受的光譜不在同一譜段，因而紅外圖像的特征往往不被人類視覺系統所偏好，導致空間細節的丟失和非自然的視覺質量的問題[1]。紅外和可見光圖像融合目的是利用兩種光譜成像技術的特性，生成一幅復合圖像[2]。在復合圖像中同時獲得清晰的目標熱信息和更符合人類視覺習慣的背景信息。許多現實世界中的應用包括視頻監控、物體檢測和人臉識別均得益于該類融合技術[3]。近幾年提出的融合方法[4]多數只是用相同的方法處理可見光與紅外圖像，沒有充分利用兩種圖像的優勢與區分兩者圖像的不同。本文提出融合方法以紅外與可見光圖像本身的優勢作為出發點，差別處理紅外與可見光圖像，在融合圖像中保留可見光的環境細節與紅外圖像的環境與目標信息。

紅外與可見光生成圖像的方法不同，紅外和可見光圖像在同一位置的強度往往具有較大差異。大多數紅外和可見光圖像的融合算法通過多尺度融合以更加符合人眼視覺[5]。例如，趙立昌等人通過機器學習確定多尺度融合的參數[6]，融合效果較好，能適應多種場景要求，但是該算法通用性較差，對不同場景需要不同的算法模型的問題。崔曉榮等人提出的基于二維經驗模態分解[7]方法雖然能較為明顯的突出目標，但是融合后圖像對比度變化較大，不符合人眼視覺。李辰陽等人提出的基于改進譜殘差顯著性圖的融合[8]方法通過殘差圖確定雙樹復小波分解的系數，融合效果較好，但是較為復雜，融合結果受殘差圖顯著性影響較大。

在融合圖像中保留可見光的環境細節與紅外圖像的環境與目標信息，本文先使用多尺度變換方法分解出圖像的高頻信息與低頻信息，通過結合雙邊濾波器的特點，在分離出的低頻部分對紅外與可見光圖像采用不同的處理方法，可充分利用紅外與可見光的優勢，達到同時保留紅外圖像的特征信息和可見光圖像的細節信息融合效果，在高頻部分使用絕對值取大的方法。

1 雙邊濾波器

雙邊濾波器可以平滑小規模細節的同時保留強邊緣信息。它通過空間距離和高斯核的組合過濾空間和距離域中的圖像，是一種非線性邊緣保留濾波器[9]。高斯濾波核表示為：

圖像I在點p的雙邊濾波表示為：

式中：σs和σr是標準的空間域距離的高斯標準差；通過距離p－q和強度I(p)－I(q)控制了旁邊點的像素值對當前點的影響。

2 對比度金字塔圖像融合

對比度金字塔[10]是一種常用的圖像分解方法，與傳統的拉普拉斯金字塔[11]不同，對比度金字塔每層獲取的信息不是差值信息，而采用更加符合人眼視覺習慣的比值信息。對比度金字塔將圖像分解為不同的空間頻度，頂層的空間頻度最低，每一層分別記錄了對應空間頻度的比值信息。

在融合過程中，根據金字塔每層信息的不同特點，選擇不同的融合規則。傳統的融合規則有加權平均法[12]，絕對值取大法[13]等。這種對于不同空間頻度的分別處理，使得對比度金字塔圖像融合的效果更加符合人眼視覺。

3 基于對比度金字塔與雙邊濾波的非對稱紅外與可見光圖像融合

首先采用對比度金字塔將圖像分解為高頻與低頻兩部分：①對于低頻部分，即金字塔圖像分解的頂層圖像，采用非對稱的融合方法，即根據自身特點，對紅外圖像與可見光圖像采用不同的處理方式注入最上層可見光圖像中。②對于高頻部分，即除金字塔頂層以外的其他層圖像，采用經典的絕對值取大的方法。具體來說，對于低頻部分，以最上層可見光圖像作為初始圖像。將紅外圖像與可見光圖像自己的特征信息注入最上層的可見光圖像。用雙邊濾波算法分別處理紅外圖像與可見光圖像，由公式(2)與公式(3)獲得紅外與可見光圖像的Ib。在獲得Ib的過程中通過設置一個相對較小的σr值可以保留由強邊緣分隔的“大尺度特征”，并刪除由紋理特征主導的精細尺度細節。

此外，Ig(p)是僅通過使用空間高斯gsσ計算的對應高斯濾波圖像，計算方法為：

其中，Ib與Ig相比，Ib包含某些額外的邊緣信息。因此，分別通過以下減法獲得保留在Ib中去除的精細紋理細節P0和附加的邊緣特征P1：

在原可見光圖像的低頻信息基礎上，將紅外圖像的P0信息加入其中，使原來模糊的邊界變得清晰，將可見光圖像的P1信息加入，可保留更多的圖像細節，使得融合圖像保留紅外圖像目標特征同時消除一部分因圖像融合帶來的可見光細節信息的減弱。

4 結果驗證

為了驗證本文算法的有效性，選取3 組的紅外與可見光圖像進行對比，并將本文算法與拉普拉斯金字塔（Laplacian pyramid,LP）、小波融合[14]（wavelet method）、雙樹復小波變換[15]（dual-tree complex wavelet transform,DTCWT）方法進行比較。實驗計算機CPU 主頻1.99 GHz，內存8 G，實驗軟件平臺MATLAB R2014a。本文中LP、DP、DTCWT 的融合規則均采用低頻系數取均值，高頻系數為局部能量取大的方法，小波變換使用db2 波形。可見光和紅外的源圖像與采用不同方法得到的融合結果如圖1～圖3。

圖1為House 源圖像的融合結果，其中圖(a)為紅外圖像，圖(b)為可見光圖像。可以看出紅外圖像中人物目標清晰，但無法分辨樹木、房屋等景物的細節信息；而可見光圖像中人物被遮擋，但是可以清楚看到樹木、房屋的細節信息。圖(d)、(e)、(f)分別為拉普拉斯金字塔、小波變換與雙樹復小波變換融合后的圖像。可以看出圖(d)左邊模糊，整個圖像細節丟失比較嚴重；圖(e)的右下角圖像模糊，整個圖像對比度較低，沒有突顯目標特征。圖(f)圖像右邊模糊，房屋邊界不清晰。圖(c)是本文算法獲得的圖像，可以看出融合圖像既有紅外圖像中目標突出的優勢，也能很好地保留可見光圖像中樹木、房屋的細節信息，更加符合人眼視覺。

圖1 House 源圖像融合結果Fig.1 Fusion results of House source image

圖2為Road 源圖像的融合結果，其中圖(a)為紅外圖像，圖(b)為可見光圖像，可以看出紅外圖像中路上的人物目標清晰，但是道路、樹木、房屋邊界模糊。可見光圖像中因為樹木遮擋看不到人物目標。圖(d)、(e)、(f)分別為拉普拉斯金字塔，小波變換與雙樹復小波變換融合后的圖像。可以看出圖(d)房屋邊緣模糊，旁邊的樹木細節丟失較嚴重；圖(e)房屋旁邊樹木邊界不清晰，圖(f)圖像上方細節丟失嚴重。圖(c)為本文算法獲得的融合圖像，可以發現融合圖像既有紅外圖像中目標突出的優勢，也能很好地保留可見光圖像中樹木、房屋，道路的細節信息，更加符合人眼視覺。

圖2 Road 源圖像融合結果Fig.2 Fusion results of Road image

圖3為Ship 源圖像的融合結果，其中圖(a)為紅外圖像，圖(b)為可見光圖像，可以看出紅外圖像上方天空邊界明顯，但是船細節丟失嚴重，可見光圖像船身細節保持完整，但是天空邊界丟失。圖(d)、(e)、(f)分別為拉普拉斯金字塔，小波變換與雙樹復小波變換融合后的圖像。可以看出圖(d)上方邊界線較為模糊，圖(e)中船的對比度失真，細節丟失嚴重；圖(f)船身細節丟失嚴重，不符合人眼視覺。圖(c)為本文算法將兩幅圖融合后的結果，可以發現融合圖像不僅圖像上方邊界線比其他方法融合得到的圖像更加突出，而且船的細節也更加明顯。

圖3 Ship 源圖像融合結果Fig.3 Fusion result of ship image

根據以上3 組圖片，通過主觀視覺比較可以看出本文算法在圖像融合的成像質量上有著較大優勢。為了定量體現本方法的優勢，通過客觀參數指標比較本方法和其他算法，結果如表1所示。從表1中可以看出本文算法在平均梯度（average gradient,AG），信息熵（information entropy,IE），邊緣強度（edge intensity,EI）這3 個指標中均表現更佳，說明由本文算法相比于其他3 種方法，處理所得的融合圖像從原圖像中獲得的信息量最多、擁有更豐富的細節特征、圖像邊界更加清晰，與主觀視覺所獲得的結論相符。

表1 不同融合方法的客觀指標對比Table 1 Comparison of objective indicators between different fusion methods

5 結論

本文提出了一種基于對比度金字塔非對稱雙邊濾波的紅外與可見光圖像融合方法，通過非對稱處理圖像的低頻信息，算法通用性較強，融合后圖像中的目標邊界更加突出，保留了更多的圖像信息，提高了圖像的清晰度。同時進行了3 組不同的紅外與可見光圖像的融合實驗，結果表明該方法與拉普拉斯金字塔、小波融合和雙樹復小波變換方法相比，融合后的圖像更加清晰，更符合人眼視覺。最后，平均梯度、信息熵、邊緣強度等客觀評價指標也說明本文方法比其他方法更具優勢，是一種更為有效的圖像融合算法。