有效的紅外與可見光圖像融合方法研究

(1. 北京科技大學 信息工程學院 北京100083； 2. 煤炭科學研究總院 經濟與信息研究所 北京 100013)

摘 要：針對紅外圖像可視化程度弱、對比度低的問題 提出一種基于輪廓小波變換和區域能量的紅外與可見光圖像融合算法。首先進行多尺度小波分解 然后進行多方向濾波; 引入循環平移方法來消除偽吉布斯失真；采用基于區域的能量融合規則 重構變換系數得到最終融合結果；最后用信息熵、信噪比等指標來評價融合的性能。實驗表明，該方法不論在客觀評價還是在主觀評價指標上都優于其他融合方法 提高了融合圖像的視覺效果 可以得到更加清晰的融合圖像。

關鍵詞：圖像融合； 紅外圖像； 輪廓小波變換

中圖分類號：TP391.41文獻標志碼：A

文章編號：1001-3695(2009)05-1968-03

Research on effective fusion method for infrared and visible images

ZHAO Yun-feng1 YIN Yi-xin1 FU Dong-mei1 WANG Jia2

(1. School of Information Engineering University of Science Technology Beijing Beijing 100083 China; 2. Institute of Economy Information China Coal Research Institute Beijing 100013 China)

Abstract:For visualization and contrast of IR images are weak this paper proposed an algorithm for infrared and visible images fusion using wavelet-based contourlet transform (WBCT) and region energy. Used the WBCT to perform a multi-scale decomposition of each image in the first step which was used to perform a multi-direction filter in the second step. Introduced cycle spinning to remove the effect of pseudo-Gibbs phenomena. Replaced the fusion on the whole images domain by using region-energy-based approach. To get the final object WBCT coefficients of fused image were re-constructed using multiple operators according to different fusion rules. Evaluated the performance of image fusion method using some criteria including entropy and signal-to-noise ratio and so on. The experimental results show that it is effective in proving quality of fusion imagewhich not only get higher object assessment index score but also get a more clearly fusion image in perceptual than other methods.

Key words：image fusion; infrared image; wavelet-based contourlet transform(WBCT)

0 引言

紅外熱輻射圖像的清晰度不如可見光圖像，但其具有抗干擾性強、獨立于可見光源等優點^[1]，可在很大程度上彌補可見光技術的不足。

由于紅外圖像噪聲大、分辨潛力差，所以在利用紅外熱圖像分析問題時，希望同時看到可見光信息與紅外信息。

作為計算機視覺領域和圖像理解的一項重要技術，圖像融合^[2]為同時觀察紅外和可見光信息提供了一個有效的方法。圖像融合的目的是為了提高圖像信息的解譯性和可靠性，其結果是獲得更適合人的視覺和計算機視覺的圖像。

本文在分析紅外圖像特點的基礎上 提出了一種基于輪廓小波變換和區域能量規則的紅外與可見光圖像的融合方案 并引入循環平移方法來消除由于輪廓小波變換缺乏平移不變性所導致的圖像偽吉布斯失真 將區域能量融合規則應用在圖像的不同頻帶部分 獲得最終的融合圖像，從而提高了紅外圖像的視覺效果。

1 輪廓小波變換方法

1.1 輪廓小波變換

輪廓小波變換（ WBCT）^[3]是繼小波變換^[4]之外的另一種多分辨率的、局域的、多方向的圖像表示方法。 輪廓小波變換的主要目的是為了獲得含有線和面奇異的圖像的稀疏表示 它不僅繼承了小波變換多分辨率的時頻特性 而且擁有良好的各向異性特征。 Contourlet基的支撐區間具有隨尺度而長寬比變化的長方形結構 它能用比小波更少的稀疏來表示光滑的曲線，因而能更好地捕獲圖像的邊緣信息。

WBCT分為兩個階段:

a)子帶分解。與Contourlet變換中的拉普拉斯分解不同 在WBCT中用小波分解實現 通過小波多尺度分解為低頻子帶和高頻子帶捕獲奇異點。

b)方向變換。 由方向濾波器組實現變換的多方向性和各向異性分析。

圖1顯示了Barbara經過WBCT的結果。

階段a)的小波變換將原始圖像分解為低頻子帶和細節子帶 即每一級都將上一級的低頻分量再分解為低頻和LH、HL、HH三個高頻部分；在階段b)，方向濾波器再將各細節子帶分解為2N個方向子帶（N為任意正整數，對于不同的分辨率 可以取不同的值 每個細節子帶進行相同級數的方向濾波器組分解）。對低頻子帶重復上述過程，可以實現變換的多方向性和各向異性分析 將分布在同方向上的奇異點合成為一個系數。

在2j尺度下 圖像f(x，y)∈L2(R×R) 能被分解成逼近圖像A2j1.2 方向濾波器組

方向濾波器組(direction filter bank DFB)^[5]通過一個l層的樹狀結構分解 有效地將圖像分成了2l個方向子帶 其頻帶分割成楔形 可以將同方向上的奇異點合并為同一個系數。文中采用樹狀分解規則的思想如下: 假設系統當前總的等效濾波器是一個楔形濾波器 如果下一級濾波器是平行四邊形濾波器 且此平行四邊形濾波器與楔形濾波器恰好有一半區域重合 則新的帶通區域（重合區域）剛好為原帶通區域的一半。實際處理時 如圖2所示。

第一級采用標準FAN濾波器 將信號分解為基本垂直和基本水平(圖2(a)中的0、1)；第二級采用象限濾波器(圖2(b))，(b)中(a)的黑色帶通區域有一半重合 這導致(a)中子帶0僅有一半能通過，因此第二級的輸出將提取出(c)中的方向子帶0，類似地可以提取出(c)中方向子帶1、2、3；從第三級起，以后的濾波環節先進行重采樣，然后進行方向濾波和下采樣。同時重采樣使得整個環節等效于一個頻率響應為平行四邊形的濾波器和一個抽取器。這個平行四邊形與前i -1級的總頻譜僅有一半重合，因此總的效果相當于將頻率進一步兩分。利用恒等變換，可以將二叉樹的每一條完整支路上的方向濾波及抽取矩陣等效于一個方向濾波器及抽樣矩陣，以便簡化計算。

2 融合方案

圖像的背景信息屬于低頻部分 而邊緣與紋理信息屬于高頻部分。文中紅外與可見光圖像融合的方案是 通過WBCT將圖像分解為低頻和高頻部分(圖1)； 然后在不同的頻帶上采用相應的融合規則； 最后再進行WBCT逆變換 從而得到最終的融合圖像。

2.1 循環平移

由于方向濾波器缺乏平移不變性 信號中的不連續點的鄰域在處理過程中會產生偽吉布斯現象^[6] 導致圖像失真。這種失真與不連續點的位置密切相關。 通常做法是平移圖像來改變不連續點的位置 進行一系列處理后 再進行相反的平移以減弱這種失真。但對一處不連續點的最佳平移可能會導致另一處不連續點的偽吉布斯現象加劇 故文中不采用單一平移 而采用n次循環平移。為了去除這種噪聲失真 利用循環平移(cycle spinning CS)^[7]算法來對數據進行循環平移，如圖3(a)所示 對平移后的數據作處理再反平移 將多次平移處理的結果平均 得到偽吉布斯現象明顯抑制的結果。一幅圖像的平移包括水平、垂直、斜對角線三個方向s1、s2、s3（圖3(b)） 平移時可以將三個方向分別考慮(圖3(c)) 也可以綜合考慮三個方向s。 假設經CS處理的結果由si和j分別為行和列方向上的平移量；T為變換算子 T-1為逆變換算子；θ為融合算子。

考慮到對角線方向位移的特殊性 可以使用沿不同方向對角線平移（圖3(d)和(e)） 或采用階梯狀的平移(SideStep)（圖3(f)）。進行CS處理后 能夠有效地保留圖像的細節信息 消除WBCT缺乏平移不變性產生的圖像失真 可以明顯改善視覺效果 而且具有更高的信噪比。2.2 融合規則

2.2.1 加權平均

對于代表近似特性的低頻子圖像 采用加權均值法進行融合。其融合方法為

F(x，y)=∑Kj=1[αjVj+βjTj](3)

其中：F(x y)是可見光與紅外圖像融合后的圖像；系數α和β代表每個像素的權值α+β= 1。權值是由光照密度分布決定的。當對象處于低光照條件下時，權值要被調整以保證α<β；當在正常室溫范圍內，紅外熱輪廓值超過平均輪廓時，權值要被置成α>β。

2.2.2 區域能量

由于圖像的局部區域特征往往不是由一個像素所能表征的 而是由該區域的多個像素來體現。圖像融合應更多地關注于圖像的特征。區域能量融合規則^[8]的思想是 在獲得融合系數時 不僅考慮相應位置上的系數 還應考慮與其相鄰的系數 再確定最終融合的系數。對于代表細節特性的高頻子圖像 采用基于區域能量的融合規則。設待融合的圖像為fA (x y)和fB (x y) 大小均為M×N。對兩幅圖像分別進行WBCT分解 第j層上以(m，n)為中心位置的局部區域能量為

E=∑(m，n)∈wf2(m，n)(4)

其中：i-k≤m≤ i + k j-k ≤ n≤j + k區域的寬為w (w=2k+1)。

根據兩幅待圖像的能量差來判斷 選擇能量高的高頻系數作為融合圖像的高頻系數；否則 取兩者加權平均作為融合結果圖像的高頻系數。其原理表示為

F(i，j)=V(i，j)EV(i，j)-EI(i，j)＞T

I(i，j)EI(i，j)-EV(i，j)＞T

ω1V(i，j)+ω2I(i，j)｜EV(i，j)-EI(i，j)｜≤T (5)

其中：T為能量閾值；ω1+ω2=1。

區域能量融合規則利用了分解系數的最優值 因而更有利于圖像清晰度的提高 并且保留更大的信息量。

3 實驗結果與分析

從Equinox公司的人臉數據庫^[9]中選取一組可見光和紅外人臉圖像的樣本數據進行融合實驗 并與其他融合算法進行比較，以均方根誤差(RMSE)、信噪比(SNR)、尖銳性(sharpness)、信息熵(entropy)、加權融合質量(WFQI)和邊緣融合質量(EDFI)等評價指標來對結果進行分析。各種融合算法的實驗結果如圖4所示 各種算法性能指標評價如表1所示。由表1中的數據可以進行以下的分析: RMSE值越小，說明融合質量和效果越好;SNR值較高，意味著圖像更加平滑、清晰; Sharpness和entropy值高，表示圖像含有豐富的信息量;EDFI較高，表明所得的融合結果從源圖像中獲得了更多的邊緣信息 根據HVS推測WBCT算法更易于人眼的判讀。盡管在時間復雜度上WBCT有所增加 但可以有效地降低人為效應和圖像匹配誤差的敏感性。因此，從客觀評價來講 WBCT算法優于其他三種方法。另一方面，從視覺的主觀方面評測可以看出，WBCT算法結果更加清晰和平滑 尤其在圖像的邊緣 不存在泛白的痕跡和模糊感。

由以上實驗結果和統計數據可以看出，融合后的圖像比單一的紅外熱圖像具有更好的視覺效果和更加豐富的信息。

4 結束語

多分辨率、多方向的輪廓小波變換具有更強的方向性和對圖像的稀疏表達 應用該方法進行圖像分解和重構 能夠更有效地捕獲圖像的結構特征和邊緣信息；循環平移方法在可見光圖像噪聲去除中的應用取得了良好的效果 它的引入有效地消除了WBCT導致的失真現象 較好地保持了圖像的細節信息；基于區域能量的融合規則 針對圖像的高頻和低頻部分頻帶進行相應融合規則的選取 有效地提高了圖像融合的質量和效果。實驗表明 基于輪廓小波變換和區域能量的紅外與可見光圖像融合方案是有效的和可靠的 而且該方案還可以推廣到多源圖像的融合。

參考文獻：

［1］張建奇 方小平. 紅外物理[M]. 西安: 西安電子科技大學出版社 2004.

[2]那彥 焦李成. 基于多分辨率分析理論的圖像融合方法[M]. 西安: 西安電子科技大學出版社 2007.

[3]DO M N VETTERLI M. The contourlet transform: an efficient directional multi-resolution image representation [J]. IEEE Trans on Image Processing 200514(12): 2091-2106.

[4]SADJADI F. Comparative image fusion analysis [C]// Proc of IEEE Computer Society Conference on Vision and Pattern Recognition.2005: 561-567.

[5]BAMBERGER R H SMITH M J T. A Filter bank for the directional decomposition of images: theory and design [J]. IEEE Trans on Acoustics Speech and Signal Processing 199240(4): 882-893.

[6]ESLAMI R RADHA H. The contourlet transform for image de-nosing using cycle spinning[C]// Proc of the 27th Asilomar Conference on Signals Systems and Computers.2003: 1982-1986.

[7]COIFMAN R DONOHO D L. Translation-invariant de-noising[M]//Lecture notes in statistics:wavelets and statistics.New York: Springer-Verlag 1995: 125-150.

[8]ZHANG Ying-jie GE Li-ling. Region-based image fusion using energy estimation [C]// Proc of the 8th ACIS International Conference on Software Engineering，Artificial Intelligence，Networking，and Parallel/Distributed Computing.2007: 729-734.

[9][EB/OL].http://www.equinoxsensors.com/products/HID.htm.