基于特征的多層次紅外與可見光圖像融合方法

(北京科技大學 信息工程學院， 北京 100083)

摘 要：目前基于融合的方法能夠改善紅外圖像的視覺效果，但局限于簡單的直接融合，忽略了背景等因素所含噪聲的影響及各部分細節信息。對此做了進一步研究工作，改進了現有方法的融合規則，提出先將目標從背景中提取出來再以溫度閾值為依據分層融合，并加入實時溫度信息，可隨時得到融合圖像的溫度數據，從而在細節上極大地改善了目標的視覺效果及信息含量，提高了效率；最后對融合效果進行了定量評價和比較。實驗結果證明處理后的圖像能夠比原圖像獲得更豐富的視覺信息。

關鍵詞：可見光圖像；紅外圖像；目標提取；溫度閾值；分層融合

中圖分類號：TP391文獻標志碼：A

文章編號：1001-3695(2009)04-1549-03

Infrared and visible image fusion based on multilayer feature extraction

ZHANG Yu，FU Dong-mei，LI Xiao-gang，KONG Wei-gong

(School of Information Engineering， University of Science Technology Beijing， Beijing 100083， China)

Abstract:Though the presented method of fusion can improve the visual effect of infrared image， it is still confined to single and direct fusion which neglect the influence of background’s yawp factor.The paper made farther research on the respect， improved the existence fusion’s regulation through proposed a method that firstly extracted the objective， then fused the images layered which based on temperature threshold，and joined temperature of the infrared image in the fusion result real-time.Thereby improved the specific ofvisual and effect largely. Finally， evaluated the effect of the result through objective method.The result shows that the method can obtain more information than the original image.

Key words:visible image；infrared image；objective extraction；temperature threshold；multilayer fusion

當待觀察區域內光線條件很差，但是有較大溫度梯度或背景與目標有較大熱對比度時，肉眼難以分辨的低可視目標很容易在紅外圖像中看到，但它只是物體表面溫度場分布的圖像，紋理特征淡化、視覺立體感差，不符合觀察習慣，這在很大程度上限制了紅外熱像儀的適用范圍和使用效果。與紅外圖相比，可見光圖能夠提供更多的目標細節，紋理特征明顯，符合人眼的觀察習慣，如圖1所示。解決紅外圖紋理特征淡化的辦法就是將紅外與可見光圖像融合，從而能夠使融合圖像極大限度地包含所需信息，改善紅外圖像的視覺效果，并能夠顯示溫度的分布，同時紋理清晰易辨識。這在醫學面癱的診斷、工業電機設備故障檢測、軍事目標識別上有著廣泛的應用[1]。常用的圖像融合方法很多，但都有許多不足之處，效率不高；且都是簡單預處理后直接對源圖像進行融合，融合過程易受背景噪聲的影響，融合效率低、效果差；在融合圖像的細節方面還有所欠缺，融合結果不理想。本文的研究目的就是首先通過特征提取，去除非感興趣的背景區域的噪聲對融合過程產生的不良影響，并在基于溫度區域分層次思想的指導下對各溫度層區域內的部分提取逐層進行處理，對不同溫度層次的圖像采用不同的融合算法進行處理，并將每層最好的結果加以拼接，最后將清晰的可見光背景傳遞給拼接后的圖像，輔助判斷目標所處的環境。該方法進一步改善了融合效果，提高了效率，并在融合基礎上加入溫度數據使之能夠實時顯示，從而使得處理后的圖像達到了信息的最大化。

1 問題描述

在環境溫度為21.2℃下對目標進行紅外拍攝，其頭像部分溫度高于環境溫度。從紅外圖中可以清晰地分辨出圖像中的高低溫分布區域，但是目標的面部特征不明顯，五官模糊不清，辨識困難?？梢姽鈭D像雖然紋理清晰，但是無法分辨出圖像各區域的溫度分布信息，這就需要綜合兩者中的有用信息，即將可見光中最為重要的紋理信息傳遞給紅外圖像。原理如圖2所示。

本文一改現有無論是基于空域或者頻域都是對兩幅原圖像直接進行融合變換的方法，提出在對兩幅圖像進行預處理配準的基礎上對目標進行提取，進而人為設定不同的感興趣區域的溫度閾值，分層次地對處于不同溫度閾值之間的紅外部分傳遞抽取到的紋理信息，再將各部分最好的融合結果加以拼接，從而進一步改善了紅外紋理淡化問題，提高了效率。

2 圖像融合

紅外與可見光融合原理圖如圖3所示。由圖3可見，傳感器之間的冗余數據增加了融合系統的可靠性，傳感器之間的互補數據擴展了單一傳感器的性能。融合后的系統將具有以下優點[2]：a)提高了系統的可靠性和魯棒性;b) 擴展了時間和空間上的觀測范圍;c)增強了數據的可信任度;d)增強了系統的分辨能力。

實驗發現，對毛發服裝部分采用PCA融合效果較好，而對面部采用高斯金字塔效果較好。

2.1 PCA融合

主成分分析(PCA)是統計學中分析數據的一種有效方法， 也是模式識別判別分析中最常用的一種線性映射方法，其主要目的是降維[3]。將原來的R維空間投影到M維空間(R≥M)去除源圖像中的冗余信息，并且在降維后保存了原數據中的主要信息及相應的特征值，從而使數據更易于處理。

對于樣本的N個特征X=(x1，x2，…，xN)T， X的協方差矩陣C為

C=

σ11…σ1j…σ1N



σi1…σij…σiN



σN1…σNj…σNN(1)

其中σ2ij為X的方差：

σ2ij=（1/n）n-1i=0

(xi-i)(xj-i)(2)

其中i為第i個向量的平均值。

求出C的所有特征值λ1，λ2，…，λN及對應的特征向量u1，u2，…，uN。其中λ1≥λ2≥…≥λN≥0。主成分λi的貢獻率ηi由下式表示：

ηi=λi/(λ1+λ2+…+λN)(3)

其中λi較小的主成分被認為包含的是噪聲，分析時不使用這些變量引入模型。

求出新的特征向量，Y=(y1，y2，…，yN)T滿足Y=UTX，y1的方差最大，包含了原特征的大量信息，逆變換為X=UY。

2.2 高斯金字塔融合

設原圖像為G0，將G0作為高斯金字塔的初始層(零層)，圖像的高斯金字塔的第l層圖像Gl構造方法如下:

將第l-1層圖像Gl-1和一個具有低通特性的窗口函數w(m，n)進行卷積，再把卷積結果作隔行隔列的降采樣，即

Gl=2m=-22n=-2w(m，n)Gl-1(2i+m，2j+n)(4)

其中:0＜l≤N，0≤i＜Cl，0≤j＜Rl；N為高斯金字塔頂層層號；Rl、Cl為高斯金字塔第l層的行列數；w(m，n)為窗口函數，一般采用5×5的矩陣。

為了保持圖像采樣和擴展后亮度平滑，沒有接縫效應，窗口函數w(m，n)的選擇很重要，應符合如下準則[4]：

a)可分離性

w(m，n)=w~(m)w~(n) m∈[-2，2]，n∈[-2，2]（5）

b)歸一化性 

2-2w~(n)=1（6）

c)對稱性 

w~(n)=w~(-n)（7）

d)奇偶項等貢獻性

w~(-2)+w~(2)+

w~(0)=w~(-1)+w~(1)（8）

滿足這些約束條件的典型窗口為

row-2 -1 0 1 2 column

w=(1/256)14641

41624164

62436246

41624164

14641 -2-1012

為了簡化書寫，引入縮小算子reduce，式(4)可簡寫為

Gl=reduce(Gl-1)(9)

由G0，G1，…，GN就形成了高斯金字塔。其中：G0為金字塔的底層；GN為金字塔的頂層。高斯金字塔的總層數為N+1。

3 基于Sobel邊緣檢測的目標提取

為了將目標與背景區分開來，去除不感興趣的背景區域中所含噪聲對融合結果與效率的影響，對原圖像進行邊緣提取［5］。Sobel算子3×3鄰域模板[6]為

x方向卷積核：121000

-1-2-1；y方向卷積核：

10-120-2

10-1

基于Sobel邊緣圖像如圖4所示。由圖4可見，處理后的圖像去除了非感興趣的背景區域，從而極大限度地限制了背景所含噪聲對融合圖像的影響。

4 以溫度為閾值的分層融合

4.1 溫度閾值的確定

將溫度的分布信息顯示在坐標系中，如圖5所示?？梢钥闯黾t外圖像的溫度分布大致是21℃～36℃，取不同的門限[7]可以分層次地將面部高溫區域、毛發及服裝區域確定出來。

g(m，n)=1 f(m，n)＞T

0 其他(10)

同時將溫度數據加入紅外圖像中，建立關聯關系，并使之可以實時地顯示出來，如圖6所示，以便輔助確定不同層次區域的溫度值。

由圖5可以測試出需要進行紋理傳遞的區域溫度在24℃～36℃，進而又可細分為毛發及服裝部分溫度在24℃～28℃，面部溫度大致分布在30℃～36℃。以此為依據，設定不同層次的閾值，分別對不同閾值界限以內的區域有針對性地采用不同的融合算法進行融合。

4.2 基于溫度分層的特征分割

由于毛發和服裝部分的區域溫度極為接近，將其分為一類；同時將30℃之上的面部區域分為一類。掃描紅外圖像，對其不同溫度層進行提取，再由得到的紅外圖像各部分提取配準過的對應可見光部分，分層提取結果如圖7所示。

對分層次提取出來的兩部分的紅外與可見光圖像采用不同的融合算法進行紋理傳遞，并對其中最好的結果加以保留，最后，對各部分最優融合結果進行拼接并恢復到可見光的背景中去。仿真結果如圖8所示。

5 程序仿真及評價分析

由圖8可見，本文介紹的分層次融合的方法與直接融合方法相比，效果得到進一步改善，邊緣及紋理更加清晰，從細節上極大地改善了以前方法存在的一些問題，并且去除了不感興趣的背景區域的噪聲對融合結果產生的不良影響；目標的可識別性大大提高，目標的高溫區域也清晰可見；同時保留了原始可見光背景，使得目標所處環境得以判斷，這對醫學面癱的診斷、設備的各類熱故障診斷，尤其是熱故障定位將大有好處。

客觀定量的效果評價如表1所示。

表1 兩種方法的融合效果評價指標

方法指標熵平均交叉熵標準差互信息量

前人方法4.8011.282 045.6724.022 1

本文方法5.1880.966 148.5134.601 5

由表1可以看出，本文提出的基于特征的溫度分層方法融合后熵值、標準差、互信息量較大，平均交叉熵較小，融合效果要比以前的直接融合方法好[8]。

6 結束語

針對紅外與可見光融合領域，本文提出了一種新的基于溫度特征的分層次融合方法，將去除背景后的目標按溫度信息再細分為不同的區域，最后將各個區域中最好的融合結果加以拼接得到最終的融合圖像，并對其加入實時溫度信息。實驗結果表明，這種方法極大限度地去除了背景噪聲對融合結果產生的影響，對于增強圖像的融合效果、改善融合后圖像在細節方面的一些信息是非常有效的。常用的圖像融合方法很多，但都有許多不足之處。采用這種方法對圖像進行融合處理，兼有濾除噪聲和增強目標細節的雙重作用，較為理想地達到了預期目的。

參考文獻：

［1］

劉松濤，周曉東.圖像融合技術研究的最新進展[J].激光與紅外，2006，36(8):627-631.

[2]趙慶建，陳森發.基于紋理分析的多源信息融合方法的研究[J].電子與信息學報，2007，36(2):160-164.

[3]SINGH S，GYAOURVA A，BEBIS G，et al.Infrared and visible image fusion for face recognition[EB/OL].（2004）.http://www.cs.unr.edu/~bebis/fusefaceSPIE04.pdf.

[4]玉振明，高飛.基于金字塔方法的圖像融合原理及性能評價[J].計算機應用研究，2004，21(10):128-130.

［5］ 韓曉萍，付冬梅.基于形態學的遮擋目標提取的區域生長法研究[J].計算機應用研究，2007，24(10):158-160.

[6]KOVALEVSKY V A.Image pattern recognition[M].New York:Springer-Verlag，1980.

[7]HARISHWARAN H，KOSCHAN A，ABIDI B，et al.Fuision of visible and infrared images using empirical mode decomposition to improve face recognition[C]//Proc of IEEE International Conference on Image Processing.2006:2049-2052.

[8]羅軍輝，馮平，哈力旦A.MATLAB 7.0在圖像處理中的應用[M].北京：機械工業出版社，2005：131.