基于圖像融合的紅外弱小目標增強方法研究

(1.南京陸軍指揮學院， 南京 210045；2. 解放軍理工大學 指揮自動化學院， 南京 210007；3.中電科技集團第二十八研究所， 南京 210007)

摘 要：提出了一種使用圖像融合進行紅外弱小目標增強的算法，該算法采用兩次融合結構。在一次融合中，使用簡單圖像融合方法將連續(xù)多幀圖像進行融合以減少數(shù)據(jù)量并抑制噪聲；在二次融合中，將一次融合的結果進行多尺度分解并對分解所得低頻和各高頻部分分別進行融合。對比了二次融合中使用小波變換、輪廓波變換、非下采樣輪廓波變換等多尺度分解方法的融合效果。仿真實驗結果表明了該方法的正確性，實現(xiàn)了對紅外弱小目標的有效增強。

關鍵詞：紅外弱小目標；圖像融合；多尺度分解；目標增強

中圖分類號：TP391 文獻標志碼：A

文章編號：10013695(2009)01038004

Study of infrared weak small target enhancement methods based on image fusion

TANG Lei1，2，ZHAO Feng2，YANG Xiaoyuan1，ZHAO Zonggui3

(1.Nanjing Army Command College， Nanjing 210045， China；2.Institute of Automated Command， PLA University of Science Technology， Nanjing 210007， China；3.The 28th Research Institute of China Electronics Technology Group Corporation， Nanjing 210007， China)

Abstract:This paper presented an infrared weak small target enhancement method based on image fusion.The structure of this method was two times fusion. In first fusion stage，usedthe simple image fusion method to fuse the continuous frames. In this stage reduced the computational quantity and suppressed the random noise.In second fusion stage，usedthe multiscale decomposition method to decompose the result from first fusion stage. Fused the low frequency part and high frequency parts from decomposition according to different fusion rules.Contrasted the fusion effect with different multiscale decomposition methods such as wavelet transform， contourlet transform and nonsubsampled contourlet transform.The experimental results show that the method is correct and can enhance infrared weak small targets effectively.

Key words:infrared weak small target; image fusion; multiscale decomposition; target enhancement

0 引言

隨著信息處理技術和傳感器技術的發(fā)展，紅外傳感器在軍事領域中得到廣泛的應用。由于目標所處的復雜戰(zhàn)場環(huán)境以及紅外傳感器探測距離和分辨率的有限性，導致較遠距離的目標呈點源出現(xiàn)在紅外視場中，此時目標在紅外傳感器圖像中僅占幾個像素。當背景相對復雜時，目標容易被強大的背景噪聲所淹沒。同時，由于環(huán)境因素的影響， 導致人造目標與自然背景在灰度上的差別表現(xiàn)出不穩(wěn)定性， 圖像中無關信息和可變信息相當高。此外，目標在運動過程中可能偶爾被遮擋或由于其他因素造成目標的暫時丟失，更增加了檢測的難度。紅外弱小目標檢測的上述諸多難點使目標檢測之前利用有效的方法進行目標增強成為迫切需求。 

目標增強是通過突出圖像中的某些信息，削弱甚至除去某些不需要的信息，產(chǎn)生對某種特定應用來說比原圖像更適宜的圖像。值得提出的是，突出圖像中某些信息并不意味著原圖像信息的增加，有時甚至會損失一些不需要的信息。突出某些特定信息是指使圖像中感興趣的相關特征得以加強，以提高對紅外弱小目標的檢測能力。

現(xiàn)有的目標增強方法主要可以分為空域方法、頻域方法和空頻分析方法[1，2]等。其中空頻分析方法能夠兼顧圖像的空域和頻域特性，而且其多方向性和多分辨率性符合人眼的視覺特性，具有較好的增強效果。空頻分析方法的步驟通常如下：首先對圖像進行多級小波分解；然后根據(jù)圖像特點和實際增強要求調(diào)整帶通子帶圖像的小波系數(shù)（高頻系數(shù)）；最后使用調(diào)整后的小波系數(shù)重建增強圖像[3]。但是，圖像上的噪聲也會產(chǎn)生高頻信息，特征增強的過程有可能放大噪聲，并且小波變換表示圖像結構的直線/曲線奇異性時不是最優(yōu)的，可以采用更加優(yōu)秀的圖像稀疏表示法對圖像進行多尺度多方向分解。另外，當能量弱小目標的信噪比足夠小時，僅僅利用單幀圖像進行增強是很困難的，必須利用序列圖像的冗余信息，在圖像序列中進行增強處理。

本文在空頻分析思想的基礎上提出使用圖像融合的方法進行紅外弱小目標的增強，給出了一種二次融合結構。首先使用簡單的圖像融合方法進行一次融合，以減少數(shù)據(jù)量，抑制隨機噪聲；然后使用多分辨率圖像融合方法進行二次融合，互補多幅序列圖像中的目標信息，實現(xiàn)目標的增強。實驗結果表明，該方法有效地增強了目標的能量和像素數(shù)，能提高紅外弱小目標的檢測概率。

1 融合流程

對于紅外序列圖像中的每一幀，背景信息屬于頻域中的低頻部分，目標和噪聲屬于頻域中的高頻部分。因此可以充分利用圖像融合的思想，采用各種多尺度分解的方法，將每幀圖像的高頻和低頻部分進行分離，然后針對高頻部分和低頻部分分別進行融合處理。

紅外序列圖像的數(shù)據(jù)量很大，如本文實驗所采用的紅外傳感器，采樣率為24 fps，每幀為320×256×24 bit，每秒數(shù)據(jù)量約為5.6 MB。若簡單地采用上述分解方法對每幀圖像進行融合，則數(shù)據(jù)量太大，算法難以有效實現(xiàn)。此處考慮將很短時間內(nèi)連續(xù)幀中運動目標視為靜止的（因其距離紅外傳感器較遠，很短時間內(nèi)的移動在成像中的位置變化很小或根本沒有變化），先采用簡單的圖像融合方法，對連續(xù)幀圖像進行一次融合，再將一次融合的結果分解為高頻和低頻部分，進行二次融合。算法結構圖如圖1所示。

算法流程說明如下：a）對前M幀圖像和后M幀圖像分別進行簡單圖像融合（像素點平均融合）得到兩幅一次融合后的圖像；b）對兩幅一次融合圖像進行多尺度分解（可采用各種圖像稀疏表示法）；c）將分解后的高頻和低頻部分分別采用不同的像素點融合規(guī)則進行融合處理，得到融合后的多尺度圖像；d）對融合后的多尺度圖像經(jīng)逆變換進行重構，得到二次融合圖像即目標增強的圖像。

2 融合方法

21 一次融合方法

一次融合所采用的簡單圖像融合方法不對參加融合的源圖像進行任何變換或分解，而是直接對像素點進行加權平均處理后合成一幅融合圖像。假設連續(xù)M幀均為含噪圖像：

Ai(n1，n2)=f(n1，n2)+ηi(n1，n2)(1)

其中：i=1，2，…，M；行號n1=1，2，…，N1；列號n2=1，2，…，N2；f(n1，n2)為原圖像，不含噪聲；ηi(n1，n2)為像素點(n1，n2)處的噪聲，設其為不相關、零均值隨機噪聲。對連續(xù)M幀圖像進行加權平均融合后的圖像為

(n1，n2)=Mi=1ωiAi(n1，n2)(2)

其中：加權系數(shù)ω1…ωM滿足ω1+ω2+…+ωM=1。當ω1=ω2=…=ωM=1/M，即為平均融合：

(n1，n2)=1/MMi=1Ai(n1，n2)(3)

其均值為

E{(n1，n2)}=f(n1，n2)(4)

標準偏差為

σ(n1，n2)=1/Mση(n1，n2)(5)

式(5)說明像素點平均融合后得到的融合圖像的標準差降為原來的1/M，起到了抑制隨機噪聲的作用。同時，若連續(xù)M幀中有個別幀因為目標偶爾被遮擋或其他因素造成目標的暫時丟失，仍然能通過M幀的簡單融合保證目標的可檢測性。一次融合將連續(xù)M幀圖像平均融合為一幅圖像后再進行二次融合，減少了參加二次融合的圖像幀數(shù)，從而減少了計算量，這是以損失一定量的圖像細節(jié)信息為代價的。此處將連續(xù)M幀中的運動目標視為靜止的，所以損失的主要是圖像背景的細節(jié)信息，這些細節(jié)信息不屬于目標增強所要突出的信息。

22 二次融合中的多尺度分解方法

經(jīng)過一次融合所得到的兩幅圖像可以采用各種圖像稀疏表示法進行多尺度分解，再對獲得的不同尺度圖像分別進行融合。采用的圖像稀疏表示法的性能不同，增強的效果也不同。這里僅簡要介紹本文所采用的三種圖像稀疏表示法，即小波變換、輪廓波變換和非下采樣輪廓波變換，亦可采用其他如脊波變換、曲線波變換等分解方法，這里不再贅述。

221 小波變換方法

小波變換[4]是對要分析的信號在其構造的多尺度空間上進行投影，從而實現(xiàn)信號的多尺度分解。

對于任意一個二維圖像信號f(x，y)∈L2(R×R)進行二維小波變換，在分辨率2j下，可得到四組系數(shù)：

A2jf=〈f(x，y)，Φj，n，m(x，y)〉=〈〈f(x，y)，Φj，n(x)〉，Φj，m(y)〉(6)

D12jf=〈f(x，y)，Ψ1j，n，m(x，y)〉=〈〈f(x，y)，Φj，n(x)〉，Ψj，m(y)〉(7)

D22jf=〈f(x，y)，Ψ2j，n，m(x，y)〉=〈〈f(x，y)，Φj，n(x)〉，Ψj，m(y)〉(8)

D32jf=〈f(x，y)，Ψ3j，n，m(x，y)〉=〈〈f(x，y)，Φj，n(x)〉，Ψj，m(y)〉(9)

其中：(n，m)∈Z2；Φj(T)表示T方向上的尺度函數(shù)投影；Ψj(T)表示T方向上的小波函數(shù)投影。

A2jf是圖像的低頻部分（記為LL）；D12jf是圖像垂直方向上的高頻部分（記為LH）；D22jf是圖像水平方向上的高頻部分（記為HL）；D32jf是圖像對角線方向上的高頻部分（記為HH）。圖像經(jīng)過小波變換后的結構如圖2所示。

222 輪廓波變換方法

輪廓波變換（contourlet transform）是M. N.Do等人[5，6]提出的一種新的二維圖像表示方法，也稱為金字塔型方向濾波器組（PDFB），其多尺度分解和方向分解是分開進行的。先采用Laplace金字塔（LP）變換對圖像進行多尺度分解，然后由方向濾波器組（DFB）對每一級多尺度分解的高頻分量進行方向濾波。其框架如圖3所示。

使用LP和DFB進行多尺度多方向分解，LP輸出的帶通圖像傳遞給DFB，DFB對這些帶通圖像進行方向濾波，能夠有效地捕獲方向信息。對低頻部分迭代進行LP分解和DFB濾波，最后形成一個雙層濾波器組結構，稱為contourlet濾波器組。該濾波器組能將圖像分解為多個尺度上的多個方向子帶。

223 非下采樣輪廓波變換方法

輪廓波變換在進行LP分解和DFB方向濾波時對圖像進行了行列下采樣，即每層圖像的大小與上一層相比發(fā)生了變化。這種變化對像素級圖像融合處理往往是不利的[7]，并且使得輪廓波變換缺乏平移不變性，在處理圖像的奇異信息時，往往會引起吉布斯效應[8]。A. L. Cunha等人受到構造非下采樣小波的啟發(fā)，應用à trous算法提出了一種非下采樣輪廓波變換[9，10]（nonsubsampled contourlet transform，NSCT），其不但繼承了輪廓波變換多尺度、多方向的性質(zhì)，而且具有平移不變特性。

NSCT由非下采樣金字塔（nonsubsampled pyramids，NSP）和非下采樣方向濾波器組（nonsubsampled directional filter banks，NSDFB）兩個非移變（shiftinvariant）的部分組成。NSP是通過對LP分解時去除下采樣過程，并對濾波器進行相應的升采樣（插值）來實現(xiàn)。NSDFB由沒有進行下采樣的兩通道濾波器組迭代濾波構成。

NSP輸出的帶通圖像傳遞給NSDFB，NSDFB對這些帶通圖像進行方向濾波。對低頻部分迭代進行NSP分解和NSDFB濾波，最后形成一個雙層濾波器組結構，即為NSCT，如圖4所示，其是非移變的。

23 二次融合規(guī)則及融合算子

經(jīng)過一次融合所得到的兩幅圖像分別采用上述三種方法進行多尺度分解，再對獲得的不同尺度圖像分別進行融合，不同尺度圖像的像素點融合規(guī)則是不同的。多尺度分解所得到的低頻部分（最底層）主要包含圖像中的背景信息，反映了源圖像的近似和平均特性，采用的融合規(guī)則為加權平均算子，即將低頻部分進行平均處理。多尺度分解后所得的除最底層外的各高頻部分反映的是圖像的細節(jié)以及邊緣等信息（包含目標的細節(jié)信息），由于圖像中某像素與鄰域像素之間的相關性比較大，可以采用區(qū)域處理的方法。基于區(qū)域能量的融合規(guī)則因為其分析的是圖像最本質(zhì)的能量特性，所以具有相對普遍的適用性和良好的融合效果。取某像素點及其臨近區(qū)域的能量作為融合標準，對圖像A中某像素點(i， j)的區(qū)域能量定義為其鄰域窗口內(nèi)的能量，其計算式如下：

EA(i， j)=(m，n)∈wω(m，n)f 2A(m，n)(10)

其中：i-k≤m≤i+k， j-k≤n≤j+k；窗口橫、縱向?qū)挾冉詾閣(w=2k+1)個像素；ω(m，n)為權值，離像素點(i， j)越近則權值越大； f(m，n)為(m，n)處像素點的灰度值。定義圖像A、B區(qū)域能量匹配度如下：

RAB（i， j）=2(m，n)∈wω(m，n)fA(m，n)fB(m，n)/[EA(i， j)+EB(i， j)](11)

其值在0~1變化。接近0說明兩區(qū)域的能量差別較大，相關程度低；接近1就說明兩區(qū)域的能量差別較小，相關程度高。

分解所得的各高頻部分反映的是圖像的邊緣和紋理等細節(jié)信息，由于細節(jié)特征比較顯著的地方，其區(qū)域能量較大，通過逐像素比較區(qū)域能量，選擇區(qū)域能量較大的高頻系數(shù)作為融合圖像矩陣中相應的高頻系數(shù)，可以有效實現(xiàn)對源圖像細節(jié)特征的保留。可采用的融合算子為基于區(qū)域能量的選擇及加權平均算子［11］，即當兩幅融合圖像的高頻部分在某局部區(qū)域（可以是3×3鄰域窗口、5×5鄰域窗口等）上的能量差別較大時，選擇能量大的區(qū)域的中心像素點的高頻系數(shù)作為融合后圖像在該區(qū)域的中心像素點的高頻系數(shù)；否則，當能量相近時，采用加權平均算子確定融合后圖像在該區(qū)域中心像素點的高頻系數(shù)。其計算式如下：

F(i， j)=A(i， j)， EA(i， j)＞EB(i， j)，RAB(i， j)＞T

B(i， j)，EA(i， j)＜EB(i， j)，RAB(i， j)＞T

ω1A(i， j)+ω2B(i， j)， RAB(i， j)≤T(12)

其中：T為能量匹配度閾值；ω1+ω2=1。

各高頻部分均通過上述融合規(guī)則進行融合，兩幅一次融合圖像的高頻部分能量大的系數(shù)得以保留，即融合了兩幅圖像特征比較顯著的區(qū)域，通過逆變換重構圖像則表現(xiàn)為加強了圖像的細節(jié)信息，包括對目標所占像素和目標能量的增加，實現(xiàn)了對目標的增強。

3 仿真實驗

31 實驗1

取第一組紅外傳感器實際拍攝的12幀連續(xù)圖像進行仿真實驗。其中的一幀如圖5(a)所示。

前后分為兩組（M=6）先進行像素點平均融合，融合結果如圖5(b)(c)所示。分別采用小波變換、輪廓波變換、非下采樣輪廓波變換對一次融合所得圖像進行多尺度分解，分解層數(shù)都為三層，然后根據(jù)2.3節(jié)所述的融合規(guī)則對低頻和高頻部分分別進行融合處理（局部區(qū)域采用3×3矩形區(qū)域），對融合后的多尺度圖像進行逆變換，得到重構的二次融合圖像如圖5(d)~(f)所示。

M的選取要符合以下條件：a）M的值盡量大，以抑制隨機噪聲和消除目標被遮擋或丟失帶來的影響。同時M的值大，則一次融合的幀數(shù)多，整體處理的速度快。b）M的值足夠小，保證M幀內(nèi)目標在傳感器上呈現(xiàn)的位置基本不動，即M幀時間內(nèi)目標的運動距離小于傳感器的分辨率，這和傳感器與目標的距離以及目標的運動速度有關。

對融合結果的主觀評價可以發(fā)現(xiàn)圖5(d)~(f)的融合圖像明顯優(yōu)于圖5(a)的源圖像（下方小圖為框選部分的放大顯示），融合圖像中的目標較源圖像中的目標突出，更加便于檢測。對融合結果的客觀評價如表1所示。

表1 實驗一融合結果客觀評價

二次融合所用方法像素比歸一化能量比

源圖像 4/81 9201

小波變換7/81 9202.452

輪廓波變換8/81 9202.893

非下采樣輪廓波變換9/81 9203.314

其中像素比為目標呈現(xiàn)的像素數(shù)與整幅圖像像素數(shù)之比。能量比為

S=t2/b2(13)

其中:t為目標像素的灰度值，分子表示目標像素的灰度能量和；b為背景像素的灰度值，分母表示背景像素的灰度能量和。歸一化能量比為S/S0，分子S為三種變換所得圖像的能量比，分母S0為源圖像能量比。

從表1可見，二次融合使用非下采樣輪廓波變換所得的結果圖像中目標的像素比和歸一化能量比最高，因為其方向分析的性能在三種方法中是最好的，最能捕獲圖像在各方向上的細節(jié)信息。二次融合分別使用三種變換所得的結果圖像中目標的像素比和歸一化能量比均比源圖像高，實現(xiàn)了目標的有效增強。

32 實驗2

取第二組紅外傳感器實際拍攝的12幀連續(xù)圖像進行仿真實驗。其中的一幀如圖6(a)所示。

前后分為兩組（M=6）先進行像素點平均融合，融合結果如圖6(b)(c)所示。分別采用小波變換、輪廓波變換、非下采樣輪廓波變換對一次融合所得圖像進行多尺度分解，分解層數(shù)均為三層，然后分別對低頻和高頻部分進行融合（局部區(qū)域采用5×5矩形區(qū)域），對融合后的多尺度圖像進行逆變換，得到重構的二次融合圖像如圖6(d)~(f)所示。

對融合結果的主觀評價可以發(fā)現(xiàn)圖6(d)~(f)的融合圖像明顯優(yōu)于圖6(a)的源圖像（這里增強的結果圖像比較明顯，故沒有放大顯示），融合圖像中的目標較源圖像中的目標突出，更加便于檢測。對融合結果的客觀評價如表2所示。

表2 實驗2融合結果客觀評價

二次融合所用方法像素比歸一化能量比

源圖像3/81 9201

小波變換8/81 920 2.827

輪廓波變換 9/81 920 3.268

非下采樣輪廓波變換10/81 9203.825

從表2可見，二次融合使用非下采樣輪廓波變換所得的結果圖像中目標的像素比和歸一化能量比最高，因為其方向分析的性能相對最好，最能捕獲圖像在各方向上的細節(jié)信息（結果與實驗1相符）。二次融合分別使用三種變換所得到的融合結果圖像中目標的像素比和歸一化能量比均比源圖像高，實現(xiàn)了目標的增強。

4 結束語

本文利用圖像融合的方法進行紅外弱小目標的增強，提出了一種二次融合的算法結構：將紅外傳感器獲得的圖像經(jīng)過一次融合后再使用小波變換、輪廓波變換、非下采樣輪廓波變換等算法進行多尺度分解，分解所得圖像采用基于區(qū)域特性量測的融合規(guī)則進行二次融合。實驗結果表明，該方法取得了良好的融合效果，實現(xiàn)了對紅外弱小目標的有效增強，可用于戰(zhàn)場監(jiān)視、目標跟蹤等諸多領域的圖像前期處理中，具有廣泛的應用前景。參考文獻：

［1］

LAINE A F，SCHULER S，F(xiàn)AN J，et al.Mammographic feature enhancement by multiscale analysis[J].IEEE Trans on Medical Imaging，1994，13(4):725740.

［2］LU J，HERLY D M，WEAVER J B，et al.Contrast enhancement of medical images using multiscale edge representation[J].Optical Engineering，1994，13(7):21512161.

［3］張新明，沈蘭蓀.基于小波和統(tǒng)計特性的自適應圖像增強[J].信號處理，2001，17(3):227231.

［4］MALLAT S G.A theory for multiresolution signal decomposition: the wavelet representation[J].IEEE Trans on Pattern Analysis and Machine Intelligence，1989，11(7):674693.

［5］DO M N，VETTERLI M.The contourlet transform: an efficient directional multiresolution image representation[J].IEEE Trans on Image Processing，2005，14(12):20912106.

［6］DO M N，VETTERLI M.Contourlets beyond wavelets[M].[S.l.]:Academic Press，2003:127.

［7］王宏，敬忠良，李建勛.多分辨率圖像融合的研究與發(fā)展[J].控制理論與應用，2004，21(1):145151.

［8］DONOHO D L. Denoising by softthresholding[J].IEEE Trans on Information Theory，1995，41(3):613627.

［9］CUNHA A L，ZHOU Jianping，DO M N. The nonsubsampled contourlet transform: theory， design， and applications[J].IEEE Trans on Image Processing，2006，15(10):30893101.

［10］ZHOU Jianping，CUNHA A L，DO M N.Nonsubsampled contourlet transform:construction and application in enhancement[C]//Proc of IEEE International Conference on Image Processing.Piscataway:IEEE Press，2005:469472.

［11］BURT P J， KOLCZYNSKI R J. Enhanced image capture through fusion[C]//Proc of IEEE International Conference on Computer Vision.Los Alamitos:IEEE Computer Society， 1993:173182.