戰場偵察圖像融合技術

沈永玲,薛 毅

(1.中國電子科技集團公司第五十四研究所,河北石家莊050081;2.河北省經濟信息中心,河北石家莊050051)

0 引言

多種光譜的圖像傳感器被應用到戰場偵察,獲得的圖像包括可見光彩色圖像、紅外圖像(長波紅外、中波紅外、短波紅外)、微光圖像和微波圖像等。每種圖像都揭示了目標特定的信息,但單一的圖像都不能完全滿足對戰場目標分析的要求。圖像融合是解決這個矛盾的有效方法,融合后的圖像能夠將每種傳感器的圖像的信息結合在一起,其信息內容超過任何一種單一的圖像,能夠更加精確地描述偵察場景中的地形、地貌、隱藏的人員和武器類目標。

戰場上獲取的偵察圖像最常見的是彩色圖像和紅外圖像,彩色圖像具有高分辨率和豐富逼真色彩的優點,但卻無法看到隱藏在偽裝之下的武器類目標。紅外圖像具有發現隱藏的武器類目標的特點,但圖像分辨率低,并且是單色圖像,不利于人眼對圖像總體內容的判讀。該文提出了應用離散小波框架的融合處理與彩色空間變換相結合的處理技術,實現了彩色圖像和紅外圖像融合處理,使融合結果圖像能夠保留彩色圖像的高分辨率和接近真實的色彩信息,同時包含紅外圖像發現的隱藏的武器類目標,為戰場目標發現、識別和分析提供了數據基礎。

1 離散小波框架分解與合成算法

離散小波框架(Discrete Wavelet Frame,DWF)是一種基于多尺度分解的融合方法,比較標準的小波變換(DWT)有平移不變的特性,該特點對于融合彩色和紅外圖像很重要,因為在實際中保證2個源圖像的完全配準很難達到,存在配準誤差,平移不變的特性能夠使得融合方法對配準誤差不敏感,可以用來開發具有魯棒性較好的融合方法。

在DWF算法中,信號f被分解為小波序列?ωi(k)和尺度序列si(k)。

式中,s0=f;h和g為原型濾波器;[h]↑2i和[g]↑2i為第i層的分析濾波器,分析濾波器的構成是在原型濾波器元素之間插入適當數量的零值而得。

信號f的重構公式為:

式中,?h、?g為合成濾波器。

使用DWF算法實現第i級圖像分解和合成框圖如圖1所示。

圖1 使用DWF實現圖像分解和合成

2 彩色圖像與紅外圖像融合技術

2.1 彩色空間轉換

彩色圖像與紅外圖像融合處理流程中使用了RGB至HSV(H:色度,S:飽和度,V:亮度)及 RGB至LAB顏色空間轉換。利用這些顏色空間轉換實現融合后的圖像的色彩修正處理,能夠實現將源彩色圖像的逼真色彩賦予融合后的圖像。

RGB至HSV顏色空間轉換方法:對于任意3個在[0,1]范圍內的R、G、B值,其對應HSV顏色空間中的H、S、V的值可由下式計算:

在LAB顏色空間,L代表亮度,A代表紅-綠色度,B代表黃-藍色度。相比較RGB和HSV顏色空間,用LAB空間中每種顏色只需要一個參數來表示。因此,在LAB空間對圖像顏色進行處理更加方便。首先將RGB圖像轉換至XYZ空間,再轉換到LAB空間。由RGB_空間轉換到XYZ空間_的公_式_如下:

由XYZ空間向LAB顏色空間的轉換公式如式(8)所示:

2.2 融合處理流程

紅外圖像與彩色圖像融合處理流程如圖2所示。將輸入的彩色圖像記為Vrgb,包括了R、G、B三個彩色通道,將其變換到HSV空間(記為Vhsv)。彩色圖像的V通道,代表圖像的亮度,用于與紅外圖像融合。其他的2個通道H、S與原彩色圖像的色彩最接近,承載著源彩色圖像的顏色信息,被用于修正融合后圖像的顏色。

圖2 紅外圖像與彩色圖像融合流程

在融合開始,將原始的IR圖像進行負片轉換,這樣做的原因是一些隱藏的武器有時在IR圖像的負片中更加明顯。采用基于離散小波框架的融合方法將彩色圖像的V通道分別與IR圖像及IR-1圖像進行融合處理。

彩色圖像和IR圖像、IR-1圖像的融合方法如下:

①通過重采樣方法將低分辨率的IR、IR-1圖像變成與高分辨率的彩色圖像相同分辨率的圖像,實現2種圖像的配準;

②將IR、IR-1圖像和彩色圖像的亮度分量圖像進行直方圖匹配增強處理;

③用DWF變換分別將IR、IR-1圖像和彩色圖像的亮度分量圖像分解為DWF表示,低頻系數:,高頻系數:2…I;

④為了增加融合后的圖像的空間信息,使用多尺度對比度增強方法增強彩色圖像的亮度分量,采用如下非線性函數映射每一級帶通圖像:

式中,M為非線性增強的最大值;Gi為增益系數;i為帶通圖像的級數;

⑤直接用IR或IR-1圖像數據I代替彩色圖像的亮度分量中的的低頻通帶分量,這樣可以有效地在融合后的圖像中保留紅外圖像的信息。融合后圖像的低頻率系數是,高頻率系數為:

⑥執行DWF反變換獲得融合后的圖像。用DWF實現IR、IR-1圖像和彩色圖像的亮度分量圖像進行融合的流程如圖3所示。

圖3 DWT實現圖像融合流程

2.3 融合后圖像色彩修正

如圖2所示,在用DWT實現IR、IR-1和彩色圖像的亮度分量融合后獲得了2個融合后的灰度圖像。需要將源彩色圖像的自然色彩賦予融合后圖像,使用如下步驟完成對融合后圖像的色彩修正處理:

①將彩色圖像的V通道(Vv)賦給綠色通道,將V v和IR融合后的圖像賦給紅色通道,將Vv和IR-1融合后的圖像賦給藍色通道。得到偽彩色圖像(FIrgb);

②將偽彩色圖像賦予接近源彩色圖像的色彩。一般情況下,冷區域武器在IR-1中呈現亮色,它們在融合后的圖像FIb中呈現亮色。因為FIb被賦給了藍色通道,因此,冷區域在偽彩色圖像中呈現藍色。為了同時獲得彩色圖像中的色彩及保留IR圖像中的有用信息(隱藏的武器),需要對偽彩色圖像進行處理;

③將偽彩色圖像和彩色圖像進行RGB彩色空間向LAB空間變換(表示為F1LAB(F1L,F1A,F1B)和VLAB(VL,,VA,VB))。用下面的方法獲得了一個新圖像F2LAB(F2L,F2A,F2B):

(F2L,F2A,F2B)=(VL,VA,F1B)。

F1LAB的L和A通道被彩色圖像VLAB的L和A通道替換,再將圖像F2LAB從LAB彩色空間變換到RGB彩色空間獲得圖像F2rgb。用上述的替換方程,彩色圖像F2rgb的色彩與原始彩色圖像的色彩接近,并且它結合了從IR圖像的重要信息(隱藏的武器);

④應用下面方法處理圖像F2rgb,可以使融合后的圖像的背景內容與原彩色圖像的背景接近一致。將圖像F2rgb轉換到 HSV空間(F2HSV(F2H,F2S、F2V),用下面的過程獲得新圖像F3HSV(F3H、F3S、F3V),

(F3H、F3S、F3V)=(VH,VS,F2V)。

即F2HSV的H和S通道用VHSV的S和V通道代替。

通過上述步驟可以對融合后的圖像的色彩進行修正,使其色彩接近于源彩色圖像,利于人眼對戰場圖像的判讀,提高情報員對戰場偵察圖像的判讀效率和對圖像上目標信息的識別能力。

3 試驗驗證及效果分析

3.1 試驗圖像驗證

為驗證所提出的彩色圖像和紅外圖像的融合方法的效果,使用了多組圖像進行測試,一組試驗圖像及融合后的結果圖像如圖4所示,融合圖像具備了彩色圖像的色彩信息和高分辨率信息,包含了紅外圖像中的隱藏的武器目標信息。

圖4 源圖像及融合圖像

3.2 融合效果分析

為了客觀、定量評價融合圖像的質量,判斷融合后的圖像繼承源彩色圖像和紅外圖像的信息量的大小,采用條件交互信息量的方法衡量源圖像向融合圖像轉移的信息量。融合圖像F和源圖像A、B的條件交互信息量計算公式為:

式中,H(A,B)表示源彩色圖像和紅外圖像的聯合熵,定義為:

H(A,B|F)表示給定F時,A,B的條件熵,定義為:

CMI的值越大,表示融合圖像從源圖像中獲取的信息越豐富,融合效果越好,1表示源圖像的全部信息都轉移到了融合圖像(理想情況)。計算圖4中的源圖像和融合圖像的CMI值為0.877 68,根據經驗,這表明了融合圖像從源圖像繼承的分辨率、對比度及顏色等信息量很大,融合圖像滿足戰場圖像分析的需要。

4 結束語

戰場圖像中以可見光彩色圖像與紅外圖像居多,應用離散小波框架融合方法與彩色空間變換組合方法實現可見光彩色圖像與紅外圖像融合,使融合后的圖像保留了紅外圖像發現的隱藏的武器目標、彩色圖像的高分辨率信息及自然的色彩信息。融合后的圖像更有利于指揮員對戰場圖像的判讀、發現和識別目標、獲得更加豐富的戰場態勢感知。

[1]牛軼峰,趙博欣.像素級圖像優化融合客觀評價指標分析[J].計算機與數字工程,2010,38(3):116-122.

[2]CARPER J W,LILLESAND T M,KIEFER R W.The Use of Intensity-hue-saturation Transformation forMerging SPOT Panchromatic and Multispectral Image Data [J].PhotogrammeticEngineering and RemoteSensing,1990,56(4):459-467.

[3]UNSER M.Texture Classification and Segmentation Using Wavelete Frames[J].IEEETrans.on Image Processing,1995,4(11):1549-1560.