基于稀疏表示的SAR/紅外圖像彩色融合*

張文國　李向東　劉存超

(93498部隊　石家莊　050073)

?

基于稀疏表示的SAR/紅外圖像彩色融合*

張文國李向東劉存超

(93498部隊石家莊050073)

摘要針對多孔徑雷達(SAR)圖像和紅外圖像的特點,提出一種基于稀疏表示的SAR/紅外圖像彩色融合方法。該方法首先采用稀疏表示獲得SAR圖像和紅外圖像的灰度融合圖像;其次在YCbCr空間采用基于顏色傳遞的彩色融合方法,生成兩幅圖像的初始彩色融合圖像;最后在YCbCr空間利用兩幅圖像的灰度融合圖像代替其初始彩色融合圖像的Y分量,得到最終的近自然彩色融合圖像。實驗表明該方法獲得的彩色融合圖像具有較好的亮度對比和細節信息,圖像色彩更易于人眼觀察,同時增強了對場景的理解和目標探測。

關鍵詞圖像融合; 稀疏表示; SAR/紅外圖像; 顏色傳遞

SAR and Infrared Image Color Fusion Method Based on Sparse Representation

ZHANG WenguoLI XiangdongLIU Cunchao

(No. 93498 Troops of PLA, Shijiazhuang050073)

AbstractConsidering the features of SAR image and infrared image, an image fusion and colorization method based on sparse representation and color transfer is proposed in this paper. Firstly, the grayscale fused image of SAR image and infrared image is gained based on sparse representation. Secondly, the initial color fused image is gained by matching the statistics of target image and the reference image in the YCbCr color space. Finally, the final color fusion image is obtained by replacing the luminance component with the grayscale fused image during the color transfer process. The experimental results show that the proposed algorithm can obtain the perfect contrast and detail information, and the color of the fusion image is comfortable for human eyes. The situation awareness and target detectability can be enhanced by the method.

Key Wordsimage fusion, sparse representation, SAR and infrared image, color transfer

Class NumberTP391

1引言

合成孔徑雷達(SAR)作為一種主動式的對地觀測系統,具有全天時、全天候、遠距離和寬測繪帶等特點[1],其所獲取的圖像場景較為清晰,但存在目標、細節缺失等缺點;紅外熱像儀是依靠目標(背景)本身紅外輻射分布不同而成像,它可以提供溫度梯度較大或與背景有較大熱對比的低可視目標的紅外圖像,但其對場景的亮度變化不敏感。由于SAR圖像和紅外圖像具有互補性及冗余性,通過融合取長補短可以有效增強場景理解和目標的探測,從而提高作戰效能。然而這兩種傳感器獲得的是表征場景空間信息的灰度圖像,缺少場景的彩色信息,不利于人眼對目標的識別與場景理解。基于人類視覺系統研究表明,人眼對彩色圖像的分辨率要遠高于灰度圖像。因此,圖像的彩色融合更利于人眼對目標觀察與場景理解。

由于傳統的基于彩色空間映射的MIT法和Toet方法得到的偽彩色圖像,與真實自然場景的顏色差別較大,不能達到期望的自然彩色效果,影響對目標的準確識別。2003年,Toet[2]利用Reinhard等[3]提出的顏色傳遞理論,把白天自然場景的顏色特征傳遞給多波段圖像,得到一幅符合人眼視覺的近自然彩色圖像,該算法簡單、實時性強,得到了廣泛的應用和研究。

基于此,提出一種基于稀疏表示的SAR/紅外圖像彩色融合方法,該方法首先基于稀疏表示采用顯著性融合準則,生成一幅灰度融合圖像;其次在YCbCr空間用顏色傳遞公式得到一幅初始彩色融合圖像;然后在YCbCr空間,用灰度融合圖像代替初始彩色融合圖像的Y分量,進而增強圖像細節,獲得最佳的圖像色彩;最后將其從YCbCr空間變換到RGB空間,即得到最終彩色融合圖像,如圖1所示。

圖1　SAR圖像與紅外圖像的融合方案

2圖像稀疏表示

稀疏表示指用稀疏逼近取代原始數據表示,用較少的系數捕獲感興趣目標重要信息,從實質上降低信號處理的成本,提高壓縮效率[4]。稀疏表示的基本思想是用過完備字典取代傳統信號表示中的正交基。由于過完備字典的冗余性,信號能夠表示為過完備字典中少數原子的線性組合,其中利用原子最少(即最稀疏)的表示稱為稀疏表示。稀疏表示的數學模型為

(1)

在實際應用中允許存在一定的誤差,所以上式優化求解問題轉換為如下形式:

(2)

其中,式(1)稱為稀疏表示,而式(2)稱為稀疏逼近,式(1)和式(2)隱含稀疏優化求解過程。在稀疏優化求解過程中,字典D={α1,α2,…,αJ}中的列向量稱為原子,D∈RT×J(T

圖2給出了過完備稀疏表示的示意圖,圖2中系數α只有少數非零元素是稀疏的[5]。

圖2　過完備稀疏表示示意圖

3基于稀疏表示的灰度融合算法

結合稀疏表示理論,利用K-SVD算法[6]生成過完備字典D,使用貪婪追蹤算法中的OMP算法[7]進行稀疏表示。假設待融合的SAR圖像和紅外圖像分別記為fSAR和fIR大小都為M×N,并且已經配準,融合后的圖像記為g(x,y)。當圖像比較大時,對整幅圖像進行稀疏表示計算量大、復雜度高,因此采用對圖像的局部塊進行稀疏表示。采用的灰度融合算法具體步驟如下[8]:

1) 將輸出圖像g(x,y)初始化為零,并將運算次數count、循環變量i,j置零;

3) 將得到的分塊圖像按順序轉換為長度為T的向量v1和v2,再利用貪婪追蹤算法中的OMP算法分別對其稀疏表示,得到各自的稀疏表示系數α1和α2;

4) 因為在同一字典下圖像的稀疏系數一定程度地反映了字典中的原子,稀疏系數的絕對值越大,其對應的原子顯著性的程度越高,因此圖像融合準則采用顯著性融合準則:

(3)

其中,αF為融合得到的稀疏系數;

g?g+fF,countx,y?countx,y+1

(4)

8) 最后計算輸出圖像中每個像素位置處的灰度值與相應的運算次數的比值,最終的圖像融合結果:

g(x,y)?g(x,y)/countx,y

(5)

為了驗證所提出方法的有效性,選擇三種圖像融合領域里廣泛使用的圖像融合技術—小波融合方法、梯度融合方法、Laplacian金字塔融合方法和與本文的方法進行對比。實驗采用一組源圖像大小為360*270大小的SAR圖像與紅外圖像。實驗結果如圖3所示。

圖3　灰度融合實驗

圖3中由融合結果可以看出,與小波融合方法、梯度融合和Laplacian塔型融合方法得到的灰度融合圖像相比,本文得到的融合結果較前兩種方法要好,既繼承了SAR圖像中的場景信息又較好地保留了紅外圖像中的目標信息,圖像的信息量更多。

4基于YCbCr空間的顏色傳遞算法

圖像的彩色信息可以表示在不同的顏色空間中,如RGB、HSI、lαβ、YIQ、YUV及YCbCr等。通過對不同的顏色空間進行分析比較,最終選擇在YCbCr顏色空間進行顏色傳遞。之所以如此是因為相比RGB、HSI及YIQ空間,YCbCr空間的亮度分量(Y)與色度分量(Cb、Cr)相互獨立,且Y分量與RGB各分量具有相同動態范圍;RGB與YCbCr空間之間的變換是一種線性變換,相比包含反三角變換的HSI色彩空間及包含對數運算的lαβ彩色空間具有更高的計算效率和信息保真度;YCbCr空間的相關性要小于YUC空間,之所以如此是因為YCbCr空間是YUV空間通過修改系數和偏離量衍變而來。同時李光鑫[9]研究表明,基于YCbCr空間的顏色傳遞生成的彩色融合圖像的效果更好。

仿照Toet偽彩色融合結構,本文在YCbCr空間的偽彩色融合方案為[10]

(6)

采用的偽彩色融合可獲得較自然的色彩效果,算法簡單、計算量小,可實現實時處理,但在細節方面稍顯劣勢。為了獲得更佳的自然感彩色融合圖像,進一步采用顏色傳遞的方式對偽彩色融合圖像進行色彩增強。算法的基本思想是通過選取參考圖像的顏色特征(均值和標準差),利用統計學計算來確定一個線性變換,使得偽彩色圖像和參考圖像在YCbCr空間具有相同的均值與方差。該算法具體步驟如下:

1) 將參考圖像從RGB空間變換到YCbCr空間,YCbCr空間和RGB空間之間變換關系如下:

(7)

2) 計算參考圖像在Y通道、Cb通道和Cr通道的均值與方差,計算公式如下:

(8)

3) 利用顏色傳遞方法把參考圖像的顏色特征(均值與標準差)傳遞給偽彩色融合圖像:

(9)

其中,下標R、S、F分別表示參考圖像、偽彩色圖像和生成的初始彩色融合圖像。

4) 將得到灰度融合圖像代替初始彩色融合圖像的分量[11],然后將其從YCbCr空間變換到RGB空間顯示。

(10)

5實驗結果與分析

實驗樣本采用兩組源圖像進行仿真實驗,大小均為360×270。為了驗證算法的有效性,與Toet[2]及文獻[9]方法進行對比。

實驗1:在圖4中,(a)和(b)分別表示第一組SAR圖像和紅外圖像,(c)表示顏色傳遞所選擇彩色參考圖像,(d)表示Toet方法生成的彩色融合圖像,(e)表示文獻[6]生成的彩色融合圖像,(f)表示本文彩色融合圖像。從圖中可以清晰的看到本文彩色融合圖像(f)相較于Toet融合圖像[2](d)和文獻[6](e)融合圖像更接近于自然色,更利于人眼觀察與目標識別。

圖4　實驗1彩色融合結果

實驗2:為了進一步驗證本文算法的有效性和可行性,采用第二組圖像進行驗證,如圖5。在圖5中,圖(a)和(b)分別表示輸入的第二組SAR圖像和紅外圖像;(c)選擇的彩色參考圖像,(d)表示Toet方法生成的彩色融合圖像,(e)表示文獻[9]生成的彩色融合圖像,(f)表示本文彩色融合圖像。(d)和(e)彩色融合圖像與場景實際顏色相悖(如道路),而本文彩色融合圖像(f)中場景顏色與自然色接近更利于人眼的觀察。

圖5　實驗2彩色融合結果

6結語

提出一種基于稀疏表示的SAR/紅外圖像融合方法。該方法首先采用基于稀疏表示對SAR圖像與紅外圖像進行灰度融合,得到一幅灰度融合圖像;然后運用Toet全局顏色傳遞方法在YCbCr顏色空間,對輸入的SAR圖像與紅外圖像進行顏色傳遞,得到一幅初始彩色融合圖像;最后在YCbCr空間,利用灰度融合圖像代替初始彩色融合圖像的Y分量,得到最終的熱目標突出、場景清晰的彩色融合圖像。實驗結果表明該方法既能突出紅外目標,又能保持豐富的背景細節,提高目標識別和探測效率,減少判斷時間,增強操作者對總體形勢的意識能力,提高了作戰能力。

參 考 文 獻

[1] 何邦昱.基于快速稀疏貝葉斯學習算法的雷達數據融合技術研究[D].南京:南京理工大學,2014:1-3.

[2] Alexander Toet. Natural colour mapping for multiband nightvision imagery[J]. Information Fusion,2003,4(3):155-166.

[3] Reinhard E, Ashikhmin M, Gooch B, et al. Color transfer between images[J]. IEEE Computer Graphics and Applications,2001,21(5):34-41.

[4] 王偉偉,廖桂生,張磊,等.一種基于壓縮感知的稀疏孔徑SAR成像方法[J].電子學報,2012,40(12):2487-2494.

[5] 薛模根,劉存超,袁宏武,等.基于多尺度字典的紅外與微光圖像融合[J].紅外技術,2013,35(11):696-701.

[6] Aharon M, Elad M, Bruckstein A. The K-SVD: an algorithm for designing of over complete dictionaries for sparse representation[J]. IEEE Transactions on Signal Processing,2006,54(11):4311-4322.

[7] Y. C. Pati, R. Rezaiifar, P. S. Krishnaprasad. Orthogonal matching pursuit: recursive function approximation with applications to wavelet decomposition[J]. SIAM Journal on Computing,2003,41(12):297-305.

[8] 劉存超,薛模根.一種基于稀疏表示的紅外與微光圖像融合方法[J].紅外,2013,34(8):21-24.

[9] 李光鑫,徐抒巖,趙運隆,等.顏色傳遞技術的快速彩色圖像融合[J].光學精密工程,2010,18(7):1637-1647.

[10] 徐銘蔚,李郁峰,陳念年,等.多尺度融合與非線性顏色傳遞的微光與紅外圖像染色[J].紅外技術,2012,34(12):722-728.

[11] 何衛華,郭永彩,高潮,等.利用NSCT實現夜視圖像彩色化增強[J].計算機輔助設計與圖形學學報,2011,23(5):884-890.

中圖分類號TP391

DOI:10.3969/j.issn.1672-9730.2016.03.010

作者簡介:張文國,男,碩士,研究方向:雷達組網和圖像融合。

收稿日期:2015年9月4日,修回日期:2015年10月26日