一種改進的壓縮感知圖像融合方法

張 燁，劉曉佩

(西安科技大學 通信與信息工程學院，陜西 西安 710054)

0 引 言

生活中較常見的2類圖像為紅外圖像和可見光圖像，這2類圖像由不同的傳感器獲得，成像機理不同，因此具有不同特點[1]。紅外傳感器靠背景與目標的輻射得到景物圖像，作用距離遠，能在遮擋中獲取熱目標，但得到的圖像空間分辨率低，不具有明顯的紋理特征，對比度差。而可見光圖像恰恰相反，能夠提供紋理細節豐富的圖像，更利于人眼觀察。如果結合這2種圖像的特性，就可以得到新的描述更為全面、準確的效果圖[2-3]。因此，融合紅外圖像與可見光圖像具有較高的研究和應用價值，且被得到了廣泛的應用[4-5]。

目前，圖像融合領域中大多都在以提高圖像融合質量為主要考慮因素，而實際生活中，在安全監控、戰場感知等應用領域，傳感圖像大多以動態序列的形式輸出，這些系列圖像需要被實時地融合處理。若還使用傳統的圖像融合方法要達到實時處理的效果，不僅實現的復雜度增大，而且很大程度上增加了傳輸、儲存、重構的成本。因而，與壓縮感知理論(CS理論)[6-7]的結合可以很好地解決這個問題。

在基于壓縮感知的圖像融合算法中，原圖像的空間信息在通過CS觀測時丟失，因此處理測量系數時不能夠使用基于空間的選取規則，復雜的融合規則也無法采用[8]。融合規則大多選擇絕對值取大、信息熵加權、相似性度量、標準差加權等簡單方法。但由于絕對值取大法得到的融合圖像對比度太大，且有明顯噪點；信息熵只能籠統的計算出包含在觀測向量中的信息；相似性度量無法準確得到分類區間而造成分類錯誤；基于標準差加權得到的融合圖像相比之下視覺效果較好，但是，當2幅圖像標準差相差不大時，根據系數的權重融合圖像很可能導致圖像融合效果變差，而使用絕對值取大法則能夠獲取2幅圖像各自瞬變特征的顯著信息[9-11]。因此，文中提出了一種自適應的融合規則，兼顧了待融合圖像的背景信息和紅外目標信息，有效提高了圖像的融合質量。

1 壓縮感知的數學模型

x=Ψθ

(2)

式中Ψ=(ψ1,ψ2,…,ψN)∈RN×N為正交基字典矩陣。假設系數向量θ是K階稀疏的，即其中非零稀疏的個數K?N，那么采用另一個與正交基不相關的矩陣Φ：M×N(M?N)，對信號X做壓縮觀測可以得到M個線性投影，其中y∈RM，可表示如下

y=Φx=ΦΨθ=ACSθ

(3)

顯然從y中恢復x是一個NP-hard問題，但是只要矩陣ACS任意2K列都是線性獨立的，那么至少存在一個K-系數的系數向量θ滿足y=ACSθ.換言之，在滿足上述要求的情況下，通過求解一個非線性優化問題就能從觀測y、觀測矩陣Φ和字典矩陣Ψ中近乎完美的重建信號X[12-14].

2 圖像融合方法及改進的融合規則

2.1 基于CS的圖像融合方法

基于CS理論的圖像融合方法主要思路：首先分別壓縮采樣源圖像A和源圖像B，并在壓縮域上進行融合，然后將融合后的圖像傳送給接收端，在接收端采用重構算法重構出源圖像的融合圖像[15]，融合框架如圖1所示。

圖1 融合框架Fig.1 The framework of fusion image

上述融合方法主要分為圖像采樣、圖像融合和圖像重構3個步驟[16]：

Step 1圖像采樣。將輸入的待融合圖像A和圖像B分別通過同一欠采樣觀測矩陣進行觀測，得到壓縮域上的觀測圖像A1和圖像B1，這一過程實現圖像的降維。

Step 2圖像融合。在壓縮域上選取合適的融合規則融合Step1中得到的觀測圖像A1和B1，進而得到融合后的觀測圖像C1.

Step 3圖像重構。采用OMP重構算法重構Step2中得到的融合觀測圖像C1，得到最終的融合圖像C.

2.2 基于NSCT的壓縮感知圖像融合方法

采用非下采樣contourlet變換(NSCT變換)[17-18]對待融合圖像進行多尺度分解。圖像經NSCT變換后被分解為1個低通子帶和K個方向子帶，由于低頻系數不具備稀疏性，而高頻系數具有較高稀疏性，所以保留圖像低頻系數，只對高頻系數進行觀測；重構時，利用重構算法對高頻系數進行恢復，再經過NSCT逆變換重構出圖像[19-20]，基于NSCT的壓縮感知圖像融合框圖如圖2所示，具體融合步驟如下

Step 2生成大小為M×N的測量矩陣Φ.

Step 5采用OMP重構算法重構測量值Dj,k(x,y)得到融合后的高頻系數Dj,k(x,y).

Step 7將NSCT逆變換作用于Dj,k(x,y)和Lj(x,y)重構出最終融合圖像C.

圖2 基于NSCT的壓縮感知圖像融合框圖Fig.2 The framework of fusion image based on compression sensing

2.3 融合規則

2.3.1 低頻系數融合規則

不同物體在紅外圖像和可見光圖像的表達能力不同，可見光圖像的中高頻信息多分布在背景等處，而紅外圖像的中高頻則分布在熱目標處[21]。傳統融合算法中，對低頻的處理結果往往使背景比較模糊，或者為了突出紅外效果而造成背景信息權重偏向紅外圖像。因此，為了得到更佳的融合圖像，其背景應多來自可見光圖像，熱目標信息來自紅外圖像[22-23]。根據這個特點，文中選擇分塊DCT高頻能量準則融合NSCT分解得到的低頻系數。

對低頻系數做DCT分塊變換。DCT變換系數矩陣的特點是：中高頻分量分散在右下角，低頻分量集中在左上角。 如果直接計算DCT分塊的能量會導致圖像的中高頻能量被掩蓋，而每個子塊的副對角線右側系數基本反映了原圖像塊的高頻信息。因此根據對比每一分塊的高頻能量選擇融合系數。定義DCT變換矩陣高頻能量如式(5)所示。

式中N為圖像分塊大小；D(u,v)表示DCT系數矩陣中的系數。文中分為8×8的子塊。

圖像融合時往往會出現部分灰度均勻的區域，且這些區域通常為背景，如果僅依據DCT系數的高頻能量規則融合則易出現誤判。因此在融合時，若2幅原圖像的DCT高頻能量差值小于閾值T時，融合時偏重可見光圖像系數，即

XF(i,j)=a×XA(i,j)+(1-a)×XB(i,j),

|EA-EB|

(6)

式中a=0.8，XF(i,j)為融合后的系數；XA(i,j)，XB(i,j)為2幅原圖像的像素。

當差值大于T時，分為2種情況；當可見光圖像能量較大時，融合系數全部取可見光圖像系數；當紅外圖像能量較大時，融合系數權值偏重紅外圖像。

式中b=0.2；EA，EB分別為可見光圖像和紅外圖像的DCT分塊系數矩陣能量。

2.3.2 改進的高頻系數融合規則

通常來說，絕對值更大的系數代表更多的瞬變特征顯著信息。但是CS觀測過程是對原圖像的線性投影，得到的觀測向量是觀測矩陣內系數的線性組合，觀測矩陣的隨機性使原圖像的信息隨機分布到觀測向量上。當圖像包含的信息很多時，絕對值系數大的圖像不一定是信息量多的圖像，而標準差卻能表示圖像信息量的多少。因為標準差反應的是灰度動態范圍，標準差越大，說明圖像灰度級分布越分散，圖像的對比度越高，圖像包含的信息越多。但是當2幅圖像的標準差相差不大時，無法判斷哪副圖像包含的信息更多[24]，系數的權重很可能導致融合效果變差，而使用絕對值取大法則能夠獲取2幅圖像中較大的系數，得到圖像瞬變特征的顯著信息，提高細節的清晰度。因此，文中采用標準差加權和絕對值取大相結合的圖像融合方法。

具體步驟如下

1)分別計算高頻分量經過壓縮后紅外圖像和可見光圖像的標準差sd，如式(8)所示。

2)計算2幅觀測圖像標準差sdA和sdB的差值，如式(9)所示。

sdt=|sdA-sdB|

(9)

式中sdA，sdB為可見光圖像和紅外圖像觀測系數的標準差。

3)計算觀測后的融合值YF(i,j).當差值sdt大于閾值Tc說明2幅圖像包含信息量的差異大，因此融合時要更偏重于標準差大的圖像，故采用標準差加權的方式作為融合規則。當差值小于閾值Tc時，說明2幅圖像包含的信息量相差不大，此時，2幅圖像的細節信息差異小，因此采用絕對值取大法融合圖像，突出其各自的細節信息。具體的融合規則如式(10)所示。

3 仿真結果及分析

選擇MATLAB 2013a為軟件仿真工具，實驗分析圖像均為256×256大小灰度級的可見光圖像和紅外圖像。此外，文中將絕對值取大法(CS_MAX)、信息熵加權法(CS_E)標準差加權法(CS_SD)和非下采樣contourlet變換(NSCT)以及文中算法分別運用于2組圖像，并對上述實驗融合效果從主觀和客觀參數[25]兩方面進行比較分析。

圖像融合實驗仿真效果圖如圖3、圖4所示。實驗分別對2組待融合可見光圖像和紅外圖像作3層NSCT分解。2組融合圖中，圖(c)、(d)、(e)、(f)分別是采用絕對值取大法、信息熵加權法、標準差加權法、NSCT算法融合后的效果圖，圖(g)為文中算法融合后的效果圖。從主觀角度來看，這幾種方法都能夠從紅外圖像中提取到熱源信息，并能將可見光圖像和紅外圖像的特性體現到融合圖像中。

對于第一組圖像來說，CS_MAX法雖提取到了紅外目標，但圖像的細節模糊，融合的效果最差；CS_E次之，因為信息熵只是改善了圖像信息的豐富程度，并不能明顯提高圖像清晰度；CS_SD融合效果相對較好，不僅更精準地提取到紅外目標的輪廓，圖像的清晰度也有所提高，但是對圖像細節的表達不夠清楚；NSCT算法融合效果最好，融合圖像細節豐富，紅外目標明確并且與背景分離明顯；而文中算法融合效果在對紅外目標輪廓的提取上要更精準于前3種方法，且與周圍背景界線劃分明確，在顯著突出了紅外目標(鴨子)的基礎上清楚的保留了可見光圖像草叢處細節信息，在背景清晰度上要高于前3種算法，與第四種算法相比差異很小。

對于第二組圖像來說，由于可見光圖像是黑夜條件下拍攝的，照明條件不好，因此圖像的紋理、邊緣等特征只在一些有燈光處才得到比較明顯地顯示，而CS_MAX，CS_E和CS_SD這3種算法得到的融合圖像細節信息均不清晰，如圖4(c)、(d)、(e)中廣告牌、汽車以及近處的交通指示燈都有不同程度的模糊。而第四種算法和文中算法在精準提取紅外目標輪廓的基礎上，使融合后的背景更接近可見光圖像，并且這2種算法從主觀角度分析，對紅外目標的提取效果相當，突出圖像細節信息，使融合后的熱目標在圖像中相比周圍區域有良好的對比度特征。因此，文中算法與前3種算法相比，保留了更多的可見光圖像細節信息，與第四種算法相比，主觀上差異很小甚至主觀上無法察覺。

圖3 第一組融合仿真實驗效果Fig.3 Comparison of different fusion effect for the first set of images

圖4 第二組融合仿真實驗效果Fig.4 Comparison of different fusion effect for the second set of images

2組圖像的5種算法的客觀參數比較見表1.由表1可知：文中算法的融合效果在E(信息熵)、AG(平均梯度)、SD(標準差)這幾方面指標中均優于前3種算法，略低于第四種算法。由于文中算法是根據源圖像的性質而選擇不同的融合規則進行圖像融合，既得到了圖像瞬變特征的顯著信息，又豐富了圖像的信息量，二者兼而有之，使得融合圖像從源圖像中獲取到更多的信息，增強了細節的表現力。相比較第四種算法，由于壓縮感知算法的引入，高頻分量在經過壓縮感知后得到得是觀測系數的線性組合，因而導致文中算法在融合高頻系數時無法像第四種算法完全精確重構高頻系數，所以從客觀參數角度分析，文中算法相比較第四種算法融合效果稍差一點。但是從數據量上看，在確保較好的融合效果的基礎上，文中算法采用M=190采樣點對待融合圖像的高頻系數進行3層壓縮，由于壓縮感知算法的引入，使得每層圖像高頻系數的數據量在融合時都有所減少，數據量為665K，而未經過壓縮感知的高頻圖像數據量為896K，減少了25.7%.綜上所述，文中算法在保證融合圖像質量的前提下，有效節省了傳輸、儲存、重構的成本。

表1 5種算法圖像融合客觀參數比較Table 1 Comparison for image fusion objective parameters of five algorithms

4 結 論

將壓縮感知算法應用于圖像融合領域，針對低頻系數和高頻系數各自特征采用不同融合規則進行融合。低頻融合選擇更能突出紅外和可見光圖像信息特點的分塊DCT高頻能量準則，高頻考慮到傳統圖像融合規則中的局部信息選取規則不適用CS的測量處理，因此采用結合高頻觀測值特點的自適應融合規則融合圖像。仿真實驗表明，文中算法與傳統算法相比提高了融合圖像的質量，與NSCT算法相比大大減少了高頻融合時所需的數據量。同時，從融合效果上來說，文中算法不僅準確提取到紅外目標，并且有效保留了可見光圖像的背景信息和細節信息，融合圖像使紅外目標部分更接近可見光圖像，提高了融合圖像的效果。