結合稀疏表示與FFST-PCNN的紅外/可見光圖像融合

談 玲， 于 欣

(南京信息工程大學 計算機與軟件學院， 南京 210044)

0 引 言

紅外與可見光圖像的融合有利于獲取目標信息和場景信息，并已廣泛應用于計算機視覺、目標探測與識別、軍事、視頻監控等領域[1-2]。文獻[3]中提出的多尺度分解工具與SR結合的融合算法，能夠將能量從源圖像轉到融合圖像，提高融合結果的對比度。

近年來，基于FFST、SR和PCNN模型的圖像融合算法受到越來越多的關注。文獻[4]中提出的基于改進NSCT的可見光與紅外圖像的融合方法，具有良好的方向各異性以及方向選擇性，但是仍然無法高效地描述圖像內部的幾何特征，不能完全具備平移不變性。本文提出了一種基于SR與FFST-PCNN的紅外與可見光圖像融合算法FFST-SR-PCNN。該方法相關研究已經在醫學圖像融合中開展，效果很好，在主觀視覺效果與客觀評價指標方面都得到了較好的結果。

1 相關理論

1.1 稀疏表示

稀疏表示的模型[5-6]可以通過下式得到：

(1)

1.2 脈沖耦合神經網絡

PCNN[8]簡化模型的數學表達式為：

(2)

式中：n為迭代次數；Iij為刺激信號；Yij、Uij分別為外部輸入和內部狀態；Fij為反饋輸入；Lij為鏈接輸入；Wijkl為神經元之間的連接權系數；β、θij、αθ分別為鏈接強度、可變閾值的輸入及可變閾值的衰減時間常數；VL、Vθ分別是鏈接輸入的放大系數與閾值的放大系數。

2 圖像融合算法

針對目前小波變換會導致細節的信息丟失，并且當紅外與可見光圖像融合時信息會相互干擾，導致綜合性能不佳的問題[9]，本文提出了一種基于SR與FFST-PCNN的紅外與可見光圖像融合算法FFST-SR-PCNN。該方法在快速有限剪切波變換的基礎上，在脈沖耦合神經網絡方面進行了改進，以期獲得具有更豐富細節特征的紅外與可見光融合圖像。

2.1 FFST變換

剪切波變換作為多尺度幾何的分析工具，克服了小波變換的缺點，它具有比輪廓波變換更好的方向敏感性[10-11]。本文所提出的FFST-SR-PCNN算法結合了稀疏表示與FFST-PCNN，能夠提取圖像的細節信息，從而獲得更豐富的信息。

離散剪切波：

(3)

其頻域表達式為：

exp(-2πi〈ω,tm〉/N)

(4)

式中：

[N/2]-1,i=1,2}

(5)

由此離散剪切波可表示為：

(6)

式中：j=0,1，…,j0-1,-2j+1≤2j-1,m∈?。

由于FFST不存在下采樣過程，因此具備了平移不變性。FFST還具有非常好的局部化特性和方向敏感性。

2.2 低頻系數融合規則

首先，用K-SVD算法訓練樣本集從而得到過完備字典D；然后利用OMP優化算法估計稀疏系數；最后根據圖像的特征自適應融合稀疏系數。具體的實現步驟如下：

(1) 利用FFST分解尺寸為M×N的源圖像A和B，得到低頻系數與高頻系數。

(2) 使用步長為S和大小為n×n的滑動窗口來進行低頻系數LA、LB的分塊處理，獲得(N+n-1)×(M+n-1)個圖像子塊，然后把圖像子塊轉化為列向量獲得樣本的訓練矩陣VA和VB。

(3) 采用K-SVD算法迭代樣本矩陣，獲得低頻系數的過完備字典D。

(4) 利用OMP算法估計VA和VB的稀疏系數，得到稀疏系數的矩陣αA和αB。第i列稀疏系數的矩陣根據下式進行融合

(7)

(5) 用融合后稀疏系數的矩陣αF乘過完備字典D，融合樣本的訓練矩陣

VF=DαF

(8)

(6) 將VF的列轉化為數據子塊，并且重建數據子塊來得到低頻融合系數。

基于SR的低頻系數融合過程如圖1所示。圖中:LA、LB為低頻系數；n×n為滑動窗口的大小。

圖1 基于稀疏表示的低頻系數的融合過程

2.3 高頻系數融合規則

在PCNN模型中，β的值決定神經元耦合關系的強度，SF為：

(9)

式中：窗口大小為3×3；

(10)

(11)

基于PCNN簡化模型的高頻系數融合規則采用像素本身作為神經元的反饋輸入激勵每個神經元，并選擇SF作為神經元的鏈接強度值,并根據點火次數選擇高頻融合系數，具體實現步驟如下：

(1) 根據式(9)計算高頻系數HA、HB的鄰域空間的頻率SFA、SFB，并將空間頻率作為神經元的鏈接強度值。

(2) 初始化設置。Lij(0)=Uij(0)=θij(0)=0，此時，神經元處于熄火狀態，即Yij(0)=0，產生的脈沖數為Oij(0)=0。

(3) 根據式(2)計算Lij[n]、Uij[n]、θij[n]和Yij[n]。

(4) 比較圖像素處點火時間的輸出閾值(點火的頻數)OA、OB，高頻的融合系數,

(12)

3 實驗結果與分析

為了驗證FFST-SR-PCNN算法的性能，選擇4種比較典型的算法作為對比。采用空間頻率SF、平均梯度AG、互信息MI、信息熵EN及邊緣信息傳遞因子QAB/F(高權重評價指標)[12]5個指標進行客觀評價。對比算法1為基于離散小波的變換[13]；算法2為基于NSCT和PCNN的算法[14]；算法3為基于引導濾波的方法[15]；算法4為基于雙邊和高斯混合濾波的方法[16]。

圖像融合的實驗選擇3組大小為256×256的紅外與可見光圖像為待融合圖像，各算法融合圖像結果如圖2～4所示。

(a) 紅外

(b) 可見光

(c) 算法1

(d) 算法2

(e) 算法3

(f) 算法4

(g) FFST-SR-PCNN

圖2 第1組融合結果

(a) 紅外

(b) 可見光

(c) 算法1

(d) 算法2

(e) 算法3

(f) 算法4

(g) FFST-SR-PCNN

圖3 第2組融合結果

(a) 紅外

(b) 可見光

(c) 算法1

(d) 算法2

(e) 算法3

(f) 算法4

(g) FFST-SR-PCNN

圖4 第3組融合結果

從圖2～4的人眼視覺效果來看。第1組融合結果中，圖2(c)對比度較低，廣告牌、行人等細節信息相對模糊，且存在塊效應。圖2(d)、(e)對比度較高，圖像更清晰，但廣告牌等細節部分的融合效果相對較差，圖2(f)對比度較低，融合效果不理想。第2組融合結果中，圖3(c)對于目標輪廓的表達模糊不清，對比度較低，且融合結果存在塊效應，圖3(d)、(e)出現了空間不連續的問題，影響了整體的融合效果，圖3(f)對于目標以及灌木等場景的細節信息保留比較好，相對來說，FFST-SR-PCNN算法獲得的融合結果的目標更加清晰可辨。第3組融合結果中，圖4(c)對比度較低，清晰度不足，圖4(f)對比度較低，視覺效果較差，圖4(d)、(e)相對來說更加清晰，圖像的對比度更高，相比之下，FFST-SR-PCNN算法獲得的信息更加完整和準確。各組融合結果的圖2(g)、圖3(g)和圖4(g)完整地表達了紅外圖像目標的亮度特征和可見光圖像背景的紋理、輪廓以及邊緣特征，符合人類的視覺效果。

各算法客觀質量的評價指標如表1～3所示，從表1～3的客觀質量評價指標來看，雖然在第1組的融合結果中，FFST-SR-PCNN算法的EN指標略低于算法2，在第2組融合的結果中，FFST-SR-PCNN算法的EN指標略低于算法4，但3組中除了這兩個指標外，其它的指標明顯比對比算法的指標要高。

表1 第1組客觀質量評價指標

表2 第2組客觀質量評價指標

表3 第3組客觀質量評價指標

4 結 語

FFST-SR-PCNN算法能夠避免圖像能量以及方向信息的丟失，融入了多尺度、對比度及人眼視覺等信息，來提高融合結果的總體性能。在與其他4種比較算法的對比實驗中，FFST-SR-PCNN算法的單項評價指標基本都排名在第1位；從綜合評價指標來看，FFST-SR-PCNN算法效果最好。總的來說，FFST-SR-PCNN能夠較好地提取出紅外圖像的目標信息，也可以較好地保留住可見光圖像的場景信息，融合的結果與人類的視覺特征符合，具有良好的視覺效果。

FFST-SR-PCNN還可以在低頻系數融合方面進行改進，如過完備字典可以采用在線學習的方式，這將是下一步的研究方向。