基于NSST和聯(lián)合稀疏表示的紅外與可見光圖像融合算法

武警工程大學信息工程系　羅　杰　孔韋韋

基于NSST和聯(lián)合稀疏表示的紅外與可見光圖像融合算法

武警工程大學信息工程系羅杰孔韋韋

針對當前采用NSST變換的紅外與可見光圖像融合算法中低通子帶系數(shù)過小導致的融合質(zhì)量不高的問題，提出一種基于稀疏表示的改進融合算法。首先對源圖像做NSST變換分別得到低頻和高頻兩個子帶系數(shù)，然后低頻部分根據(jù)稀疏表示算法得到的特有系數(shù)確定融合權重，高頻部分采用尺度分層表示與平均梯度相結(jié)合的方案，最后對兩部分的融合結(jié)果做NSST逆變換得到最終融合圖像。仿真實驗結(jié)果表明，相較與傳統(tǒng)的基于NSCT、NSST以及采用單尺度稀疏表示的融合方法，本方法在紅外與可見光圖像的融合質(zhì)量更好，效果更明顯。

數(shù)字圖像融合；紅外與可見光；非下采樣剪切波變換；聯(lián)合稀疏表示

1　引言

數(shù)字圖像融合技術是通過圖像處理工具和計算機技術，對多源傳感器獲得的圖像運用相應的融合算法和規(guī)則，將源圖像的光譜信息和典型特征盡可能地傳遞到融合圖像中加以整合，從而獲得對目標場景的更為直觀和準確的描述的綜合性技術［1］。由于數(shù)字圖像融合得到的圖像具有冗余小、實時性高和互補性強等特點，能夠更好地適應人眼的視覺特性和滿足計算機處理的需要，因此在遙感探測、導彈制導、醫(yī)學診斷和安全監(jiān)控等諸多方面有著較為廣泛的應用。

近年來，圖像融合技術的發(fā)展日新月異。基于多分辨率多尺度的幾何分析工具給圖像融合領域的發(fā)展帶來了新的思路，作為其中典型的代表，非下采樣剪切波變換（NSST）以其良好的時頻特性、穩(wěn)定的平移不變性和各向異性受到了廣大學者的青睞。然而，研究人員發(fā)現(xiàn)經(jīng)過NSST變換得到的圖像低通子帶系數(shù)較小，其稀疏度不足以滿足對低通子帶系數(shù)融合的要求。

本文結(jié)合聯(lián)合稀疏表示的分析工具提出了一種基于NSST的圖像融合方法。利用NSST的多尺度性和多方向性將源圖像從頻域和空間域兩個方面劃分為低通子帶圖像和若干個帶通方向子帶圖像。通過聯(lián)合稀疏表示理論提取低頻子帶系數(shù)的特有系數(shù)和冗余系數(shù)，根據(jù)特有系數(shù)的活躍程度加以統(tǒng)計處理，得到融合結(jié)果。仿真實驗結(jié)果表明，針對紅外與可見光圖像和多聚焦圖像，該方法無論是主觀視覺評價還是客觀指標分析上都具有明顯的優(yōu)勢。

2　NSST變換

NSST是目前數(shù)字圖像融合領域較為新穎的多分辨率處理方法，該方法通過利用非下采樣金字塔濾波器組［2］（non-subsample pyramid filter bands，NSPFB）和非下采樣Shear濾波器組（nonsubsample shearlet filter bands，NSSFB）完成對源圖像的多尺度多方向分解。首先采用NSPFB將原始圖像在頻率上層層剝離，有效保證了分解的層次性和融合的質(zhì)量［3］。然后采用NSSFB對帶通子帶圖像進行方向分解，得到各個尺度層上不同方向的子帶圖像。

NSST在多方向分解中創(chuàng)新性地使用了NSSFB，它通過靈活運用一維子帶濾波器進行濾波處理，從而在圖像的多方向分解過程中避免了金字塔分解和分析濾波中的臨界采樣操作，進而有效確保了圖像的平移不變性［4］。所以NSST的優(yōu)越性體現(xiàn)在圖像失真較少，Gibbs現(xiàn)象得到有效遏制等方面。K級NSST分解總共經(jīng)歷了K次尺度分解和K次方向分解，每次所得帶通子帶圖像做shear方向濾波，而低通子帶圖像都作為下一級的源圖像輸入。當分解層數(shù)為K時，最終將得到1個低通子帶圖像和個帶通子帶圖像，其中n為方向分解的維度。

3　低通子帶系數(shù)融合規(guī)則

聯(lián)合稀疏表示是由信號之間的相關性和學習得到的統(tǒng)一字典實現(xiàn)的，所有輸入信號都可以借助聯(lián)合稀疏表示由特有部分和冗余部分組成［5］。由于源圖像都是關于同一場景同一目標的描述，因此在NSST變換后，所得的低通子帶圖像也存在相關性，也可以利用聯(lián)合稀疏表示理論實現(xiàn)系數(shù)的最稀疏性，對輸入信號L存在一組由其中元素構成的線性組合能對該信號做出近似的表示，則有：

其最優(yōu)稀疏值ac和aui的求解可采用OMP算法得到。定義低頻子帶系數(shù)中特有系數(shù)的活躍度x和特有系數(shù)aui所占總體系數(shù)a的權重i如下：

因此，低頻子帶系數(shù)可由稀疏系數(shù)表示為：

4　帶通子帶系數(shù)融合規(guī)則

帶通子帶圖像是源圖像的高頻部分，反映了原始信號的邊緣紋理信息和線性特征。平均梯度反映圖像邊緣紋理處灰度的變化程度，常被用作圖像清晰程度的衡量指標，其定義如下：

式中，F(xiàn)（i，j）表示圖像區(qū)域中第i行j列的灰度值，M，N分別為圖像區(qū)域的總行數(shù)和總列數(shù)。定義融合權重

CH（x，y）、CA（x，y）和CB（x，y）分別代表融合后圖像、紅外及可見光圖像的高頻子帶系數(shù)。

圖3　仿真實驗結(jié)果對比圖

5　實驗結(jié)果與分析

將本文提出的方法與傳統(tǒng)的基于NSCT的圖像融合方法、基于NSST的圖像融合方法以及基于稀疏表示的SOMP圖像融合方法進行比較。從變換域到稀疏表示多個方面比較了本文方法的優(yōu)劣，實驗采用的均為經(jīng)過配準的圖像。實驗結(jié)果如圖3所示。

從圖3中可以看出，相比與其他幾種方法，NSCT融合結(jié)果中人物目標與周圍建筑物對比度較小，邊緣紋理特征不夠明顯。基于NSST方法的融合結(jié)果中各物體與背景的對比度得到加強，單是在欄桿和道路等地物的清晰度上還有所欠缺；基于稀疏表示SOMP算法的融合實驗中人物較為突出，但是對于建筑物和樹葉等細小細節(jié)處邊緣輪廓的平滑現(xiàn)象過于明顯；本文方法則將圖中亮度差別較大的特征物體融合到了最終圖像中，人物的輪廓清晰明顯，樹木和道路等地物紋理清楚層次感強，具有良好的視覺特性。

表1　客觀指標評價表

為了能夠更客觀地評價融合方法的性能優(yōu)劣，本文選取了幾種較為常用的衡量圖像質(zhì)量的指標信息熵（IE）、標準差（SD）、平均梯度（AG）和邊緣強度（EI）對融合結(jié)果進行分析。表1為各個方法的客觀評價指標。從表中可以看出，相較于變換域的融合方法NSCT和NSST以及在圖像尺度上直接采用稀疏表示的方法SOMP相比，本文提出的方法既能提升圖像的對比度，增強圖像的細節(jié)表現(xiàn)力，又能夠?qū)υ磮D像進行多尺度多方向的分析，提升子帶系數(shù)的稀疏度，加強對于特有信息的提取，具有更加良好的融合效果。

6　結(jié)論

本文提出了一種基于NSST和聯(lián)合稀疏表示的圖像融合算法，針對多尺度分解后低通子帶系數(shù)稀疏度低，不利用特有信息提取這一問題，采用聯(lián)合稀疏表示方法獲取學習字典，并對得到的特有系數(shù)和冗余系數(shù)依據(jù)活躍程度賦予融合的權重。紅外與可見光的仿真實驗結(jié)果表明，該方法同時具有NSST分解特性、平移不變性和稀疏表示的特征保留性，在主、客觀評價中均取得了明顯優(yōu)勢，具有可行性和實用性，是一種行之有效的方法。

［1］趙飛翔，陶忠祥.基于NSCT的紅外與可見光圖像融合［J］.電光與控制，2013，09：29-33.

［2］王躍華，陶忠祥.一種基于NSCT變換的紅外與可見光圖像融合算法［J］.光學與光電技術，2012，04：81-84.

［3］張蕾，金龍旭，韓雙麗，呂增明，李新娥.采用非采樣Contourlet變換與區(qū)域分類的紅外和可見光圖像融合［J］.光學精密工程，2015，03：810-818.

［4］邢雅瓊，王曉丹，雷蕾，宋亞飛.基于NSST域灰度關聯(lián)分析的多聚焦圖像融合方法［J］.系統(tǒng)工程理論與實踐，2015，09：2380-2386.

［5］王珺，彭進業(yè)，何貴青等.基于非下采樣Contourlet變換和稀疏表示的紅外與可見光圖像融合方法［J］.兵工學報，2013（07）：815-820.

羅杰（1992—），湖北襄陽人，碩士，現(xiàn)就讀于武警工程大學。

孔韋韋（1983—），講師，碩士生導師。