基于NSST和聯合稀疏表示的紅外與可見光圖像融合算法

武警工程大學信息工程系　羅　杰　孔韋韋

基于NSST和聯合稀疏表示的紅外與可見光圖像融合算法

武警工程大學信息工程系羅杰孔韋韋

針對當前采用NSST變換的紅外與可見光圖像融合算法中低通子帶系數過小導致的融合質量不高的問題，提出一種基于稀疏表示的改進融合算法。首先對源圖像做NSST變換分別得到低頻和高頻兩個子帶系數，然后低頻部分根據稀疏表示算法得到的特有系數確定融合權重，高頻部分采用尺度分層表示與平均梯度相結合的方案，最后對兩部分的融合結果做NSST逆變換得到最終融合圖像。仿真實驗結果表明，相較與傳統的基于NSCT、NSST以及采用單尺度稀疏表示的融合方法，本方法在紅外與可見光圖像的融合質量更好，效果更明顯。

數字圖像融合；紅外與可見光；非下采樣剪切波變換；聯合稀疏表示

1　引言

數字圖像融合技術是通過圖像處理工具和計算機技術，對多源傳感器獲得的圖像運用相應的融合算法和規則，將源圖像的光譜信息和典型特征盡可能地傳遞到融合圖像中加以整合，從而獲得對目標場景的更為直觀和準確的描述的綜合性技術［1］。由于數字圖像融合得到的圖像具有冗余小、實時性高和互補性強等特點，能夠更好地適應人眼的視覺特性和滿足計算機處理的需要，因此在遙感探測、導彈制導、醫學診斷和安全監控等諸多方面有著較為廣泛的應用。

近年來，圖像融合技術的發展日新月異。基于多分辨率多尺度的幾何分析工具給圖像融合領域的發展帶來了新的思路，作為其中典型的代表，非下采樣剪切波變換（NSST）以其良好的時頻特性、穩定的平移不變性和各向異性受到了廣大學者的青睞。然而，研究人員發現經過NSST變換得到的圖像低通子帶系數較小，其稀疏度不足以滿足對低通子帶系數融合的要求。

本文結合聯合稀疏表示的分析工具提出了一種基于NSST的圖像融合方法。利用NSST的多尺度性和多方向性將源圖像從頻域和空間域兩個方面劃分為低通子帶圖像和若干個帶通方向子帶圖像。通過聯合稀疏表示理論提取低頻子帶系數的特有系數和冗余系數，根據特有系數的活躍程度加以統計處理，得到融合結果。仿真實驗結果表明，針對紅外與可見光圖像和多聚焦圖像，該方法無論是主觀視覺評價還是客觀指標分析上都具有明顯的優勢。

2　NSST變換

NSST是目前數字圖像融合領域較為新穎的多分辨率處理方法，該方法通過利用非下采樣金字塔濾波器組［2］（non-subsample pyramid filter bands，NSPFB）和非下采樣Shear濾波器組（nonsubsample shearlet filter bands，NSSFB）完成對源圖像的多尺度多方向分解。首先采用NSPFB將原始圖像在頻率上層層剝離，有效保證了分解的層次性和融合的質量［3］。然后采用NSSFB對帶通子帶圖像進行方向分解，得到各個尺度層上不同方向的子帶圖像。

NSST在多方向分解中創新性地使用了NSSFB，它通過靈活運用一維子帶濾波器進行濾波處理，從而在圖像的多方向分解過程中避免了金字塔分解和分析濾波中的臨界采樣操作，進而有效確保了圖像的平移不變性［4］。所以NSST的優越性體現在圖像失真較少，Gibbs現象得到有效遏制等方面。K級NSST分解總共經歷了K次尺度分解和K次方向分解，每次所得帶通子帶圖像做shear方向濾波，而低通子帶圖像都作為下一級的源圖像輸入。當分解層數為K時，最終將得到1個低通子帶圖像和個帶通子帶圖像，其中n為方向分解的維度。

3　低通子帶系數融合規則

聯合稀疏表示是由信號之間的相關性和學習得到的統一字典實現的，所有輸入信號都可以借助聯合稀疏表示由特有部分和冗余部分組成［5］。由于源圖像都是關于同一場景同一目標的描述，因此在NSST變換后，所得的低通子帶圖像也存在相關性，也可以利用聯合稀疏表示理論實現系數的最稀疏性，對輸入信號L存在一組由其中元素構成的線性組合能對該信號做出近似的表示，則有：

其最優稀疏值ac和aui的求解可采用OMP算法得到。定義低頻子帶系數中特有系數的活躍度x和特有系數aui所占總體系數a的權重i如下：

因此，低頻子帶系數可由稀疏系數表示為：

4　帶通子帶系數融合規則

帶通子帶圖像是源圖像的高頻部分，反映了原始信號的邊緣紋理信息和線性特征。平均梯度反映圖像邊緣紋理處灰度的變化程度，常被用作圖像清晰程度的衡量指標，其定義如下：

式中，F（i，j）表示圖像區域中第i行j列的灰度值，M，N分別為圖像區域的總行數和總列數。定義融合權重

CH（x，y）、CA（x，y）和CB（x，y）分別代表融合后圖像、紅外及可見光圖像的高頻子帶系數。

圖3　仿真實驗結果對比圖

5　實驗結果與分析

將本文提出的方法與傳統的基于NSCT的圖像融合方法、基于NSST的圖像融合方法以及基于稀疏表示的SOMP圖像融合方法進行比較。從變換域到稀疏表示多個方面比較了本文方法的優劣，實驗采用的均為經過配準的圖像。實驗結果如圖3所示。

從圖3中可以看出，相比與其他幾種方法，NSCT融合結果中人物目標與周圍建筑物對比度較小，邊緣紋理特征不夠明顯。基于NSST方法的融合結果中各物體與背景的對比度得到加強，單是在欄桿和道路等地物的清晰度上還有所欠缺；基于稀疏表示SOMP算法的融合實驗中人物較為突出，但是對于建筑物和樹葉等細小細節處邊緣輪廓的平滑現象過于明顯；本文方法則將圖中亮度差別較大的特征物體融合到了最終圖像中，人物的輪廓清晰明顯，樹木和道路等地物紋理清楚層次感強，具有良好的視覺特性。

表1　客觀指標評價表

為了能夠更客觀地評價融合方法的性能優劣，本文選取了幾種較為常用的衡量圖像質量的指標信息熵（IE）、標準差（SD）、平均梯度（AG）和邊緣強度（EI）對融合結果進行分析。表1為各個方法的客觀評價指標。從表中可以看出，相較于變換域的融合方法NSCT和NSST以及在圖像尺度上直接采用稀疏表示的方法SOMP相比，本文提出的方法既能提升圖像的對比度，增強圖像的細節表現力，又能夠對源圖像進行多尺度多方向的分析，提升子帶系數的稀疏度，加強對于特有信息的提取，具有更加良好的融合效果。

6　結論

本文提出了一種基于NSST和聯合稀疏表示的圖像融合算法，針對多尺度分解后低通子帶系數稀疏度低，不利用特有信息提取這一問題，采用聯合稀疏表示方法獲取學習字典，并對得到的特有系數和冗余系數依據活躍程度賦予融合的權重。紅外與可見光的仿真實驗結果表明，該方法同時具有NSST分解特性、平移不變性和稀疏表示的特征保留性，在主、客觀評價中均取得了明顯優勢，具有可行性和實用性，是一種行之有效的方法。

［1］趙飛翔，陶忠祥.基于NSCT的紅外與可見光圖像融合［J］.電光與控制，2013，09：29-33.

［2］王躍華，陶忠祥.一種基于NSCT變換的紅外與可見光圖像融合算法［J］.光學與光電技術，2012，04：81-84.

［3］張蕾，金龍旭，韓雙麗，呂增明，李新娥.采用非采樣Contourlet變換與區域分類的紅外和可見光圖像融合［J］.光學精密工程，2015，03：810-818.

［4］邢雅瓊，王曉丹，雷蕾，宋亞飛.基于NSST域灰度關聯分析的多聚焦圖像融合方法［J］.系統工程理論與實踐，2015，09：2380-2386.

［5］王珺，彭進業，何貴青等.基于非下采樣Contourlet變換和稀疏表示的紅外與可見光圖像融合方法［J］.兵工學報，2013（07）：815-820.

羅杰（1992—），湖北襄陽人，碩士，現就讀于武警工程大學。

孔韋韋（1983—），講師，碩士生導師。