基于NSST和稀疏表示相結(jié)合的圖像融合算法

杜進楷　丁冬冬　龍海蓮　陳世國

摘要：本文針對傳統(tǒng)的多尺度變換和稀疏表示在圖像融合中存在的一些不足，提出了一種基于非下采樣shearlet變換（NSST）的低頻域稀疏表示（SR）和高頻域脈沖耦合神經(jīng)網(wǎng)絡（PCNN）的圖像融合算法（簡稱NSST-LSR-HPCNN），并對低頻域稀疏表示系數(shù)采用改進的拉普拉斯能量和（SML）取大的規(guī)則進行融合。仿真結(jié)果表明，NSST-LSR-HPCNN算法中低頻域稀疏表示系數(shù)采用SML取大的規(guī)則融合圖像的空間頻率SF、互信息量MI、邊緣保持度QAB/F的數(shù)值均高于本文其他幾種對比算法融合圖像的數(shù)值，在高頻域融合規(guī)則相同的情況下，相比于低頻域稀疏表示系數(shù)采用L1范數(shù)取大的融合規(guī)則，本文算法的SF提高了0.19%、MI提高了5.98%、QAB/F提高了0.57%，SF、MI、QAB/F指標均具有較優(yōu)值。本文算法有效的綜合了紅外圖像和可見光圖像中的信息，融合圖像更加全面的攜帶了源圖像中的有效信息特征，在主觀視覺效果和客觀評價指標上均優(yōu)于其他幾種對比融合算法。

關(guān)鍵詞：多尺度變換;稀疏表示;低頻域;高頻域;紅外圖像;可見光圖像

中圖分類號： TP302 ? ? ?文獻標識碼：A

文章編號：1009-3044（2019）15-0217-06

Abstract： Aiming at some shortcomings of traditional multi-scale transform and sparse representation in image fusion， this paper proposes a low-frequency domain sparse representation （SR） and high-frequency domain pulse coupled neural network （PCNN） based on non-subsampled shearlet transform （NSST）. Image fusion algorithm （NSST-LSR-HPCNN for short）， and the low-frequency domain sparse representation coefficient is fused by the improved Laplacian energy and （SML） large rules. The experimental results show that the spatial frequency SF， mutual information MI and edge retention QAB/F of the NSST-LSR-HPCNN algorithm in the low-frequency domain sparse representation coefficient using SML are larger than the other comparisons. The value of the algorithm fusion image， when the high-frequency domain fusion rule is the same， compared with the low-frequency domain sparse representation coefficient using the L1 norm to enlarge the fusion rule， the SF of the algorithm is increased by 0.19% and the MI is increased by 5.98%. QAB/F increased by 0.57%， and the SF， MI， and QAB/F indicators all had superior values. The algorithm effectively combines the information in the infrared image and the visible light image. The fused image carries the effective information features in the source image more comprehensively， and is superior to other comparison fusion algorithms in subjective visual effects and objective evaluation indicators.

Key words： multiscale transformation; sparse representation; low frequency domain; high frequency domain; infrared image;visible image

圖像融合是指將多個圖像傳感器或同一圖像傳感器以不同的工作模式獲取的關(guān)于同一場景的圖像信息加以綜合，以獲得新的關(guān)于此場景更加準確的描述[1]。在實際應用中，多個圖像傳感器或同一圖像傳感器模式設(shè)置的不同所獲得的圖像信息具有一定的冗余性和互補性，通過圖像融合技術(shù)，將所得的圖像進行融合處理，可以進一步提高圖像的清晰度，使得圖像的信息量增加。在同一場景下，紅外圖像可以反映出目標的紅外熱輻射能量分布，具有較強的對比度，受外界環(huán)境影響較小，但不能很好地表現(xiàn)目標及場景的細節(jié)信息;可見光圖像可以很好地表現(xiàn)出目標及場景的細節(jié)信息，但易被外界環(huán)境所干擾。通過圖像融合技術(shù)，將紅外和可見光圖像進行融合，達到一種優(yōu)勢互補，使得圖像既具有較強的對比度，又能很好地表現(xiàn)出目標及場景的細節(jié)信息和對環(huán)境的適應能力。因此，紅外與可見光圖像融合是十分有意義的，已被廣泛應用于圖像去霧、安全監(jiān)控和軍事偵察等領(lǐng)域[2]。

在變換域圖像融合方法中，基于多分辨率分析的圖像融合方法目前受國內(nèi)外圖像融合研究者關(guān)注較多，應用也較為廣泛。多分辨率分析方法中，小波變換的時頻局部化特性較為良好，在圖像融合領(lǐng)域得到了廣泛的應用。由于小波變換不具有平移不變性，并且捕獲到的方向信息較為有限，會導致融合圖像的細節(jié)信息丟失[3]，針對這一局限性，Minh N Do等人提出了Contourlet變換[3]。Contourlet變換不僅具有小波變換的優(yōu)點，還具有各向異性，但不具有平移不變性，會導致圖像奇異點周圍的偽吉布斯現(xiàn)象[4]。針對這一不足，Cunha A.L等人提出了非下采樣Contourlet變換（NSCT） [5]，但 NSCT 模型的計算復雜度較高，運行時間過長，處理效率較低。Shearlet變換[6-7]是Demetrio Labate等人在2005年提出的一種新的多尺度變換，相比于Contourlet變換和NSCT，Shearlet變換不會限制支撐基的尺寸和分解的方向數(shù)，而且其逆變換不需要對方向濾波器進行逆合成，只需要對正向變換中的Shearlet濾波器進行加和處理，從而使得實現(xiàn)效率較高[8]。由于Shearlet變換不具有平移不變性，還會導致圖像奇異點周圍的偽吉布斯現(xiàn)象，K.Guo和G.Easley等人提出了非下采樣Shearlet變換 （NSST）[9]，可以克服這一不足，不僅保持了NSCT的一些優(yōu)良特性，而且具有更高的效率。將其應用在圖像融合中，可以顯著地提高融合圖像的質(zhì)量，并且提高融合的效率。

本文的研究工作主要是基于NSST和稀疏表示、PCNN幾種算法相結(jié)合進行紅外和可見光圖像的融合。對源圖像進行NSST分解后，會得到不同尺度的低頻分量和高頻分量，而各個分量融合規(guī)則的選擇對融合圖像的質(zhì)量起著至關(guān)重要的作用。NSST分解的低頻分量稀疏性較差，采用稀疏表示的融合方法，對其使用K-SVD算法進行字典訓練并對去均值后的圖像塊分別采用OMP算法計算稀疏表示系數(shù)，然后對稀疏表示系數(shù)采用SML取大的融合規(guī)則進行融合。NSST分解的高頻分量描述了源圖像的細節(jié)信息，傳統(tǒng)的加權(quán)平均、絕對值取大等方法用于高頻分量的融合，會導致圖像細節(jié)的丟失，不能取得較為理想的融合效果。脈沖耦合神經(jīng)網(wǎng)絡（PCNN）具有位移、旋轉(zhuǎn)、尺度和扭曲不變的特性，而且可以貫穿整幅圖像的自動波[10-11]，將其應用到圖像融合中，可以保留源圖像的更多細節(jié)信息，取得較好的融合效果。最后使用NSST逆變換重構(gòu)融合的低頻分量和高頻分量得到融合圖像。通過在MATLAB環(huán)境下進行仿真，結(jié)果表明，本文提出的算法融合的圖像可以進一步提高圖像的清晰度、增加圖像的信息量，融合效果較為理想。

1 非下采樣Shearlet變換

Shearlet變換[6-7]是Demetrio Labate等人在2005年提出的一種新的多尺度變換，克服了 Contourlet 變換和NSCT在支撐基的尺寸和分解方向數(shù)上的限制，并且提高了運算效率。 當維數(shù)n=2時，具有合成膨脹的仿射系統(tǒng)定義如式（1）所示

式中：[f∈L2（R2）]，則[AAS（ψ）]中的元素稱為合成小波。A稱為各向異性膨脹矩陣，[Aj]與尺度變換有關(guān)，S為剪切矩陣，[Sl]與保持面積不變的幾何變換有關(guān)。特別地，當A=[4 0 0 2]，S=[1 1 0 1]時，此時的合成小波為剪切波。NSST[12]是K.Guo和G.Easley等人2008年在shearlet變換的基礎(chǔ)上提出來的一種非正交變換，其離散過程主要包括基于非下采樣金字塔濾波器組的多尺度分解和基于改進的剪切波濾波器組的多方向分解兩部分[13]，其分解原理如圖1所示。這一模型可以避免下采樣的操作，從而具有平移不變性，使得分解的圖像具有較高的冗余度，用于圖像融合中，可以取得較好的融合效果。

2 稀疏表示理論模型

稀疏表示[14]是Olshausen和Field在1996年提出的，他們認為每幅圖像都可以看成多個基函數(shù)的線性組合，這些基函數(shù)可以經(jīng)過多幅圖像的訓練估計出來[13]。其數(shù)學模型如式（3）所示：

上述方程的求解常用的方法有基追蹤（BP）算法、匹配追蹤（MP）算法、正交匹配追蹤（OMP）算法等，其中，OMP算法克服了BP算法復雜度高和MP算法原子之間不正交的問題，具有較高的計算效率，而且能達到最優(yōu)收斂[15]。因此，本文選擇OMP算法來計算圖像低頻分量的稀疏系數(shù)。

從上述模型中可以看出，過完備字典D的選取對圖像處理的效果起著至關(guān)重要的作用，本文選擇文獻[16]中所采用的K-SVD[17]方法來訓練字典，其數(shù)學優(yōu)化目標函數(shù)如式（4）所示：

3 PCNN的簡化模型

脈沖耦合神經(jīng)網(wǎng)絡（PCNN）是根據(jù)貓的視覺皮層上的神經(jīng)元同步脈沖發(fā)放現(xiàn)象提出的神經(jīng)元模型，是一種不同于傳統(tǒng)人工神經(jīng)網(wǎng)絡的新型神經(jīng)網(wǎng)絡，成功應用在圖像處理的一些領(lǐng)域[18]。

PCNN 神經(jīng)元模型是反饋型神經(jīng)網(wǎng)絡的一種模型，由若干個PCNN神經(jīng)元互相連接構(gòu)成的，其中的每一個神經(jīng)元都由三部分組成，分別是：接受域、調(diào)制部分、脈沖產(chǎn)生器[19]。傳統(tǒng)的PCNN模型所設(shè)置的參數(shù)較多，運行過程較為復雜，本文采用如圖2所示的簡化模型，使得神經(jīng)元的輸入通道F只接受外界刺激，鏈接通道L接受周圍神經(jīng)元的輸出，其數(shù)學方程描述如式（5）所示。

式中，n為迭代次數(shù)，F(xiàn)ij[n]和Lij[n]分別為像素點（i，j）位置第n次迭代時的輸入項和鏈接項，Sij為外界刺激，本文選擇高頻域每一像素點處的灰度值作為外界刺激，αL和VL分別表示鏈接域中衰減時間常數(shù)和放大系數(shù)，Wijkl表示鏈接域的連接權(quán)值系數(shù)，Uij[n]為像素點（i，j）位置第n次迭代時的內(nèi)部活動項，β為神經(jīng)元的鏈接強度，Yij[n]為像素點（i，j）位置第n次迭代時的輸出時序脈沖序列，θij[n]為像素點（i，j）位置第n次迭代時的動態(tài)門限閾值，αθ和Vθ分別表示動態(tài)門限的衰減時間系數(shù)和放大系數(shù)。

PCNN的簡化模型工作過程為：接受域接受來自外部的刺激和相鄰神經(jīng)元的輸出，通過F通道和L通道傳送到內(nèi)部活動項中。調(diào)制部分利用相鄰神經(jīng)元的耦合鏈接，將L通道的信號加上一個正的偏移量β后與L通道的信號進行相乘調(diào)制，可以得到神經(jīng)元的內(nèi)部活動信號[Uij] 。接著傳遞[Uij]到脈沖產(chǎn)生部分，并與動態(tài)門限閾值進行比較，當[Uij>θij]時，脈沖產(chǎn)生器會被打開，對應的神經(jīng)元點火，輸出值為[Yij=1]，接著由于反饋作用，[θij]的值迅速升高，升高到超過[Uij]的值時，脈沖產(chǎn)生器會被關(guān)閉，相應的神經(jīng)元也會停止點火，輸出值[Yij=0]。如此循環(huán)往復的進行，直到達到所設(shè)置的最大迭代次數(shù)n。

4 圖像融合算法

4.1 NSST分解圖像

使用NSST分別對配準好的待融合的紅外和可見光源圖像進行分解，分解的尺度為4，剪切方向數(shù)設(shè)為[3，3，4，4]，濾波器選擇“maxflat”濾波器。然后對分解后的低頻分量和高頻分量根據(jù)各自的特征分別采用合適的融合算法進行融合處理。

4.2 低頻分量的融合

對低頻分量融合規(guī)則的選擇決定了融合圖像對源圖像大部分信息的保留程度。本文基于低頻分量稀疏性較差這一局限性，采用了稀疏表示的融合算法，當前大部分文獻對稀疏表示系數(shù)選用絕對值取大的融合規(guī)則，這一方法只是考慮了單個像素的特性，沒有考慮到系數(shù)間的相關(guān)性。本文采用SML這一典型清晰度評價融合性能的指標用于稀疏系數(shù)的融合，對低頻域的稀疏表示系數(shù)采用SML取大的規(guī)則進行融合。

融合步驟如下：

（1） 利用步長為s像素的滑動窗口把NSST分解的低頻分量從左上到右下依次劃分為[n×n] 大小的圖像塊，將采集到的圖像塊分別記為[piATi=1]和[piBTi=1]，其中，T為圖像塊的總數(shù)，本文采用的滑窗大小為8×8，步長為1。

（5） 對[piATi=1]和[piBTi=1]的所有圖像塊執(zhí)行上述（2）—（4）的操作，可以得到所有圖像塊的融合結(jié)果[viFTi=1]。對每一個塊向量[viF]，將其轉(zhuǎn)換為[] 的圖像塊形式[piF]，放到低頻空間坐標系的對應位置，再對重復像素取平均后可得到最終的低頻結(jié)果LF。

4.3 高頻分量的融合

對高頻分量融合規(guī)則的選擇決定了融合圖像對兩幅源圖像中細節(jié)的保留程度。本文基于高頻分量的這一特性，采用了PCNN的融合算法。

首先，對待融合圖像的高頻分量分別進行歸一化操作，將其每一像素（）處的灰度值作為對應神經(jīng)元的外部刺激輸入到PCNN的簡化模型中;其次，設(shè)置PCNN參數(shù)的初始值，因其初始狀態(tài)未點火，初始參數(shù)設(shè)置為：Lij[0]=Uij[0]=Yij[0]=[θij[0]]=0;最后，判斷高頻分量達到最大迭代次數(shù)時每一像素 （）處的點火次數(shù)，并設(shè)置其初始點火次數(shù)Tij[0]=0，然后比較兩幅圖像高頻分量每一像素處的點火次數(shù)來選擇融合系數(shù)，選取點火次數(shù)多的像素點作為高頻分量融合后的像素點。PCNN網(wǎng)絡模型的參數(shù)設(shè)置為：[αL=1]，VL=1，[αθ=0.2]，[Vθ=20]，β=3，W=[0.5 1 0.5;1 0 1;0.5 1 0.5]，最大迭代次數(shù)n=200。

4.4 NSST逆變換重構(gòu)圖像

使用NSST的逆變換對融合后的低頻分量和高頻分量進行重構(gòu)，從而得到融合圖像。

5 實驗結(jié)果及分析

5.1 實驗圖像選取

為了對本文所提出算法的效果進行驗證，選取了兩幅256×256大小的紅外和可見光源圖像進行融合仿真實驗。如圖3為本文選取的進行仿真實驗的紅外圖像，如圖4為本文選取的進行仿真實驗的可見光圖像。

5.2 實驗圖像融合

為了驗證本文所提出算法的性能，實驗中將融合領(lǐng)域中的一些算法與本文算法進行比較。算法一為基于離散小波變換的圖像融合算法得到的融合圖像，使用離散小波變換對配準好的待融合的紅外和可見光源圖像進行分解，分解層數(shù)為4層，小波基函數(shù)選擇“db4”，低、高頻分量的融合規(guī)則與本文所用的融合規(guī)則相同，如圖5為算法一得到融合圖像。算法二為基于NSCT的圖像融合算法得到的融合圖像，使用NSCT對配準好的待融合的紅外和可見光源圖像進行分解，使用‘9-7濾波器作為塔型分解濾波器，使用‘pkva濾波器作為方向濾波器，四個分解層的方向數(shù)量依次為3、3、4、4，低、高頻分量的融合規(guī)則與本文所用的融合規(guī)則相同，如圖6為算法二得到的融合圖像。算法三為基于NSST的圖像融合算法得到的融合圖像，使用NSST對配準好的待融合的紅外和可見光源圖像進行分解，NSST的參數(shù)設(shè)置與本文算法中NSST的參數(shù)設(shè)置一樣，分解后的低頻分量選擇加權(quán)平均的方法進行融合處理，高頻分量選擇絕對值取大的方法進行融合處理，如圖7為算法三得到的融合圖像。算法四為基于NSST的圖像融合算法得到的融合圖像，使用NSST對配準好的待融合的紅外和可見光源圖像進行分解，NSST的參數(shù)設(shè)置與本文算法中NSST的參數(shù)設(shè)置一樣，分解后的低頻分量選擇稀疏表示的方法，并選擇稀疏表示系數(shù)絕對值取大的融合規(guī)則選擇稀疏表示系數(shù)，高頻分量選擇PCNN的方法進行融合處理，PCNN模型的參數(shù)與本文所用的算法中PCNN參數(shù)一樣，如圖8為算法四得到的融合圖像。算法五為基于NSST的圖像融合算法得到的融合圖像，使用NSST對配準好的待融合的紅外和可見光源圖像進行分解，NSST的參數(shù)設(shè)置與本文NSST的參數(shù)設(shè)置一樣，分解后的低頻分量選擇稀疏表示的方法進行融合處理，并選擇空間頻率取大的融合規(guī)則選擇稀疏表示系數(shù)，高頻分量選擇PCNN的方法進行融合處理，PCNN模型的參數(shù)與本文所用的算法中PCNN參數(shù)一樣，如圖9為算法五得到的融合圖像。如圖10為本文算法得到的融合圖像。

5.3 實驗結(jié)果分析

為了客觀地評價圖像的融合效果，本文選擇空間頻率（SF）這一基于梯度值的評價指標和互信息量（MI）、邊緣保持度QAB/F兩種基于源圖像的評價指標對融合仿真結(jié)果進行評價分析。SF可以反映出空間域內(nèi)圖像的總體活躍程度，MI計算源圖像有多少信息轉(zhuǎn)移到了融合結(jié)果中，而QAB/F利用Sobel邊緣檢測來衡量有多少邊緣信息從源圖像轉(zhuǎn)移到融合圖像[20]，三者的值越大，說明所采用的算法的融合性能越好。如表1為各種融合算法所得的融合圖像評價指標比較，從給出的6種融合算法的各項評價指標可以看出，采用同樣的融合規(guī)則，NSST分解方法融合圖像的SF、MI和QAB/F均高于DWT和NSCT分解方法融合圖像。NSST分解方法中，高頻域采用同的融合規(guī)則，低頻域使用稀疏表示的方法中，對稀疏表示系數(shù)采用基于SML取大的融合規(guī)則融合圖像的SF、MI和QAB/F的數(shù)值均高于采用稀疏系數(shù)絕對值取大和采用基于SF取大的融合規(guī)則融合圖像的數(shù)值，并且本文所提出的算法融合圖像的SF、MI和QAB/F的數(shù)值高于傳統(tǒng)的基于NSST分解的低頻域加權(quán)平均高頻域絕對值取大的融合圖像的數(shù)值。綜合主觀評價和客觀評價的各項指標可以看出，圖10的融合效果較為理想。

6 結(jié)論

本文以NSST為基本框架進行紅外和可見光圖像融合，將稀疏表示方法用于低頻分量的融合，將PCNN的方法用于高頻分量的融合，并對低頻域稀疏表示系數(shù)采用改進的拉普拉斯能量和（SML）取大的規(guī)則進行融合。與其他方法的對比實驗結(jié)果表明，本文提出的算法在主觀視覺效果的定性評價和客觀融合信息定量評價兩方面均優(yōu)于其他幾種算法。

參考文獻：

[1] 苗啟廣，葉傳奇，湯磊，李偉生.多傳感器圖像融合技術(shù)及應用[M].西安.西安電子科技大學出版社，2014.

[2] 李博博，馬泳，張曉曄，樊凡.基于BMA濾波器和邊緣的紅外與可見光圖像融合[J].紅外技術(shù)，2018，40（2）：139-145.

[3] Do M N， Vetterli M.The contourlet transform： an efficient directional multiresolution image representation[J]. IEEE Transactions on Image Processing， 2005， 14（12）： 2091-2106.

[4] Qu Xiao-Bo，YAN Jing-Wen，XIAO Hong-Zhi，ZHU Zi-Qian. Image Fusion Algorithm Based on Spatial Frequency-Motivated Pulse Coupled Neural Networks in Nonsubsampled Contourlet Transform Domain[J]. Acta Automatica Sinica，Vol.34，No.12， pp： 1508-1514.Dec.2008.

[5] Da Cunha A L， Zhou J P， Do M N.The nonsubsampled contourlet transform： theory， design， and applications.IEEE Transactions on Image Processing， 2006， 15（10）： 3089-3101.

[6] D.Labate， W.Q.Lim， G.Kutyniok， et al. Sparse multidimensional representation using Shearlets[C]. Optics&Photonics 2005. San Diego： International Society for Optics and Photonics， 2005， 59140U-59140U-9.

[7] Easley G， Labate D， Lim W Q. Sparse directional image representations using the discrete shearlet transform [J]. Applied & Computational Harmonic Analysis， 2008，25（1）：25-46

[8] 楊勇，萬偉國，黃淑英，姚麗.稀疏表示和非下采樣Shearlet變換相結(jié)合的多聚焦圖像融合[J].小型微型計算機系統(tǒng)，2017，38（2）： 386-392.

[9] G.Guorong，X.Luping，and F.Dongzhu，“Multi-focus image fusion based on non-subsampled shearlet transform”，IET Image Process， Vol.7，No.6，pp：633–639，2013.

[10] K.Zhan，J.Shi，H.Wang，Y.Xie，Q.Li. Computational Mechanisms of Pulse-Coupled Neural Networks：A Comprehensive Review[J]. Archives of Computational Methods in Engineering.Vol.24，No.3，pp：573–588.July.2017.

[11] J.Zhang，K.Zhan，and Y.Ma. Rotation and scale invariant antinoise PCNN features for content-based image retrieval[J].Neural Network World.Vol.17，No.2，pp：121–132.20

[12] Easley G， Labate D， Lim W Q. Sparse directional image representations using the discrete shearlet transform[J]. Applied computational harmonic analysis， 2008， 25（1）： 25-46.

[13] 王志社，楊風暴，彭智浩.基于NSST和稀疏表示的多源異類圖像融合方法[J].紅外技術(shù)，2015，37（3）：210-217.

[14] B.A.Olshausen， D.J.Field. Emergence of simple-cell receptive field properties by learning a sparse code for natural images[J]. Nature，1996，381 （6583）： 607-609.

[15] 劉戰(zhàn)文，馮燕，李旭，丁鵬飛，徐繼明.一種基于NSST和字典學習的紅外和可見光圖像融合算法[J].西北工業(yè)大學學報，2017，35（3）：408-413.

[16] Yu Liu， Shuping Liu and Zengfu Wang， "A General Framework for Image Fusion Based on Multi-scale Transform and Sparse Representation"， Information Fusion， vol. 24， no. 1， pp. 147-164， 2015.

[17] Aharon M， Elad M， Bruckstein A. K-SVD： an algorithm for designing over complete dictionaries for sparse representation[J].IEEE Transactions on Signal Processing， 2006， 54（11）： 4311-4322.

[18] T.Lindblad J.M.Kinser.脈沖耦合神經(jīng)網(wǎng)絡圖像處理[M]. 馬義德，綻琨，王兆濱，等.譯.北京.高等教育出版社，2008.

[19] Ming Yin， Xiaoning Liu， Yu Liu*， Xun Chen.Medical Image Fusion With Parameter-Adaptive Pulse Coupled Neural Network in Nonsubsampled Shearlet Transform Domain[J]. IEEE Transactions on Instrumentation and Measurement， in press， 2018.

[20] QU Xiao-bo，YAN Jing-wen，YANG Gui-de.Sum-modified-Laplacian-based Multifocus Image Fusion Method in Sharp Frequency Localized Contourlet Transform Domain[J].Optics and Precision Engineering， 17（5）： 1203-1202， June 2009.

【通聯(lián)編輯：梁書】