局部化NSST與PCNN相結合的圖像融合

陳廣秋，高印寒，才華*，劉廣文，段云鵬

局部化NSST與PCNN相結合的圖像融合

陳廣秋1，高印寒2，才華1*，劉廣文1，段云鵬3

(1．長春理工大學電子信息工程學院，吉林長春130022; 2．吉林大學汽車仿真與控制國家重點實驗室，吉林長春130022; 3．北京遙感設備研究所，北京100854)

為了提升多模態圖像融合精度，提出了一種局部化非下抽樣剪切波變換與脈沖耦合神經網絡相結合的圖像融合方法。首先，利用局部化非下抽樣剪切波對源圖像進行多尺度、多方向分解;然后，在分解后的各子帶圖像中，利用局部區域奇異值構造的局部結構信息因子作為PCNN神經元鏈接強度。經過脈沖耦合神經網絡點火處理，獲取子帶圖像的點火映射圖，通過判決選擇算子，選擇各子帶圖像中的明顯特征部分生成子帶融合圖像;最后，應用局部化非下抽樣剪切波逆變換重構圖像。選用多組不同模態的圖像進行實驗，并對實驗結果進行了客觀評價。實驗結果表明，本文提出的融合方法在主觀和客觀評價上均優于一些典型融合方法，可獲得更好的融合效果。

圖像處理;局部化非下抽樣剪切波;平移不變性;脈沖耦合神經網絡;鏈接強度

1 引言

多年來，多尺度分解(Multi-scale Decomposition，MSD)圖像融合技術一直受到國內、外有關學者的廣泛關注，取得了許多優秀的研究成果［1-5］。近年來，將多尺度分解技術與脈沖耦合神經網絡(Pulse Coupled Neural Networks，PCNN)結合對多模態圖像進行融合成為融合領域研究的熱點。

離散小波變換(Discrete Wavelet Transform，DWT)由于具有優良的時頻聯合分析圖像特征的能力而被廣泛地作為圖像多尺度分解工具［6-7］。2D離散小波基為正方形支撐域，表現為各向同性，不能很好地表示圖像中的直線或曲線所表現的各向異性，且其方向選擇性差(只有水平、垂直和對角三個方向信息)。鑒于2D離散小波在處理圖像時所表現出來的局限性，研究者們推出許多性能更優良的多尺度分解方法，以實現對圖像的最優表示，如Curvelet［8］、Contourlet［9］變換。這兩種變換具有多分辯性、多方向和各向異性，能夠用較少的非零系數稀疏地表征圖像邊緣信息，圖像中曲線狀奇異特征得到較好的逼近［10-11］。同2D離散小波一樣，Curvelet和Contourlet在分析圖像時缺少平移不變特性，融合圖像中往往出現條紋狀虛構信息，有Gibbs振鈴現象。文獻［12］利用非下抽樣金字塔分解和小尺寸剪切濾波器構造了局部化非下抽樣剪切波(Local Nonsubsampled Shearlet Transform，LNSST)，具有簡單的數學結構，良好的方向選擇性和各向異性，在分解過程中去除了采樣操作，具備平移不變性。所以，本文采用局部化非下抽樣剪切波變換作為圖像多尺度分解工具。

在已有的多尺度分解融合策略中，多數都是針對分解后的系數直接計算點或窗口的活性測度或匹配測度，如系數絕對值、窗口方差或窗口能量匹配等［13-14］，然后進行加權或選擇性融合。這些融合策略在融合過程中易受噪聲干擾，且得不到合適的局部亮度和結構信息。脈沖耦合神經網絡(PCNN)是第三代人工神經網絡的新模型，因具有同步激發、變閾值等特性而被應用到圖像融合領域［15-17］。圖像矩陣的奇異值是一種性質良好的代數特征，奇異值矩陣表征了原圖像中的結構信息，其F-范數的平方表示圖像的能量，能夠反映圖像的局部特征，而人眼視覺系統對圖像局部結構的變化具有非常高的敏感性，所以圖像局部區域奇異值的變化與人眼視覺系統處理機制是一致的。本文根據奇異值的上述特征，提出了一種新的基于PCNN的圖像融合算法。利用局部區域奇異值構造局部結構信息因子，作為PCNN對應神經元的鏈接強度，有效提取圖像中的目標與背景信息，使融合圖像更符合人的視覺系統。

2 局部化非下抽樣剪切波變換

當維數n=2時，帶有離散參量的剪切波系統函數如式(1):

式中:φ∈L2(R2)，A，B為2×2可逆矩陣且detB =1，j為尺度參量，l為方向參量，k表示空間位置。對于j≥0，－2j≤l≤2j－1，k∈Ζ2，d=0，1，在緊支撐框架下，剪切波的傅里葉變換可表示為:

式(2)中V( 2－2jξ)為尺度函數，為局部化在梯形對上的窗口函數，Ad為各向異性膨脹矩陣，Bd為剪切矩陣。函數f∈L2(R2)的剪切波變換可通過式(3)計算得到:

從式(3)可以看出，f∈L2(R2)的剪切波變換主要分為兩步:一是多尺度分解，即

多尺度分解:利用雙通道非下抽樣2D濾波器組對圖像進行非下抽樣金字塔(Nonsubsampled Pyramid，NSP)分解，生成一個低通子帶和多個帶通子帶，具有完全重構性，完成多尺度分解。

方向局部化:方向局部化是通過小尺寸剪切濾波器(Shear Filter，SF)與帶通子帶卷積計算實現的。局部化窗口為L×L(一般取32×32或16× 16)，在窗口中利用Meyer小波函數v(x)生成Meyer窗口函數g(θ)。

在偽極化網格中對g( θ)進行離散重采樣，再從偽極化坐標變換到笛卡爾坐標系，形成大小為L×L的頻域剪切濾波器W^s，且有

j，l域表現形式，則對于圖像f有式(6)成立:

圖1所示為L=32時，剪切濾波器形成過程。

圖1 L=32時剪切濾波器形成過程Fig．1Shear filter formation procedure when L=32

文獻［12］將上述剪切波變換稱為局部化非下抽樣剪切波變換。局部化非下抽樣剪切波在分解階段去除了采樣操作，使其具備了平移不變性;在方向局部化階段，局部化小尺寸剪切濾波器能夠避免大尺寸濾波器引起的塊效應和弱化吉布斯振鈴現象，時域卷積計算能夠提高計算效率。

局部化非下抽樣剪切波重構過程分兩步: (1)將分解后的同一尺度、不同方向上的帶通子帶系數累加，可獲得重構后的帶通子帶系數。(2)對分解后的低頻子帶系數與重構后的帶通子帶系數按空間位置進行非下抽樣金字塔逆變換，可獲得重構圖像。

局部化非下抽樣剪切波具有良好的局部化特性，優良的方向選擇性，拋物線沿邊特性。圖像f經過m層LNSST分解，得到∑m2dm個方向子帶和1個低通子帶，各子帶尺寸與原始圖像相同，dm表示第m層方向局部化的級數。圖2所示為Barbara圖像的2層LNSST分解，第一層方向子帶數為4(級數為2)，第二層方向子帶數為8(級數為3)，剪切濾波器尺寸為32×32。

圖2 圖像Barbara的兩層LNSST分解Fig．2Two level LNSST of image Barbara

3 融合策略

3．1PCNN基本原理和簡化模型

PCNN是由若干個神經元互相鏈接形成的一種動態非線性反饋網絡，包括接收域、調制域和脈沖產生器3部分。最初基于哺乳動物視覺系統的PCNN模型極為復雜，大量的文獻對其進行了改進與簡化。本文采用最常使用的離散數學迭代模型［18］，如圖3所示。

其數學方程描述為:

圖3 PCNN神經元簡化模型Fig．3Simplified model of PCNN neuron

其中:(i，j)為神經元標號;Fij(n)是第n次迭代計算時的反饋輸入;Iij是外部刺激輸入信號，一般為(i，j)處的灰度值;Lij(n)是神經元的鏈接輸入;βij是鏈接強度;Uij(n)是神經元的內部活動項;Yij(n)是(i，j)處神經元在第n次迭代時的輸出;W是權系數矩陣，VL是放大系數;θij是變閾值函數輸出;Vθ是閾值放大系數;αL和αθ為時間常數;n是迭代次數。當Uij(n)＞θij時，神經元輸出一個脈沖，產生一次點火，n次迭代以后，(i，j)處神經元總的點火次數表征了該點處的特征信息。所以經過PCNN點火處理，源圖像中每個神經元的總點火次數就形成了點火映射圖，構成了PCNN的輸出。

3．2圖像的奇異值分解及特性

矩陣奇異值分解［19-20］(Singular Value Decomposition，SVD)作為圖像代數特征的提取方法在人臉識別、數字水印等領域都得到了廣泛研究與應用。奇異值分解定理及其特性描述如下:

若矩陣A∈Rm×n，則存在兩個正交矩陣U、V及一個對角矩陣S，其中U=［u1，u2，…，um］∈Rm×n，V=［v1，v2，…，vm］∈Rm×n，對角陣S= diag［σ1，σ2…，σp］，UTU=I，VTV=I，p= min(m，n)，σ1≥σ2≥…≥σp＞0，使得下式成立:

式(12)稱為A的SVD，σi(i=1，2，…，p)稱為矩陣A的奇異值(Singular Value，SV)，S稱為奇異值矩陣。矩陣的SV表現的是圖像的本質特性而不是視覺特性。矩陣A的能量可表示為E=‖A，結合式(12)，則有:

由此可以知，圖像A經過SVD后，能量信息集中于SV矩陣S中。文獻［21］對SVD作了進一步研究，對圖4(a)先做SVD，然后將SV矩陣改為單位對角陣重構圖像，得出圖4(b)。

圖4 剝除奇異值之后的殘差圖像Fig．4Different image afterremoved singular value

由圖4(b)可看出，殘差圖像中幾乎不包含原圖像的結構信息，由此可看出，圖像的絕大部分結構信息包含在SV矩陣中，SV越大，包含的結構信息越豐富。

圖像的SV具有穩定性和旋轉位移不變性。穩定性是指圖像SV變化的上界為其擾動矩陣的2-范數，說明圖像SV特征對噪音、光照等因素引起的灰度變化不敏感。旋轉位移不變性是指對圖像進行旋轉或行列置換等變換操作，圖像的SV特征不變。這說明圖像SV能有效反映圖像的內在屬性，保證了SV特征衡量圖像質量的魯棒性。

3．3基于區域奇異值分解的PCNN圖像融合策略

傳統基于PCNN的圖像融合算法中，神經元的鏈接強度是根據經驗或實驗選擇的一個常數。但根據人眼視覺處理機制，視覺系統對圖像中不同特征區域，反應的強烈程度是有差異的，即視覺皮層中不同神經元耦合具有差異性，這種差異性體現在PCNN中就是神經元的鏈接強度系數的不同。從PCNN數學描述方程中的內部活動項可看出，輸入源圖像的明顯特征部分在最后融合圖像中所占權重與鏈接強度β值的大小有關。所以有理由認為鏈接強度β值應隨圖像特征的變化而改變，以此來表征圖像不同區域的特征信息，而不應是一個常數。圖像的奇異值包含了圖像的結構信息，集中了圖像的能量信息，文獻［22］利用兩幅圖像塊奇異值差值的均值來表征灰度圖像結構信息的丟失程度;文獻［23］利用兩幅圖像塊奇異值差的加權均值與剝除奇異值之后的殘差圖像信息作為壓縮圖像質量評價測度;上述文獻說明用局部區域奇異值來表征圖像的特征變化是可行的。文獻［24］利用梯度域局部區域奇異值和來區分圖像的平坦區域和非平坦區域，且具有較好的抗噪能力，但這種方法不能描述圖像平坦區域的特征變化與非平坦區域的結構紋理信息變化，不適合作為PCNN中的鏈接強度值;受上述文獻啟發，參照文獻［24］的構造方法，本文利用局部區域奇異值的均值定義一個局部結構信息因子，來表征單幅圖像局部區域的內容及特征變化:

式中:σ1，σ2，…σr為局部區域內的奇異值，e值的大小體現了圖像局部區域內基本結構模式及細節信息的豐富程度。本文融合算法中采用局部結構信息因子作為PCNN中的鏈接強度值，表征圖像不同區域的特征信息。圖5以兩幅圖像的融合為例說明基于奇異值分解的自適應PCNN圖像融合過程。

圖5 PCNN圖像合融框圖Fig．5Schematic diagram of PCNN-based fusion algorithm

具體融合策略描述如下:

(1)對待融合的兩幅圖像(M×N)歸一化，分別記為A和B(可推廣到多幅)。令A為第1個神經網絡PCNNA中各神經元的反饋輸入，B為第2個神經網絡PCNNB中各神經元的反饋輸入。

(2)對矩陣A和B進行滑動窗口平移分塊，塊的大小為k×k，中心點為(i，j)，共分M×N個子塊，分別計算出各子塊圖像的奇異值，利用公式(14)計算局部結構信息因子eA(i)和eB(i)，形成大小為M×N的矩陣，其元素值即為對應的鏈接強度βij值，得到A、B中每個像素對應的βA，ij、βB，ij值，i=1，2，…，M，j=1，2，…，N。

(3)初始值分別設為:Lij(0)=Uij(0)=0，θij(0)=1，此時所有的神經元都處在熄火狀態，即Yij(0)=0，脈沖數Tij(0)=0。

(4)根據式(7)～(11)計算Lij(n)、Uij(n)、θij(n)和Yij(n)。

(5)累計神經網絡每次迭代運行的輸出: Tij(n)=Tij(n－1)+Yij(n)。

(6)判斷n值是否為Nmax(最大迭代次數)，如果n＜Nmax，重復步驟(4)～(5)，如果n= Nmax，迭代運算結束。輸出點火圖OA和OB。

選取融合像素。

H( i，j)為融合后的像素值。經過PCNN點火處理后，得到源圖像對應像素的點火映射圖，對點火頻數進行比較，數值越大，說明圖像在該點處的信息越豐富，融合時應選擇該點像素，所以上述融合過程可有效提取圖像邊緣、紋理等信息。

本文算法的融合過程為:待融合圖像歸一化處理后，經局部化非下抽樣剪切波變換后得到不同尺度、不同方向的子帶系數，記為{IL1，IHl1，k}，{IL2}，ILx表示低頻子帶系數，表示第l層中第k個高頻子帶系數，x=1，2。令{IL1，}、{IL2，IH2l，k}依次為上述融合過程中的A和B，得到融合后的子帶圖像{IL，IHl，k}，利用局部化非下抽樣剪切波逆變換重構圖像。

4 仿真實驗及結果分析

為了驗證本文融合方法的有效性，仿真實驗分3步進行。首先，傳統融合策略分別結合DWT、Curvelet、Contourlet和LNSST四種多尺度分解方法進行融合比較;其次，在LNSST域，本文算法與幾種典型多尺度融合算法進行比較;最后，將本文融合方法與典型多尺度分解結合PCNN算法的融合結果進行比較。通過視覺觀察對融合圖像進行主觀評價，應用互信息MI［25］、結構信息相似度SSIM［26］和邊緣信息傳遞量QAB/F［27］三種指標對融合圖像進行客觀評價。實驗過程中，DWT、LSWT和Curvelet分解尺度為4，Contourlet、NSCT和LNSST的尺度向量為［2 2 3］，兩種醫學圖像大小為256×256，其余圖像大小為512×512。實驗環境:Intel(R)Celeron(R)，CPU2．4GHz，1G內存，MATLAB2008a平臺。本文融合算法中鏈接強度β值是通過計算3×3塊矩陣的結構信息因子得到;每個神經元與其周圍3×3鄰域內的神經元相鏈接，即p×q=3×3，3×3鏈接核矩陣為

4．1不同多尺度分解方法融合結果的比較

為了驗證具有方向局部化特性和平移不變性的LNSST在圖像融合領域作為多尺度分解工具的優越性，分別在DWT、Curvelet、Contourlet和LNSST域內采用傳統融合策略，即低頻子帶采用等權值平均，高頻子帶采用模值取大準則，對圖6 (a)(b)所示多聚焦圖像進行融合實驗，圖6為融合結果，表1為融合圖像的客觀評價指標。

圖6 不同多尺度分解域內多聚焦圖像融合結果Fig．6Multi-focus image fusion results in different MSD domain

表1 不同多尺度分解域多聚焦圖像融合結果的比較Tab．1Fusion results comparison of multi-focus image in MSD domain

從圖6中融合結果及局部放大圖像可以看到，邊緣刻畫的優劣順序為圖(f)、(d)、(c)、(e);從局部放大圖像可看出，在(c)和(e)的時鐘邊緣處出現不同程度的偽影和凸起的條紋，而(d)要好一些，圖(f)則完全沒有這種現象且融合圖像細節清晰，亮度適中，整體視覺效果良好。出現上述現象的原因是DWT、Contourlet和Curvelet變換不具備平移不變性，造成頻譜混疊，出現Gibbs振鈴效應。而Curvelet與LNSST類似，采用局部化小尺寸方向濾波器，一定程度上弱化了Gibbs現象的出現，LNSST采用局部化小尺寸方向濾波器且具有平移不變性，能夠有效地克服圖像融合過程中的Gibbs效應。另外LNSST所具有的方向局部化特性和拋物線沿邊特性能夠有效提取圖像中直線或曲線的邊緣細節。從表1的客觀評價數據中可以看出，基于LNSST得到的融合圖像，其各項評價指標均優于其它多尺度融合圖像，說明非下抽樣剪切波變換在圖像融合領域作為多尺度分解工具要優于DWT、Curvelet和Contourlet變換，同時也證明了本文選用LNSST作為多尺度分解方法的正確性。

4．2LNSST域內不同多尺度融合策略的比較

為了驗證本文融合策略的有效性，在LNSST域，本文融合策略，記為SVDPCNN與近年來常采用的典型多尺度融合策略進行比較。方法一［13］，系數模值取大策略，記為ABSMAX;方法二［13］，低頻子帶采用主成分分析(Principal Component A-nalysis，PCA)法，高頻子帶采用模值取大準則，記為PCAABS;方法三［13］，基于窗口能量匹配準則進行選擇與加權結合的算法，記為WEM;方法四［14］，低頻子帶采用基于窗口空間頻率匹配準則進行選擇與加權相結合算法，高頻子帶采用模值取大準則，記為SFABS。源圖像采用圖7(a)(b)所示的紅外與可見光和醫學圖像，圖7(c)～(g)為融合結果，表2為客觀評價數據。

圖7 LNSST域內不同融合策略的融合結果Fig．7Fusion results using different rules in LNSST domain

表2 LNSST域內不同融合策略融合結果的比較Tab．2Fusion results comparison using different rules in LNSST domain

從圖7中可以發現，圖7(g)紅外與可見光融合圖像中，行走的人、車、路燈及燈箱牌匾等都清晰可見，對比度適中，圖像清晰自然，相對于其他紅外與可見光融合圖像有更好的視覺效果，這表明應用本文融合策略能夠更好地提取目標信息。圖7(d)中，由于紅外與可見光圖像相關性較差，PCA方法分配的權重不合適，造成融合圖像有一定的光譜扭曲。圖7(g)醫學融合圖像中，軟組織細節清晰，有效地保留了目標邊緣輪廓信息，邊緣連續準確。相比較其他醫學圖像的融合效果，整體亮度與對比度有較大提高，更符合人眼的視覺觀察。

從圖7(h)(i)中的低頻子帶點火映射圖也能看出本文提出的融合算法具有良好的融合性能。對圖7分析可知，利用本文融合算法融合的圖像較好地保留了源圖像中紋理細節和結構信息，更符合人眼的視覺觀察。這是因為本文利用局部結構信息因子構造鏈接強度β值，能更好地反映像素的特征信息，符合人眼的視覺系統對圖像特征變化的處理機制，具有較強的自適應性，通過PCNN處理后，能夠準確地提取圖像中的特征明顯區域，捕獲豐富的邊緣細節，消除融合圖像可能出現的邊緣輪廓的不連續現象，使融合圖像具有良好的視覺效果。從表2中的客觀評價數據中可看出，在LNSST域下，應用本文融合算法得到的融合圖像各項評價參數均優于其它融合策略，說明本文融合算法在多尺度圖像融合領域中更有效。

4．3不同多尺度分解域基于不同PCNN融合算法的比較

為了說明本文提出的融合方法的有效性及穩定性，將本文融合方法，記為LNNST+SVDPCNN與近年來常用的典型多尺度分解方法結合PCNN算法的融合效果［15-17］進行比較。方法一［15］:在提升靜態小波(LSWT)域，低頻子帶采用改進拉普拉斯能量和作為PCNN各神經元的外部輸入激勵，高頻子帶采用各像素灰度值作為PCNN的外部輸入激勵，鏈接強度β=0．2，記為LSWT+ SMLPCNN;方法二［16］，在Curvelet域，低頻子帶采用等權值加權，高頻子帶采用各像素灰度值作為PCNN的外部輸入激勵，區域能量測度作為PCNN的鏈接強度，記為Curvelet+APCNN;方法三［17］，在Contourlet域，采用各像素灰度值作為PCNN的外部輸入激勵，鏈接強度β=0．2，記為Contourlet+PCNN;方法四［17］，在非下抽樣Contourlet域，采用各像素灰度值作為PCNN的外部輸入激勵，鏈接強度β=0．2，記為NSCT+ PCNN;方法五［17］，在非下抽樣Contourlet域，采用區域空間頻率作為PCNN的外部輸入激勵，鏈接強度β=0．2，記為NSCT+SFPCNN;方法六［17］，在非下抽樣Contourlet域，低頻子帶采用各像素灰度值作為PCNN的外部輸入激勵，高頻子帶采用高斯拉普拉斯算子能量作為PCNN的外部輸入激勵，鏈接強度β=0．2，記為NSCT+GSLPCNN。源圖像采用圖8(a)(b)所示的遙感和醫學圖像。融合結果如圖8(c)～(i)所示，客觀評價參數如表3所示。由圖8及表3可以看出，本文融合方法得到的結果無論從視覺上還是從客觀評價數據上都是最優的，表明本文所提出的LNSST多尺度分解方法結合基于奇異值分解的PCNN融合算法在多模態圖像融合精度提升方面具有一定的優勢。

圖8 不同多尺度分解域內基于不同PCNN算法融合結果Fig．8Fusion results based on different PCNN algorithm in different MSD domains

表3 不同多尺度分解域內基于不同PCNN算法融合結果的比較Tab．3Fusion results comparison based on different PCNN algorithms in different MSD domains

5 結論

針對已有的多尺度圖像融合方法的缺陷，本文將局部化非下抽樣剪切波引入圖像融合領域，提出了基于局部區域奇異值分解的PCNN圖像融合算法。LNSST具有拋物線沿邊特性和方向局部化特性，能夠效地捕獲圖像中的光滑輪廓信息，提供圖像在任意方向上的細節信息。利用局部區域奇異值構造的結構信息因子，作為PCNN神經元鏈接強度β值，能夠自適應表征圖像特征的變化，通過PCNN點火處理，得到能夠同時反映單個像素特征及其鄰域像素整體特征的點火映射圖，通過比較選擇算子，準確選擇明顯特征區域。文中實驗結果證明，本文融合方法能夠很好地捕獲圖像中奇異信息，將源圖像中的重要信息轉移至融合圖像中，獲得較好的亮度與對比度，能夠提升多模態圖像融合精度。

［1］Yang B，Jing Z L，Zhao H T．Review of Pixel-Level Image Fusion［J］．Journal of Shanghai Jiao tong University(Science)，2010，15(1):6-12．

［2］陳小林，王延杰．非下采樣變換的紅外與可見光圖像融合［J］．中國光學，2011，4(5):489-495．

Chen X L，Wang Y J．Infrared and visible image fusion based on nonsubsampled Contourlet transform［J］．Chinese Optics，2011，4(5):489-495．(in Chinese)

［3］傅瑤，孫雪晨，薛旭成，等．基于非下采樣輪廓波變換的全色圖像與多光譜圖像融合方法研究［J］．液晶與顯示，2013，28(3):429-434．

Fu Y，Sun X C，Xue X C，et al．Panchromatic and multispectral image fusion method based on Nonsubsampled Contourlet Transform［J］．Chinese Journal of Liquid Crystals and Displays，2013，28(3):429-434．(in Chinese)

［4］陳廣秋，高印寒．基于圖像質量評價參數的FDST域圖像融合［J］．光電子·激光，2013，24(11):2240-2248．

Chen G Q，Gao Y H．Adaptive image fusion based on image quality assessment parameter in FDST domain［J］．Journal of Optoelectronics·Laser，2013，24(11):2240-2248．(in Chinese)

［5］高印寒，陳廣秋，劉妍妍．基于圖像質量評價參數的非下采樣剪切波域自適應圖像融合［J］．吉林大學學報:工學版，2014，，44(1):225-234．

Gao Y H，Chen G Q，Liu Y Y．Adaptive image fusion based on image quality assessment parameter in NSST system［J］．Journal of Jilin university:Engineering and Technology Edition，2014，44(1):225-234．(in Chinese)

［6］李光鑫，吳偉平，胡君．紅外和彩色可見光圖像亮度-對比度傳遞融合算法［J］．中國光學，2011，4(2):161-168．

Li G X，Wu W P，Hu J．Luminance-contrast transfer based fusion algorithm for infrared and color visible images［J］．Chinese Optics，2011，4(2):161-168．(in Chinese)

［7］唐艷秋，張星祥，李新娥，等．基于人眼視覺灰度識別特性的圖像動態范圍小波變換處理方法［J］．液晶與顯示，2012，27(3):385-390．

Tang Y Q，Zhang X X，Li X E，et al．Image processing method of dynamic range with wavelet transform based on human visual gray recognition characteristics［J］．Chinese Journal of Liquid Crystals and Displays，2012，27(3):385-390．(in Chinese)

［8］Candès E J，Donoho D L，New tight frames of curvelets and optimal representations of objects with piecewise C2 singularities［J］．Comm on Pure and Appl．Math．，2004，57(2):219-266．

［9］Do M N，Vetterli M．The contourlet transform:an efficient directional multiresolution image representation［J］．IEEE Trans．Image Proc．，2005，14(12):2091-2106．

［10］馬苗，萬仁遠，尹義龍．基于相似性灰關聯的Curvelet域多聚焦圖像融合［J］．電子學報，2012，40(10):1984-1988．

MA Miao，Ma M，Wan R Y，et al．Multi-focus image fusion based on grey relation of similarity in Curvelet domain［J］．Acta Electronica Sinica，2012，40(10):1984-1988．(in Chinese)

［11］馮鵬，王靜，魏彪，等．一種基于Contourlet變換的GFP圖像與相襯圖像融合算法研究［J］．光電子·激光，2013，24 (1):176-183．

Feng P，Wang J，Wei B，et al．A fusion algorithm for GFP images and phase-contrast images based on Contourlet transform［J］．Journal of Optoelectronics·Laser，2013，24(1):176-183．(in Chinese)

［12］Easley G，Labate D，Lim W Q．Sparse directional image representations using the discrete shearlet transform［J］．Applied and Computational Harmonic Analysis，2008，25(1):25-46．

［13］楊揚．基于多尺度分析的圖像融合算法研究［D］．長春:中國科學院大學中國科學院長春光學精密機械與物理研究所，2013:19-25．

YangY．Research on image Fusion algorithms using multiscale analysis［D］．Changchun:University of Chinese Academy of SciencesChangchun Institute of Optics，Fine Mechanics and Physics Chinese Academy of Sciences，2013:19-25．(in Chinese)

［14］王紅梅，陳勵華，李言俊，等．一種基于顯著特征的圖像融合算法［J］．西北工業大學學報，2010，28(4):486-490．

Wang H M，Chen L H，Li Y J，et al．A new and more effective image fusion algorithm based on salient feature［J］．Journal of Northwestern Polytechnical University［J］．2010，28(4):486-490．(in Chinese)

［15］郭茂耘，李華鋒，柴毅．提升靜態小波與自適應PCNN相結合的圖像融合算法［J］．光電工程，2010，37(12):67-74．

Guo M Y，Li H F，Chai Y．Image fusion using lifting stationary wavelet transform and adaptive PCNN［J］．Opto-Electronic Engineering，2010，37(12):67-74．(in Chinese)

［16］趙景朝，曲仕茹．基于Curvelet變換與自適應PCNN的紅外與可見光圖像融合［J］．西北工業大學學報，2011，29 (6):849-853．

Zhao J C，Qu S R．A better algorithm for fusion of infrared and visible image based on curvelet transform and adaptive Pulse Coupled Neural Networks(PCNN)［J］．Journal of Northwestern Polytechnical University，2011，29(6):849-853．(in Chinese)

［17］金星，李暉暉，時丕麗．非下采樣Contourlet變換與脈沖耦合神經網絡相結合的SAR與多光譜圖像融合［J］．中國圖像圖形學報，2012，17(9):1188-1195．

Jin X，Li H H，Shi P L．SAR and multispectral image fusion algorithm based on pulse coupled neural networks and nonsubsampled Contourlet transform［J］．Journal of Image and Graphics，2012，17(9):1188-1195．(in Chinese)

［18］嚴春滿，郭寶龍，馬義德，等．一種新的基于雙層PCNN的自適應圖像分割算法［J］．光電子·激光，2011，22(7): 1102-1106．

Yan C M，Guo B L，Ma Y D，et al．New adaptive algorithm for image segmentation using the dual-level PCNN model［J］．Journal of Optoelectronics·Laser，2011，22(7):1102-1106．(in Chinese)

［19］王宇慶．基于圖像結構信息復數表示與奇異值分解的灰度圖像質量評價方法［J］．光電子·激光，2012，23(9): 1827-1834．Wang Y Q．Image quality assessment based on complex number representation of image structure and singular value decomposition［J］．Journal of Optoelectronics·Laser，2012，23(9):1827-1834．(in Chinese)

［20］Phillips R D，Watson L T，Wynne R H，et al．Feature reduction using a singular value decomposition for the iterative guided spectral class rejection hybrid classifier［J］．ISPRS Journal of Photogrammetry and Remote Sensing，2009，64 (1):107-116．

［21］Aznaveh A M，Azadeh M，Azar F T，et al．Image quality measurement besides distortion type classifying［J］．Optical Review，2009，16(1):30-34．

［22］Shnayderman A，Gusev A，Eskicioglu A M．A SVD based grayscale image quality measure for local and global assessment［J］．IEEE Transactions on Image Process，2005，14(2):422-429．

［23］張飛艷，謝偉，陳榮元，等．基于視覺加權的奇異值分解壓縮圖像質量評價測度［J］．電子與信息學報，2010，32 (5):1061-1065．

Zhang F Y，Xie W，Chen R Y，et al．Compression image quality assessment based on human visual weight and singular value decomposition［J］．Journal of Electronics＆Information Technology，2010，32(5):1061-1065．(in Chinese)

［24］許光宇，檀結慶，鐘金琴．自適應的有效非局部圖像濾波［J］．中國圖象圖形學報，2012，17(4):471-479．

Xu G Y，Tan J Q，Zhong J Q．Adaptive efficient non-local image filtering［J］．Journal of Image and Graphics，2012，17 (4):471-479．(in Chinese)

［25］Qu G H，Zhang D L，Yan P F．Information measure for performance of image fusion［J］．Electronic Letters，2002，38(7) :313-315．

［26］Wang Z，Bovik A C Sheik H R，et al．Image Quality Assessment:From error visibility to structural similarity［J］．IEEE Transactions on Image Processing，2004，13(4):600-612．

［27］Xydeas C S，Petrovi V．Objective image fusion performance measure［J］．Electronics Letters，2000，36(4):308-309．

Image fusion algorithm based on local NSST and PCNN

CHEN Guang-qiu1，GAO Yin-han2，CAI Hua1*，LIU Guang-wen1，DUAN Yun-peng3
(1．School of Electronic and Information Engineering，Changchun University of Science and Technology，Changchun 130022，China; 2．State Key Laboratory of Automobile Simulation and Control，Jilin University，Changchun 130022，China; 3．Beijing Institute of Remote Sensing Equipment，Beijing 100854，China)

For enhancing fusion accuracy of multi-modality images，an adaptive image fusion algorithm based on local nonsubsampled shearlet transform(LNSST)and pulse coupled neural networks(PCNN)is proposed．First，source images are decomposed to multi-scale and multi-direction subband images by LNSST．Secondly，local area singular value decomposition in each subband image is done to construct a local structure information index which is served as linking strength of each neuron in PCNN．After the fire processing of PCNN，new fire mapping images of all the subbands are obtained，the clear objects of subband images are selected by the compare-selection operator with the fire mapping images pixel by pixel and then all of them are merged into a group of new clear subband images．Finally，fused subbands are reconstructed to image by local nonsubsampledshearlet inverse transform．Some fusion experiments on several sets of different modality images are done and objective performance assessments are implemented to fusion results．The experimental results indicate that the proposed method performs better in subjective and objective assessments than a few existing typical fusion techniques in the literature and obtains better fusion performance．

image processing;local nonsubsampled shearlet transformation;shift-invariant;pulse coupled neural networks;linking strength

TP391．4

A

10．3788/YJYXS20153004．0701

陳廣秋(1977－)，男，吉林九臺人，博士研究生，研究方向為圖像(序列)配準與融合。E-mail:guangqiu_chen@ 126．com

才華(1977－)，男，吉林長春人，博士，副教授，研究方向為圖像處理與機器視覺。

1007-2780(2015)04-0701-12

2014-07-22;

2014-10-09．

吉林省科技發展計劃(No．20130101179JC);吉林省公共計算平臺資助

*通信聯系人，E-mail:caihua@cust．edu．cn