基于區域特征的SCM多聚焦圖像融合算法

畢曉君，刁鵬飛，陳春雨

?

基于區域特征的SCM多聚焦圖像融合算法

畢曉君，刁鵬飛，陳春雨

(哈爾濱工程大學信息與通信工程學院，黑龍江哈爾濱，150001)

針對人眼對圖像局部區域更敏感的特點，提出一種基于圖像區域特征的自適應脈沖發放皮層模型(SCM)的多聚焦圖像融合算法。該方法將多聚焦圖像融合過程分為2個階段：第1階段基于圖像的源圖像局部區域特征對比，融合相同區域及優越區域；然后采用SCM模型對2幅圖像的差異區域進行融合并相應的提出一種融合準則；為得到最佳的模型融合參數，采用引力搜索算法進行智能尋優，且為了提升算法的求解性能采用2種自改進策略。仿真實驗采用3組標準圖片對算法進行驗證，本文算法均取得較好的融合效果，驗證本文所提算法的有效性。

多聚焦圖像融合；脈沖發放皮層模型；區域特征；改進引力搜索算法

圖像融合是信息融合范疇內以圖像為對象的研究領域[1?4]。它將多個傳感器獲得的同一場景的圖像信息通過一定的算法加以綜合，從而獲得關于此場景的更準確的描述。其中，多聚焦圖像是圖像融合中一個主要的研究方向，即將多幅同一場景不同焦點的圖像融合成一幅更適于人眼觀察的圖像。當前主流的圖像融合方法主要有2種，即頻域法[5?6]和空間域法[7]。脈沖耦合神經網絡(pulse coupled neural network, PCNN)因其是根據人眼視覺成像習慣而提出的一種神經網絡模型，因此一經提出被廣泛應用于圖像處理領域，但其最大的缺點是需要人工設置的參數較多，且不同參數的組合會影響最終的融合結果[8]，這就為圖像融合的前期工作帶來了較大的計算復雜度。脈沖發放皮層模型(SCM[9]是在PCNN的基礎上提出的一種新的神經網絡模型。與PCNN模型相比，SCM模型中需要人為設定的參數較少，模型更為簡單。目前國內外對于這一模型的研究才剛剛起步，WANG等[10]將SCM應用于醫學圖像融合，隨后，WANG等[11]又提出一種基于像素清晰度的SCM圖像融合算法。但以上方法都是基于一個像素點的細節完成融合的。本文作者為了使圖像融合結果更符合人眼成像習慣，將融合過程分為2個階段：第1階段，通過對2幅圖像的局部區域細節進行對比，確定出2幅圖像中的相同區域以及優越區域；第2階段，采用SCM模型完成剩余圖像的融合，并針對不同的打火情況提出了一種基于像素區域能量的融合準則；最后，針對文中存在的參數，提出一種改進的引力搜索算法對其進行優化求解。實驗部分與幾種典型的圖像融合方法進行比較，驗證了本文方法的有效性。

1 脈沖發放皮層模型

SCM是由若干個神經元互連所構成的反饋型網絡，每一個神經元都由接收域、調制部分和脈沖產生器3個部分組成，具體如圖1所示。

圖1 SCM模型

其原理數學方程可描述為

(2)

(3)

在SCM未被激活時，神經元的內部活動項能量為0，隨著迭代次數的增多，的能量逐漸增大，每當其大于時，即發放脈沖并輸出點火狀態。SCM中的神經元通過局部耦合構成一個全局互連的神經網絡。當某個神經元處于點火狀態時，鄰域內與其狀態相似的未點火的神經元就會捕獲這個激勵，經調制后發送脈沖，提前實現點火。

2 基于區域特征的SCM圖像融合算法

傳統的基于空間域的圖像融合方法，主要是基于像素點完成圖像融合的，但人眼的視覺系統對一個像素區域的狀況更為敏感，尤其對于多聚焦圖像的融合，融合的目的是得到一個更加清晰的圖像區域。為了保證最終的融合圖像更適于人眼觀察，本文將融合階段分為2步，首先基于圖像的區域特征細節進行區域的融合，然后采用SCM模型完成圖像剩余部分的點的融合，過程的具體分析如下所示。

2.1 基于區域特征的圖像融合

設局部區域的半徑為，然后依次計算每個局部區域的細節特征，這里選取的細節特征為空間頻率，并比較2幅圖像對應區域的細節特征。空間頻率用來測量圖像整體活動性，直接與圖像清晰度相關。空間頻率較大，即表明融合結果攜帶的信息量較大，清晰度較高。空間頻率具體表示為

(4)

當得到2幅圖像對應局部區域的細節指標時，根據比較結果進行融合，具體描述如下：

3) 對于同時被2幅圖像對應位置且值不同的而被同時觸發的點，放入第2階段重新融合。

2.2 基于SCM的圖像融合

第1階段完成了2幅圖像中的較優區域和相同區域的融合，剩余待融合區域是2幅源圖像之間存在差異的區域。對該部分，本文采用SCM模型對其進行融合，在融合前，先將已完成融合的圖像，作為先驗信息替換2幅圖像的對應區域，這樣可以消除劣勢區域對于待融合圖像區域的干擾，提高融合質量。

當像素點打火時，融合規則描述如下：

1) 當模型迭代結束時，獲得打火次數更多的像素點，說明其在邊緣區域部分具有更高的亮度，因此將其保存為最終的融合點。

2) 對打火次數相同的像素點，采用基于該像素點區域能量的方式進行融合，具體表示為

(6)

(8)

基于區域特征的SCM圖像融合算法步驟具體描述如下：

1)將2幅待融合圖像進行配準,初始化SCM模型。

2)采用2.1節描述的方式，對圖像進行第1階段的融合。

4)采用SCM進行再次融合，當達到最大迭代次數時，對于打火的像素點，采用2.2節所述方式進行融合。

3 自適應參數優化

在SCM模型中存在幾個需要人工確定的參數，具體分析如下：

1)為內部活動項的衰減系數，它的大小決定著內部活動項U()的衰減快慢程度。

2)和分別為閾值衰減系數和閾值放大系數，將直接影響閾值門限的變化情況。

3)為完成第1階段融合的關鍵參數，直接影響第1階段的區域特征融合。

傳統的確定參數的方法大多采用窮舉法以及根據以往經驗的辦法，這在融合前期會帶來較大的計算復雜度，且根據經驗難免會有誤差，對此，為了省去人工調制的復雜性，提高算法的圖像融合效果，本文采用智能優化算法對參數進行求解。GSA是2009年提出的一種較為新穎的智能優化算法[13]，以其收斂速度快，收斂精度高而被國內外專家學者廣泛關注。因此本文嘗試將引力搜索算法作為模型參數的優化算法。

胰蛋白酶(酶活 4000 U/g)：購于重慶市全新祥盛生物制藥有限公司；風味蛋白酶(酶活 500 LAPU/g)：諾維信中國公司；維生素B12(MW 1855 U)、抑肽酶(MW 6512 U)、細胞色素C(MW 12384 U)、卵清蛋白(MW 43000 U)：美國Sigma公司；食用鹽、味精、蔗糖、檸檬酸：食品級；其他試劑：均為分析純。

3.1 引力搜索算法

在GSA中，種群個體都是在空間中運動的個體，它們在萬有引力的作用下彼此相互吸引運動，它們的質量是評價其優劣的標準，質量較大粒子的位置對應較優解。在進化過程中，GSA算法通過個體間的萬有引力相互作用實現優化信息的共享，引導群體向最優解區域運動展開搜索。

設空間中含有個粒子，則第個粒子的位置為

(10)

其中：0為初始時刻的引力常數；為最大迭代次數，且設置不同的會導致引力常數以不同的趨勢減小。為粒子與粒子之間的歐氏距離。則在時刻，粒子在維上受到的其他粒子的合力為

(12)

在進化過程中，粒子的速度和位置的更新方式為

(14)

粒子的質量與其適應度有關，質量越大的粒子，表明其更接近最優粒子，其對其他粒子的作用力會較大但是其移動速度會較慢，粒子質量的計算方式為

(15)

3.2 改進引力搜索算法

在GSA算法中，物體間力的作用使種群的每個粒子得以不斷更新位置、向著最優解運動，粒子位置信息的每一次更新，都是靠其他粒子所提供的作用力得以進化的，所以粒子通過力的作用所獲得的加速度是保證種群不斷向著最優解運動的關鍵。但當個體所獲加速度過大，即搜索步長過大時，會導致個體跳出當前搜索空間，進而導致粒子當前進化得不到更優解；當加速度過小，即搜索步長過小時，會導致算法收斂速度慢，甚至發生搜索停滯。因此，個體加速度是否適合當前的搜索區間會直接影響算法對最優解的搜索。

為了避免出現加速度不利于進化搜索的情況發生，本文根據種群進化情況，提出自適應縮放因子調整加速度的策略，以保證搜索步長適合于當前搜索空間，利于對最優解的搜索。本文經過理論和實驗的反復推導，給出加速度的縮放調整策略。

(16)

(17)

式中：1和2為第維搜索空間的動態邊界，這里取判定因子1=1，2=0.01。考慮到隨著進化的進行，種群的分布情況是由發散的大區域逐漸收斂到小區域，因此在式(16)中，縮小因子1在(0, 1)之間隨迭代線性遞增；在式(17)中，放大因子2在(1,10)之間隨迭代線性遞減。通過對搜索步長自適應的縮放，即對加速度動態的調整，確保了加速度相比于當前搜索空間不會出現過大或過小的情況發生，有利于算法對最優解快速有效的搜索。

另外，為平衡算法的全局搜索能力和局部開采能力，本文采用文獻[14]提出的帶有方向性的變異策略，具體表示如式(18)所示

(18)

其中：1和2為服從(0,1)分布的隨機數。

3.3 適應度函數

采用智能優化算法對未知參數進行優化搜索時，需要為算法確立目標函數，目標函數須保證最終所得到的參數，就是能使模型的融合效果達到最優的那組參數。圖像融合評價指標是衡量一個算法融合效果的判斷依據，因此可以選擇相關的評價標準作為目標函數，在圖像融合評價指標中，通用圖像質量評價指標0[15]主要從人眼視覺特性出發，評價2幅圖像在相關性、亮度和對比度3個方面的差異，能夠較好反映圖像間的相似程度，且具有通用性。其值越大表示2幅圖像相似程度越高，因此本文選擇評價指標0作為本文的目標函數。通用圖像質量評價0定義如下：

其中：和為原圖像；為融合圖像；為和間的協方差；和分別為和間的標準差。

3.4 算法步驟

步驟1 算法的初始化，設定種群粒子數、問題維數，并為每個個體隨機產生位置、速度；設定引力常量中的0和，規定最大迭代次數。

步驟2 計算每個個體的適應度，進而求得每個個體所受的合力，以及獲得的加速度。

步驟3 對得到的每個粒子在每維上的加速度進行判斷，對于符合條件的粒子，采用自適應加速因子策略，保證粒子加速度在合理的區間范圍內。

步驟4 對種群采用式(18)所示的變異策略，并與變異前進行比較，保留最優值。

步驟5 判斷是否滿足終止條件，若不滿足轉到步驟2，否則輸出具有最優值的個體。

4 實驗仿真

為了驗證本文所提融合算法的有效性，選取了兩組已配準的圖像進行融合實驗，圖像大小都為512pixel*512pixel，第1組是Bottle的多聚焦圖像，第2組是CLOCK的多聚焦圖像。并與基于PCNN的圖像融合算法、基于波形變換的像素融合算法、基于雙通道PCNN的像素融合算法以及基于融合取最大準則的像素融合算法，另外為比較本文改進引力搜索算法的有效性，又與采用改進前的引力搜索算法優化參數的方式進行比較。圖像融合質量從主觀和客觀2個方面進行評價比較，主觀評價采取目測的方式，主要考察融合圖像的清晰度、對紋理細節的表達效果。選擇的客觀評價指標有：平均梯度(VG)、空間頻率(F)、0以及灰度均值(EAN)。VG主要反映圖像對細節的表達能力，其值越大則表示融合圖像的細節表達能力越好，具體計算方式如下：

EAN表示圖像的平均亮度，映入眼簾的亮度越高，則人眼觀察越舒適，具體計算式為

其中：為圖像中含有像素點數；x為第個像素點的像素。

4.1 參數設置

種群規模設置為30，問題維數設置為5，引力搜索算法的最大迭代次數設為500，SCM的迭代次數設為40，，和初始化范圍在區間(0,1)內，的半徑生成區間在[3,64]范圍內，的初始化范圍在[10,30]之間,引力算法中的相關參數參考文獻[9]。

4.2 實驗結果與分析

圖2所示為Bottle多聚焦圖片的圖像融合結果，對該組實驗的融合結果從主觀評價的角度看，雖然選擇實驗的幾種融合方法都能表現出多聚焦圖像聚焦的主要特征，基于MAX方法的融合圖像，畫面較亮但清晰度較差，基于PCNN的圖像融合方法畫面較暗，基于Dual-PCNN的融合結果與2幅源圖的各自的聚焦區域相比，清晰度有所下降，只有基于DWT的圖像融合算法和本文算法在亮度以及清晰度上要優于其他幾種圖像融合算法。表1給出了本組實驗的客觀評價結果。從表1可以看出：本文算法與SUM-GSA算法相比在各個指標上均有所提高，證明了本文更對與GSA算法改進的有效性，在指標MV上不如方法MAX好，這是因為算法MAX在融合過程中采用的像素點融合取最大準則，因此平均灰度要高一些，但在其他指標上，本文算法均優于MAX，對評價指標VG，0以及F，本文算法與DWT得到的結果在數值優于其他方法，且本文算法要好于DWT算法，這也證明了本文所提方法的有效性。

(a) 左聚焦圖像；(b) 右聚焦圖像；(c) DWT融合結果；(d) PCNN融合結果；(e) Max準則融合結果；(f) 本文方法融合結果；(g) Dual-PCNN融合結果；(h) SUM-GSA融合結果

表1 Bottle圖像的客觀評價指標

表2 CLOCK圖像的客觀評價指標

表3 Lab圖像的客觀評價指標

圖3所示為CLOCK多聚焦圖片和圖像融合結果。從主觀評價角度看，各種融合方法基本能實現多聚焦融合，但可以看出：圖3(d)和3(h)的清晰度較差，圖3(c)右側表輪廓出現了失真，觀察圖3(g)會發現該圖中存在一些噪點，圖3(e)中的清晰度則較差，明暗對比不明顯。因此，通過主觀判斷，本文所提算法所得到的融合圖像具有較好的清晰度以及對細節的表達效果。采用客觀評價標準進一步對圖像融合質量進行評估，表2給出了最終的客觀評價結果，根據表2的結果依然可以看出，指標在VG，0以及P上，本文方法要好于其他算法，對指標MV，本文方法相比于MV要差一些，這是因為按照取最大準則得到的融合圖像，其亮度一定會更高一些，但其平均梯度、空間頻率以及0要比其他方法更差一些。

(a) 右聚焦；(b) 左聚焦；(c) DWT融合結果；(d) PCNN融合結果；(e) Max準則融合結果；(f) 本文方法融合結果；(g) Dual-PCNN融合結果；(h) SUM-GSA融合結果

圖4所示為Lab多聚焦圖片和圖像融合結果。從主觀評價角度可以看出：各個融合算法都完成對2幅圖像的多聚焦融合，其中DWT算法得到的融合圖像相比于源圖像灰度較暗且圖中人物的頭部出現了塊效應；由MAX算法得到的融合圖像的輪廓清晰度較差，本文算法得到的融合圖像無論是表盤數字還是人腦輪廓的細節表達都優于其他算法得到的融合圖像。

采用客觀評價標準進一步對圖像融合質量進行評估，表3給出了最終的客觀評價結果。由表3可以看出：指標在VG，0以及P上，本文方法取得較優的融合效果，對指標MV，本文方法要低于MAX融合方法，但其平均梯度、空間頻率以及0要比其他方法更差一些。

(a) 左聚焦；(b) 右聚焦；(c) DWT融合結果；(d) PCNN融合結果；(e) Max準則融合結果；(f) 本文方法融合結果；(g) Dual-PCNN融合結果；(h) SUM-GSA融合結果

綜合以上實驗可以得出結論：1) 3組實驗驗證了基于區域特征的圖像融合方法的有效性；2) 與采用GSA算法進行參數優化的方法相比，改進GSA算法具有更好的效果，驗證了本文對GSA算法改進的有效性。由于采用了智能優化算法對融合模型參數進行了智能尋優，因此復雜度高于其他算法。

5 結論

將區域的融合與點的融合相結合，提出一種基于區域特征的自適應SCM圖像融合方法。根據人眼視覺成像的區域敏感特點，將圖像融合過程分為2個部分，為了降低人工設置參數所帶來的計算復雜度，采用引力搜索算法智能優化模型中存在的參數，實驗表明：本文所提出的融合方法在融合圖像過程中，相比于其他方法具有更好的細節表達能力，驗證本文提出算法的有效性。

參考文獻：

[1] REHMAN N, KHAN M M, SOHAIB M I, et al. Image fusion using multivariate and multidimensional EMD[C]// 2014 IEEE International Conference on Image Processing (ICIP). Paris: IEEE Computer Society, 2014: 5112?5116.

[2] MAURI G, COVA L, DE BENI S, et al. Real-time US-CT/MRI image fusion for guidance of thermal ablation of liver tumors undetectable with US: results in 295 cases[J]. Cardiovascular and Interventional Radiology, 2015, 38(1): 143?151.

[3] BAI Xiangzhi, ZHANG Yu, ZHOU Fugen, et al. Quadtree-based multi-focus image fusion using a weighted focus-measure[J]. Information Fusion, 2015, 22(3): 105?118.

[4] WANG Lei, LI Bin, TIAN Liangfang. Multi-modal medical image fusion using the inter-scale and intra-scale dependencies between image shift-invariant shearlet coefficients[J]. Information Fusion, 2014, 19(1): 20?28.

[5] ZHANG Baohua, LU Xiaoqi, JIA Weitao. A multi-focus image fusion algorithm based on an improved dual-channel PCNN in NSCT domain[J]. Optik-International Journal for Light and Electron Optics, 2013, 124(20): 4104?4109.

[6] 邢雅瓊, 王曉丹, 畢凱, 等. 基于非下采樣輪廓波變換和壓縮感知的圖像融合方法[J]. 控制與決策, 2014, 29(4): 585?592. XING Yaqiong, WANG Xiaodan, BI Kai, et al. Fusion technique for images based on non-subsampled contourlet transform and compressive sensing[J]. Control and Decision, 2014, 29(4): 585?592.

[7] DAS S, KUNDU M K. A neuro-fuzzy approach for medical image fusion[J]. Biomedical Engineering, IEEE Transactions on, 2013, 60(12): 3347?3353.

[8] 李奕, 吳小俊. 粒子群進化學習自適應雙通道脈沖耦合神經網絡圖像融合方法研究[J]. 電子學報, 2014, 42(2): 217?222. LI Yi, WU Xiaojun. A novel image fusion method using self-adaptive dual-channel pulse coupled neural networks based on PSO evolutionary learning[J]. Journal of Electronic, 2014, 42(2): 217?222.

[9] ZHAN Kun, ZHANG Hongjuan, MA Yide. New spiking cortical model for invariant texture retrieval and image processing[J]. Neural Networks, IEEE Transactions on, 2009, 20(12): 1980?1986.

[10] WANG Rui, WU Yi, DING Mingyue, et al. Medical image fusion based on spiking cortical model[C]//SPIE Medical Imaging. International Society for Optics and Photonics, 2013: 867610-867610?7.

[11] WANG Nianyi, MA Yide, ZHAN Kun. Spiking cortical model for multi-focus image fusion[J]. Neuro Computing, 2014, 130(3): 44?51.

[12] HUANG Wei, JING Zhongliang. Evaluation of focus measures in multi-focus image fusion[J]. Pattern Recognition Letters, 2007, 28(4): 493?500.

[13] RASHEDI E, NEZAMABADI-POUR H, SARYAZDI S. GSA: a gravitational search algorithm[J]. Information Sciences, 2009, 179(13): 2232?2248.

[14] 畢曉君, 刁鵬飛, 肖婧. 基于混合策略的引力搜索算法[J]. 系統工程與電子技術, 2014, 36(11): 2308?2413. BI Xiaojun, DIAO Pengfei, XIAO Jing. Gravitational search algorithm with mixed strategy[J]. Journal of Systems Engineering and Electronics, 2014, 36(11): 2308?2413.

[15] 羅曉清. 多傳感器圖像融合理論及其應用研究[D]. 無錫: 江南大學生物工程學院, 2010: 63. LUO Xiaoqing. Study on the theory of multi-sensor image fusion and its application[D]. Wuxi: Jiangnan University. College of Biological Engineering, 2010: 63.

(編輯 陳愛華)

Multi-focus image fusion based onregional characteristics of SCM

BI Xiaojun, DIAO Pengfei, CHEN Chunyu

(College of Information and Communication Engineering, Harbin Engineering University, Harbin 150001, China)

Considering our eyes are very sensitive on regional characteristics, a new fusion algorithm which combines regional characteristics and adaptive SCM is proposed. And the new algorithm has two steps to fusing image. Firstly, comparing the regional characteristics of the two images, and fusing the best area and the same area. Then, the difference area of image will be fused by SCM model. And a fusion standard was proposed. In order to select parameters of the model to get a better fusion image, an optimization algorithm was adopted and some improvements will be make to enhance searching ability. At last, experimental results show that the method can provide a best fusion quality in visual sense than other contrast algorithm.

multi-focusimage fusion; spiking cortical model; regional characteristics; gravitational search algorithm

10.11817/j.issn.1672-7207.2016.11.015

TP391

A

1672?7207(2016)11?3721?08

2016?01?15；

2016?04?09

國家自然科學基金資助項目(61175126)；中央高校基本科研業務費專項資金項目(HEUCFZ1209) 高等學校博士學科點專項(20112304110009) (Project(61175126) supported the National Natural Science Foundation of China;Project(HEUCFZ1209) supported by the Fundamental Research Funds for the Central Universities;Project(20112304110009) supported by the Special Scientific Research Foundation of the Doctoral Program of Higher Education)

畢曉君，博士，教授，從事信息智能處理技術、智能優化算法、數字圖像處理研究；E-mail: 398317196@qq.com