一種自適應PCNN圖像融合方法

李建鋒 ，鄒北驥，辛國江，李玲芝，蔡美玲

(1. 中南大學 信息科學與工程學院，湖南 長沙，410083；2. 吉首大學 數學與計算機科學學院，湖南 吉首，416000)

圖像融合是圖像分析與處理的基礎工作,傳統方法大多通過對圖像進行多尺度分解，然后，以一定的融合規則獲取融合圖像，涉及的算法主要有多分辨率金字塔和小波變換等方法[1-2]。目前，仿生物視覺機理的脈沖耦合神經網絡[3-4]在邊緣檢測、圖像增強、圖像分割、圖像檢索、圖像融合等領域應用廣泛[5-8]。基于該技術的圖像融合主要有2種：一是與其他算法相結合的自適應PCNN融合算法[9-10], 這類方法以文獻[9]中基于標準差和拉普拉斯能量結合的自適應方法以及文獻[10]中以圖像的能量梯度作為 PCNN(Pulse coupled neural network)參數自適應；另一類是利用PCNN自身的特性融合圖像[11-15]。基于PCNN的圖像融合技術算法最大的問題是PCNN的參數必須事先確定，此外，參數眾多也是 PCNN圖像處理中的難題。針對上述2個問題，許多研究者提出多種解決辦法[9-15]。在此，本文作者在簡化PCNN模型的基礎上采用另一種自適應調整PCNN參數的方法，提出基于局部均值和局部方差的PCNN圖像融合技術。實驗中與多種金字塔融合方法(如拉普拉斯算子金字塔法、對比度金字塔法、梯度金字塔法、FSD、金字塔法、比率金字塔法、形態學金字塔法)、小波方法(包括平移不變小波(Shift invariance discrete wavelet transform,SIDWT)、小波變換法(Wavelet decompose transform,DWT)、主成分分析法(Principal component analysis,PCA))等多種融合算法在同源傳感器圖像融合以及異源傳感器圖像融合2個方面進行比較，對融合結果進行主觀和客觀評價。

1 方法概述

圖像融合是提取待融合圖像的顯著區域，通過融合規則形成一幅包含源圖像顯著特征的圖像處理技術。圖1所示為本文方法圖像融合方法的算法結構圖。

圖1 本文圖像融合算法結構Fig.1 Algorithm structure of the image fusion

據圖1，本文方法主要包括以下3步。

步驟 1：待融合圖像通過直方圖線性增強技術進行增強處理。

步驟2：通過PCNN得到點火圖。若是灰度圖像，則直接通過PCNN得到圖像的點火圖；若是彩色圖像，則將圖像分解為紅(R)，綠(G)和藍(B)3個色彩分量，通過PCNN得到各個分量的點火圖。

步驟3：以各個點火圖形成的顯著性區域為依據，通過融合規則融合源圖像得到結果。其中：灰度圖像的融合直接以待融合圖像的點火圖為依據；彩色圖像以步驟2得到的各個分量的點火圖為依據，通過融合規則得到各個分量的融合圖像，最后整合形成結果。

2 基于直方圖線性增強和 PCNN的圖像融合方法

2.1 PCNN原理及改進模型

脈沖耦合神經網絡單個神經元由接收域、調制部分和脈沖產生器3部分組成，數學方程描述為[3-4]：

式中：Fij為反饋輸入；Lij為鏈接輸入；Uij為內部活動項；Eij為動態閾值；Yij為脈沖輸出；ij為神經元的標號；n為迭代次數；Sij為外部刺激；Wijkl和 Mijkl為神經元的突觸連接權，代表神經元i和神經元j之間反饋域和輸入域的連接強度；aL，aF和aE為時間衰減常數；VF，VL和 VE為放大系數；β為內部活動連接系數。在具體應用中，一個神經元對應圖像中的一個像素，像素的灰度作為神經元的外部刺激輸入，接收域部分的反饋輸入F接受來自外界的刺激S和相鄰神經元的輸出Y，連接輸入接受相鄰神經元的輸出刺激Y，內部活動項將輸入域和連接域的信號進行相乘調制得到信號 U，脈沖產生部分比較 U和動態閾值 E，若U＞E，則脈沖發生器啟動，神經元點火輸出 Yij=1，否則，神經元不點火，輸出Yij=0。重復上述過程，直到滿足條件為止。

通過上述分析可知PCNN在實際應用中存在以下問題：一是參數多,自適應地確定這些參數非常困難；二是計算量大，效率低，迭代次數也多。本文對原模型進行簡化(見式(6)～(9))：

待融合圖像經過式(6)～(9)的計算得到圖像中各個像素連接強弱的關系，為計算圖像的顯著性區域做準備。與基本PCNN相比，本文方法簡化了PCNN的參數，提高了算法執行的效率。

2.2 基于均值和方差的 PCNN連接強度自適應調整原則

目前，自適應調整PCNN參數主要是針對連接系數 β，調整的依據主要基于人眼視覺系統對特征明顯的物體和區域更加關注的直觀表現，進而推測在微觀層面神經元之間具有不同的連接強度。文獻[9]以像素之間的拉普拉斯能量和標準差，文獻[10]以像素的梯度能量作為PCNN神經元連接強度設置的依據。這2種確定神經元連接強度的方法在應用中都取得了較好的效果。在圖像處理中，對比度和亮度是評價圖像效果的2個重要評價指標，若均值越大，則圖像的亮度越大；若方差越大，則圖像的對比度越強。為此，本文提出一種基于局部均值和方差的連接強度自適應調整規則，均值Eg和方差σg的計算公式分別為：

基于局部均值和方差的連接系數調整方案如下：對于圖像 f，以任意像素(i, j)為中心的 N×N鄰域g(i, j)，計算該像素在鄰域g(i, j)內的局部均值和方差。均值和方差反映該像素與鄰接像素間的關系，將該值作為PCNN相應點的連接強度系數。

2.3 圖像直方圖線性增強

圖像融合主要有2類：一類是同源傳感器產生的多焦點圖像，將聚焦區域融合于1幅圖像中；另一類是異源傳感器圖像，將各個傳感器得到的圖像顯著特征融合于1幅圖像。這2類融合的目的都是提取源圖像的顯著性區域中置于1幅圖像中。

根據韋伯-費赫涅爾可知：人眼感受物體的主觀亮度不是有物體自身的客觀亮度決定。主觀亮度感覺M與客觀亮度B之間存在如下對數關系[16]：

由此可以得到視覺相對對比度R為：

其中：B和B0分別為物體中主體的客觀亮度以及背景的客觀亮度；M和 M0分別為物體中主體的主觀亮度以及背景的主觀亮度。由式(13)可以推斷：要提高視覺對比度 R，必須使圖像中主體的主觀亮度增大的同時，使圖像背景的主觀亮度盡量低。即在常數k不變的情況下，使主體的客觀亮度B進一步增加，同時使背景的客觀亮度B0降低或者不變。

結合圖像融合的特點以及上述推斷，通過直方圖線性增強技術增強圖像，進一步強化源圖像的顯著性區域。這主要基于2個方面的考慮：一是直方圖增強技術與同類算法相比簡單，它對圖像的增強方式是線性調整，沒有破壞原始圖像像素的整體布局，處理結果更加自然。同類技術中的均衡化技術對圖像的像素進行重排，破壞了源圖像的一致性，會導致圖像變換后灰度級減少、細節丟失以及對比度不自然增強等問題；二是同源多焦點傳感器以及異源傳感器產生圖像的目的都是為了突出物體某一方面的特征或性質，因此，散焦區域(非顯著區域)相對于聚焦區域(顯著區域)在圖像中就相當于背景，而聚焦區域(顯著區域)則是圖像中的主體。通過大量的實驗發現：對這些圖像進行直方圖線性增強，圖像的主體增強很明顯，而背景區域增強的效果并不明顯。圖2(a)和(e)所示為同源傳感器在同一角度不同焦距獲得的2幅圖像。圖2(b)和(f)是源圖像(圖 2(a)和(e))經過直方圖線性增強處理后得到的圖像。可以看出：聚焦區域對比度更加明顯，細節更加突出，而各個圖像的散焦區域的對比度沒有提高。從增強后圖像點火圖(圖 2(d)和(h))也可發現圖像的聚焦區域邊緣更加清晰，輪廓更加完整，而散焦區域在圖像增強前、后的邊緣增強并不明顯。這正符合韋伯-費赫涅爾發現的人眼感受物體的特征以及本文想要達到的效果。

2.4 圖像融合規則

對于待融合圖像I1和I2，各自的點火圖I1F和I2F以像素(i, j)為中心的局部區域I1F(i, j)和I2F(i, j)以及融合結果F，本文的融合規則具體如下。

步驟1：取出點火圖I1F和I2F各個像素的局部區域 I1F(i, j)和 I2F(i, j)。

步驟 2：計算 I1F(i, j)和 I2F(i, j)的最大值，即max(I1F(i, j))和 max(I2F(i, j))。

步驟 3：設定閾值φ，進行如下判斷得到融合圖像F。

圖2 圖像增強處理前后以及相應點火圖效果對比Fig.2 Image enhancement effects and corresponding ignition figures before and after treatment

3 實驗及討論

為了驗證算法的有效性，進行仿真實驗，將該方法與對比度金字塔、梯度金字塔、拉普拉斯金字塔、FSD金字塔、形態學金字塔法、比率金字塔法以及SIDW 等方法進行比較，以驗證上述算法在同源傳感器多焦點圖像融合以及異源傳感器在同一位置產生的不同圖像融合的性能。金字塔算法將圖像分解為4層，小波方法中均進行4層小波分解，其中DWT采用Db4小波基，SIDWT采用Haar基。本文方法的鏈接矩陣為常用的W=[0.707, 1.000, 0.707; 1.000, 0, 1.000; 0.707,1.000, 0.707]。對融合結果，本文給出主觀和客觀的評判。主觀評價主要是觀察融合圖像的直觀效果，客觀評價主要是針對融合圖像的分辨率以及融合圖像包含信息的程度2個方面進行定量分析，并從融合圖像的均值(Mean，VA)、標準差(Standard deviation，DS)、熵(Entropy, E)、互信息(Mutual information, MI)等具體指標進行評估。其中：MI_A，MI_B，MI_C和MI_AVG分別為融合結果與源圖像A、源圖像B、合成標準圖像以及上述結果的平均互信息等指標。上述評價指標均值反映融合結果的亮度，其值越大，說明亮度越大；標準差用于評價圖像的細節紋理以及圖像均值的離散等情況，其值越大，說明細節紋理信息越多，灰度分布越分散；熵用于評價圖像攜帶信息的情況，其值越大，說明融合后圖像從原始圖像中提取的信息越多,融合效果越好；互信息是評價融合圖像對標準參考圖像不確定性的減少量，其值越大越好；平均互信息量表征了融合圖像從源圖像中獲取信息的豐富程度，對于大小為M×N的圖像，各公式定義如下[17]：

式中：L為圖像的灰度等級；Pi為灰度 i在圖像中出現的概率；N為圖像大小；f為融合圖像；fv為標準圖像；E(A,B)為圖像A和B的聯合熵。

3.1 同源傳感器圖像融合

在同源傳感器圖像融合中采用文獻[13]中的測試圖像。各個算法的融合效果由于從主觀視覺上的差別不大，因此文中沒有列出。客觀評價方面從表1的評價結果看，本文方法性能均比其他方法的優。

3.2 異源傳感器圖像融合實驗

圖3(a)和(e)所示為不同傳感器在同一位置拍攝的2幅不同圖像，它們反映出的地物信息各有側重。源圖像圖3(a)突出了地物的顏色信息，目標的細節比較模糊；源圖像圖 3(e)則突出了目標的細節，如何使融合圖像既具有顏色信息，又不丟失各個目標的細節信息是本次融合的目的。圖 3(b)～(d)以及 3(f)～(l)所示為各種方法融合的結果，表2所示為各種算法融合的客觀評價結果。

表1 不同融合算法在同源傳感器多聚焦圖像融合結果的均值、標準差、熵、平均互信息情況Table 1 Performance of different fusion methods on VA, DS, E and MI_AVG

圖3 異源傳感器圖像各種融合算法直觀效果Fig.3 Fusion algorithm direct effects for inhomogeneous sensor and different focal distance images

表2 不同融合算法在異源傳感器圖像融合結果均值、標準差、熵、平均互信息比較Table 2 Performance comparison of different fusion methods for different source sensors on VA, DS, E and MI_AVG

從直觀效果來看，SIDWT，PCA和比率金字塔3種算法得到的融合圖像比較模糊，其他算法以及本文方法得到的融合圖像比較清晰，而由本文方法得到的結果不但具有豐富的顏色信息，而且結果中包含的細節信息、紋理信息更多目標區域更加突出，如源圖像中的橋梁、公路、碼頭以及河流中的船只的刻畫更加顯著。在客觀評價指標方面：本文方法所得均值、標準差、熵、平均互信息的排名分別為1，2，3和1，其綜合評價結果靠前。

3.3 討論

通過比較可知：本文方法在同源傳感器圖像融合中無論是主觀視覺評價還是客觀評價均優于其他方法。在異源傳感器圖像融合中，本文方法在融合結果的細節以及還原各源圖像的顯著區域方面優勢明顯，在客觀評價中本文方法各項指標綜合評價較優。但該方法存在一些不足，如：盡管SIDW，PCA和比率金字塔的融合結果明顯存在模糊不清的情況，但是其客觀評價結果較好；此外，在異源傳感器圖像融合的結果中，雖然本文方法的直觀效果很好，但融合結果的圖像熵和標準差不是最優，主觀視覺感受與客觀評價不能完全一一對應。因此，對圖像融合進行評價時，需要結合實際情況，將主觀評價和客觀評價相結合，以便得到與實際相符的評價結果。

4 結論

(1) 提出了一種基于PCNN的自適應圖像融合方法。在具體操作中，前期通過直方圖線性增強預處理使得源圖像中的顯著性區域得到加強；在自適應參數選擇上，利用方差和均值作為連接強度的計算依據進一步強化了圖像的對比度和亮度。

(2) 實驗結果的主觀效果以及客觀評價指標證明了本文方法的可行性。怎樣使圖像融合效果主觀評價與客觀評價之間進一步統一，從而提高融合效果評價的精準度有待進一步探討。

[1] Redondo R, ?roubek F, Fischer S, et al. Multifocus image fusion using the log-Gabor transform and a multi-size windows technique[J]. Information Fusion, 2009, 10(2): 163-171.

[2] WANG An-na, YANG Ming-ru, LIU Zuo-qian, et al. Medical image fusion based on wavelet and SOM network[J]. Computer Engineering, 2009, 35(21): 200-202, 205.

[3] Eckhorn R, Reitboeck H J, Arndt M, et al. Feature linking via synchronization among distributed assemblies: Simulations of results from cat visual cortex[J]. Neural Comp, 1990, 2(3):293-307.

[4] WANG Zhao-bin, MA Yi-de, CHENG Fei-yan, et al. Review of pulse-coupled neural networks[J]. Image and Vision Computing,2010, 28(1): 5-13.

[5] CHENG Fei-yan, WANG Zhao-bin, MA Yi-de, et al. A new approach for edge detection of color microscopic image using modified pulse coupled neural networks[C]//ICBBE 2009: 3rd International Conference on Bioinformatics and Biomedical Engineering. Beijing, 2009: 1-4.

[6] ZHANG Yu-dong, WU Le-nan, WANG Shui-hua, et al. Color image enhancement based on HVS and PCNN[J]. Science China Information Sciences, 2010, 53(10): 1963-1976.

[7] LU Yun-feng, MIAO Jun, DUAN Li-juan, et al. A new approach to image segmentation based on simplified region growing PCNN[J]. Applied Mathematics and Computation, 2008, 205(2):807-814.

[8] Johnson J L, Padgett M L S. PCNN models and applications[J].IEEE Transaction on Neural Networks, 1999, 10(3): 480-498.

[9] 李美麗, 李言俊, 王紅梅, 等. 基于自適應脈沖耦合神經網絡圖像融合新算法[J]. 光電子激光, 2010, 21(5): 779-782.LI Mei-li, LI Yan-jun, WANG Hong-mei. A new image fusion algorithm based on adaptive PCNN[J]. Journal of Optoelectronics Laser, 2010, 21(5): 779-782.

[10] 苗啟廣, 王寶樹. 一種自適應 PCNN多聚焦圖像融合新方法[J]. 電子與信息學報, 2006, 28(3): 466-470.MIAO Qi-guang, WANG Bao-shu. A novel algorithm of multi-focus image fusion using adaptive PCNN[J]. Journal of Electronics & Information Technology, 2006, 28(3): 466-470.

[11] WEI Li, ZHU Xue-feng. A new algorithm of multi-modality medical medical image based on pulse coupled neural networks[C]//Advances in Natural Computation: First International Conference. ICNC. Berlin: Springer, 2005:995-1001.

[12] WEI Huang, ZHONG Liang-jing. Multi-focus image fusion using pulse coupled neural network[J]. Pattern Recognition Letters, 2007, 28(9): 1123-1132.

[13] 李敏, 蔡騁, 談正. 基于修正PCNN的多傳感器圖像融合方法[J]. 中國圖象圖形學報, 2008, 13(2): 284-290.LI Min, CAI Cheng, TAN Zheng. Modified PCNN based multisensor image fusion scheme[J]. Journal of Image and Graphics, 2008, 13(2): 284-290.

[14] WANG Zhao-bin, MA Yi-de. Dual-channel PCNN and its application in the field of image fusion[C]//Proc of the 3rd International Conference on Natural Computation. Washington DC, 2007: 755-759.

[15] QU Xiao-bo, YAN Jing-wen. Multi-focus Image fusion algorithm based on regional firing characteristic of pulse coupled neural networks[C]//3rd International Conference on Bio-Inspired Computing: Theories and Applications, 2008.BICTA 2008. Zhengzhou, China, 2007: 62-66.

[16] 俞斯樂, 侯正信, 馮啟明, 等. 電視原理[M]. 北京: 國防工業出版社, 2000: 4-18.YU Si-le, HOU Zheng-xin, FENG Qi-ming. TV principle[M].Beijing: Defense Industry Press, 2000: 4-18.

[17] ZHOU Wang, Bovik A C. A universal image quality index[J].IEEE Signal Processing Letters, 2002, 9(3): 81-84.