改進的響尾蛇雙模式細胞模型的圖像融合

王 勇， 王宇慶， 馬 嬌

(1.吉林大學 通信工程學院，吉林 長春 130012；2.中國科學院 長春光學精密機械與物理研究所，吉林 長春 130033；3.中國科學院 電子學研究所，北京 100080)

?

改進的響尾蛇雙模式細胞模型的圖像融合

王 勇1*， 王宇慶2， 馬 嬌3

(1.吉林大學 通信工程學院，吉林 長春 130012；2.中國科學院 長春光學精密機械與物理研究所，吉林 長春 130033；3.中國科學院 電子學研究所，北京 100080)

由于基于經典Waxman融合模型得到的偽彩色融合圖像目標不夠清晰，本文提出了一種改進的感受野融合模型。對紅外圖像和可見光圖像分別進行了ON對抗增強和OFF對抗增強；將紅外ON對抗增強圖像饋入中心-環繞感受野模型的中心興奮區域，可見光OFF對抗增強圖像饋入環繞抑制區，得到融合圖像的B分量；將紅外OFF對抗增強圖像饋入中心-環繞感受野模型的環繞抑制區域，可見光ON對抗增強圖像饋入中心興奮區，得到融合圖像的G分量；將可見光ON對抗增強圖像直接作為融合圖像的R分量；然后，輸出RGB偽彩色融合圖像。最后，用Waxman方法和本文提出的方法分別對兩組源圖像進行融合，并用信息熵和平均梯度對融合結果進行了評價。結果表明，采用提出的模型，第一組融合圖像的信息熵和平均梯度比Waxman融合模型分別高出0.314 6和0.004 1，第二組融合圖像的信息熵和平均梯度比Waxman融合模型分別高出0.255 1和0.002 7。得到的數據顯示本文提出的融合模型的融合效果優于經典Waxman模型。

圖像融合；感受野融合模型；紅外圖像；可見光圖像；中心-環繞受域；雙模式細胞

1 引 言

圖像融合是通過提取兩個或兩個以上源圖像的信息，得到同一場景或目標更為準確、全面和可靠的圖像描述[1]。目前關于圖像融合的研究多數集中在像素級、特征級或決策級的圖像融合算法的探索上[2-5]。近年來，有部分學者提出了通過模擬生物視覺成像機制實現圖像融合的方法[6]。他們將響尾蛇作為主要研究對象。

自然界中，任何物體都能夠輻射紅外能量，響尾蛇利用目標和背景紅外輻射能量的差異得到不同目標的紅外圖像。即使相距較遠，其紅外感知系統也能排除外界事物的干擾，探測到隱藏著的熱目標。然而紅外圖像的對比度較差，它只對環境中目標的熱輻射比較敏感，對于亮度變化并不敏感，而且由于沒有顏色信息，對場景細節也不敏感。可見光圖像比紅外圖像包含更多的目標細節信息，但在環境亮度較低時，圖像的亮度、對比度和圖像分辨率都會下降[7-8]。科研人員通過研究發現，在響尾蛇的視覺系統中，紅外信息和可見光信息可以很好地相互協同，形成的融合圖像細節信息豐富、目標清晰。因此，人們試圖通過研究響尾蛇的視覺成像機制，揭示出紅外與可見光圖像的融合機理，建立一套仿生融合算法。

近幾年，在生物學研究成果的基礎上，圖像處理領域的研究者對基于響尾蛇的視覺成像系統做了深入研究[9]，概括為以下兩個方面：(1)用感受野動力學方程做圖像融合，探討方程中各個參數的取值[6]。(2)提出了多波段圖像假彩色融合技術[9-10]。本文對waxman感受野模型做了改進，先對紅外圖像和可見光圖像分別進行ON對抗增強和OFF對抗增強，再將紅外ON對抗增強圖像饋入中心-環繞感受野模型的中心興奮區域，將可見光OFF對抗增強的圖像饋入環繞抑制區，得到融合圖像的B分量；接著將紅外OFF對抗增強圖像饋入中心-環繞感受野模型的環繞抑制區域，可見光ON對抗增強的圖像饋入中心興奮區，得到融合圖像的G分量；最后將可見光ON對抗增強的圖像直接作為融合圖像的R分量。輸出RGB偽彩色融合圖像。

2 經典雙模式細胞模型

2.1 經典雙模式細胞模型

Newman、Hartline兩人指出響尾蛇視頂蓋中紅外和可見光信息的融合作用通過雙模式細胞的與、或、紅外增強可見、可見增強紅外、紅外抑制可見和可見抑制紅外這6種方式的相互作用實現。為了實現其視覺成像過程的仿真，需要對這6種雙模式細胞建立合適的數學模型[9]。

文中將可見光圖像和紅外圖像分別用fv(x，y)和fir(x，y)表示，6種模式分別描述如下。

2.1.1 可見光增強紅外細胞

該細胞對單獨的可見光信號不起作用，對單獨的紅外信號則能產生響應。當紅外信號存在時加入可見光信號刺激，細胞的響應將明顯增強。由此可知可見光對紅外信號起到了輔助增強的作用。本文用指數函數來模擬紅外信號的增強效果。可以得到：

fv+ir(x，y)=fir(x，y)expfv(x，y)，

(1)

其中：fv+ir(x，y)表示可見光增強紅外后的圖像。

2.1.2 可見光抑制紅外細胞

該細胞對單獨的紅外信號可以產生響應，而對單獨的可見光信號卻不起作用。當紅外信號存在時加入可見光信號的刺激，細胞響應將明顯減弱，即可見光對紅外信號的響應起到了抑制的作用。本文用對數函數來模擬可見光對紅外信號的抑制：

fv-ir(x，y)=fir(x，y)log[fv(x，y)+1]，

(2)

其中：fv-ir(x，y)表示可見光抑制紅外后的圖像。

2.1.3 紅外增強可見光細胞

該細胞對單獨的紅外信號不起作用，對單獨的可見光信號則能產生響應。當可見光信號單獨存在時加入紅外信號刺激，細胞的響應將大大增強。由此可知紅外對可見光信號起到了輔助增強作用。本文用指數函數來模擬紅外信號對可見光信號的增強效果。可以得到：

fir+v(x，y)=fv(x，y)expfir(x，y)，

(3)

其中：fir+v(x，y)表示紅外增強可見光信號后的圖像。

2.1.4 紅外抑制可見光細胞

該細胞對單獨的可見光信號可以產生響應，而對單獨的紅外信號不起作用。當可見光信號單獨存在時加入紅外信號的刺激，細胞響應將大大減弱。由此可知紅外對可見光信號的響應起到了抑制作用。本文用對數函數來模擬紅外信號對可見光信號的抑制。得到下式：

fir-v(x，y)=fv(x，y)log[fir(x，y)+1]，

(4)

其中：fir-v(x，y)表示紅外抑制可見光信號后的圖像。

2.1.5 AND (與)細胞

當紅外信號和可見光信號同時存在時，細胞才產生明顯的響應。因此本文用“加權與”來模擬可見光圖像和紅外圖像的共同作用。

①當fv(x，y)>fir(x，y)時，融合結果為：

fand(x，y)=bfv(x，y)+afir(x，y).

(5)

②當fv(x，y)

fand(x，y)=afv(x，y)+bfir(x，y)，

(6)

其中：a>0.5，b<0.5。

2.1.6 OR(或)細胞

可見光信號或紅外信號任意一種存在或兩者都存在時，細胞都會產生明顯的響應。本文用“加權或”來模擬可見光圖像和紅外圖像的共同作用。

①當fv(x，y)>fir(x，y)時，融合結果為：

for(x，y)=afv(x，y)+bfir(x，y).

(7)

②當fv(x，y)

for(x，y)=bfv(x，y)+afir(x，y)，

(8)

其中：a>0.5，b<0.5。

生理視覺研究發現，視網膜中神經細胞的不同位置對光照產生的反應不同，即興奮或抑制響應。本文把視網膜上能夠影響某一個神經細胞反應的區域稱為神經細胞的受域，也稱作感受野(RF)。神經元細胞的受域是視覺信息處理的基本單位[6]。

根據視網膜錐體細胞與大腦視覺皮層細胞之間的聯系，可將視網膜神經細胞的感受野分為兩種：ON中心-OFF環繞感受野和OFF中心-ON環繞感受野，分別表示中心興奮/環繞抑制和中心抑制/環繞興奮，簡稱為ON-中心型和OFF-中心型感受野。圖1表示了視神經節細胞的同心圓結構對抗受域模型，其中+區域表示興奮區域，-區域表示抑制區域。ON-中心型對抗受域是由中心的興奮區和環繞的抑制區組成，當給予中心光照時，神經細胞的反應活動增強；而當光照充滿環繞區域時，神經細胞的反應活動將受到抑制。ON-中心型感受野的興奮性分布為從中心到周邊逐漸減弱。OFF-中心型感受野則與之相反。生物物理學家將中心區域和環繞區域對于光照作用的不同反應稱為拮抗作用。利用中心和環繞區域的拮抗響應，突出圖像中的高頻或細節信息，據此，可以提取出圖像的邊緣信息[11-12]。

圖1 ON-中心型和OFF-中心型感受野

生理學研究發現，距離視網膜中心越近，神經節細胞的受域越大。神經節細胞受域的模型為高斯差函數模型。中心受域和環繞受域的細胞活躍特性符合高斯分布，受域中心的敏銳性最高，距離中心越遠，受域的敏銳性越低[6]。

2.2 視覺感受野的數學模型

E.H.Land在1971年發表的具有劃時代意義的論文“Lightness and Retinex Theory”中提出把明度計算和顏色恒定性簡化為工程可操作的計算方法，并稱之為Retinex。該詞是組合詞，來源于視網膜Retina和大腦皮層Cortex兩個詞[4]。在生物視覺系統中，ON-中心型感受野和OFF-中心型感受野在大腦皮層的視覺信息處理階段起著很重要的作用，此視覺細胞感受野數學模型的建立使圖像處理的前景十分廣闊。

中心-環繞對抗受域的一種動力學描述是被動膜方程(Passive Membrane Equation)。此方程最早由A.L.Hodgkin和A.F.Huxley提出，后來S.Grossberg在描述中心-環繞受域神經網絡的動力學過程時，也得到了形式相似的網絡動力學方程[7]：

ON對抗系統細胞響應：

(9)

OFF對抗系統細胞響應：

(10)

式中：A是衰減常數，i，j為像素坐標，D表示細胞基底活性，k是顏色通道，E和F是極化常數。Ck(i，j)為受域興奮中心，其可描述為：

Ck(i，j)=Ik(i，j)*Wc(i，j)=

(11)

Sk(i，j)為受域抑制環繞區域，其可描述為：

Sk(i，j)=Ik(i，j)*Ws(i，j)=

(12)

其中：Ik(i，j)為輸入圖像，*是卷積算子，Wc(i，j)、Ws(i，j)分別是中心區域和環繞區域的高斯分布函數，它們的高斯模板大小分別為m×n和p×q，σc，σs分別為中心區域和環繞區域的空間常數，上下標c、s分別表示中心(Center) 和環繞區域(Surround)。

3 融合結構及評價方法

3.1 經典融合結構

美國麻省理工大學MIT實驗室的A.M.Waxman等模仿響尾蛇雙模式細胞機理建立了基于生物特性的假彩色圖像融合的典型結構。Waxman融合結構如圖2所示。其中ON/OFF結構表現了中心-環繞對抗受域的對比度感知屬性，第一階段為增強階段，第二階段為對紅外增強可見光和紅外抑制可見光的處理，這與響尾蛇的視覺融合機理相符。

圖2 Waxman融合結構

該算法在第一階段，分別使用OFF對抗系統和ON對抗系統得到了紅外圖像的OFF增強圖像和ON增強圖像，及ON對抗系統增強可見光信號，用ON_VIS表示。第二階段為融合階段，該階段將ON對抗系統增強可見光信號分別饋人兩個中心-環繞對抗受域的興奮中心細胞中，紅外圖像的OFF增強圖像和ON增強圖像則分別饋入相應神經元的環繞抑制細胞中，得到了兩個融合信號+VIS+IR和+VIS-IR。這兩個信號分別模擬了紅外增強可見細胞響應和紅外抑制可見細胞響應。最后將得到的3個信號+VIS+IR、ON_VIS和+VIS-IR分別映射到R、G、B 3個通道，形成了假彩色融合圖像[10]。

3.2 本文融合結構

Waxman融合算法中模擬了“紅外增強可見光細胞”和“紅外抑制可見光細胞”，但融合圖像中的目標并不明顯，細節也不夠突出。針對這一問題，本文提出一種基于Waxman融合結構的改進結構，用以模仿響尾蛇視覺成像中紅外信息和可見光信息的融合過程。改進的融合結構如圖3所示。該算法在第一階段，分別使用OFF對抗系統和ON對抗系統得到了紅外圖像和可見光圖像的OFF增強圖像和ON增強圖像。第二階段為融合階段，將ON對抗系統增強可見光信號ON_VIS 饋入中心-環繞對抗受域的興奮中心細胞，紅外圖像的OFF增強圖像饋入相應神經元的環繞抑制細胞，得到了可見增強紅外細胞響應+VIS+IR 融合信號。將OFF對抗系統增強可見光信號饋入中心-環繞對抗受域的環繞抑制細胞，紅外圖像的ON增強圖像饋入相應神經元的興奮中心細胞，得到了紅外增強可見細胞響應+IR+VIS融合信號。最后將3個信號+VIS+IR、ON_VIS和+IR+VIS分別映射到R、G、B 3個通道，形成了假彩色融合圖像。使用兩組源圖像進行了仿真實驗，圖4為第一組源圖像的仿真結果，圖6～7(彩圖見期刊電子版)為第二組源圖像的仿真結果。

圖3 改進的融合結構

3.3 融合圖像評價方法

本文采用的客觀評價指標為信息熵和平均梯度。

(1)信息熵

從所含信息量的角度看，融合后圖像的信息量會有所增加，因此可以根據信息熵的變化來評價融合圖像的效果。信息熵的值越高，融合效果也越好。信息熵H的定義如下：

(13)

其中：L為圖像總的灰度級，pi為不同的灰度值像素的概率分布。

(2)平均梯度

平均梯度可以表示圖像的清晰度，還可用來表示圖像細節之間的差距。平均梯度的定義如下：

，

(14)

4 仿真實驗

本文采用兩組源圖像進行仿真實驗，圖4為第一組源圖像，是正常情況下拍攝的可見光和長波紅外圖像；圖6為第二組源圖像，是在煙霧環境下拍攝的可見光和長波紅外圖像，圖5和圖7為用Waxman方法和本文提出的方法分別對兩組源圖像進行融合的結果。

(a)可見光圖像

(b)紅外圖像

(a)Waxman融合圖像

(b)本文方法融合圖像

(a)可見光圖像

(b)紅外圖像

(a)Waxman融合圖像

(b)本文融合圖像

從圖5融合圖像結果看，本文方法得到的融合圖像有較好的視覺效果，且較接近自然色彩，目標更加突出，場景的細節信息也比較好，較原Waxman方法融合效果有所提升。圖7(a)是Waxman方法對圖6源圖像的融合結果，從圖中已無法看清被煙霧遮擋的房屋、人物以及著火點。圖7(b)是采用本文提出的融合結構得到的融合結果，可見，不僅保留了可見光圖像的背景信息，如房屋、樹木、人物和煙霧，而且包含了紅外圖像的主要信息，如較清晰的目標人物和發熱源位置。

兩種方法的信息熵、平均梯度及仿真時間如表1所示。信息熵和平均梯度越大，說明融合圖像中包含的信息越完整，細節越突出。從表1可以看出，對于兩組紅外和可見，本文光源圖像，本文方法的信息熵和平均梯度都要優于經典Waxman方法。但本文算法的仿真時間略大于Waxman算法，可見算法還有待進一步簡化以縮小圖像融合時間。

表1 融合結果量化評價

綜上所述，無論從從視覺效果看，還是從量化評價指標看，本文感受野融合結構模擬出的響尾蛇視覺成像效果均較好，較符合其捕食活動準確而可靠的特點。

5 結 論

針對經典Waxman融合模型得到的偽彩色融合圖像目標不夠清晰的缺點，本文研究了響尾蛇的視覺成像系統，在此基礎上，對Waxman結構進行了改進。兩組源圖像融合實驗結果顯示，本文方法較Waxman結構的信息熵和平均梯度分別高0.314 6和0.004 1；0.255 1和0.002 7。證明本文方法效果較好。下一步將對算法進行簡化以縮小圖像融合時間。

[1] 陳浩，朱娟，劉艷瀅，等.利用脈沖耦合神經網絡的圖像融合[J].光學 精密工程，2010，18(4)：995-1001. CHEN H， ZHU J， LIU Y Y，etal.. Image fusion based on pulse coupled neural network [J].Opt.PrecisionEng.， 2010，18(4)：995-1001.(in Chinese)

[2] AGRAWAL J D， SINGHAI J.Multifocus image fusion using modified pulse coupled neural network for improved image quality [J].IETImageProcessing，2010，4(6)：443-451.

[3] YOUNGGI B， JAEWAN C， YOUKYUNG H.An area-based image fusion scheme for the integration of SAR and optical satellite imagery [J].IEEEJournalofSelectedTopicsinAppliedEarthObservationsandRemoteSensing， 2013，6(5)：2212-2220.

[4] XU M， CHEN H，PRAMOD K V.An image fusion approach based on markov random fields [J].IEEETransactionsonGeoscienceandRemoteSensing， 2011，49(12)：5116-5127.

[5] REN H ZH， LAN Y H， ZHANG Y.Research of multi-focus image fusion based on m-band multi-wavelet transformation [J].FourthInternationalWorkshoponAdvancedComputationalIntelligence，Wuhan，Hubei，China， 2011(10)：395-398.

[6] 倪國強. 基于視覺神經動力學的圖像融合與處理技術若干新進展[J].激光與紅外， 2005，35(11)：817-821. NI G Q.Image fusion technology and its new development [J].Laser&Infrared， 2005，35(11)： 817-821.(in Chinese)

[7] 邢素霞，常本康，張俊舉.基于紅外目標分割的圖像融合方法研究[J].視頻工程與應用，2009，33(11)：110-112. XING S X，CHANG B K，ZHANG J J.Study of fusion method based on infrared object segmentation [J].VideoApplication&Project， 2009，33(11)：110-112.(in Chinese)

[8] 陳少華. 基于紅外與可見光圖像融合的目標跟蹤[D]. 南京：南京航空航天大學，2012. CHEN SH H.Targettrackingbasedoninfraredandvisibleimagefusion[D].Nanjing：Nanjing University of Aeronautics，2012.(in Chinese)

[9] 荊紹威.多波段圖像仿生假彩色融合技術研究[D]. 太原：中北大學，2009. JING SH W.Studyofbionicfalsecolorfusionofmulti-bandimage[D].Taiyuan：North University of China，2009.(in Chinese)

[10] 倪國強.多波段圖像融合算法研究及其新發展Ⅰ[J].光電子技術與信息，2001，14(5)：11-17. NI G Q.Study on multi-band image fusion algorithms and its progressing(Ⅰ)[J].OptoelectronicTechnology&Information，2001，14(5)：11-17.(in Chinese)

[11] 張彬，許廷發，黃光華，等.基于小波框架的紅外/可見光圖像融合[J]. 光學技術，2007，32(3)：334-336. ZHANG B， XU T F， HUANG G H，etal.. Fusion of infrared and visible images based on wavelet frame [J].OpticalTechnique，2007，32(3)：334-336.(in Chinese)

[12] 倪國強，肖蔓君，秦慶旺，等. 近自然彩色圖像融合算法及其實時處理系統的發展[J].光學學報，2007，27(12)：2101-2109. NI G Q，XIAO M J，QIN Q W，etal.. Development of near natural color image fusion algorithms and real time image fusion system [J].ActaOpticaSinica，2007，27(12)：2101-2109.(in Chinese)

王 勇(1982-)，女，山西太原人，博士，講師，2004年于吉林大學獲得工學學士學位，2010年于中國科學院長春光學精密機械與物理研究所獲得工學博士學位，主要從事數字圖像處理，模式識別等方面的研究。E-mail：wang_yong8205@163.com

王宇慶(1979-)，男，吉林長春人，博士，副研究員，2002年于吉林大學通信工程學院獲得學士學位，2005年于吉林大學信號與信息處理專業獲得碩士學位，2008年于中國科學院長春光學精密機械與物理研究所光學工程專業獲得博士學位，主要從事圖像質量評價、圖像增強、圖像融合、FPGA設計，群體智能的研究。E-mail： wyq7903@163.com

(版權所有 未經許可 不得轉載)

Improved rattle snake dual mode cell model for image fusion

WANG Yong1*， WANG Yu-qing2，MA Jiao3

(1.College of Communication Engineering， Jilin University，Changchun 130012， China；2.ChangchunInstituteofOptics，FineMechanicsandPhysics，ChineseAcademyofSciences，Changchun130033，China；3.InstituteofElectronics，ChineseAcademyofSciences，Beijing100080，China)

Since the target in a pseudo color fusion image based on the classical Waxman fusion model is not clear，this paper proposes an improved receptive field fusion model. The infrared image and visible light image were respectively ON against enhanced and OFF against enhanced. The infrared ON against enhanced image was fed into an center exciting area of the center-surround receptive field model and the visible light OFF against enhanced image was fed into a surround inhibition zone to get the fusion imageBcomponent. Then， the infrared OFF against image was fed into a center inhibition zone of the center-surrounding receptive field model and the visible light ON against enhanced image was fed into the center exciting area to get the fusion image ofGcomponent. Furthermore， the visible ON against enhanced image was directly taken as theRcomponent of fused image and to output the pseudo color fusion image. Finally， the fusion experiments were performed for two groups of original images by Waxman model and proposed model and the fusion results were evaluated by the information entropy of fused image and the average gradient. The results show that the first set data by proposed method are higher 0.314 6 and 0.004 1 respectively than that of Waxman fusion model， and that of the second set data by proposed method are higher 0.255 1 and 0.255 1 than that of the Waxman fusion model. It concludes that fusion effect of the proposed fusion model is superior to that of the classical Waxman model.

image fusion； receptive field fusion model； infrared image； visible image； center-surrounded by domain； dual mode cell

2016-06-29；

2016-08-13.

國家自然科學基金青年基金資助項目(No.61201368)；吉林省教育廳“十二五”科學技術研究計劃資助項目(No.吉教科合字[2015]第 484號)

1004-924X(2016)11-2848-07

TP391.4

A

10.3788/OPE.20162411.2848

*Correspondingauthor，E-mail：wang-yong8205@163.com