基于梯度域?qū)驗(yàn)V波器和改進(jìn)PCNN的圖像融合算法

王 健, 何自豪, 劉 潔, 楊 珂

(1. 西北工業(yè)大學(xué)電子與信息學(xué)院, 陜西 西安 710129;2. 西北工業(yè)大學(xué)第365所, 陜西 西安 710065)

0 引 言

隨著圖像融合技術(shù)發(fā)展迅速發(fā)展,為充分利用源圖像的空間信息,基于空間域的圖像融合方法得到大量的研究。空間域圖像融合方法在一定程度上提高了空間和光譜信息的保持性能,但大多計(jì)算復(fù)雜度較高,不能滿足實(shí)時(shí)性要求。引導(dǎo)濾波是近幾年提出的高實(shí)時(shí)性圖像邊緣保持濾波,因其算法時(shí)間復(fù)雜度與窗口大小無(wú)關(guān),使得處理圖片時(shí)效率高,并有更好邊緣保持特性。在He等人首次提出引導(dǎo)濾波算法基礎(chǔ)上,Li等人將引導(dǎo)濾波與圖像融合相結(jié)合,以高計(jì)算效率獲得更好結(jié)果。江澤濤等人將改進(jìn)的引導(dǎo)濾波和雙通道脈沖發(fā)放皮層模型相結(jié)合,提出紅外與可見(jiàn)光圖像融合算法,但該方法引導(dǎo)濾波權(quán)重因子為常數(shù),易導(dǎo)致圖像邊緣處細(xì)節(jié)信息模糊。Pei等人提出基于引導(dǎo)濾波和稀疏表示的雙尺度多模態(tài)醫(yī)學(xué)圖像融合,使醫(yī)學(xué)圖像融合的細(xì)節(jié)更豐富,特征更突出。雖然引導(dǎo)濾波可以提高性能、加快速度、保持圖像邊緣,但是由于濾波過(guò)程窗口是區(qū)域性選擇,易在圖像融合過(guò)程中引入光暈,因此我們使用梯度域?qū)驗(yàn)V波(gradient domain guided filtering, GDGF)作為改進(jìn)。

仿生物視覺(jué)機(jī)理的脈沖耦合神經(jīng)網(wǎng)絡(luò)(pulse-coupled neural network,PCNN),因能較好模擬人眼視覺(jué)神經(jīng)系統(tǒng),已被廣泛應(yīng)用于圖像融合。Broussard等人首先將PCNN應(yīng)用于圖像融合,驗(yàn)證PCNN圖像融合的可行性。王健等人將增補(bǔ)小波變換和PCNN的融合,能夠保留源圖像細(xì)節(jié)信息。Gai等人提出了一個(gè)改進(jìn)的基于量子蜂群優(yōu)化的PCNN(quantum-behaved particle swarm optimisation based PCNN, IQPSO-PCNN),在非下采樣剪切波變換(non-subsample shearlet transform, NSST)域中進(jìn)行醫(yī)學(xué)圖像融合。雖然圖像邊緣仍有小光暈,但上述利用PCNN的方法均得到較好融合效果。

為得到更好的圖像融合結(jié)果,避免光暈偽影的出現(xiàn),本文提出一種基于GDGF和改進(jìn)的PCNN的圖像融合算法,充分利用導(dǎo)向?yàn)V波器的邊緣平滑和邊梯度保持等特性,以及PCNN模型的全局耦合和脈沖同步性。實(shí)驗(yàn)結(jié)果表明,本文方法不僅更好地保留了圖像邊緣、紋理和細(xì)節(jié)信息,避免了目標(biāo)邊緣的光暈偽影現(xiàn)象,而且在主觀效果和客觀評(píng)價(jià)上均優(yōu)于一些常用的圖像融合方法。

1 相關(guān)理論

1.1 GDGF

導(dǎo)向?yàn)V波(guided filtering, GF)通過(guò)引入引導(dǎo)圖像,實(shí)現(xiàn)邊緣平滑和邊緣梯度保持的功能,但是依然無(wú)法準(zhǔn)確表示圖像邊緣信息,從而導(dǎo)致處理后的圖像出現(xiàn)偽影。因此,Li等人提出權(quán)重導(dǎo)向?yàn)V波方法,通過(guò)引入邊緣感知因子減少圖像偽影。但由于算法沒(méi)有明確的約束條件約束邊緣,也沒(méi)有同時(shí)考慮邊緣保留和圖像濾波,因此不能很好地保持邊緣,圖像依然會(huì)出現(xiàn)偽影。

GDGF是Kou等人在權(quán)重導(dǎo)向?yàn)V波基礎(chǔ)上提出的優(yōu)化方法,該方法引入一階邊緣感知約束,使濾波過(guò)程可以更準(zhǔn)確表示圖像邊緣,同時(shí)性能也有所提高。

GDGF假設(shè)引導(dǎo)圖像和輸出圖像之間存在局部線性關(guān)系并引入一階邊緣感知約束(),其定義為

(1)

式中:()為,1()和,()的乘積,,1()和,()分別為引導(dǎo)圖像在大小為3×3和(2+1)×(2+1)的窗口的方差；為像素總數(shù)；為一個(gè)常數(shù),通常為(0001×),其中為輸入圖像的動(dòng)態(tài)范圍。

()可以衡量像素相對(duì)于引導(dǎo)圖像的比重,從而更準(zhǔn)確檢測(cè)邊緣。因此,輸出圖像和輸入圖像之間的最小差值變?yōu)?/p>

(2)

式中:為正則化參數(shù),本文=10；和為線性變換系數(shù)。定義為

(3)

式中:,∞為()的均值；由下式求得

(4)

因此,線性變換系數(shù)和的最優(yōu)解為

(5)

=,()-,()

(6)

由于多個(gè)局部窗口可能包含同一個(gè)像素點(diǎn),即同一個(gè)像素點(diǎn)用不同局部線性函數(shù)表示,因此計(jì)算包含在不同局部線性函數(shù)中的某像素點(diǎn)的輸出值只需要對(duì)包含該像素點(diǎn)的所有局部線性函數(shù)進(jìn)行平均操作,即:

(7)

(8)

(9)

為便于描述,本文將GDGF操作表示為GDGF(,),表示濾波器窗口的大小,和分別表示輸入圖像和引導(dǎo)圖像。

1.2 改進(jìn)的PCNN

PCNN是由Eckhorn等人根據(jù)小型哺乳動(dòng)物的大腦神經(jīng)能夠產(chǎn)生同步脈沖的現(xiàn)象提出來(lái)的,是一種單層、二維、橫向連接的新型的人工神經(jīng)網(wǎng)絡(luò),其每個(gè)神經(jīng)元不需要任何訓(xùn)練。

在一個(gè)二維網(wǎng)絡(luò)中任何神經(jīng)元由(,)表示,其中和表示(,)的位置坐標(biāo)。當(dāng)PCNN應(yīng)用于圖像處理領(lǐng)域時(shí),PCNN的大小等于二維圖像的輸入大小,即像素點(diǎn)與神經(jīng)元一一對(duì)應(yīng)。PCNN的神經(jīng)元模型如圖1所示,其可以通過(guò)如下方程式進(jìn)行數(shù)學(xué)描述。

(10)

(11)

[]=[](1+[])

(12)

[]=e-[-1]+[-1]

(13)

(14)

式中：[]表示反饋輸入；[]表示鏈接輸入；[]表示內(nèi)部激活狀態(tài)；[]表示動(dòng)態(tài)閾值；[]表示輸出；表示上一次迭代的輸出；表示迭代數(shù)目；表示(,)的外部輸入刺激；系數(shù)和表示權(quán)值系數(shù)矩陣；、和分別表示[]、[]和[]的衰減時(shí)間常數(shù)；、和分別表示[]、[]和[]的固有電壓,為一常數(shù)；表示連接系數(shù)。

圖1 PCNN經(jīng)典模型Fig.1 PCNN classic model

上述的PCNN經(jīng)典模型在圖像處理領(lǐng)域?qū)嶋H應(yīng)用中存在部分問(wèn)題。首先,反饋部分[]和連接部分[]的功能有互相重疊,均用于接收臨近的神經(jīng)元,這導(dǎo)致計(jì)算量增加;其次,在模型中PCNN的動(dòng)態(tài)閾值[]初始值通常設(shè)置為0,沒(méi)有充分利用輸入圖像的細(xì)節(jié)信息;最后,該模型的輸出在實(shí)際應(yīng)用中沒(méi)有意義。

為解決上述問(wèn)題,本文在經(jīng)典模型基礎(chǔ)上采用改進(jìn)的PCNN模型,模型如圖2所示。

圖2 改進(jìn)的PCNN模型Fig.2 Improved PCNN model

首先,動(dòng)態(tài)閾值的初值由輸入圖像的拉普拉斯算子確定,與其他初始值設(shè)為0的PCNN模型相比,能夠更充分利用輸入圖像的細(xì)節(jié)信息,即:

(15)

式中:表示輸入矩陣中的最大值;表示與對(duì)應(yīng)迭代次數(shù)的輸入;表示拉普拉斯算子,其計(jì)算值為

(16)

其次,在該模型中,只有連接部分接收相鄰神經(jīng)元,反饋部分不接收,從而減小計(jì)算量,即:

=

(17)

最后,在改進(jìn)的模型中,最后的輸出由經(jīng)典模型中的輸出進(jìn)行加權(quán)求和,這樣與其他模型相比可以更精確地進(jìn)行圖像融合。其數(shù)學(xué)表達(dá)式為

(18)

式中:為最終的輸出;為迭代次數(shù);其他符號(hào)含義均不變。

2 基于GDGF和改進(jìn)PCNN的圖像融合算法

2.1 融合算法原理

本文所提算法的原理圖如圖3所示。首先,根據(jù)圖像結(jié)構(gòu)顯著性、清晰度顯著性以及對(duì)比度顯著性3個(gè)互補(bǔ)的圖像特征對(duì)源圖像進(jìn)行檢測(cè),得到初始決策圖;其次,為充分利用圖像空間一致性并抑制圖像中塊效應(yīng),采用GDGF對(duì)初始決策圖進(jìn)行優(yōu)化,得到優(yōu)化決策圖;然后,為使融合圖像更符合人眼視覺(jué)特性,采用改進(jìn)的PCNN對(duì)優(yōu)化的決策圖進(jìn)行處理,得到最終的融合權(quán)重圖;最后,根據(jù)最終的融合權(quán)重圖對(duì)源圖像進(jìn)行加權(quán)融合,得到最終的融合圖像。

圖3 基于GDGF和改進(jìn)PCNN的圖像融合算法原理圖Fig.3 Principle diagram of image fusion algorithm based on gradient domain guided filtering and improved PCNN

2.2 多視覺(jué)特征的初始決策圖構(gòu)造

根據(jù)文獻(xiàn)[18]的描述,圖像清晰度、對(duì)比度以及結(jié)構(gòu)顯著性是對(duì)圖像質(zhì)量的3個(gè)重要評(píng)價(jià)特征。因此,本文將初始決策圖分為輸入圖像的3個(gè)關(guān)鍵評(píng)價(jià)特征進(jìn)行構(gòu)造:清晰度決策圖、對(duì)比度決策圖以及結(jié)構(gòu)顯著性決策圖。

(1) 清晰度決策圖

清晰度是評(píng)價(jià)圖像的一個(gè)重要特征。在圖像處理領(lǐng)域,圖像清晰度可以通過(guò)滑動(dòng)窗進(jìn)行局部清晰度衡量得到。

對(duì)于圖像中每一個(gè)像素,圖像的拉普拉斯能量值是通過(guò)對(duì)算子進(jìn)行平方操作,然后再局部平均得到。因此,源圖像清晰度數(shù)學(xué)表達(dá)式為

(19)

(20)

通過(guò)上述方法得到的清晰度圖能夠真實(shí)反應(yīng)圖像細(xì)節(jié)信息(高頻信息),同時(shí)也表示圖像邊緣變化和清晰度信息。因此,圖像清晰度決策圖可以表示為

(21)

(2) 對(duì)比度決策圖

人眼視覺(jué)系統(tǒng)(human visual system,HVS)對(duì)單獨(dú)像素變化沒(méi)有太多感受,但對(duì)某個(gè)局部范圍內(nèi)像素變化十分敏感。本文采用局部對(duì)比度方式構(gòu)造對(duì)比度決策圖,能夠充分利用圖像局部特征,又滿足視覺(jué)系統(tǒng)特性。因此,源圖像局部對(duì)比度數(shù)學(xué)表達(dá)式為

(22)

=LC*,

(23)

對(duì)比度圖能較好表示顯著性層次的細(xì)節(jié)信息,對(duì)比度顯著性越高,圖像融合效果越好。因此,圖像對(duì)比度決策圖可以表示為

(24)

(3) 結(jié)構(gòu)顯著性決策圖

HVS適用于源圖像中提取結(jié)構(gòu)信息,本文通過(guò)引入結(jié)構(gòu)顯著性模型來(lái)構(gòu)建結(jié)構(gòu)顯著性決策圖。圖像局部結(jié)構(gòu)與梯度協(xié)方差關(guān)系密切,因此基于局部窗口的梯度協(xié)方差矩陣表示為

(25)

式中:()和()分別表示點(diǎn)=(,)沿和方向的梯度。為了得到圖像局部結(jié)構(gòu)描述,對(duì)上述梯度協(xié)方差矩陣進(jìn)行特征值分解:

(26)

圖像局部結(jié)構(gòu)與對(duì)應(yīng)矩陣特征值有關(guān)。圖像局部結(jié)構(gòu)的顯著性測(cè)量方法能夠?qū)D像結(jié)構(gòu)進(jìn)行穩(wěn)定描述,對(duì)模糊和隨機(jī)噪聲都具有魯棒性。同時(shí),其適用于所有類(lèi)型的結(jié)構(gòu),如脊、邊和角。因此,圖像結(jié)構(gòu)顯著性的定義為

(27)

式中:用于確定結(jié)構(gòu)中邊角的重要性,>-1。

結(jié)構(gòu)顯著圖不僅可以反映圖像局部結(jié)構(gòu)顯著性,而且能夠反映HVS對(duì)不同結(jié)構(gòu)刺激的判別響應(yīng)。圖像結(jié)構(gòu)顯著性決策圖可以表示為

(28)

輸入一對(duì)多聚焦源圖像1和源圖像2,源圖像1的多視覺(jué)特征和多視覺(jué)特征初始決策圖如圖4所示。源圖像2的多視覺(jué)特征和多視覺(jué)特征初始決策圖如圖5所示。

圖5 源圖像2的多視覺(jué)特征圖及初始決策圖Fig.5 Multi-visual feature map and initial decision map of source image 2

2.3 基于GDGF的決策圖優(yōu)化

(29)

(30)

式中:和為GDGF的參數(shù)；=1,2,3。

(31)

(32)

式中:,表示大小為(2+1)×(2+1),標(biāo)準(zhǔn)差為的高斯濾波器,根據(jù)文獻(xiàn)[13]的設(shè)置,取=20,=5。

通過(guò)結(jié)合上述特征決策圖,源圖像優(yōu)化決策圖如圖6所示。即:

(33)

(34)

圖6 源圖像的優(yōu)化決策圖Fig.6 Optimized decision diagram for source images

對(duì)上述近似分量和細(xì)節(jié)分量的決策圖進(jìn)行加權(quán)處理獲得最終融合分量,即:

(35)

(36)

最后,將融合的近似分量和細(xì)節(jié)分量相加得到最優(yōu)決策圖,如圖7(a)所示。即:

(37)

圖7 決策圖優(yōu)化及融合Fig.7 Decision map optimization and fusion

2.4 基于改進(jìn)PCNN的融合權(quán)重圖構(gòu)造

為得到圖像融合權(quán)重圖,采用改進(jìn)PCNN算法來(lái)從源圖像中準(zhǔn)確提取信息。首先將外部激勵(lì)輸入到改進(jìn)PCNN中。改進(jìn)PCNN具體實(shí)施步驟如下。

將外部激勵(lì)歸一化到[0,1]范圍中。

初始化相關(guān)的參數(shù)和矩陣:=1,==0,動(dòng)態(tài)閾值的初值由式(15)計(jì)算得到。

利用式(17)、式(12)～式(14)和式(18)計(jì)算輸入、內(nèi)部激活狀態(tài)、動(dòng)態(tài)閾值、輸出以及輸出加權(quán)。

如果式(14)計(jì)算得到=0,則進(jìn)行下一步計(jì)算;如果≠0,則令=+1,并退回步驟3進(jìn)行循環(huán)。

根據(jù)式(18)計(jì)算改進(jìn)PCNN的輸出,并將歸一化到[0,1],即:

(38)

根據(jù)得到一個(gè)融合映射圖,即:

(39)

2.5 圖像融合

根據(jù)融合映射圖生成最終融合圖像,如圖7(b)所示。首先,計(jì)算融合映射圖和源圖像之間差的絕對(duì)值,表達(dá)式如下:

(40)

(41)

(42)

3 實(shí)驗(yàn)結(jié)果與驗(yàn)證分析

3.1 實(shí)驗(yàn)設(shè)置

為檢驗(yàn)本文提出算法有效性,分別與混合多尺度分解(hybrid multi-scale decomposition, HMSD)、非下采樣輪廓波變換和PCNN(non-subsampled contourlet transform and pulse coupled neural network, NSCT-PCNN)相結(jié)合、多尺度變換和稀疏表示(multi-scale transform and sparse representation, MST-SR)相結(jié)合、基于相位與局部能量的變換域圖像融合算法(用文獻(xiàn)[24]指代)以及基于多尺度分解(用文獻(xiàn)[25]指代)進(jìn)行比較,并從主觀和客觀層面進(jìn)行分析。本文采用多聚焦、醫(yī)學(xué)和紅外與可見(jiàn)光3類(lèi)圖像進(jìn)行實(shí)驗(yàn),每類(lèi)3組圖像數(shù)據(jù)集,分別如圖8所示,測(cè)試圖像大小為256×256。在中,由于導(dǎo)向?yàn)V波對(duì)參數(shù)選擇依賴性不大,本文采用文獻(xiàn)[26]中的參數(shù)設(shè)置,即:=3,=7。根據(jù)文獻(xiàn)[27]的分析,上述參數(shù)設(shè)置對(duì)大多數(shù)圖像具有普適性,能得到較好的融合結(jié)果。在改進(jìn)的脈沖耦合神經(jīng)網(wǎng)絡(luò)中,=[05,1,05;1,0,1;05,1,05],=01,=1,=02,=1,=2 000。其中,必須足夠大,以確保允許PCNN的每個(gè)神經(jīng)元進(jìn)行一次計(jì)算,上述參數(shù)均通過(guò)大量實(shí)驗(yàn)經(jīng)驗(yàn)獲得。其他對(duì)比方法的參數(shù)設(shè)置均采用對(duì)比文獻(xiàn)所給出的最優(yōu)參數(shù)。本章實(shí)驗(yàn)環(huán)境為Intel(R) Core(TM) i3-8350 CPU @3.4 GHz,內(nèi)存為16 GB,采用Matlab R2016a編程。

3.2 多聚焦圖像融合實(shí)驗(yàn)與分析

將本文的方法分別與基于HMSD、NSCT-PCNN、MST-SR、文獻(xiàn)[24]、文獻(xiàn)[25]的方法進(jìn)行對(duì)比,結(jié)果如圖9所示,其中圖9(a1)、(b1)、(c1)基于HMSD圖像融合結(jié)果,圖9(a2)、(b2)、(c2)基于NSCT-PCNN圖像融合結(jié)果,圖9(a3)、(b3)、(c3)基于MST-SR圖像融合結(jié)果,圖9(a4)、(b4)、(c4)基于文獻(xiàn)[24]融合結(jié)果,圖9(a5)、(b5)、(c5)基于文獻(xiàn)[25]融合結(jié)果,圖9(a6)、(b6)、(c6)基于本文算法圖像融合結(jié)果。

(1) 主觀評(píng)價(jià)

由圖9知通過(guò)HMSD方法獲得的融合圖像(見(jiàn)圖9(a1)、(b1)所示)在聚焦與非聚焦過(guò)渡區(qū)域出現(xiàn)塊效應(yīng);盡管基于NSCT-PCNN的方法分別保留了基于NSCT方法的多方向性信息優(yōu)點(diǎn)和基于PCNN方法的利于視覺(jué)感知優(yōu)點(diǎn),但通過(guò)NSCT-PCNN方法得到的融合圖像會(huì)產(chǎn)生偽影現(xiàn)象,不能準(zhǔn)確提取聚焦區(qū)域邊界信息(見(jiàn)圖9(a2)、(b2)、(c2)所示);通過(guò)MST-SR方法獲得的融合圖像(見(jiàn)圖9(a3)、(b3)、(c3)所示)存在振鈴效應(yīng)并且圖像對(duì)比度也在一定程度上被弱化;文獻(xiàn)[24]對(duì)圖像邊緣的融合處理略有瑕疵,產(chǎn)生輕微模糊(見(jiàn)圖9(a4)、(c4)所示);文獻(xiàn)[25]融合圖像邊緣出現(xiàn)偽影(見(jiàn)圖9(a5)、(b5))。相比之下,本文提出的方法在3組圖像中沒(méi)有明顯錯(cuò)誤,得到的融合圖像能從源圖像中準(zhǔn)確提取邊緣信息且聚焦信息保存完整、對(duì)比度高、聚焦與非聚焦區(qū)域過(guò)渡自然且魯棒性高,因此更利于視覺(jué)觀察。

(2) 客觀評(píng)價(jià)

上述主觀評(píng)價(jià)會(huì)受到主觀因素影響,為了更客觀評(píng)價(jià)本文提出算法的有效性和適用性,將采用圖像融合的客觀評(píng)價(jià)指標(biāo)信息熵、圖像梯度、結(jié)構(gòu)相似性以及視覺(jué)感知,對(duì)本文所提方法和7種對(duì)比方法進(jìn)行融合圖像的客觀評(píng)價(jià),以此來(lái)評(píng)價(jià)不同圖像融合方法的融合性能。表1給出了3組多聚焦圖像的融合結(jié)果的客觀評(píng)價(jià)值,其中加粗的數(shù)值代表最優(yōu)的結(jié)果。

表1 3組多聚焦圖像在不同融合方法下融合結(jié)果的客觀評(píng)價(jià)指標(biāo)

由上述客觀評(píng)價(jià)指標(biāo)可以看到:對(duì)于第1組融合圖像,本文算法的和值最大,基于MST-SR融合方法的最大,文獻(xiàn)[25]的最大;對(duì)于第2組融合圖像,本文算法的、和值最大,文獻(xiàn)[25]的值最大;對(duì)于第3組融合圖像,本文算法的、值最大,基于HMSD融合方法的值最大, 基于MST-SR融合方法的最大。雖然本文算法在客觀評(píng)價(jià)的個(gè)別評(píng)價(jià)指標(biāo)略低于其他方法,但綜合主觀感受和客觀評(píng)價(jià),本文的方法是最優(yōu)的,其不僅能夠保留圖像的細(xì)節(jié)信息,而且更利于人類(lèi)的視覺(jué)感知。

3.3 醫(yī)學(xué)圖像融合實(shí)驗(yàn)與分析

對(duì)醫(yī)學(xué)圖像融合,并將本文的方法分別與基于HMSD、NSCT-PCNN、MST-SR、文獻(xiàn)[24]以及文獻(xiàn)[25]的方法進(jìn)行對(duì)比,結(jié)果如圖10所示。

圖10 3組醫(yī)學(xué)圖像在不同融合方法下的結(jié)果圖Fig.10 Results of three sets of medical images under different fusion methods

(1) 主觀評(píng)價(jià)

由圖10知道HMSD方法獲得的融合圖像雖然整體效果好但是仍有細(xì)節(jié)信息丟失(見(jiàn)圖10(a1)邊緣區(qū)域);NSCT-PCNN方法獲得的融合圖像整體存在模糊,不利于視覺(jué)感知和計(jì)算機(jī)處理(見(jiàn)圖10(a2)、(b2)),且細(xì)節(jié)信息丟失(見(jiàn)圖10(c2));MST-SR方法獲得的融合圖像存在塊效應(yīng)(見(jiàn)圖10(a3));文獻(xiàn)[24]的邊緣細(xì)節(jié)處理仍有模糊(見(jiàn)圖10(c4));文獻(xiàn)[25]融合圖像的明暗對(duì)比度不明顯(見(jiàn)圖10(b5))。本文提出的方法在3組圖像中從視覺(jué)效果上均優(yōu)于其他7種對(duì)比方法,得到的融合圖像不僅保存了圖像中的細(xì)節(jié)信息,而且更利于視覺(jué)感知。

(2) 客觀評(píng)價(jià)

表2給出了3組醫(yī)學(xué)圖像的融合結(jié)果的客觀評(píng)價(jià)值,其中加粗的數(shù)值代表最優(yōu)的結(jié)果。由表2可知:雖然對(duì)于第1組融合圖像,本文算法只有值最大,但是對(duì)于第2組和第3組融合圖像,本文算法的、和值均為最大,所以綜合主觀感受和客觀評(píng)價(jià),本文的方法仍是最優(yōu)的,其不僅能夠保留圖像的細(xì)節(jié)信息,而且更利于人類(lèi)的視覺(jué)感知。

表2 3組醫(yī)學(xué)圖像在不同融合方法下的客觀評(píng)價(jià)指標(biāo)

3.4 紅外與可見(jiàn)光圖像融合實(shí)驗(yàn)與分析

對(duì)紅外與可見(jiàn)光圖像融合,并將本文的方法分別與基于HMSD、NSCT-PCNN、MST-SR、文獻(xiàn)[24]以及文獻(xiàn)[25]的方法進(jìn)行對(duì)比,結(jié)果如圖11所示。

圖11 3組紅外與可見(jiàn)光圖像在不同融合方法下結(jié)果圖Fig.11 Results of three sets of infrared and visible images under different fusion methods

(1) 主觀評(píng)價(jià)

由圖11知道HMSD方法獲得的融合圖像的對(duì)比度有所降低(見(jiàn)圖11(a1)所示);NSCT-PCNN方法獲得的融合圖像存在模糊(見(jiàn)圖11(a2)中建筑輪廓,圖11(b2)中路燈出現(xiàn)模糊,圖11(b2)中葉子邊緣輪廓)并且細(xì)節(jié)信息有所丟失;MST-SR方法獲得的融合圖像存在邊緣現(xiàn)象丟失以及圖像模糊(見(jiàn)圖11(b3)中路燈);文獻(xiàn)[24]融合圖像細(xì)微模糊(見(jiàn)圖11(b4)、(c4));文獻(xiàn)[25]明暗對(duì)比不明顯,細(xì)節(jié)信息有所丟失(見(jiàn)圖11(a5)中的小人、(b5)中的路燈)。本文提出的方法對(duì)上述3組圖像的融合視覺(jué)效果均優(yōu)于其他7種對(duì)比方法,所得融合圖像不僅表示出可見(jiàn)光圖像中的細(xì)節(jié)信息;而且表示出紅外圖像中的目標(biāo)信息。

(2) 客觀評(píng)價(jià)

表3給出了3組紅外與可見(jiàn)光圖像的融合結(jié)果的客觀評(píng)價(jià)值,其中加粗?jǐn)?shù)值代表最優(yōu)的結(jié)果。

表3 3組紅外與可見(jiàn)光圖像在不同融合方法下的客觀評(píng)價(jià)指標(biāo)

由表3可知:對(duì)于第1組和第2組融合圖像,本文算法的和值均為最大,基于MWGF的融合方法的值最大;對(duì)于第3組融合圖像,本文算法的和值最大,因此綜合主觀感受和客觀評(píng)價(jià),本文的方法是最優(yōu)的,不僅能夠保留圖像的細(xì)節(jié)信息,而且更利于視覺(jué)感知。

4 結(jié)束語(yǔ)

本文提出一種基于GDGF和改進(jìn)的PCNN的圖像融合算法。首先,該算法利用圖像結(jié)構(gòu)、清晰度以及對(duì)比度顯著性這3個(gè)互補(bǔ)的圖像特征作為關(guān)鍵因素構(gòu)建圖像融合模型。其次,采用GDGF來(lái)取代傳統(tǒng)的優(yōu)化方法。然后,將優(yōu)化決策圖作為外部輸入刺激改進(jìn)PCNN模型,得到更利于視覺(jué)感知的融合權(quán)重圖。最后,對(duì)源圖像和得到的融合權(quán)重圖進(jìn)行加權(quán)操作得到最終融合圖像。實(shí)驗(yàn)結(jié)果表明,本文方法在主觀效果和客觀評(píng)價(jià)上均優(yōu)于其他幾種常用圖像融合方法,不僅更好地保留了圖像的邊緣、紋理和細(xì)節(jié)信息,避免了目標(biāo)邊緣的光暈偽影現(xiàn)象,而且更利于視覺(jué)觀察,獲得很好的融合效果。