基于DT-CWT和自適應(yīng)PCNN模型的多聚焦圖像融合方法研究

張騰敏，林斯樂(lè)，朱 勝，洪培瑤

(福建農(nóng)林大學(xué) 金山學(xué)院，福州 350002)

0 引言

焦距深度(Depth of Focal Length，DOFL)是影響大多數(shù)成像系統(tǒng)成像效果的主要因素之一，特別是由于相機(jī)焦距深度的限制，數(shù)碼攝影所抓取的圖像往往會(huì)丟失很多高分辨率的細(xì)節(jié)。DOFL范圍內(nèi)的對(duì)象具有清晰和尖銳的細(xì)節(jié)，而超過(guò)DOFL的對(duì)象會(huì)較為模糊[1]，因此產(chǎn)生的圖像會(huì)有部分聚焦區(qū)域，該圖像被認(rèn)為是低分辨率(Low Resolution， LR)圖像。因?yàn)槟：龜?shù)量不是已知的先驗(yàn)，所以這些LR圖像被定義為“盲”。多聚焦圖像融合技術(shù)(Multi-focus Image Fusion， MIF)的出現(xiàn)解決了因焦距深度限制而導(dǎo)致的低分辨率圖像問(wèn)題，它通過(guò)提取和融合來(lái)自相同場(chǎng)景的不同LR圖像中的補(bǔ)充信息來(lái)獲得全聚焦圖像。通過(guò)MIF所得到的全聚焦圖像比任意一個(gè)LR圖像都能夠很好地揭示圖像細(xì)節(jié)，同時(shí)也更適合用于進(jìn)一步的圖像分析。MIF可應(yīng)用于醫(yī)學(xué)成像、圖像識(shí)別和計(jì)算機(jī)視覺(jué)等領(lǐng)域，因此，多聚焦圖像融合技術(shù)具有重要的研究意義和應(yīng)用前景。

目前，學(xué)術(shù)界已經(jīng)提出了大量的多聚焦圖像融合策略。多聚焦圖像融合實(shí)際上是對(duì)應(yīng)于不同類(lèi)型的數(shù)據(jù)的融合，通常在信號(hào)、特征和決策三個(gè)不同的處理層次中進(jìn)行。信號(hào)電平的圖像融合，又稱(chēng)像素級(jí)圖像融合，對(duì)應(yīng)于最低級(jí)的圖像融合，即將若干個(gè)原始輸入圖像信號(hào)組合成一個(gè)融合圖像信號(hào)。中間層次的圖像融合，也稱(chēng)為特征級(jí)圖像融合，即將從單個(gè)信息圖像中分離出來(lái)的特征、物體標(biāo)簽和屬性描述符等數(shù)據(jù)進(jìn)行融合。最高層次的融合為決策級(jí)圖像融合，是指局部決策者對(duì)單個(gè)傳感器傳遞的圖像信息的后效作用進(jìn)行概率決策后所產(chǎn)生的數(shù)據(jù)組合。圖像融合技術(shù)可以分為空間域融合策略和變換域融合策略?xún)纱箢?lèi)[2]。其中，空間域融合策略是對(duì)信息圖像的像素進(jìn)行管理，如多模態(tài)圖像融合[3]、主成分分析(Principal Component Analysis， PCA)[4]和HIS轉(zhuǎn)換(Hue Intensity Saturation Transform)[5]等。變換域融合策略是將圖像變換到頻域子帶進(jìn)行融合，如離散小波變換(Discrete Wavelet Transform， DWT)、雙樹(shù)-復(fù)小波變換(Dual-Tree Complex Wavelet Transform， DT-CWT)[6]等。

針對(duì)傳統(tǒng)圖像融合方法在多聚焦圖像融合中存在細(xì)節(jié)丟失、邊緣模糊和焦點(diǎn)不清楚等問(wèn)題，本文提出了一種基于雙樹(shù)-復(fù)小波變換優(yōu)化顯著性測(cè)度和自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)模型的多聚焦圖像融合方法。首先，使用雙樹(shù)-復(fù)小波變換將圖像分解成高頻子帶和低頻子帶。其次，對(duì)低頻子帶采用基于圖像顯著性測(cè)度的度量方法計(jì)算小波融合系數(shù)，實(shí)現(xiàn)圖像重構(gòu)；由于高頻子帶圖像細(xì)節(jié)較多、紋理豐富，采用自適應(yīng)參數(shù)下的PCNN模型解決高頻子帶的融合問(wèn)題，通過(guò)自適應(yīng)PCNN模型下的鏈接系數(shù)更新，計(jì)算兩幅輸入圖像的觸發(fā)時(shí)間，根據(jù)觸發(fā)時(shí)間對(duì)比，選取高頻融合子帶。最后，使用雙樹(shù)-復(fù)小波逆變換實(shí)現(xiàn)圖像重構(gòu)。

1 DT-CWT算法和自適應(yīng)PCNN模型

1.1 DT-CWT算法

DT-CWT是在標(biāo)準(zhǔn)小波基礎(chǔ)上進(jìn)行復(fù)數(shù)域擴(kuò)展。復(fù)數(shù)變換是利用復(fù)數(shù)值濾波將圖像在變換域中分解為實(shí)部和虛部，其中實(shí)系數(shù)和虛系數(shù)用于計(jì)算圖像的幅值和相位信息。DT-CWT的主要生成動(dòng)機(jī)是平移不變性。在正常的小波分解中，輸入信號(hào)的微小位移能夠在輸出子帶之間產(chǎn)生移動(dòng)能量，而在DT-CWT中，通過(guò)加倍采樣率也可以實(shí)現(xiàn)平移不變性。DT-CWT通過(guò)下采樣產(chǎn)生兩棵平行的小波樹(shù)，首先選取偶數(shù)樣本，然后再在第一層濾波器之后選取奇數(shù)樣本。通過(guò)后續(xù)濾波器的樣本采樣延遲，使兩棵小波樹(shù)所得的樣本具有均勻時(shí)間間隔。

實(shí)際應(yīng)用中，通常使用的是二維雙樹(shù)-復(fù)小波，即四個(gè)臨界采樣可分離的二維DWT并行運(yùn)行。二維結(jié)構(gòu)雙樹(shù)-復(fù)小波通常需要四棵小波樹(shù)進(jìn)行分析和重構(gòu)，應(yīng)用于二維圖像(x，y)的共軛濾波器對(duì)可表示為公式(1)：

(hx+igx)(hy+igy)=(hxhy-gxgy)+i(gxhy+hxgy)，

(1)

式中，復(fù)數(shù)(hx+igx)和(hy+igy)分別表示x和y方向上的濾波系數(shù)。

復(fù)小波部分可以分為正小波、負(fù)小波，子帶可以分為水平子帶和垂直子帶。通過(guò)雙樹(shù)-復(fù)小波分解將圖像分解成±15°，±45°，±75°六個(gè)不同方向的頻域子帶，如圖1所示。圖1在空間上可視化了與方向和尺度相關(guān)的子帶。其中A(K+1，1)，A(K+1，2)分別為每級(jí)分化出的兩個(gè)低頻段(近似部分)，D為高頻細(xì)節(jié)部分。DWT只有0°，45°和90°三個(gè)方向的子波段，而DT-CWT有±15°，±45°和±75°六個(gè)子波段，因此DT-CWT提高了方向選擇性，這是圖像融合應(yīng)用中最重要的問(wèn)題。

圖1 DT-CWT圖像分解

1.2 自適應(yīng)PCNN模型

PCNN即脈沖耦合神經(jīng)網(wǎng)絡(luò)[7]，是一種生物啟發(fā)神經(jīng)網(wǎng)絡(luò)。PCNN神經(jīng)元由輸入部分、連接調(diào)制部分和脈沖發(fā)生器三部分組成，其中輸入部分接收來(lái)自?xún)煞N接受域的輸入，并根據(jù)感受野的類(lèi)型，將輸入細(xì)分為兩個(gè)通道，即輸送和連接[8]。連接接收外部刺激，而輸送接收外部刺激和局部刺激。輸入的模型如下：

(2)

(3)

式中，i和j表示圖像中像素點(diǎn)的位置，k和l表示像素點(diǎn)對(duì)稱(chēng)相鄰位置的錯(cuò)位值，0≤n≤N表示當(dāng)前迭代次數(shù)，F(xiàn)和L是分別代表輸送和連接兩種不同通道，S表示局部刺激，VF和VL表示鄰近常數(shù)，αF和αL表示時(shí)間常數(shù)，通常情況下，αF<αL。

在連接調(diào)制部分，輸出從兩個(gè)通道收集，即向連接添加一個(gè)偏置來(lái)實(shí)現(xiàn)，該偏置為供給的線性乘積。具體公式如下：

Ui，j[n]=Fi，j[n](1+βLi，j[n])，

(4)

式中，Ui，j[n]是神經(jīng)元的內(nèi)部特征狀況，β是連接系數(shù)。

脈沖發(fā)生器決定式(5)中模型的觸發(fā)時(shí)間。Yi，j[n]決定內(nèi)部特征和閾值。

(5)

Ti，j[n]=exp(-αT)Ti，j[n-1]+VTYi，j[n]，

(6)

式中，VT和αT分別表示正則化常量和時(shí)間常量，T表示觸發(fā)時(shí)間。

2 本文改進(jìn)的圖像融合方法

2.1 低頻分量的融合

低頻分量又稱(chēng)低頻系數(shù)，是使用DWT分解得到的逼近(近似)分量，雖然低頻分量相對(duì)于細(xì)節(jié)是較為平緩的，但是它包含著圖像中的主要能量信息。通常的圖像融合算法很容易忽略低頻分量信息，使得融合結(jié)果銳度下降、對(duì)比度不夠明顯。因此，本文提出一種基于顯著性測(cè)度的低頻分量融合方法，具體融合策略如下：使用DT-CWT對(duì)輸入圖像A和圖像B進(jìn)行分解，首先計(jì)算兩幅圖像的顯著性測(cè)度SA和SB，假設(shè)輸入圖像的像素總數(shù)為K，顯著圖歸一化直方圖中的pixel強(qiáng)度為p(i)=h(i)/K，其中h(i)指的是顯著性圖像中灰度值為i的像素頻率，顯著性圖像的顯著性測(cè)度函數(shù)為：

(7)

匹配值函數(shù)為：

(8)

式中，CAB表示圖像A和圖像B的協(xié)方差。

計(jì)算低頻融合系數(shù)，

Z=wxA+wyB。

(9)

(10)

wx和wy的定義如下：

(11)

本文提出的低頻分量融合方法有效保留了圖像的顯著信息，同時(shí)可以實(shí)現(xiàn)較高的對(duì)比度。

2.2 高頻分量的融合

使用改進(jìn)后的PCNN模型進(jìn)行圖像的高頻分量融合，傳統(tǒng)PCNN算法的參數(shù)β一般是一個(gè)固定的經(jīng)驗(yàn)值，限制了PCNN在圖像融合方面的自適應(yīng)性，也影響了融合效果，因此，本文設(shè)置一個(gè)自適應(yīng)參數(shù)模型：

(12)

式中，X為鄰域神經(jīng)元的集合，即X={i，j|Li，j[n]>0}∩{i，j|Yi，j[n]=0}，Ix為輸入圖像I中神經(jīng)元對(duì)應(yīng)的鄰域神經(jīng)元。

m1(n)和m2(n)分別表示點(diǎn)火區(qū)域和未點(diǎn)火區(qū)域?qū)?yīng)的均值，具體計(jì)算如式(13)所示：

(13)

式中，Φ1={i，j|Yi，j[n]=0}；Φ2={i，j|Yi，j[n-1]=1}。

式(12)中通過(guò)均值離散最優(yōu)化約束，得出β的最優(yōu)解。由式(4)可得β，可以調(diào)節(jié)神經(jīng)元的內(nèi)部特征U，從而實(shí)現(xiàn)PCNN的自適應(yīng)性融合策略。

Ti，j[n]=Ti，j[n-1]+Yi，j[n]。

(14)

(15)

3 對(duì)比分析

3.1 差值結(jié)果分析

為了直觀解釋本文方法，下面給出本文方法融合結(jié)果與多聚焦源圖像的差值結(jié)果圖像，如圖2所示，圖2左側(cè)為輸入源圖像，中間為本方法融合結(jié)果，右側(cè)為本文融合結(jié)果與源圖像A，B的差值圖像。由圖2可以看出，本文方法的融合結(jié)果能夠自適應(yīng)選取源圖像中更清晰的區(qū)域，從而自然地融合各源圖像中對(duì)焦更好的部分，得到最優(yōu)的融合結(jié)果。

圖2 融合結(jié)果差值圖

3.2 主觀結(jié)果對(duì)比

3.2.1 本文方法與多種非小波融合方法的比較

為了驗(yàn)證本文融合方法的效果，選取MF圖像融合數(shù)據(jù)集[9]中的圖像作為源圖像，該數(shù)據(jù)集包含105對(duì)多聚焦圖像，且每對(duì)圖像由兩個(gè)不同焦點(diǎn)區(qū)域的圖像組成。選取現(xiàn)有的BGBS(Bilateral Gradient-based Sharpness)[10]、BFBMF(Boundary Finding Based Multi-focus)[11]、CBF(Cross Bilateral Filter)[12]、GFFD(Guided Filter through Focus Detection)[13]、QBMF (Quadtree-based Multi-focus)[14]五種方法與本文方法進(jìn)行對(duì)比，其中，BGBS利用梯度信息計(jì)算雙邊銳度來(lái)進(jìn)行多聚焦圖像融合，BFBMF基于邊界發(fā)現(xiàn)進(jìn)行圖像融合，CBF基于交叉雙邊濾波對(duì)進(jìn)行圖像融合，CFFD基于平均濾波和引導(dǎo)濾波進(jìn)行圖像融合，QBMF采用四叉樹(shù)分解策略實(shí)現(xiàn)圖像融合。上述五種方法分別為利用不同融合策略的圖像融合方法，具有一定的代表性。

源灰度圖A1 源灰度圖B1

源RGB圖A1 源RGB圖B1圖3 第一組輸入源圖像

BGBS BFBMF CBF

CFFD QBMF 本文方法圖4 灰度圖像融合結(jié)果對(duì)比圖

BGBS BFBMF CBF

CFFD QBMF 本文方法圖5 RGB圖像融合結(jié)果對(duì)比圖

BGBS BFBMF CBF

CFFD QBMF 本文方法圖6 局部融合結(jié)果對(duì)比圖

使用圖3中的兩組輸入源圖像進(jìn)行對(duì)比，源圖像分別為灰度圖像和RGB圖像兩種常見(jiàn)類(lèi)型。圖4為本文方法與五種方法的灰度圖像融合結(jié)果對(duì)比圖。由對(duì)比結(jié)果可知，本文融合方法在墻壁和天空交接的地方，邊界線更加清晰，整體效果視覺(jué)對(duì)比度更高。圖5為RGB圖像融合結(jié)果對(duì)比圖。為了突出本文方法對(duì)于邊緣細(xì)節(jié)部分的融合優(yōu)勢(shì)，截取圖5中的局部進(jìn)行融合結(jié)果對(duì)比，如圖6所示。從圖6局部融合結(jié)果對(duì)比可發(fā)現(xiàn)，本文方法的邊緣過(guò)渡更為自然和平滑，同時(shí)更好地保留了源圖像的顏色信息。

3.2.2 本文方法與小波融合方法的比較

為了驗(yàn)證本文方法相對(duì)于傳統(tǒng)小波方法的優(yōu)越性，將本文方法融合結(jié)果與傳統(tǒng)小波(DWT)[15]、傳統(tǒng)雙樹(shù)-復(fù)小波(DT-CWT)[16]兩種算法的融合結(jié)果進(jìn)行對(duì)比，傳統(tǒng)DWT和傳統(tǒng)DT-CWT的小波分解層數(shù)均為六層，與本文方法的雙樹(shù)-復(fù)小波分解層數(shù)一致。源圖像分別選取一組灰度圖像和一組RGB圖像，如圖7所示。融合結(jié)果如圖8所示。圖9為圖8的局部對(duì)比結(jié)果，由圖9局部對(duì)比結(jié)果可知，傳統(tǒng)DWT和傳統(tǒng)DT-CWT的融合結(jié)果在邊緣細(xì)節(jié)部分較為模糊，本文方法的融合結(jié)果在邊緣細(xì)節(jié)部分更為清晰和自然，因此本文方法相對(duì)于傳統(tǒng)DWT、傳統(tǒng)DT-CWT兩種方法得到的融合結(jié)果質(zhì)量更高。

源灰度圖A2 源灰度圖B2

源RGB圖A2 源RGB圖B2圖7 第二組輸入源圖像

傳統(tǒng)DWT 傳統(tǒng)DT-CWT 本文方法圖8 本文方法與傳統(tǒng)方法的對(duì)比結(jié)果

傳統(tǒng)DWT 傳統(tǒng)DT-CWT 本文方法圖9 本文方法與傳統(tǒng)方法的局部對(duì)比結(jié)果

3.3 客觀數(shù)據(jù)對(duì)比

(16)

式中，QAF(n，m)和QBF(n，m)分別表示源圖像A，B的邊緣強(qiáng)度，wA(n，m)和wB(n，m)分別表示QAF(n，m)和QBF(n，m)的加權(quán)系數(shù)。

設(shè)AF和BF分別為融合后的圖像，MI的定義如下：

MI=MIAF+MIBF，

(17)

表1 客觀數(shù)據(jù)指標(biāo)對(duì)比結(jié)果

4 結(jié)語(yǔ)

本文提出了一種改進(jìn)的雙樹(shù)-復(fù)小波變換的圖像融合方法，利用雙樹(shù)-復(fù)小波變換的平移不變性、多方向選擇性等優(yōu)點(diǎn)，將輸入圖像分解成高頻分量和低頻分量。鑒于高頻分量和低頻分量分別包含圖像的不同特征，分別采用兩種不同方法對(duì)高頻分量和低頻分量進(jìn)行融合。低頻分量包含圖像的基本概況和平均性狀，因此對(duì)低頻分量通過(guò)計(jì)算顯著性測(cè)度來(lái)估計(jì)雙樹(shù)-復(fù)小波融合系數(shù)，以保持低頻分量信息；高頻分量細(xì)節(jié)較多、邊緣銳利，因此對(duì)高頻分量采用自適應(yīng)的脈沖耦合神經(jīng)網(wǎng)絡(luò)模型進(jìn)行融合，通過(guò)自適應(yīng)系數(shù)的改變控制觸發(fā)時(shí)間，根據(jù)較大的觸發(fā)時(shí)間選擇高頻融合子帶，最后通過(guò)雙樹(shù)-復(fù)小波逆變換進(jìn)行圖像重構(gòu)。同其他融合方法進(jìn)行對(duì)比，結(jié)果表明，本文方法能夠得到較高質(zhì)量的融合結(jié)果，保留了圖像更多的細(xì)節(jié)信息以及顏色特征，并具有較好的視覺(jué)效果以及有較高的客觀評(píng)價(jià)指標(biāo)，從而證明了本文方法的可行性和有效性，值得推廣。