一種適用于多模態醫學圖像融合的自適應脈沖耦合神經網絡改進算法

于 淼，寧春玉，石樂民，呂冰垚

(長春理工大學生命科學技術學院,長春 130022)

多模醫學圖像融合目的是將不同圖像的互補信息綜合到一幅圖像中,以克服單個模態醫學圖像信息存在局限性的問題[1]。目前的研究熱點是基于多尺度分解(multiscale decomposition,MSD)的融合方法,主要研究方向有多尺度分解工具的選擇和融合規則的選擇。傳統的離散小波變換[2]雖然有多分辨率和時頻局部等特性,但因其具有采樣操作導致不能完整表達圖像的方向、邊緣等信息。對此,多位學者提出了Contourlet變換[3]、非下采樣Contourlet變換(non-subsampled contourcet transform,NSCT)[4]等。文獻[5-6]利用NSCT分解提取邊緣和細節信息,提高了融合效果。NSCT不僅承襲了Contourlet變換具備的多尺度性、多方向性和各向異性,而且具有平移不變性,克服了偽吉布斯現象。

PCNN[7]符合人類視覺系統神經元運行機制,具備全局耦合性和脈沖同步性,在圖像融合[8]領域得以應用。研究方向主要有二:一是PCNN模型的理論研究。Kinser[9]提出的PCNN簡化模型在保持原模型重要特性的基礎上減少了模型參數,適應于圖像處理應用要求。二是PCNN模型參數的自適應設置。考慮到人眼視覺神經系統對不同特征區域響應程度存在差異,PCNN模型的參數不應該設置成定值[10]。對此,許多學者采用空間頻率(spatial frequency,SF)[11]、改進的拉普拉斯能量和(sum-modified Laplacian,SML)[12]或局部對比度[13]等設置連接強度。融合結果整體雖得到改善,但不能完善地反映出圖像的方向特性。另外,許多學者用SML[14]、改進空間頻率(modified spatial frequency,MSF)[15]或直接采用子帶系數[16]設置外部激勵。這些方法在各評價指標上均有提高,但沒有考慮低通和帶通子帶包含源圖像的不同特性。

針對上述問題,主要研究在NSCT變換下,根據圖像的全局特征和子帶圖像的不同區域特性來自適應調整PCNN多個重要參數。提出分別以區域標準差(regional standard deviation,RSD)和MSF中最顯著的方向分量來自適應地調整連接范圍和連接強度,并針對低通、帶通子帶的特性采用不同的方式調整外部激勵。期望設計一種包含源圖像信息豐富、邊緣及紋理清晰,并且適用于多種模態醫學圖像的融合算法。

1 PCNN簡化模型

PCNN是由多個神經元彼此連接而組成,其中每一個神經元都由三部分構成:接收域、耦合調制域和脈沖發生器[17]。圖1為單個神經元的簡化模型。對于(i,j)位置的神經元,在時刻n受到外界刺激信息Sij和鄰域k×l(連接范圍)內其他神經元n-1時刻脈沖信息{Ykl}影響后,其反饋輸入Fij、線性連接輸入Lij、內部活動項Uij、脈沖發生器中輸出Yij和膜電位動態閾值θij的離散數學表達式如下:

Fij(n)=Sij

(1)

(2)

Uij(n)=Fij(n)[1+βijLij(n)]

(3)

(4)

θij(n)=e-αθθij(n-1)+VθYij(n)

(5)

式中:βij為連接強度；αL和αθ分別為Lij和θij的衰減時間常數；VL和Vθ分別為連接放大系數和閾值放大系數；Wijkl為Lij中{Ykl}的加權系數；當Uij超過閾值時,產生脈沖。θij隨著該神經元輸出狀態而變化。PCNN神經元接收到輸入信號后根據上述原理判定并輸出點火情況。每個(i,j)位置的神經元在n次迭代后將點火總次數統計輸出,映射成點火映射圖，表達式為

Tij(n)=Tij(n-1)+Yij(n)

(6)

圖1 PCNN單個神經元的簡化模型Fig.1 PCNN single neuron simplified model

2 本文算法

2.1 融合算法步驟

如圖2所示為本文的圖像融合算法流程,具體步驟如下。

首先,對源圖像A和B進行NSCT分解,最終分別獲得一個低通子帶和多個不同尺度不同方向下的帶通子帶。

然后,設置PCNN的各個參數。分別計算各個子帶系數對應的連接范圍、突觸權重矩陣和連接強度，以及低通、帶通子帶的外部激勵。

接著,將PCNN模型按照式(1)～式(5)迭代運行,直至每個神經元都被激活,然后統計出子帶系數的點火次數獲得點火映射圖,邊緣和紋理信息的多少與點火次數正相關。采用每個位置上最大點火次數對應的子帶系數作為融合子帶的系數,記為取大原則。

最后,對融合子帶系數進行NSCT逆變換,即重構出融合圖像F。

圖2 本文算法框圖Fig.2 Block diagram of the proposed algorithm

2.2 融合規則

本文算法設計的融合規則結合自適應PCNN。其中,用RSD自適應調整連接范圍,進而調整突觸權重矩陣,進一步調整加權系數。用MSF中方向特征最顯著的分量自適應調整連接強度。考慮到低通和帶通子帶包含源圖像的概貌、邊緣和紋理等特征的不同,分別使用不同的外部激勵調整方式。

2.2.1 連接范圍

連接范圍設置3×3和5×5兩種網絡連接模式，計算式為

(7)

(8)

突觸權重矩陣計算式為

(9)

2.2.2 連接強度

SF通常只表述為水平與垂直兩個方向FR和FC[式(10)、式(11)]。文獻[18]提出增加兩個對角方向FMD和FSD的梯度能量[式(12)、式(13)],通過4個方向的梯度能量來衡量整個活動窗口系數,如式(14)。考慮到醫學圖像亮度偏低,為了突出方向特征,提取更多細節信息,使得圖像特征信息的提取更為全面,提出式(15)來調整連接強度。

(10)

(11)

(12)

(13)

(14)

βMSF=max{FR,FC,FMD,FSD}

(15)

式中:M和N為子帶圖像尺寸；A(i,j)為(i,j)處的子帶系數值；FR、FC、FMD和FSD分別表示行頻率、列頻率、主對角頻率和副對角頻率。

2.2.3 低通子帶的外部激勵

局部區域內的多個像素之間存在相關性,基于區域的融合規則能更好地體現出圖像局部特征。低通子帶齊集了源圖像主體信息,包含多數輪廓和能量信息。考慮到醫學圖像灰度范圍窄且分布不均,為了保證圖像的基本信息不丟失,并優先選擇出邊緣細節豐富的區域信息,提出如式(18)將區域能量(regional energy,REN)和區域方差(regional variance,RVA)線性組合作為外部激勵。

(16)

(17)

MED(i,j)=E(i,j)+D(i,j)

(18)

2.2.4 帶通子帶的外部激勵

帶通子帶集中了邊緣和紋理等細節信息,分布呈現出方向特性。文獻[19]提出SML能反映出圖像梯度信息,采用式(20)計算外部激勵。考慮到醫學圖像中病灶點多由細節信息表達,對疾病的診斷尤其重要。經過多組實驗,提出如式(22)來設置外部激勵。

MLP(i,j)=|2A(i,j)-A(i-1,j)-A(i+1,j)|+|2A(i,j)-A(i,j-1)-A(i,j+1)|

(19)

(20)

ML(i,j)=|2A(i,j)-A(i-1,j)-A(i+1,j)|+|2A(i,j)-A(i,j-1)-A(i,j+1)|+|1.5A(i,j)-0.75A(i-1,j+1)-0.75A(i+1,j-1)|+|1.5A(i,j)-0.75(i-1,j-1)-0.75A(i+1,j+1)|

(21)

(22)

式中:ML、SML分別為改進的拉普拉斯及其能量和；A(i,j)為(i,j)處的系數值。測度窗口大小取3×3。

3 實驗結果及分析

為了驗證本文算法的有效性,在MATLAB R2017b平臺上選擇3組經過嚴格配準并且來自同一部位的不同模態醫學圖像進行融合實驗,分別為:①CT和MRI；②MRI-PD和MRI-T2；③MRI和PET。圖像的尺寸大小均為256×256,具有256個灰階。各組實驗均基于NSCT變換,NSPFB為“pyrexc”,NSDFB為“vk”,分解層數均為4,多尺度分解中的方向分解級數按尺度由細到粗為[1,2,3,4]。PCNN模型參數設置為:n=200,αL=0.069 31,αθ=0.2,VL=1,Vθ=20。

圖3～圖5分別給出了不同模態醫學圖像及其融合結果。其中,(a)、(b)為源圖像,(c)～(h)為不同融合算法的結果圖。(c)的融合規則采用低通系數取平均,帶通系數絕對值取大法,記為NSCT-AVE-MAX；(d)的低通和帶通均采用PCNN融合規則,連接范圍取3×3,βij=0.2,外部激勵為MSF,記為NSCT-PCNN；(e)～(g)分別為文獻[14-16]所提方法。文獻[14]算法為低通采用SML取最大,帶通子帶外部激勵為SML；文獻[15]算法為低通和帶通子帶的外部激勵分別為SML和MSF,βij為平均梯度；文獻[16]算法為低通采用區域能量加權,外部激勵為帶通子帶系數,βij為SF；(h)為本文算法。

圖3 CT和MRI的融合結果Fig.3 Fusion results of CT and MRI

圖4 MRI-PD和MRI-T2的融合結果Fig.4 Fusion results of MRI-PD and MRI-T2

圖5 MRI和PET的融合結果Fig.5 Fusion results of MRI and PET

對比分析實驗結果可知,圖3(c)、圖4(c)和圖5(c)的整體亮度偏低,對比度差,存在偽影現象,邊緣和細節模糊,視覺效果略差；圖3(d)、圖4(d)和圖5(d)對比度增強,但紋理有缺失；圖3(e)、圖3(f)整體亮度均有所提高,且無偽影,但邊緣和細節信息不如圖3(h)完整；圖3(h)較為完整地保留了CT圖像的骨骼信息和MRI圖像的軟組織信息。圖4和圖5(e)～圖5(g)邊緣清晰,對比度較高,融合圖像信息豐富。但圖3(h)、圖4(h)和圖5(h)質量更高,不僅紋理明顯,還選擇出了邊緣細節豐富的區域信息,視覺效果更佳。圖4(h)在邊界處輪廓清晰,邊緣保持更完整,圖5(h)的PET圖像功能信息保留更豐富,MRI圖像軟組織對比度更高。

由于主觀評價很難區分融合圖像之間的細微差別,為保證結論具有客觀性和說服力,本文用信息熵(information entropy,IE)、標準差(standard deviation,SD)、互信息(mutual information,MI)和邊緣保持度QAB/F等4個指標對圖像融合算法的優劣進行客觀評價。表1～表3分別對應圖3～圖5中融合圖像的客觀評價指標,由各個指標對比可知,NSCT-AVE-MAX在保留細節能力方面效果略差。與之相比NSCT-PCNN算法更能保留源圖像的有用信息。與其他算法對比可見,本文算法的4個指標均指明顯偏大,表明本文算法對源圖像邊緣、細節信息的提取和保留能力更強,對比度更高,灰度級分布分散,包含源圖像的信息更豐富,融合效果最優,結論與主觀評價一致。

表1 CT和MRI融合結果客觀評價指標

表2 MRI-PD和MRI-T2融合結果客觀評價指標

表3 MRI和PET融合結果客觀評價指標

4 結論

針對NSCT變換下低通和帶通子帶特性的不同,設計了不同的基于PCNN的融合規則。通過多組實驗可以得出如下結論。

(1)本文算法依據圖像自身特征自適應調整PCNN模型連接范圍、連接強度等參數,對于外部激勵,低通子帶設計為REN與RVA的線性組合,可以更好地描述低頻的輪廓等區域特性。帶通子帶設計為SML,可以更好地模擬人眼視覺神經系統對邊緣、紋理等重要特征的敏感性。在醫學圖像融合領域,很好地表征了圖像細節特征信息,得到的融合圖像紋理清晰,沒有偽影現象,很好地保留了源圖像的特征信息,并且對比度高,視覺效果佳。

(2)從客觀指標上能看出,本文算法反映圖像各方面信息的能力強,在MI和QAB/F方面優勢尤為明顯。綜合源圖像有用信息的能力比其他方法強,提取和保持源圖像邊緣信息的能力強,包含的細節信息更多,融合圖像信息豐富,準確可靠。

(3)通過多組不同源圖像的實驗可證明本文方法的有效性,適用于多種模態的醫學圖像之間的融合。