一種改進的基于NSST-SPCNN醫學圖像融合算法

常春紅，王雷，郝本利，邢藝馨

( 山東理工大學 計算機科學與技術學院, 山東 淄博 255049)

醫學圖像融合將成像模態不同的多個醫學圖像，根據同一組織器官多種模態圖像具有互補性與冗余性，使其成為一個新的圖像,涵蓋更豐富的細節及更全面信息，有助于醫生更全面地了解病變的信息、性質及與周圍解剖結構的關系。傳統圖像融合算法一般過程為圖像分解、圖像融合、圖像重建。

對圖像進行分解與重建的方法有很多，例如基于金字塔的方法[1]、非下采樣輪廓波(NSCT)[2]、非下采樣剪切波(NSST)[3]、稀疏表示[4]等方法,NSCT與NSST在圖像細節表示方面有較高的恢復性，明顯優于其他算法，而NSCT相對于NSST的計算復雜度較高，同時NSST具有移不變性與多方向選擇性，可以更有效地提取源圖像中的邊緣信息、特征信息，以保留更多的源圖像信息。

對圖像分解之后得到高頻圖像與低頻圖像，選擇合適的融合策略，分別對高頻圖像與低頻圖像進行融合是至關重要的。常見的圖像融合規則有主成分分析(PCA)[5]、人工神經網絡(CNN)[6]、脈沖耦合神經網絡(PCNN)[7]、人類視覺系統等方法。主成分分析的方法未考慮圖像各波段的特點，會丟失低分辨率圖像的第一主成分中一些反應光譜特性的信息。人工神經網絡以其獨有的并行性與學習性，為我們提供了一種全新的數據融合方法；但在實際應用中，在網絡結構設計與算法規則等方面，都有許多工作亟待解決。其中，脈沖耦合神經網絡作為一種特殊的人工神經網絡，基于貓的視覺原理構建的簡化神經網絡模型，由大量動態的脈沖耦合神經元互相連接組成的反饋型網絡，不需要進行學習與訓練，能夠從復雜背景下獲取有效信息，具有時空總和特性、動態脈沖發放特性和同步脈沖發放引起的振動與波動等特性[8]。由于傳統PCNN模型的參數數量較多，且不同參數值的設置對圖像效果有著至關重要的作用，后來Chen等[9]提出了一種自適應參數的SPCNN，根據圖像本身的特性信息自適應設置PCNN的各個參數。該方法具有較強的適應性，但是需要對每個像素點的鏈接強度參數進行計算，計算量大，影響融合速度。

為了對使用PCNN模型融合時的參數進行有效確定，根據參數特性與模型特點，提出了一種新的改進自適應參數PCNN的方法，對多種模態醫學圖像進行融合。

1 融合的原理

圖 1 NSST-M-SPCNN 圖像融合過程Fig.1 Image fusion process of NSST-M-SPCNN

2 融合的規則

2.1 低頻區域局部能量加權和與雙邊濾波融合規則

低頻分量主要對整副圖像強度綜合度量，一幅圖像的能量一般保存在低頻分量中，對低頻分量的融合一般采取簡單平均或者加權平均的方法，容易造成圖像細節信息與能量的丟失，從而降低源圖像的對比度[10]。

根據某一區域內，各像素點之間具有較強的相關性。本文先采取局部區域能量加權和規則，最大限度保留源圖像的能量，如公式(1)：

(1)

式中：S∈{A,B}；L(i,j)為源圖像在位置(i,j)的低通分量；W為一個(2r+1)(2r+1)的加權矩陣，將矩陣元素設置為22r-d；d為其到矩陣中心四鄰域的距離。

為了最大限度獲取源圖像的細節信息，采用雙邊濾波規則。雙邊濾波是一種非線性濾波方法,為了對圖像實現保邊去噪，既考慮了圖像的空域信息又考慮了灰度相似性。雙邊濾波通過空域矩陣和值域矩陣形成一個新的權重矩陣,其中空域矩陣用來模糊去噪；值域矩陣用來保護邊緣[11]。

設(i,j)為源圖像的中心點坐標，(k,l)為以(i,j)點為中心的鄰域S內的任意一點，空域矩陣中點(k,l)到點(i,j)的空間距離定義為

(2)

值域矩陣定義為

(3)

公式(2)與(3)相乘后，會產生對數據依賴的雙邊濾波權重矩陣

(4)

最后，計算點(k,l)到點(i,j)新的像素值

(5)

空間距離D函數按照像素之間的距離選擇權重，距離越遠權重越小，越近越大。值域矩陣R函數是按照像素值之間的差異進行權值分配。在比較的平坦區域,像素之間的差異比較小,其所對應的值域權重R(i,j,k,l)接近于1,故此時起主要作用的是空域權重D(i,j,k,l),相當于對這個平坦的區域直接進行了高斯模糊。圖像邊緣的特點就是距離相近的點的像素值有很大差異，濾波的同時保留邊緣，即在邊緣區域，像素之間差異較大,即f(k,l)-f(i,j)之間差值大。根據公式(4)可以看出，此時的值域核權重相對會變小,會導致此處的總權重值W(i,j,k,l)下降,當前像素點(i,j)受到大的差異像素點的影響就越小,進而保持了邊緣的細節信息。

最后，可通過公式(6)來計算融合的低頻分量圖像。

LF(i,j)=

(6)

采用這兩種方法結合，既提取了圖像強度(亮度/灰度)變換平緩部分(低頻分量)的細節，又保留了源圖像低頻系數的能量。

2.2 高頻區域簡化自適應參數PCNN融合規則

神經元是構成神經網絡的基本單元，模型的大小與被處理圖像的大小是一致的，PCNN模型中的每一個神經元分別對應圖像中的每一個像素點，每個神經元接收到的外界刺激即為該像素的灰度值。脈沖耦合神經網絡模型的結構如圖2所示。

圖 2 脈沖耦合神經元模型Fig.2 Pulse coupled neuron model

圖2中：F為反饋輸入，是從神經元收到的最主要的輸入；L為連接輸入，是從與當前神經元相連接的臨近神經元接收到的次要輸入；Y為輸出。由圖2可以看出，一個神經元模型主要由輸入部分、輸出部分和脈沖發生器組成。Chen等[9]提出的一種自適應參數的SPCNN模型如方程(7)描述：

(7)

其中：Fij(n)、Lij(n)是在圖像(i,j)處迭代n次的反饋輸入、連接輸入;Sij為外部刺激;Uij為內部活動項;Eij為動態閾值;Yij是輸出;β為連接強度;VL、VE分別為連接輸入與動態閾值的振幅；αf、αe分別為反饋輸入與動態閾值的指數衰減常數；W為連接輸入的突出連接矩陣即中心像素與鄰域像素的連接權矩陣。由模型方程可以看出，存在5個自由參數，分別為β、VE、VL、αf、αe，根據文獻[9]中的分析，所有的參數可以根據圖像本身的特性，自適應定義為公式(8)—公式(11)：

αf=log(1/σ(S))，

(8)

(9)

VE=exp(-αf)+1+6βVL，

(10)

(11)

式中：Smax為輸入圖像的最大強度值；S'為歸一化的大津閾值；VL的取值一般為1或隨機值；σ(S)為圖像樣本的標準差。圖像的標準差反映了圖像的整體結構特征，如果一幅圖像整體灰度值變化不大，方差就會小，那么神經元更容易保持前一狀態，反之亦然。

受SPCNN模型的啟發，為了提高融合的效率與質量，降低計算的復雜度，提出了一種改進的SPCNN算法(M-SPCNN)，算法模型如下：

(12)

用公式(12)表示的M-SPCNN模型處理耦合連接的圖像時，神經元能否被捕獲取決于神經元所對應像素的灰度值、連接強度、點火時間，其中連接強度中的突出權重Wijkl與所選取的鄰域大小有關，本文采用常用的8鄰域計算：

(13)

描述耦合連接的M-SPCNN模型是迭代方差，當前方程和上一次迭代輸出的狀態有關，M-SPCNN點火原理如下：

設所有的神經元初始狀態均為

Uij(0)=0，Eij(0)=0，Yij(0)=0。

①當n=1時：

(14)

Eij(1)=0，

(15)

此時Uij(1)>Eij(1)，可以得出Yij(1)=1，與輸入圖像非零像素對應的神經元點火，第一次迭代點火也是無效點火。

②當n=2時：

(16)

Uij(2)=Sij(1+6β)，

(17)

Eij(2)=VE。

(18)

由于上一次神經元點火，導致此刻的動態閾值達到一個很高的值，即此時Uij(2)

對比SPCNN模型可以看出，M-SPCNN模型的參數只有連接強度β、動態閾值的衰減常數αe與振幅VE。

β代表了鄰域神經元之間的連接強度，其值越大，說明鄰域神經元之間的影響就越大，Uij越劇烈，反之亦然。PCNN模型處理圖像的過程一般是，通過輸入合適的參數值，使其在同一個區域內的像素點在同一個時刻點火，在不同區域內的像素點在不同時刻點火。

根據文獻[12]中提出的將圖像分為背景區域和目標區域，自適應選擇合適的連接強度β。設R、B分別為目標區域、背景區域所對應的神經元的集合，則其灰度范圍為[SRmin,SRmax]、[SBmin,SBmax],且SRmax>SBmax。當SBmax>SRmin時，說明目標區域與背景區域有重合的部分。完美的圖像融合，就是要在SRmin點火的時候SBmin不點火，即滿足以下三個特征[13]：

①SRmin在n=T(SRmax)時刻點火，SRmin(1+βLRmin)≥SRmax；

②SBmin在n=T(SBmax)時刻點火，SBmin(1+βLBmin)≥SBmax；

③SBmax在n=T(SRmin)時刻不會點火，SBmax(1+βLRmax)

由以上三個條件可以得出：

(19)

(20)

因為完美的狀態是很難達到的。因此要選擇一個合理的β值，并且在計算的時候不需要很復雜的圖像后驗信息。本文選擇βmax作為參數β的值，且SRmax與圖像最大灰度值Smax一致，而不同的圖像的SBmax是不同的，本文采用大津閾值法代替SBmax。又因為8鄰域時，連接輸入的最大值為6，故式(19)可以表示為

(21)

動態閾值振幅VE影響融合的寬度，衰減常數αe影響動態閾值E的衰減速度，αe越小精度越高，相對消耗的時間就長。M-SPCNN迭代時，需要滿足Uij(n)>Eij(n)時點火，不滿足則不點火。設當前迭代的時刻為t，S∈[Slow,Shigh]的神經元可點火，此時：

(22)

根據模型公式(12)可以得到：

Shigh(1+βLhigh(t-1))≤E(t-1)，

(23)

Slow(1+βLlow(t))>E(t)，

(24)

(25)

由于前面假設了M-SPCNN模型第一次迭代時，所有的神經元均點火，第二次迭代時，所有神經元均不點火，所以在第三次迭代時：

(26)

第一次點火被看作無效點火，所以第一次有效點火為第三次迭代，希望能粗略得到圖像的目標區域。此時該區域的灰度值應該是目標區域的最大灰度值到圖像最大灰度值，即SBmax

(27)

可得到：

(28)

(29)

由VE=Smax(1+6β)可得

(30)

根據M-SPCNN模型公式(12)，點火時間可以在每次迭代結束后通過以下公式累計獲得：

Tij(n)=Tij(n-1)+Yij(n)

(31)

(32)

即選擇點火次數最大的系數作為融合的高頻系數。

2.3 NSST重建

3 實驗結果分析

為了驗證本文提出算法的有效性，分別選用四組已配準的CT-CT、MR-CT、MR-MR、MR-PET的圖像進行融合實驗。同時，本文算法與傳統PCNN融合(β=0.5,αf=0.012,VL=1,VE=4000)、NSST-PCNN融合[14]、CNN融合等算法進行比較，從主觀與客觀兩個角度評價融合的質量，從主觀上融合的結果，如圖3所示?？陀^上，分別使用平均梯度、信息熵、標準差、互信息等客觀評價指標定量分析的融合結果見表1—表4。

ImageAImageBPCNNCNNNSST-PCNNNSST-M-SPCNNCT-CTMR-CTMR-MRMR-PET

從視覺效果上看，本文算法的清晰度與分辨率較其他算法高，既保留了兩幅源圖像的大部分信息，又突出了邊緣與細節信息，明顯優于其他算法，說明了本算法具有可行性、適應性、有效性等。由定量分析的結果可以看出，本文算法的各項指標大都高于其他方法。其中，平均梯度反映了圖像的微小細節與紋理特征；信息熵代表了圖像攜帶信息量的多少，信息熵越大說明了攜帶的信息量越大；標準差的大小可以反映出圖像對比度的大小，標準差越大，圖像的反差大，對比度就越大；互信息表示源圖像有多少信息轉移到了融合后的圖像中，越大代表了包含源圖像的信息量越大，效果越好。

表1中PCNN融合的速度最快，因為此時的PCNN參數是根據經驗值設置的，沒有多余的計算，故而時間融合速度最快，但從圖3中可以看出，PCNN的融合效果也是最差的。除此之外，無論是視覺效果，還是定量分析的結果，本文算法都明顯優于其他算法。

表4中的標準差定量分析中，每個算法的標準差分別有三個值，pet與融合后的圖像是彩色圖像，代表了在融合圖像在xyz三個方向上的標準差。

表1 MR-CT模態融合的評價指標結果Tab. 1 Evaluation index results of MR-CT modal fusion

表2 CT-CT模態融合的評價指標結果Tab. 2 Evaluation index results of CT-CT modal fusion

表3 MR-MR模態融合的評價指標結果Tab. 3 Evaluation index results of MR-MR modal fusion

表4 MR-PET模態融合的評價指標結果Tab. 4 Evaluation index results of MR-PET modal fusion

4 結論

1)低頻區域，采用的局部區域能量加權和規則以最大限度保留源圖像的能量，雙邊濾波方法在去噪的同時充分提取源圖像的細節信息。兩種方法結合，既保留了源圖像低頻系數的能量，又最大限度地提取了圖像強度(亮度/灰度)變換平緩部分(低頻分量)的細節。

2)在高頻區域內，采用改進的自適應PCNN算法，簡化SPCNN模型，減少參數的數量，提高了融合的效率；同時，保持了PCNN非線性調制耦合、閾值可變及加權求和等特性，能從復雜背景下獲取有效信息。

實驗結果表明，本文所提出的改進算法可以有效地保留圖像中的細節信息，充分地保存紋理特征，保持圖像邊緣與紋理清晰，與傳統算法相比，具有更好的性能與適用性。