結合多尺度局部極值分解和SCM模型的醫學圖像融合方法

丁齋生 周冬明 聶仁燦 侯瑞超 劉琰煜 帥新芳

(云南大學信息學院 云南 昆明 650504)

0 引 言

醫學圖像融合技術，是一種通過融合多種模態傳感器所生成的圖像實現信息互補，增強人眼的可視性來實現圖像融合的技術[1]，在現代醫學中的應用越來越廣泛。以電子計算機斷層掃描(CT)圖像和磁共振成像(MRI)圖像相融合的技術也越來越受到重視[2]。CT圖像以不同的灰度來表示器官和組織，是一種較為理想的觀察骨關節信息的方式；MRI圖像利用磁共振現象從人體中獲得電磁信號并重建出人體信息，能夠較清楚地顯示軟組織及有關脈管[3]。CT圖像和MRI圖像的融合，能夠有效地結合兩者的互補信息，清楚地顯示出骨骼和軟組織病變情況，為醫生在醫療診斷和腫瘤治療中提供更準確的參考。

醫學圖像融合的結果要求保留源圖像的信息，同時準確地展現細節特征，使其更符合人眼的視覺特性并且更容易被機器識別[4]。近年來，基于多尺度變換的醫學圖像融合方法被廣泛使用，例如：將非下采樣輪廓波變換與脈沖耦合神經網絡(Pulse Coupled Neural Networks，PCNN)相結合的醫學圖像融合方法[5]；文獻[6]利用Ripplet和非下采樣剪切波變換(Non-downsampled shear wave transform，NSST)相結合的級聯框架進行CT-MRI融合算法；文獻[7]提出的NSST和下參數自適應脈沖耦合神經網絡融合醫學圖像；文獻[8]提出的基于曲波變換(Curvelet，CVT)的CT-MRI融合算法；傳統的基于拉普拉斯金字塔(Laplacian pyramid，LAP)的方法[9]；用低秩稀疏表示改進的曲波變換(CVT-SR)[10]等。PCNN在圖像融合領域取得了廣泛的應用和良好的融合效果，但是因其復雜的結構和大量的參數設置問題，在實際研究中，人們更多地使用一些改進的模型，例如脈沖發放皮層模型(Spiking Cortical Model，SCM)。大量的實驗研究表明：SCM比PCNN模型更加簡潔且更易取得良好的融合效果[11]。

1 相關工作

1.1 局部極值方法

局部極值分解方法是一種邊緣保持平滑算子，通過求取圖像的局部極小值和極大值的均值得到平滑圖像[12]。輸入源圖像I被分解為平滑圖像S和細節圖像D，源圖像的主干部分和基礎信息被包含在平滑圖像S，源圖像的紋理、亮度和邊緣信息包含在細節圖像D[13]。通過計算源圖像的局部極值，得到平滑圖像S，再通過將源圖像減去平滑圖像得到細節圖像D。多尺度局部極值分解方法就是通過K級遞歸平滑操作算子，輸入圖像{A，B}被分解為一系列的平滑圖像{SA，SB}和細節圖像{DA，DB}，定義為:

(1)

式中:K為最大級數；I為源圖像A或者B。LES的計算可分為三個步驟：計算源圖像的局部極值；計算最小值和最大值包絡線；計算平滑圖像S局部最大和最小包絡線的中間平面。本實驗將k定義為k=3，5，7，通過式(2)-式(3)求出在ω×ω(ω=2k-1)的移動區域，源圖像的局部極值。

(2)

(3)

式中：m(p)、n(p)為插值，Ω(p)為像素p的鄰域；mmax(q)和mmin(q)為圖像q的極大值和極小值；ω(q,p)為權重。ω(q,p)計算公式如下：

(4)

圖像的多尺度局部極值分解流程如圖1所示。對圖中細節圖像系列作直方圖分析，可以看出隨著分解級數K增大，相應的細節圖像中包含的信息占源圖像的比例就越高，細節信息越豐富。

圖1 LES分解流程圖及細節圖像直方圖

1.2 雙通道脈沖發放皮層模型

SCM是一種簡化的PCNN模型，簡化了PCNN的結構，大幅度減少了待定參數的數量。而且，SCM模型不需要學習和訓練，可以直接從復雜的背景中提取有用的信息[14]。將傳統的SCM模型改進為雙通道SCM(dual-channel SCM，DCSCM)，可以有效地節約計算成本[15]。SCM模型的數學表達式如下：

(5)

(6)

(7)

Ep,q(n)=gEp,q(n-1)+VθEp,q(n-1)

(8)

(9)

(10)

DCSCM模型的神經元結構如圖2所示。

圖2 DCSCM模型的神經元結構圖

1.3 稀疏表示

稀疏表示是一種符合人類視覺系統生理特性的圖像表示的方式[16]，其核心思想是將某圖像的向量X∈Rn由過完備字典D∈Rn×k(n

(11)

式中：‖α‖0為稀疏系數向量α的稀疏度量項，用來度量α中的非零項的個數。

式(11)是一個NP優化問題，可以通過正交匹配追蹤算法(Orthogonal Matching Pursuit，OMP)求解其稀疏解。OMP算法是在只有非零解的情況下，D的第m列與Y最匹配時，求解其稀疏系數。用OMP算法對稀疏矩陣計算可以得到該矩陣的稀疏表示稀疏矩陣，公式如下：

(12)

2 融合算法

2.1 平滑層融合

運用已訓練的過完備字典D=[D1,D2,…,D9]結合OMP算法對平滑層圖像{SA，SB}進行稀疏分解，得到各個尺度的稀疏矩陣V=[V1,V2,…,V9]。采用能量值取大的融合規則融合求得的各稀疏矩陣，得到融合系數，根據融合系數重構得到融合的平滑圖像S。具體的融合規則如下：

(13)

(14)

式中：RSX,i表示的是稀疏系數RSX的第i列向量；ESX,i是RSX,i的能量。根據RS實現圖像塊向量的重構，公式如下：

SX=DRSXX=A或B

(15)

2.2 細節層融合

細節圖像融合規則有最大絕對值、區域能量、方差和梯度等方法，但這些方法并不能充分地提取圖像的細節信息。利用單個像素的灰度值作為神經網絡的激勵，可能會導致圖像邊緣和紋理特征的丟失。DCSCM在傳統方法的基礎上，增加了兩種對角梯度變化，能夠較好地解決上述兩個問題。設D(p,q)是圖像在(p,q)處的系數，利用3×3的滑動窗口測量修正的平均梯度(Modified Average Gradient，MAG)，然后利用得到的MAG激勵神經元。MAG定義為：

▽Dmd(p,q)+▽Dvd(p,q))1/2

(16)

▽Dh(p,q)=[D(p,q)-D(p,q-1)]2

(17)

▽Dv(p,q)=[D(p,q)-D(p-1,q)]2

(18)

▽Dmd(p,q)=[D(p,q)-D(p-1,q-1)]2

(19)

▽Dvd(p,q)=[D(p,q)-D(p-1,q+1)]2

(20)

式中：▽Dh(p,q)、▽Dv(p,q)、▽Dmd(p,q)、▽Dvd(p,q)分別表示水平、垂直、主對角線和斜對角線方向的梯度變化值。M×N為滑動窗口的大小。

根據式(16)分別計算出細節圖像{DA，DB}的修正平均梯度{MAGDA，MAGDB}，將其作為DCSCM的輸入激勵，定義初始狀態Apq(0)=Tpq(0)=Epq(0)=0，通過式(21)可以得出融合的細節圖像D。

(21)

(22)

式中：N為最大迭代次數；Tpq為神經元點火次數。

本文實驗所用到的DCSCM模型的參數設置為：

f=0.2g=0.6Vθ=20,

(23)

2.3 融合步驟

假設輸入的CT-MRI圖像為{A，B}，具體的融合流程圖如圖3所示，具體的融合步驟如下：

輸入：源圖像{A，B}。

Step2對得到的一系列平滑圖像取最大值得到平滑圖像{SA，SB}，對細節圖像系列取均值得到細節圖像{DA，DB}。

Step3使用稀疏表示的方法，對平滑圖像進行融合得到融合的平滑圖像S。基于DCSCM模型，得到融合后的細節圖像D。

Step4根據平滑圖像S和細節圖像D，重構出最終的融合圖像F，F=S+D。

輸出：融合圖像F。

圖3 算法的融合框架圖

3 仿真結果與分析

從圖4的實驗結果可以直觀地看出，本文所提出的融合算法在對CT圖像的基礎骨結構信息和MRI圖像的細節軟組織結構信息的保留方面都優于其余七種對比方法。相較于GTF、DTCWT和LP算法，本文算法的融合圖像對比度強，骨結構信息突出，軟組織信息保留度高，具有很優良的融合效果。對比其他CVT-SR、NSCT-PCNN、NSCT-SF-PCNN和NSST-PAPCNN四種算法，本文算法細節信息豐富，邊緣信息保留度高，既突出了骨結構信息的基礎部分，也保留軟組織信息的細節部分，融合效果從直觀視覺感受上也優于對比算法。從表1的客觀評價指標的定量數值分析也能得出上述結論。該算法在所選取的五項評價指標中，都處于最優或者略低于最優的狀態，驗證了其可行性和優越性。

圖4 實驗中各算法的融合結果圖

表1 實驗中各算法的客觀評價指標值

續表2

4 結 語

本文提出一種基于多尺度局部極值分解方法和DCSCM的圖像融合方法。首先，利用多尺度局部極值分解方法將源圖像分解為一系列不同尺度的平滑圖像和細節圖像。然后，使用最大值法提取平滑圖像的最大值，使用稀疏表示方法進行平滑圖像的融合，對細節圖像取均值，作為DCSCM模型的激勵，融合細節圖像部分。最后，通過融合后的平滑圖像和細節圖像重構出最終的融合圖像。對多組醫學圖像進行實驗仿真和主客觀分析，結果表明：該方法在主觀視覺方面和客觀評價指標的多種信息保留方面都取得了優異的效果。但是，本文使用的基于區域能量的稀疏表示字典融合方法會導致算法運行復雜度上升，運行時間略長，有待日后提升改進。