基于非分離小波的多模態醫學圖像融合算法

（1. 沈陽航空工業學院 電子信息工程學院 沈陽 110136； 2. 東北大學 控制理論與導航制導研究所 沈陽 110004）

摘 要：針對傳統可分離小波醫學圖像融合過程中存在部分邊緣丟失和紋理信息模糊的問題，根據CT/MRI圖像內容的互補性，提出整合及突出圖像細節的醫學圖像融合算法。該算法在非分離小波分解框架下，對反映圖像近似內容的低頻分量采用區域信息熵加權融合規則，對反映圖像細節特征的高頻分量提出了區域亮度細節占優加權的融合規則；最后通過非分離小波逆變換重構融合圖像。實驗結果表明，該算法能在保留源圖像信息的情況下增強融合圖像的細節及亮度信息。

關鍵詞：可分離小波變換; 非分離小波變換； 區域信息熵； 亮度對比度； 醫學圖像融合

中圖分類號：TP391.41文獻標志碼：A

文章編號：1001-3695(2009)05-1965-03

Multi-modality medical image fusion algorithm based on non-separable wavelet

GE Wen1，2 GAO Li-qun2

(1. School of Electronics Information Engineering Shenyang Institute of Aeronautical Engineering Shenyang 110136 China； 2. Institute of Navigation Guidance Control Northeastern University Shenyang 110004 China)

Abstract:In the view of this situation that in the fusion process of the traditional separable wavelet medical image there were problems of lost part edges and blurred image texture. Based on the mutual complement of CT/MRI image contents this paper proposed a fusion algorithm of integration and highlight for the medical image details. Under the non-separable wavelet decomposed frame used a region information entropy weighted fusion rule for the low-frequency component which reflected approximate content and used a region brightness details priority weighted fusion rule for the high-frequency component which reflected features and details of image. Finally reconstructed the fusion image through an inverse transform of non-separable wavelet. Experimental results show that this algorithm not only reserves the source image information but also enhances the fusion image details and brightness information.

Key words：separable wavelet transform; non-separable wavelet transform; region entropy; brightness contrast; medical ima-ge fusion

0 引言

近年來，各種醫學影像設備得到了迅速發展，這為臨床診斷提供了傳統醫學手段無法獲得的多模態醫學圖像。但是，由于醫學影像設備成像原理不同，這些圖像反映人體臟器和病變組織的信息也各有側重。例如CT僅能清晰地表達人體骨骼信息，而MRI僅能清晰地表達軟組織信息。由此可見，單一模態的圖像往往不能提供給醫生全面、準確的信息。為了更好地利用多模態圖像，通常使用圖像融合技術，將不同模態的醫學圖像有機地結合在一起，即進行多模態醫學圖像融合，從而達到優勢互補，有效地提高融合圖像的信息量和可視性，為現代醫學臨床診斷帶來新的思維^[1]。

多模態醫學圖像融合方法種類繁多，其中小波變換由于在變換域具有良好的分頻特性，在醫學圖像融合中得到了充分地利用^[2~4]。目前基于小波變換的融合方法中討論的多是可分離小波。基于可分離小波分析的方法雖然能獲得一定品質的融合圖像，但其具有各向異性，使得融合圖像中部分邊緣信息丟失和某些細節模糊；同時只是對圖像進行逐行逐列的操作，不能以區域的形式出現。而非分離小波取樣可以有效地克服這些缺點，為醫學圖像提供了更有利于融合的數學分析方法。

本文針對CT及MRI影像的特征，在非分離小波框架下，對低頻分量提出區域信息熵加權融合策略，對高頻分量提出基于區域亮度細節占優加權法的融合規則，使得融合的醫學圖像不僅能夠完好地顯示源圖像各自的信息，而且將源圖像的細節很好地融合在一起，大大提高了融合圖像的視覺效果。

1 基于梅花形抽樣矩陣D不可分雙正交小波濾波器 

二維不可分小波變換是通過抽樣矩陣D來描述。實際中有許多抽樣矩陣，本文則采用了最常用的一種梅花形抽樣矩陣。

D=111 -1(1)

設X(n)代表圖像像素的灰度值，Y(n)表示下采樣后圖像的灰度值；n=(n1，n2)T；Z表示整數集；Z2表示二維整數集，則D對圖像進行下采樣的過程為

由于｜det D｜=2，信號經過D分解后生成對應的兩個頻帶，即一個尺度函數Φ(X)和一個小波函數ψ(X)。具體細節請參見文獻[5]。

Φ(X)=N∑kh0(n)Φ(DX-k)(4)

ψ(X)=N∑kg0(n)Φ(DX-k)(5)

其中：h0(n)為低通濾波器；g0(n)為高通濾波器；k為位移因子。

2 CT/MRI圖像融合規則

醫學圖像融合比普通圖像融合有更高的要求。首先要求融合后的圖像不能扭曲圖像細節，要盡可能準確地反映源圖像包含的圖像信息；另一方面，新圖像的融合效果應符合人眼視覺特性，充分展現圖像紋理和豐富的細節。

CT/MRI是醫學圖像融合中最為常見的一種模式，CT圖像具有高的空間分辨率和幾何特征，骨組織成像清晰；MRI成像技術可以清晰地反映軟組織、器官和血管等結構。

CT/MRI圖像及其直方圖如圖1所示。從圖1可知，CT/MRI圖像信息在空間局部互補。因此針對CT/MRI圖像的這一特點，根據醫學圖像融合算法的要求，提出基于區域信息熵加權法和區域亮度細節占優加權法的融合規則，使融合后的圖像保留了原始圖像的紋理和邊緣特征，有機地融合圖像之間的互補信息，為臨床診斷提供了更充分、更可靠的依據。

2.1 低頻信息融合

根據低頻信息包含了圖像的絕大部分能量和CT/MRI反映的人腦形態及功能信息差異較大的特點，對低頻信息提出了基于區域信息熵加權法的融合規則。

信息熵是信息度量的一種尺度，影像的信息熵是衡量影像信息豐富程度的一個重要指標。熵越大，則表示影像圖像包含的信息越豐富。由于圖像的局部特征是由區域內多個像素表征和體現的，這里采用區域信息熵反映了圖像的局部性質，提供該區域包含信息量的大小。

區域窗口選擇3×3窗口，根據Shannon信息論的原理定義區域信息熵：

Hf=-∑Mi=1∑Nj=1Pij log2 Pij(8)

Pij=I(i，j)/∑Mi=1∑Nj=1I(i，j)(9)

其中：Pij為區域圖像中點(i，j)灰度值的概率；I(i，j)為區域圖像中點(i，j)灰度值。

對于低頻分量采用的融合算法為

LF=[Hf CT/(Hf CT+HfMRI)]LCT+[HfMRI/(Hf CT+HfMRI)]LMRI(10)

其中：LCT、LMRI和LF分別是CT、MRI及融合后圖像的低頻系數；HfCT、HfMRI分別是CT、MRI區域信息熵。

通過上面的融合規則，能夠有效地將低頻分量所提供的信息融合在一起。

2.2 高頻信息融合

數學醫學圖像提供的視覺信息主要包括亮度和細節，而高頻分量包含著源圖像中重要的特征和細節。為了獲得視覺特性更佳、細節更豐富突出的融合效果，對高頻信息提出了區域亮度細節占優加權法的融合規則。其中亮度信息用像素均值描述；細節信息用像素兩兩差之和與像素和的比描述^[6]。M×N窗口以(i，j)為中心的區域亮度和細節分別為

I(i，j)=1/(M×N)∑Mm=1∑Nn=1f(i+m-(M+1)/2，

j+n-(N+1)/2)(11)

D(i，j)=[1/∑Mi=1∑Nj=1f(i+m-(M+1)/2，

j+n-(N+1)/2)]∑Mm=1∑Nn=1｜f(i+m-(M+1)/2，

j+n-(N+1)/2)-f(i+m+1-(M+1)/2，

j+n+1-(N+1)/2)｜(12)

如果CT圖像的亮度和細節同時大于等于MRI圖像的亮度和細節時，則取CT圖像小波系數為高頻分量；如果CT圖像的亮度和細節同時小于MRI圖像的亮度和細節時，則取MRI圖像小波系數為高頻分量，即

HF=HCTPCT≥PMRI，TCT≥TMRI

HMRIPCT＜PMRI，TCT＜TMRI(13)

如果CT圖像的亮度和細節不同時大于等于或小于MRI圖像的亮度和細節時，則高頻分量為

HF=α(HCT+K1HMRI)-β｜HCT-K2HMRI｜

當PCT≥PMRI，TCT＜TMRI or PCT＜PMRI，TCT≥TMRI(14)

式(14)中：前半部分α(HCT+K1HMRI)表示取CT/MRI圖像的加權均值，影響融合后圖像的亮度；后半部分β｜HCT-K2HMRI｜表示取兩幅圖像的加權差值，影響融合后圖像的細節信息。HCT、HMRI和HF分別為CT、MRI對應的小波系數和融合后的小波系數。K1、K2、α、β分別為加權因子。其中：K1、K2調節CT/MRI圖像的占優比例；α調節圖像的亮度；β決定圖像的邊緣。通過調整K1、K2、α、β，可以消減模糊邊緣，突出細節并調節圖像的亮度。在臨床應用中，醫生可以根據經驗設定這些參數，也可以根據以下公式計算它們。

3 圖像融合實驗及結果分析

為了驗證本文所提算法的合理性和有效性，對醫學診斷過程中常見的CT與MRI圖像進行了融合實驗，如圖2所示。其中(a)為CT圖像；(b)為經過配準后的相應MRI圖像。對這兩幅CT和MRI圖像分別采用：基于可分離小波變換方法1，其融合規則參照文獻[7]，融合結果如(c)所示；基于可分離小波變換法2，其融合規則選用本文融合算法，融合結果如(d)所示；本文算法的融合結果如(e)所示。

從融合效果來看，圖2(e)融合后圖像更適宜人眼分辨，不僅能夠清晰地顯示CT圖像的骨骼信息和MRI圖像的軟組織信息，展現圖像紋理和豐富細節，而且強化了圖像亮度，尤其是異常區域的亮度；從融合圖像(d)中看出，雖然腦溝回、顱板結構及病灶內部結構比較清晰，但由于可分離小波變換具有各向異性，出現圖像部分邊緣丟失的現象；(c)的融合效果不好，圖像模糊、邊緣斷續、病灶結構不清晰。

除了進行目視比較外，本文采用了平均交叉熵、平均梯度和標準差三項客觀指標來對融合圖像質量進行定量的分析。其中，平均交叉熵直接反映了圖像對應像素的差異，確定各種融合效果的優劣，平均交叉熵值越小，說明融合的結果圖像與兩幅原始圖像的差異越小；平均梯度能夠敏感地反映出圖像對細微反差和紋理變化特征的清晰程度，反映圖像的清晰度；標準差反映了圖像灰度相對于灰度平均值的離散情況，評價圖像反差的大小，即色調的對比度。CT/MRI圖像融合結果的定量評估如表1所示。

由于本文算法的平均交叉熵最小，本文算法的融合圖像與原始圖像的差異最小，且平均梯度和標準差最大。這些指標都說明本文提出的融合算法性能好，使融合后的圖像清晰度、亮度、對比度和信息量均大大提高了。

4 結束語

由于非分離小波變換具有較好的頻率響應特性、平移不變性和更好的自由度等優點，本文將非分離小波變換運用到醫學圖像融合中；同時應用本文提出的增強圖像亮度和細節以及提高信息量的融合規則，使融合后的圖像不僅有效地將原始圖像提供的信息融合在一起，且強化了圖像亮度和紋理特征，明顯改善了圖像的視覺效果。這對疾病診斷治療有著重大的臨床意義。

參考文獻：

［1］AIAZZI B ALPARONE L BARONTI S et al.Context-driven fusion of high spatial and spectral resolution images based on over sampled multi-resolution analysis[J]. IEEE Trans on Geoscience and Remote Sensing 200240(10):2300-2312.

[2]KIRANKUMAR Y，DEVI S S. Transform-based medical image fusion[J]. International Journal of Biomedical Engineering and Technology 20071(1):101-110.

[3]WANG Hai-hui. A new multiwavelet-based approach to image fusion[J]. Journal of Mathematical Image and Vision 200421(3):177-192.

[4]QU Gui-hong ZHANG Da-li YAN Ping-fan. Medical image fusion by wavelet transform modulus maxima[J]. Optics Express 20019(4):184-190.

[5]KOVACEVIC J VETTERLI M. Nonseparable multidimensional perfect reconstruction filter banks and wavelet bases for Rn[J]. IEEE Trans on Information Theory 199238(2): 533-555.

[6]周杉 沈毅 郝家勝.基于局部占優的自適應像素加權CT/MRI圖像融合算法[J].哈爾濱工業大學學報 200638(8): 1314-1317.

[7]唐晶磊 何東健 趙文文，等. 小波變換在醫學圖像融合中的應用[J]. 醫學信息學 200720(1):1-3.