基于相容粒度空間的醫學圖像融合技術

摘 要:針對傳統像素級圖像融合方法割裂像素間聯系的問題，將醫學圖像融合與粒度計算相結合，從粒度的角度研究醫學圖像融合技術，提出基于相容粒度空間的醫學圖像融合算法。該算法通過將待融合源圖像進行小波變換，然后對小波系數構造多層次的相容粒度，最后選擇合適的層次進行粒度融合并進行小波逆變換形成最終的融合圖像。實驗結果表明，該算法在MRI與MRA的圖像融合中是有效的。

關鍵詞:相容粒度空間;醫學圖像融合;小波變換;磁共振成像;磁共振血管成像

中圖分類號:TP391 文獻標志碼:A

文章編號:1001-3695(2010)03-1192-03

doi:10.3969/j.issn.1001-3695.2010.03.109

Technique of medical image fusion based on tolerance granular space

LI Zhi-gui， MENG Zu-qiang

(College of Computer Electron Information， Guangxi University，Nanning 530004，China)

Abstract:Focusing on the most traditional image fusion algorithms that split relationship among pixels. Combined with the medical image fusion and the granular computing， research of medical image fusion in granularity，this paper proposed an algorithm for medical image fusion based on tolerance granular space. This algorithm decomposed each source image by wavelet transform， and constructed multi-level tolerance granularity in wavelet coefficients. Finally， selected the appropriate level to fusion image by granularity and through the inverse wavelet transform to form the final fused image.The results of experiment show that this algorithm is effective in MRI and MRA image fusion.Key words:tolerance granular space; medical image fusion; wavelet transform; MRI; MRA

不同的醫學成像設備可以提供互補的信息。醫生往往需要不同的成像設備共同診斷某一病癥。例如，MRI(magnetic resonance imaging)具有很高的軟組織分辨力，可以顯示腦組織的病變，但不能很好地顯示血管異常;而MRA(magnetic resonance angiography)的空間分辨力低，但可以了解全腦血管分布及代謝情況，能較完整地顯示異常血管。為了確診煙霧病，常常需要MRI結合MRA的影像檢查手段。由此可見，多模醫學圖像的互補信息需要融合在一起。

醫學圖像融合技術能將不同模態的醫學圖像有機地結合，提供給醫生比單一模態醫學圖像更全面、準確的信息。被譽為數學顯微鏡的小波變換具有良好的分頻特性，在醫學圖像融合中得到了充分利用。傳統的醫學圖像融合算法多采用基于小波變換、小波系數加權平均、閾值法融合。盡管傳統的小波融合方法得到了很好的融合效果，但在融合的過程中仍然存在兩個問題，即如何充分利用像素間聯系更好地體現圖像的區域特征信息和如何使圖像融合更智能化。研究表明，基于區域分割的融合規則較傳統的方法能更好地體現區域的特征信息，如趙高鵬等人[1]的基于區域的圖像融合方法和馮舒等人[2]的基于多分辨率分割的區域圖像融合。在圖像融合的智能化方面，Vladimir等人[3]提出了自適應融合的方法。自適應圖像融合要求有一個策略來決定算法在何時以及如何滿足特定的融合目的。將圖像融合效果評價的信息加入到融合規則的選取和參數的選擇過程中，能更充分地利用信息源提供的信息，會得到更好的融合效果。文獻[4]采用區域信息熵加權融合規則將區域信息加入到融合規則中取得了較好的效果。文獻[5]指出自適應圖像融合是一個熱點研究方向。由此可以看出，智能化將是提高圖像融合效果必須考慮的因素之一。

粒度計算是人工智能的熱點研究領域之一。Zheng等人[6]提出了相容粒度空間模型，并把相容粒度空間模型用于圖像紋理的識別[7]和圖像分割[8]中，試驗表明相容粒度空間模型能很好地提取圖像的區域特征。將醫學圖像融合與粒度計算結合，從粒度的角度研究醫學圖像融合技術，探索新的醫學圖像融合技術，勢必拉近醫學圖像融合技術與智能計算的距離，提高圖像融合的智能化水平。本文從於時才等人[9]通過度量其圖像塊之間的相關系數和空間頻率來確定融合圖像的尺度系數得到啟發，提出基于相容粒度空間的融合算法。

1 面向醫學圖像融合的相容粒度空間模型

本文將相容粒度空間模型用于醫學圖像融合。本章僅簡單介紹面向醫學圖像融合的自底向上建立模型的方法，更詳細的相容粒度空間模型的建立過程請參考文獻[6~8]。

首先，定義對象集系統。原始對象O0XY=(x，y，g)是醫學圖像原始的小波系數。其中，x、y為系數坐標值， g為系數值。對象集O1是一幅圖像的系數矩陣，且

O1=O011O012…O01mO021O022…O02mO0n1O0n2…O0nm

其中，O0XY是一個小波系數。然后，定義相容關系為tr(cp，ω，DIS，D)，它包含命題cp、權重向量ω、距離函數向量DIS和半徑向量D四個關鍵要素。它們分別為

cp(α，β|D)=(dis1(α，β|ω)≤d1)∧(dis2(α，β|ω)≤d2)，

ω=(ω1，ω2， ω3)，DIS={dis1，dis2}，D={d1，d2}

其中，α和β為對象向量。 最后，定義嵌套相容覆蓋系統。一個粒的內涵IG和外延EG由下面的公式得到。

EG11={α|(α，η11 )∈tr(cp，ω，DIS，D)∧ (α∈O1)}，and IG11=(x，y，g)，and η11∈grid11

其中:x、y表示粒在其所在層上的位置坐標;g表示粒的平均灰度值。例如，可以設grid11={(x，y)| x=2i+1， y=2j+1}，i和j 為正整數，則grid11= {(1，1)，(1，3)，(1，5)，(5，1)，(5，3)，…}。

原始對象被粒化為大小為2d1×2d2的矩形粒。

自下而上構建嵌套相容覆蓋系統的過程描述如下:a)初始化第一層的粒為原始圖像的小波系數O1自身，即G1=O1;b)設grid11={(x，y)| x=(2r)i+r， y=(2r)j+r}，i、j為整數，距離函數的半徑為d1=d2=r，合成第二層的粒，則第二層的粒為(2r)×(2r)大小的粒;c)遞歸，根據其父粒計算i+1層粒，grid11={(x，y)| x=(2r)i+r， y=(2r)j+r}，i、j為整數，距離函數的半徑為d1=d2=r。

為了更好地適應醫學圖像的融合，在面向醫學圖像融合的相容粒度空間模型中，定義的網格以粒子間的邊界作為網格的坐標線，并把網格坐標點看成特殊的標位粒，它僅標志粒子間的邊界位置不具有粒的外延。用自下而上構建嵌套相容覆蓋系統的過程，可以對各個子帶的小波系數進行粒化。以4×4小波子帶系數為例，用格子表示原始圖像的對象集O1，用格子間的虛線表示網格grid，如圖1所示。這里取半徑d1=d2=r=1，向量權重ω=(ω1 ，ω2 ，ω3)=(1，1，0)，距離函數dis1(α，β|ω)=|α1-β1|，dis2(α，β|ω)=|α2-β2|。其中，ω3=0表示只考慮位置關系而未考慮灰度值關系。根據自下而上構建過程的步驟b)，容易求得grid11={(1，1)，(1，3)，(3，1)，(3，3)}。在圖1的第一層粒子中距離網格點(1，1)的有O01，1、O01，2、O01，3、O01，4，即第二層的第一個粒G121覆蓋第一層粒的集合為{O01，1，O01，2，O01，3，O01，4}。同理可求得G122、G123、G124，如圖2所示。在圖2的第二層粒上可求得grid12={(1，1)}，距離網格點(1，1)的粒有G121、G122、G123、G124，進而可求得第三層的粒G131，如圖3所示。

2 基于相容粒度空間的融合規則

將醫學圖像進行粒化之后，必須在某一層的粒上進行圖像融合，而在圖像融合過程中，融合規則至關重要，它的選擇直接影響融合的效果。這里分別對高頻和低頻分量的粒度融合規則進行描述。

2.1 高頻分量的融合規則

圖像的高頻分量反映圖像的細節信息，包含了大量的圖像邊緣和紋理信息，對圖像的清晰度有很大的影響。空間頻率是反映圖像空間變化程度的一個量，通常空間頻率越大圖像越清晰[10]，故本文采用粒子的空間頻率來計算高頻分量粒子的融合權值。設高頻分量被粒化為d1×d2的矩形粒，則高頻分量的融合步驟為:

a)分別計算待融合圖像A、B中粒的行頻率RFGA、RFGB和列頻率CFGA、CFGB。其中，行頻率RFG和列頻率CFG計算式為

RFG=1d1d2∑d1i=1∑d2j=2[G(i，j)-G(i，j-1)]2(1)

CFG= 1d1d2∑d1i=1∑d2j=2[G(i，j)-G(i-1， j)]2 (2)

b)根據行頻率RFGA、RFGB和列頻率CFGA、CFGB計算粒的空間頻率SFGA、SFGB計算式為

SFGA=(RFGA)2+(CFGA)2(3)

SFGB=(RFGB)2+(CFGB)2(4)

c)依據粒的空間頻率和圖像的權重參數α0、β0計算粒的高頻融合權值α、β，計算式為

α=(a/(a+b))，β=(b/(a+b))(5)

其中:a=α0SFGA，b=β0SFGB 。

d)依據粒的高頻融合權值α、β對高頻分量進行融合，融合式為

HF=αHA+βHB (6)

其中:HA和HB分別為待融合圖像A和B高頻部分的粒，HF為融合結果圖像F高頻部分相應的粒子。

2.2 低頻分量的融合規則

圖像的低頻分量反映圖像的近似信息，集中了圖像的大部分能量和信息，對圖像的整體視覺效果有著決定性的影響。這里，采用灰度平均值來計算低頻分量粒子的融合權值。設低頻分量被粒化為d1×d2的矩形粒，則低頻分量的融合步驟為:

a)分別計算待融合圖像A、B中粒的平均值AGA和AGB，其中粒的平均值AG的計算式為

AG=1d1d2∑d1i=1∑d2j=1L(i，j) (7)

b)依據粒的平均值和圖像的權重參數α0、β0計算粒的低頻融合權值α、β，計算式為

α=(a/(a+b))，β=(b/(a+b)) (8)

其中:a=α0AGA，b=β0AGB。 

c)依據粒的低頻融合權值α、β對低頻分量進行融合，融合式為

LF= αLA +βLB(9)

其中:LA和LB分別為待融合圖像A和B高頻部分的粒，LF為融合結果圖像F高頻部分相應的粒子。

3 基于相容粒度空間的圖像融合算法

假設融合圖像是兩幅已經過嚴格配準的圖像 A和B，融合結果圖像為F。基于相容粒度的基本思想是:先將源圖像A、B進行多尺度的分解得到低頻分量和高頻分量，再對低頻分量和高頻分量分別進行粒化并計算粒子的融合權值;然后，對各個粒依據相應的融合權值進行粒度融合得到融合結果圖的小波系數;最后，對融合結果圖的小波系數進行小波逆變換得到融合結果圖像F。基于相容粒度空間的圖像融合算法如下:

輸入:待融合圖像A、B及權重參數α0、β0，小波分解層數n，高頻、低頻的粒化層次Hn、Ln

輸出:融合結果圖像F。

a)對待融合圖像A、B進行n層小波分解;

b)對各個高頻分量進行Hn層粒化，根據式(1)～(5)計算高頻粒融合權值并根據式(6)進行高頻粒度融合;

c)對低頻分量進行Ln層粒化，根據式(7)(8)計算低頻粒融合權值并根據式(9)進行低頻粒度融合;

d)由粒度融合后的高頻分量和低頻分量組合成融合結果圖F的小波系數;

e)對融合結果圖F的小波系數進行逆變換得到融合圖像F。

算法中的輸入參數和計算權值的算法應根據不同的融合對象進行適當調整。在本文的多模醫學圖像的融合中，為了體現粒的清晰度信息，高頻要在較高層次的粒上進行，為了減少融合對視覺效果的負面影響，低頻部分的粒度融合則要在較低層次的粒上進行。

4 實驗結果與評價

本文使用的實驗圖像數據是已配準的大小為256×256的含噪聲的MRI(磁共振成像)圖和MRA(磁共振血管造影)圖。針對待融合MRI和MRA圖像的平均灰度值存在較大差距以及MRA包含重要的血管信息的特點，使用平均灰度值的倒數作為待融合圖像的權重，并對融合結果圖像進行直方圖均衡化。圖像權重的計算公式為α0=(a/(a+b))，β0=(b/(a+b))。其中:a和b分別為圖像A和B的平均灰度值的倒數。在實驗中，對待融合圖像進行了四層小波分解。對高頻分量在第四層粒上進行粒度融合，對低頻分量在第二層粒上進行粒度融合，即算法的輸入參數n=4，Hn=4，Ln=2。融合結果與傳統的小波變換融合(融合規則為低頻平均、高頻模大)進行比較。實驗結果如圖4~10和表1所示。

圖4為待融合MRI圖，圖5為待融合MRA圖，圖6為傳統小波的融合結果圖，圖7為本文算法的融合結果圖。

從實驗的結果來看，本文算法和小波融合算法都能很好地顯示出圖4中 MRI圖中的結構信息，但相比之下，本文算法更能清晰地顯示圖4中 MRA圖的血管信息。特別在中間噪聲帶部分差距尤為明顯。中間噪聲帶的局部放大比較如圖8~10所示。其中，圖8 MRA圖為局部放大圖，圖9為小波融合結果局部放大圖，圖10為本文算法融合結果局部放大圖。

從對比的局部放大圖可以看出，左上角和右下角兩處的血管信息，小波融合算法融合結果比較模糊，而本文算法融合結果則比較清晰。

為驗證本文算法的有效性，將其與常見的醫學圖像融合算法進行比較，比較結果如表1所示。從表中可以看出，本文算法的平均梯度和空間頻率均優于其他算法，而峰值信噪比也僅優于部分算法。經分析，空間頻率較優的原因是高頻分量使用了空間頻率加權的融合規則。據此可以說明，評價規則加入到融合規則的計算中可以得到更好的融合結果。若能更好地綜合評價融合結果并對不同子帶智能選擇融合的粒度層次，將更能符合特定實際應用需求的醫學圖像融合。雖然本文算法沒能得到顯著的效果，但與傳統的小波融合方法相比，本文算法融合結果的平均梯度、空間頻率、峰值信噪比都更優。

綜合考慮，筆者認為本文提出的基于相容粒度空間的醫學圖像融合算法在MRI與MRA的融合中是有效的。

5 結束語

本文算法通過將待融合圖像進行小波變換，在面向醫學圖像融合的相容粒度空間模型下對各個子帶小波系數進行粒化并進行粒度融合，將粒度融合結果組成融合結果的小波系數并進行小波逆變換形成最終的融合圖像。在MRI圖和MRA圖的融合實驗中，本文算法在圖像融合評價指標平均梯度、空間頻率和峰值信噪比都比傳統的小波融合好。融合結果的局部放大圖也表明，基于粒度融合算法比傳統的小波融合算法能更好地表現區域的特征信息，使圖像更清晰。實驗結果表明，本文將相容粒度空間模型應用于醫學圖像融合是可行的，提出的基于相容粒度空間的醫學圖像融合算法在MRI與MRA的融合中是有效的。

參考文獻:

[1]趙高鵬，薄煜明，陳益.基于區域的圖像融合方法[J].計算機應用，2008，28(12):152-157.

[2]馮舒，蔣宏，任章.基于多分辨率分割的區域圖像融合[J].計算機仿真，2007，24(5):183-185.

[3]VLADIMIR P，COOTES T.Objectively adaptive image fusion[J]. Information Fusion， 2007，8(2):168-176.

[4]葛雯， 高立群.基于非分離小波的多模態醫學圖像融合算法[J].計算機應用研究，2009，26(5):1965-1967.

[5]胡鋼，劉哲，徐小平，等.像素級圖像融合技術的研究與進展[J].計算機應用研究，2008，25(3):650-655.

[6]ZHENG Z，HU H，SHI Z Z.Tolerance granular space and its applications[C]//Proc of IEEE International Conference on Granular Computing.2005:367-372.

[7]ZHENG Z，HU H，SHI Z Z.Granulation based image texture recognition[C]//Proc of Lecture Notes in Computer Science.2004:659-664.

[8]SHI Zhong-zhi，ZHENG Zheng，MENG Zu-qiang.Image segmentation-oriented tolerance granular space model[C]//Proc ofIEEE International Conference on Granular Computing.2008: 566-571.

[9]於時才，呂艷瓊.一種基于小波變換的圖像融合新算法[J].計算機應用研究， 2009，26(1):390-391.

[10]KONG Jun，ZHENG Kai-yuan，ZHANG Jing-bo，et al.Multi-focus image fusion using spatial frequency and genetic algorithm[J].International Journal of Computer Science and Network Security，2008，8(2):220-224.