聯合直方圖的剛性配準方法及其在肝臟CT圖像配準中的應用

周 斌,宋 曉,黃曉陽,王博亮

(1.廈門大學信息科學與技術學院,福建廈門361005;2.南陽師范學院計算機與信息技術學院,河南南陽473061)

聯合直方圖的剛性配準方法及其在肝臟CT圖像配準中的應用

周 斌1,宋 曉2,黃曉陽*,王博亮1

(1.廈門大學信息科學與技術學院,福建廈門361005;2.南陽師范學院計算機與信息技術學院,河南南陽473061)

相似性測度作為一種準則用來評價參考圖和變換后圖像之間的匹配效果,是圖像配準方法中一個關鍵的步驟,它直接影響配準效果的好壞.在分析圖像聯合直方圖的基礎上提出一種基于聯合直方圖的相似性測度,該方法提高配準的計算速度而不影響配準效果.所使用的相似性測度應用于肝臟CT增強掃描多相期剛性圖像配準過程,實驗結果表明,其速度優于常用的最大互信息法,且不影響配準結果.

圖像配準;相似性測度;聯合直方圖

醫學圖像配準是指通過尋找某種空間變換,使兩幅圖像的特征點達到空間位置和解剖結構上的完全一致,要求配準的結果能使兩幅圖像上所有的解剖點或至少是所有具有診斷意義以及在手術區域內的點都達到匹配[1].圖像配準技術是醫學圖像處理領域的一個重要研究課題.將不同模態圖像或不同時期的同一模態圖像進行空間配準,進一步將這些圖像信息進行有效的融合,從而彌補單一影像設備所獲取信息量不足的缺陷,為醫生提供更準確豐富的診斷信息是臨床診斷和治療技術發展的需要[2].

醫學圖像配準方法有多種,目前常用的有3種: 1)基于特征的配準方法,特征可以是標記點、分割區的質心、輪廓、表面、容積或是他們的組合.Porter等[3]利用3D超聲數據中的脈管作為標記點使兩幅圖像空間三維對齊.Ding等[4]提出了一種利用體積圖像的模板匹配法.2)力矩主軸法,先計算圖像的零階和一階矩,得到兩幅圖像像素點的質心和主軸,再通過平移和旋轉使兩幅圖像的質心和主軸對齊,從而達到配準的目的.吳鋒等[5]提出了一種基于輪廓的力矩主軸配準方法,質心和主軸的提取是通過CT和MR圖像的外圍輪廓來實現的.3)基于灰度的方法,它直接利用圖像的灰度進行匹配,方法主要有互信息法、交叉相關法、相關系數法等.Viola等[6]提出了最大互信息法.此外還有許多其他配準方法,如局部頻率法[7]、能用于大形變的流體動力學法[8]、基于FFT的方法[9]和由粗到精進行迭代的金字塔法[10]等.

醫學圖像配準時選擇一幅圖像作為參考圖像,另外一幅待配準的圖像作為浮動圖像,對浮動圖像進行幾何變換和圖像插值,并計算它與參考圖像之間的相似度,通過尋找最優的相似度從而得到最佳的變換參數.圖像配準過程由4個主要基本步驟[11-12]組成: 1)幾何變換,可分為兩類:剛性變換和非剛性變換,對剛性圖像配準方法而言,需要對浮動圖像進行的坐標變換包括圖像平移變換以及圖像旋轉變換等過程.非剛體變換包括比例縮放、仿射、投影以及其他非線性變換過程.2)圖像插值,為了估計變換后圖中非網格點的像素值.由于數字圖像是模擬圖像的網格采樣,只有格點處有像素值,而參考圖空間中的格點映射到浮動圖空間中可能不在格點上,為了得到這些浮動圖中非格點處的像素值就有必要進行圖像插值.3)相似性測度計算,作為一種準則用來評價參考圖和插值后得到的圖像匹配的效果,是一個關于幾何變換參數的函數,它直接影響配準效果的好壞.4)函數優化.配準過程可以被歸結為一個優化問題:尋找一幾何變換,使相似函數取得最大值.根據目標函數的特點選擇合適的優化算法和策略,以便準確、高效、快速地得到結果.

相似性測度是醫學圖像配準方法中一個關鍵的步驟,相似性測度用來定量化地衡量兩幅圖像匹配的效果,其目的是尋找一種準則,使兩幅圖像在該準則下達到最佳匹配效果.相似性測度準則可以分為基于特征和基于體素兩大類[13].基于體素的方法是目前研究的常用方法,其中,互信息法[14]近年來得到了學者的普遍重視和廣泛應用,該方法利用了圖像中的所有體素,且不需要對待配準圖像做分割、特征提取等預處理,非常靈活,幾乎可以用于任何不同模式圖像配準.相似性測度直接影響配準效果的好壞,因此相似性測度的研究具有重要意義.本文提出一種基于聯合直方圖的相似性測度,適用于單模圖像(即同一性質傳感器所采集的圖像)剛性配準,相比于最大互信息法,該方法提高了配準的計算速度而不影響配準效果.

1 最大互信息法簡介

最大互信息配準法[15]是利用信息論中的互信息作為匹配的測度來實現圖像配準,它基于以下假設,即當兩幅基于共同的解剖結構的圖像達到最佳配準時,它們的對應像素的灰度互信息應為最大.此方法幾乎可以用于任何模態圖像的配準.Rangarajan等[16]提出了一種利用最大互信息法匹配形狀特征點進行配準的策略;羅述謙等[17]使用基于最大互信息的多模醫學圖像配準方法對CT-MRI和MR-PET 3D全腦數據進行配準,全部達到了亞像素級配準精度,可以臨床應用[17].

互信息可以用熵來描述,熵是用來測量一個信息源所包含信息量的測度,是由Shannon最早提出的.熵表達的是一個系統的復雜性或者不確定性.一幅圖像的熵反映了該圖像中像素灰度的分布情況,灰度級別越多,灰度越分散,熵就越大.圖像的熵定義為:

式中:H(A)為圖A的信息熵,H(A|B)為給定圖B的條件下圖A的條件熵,H(A,B)為圖A和圖B的聯合熵.兩圖的互信息可以用下式描述:

I(A,B)=H(A)+H(B)ˉH(A,B),

I(A,B)=H(A)ˉH(A|B).

最大互信息法一般用聯合概率分布pAB(a,b)和完全獨立時概率分布pA(a),pB(b)間的廣義距離來估計互信息:

對于待配準的兩幅圖像,可以認為它們是關于圖像灰度的兩個隨機變量集參考圖像A和浮動圖像B. a和b是兩幅圖像中相關的像素灰度值,a和b通過圖像A和B之間的坐標變換相聯系,兩幅圖像重疊部分圖像灰度的聯合概率分布pAB(a,b)可以從二維直方圖中獲得.

圖像A的邊緣概率分布pA(a)表示為

待配準的圖像B的邊緣概率分布pB(b)表示為

所以兩幅圖像之間的互信息表示為

在配準過程中需要尋求最佳空間變換使兩幅圖像間的相似性最大,因此相似性測度需要反復大量的調用,互信息的計算涉及了大量的浮點運算,導致計算時間長.式(1)時間復雜度為O(n2×(n+n)),其中n為兩幅圖像的灰度級數,對于灰度圖像,n=255,所以使用最大互信息法對圖像進行配準,每一次計算相似性測度時,至少需要進行255×255×(255+255)次的累加運算.

2 基于聯合直方圖的相似性測度

對于單模態圖像,本文對兩幅圖像的聯合直方圖的定義為:兩幅圖像中對應像素的灰度組合出現的統計概率分布.它在使用顏色信息的同時,還引入了兩幅圖像像素的位置信息.對于數字圖像,其概率密度為:

其中,M為一幅圖像所包含的像素總數;N(m,n)為兩幅圖像中對應像素灰度值分別為m和n的像素總數.橫縱坐標分別表示兩圖像的灰度級,每一個坐標點表示該灰度組合出現的頻率,畫出的概率分布圖稱為兩圖像的聯合直方圖.對于CT掃描圖像序列而言,由于不同相期人體同一位置上的圖像差異很小,如圖1所示,主要差異表現在造影劑流經不同血管呈現出的高亮顯示.當兩圖像配準時,兩圖間背景與背景重合,器官與器官重合,對應位置絕大多數是相同的器官和結構,它們的對應像素灰度值應該是完全相同或者相近的,反映在聯合直方圖上,應該大都集中在對角線附近的區域內;當圖像之間有平移或旋轉時,原來的部分背景-背景像素對就會變成背景-器官像素對,或者變成器官-背景像素對的形式,從聯合直方圖上看,像素對所對應的點遠離對角線區域.圖2分別是各種情況下的兩幅圖像之間的聯合直方圖.從圖中可以明顯看出,隨著平移的增大,直方圖上的點以對角線為中心線,成發散狀分布.對于兩幅完全相同圖像來說,對應位置的像素灰度值完全相同,在聯合直方圖上表現為集中在對角線.當圖像之間有平移或旋轉時,聯合直方圖上的點就會逐漸發散,遠離對角線區域.隨著圖像之間平移或旋轉的增大,兩幅圖像對應像素對的灰度值相差越來越大,聯合直方圖上的點以對角線為中心線,散度越來越大.因此對于配準后的兩幅圖像,可以根據聯合直方圖的以上特點評估配準結果,當圖上大部分點離對角線的距離小于某個閾值時,則認為是圖像配準成功,反之,則認為是配準失敗.

基于以上分析,本文使用的基于聯合直方圖的配準相似性測度如下

在公式(2)中閾值h為圖像中像素取值范圍的10%能獲得較好的效果.

圖1 不同相期人體同一位置上的圖像Fig.1 Different phase images in identical place of body

3 實驗結果

圖2 不同情況的聯合直方圖Fig.2 Joint distribution histogram in different cases

本文將以上基于聯合直方圖的配準方法應用于肝臟CT增強掃描多相期圖像的配準過程.肝臟CT增強掃描技術對于提高病變的檢出率和定性診斷有重要意義.肝臟CT增強掃描檢查方法:患者呈仰臥位并屏氣,身體置于床面中間,兩臂上舉抱頭.先平掃了解患者肝臟的形態、密度、有無出血和鈣化灶.接著將增強掃描造影劑注入患者肝臟動脈,體內掃描范圍從肝臟隔頂至肝下緣,在3個時間段,對患者進行3期增強掃描.增強掃描的動脈期延遲時間為24 s左右,門脈期延遲時間60 s左右,延遲4～10 min即為延遲期掃描.這樣在不同時間段進行掃描獲得的多組圖像稱為多相期圖像.在不同相期中,造影劑流經肝臟內部不同的血管,因此動脈期圖像中肝動脈呈現高亮度顯示,容易從圖像中區分出來,但肝臟內部的其余管道不易區分.而在門脈期圖像中,肝靜脈呈現高亮度顯示.在肝病的診斷中,往往需要同時觀察同一位置肝內不同的管道結構,需要將同一位置的幾幅多期圖像進行對比分析.然而,由于CT多次掃描時的起始位置以及患者在掃描過程中身體位置都可能發生輕微改變,使得肝臟不同相期的掃描圖像序列在空間位置關系上并不是一一對齊的.例如動脈期的第50張圖像在空間位置上未必就對應著門脈期的第50張圖像,它們可能表示肝臟的不同位置.對這些圖像進行配準時,需從某一相期的圖像中選取某一張圖像作為參考圖像,另一個相期的圖像序列作為浮動圖像,配準時,需在浮動圖像序列中找到與其最相似的圖像,同時還需考慮兩幅圖像之間的平移、旋轉,如圖3.目前醫生只能根據主觀經驗來匹配同一位置的不同圖像,這就有可能存在誤差,甚至給診斷分析帶來錯誤.為了將多相期掃描圖像序列對齊,本文對肝臟CT多相期掃描圖像進行配準,讓它們在空間上對齊.

圖3 肝臟CT掃描多相期圖像Fig.3 Liver CT scanning multiphase phase image

按照醫學圖像配準的4個步驟對肝臟CT增強掃描多相期圖像進行配準.在肝臟CT增強掃描過程中,由于要求患者屏氣不動,因此CT圖像可以看作為剛體(即不發生形變),采用剛體變換對圖像進行處理.進行剛性配準時,對浮動圖像進行的坐標變換包括圖像平移變換以及圖像旋轉變換.以x、y、z軸的正方向分別為冠狀軸向右、矢狀軸向后、垂直軸向上建立三維坐標系.考慮到多相期掃描時起始位置以及患者在掃描過程中身體位置都可能存在輕微的改變,因此選擇4個變換參數(pz,px,py,rz),其中pz表示沿z軸方向的平移量,px表示沿x軸方向的平移量,py表示沿y軸方向的平移量,rz表示繞z軸的旋轉角度.采用雙線性圖像插值方法對圖像插值[18],采用本文提出的基于聯合直方圖的方法作為相似性測度,Powell方法作為相似性測度函數優化方法[19-20].

通過圖像配準,多相期圖像在空間上已經對齊,圖4為配準前不同相期相同空間位置(動脈期第47張圖像和靜脈期第47張圖像)的兩幅圖像,從組織器官輪廓可以看出兩幅圖像并未對齊,它們不是同一橫切面上的CT圖像;圖5為配準后相同空間位置的兩幅圖像(動脈期第47張圖像和靜脈期第53張圖像),從組織器官輪廓可以看出兩幅圖像已經基本對齊,表示同一橫切面上的圖像.同時為了客觀地檢驗配準結果,我們求出兩幅圖像的差異圖,通過偽彩色圖的方式直觀的呈現兩幅圖像之間的差異程度.差異圖是將兩幅圖相同位置的像素值相減所得,差值用不同顏色表示,顏色的不同表示差值的大小.在本文中,像素值差為0,表示該點達到匹配,不同的差值用不同的顏色表示,大于70時用同一顏色表示.圖6為配準前后的差異圖,對比色標可以直觀的看出配準前圖像間的差異較大,配準后兩幅圖像差異較小.

圖4 未配準時在同一位置上的肝臟CT掃描圖像對Fig.4 Liver CT scanning image pair in identical place before registration

我們對10組不同病人的肝臟CT增強掃描多相期圖像進行配準,圖像數據來源于廈門中山醫院臨床病例以及美國國家癌癥研究所癌癥成像計劃TCIA項目數據庫.實驗求出配準前后的圖像對之間的相關系數,如表1所示.圖像之間的相關系數rcc[22]為rcc=,其中M為像素總個數,rˉ和cˉ為兩副圖像像素點平均灰度值,當rcc越大兩幅圖像相關程度越高,為1時配準效果最好,為0時最差.實驗結果表明配準后圖像對之間的相關系數均大于未配準前,說明配準后兩幅圖像相似度較高.此外,我們還采用常用的最大互信息配準法對這10組圖像進行配準,與本文的方法進行對比.實驗結果表明,本文提出的方法在運行速度上大大優于使用最大互信息法的代價函數,比最大互信息法快約4～5倍,見表2.實驗結果表明采用兩種方法由動脈期圖像配準得到相對應的靜脈期圖像是一樣的,并比較了兩種方法得到的配準參數以及配準參數的歐氏距離[23],見表3.配準參數的歐氏距離是指兩種方法所得對應配準參數值相減后的平方和的方根,歐氏距離越小則兩者配準參數越接近.結果表明本文采用的配準方法得到的配準參數與使用最大互信息法得到的參數是大致相同的.在像素級別上(參數的整數取值),兩種方法效果一致.因配準參數達到像素級已可以滿足大部分臨床實際需求,可以認為本文方法不影響配準結果,取得與最大互信息法一致的效果.本文提出的方法,其速度優于常用的最大互信息法,且不影響配準效果.

圖5 配準后的肝臟CT掃描圖像對Fig.5 Liver CT scanning image pair after registration

表1 配準前后的圖像之間的相關系數Tab.1 Cross correlation of images before registration and after registration

表2 相似性測度耗費時間Tab.2 The cost time of similarity metric

圖6 配準前后的圖像差異Fig.6 The image differences after registration

表3 兩種不同方法獲得的參數Tab.3 The parameters of two different methods

4 結 論

本文在分析圖像聯合直方圖的基礎上,提出一種基于聯合直方圖的相似性測度,適用于單模圖像剛性配準.實驗結果表明,采用該測度進行配準時計算量小,配準速度快,并且不影響實驗效果.該方法還適用于其他模態圖像的剛性配準過程,具有適用面寬的優點.對于一些復雜情況,如圖像中存在噪聲大、肝臟器官存在變異等,即算法的通用性和魯棒性上,還需要驗證研究,我們將在后續的工作研究中進一步改進.

[1] 羅述謙.醫學圖像配準技術[J].國外醫學生物醫學工程分冊,1999,22(1):1-7.

[2] 黃曉陽,王博亮,吳志堅.快速坐標變換方法及其在圖像配準中的應用[J].中國數字醫學,2009,4(1)19-21.

[3] Porter B C,Rubens D J,Strang J G,et al.Three dimensional registration and fusion of ultrasound and MRI using major vessels as fiducial markers[J].IEEE Transactions on Medical Imaging,2001,20(4):354-359.

[4] Ding L,Goshtasby A,Satter M.Volume image registration by template matching[J].Image and Vision Computing,2001,19(12):821-832.

[5] 吳鋒,錢宗才,杭洽時,等.基于輪廓的力矩主軸法在醫學圖像配準中的應用[J].第四軍醫大學學報,2001,22(6): 567-569.

[6] Vola P,Wells III W M.Alignment by maximization of mutual information[J].International Journal of Computer Vision,1997,24(2):137-154

[7] Liu J,Vemuri B C,Marroquin J L.Local frequency representations for robust multimodal image registration[J]. IEEE Transactions on Medical Imaging,2002,21(5):462-469.

[8] Wollny G,Kruggel F.Computional cost of nonrigid registration algorithms based on fluid dynamics[J].IEEETransactions on Medical Imaging,2002,21(8):946-952.

[9] Stone H S,Orchard M T,Chang E C,et al.A fast direct fourier-based algorithm for subpixel registration of images[J].IEEE Transactions on Geoscience and Remote Sensing,2001,39(10):2235-2241.

[10] Venaz P T,Ruttimann U E,Unser M.A pyramid approach to subpixel registration based on intensity[J]. IEEE Transactions on Image Processing,1998,7(1): 27-39.

[11] Huang X Y,Wang B L,Liu R H.CT-MR image registration in liver treatment by maximization of mutual information[C]∥Proceedings of 2008 IEEE International Symposium on IT in Medicine&Education.Xiamen,China:IEEE,2008:715-718.

[12] 周永新,羅述謙.基于形狀特征點最大互信息的醫學圖象配準[J].計算機輔助設計與圖形學學報,2002,14 (7):654-658.

[13] Luo S Q,Li X.Implementation of mutual information based multi-modality medical image registration[C]∥Engineering in Medicine and Biology Society.Proceedings of the 22nd Annual International Conference of the IEEE.Chicago,USA:The Institute of Electrical and E-lectronics Engineers Inc,2000:1447-1450.

[14] 黃曉陽.人眼組織切片圖像的配準、三維重建的研究與實現[D].廈門:廈門大學,2003.

[15] Huang X Y,Wang B L,Huang S H,et al.Registration of different phases of contrast-enhanced liver CT data [J].International Conference on Bioinformatics and Biomedical Engineering,2007(2):786-789.

[16] Rangarajan A,Chui H L,Duncan J S.Rigid point feature registration using mutual information[J].Medical Image Analysis,1999,3(4):425-440.

[17] 羅述謙,李響.基于最大互信息的多模醫學圖象配準[J].中國圖象圖形學報,2000,5(7):551-558.

[18] Lehmann T M,Gonner C,Spitzer K.Survey:interpolation methods in medical image processing[J].IEEE Transactions on Medical Imaging,1999,18(11): 1049-1075.

[19] Maes F,Vandermeulen D,Suetens P.Comparative evaluation of multiresolution optimization strategies for multimodality image registration by maximization of mutual information[J].Medical Image Analysis,1999,3(4): 373-386.

[20] Dorigo M,Maniezzo V,Colorni A.Ant system:optimization by a colony of cooperating agents[J].IEEE Trans on Systems,Man,and Cybernetic:Part B,1996,26(1): 29-41.

[21] Penney G P,Weese J,Little J A,et al.A comparison of similarity measures for use in 2-D-3-D medical image registration[J].IEEE Transactions on Medical Imaging, 1998,17(4):586-595.

[22] 蘇和.基于形狀信息的醫學圖像配準研究[D].上海:上海交通大學,2008.

[23] 勒中鑫.數字圖像信息處理[M].北京:國防工業出版社,2003.

A Rigid Registration Method Based on Joint Distribution Histogram and Its Application on Liver CT Images

ZHOU Bin1,SONG Xiao2,HUANG Xiao-yang1,WANG Bo-liang1
(1.School of Information Science and Engineering,Xiamen University,Xiamen 361005,China; 2.College of Computer and Information Technology,Nanyang Normal University,Nanyang 473061,China)

:As a principle to evaluate the matching effect between target image and transformed image,the similarity metric,which is a critical step in the image registration,will affect registration results directly.In the analysis of the joint distribution histogram of images,a similarity metric based on joint distribution histogram is proposed for speeding up the computation without impacting registration results.Applied to live CT enhanced scanning multiphase images registration,as experimental results show,the proposed method computes faster than the commonly-used maximized mutual information method and does not affect matching effects the registration results are identical.

image registration;similarity metric;joint distribution histogram

TP 391

A

0438-0479(2015)03-0397-07

10.6043/j.issn.0438-0479.2015.03.019

2014-06-12 錄用日期:2014-10-17

國家自然科學基金(61102137,61271336,61327001)

*通信作者:xyhuang@xmu.edu.cn

周斌,宋曉,黃曉陽,等.聯合直方圖的剛性配準方法及其在肝臟CT圖像配準中的應用[J].廈門大學學報:自然科學

版,2015,54(3):397-403.

:Zhou Bin,Song Xiao,Huang Xiaoyang,et al.A rigid registration method based on joint distribution histogram and its

application on liver CT images[J].Journal of Xiamen University:Natural Science,2015,54(3):397-403.(in Chinese)