序列血管內超聲圖像的管腔內膜自動分割算法

汪友生，王雨婷，夏章濤，葉紅梅

?

序列血管內超聲圖像的管腔內膜自動分割算法

汪友生，王雨婷，夏章濤，葉紅梅

(北京工業大學信息學部信息與通信工程學院，北京 100124)

針對序列血管內超聲(IVUS)圖像相鄰兩幀具有很大相似性的特點，提出一種基于序列IVUS圖像配準的自動提取管腔內膜的方法。首先利用形態學運算以及連通分量法提取初始幀的大致管腔內膜邊緣，然后采用前景和背景像素的顏色直方圖特征對相鄰兩幀圖像進行建模并進行配準：利用巴氏系數度量相鄰兩幀圖像之間的相似性，建立仿射變換模型，優化模型并計算模型參數，從而將輪廓相對準確地定位到管腔內膜附近；最后通過變分法、最速上升法使目標輪廓曲線準確地收斂到管腔內膜處。以經驗醫師提取的管腔內膜作為評價標準，分別與文獻[17]和[4]相比，該方法的均方根誤差分別平均減少了0.124和0.063，相對差異度上分別平均減少了0.51%和0.16%。實驗結果證明，該方法可以準確地提取到序列IVUS圖像的管腔內膜。

血管內超聲圖像；圖像分割；圖像配準；仿射變換；管腔內膜

由于人們不健康的飲食習慣，大量的斑塊會附著在血管壁上，如果不及時處理，可能會阻塞血管，阻止血液流動；如果心肌供氧減少，將會突發心臟病，從而危及生命。血管內超聲(intravascular ultrasound image，IVUS)對管腔內膜和中外膜可進行分割，并能夠定位感興趣區域，是后續斑塊提取與識別、彈性分析、三維重建、圖像配準工作的基礎，提取管腔內膜和中外膜的準確性直接影響到后續工作的成效。因此，IVUS管腔內膜的分割是一項重要的醫學處理技術，傳統的分割方式是醫生手動分割，不僅效率低而且帶有很強的主觀性，之后很多分割管腔內膜的方法被提出。基于聚類算法的分割是提取IVUS圖像管腔內膜的一種方法，文獻[1]將模糊聚類算法應用到提取管腔內膜中，但是其模糊聚類的簇是先驗的，不合理的取值可能會導致不良的結果；基于血管解剖和感興趣區域先驗知識的圖搜索方法[2]進行邊界檢測，其效率依賴于提供全面的冠狀動脈先驗知識；動態規劃算法[3]也被用于研究IVUS的分割；文獻[4]對于管腔內膜采用圖像梯度與模糊連通模型相結合的方法進行分割；文獻[5]采用人工神經網絡(artificial neutral network，ANN)方法作為特征學習算法對IVUS管腔內膜進行檢測。除了上述方法，最常用的是采用主動輪廓模型的算法提取邊緣，包括基于參數的主動輪廓模型，即Snake算法和幾何主動輪廓模型以及各種改進型算法。如文獻[6]應用短時自相關性計算輪廓像素，進而求得圖像特征，并用其來定義活動輪廓的能量函數，通過對Snake算法的改進，相對準確地提取出了內膜邊界；文獻[7]考慮到分割圖像為近似圓形的特點，在Snake算法的外部能量中引入了圓形約束的能量項，克服了由于圖像灰度不均而導致的局部極小。幾何主動輪廓模型用水平集函數的零水平集來表示輪廓曲線，按能量泛函的類型可以分為基于邊緣的和基于區域的，前者利用圖像梯度來引導水平集函數的演化，該方法對圖像噪聲和弱邊緣很敏感；為了克服這些局限，后者利用全局或者區域信息引導水平集函數的演化。文獻[8]首先提出基于區域的C-V模型，利用輪廓曲線內外的灰度平均值，能有效地對目標進行分割；文獻[9]將局域化思想應用于多通道水平集分割，充分利用圖像灰度信息和紋理信息，得到了較好的分割效果。

在針對IVUS邊緣提取的各種方法中，大部分都是采用Snake模型(以弧長等參數顯式地表達)或者是采用幾何主動輪廓模型(用水平集函數的零水平集表達輪廓曲線)，而幾何主動輪廓模型是基于邊緣或者區域建立能量泛函，然后最小化能量泛函使輪廓曲線在自身內力和圖像信息外力下發生形變，最后能量達到最小時實現目標和背景的分割。這些方法僅僅是利用單幀圖像的灰度或紋理等特征信息來提取邊緣，而IVUS序列圖像相鄰兩幀之間的相關系數非常高，所以本文提出一種基于序列IVUS圖像配準算法的內膜分割方法，包括：①為了避免醫生手動分割的主觀性，使用閾值分割、開閉運算以及連通分量法提取初始幀的大致管腔內膜輪廓邊緣；②由于水平集函數能夠有效地解決曲線的拓撲變化問題，所以本文使用水平集函數表示目標區域。針對序列IVUS圖像相鄰兩幀相似性大的特點，利用顏色直方圖進行建模，計算相似性度量，建立仿射變換模型；按照最大相關性原則，在后一幀圖像中找到一個區域的前景和背景特征，能夠分別最佳匹配前一幀圖像的前景和背景特征，進而得到相對準確的內膜；最后通過變分法、最速上降法求解得到相似性最大時零水平集的位置，從而得到準確的管腔內膜。

1 IVUS圖像初始輪廓的獲取

本文利用圖像灰度信息以及形態學方法[10]獲取IVUS圖像管腔內膜的初始輪廓(圖1)，由于管腔膜內側為血液散射噪聲，像素灰度較暗，所以先進行直方圖均衡處理，提取過程如下：

(1) 對IVUS圖像進行直方圖均衡化；

(2) 用IVUS圖像外膜輪廓線對圖像進行分割，得到血管腔部分，并使用大津閾值進行圖像二值化分割；

(3) 對二值化后的圖像進行腐蝕膨脹，采用參數為3×3的長方形數據元素；

(4) 采用形態學閉運算填充細小孔洞，連接管腔內膜斷裂部分；

(5) 使用連通分量法找到二值圖像中面積最大的區域，得到初始輪廓。

圖1 管腔內膜初始輪廓圖像

2 IVUS目標模型的表示

2.1 目標參考模型

IVUS圖像由于內邊緣內側為血液散射噪聲，像素灰度較暗，與外部的顏色差異較為明顯，所以本文選擇IVUS圖像像素的顏色直方圖特征，計算相鄰兩幀圖像的相似性度量。顏色直方圖[11]具有旋轉不變性和縮放不變性、計算復雜性低等優點。

計算相鄰兩幀圖像的歸一化直方圖，并計算其相關系數。表1是相鄰兩幀之間的相關性系數，由此可以看出IVUS圖像序列之間具有很大的相似性。

表1 相鄰兩幀之間的相關性系數

計算歸一化直方圖，即

其中，為目標的特征空間；為目標特征的數量；前景部分特征為；背景部分特征為。

其中，為Kronecker Delta函數；歸一化常數n和n為前景和背景區域像素的個數。

2.2 候選目標模型

其中，為區域像素的個數；Heaviside函數(·)用來選擇前景區域；1–(·)用來選擇背景區域；歸一化因子A，A計算如下

3 基于序列IVUS圖像配準的分割

3.1 配準

血管內超聲診斷儀的導管探頭在取像的過程中，其探頭傳感器與檢測的目標區域存在距離、方向等的變化，再加上噪聲的影響，使得到的序列與IVUS圖像之間不能保證一成不變。本文將IVUS圖像相鄰兩幀的運動建模為仿射變換[13]，并以仿射參數增量為待定量，建立起目標參考模型與候選目標模型之間的相似性度量。使用Bhattacharyya(巴氏)相似性度量[14]，當前一幀的目標模型和后一幀候選目標模型之間的巴氏系數越大，說明兩者就越相似，定義相似性度量函數為

其中，加入背景模型能夠減弱目標模型和候選目標模型中背景信息的影響，從而使得目標位置定位更加準確[15]，并對式(9)進行變形處理。

定義Φ0為當前幀中目標的初始位置，從該位置開始尋找最優匹配的目標。假設Φ (Φ>–)是目標的下一個位置，且與Φ0的位置較為接近，先計算在初始位置的目標候選模型p(Φ0)和v(Φ0)，然后在p(Φ0)和v(Φ0)處對式(9)進行泰勒展開，即

將式(5)，(6)代入式(10)得

其中，

(17)

其中，

所以得到

3.2 分割

設(x,y)是像素x的空間坐標，對式(24)進行離散化和線性化

可將式(25)寫成

式(26)的收斂要滿足CFL條件[16]，即

整個提取IVUS圖像管腔內膜算法的流程圖如圖2所示。

4 實驗與結果

圖2 本文算法流程圖

實驗1.針對單幀圖像提取管腔內膜的過程，如圖3所示。任選一幀IVUS圖像，提取過程包括初始輪廓位置、配準的迭代過程以及最終的分割結果。從圖3中可以看出，隨著算法迭代次數的增加，邊緣線逐漸逼近真實管腔內膜，最后得到準確的結果。

圖3 提取過程效果圖

實驗2. 從IVUS圖像數據庫中隨機選擇連續的50幀圖像，由于篇幅原因，本文只展示了9幀圖像的結果(圖4)。

從圖4可以看出，本文方法能夠準確地得到序列IVUS圖像的管腔內膜。

實驗3.對比實驗。為證明本文算法提取管腔內膜的準確性與時效性，分別與文獻[17]和[4]中的方法(兩種方法分別是在經典水平集算法上改進的算法和另外一種效果比較好的算法)進行對比，并展示對比效果圖，還將本文方法與文獻中的方法與經驗醫師手動提取的邊緣作對比，從均方根誤差(root mean squared error，RMSE)[18]和相對差異度(relative difference degree，RDD)[19]2個指數進行定量分析。

圖4 連續9幀IVUS圖像管腔內膜提取效果

(1) 本文方法與文獻[17]的方法進行對比。文獻[17]在提取管腔內膜方面采用的是改進的CV水平集模型，通過構造新的速度項并結合窄帶法思想對IVUS圖像管腔內膜進行提取。

(2) 本文方法與文獻[4]的方法進行對比。文獻[4]結合圖像梯度與模糊連接度模型提取管腔內膜，實驗中先將IVUS圖像從直角坐標系轉換為極坐標系，然后對管腔進行分割，最后再轉換為直坐標系顯示結果圖像。

為了更加客觀地對比各種提取方法，本實驗從均方根誤差和相對差異度2個方面進行對比。選用有經驗的醫師手動提取的IVUS圖像管腔內膜作為評價標準。

均方根定義為

相對差異度定義為

其中，S為由評價標準計算得到的輪廓區域面積；S為由某算法得到的輪廓區域面積。

從圖5、表2和表3中可以看出，與參考文獻算法相比，本文方法更逼近評價標準。文獻[17]的算法在管腔內膜輪廓比較清晰的情況下能夠取得較好的結果，但是邊緣一旦模糊，效果不好；文獻[4]能夠取得相對準確的分割結果，但是輪廓線不夠平滑。通過定量比較，可知本文方法有良好地分割結果，與文獻[17]相比，本文方法的均方根誤差平均減少了0.124，相對差異度上也平均減少了0.51%；與文獻[4]相比，本文方法的均方根誤差平均減少了0.063，相對差異度上也平均減少了0.16%。實驗結果表明，本文方法能夠相對準確地得到IVUS圖像管腔內膜。

圖5 4幀IVUS圖像管腔內膜分割

(a(1)~(4)是原圖像；b (1)~(4)是文獻[17]分割結果；c (1)~(4)是文獻[4]分割結果； d (1)~(4)是本文分割結果；e (1)~(4)是醫師手動分割結果)

表3 IVUS圖像管腔內膜分割效果RDD定量比較(%)

5 結 論

本文對IVUS圖像的基本特征進行了分析，提出了一種全自動分割序列IVUS圖像管腔內膜的方法。首先，利用閾值分割、開閉運算以及連通分量法提取初始幀的大致管腔內膜輪廓邊緣；然后通過計算相鄰兩幀圖像之間的相似性度量，進行圖像匹配，不斷確定前一幀圖像選定的感興趣區域在后一幀圖像上的位置，得到相對準確的管腔內膜；最后為了得到更為精確的結果，通過變分法、最速上升法使目標輪廓曲線準確地收斂到IVUS圖像的管腔內膜處。本文方法的特點：第一，整個提取管腔內膜的過程是全自動的，減少了由于人為操作造成的主觀性影響；第二，充分利用序列圖像前后幀的相關性特點，增加了管腔內膜提取的準確性，同時，在較短的時間內能夠提取出連續的若干幀圖像的管腔內膜。實驗結果驗證了本文方法的有效性。

[1] DOS S E, YOSHIZAWA M, TANAKA A, et al. Detection of luminal contour using fuzzy clustering and mathematical morphology in intravascular ultrasound images [C]//2005, 27th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. New York: IEEE Press, 2005: 3471-3474.

[2] SUN S, SONKA M, BEICHEL R R. Graph-based IVUS segmentation with efficient computer-aided refinement [J]. IEEE Transactions on Medical Imaging, 2013, 32(8): 1536-1549.

[3] 曲懷敬, 孫豐榮, 張運楚, 等. 一種IVUS序列圖像內外膜邊緣的自動提取方法[J]. 山東大學學報: 工學版, 2011, 41(2): 5-11.

[4] YAN J Y, LV D, CUI Y Y. A novel segmentation approach for intravascular ultrasound images [J]. Journal of Medical & Biological Engineering, 2017, 37(4): 1-9.

[5] SU S R, HU Z H, LIN Q, et al. An artificial neural network method for lumen and media-adventitia border detection in IVUS [J]. Computerized Medical Imaging & Graphics the Official Journal of the Computerized Medical Imaging Society, 2016, 57: 29.

[6] VARD A, JAMSHIDI K, MOVAHHEDINIA N. An automated approach for segmentation of intravascular ultrasound images based on parametric active contour models [J]. Australasian Physical & Engineering Sciences in Medicine, 2012, 35(2): 135-150.

[7] 劉利雄, 馬忠梅, 趙恒博, 等. 一種基于主動輪廓模型的心臟核磁共振圖像分割方法[J]. 計算機學報, 2012, 35(1): 146-153.

[8] CHAN T, VESE L. Active contours without edges [J]. IEEE Transactions on Image Processing, 2001, 10(2): 266-277.

[9] 張立和, 朱莉莉, 米曉莉. 結合Gabor紋理特征的局域化多通道水平集分割方法[J]. 電子學報, 2011, 39(7): 1569-1574.

[10] SOFIAN H, THAN J C M, NOOR N M, et al. Segmentation and detection of media adventitia coronary artery boundary in medical imaging intravascular ultrasound using otsu thresholding [C]// 2015 International Conference on BioSignal Analysis, Processing and Systems (ICBAPS 2015). New York: IEEE Press, 2005: 72-76.

[11] 袁廣林, 薛模根, 謝愷, 等. 多顏色直方圖自適應組合Mean Shift跟蹤[J]. 中國圖象圖形學報, 2011, 16(10): 1832-1840.

[12] NING J, ZHANG L, ZHANG D, et al. Robust mean-shift tracking with corrected background-weighted histogram [J]. IET Computer Vision, 2012, 6(1): 62-69.

[13] BAKER S, MATTHEWS I. Lucas-kanade 20 years on: A unifying framework [J]. International Journal of Computer Vision, 2004, 56(3): 221-255.

[14] NING J F, ZHANG L, ZHANG D, et al. Joint registration and active contour segmentation for object tracking [J]. IEEE Transactions on Circuits & Systems for Video Technology, 2013, 23(9): 1589-1597.

[15] TSAGKATAKIS G, SAVAKIS A. Online distance metric learning for object tracking [J]. IEEE Transactions on Circuits and Systems for Video Technology, 2011, 21(12): 1810-1821.

[16] 張彬, 劉小民. 一種保持界面位置不動的水平集函數隱式重新初始化方法[J]. 計算物理, 2011, 28(5): 667-676.

[17] 王志東. 基于血管內超聲圖像的分割算法研究[D]. 北京: 北京工業大學, 2014.

[18] DE CLERCQ E M, DE WULF R. Estimating fuzzy membership function based on RMSE for the positional accuracy of historical maps [C]//2015 8th International Workshop on the Analysis of Multitemporal Remote Sensing Images (Multi-Temp 2015). New York: IEEE Press, 2007: 18-20.

[19] 許劍鋒, 顧力栩. 基于射線距離誤差的三維醫學圖像分割的新型評價方法[J].生物醫學工程學雜志, 2007, 24(4): 742-747.

Automatic Segmentation Algorithm of Lumen in Sequence IVUS Images

WANG You-sheng, WANG Yu-ting, XIA Zhang-tao, YE Hong-mei

(College of Information and Communication Engineering, Information Department, Beijing University of Technology, Beijing 100124, China)

For the sequence intravascular ultrasound (IVUS) images, there are great similarities between two adjacent frames, and a new method based on sequential IVUS image registration for automatic extraction of lumen is proposed. Firstly, in order to realize the automation of extraction process, the morphological operation and the connected component method are used to extract the approximate lumen contour of the initial frame. Secondly, the target region, which includes both foreground and background pixels, is implicitly represented by a level set. The color histogram feature of target region foreground pixels and background pixels are modeled on two adjacent frames because of its merits such as independence of scaling and rotation, robustness to partial occlusions, low computational cost, etc. The Bhattacharyya coefficient measures the similarity between two adjacent frames. The higher the Bhattacharyya coefficient between target model and candidate target model is, the higher the similarity between them is. By establishing affine transformation model, the contour is more accurately located near the lumen. Finally, the segmentation procedure refines the affine transformation estimated in the registration stage, and computes the target’s true shape accurately. The target contour curve is accurately converged to the lumen of the IVUS image by the variational method and the steepest ascent method. Compared with the literature [17], the RMSE of this method is reduced by 0.124 on average, and the RDD is reduced by 0.51% on average. Compared with literature [4], the RMSE of this method is reduced by 0.063 on average, and the RDD is reduced on average by 0.16%. The experimental results show that the method can accurately extract the lumen of several consecutive frame IVUS images.

intravascular ultrasound image (IVUS); image segmentation; image registration; affine transformation; lumen

TP 391

10.11996/JG.j.2095-302X.2019010173

A

2095-302X(2019)01-0173-08

2018-05-14；

2018-09-11

汪友生(1965-)，男，安徽安慶人，副教授，博士，碩士生導師。主要研究方向為圖像處理、模式識別等。E-mail：wangyousheng@bjut.edu.cn