深度學習算法在頸動脈超聲圖像斑塊分割中的應用研究

沈沖沖 周小安 安相靜 熊煜 吳濤

摘?要：近年來，隨著計算機技術的進步和數據集的大規模化，越來越多的人把計算機視覺技術應用到超聲醫學圖像中。但在超聲圖像方面卻存在低準確度且不穩定產生的模糊、偽影等使現有算法對模糊、噪聲圖像誤判較高。另外由于病例過多，人為的去檢測和識別斑塊過于繁瑣。為了緩解這些問題，提出了采用inception的網絡結構方法快速準確地獲取高噪聲的超聲圖像的關鍵特征，并通過數據增強和自適應中值濾波的方法確保了分割的穩定性。最后得到的頸動脈分割圖像，更有利于醫生去觀察和判斷病變體的嚴重程度，給醫護人員帶來了巨大的便利，實驗結果表明，本文的方法具有實用意義。

關鍵詞： 頸動脈超聲圖像;分割;inception;濾波

文章編號： 2095-2163（2021）01-0084-05 中圖分類號：TP391 文獻標志碼：A

【Abstract】In recent years， with the advancement of computer technology and the large-scale data set， more and more people apply computer vision technology to ultrasound medical images. However， there are low accuracy and unstable blurs and artifacts in ultrasound images， which make existing algorithms misjudge blur and noise images higher. In addition， due to too many cases， it is too cumbersome to manually detect and identify plaques. In order to alleviate these problems， inception's network structure method is proposed to quickly and accurately obtain the key features of high-noise ultrasound images， and the stability of segmentation is ensured through data enhancement and adaptive median filtering. The final carotid artery segmentation image is more conducive to doctors to observe and judge the severity of the lesion， and it brings great convenience to medical staff. The experimental results show that the method in this paper has practical significance.

【Key words】carotid artery ultrasound image; segmentation; inception; filtering

1 概?述

事實上，頸部動脈斑塊是頸部動脈粥樣硬化的典型癥狀，一般會在頸部的動脈分叉處出現。目前醫學界認為，其出現與缺血性腦卒中疾病密切相關。當頸動脈斑塊或硬化出現時，血管內壁的內中膜結構增厚后，一開始會導致頸動脈管腔明顯狹窄或閉塞。當內中膜厚度[1]（Intima-Media Thickness，IMT）增大到一定程度，頸動脈內徑變窄造成顱內流血消減，導致血管灌注區域內的壓力減小血液流速變緩、血液的粘稠度增大，最后造成腦部區域供血量減少。隨著斑塊出現脫落，血液中形成的血小板和纖維素等成分會發生黏附、堆積現象，進而形成了血栓，造成遠端動脈出現阻塞。這會使通往大腦的血液變少，從而引發大腦缺血、缺氧疾病，即血性腦卒中，也就是人們經常說的腦梗死[2]。因此對心腦血管疾病等高危險人群進行早期準備檢測和跟蹤可以對患者采取預防性（調整飲食作息習慣），治療性（使用藥物降脂治療）等措施進行治療。

研究表明，頸動脈的IMT可以作為心機梗死和腦卒中預測指標，斑塊的總面積對斑塊的變化也非常敏感，因此醫生可以根據斑塊的面積來檢測斑塊的變化。通常情況下，頸動脈斑塊的分割都是由醫學專家手動完成的，可是手動進行分割比較耗時，并且分割效果多會依賴操作者的臨床經驗。早期學者通過研究圖像處理方法中圖像分割等傳統算法嘗試去應用到醫學斑塊分割中，并提出了一些能夠解決頸動脈斑塊分割的有效方法，其中部分方法盡管不是完全自動的，但是開啟了研究頸動脈斑塊分割的熱潮，使越來越多的人開始研究這個領域，并取得了相當不錯的效果。例如文獻[3-6]的研究中認為頸動脈超聲圖像是被圖像采集噪聲或半點噪聲破壞的普通高頻圖像，并且可能具有波干擾，為了濾除采集噪聲，一種解決方案是在分割之前對圖像進行平滑處理。在這種情況下，文獻[7]開發出了一種采用預處理的技術，通過采用中值濾波消除斑點噪聲。為了衰減噪聲信號并保留邊緣信息，文獻[8]采用了一種方法，結合了有效的主動輪廓分割來分割頸動脈超聲圖像，使用各向異性擴散濾鏡對圖像進行預處理以降低噪聲。Golemati等人[9]提出了一種基于霍夫變換分割頸動脈超聲圖像。但是由于頸動脈彎曲特性，霍夫變換可能不適合分割頸動脈斑塊。Loizou等人[10]提出了一種基于snake模型的頸動脈圖像綜合分割方案。但是該方法中涉及人工初始化snake，這可能導致錯誤的結果。Destrempes等人[11]使用3個Nakagami分布的組合來模擬頸動脈超聲圖像中目標區域的回聲性，該圖像包含斑塊、血管腔和動脈壁外模，需要對圖像的第一幀進行手動分割。Athanasiou等人[12]也提出一種基于K均值聚類的全自動分割方法。本文采用實例分割領域的Mask-RCNN[13]算法作為頸動脈斑塊硬化自動化分割模型，該方法無需人工參與、實現了全自動的斑塊分割，并在網絡層中使用inception、resnet50網絡進行對比，實驗結果表明，采用inception具有較高的分割準確性，而且訓練收

斂更快，有效避免了過擬合發生的風險。

2 相關工作

2.1 圖像預處理

一般來說，輸入的原始圖像含有復雜的噪聲，所以在進行圖像分割之前需要進行去噪預處理。本文中用到的超聲圖像就包含了大量的噪聲信息。因此，進行圖像的預處理是必不可少的一步。采用自適應中值濾波進行去噪處理，流程如圖1所示。其中，Rxy表示以（x，y）為中心的濾波器覆蓋的范圍，Gmin、Gmax、Gmiddle分別表示覆蓋范圍中的最小灰度值、最大灰度值和平均灰度值，Gxy表示（x，y）處像素點的灰度值，Rmax表示設定的最大濾波覆蓋范圍。

2.2 頸動脈超聲圖像采集

本實驗使用的頸動脈超聲圖像主要來源于甲級醫院放射科診斷室的患者。一共包含284位不同病人頸部的568張超聲圖像，其中每個人有2條頸動脈。圖像分辨率大小為1024×768。圖像標注由多位經驗豐富的超聲科醫生完成。由于噪聲等因素的存在導致部分圖像手動去分割比較困難，所以通過篩選，最終留下了523張超聲圖像用于實驗研究。經過標注的數據通過VOE（volumetric overlap error）系數的計算來選定可信度最高的那組數據作為實驗金標準。VOE的公式如下：

其中，VDr.x表示由醫生x標注的分割結果，VDr.y表示醫生y標注的分割結果。

將每位醫生的標注結果與其他幾位醫生的標注結果進行VOE系數運算，最后選用的是VOE均值最低的那組數據作為用于模型訓練的標簽。圖像如圖2所示。

2.3 頸動脈斑塊的人工分割

對于深度學習分割算法來說，首先要確定用于訓練和測試的標準，對自動分割的結果進行評價，必須以人工分割的結果為基準。因此，對這些分割結果的可靠性進行評價是很有必要的。數據交由2位專業的超聲影像診斷醫生助理將對568張頸動脈超聲圖像中的斑塊進行手動分割，且兩人均對彼此的分割結果并不可見。為了達到更為可靠的評估標準，后期還會隨機抽取其中50張頸動脈超聲圖像并找其他2位有著多年工作經驗的醫師，再次進行手動分割，通過計算這些分割結果中斑塊的差異并取平均，這些手工分割的結果就是本次研究中模型訓練的標簽。

2.4 數據增強

為了更好地降低訓練誤差和泛化誤差，并優化目標使其達到最終想要的模型損失收斂到最佳位置，本次研究可以采用數據增強。而且，如果數據量少且參數多也極易導致欠擬合現象。常見的數據增強手段主要包括翻轉、縮放、旋轉、裁剪、變色、對比度增強等操作。

因為本實驗的超聲圖像雖然是彩色的3通道圖像，但由于實際圖像3個通道顏色一樣。另外，裁剪可能造成原圖像目標丟失，所以在本實驗中，只是采用旋轉（旋轉90°）、翻轉、縮放（放大1.2倍）變換來增加訓練數據的數量。經過數據增強后的新數據為4 184張超聲圖像。

3 實驗方法

本實驗基礎網絡采用resnet50、inception_v3并結合RPN，分別用于超聲圖像的特征提取，使用RELU作為激活函數。采用數據增強之后的數據集用于訓練和預測，并對實驗結果進行比較。

3.1 inception_3

inception塊的網絡實現的關鍵就是找到某些密集成分，來擬合網絡的局部稀疏結構，為了做到這一點，網絡去除了全連接層，并在整體上體現了聚類的思維，這樣做增加了網絡的寬度，同時增加了網絡對多尺度的適應性。inception_v3網絡結構又進行了改進，主要有2個方面：將一個較大的二維卷積拆分成2個較小的一維卷積，比如將7×7的網絡拆分成1×7卷積和7×1卷積，將3×3卷積拆分成1×3卷積和3×1卷積，這可以節省大量參數，減小內存開銷，出現網絡過擬合的可能性也隨之降低。同時也增加了一層非線性擴展模型的表達能力。另一方面，inception_v3優化了inception塊的結構，但是這些inception塊只在后部出現，前部還是普通的卷積層。并且inception_v3還在分支中使用了分支，可以說是網絡中的網絡（NiN）。

3.2 網絡結構

將經過濾波去噪處理后的數據送入設定好的網絡進行訓練。網絡結構示意圖如圖3所示。網絡Backbone分別采用inception_v3。

3.3 損失函數

在訓練期間，將每個采樣的ROI上的多任務損失定義為：

掩碼分支對于每個ROI具有km2維輸出，其編碼分辨率為m×m的k個二進制掩碼，每個k類對應一個。為此，使用每像素sigmoid，并將Lmask定義為平均二元交叉熵損失。對于與真實類k相關聯的ROI，Lmask僅在第k個掩碼上定義，因此其他掩碼輸出不會導致損失。

3.4 評價指標

對于二分類問題，混沌矩陣是常用的評價指標模型。為了避免受到主觀因素的影響，使評價結果更具真實性和可靠性，當對本文基于深度學習算法在頸動脈超聲圖像中效果進行評估時，也可以采用常規的評價指標，詳見表1。其中，TP表示真正例樣本的數量，FP表示假正例樣本的數量，TN表示真反例樣本的數量，FN表示假反例樣本的數量。根據混淆矩陣可以得到目標的準確率、精確度、召回率等評價指標。參照表1則可計算得到目標的精確度和召回率，具體如下：

其中，Precision是在識別出來的圖片中，True positives所占的比率，Recall是測試集的所有正樣本中，被正確識別為正樣本的比例。AP就是在一定閾值下Precision-recall曲線所包含的面積，可以估算為：

通常AP值越高，分類效果越好。對每個類別AP值的和求均值，就得到mAP值，Precision 和Recall 在 0-1 之間，故 mAP 的大小也在[0，1]區間內。本實驗采用AP和準確率作為模型評價工具。

4 實驗結果分析

本實驗使用inception_v3、resnet50作為模型，進行對比實驗，將前面介紹的經過預處理和數據增強之后的超聲圖像用于網絡模型的訓練，研究中采用留出法對網絡分別進行訓練、驗證和測試，其中，85%圖像用于訓練，5%用于驗證，10%用于預測。模型訓練的硬件環境為Intel Core i7搭載Tesla K40c顯卡，在Ubuntu16.04LST系統中搭建Tensorflow的Python3.6環境進行訓練，手動設置學習率為e-3，權重初始化為0，一共訓練200 epoch。各部分的loss值隨訓練步驟的變化如圖4所示。

inception_v3、resnet50的AP，準確率指標對比見表2。通過對比這兩個指標，就可以得到本文提出的算法具有較好的自動分割能力，從測試集中隨機挑選出4張圖中與其對應的分割圖如圖5所示。

5 結束語

本文通過調整深度學習中的mask-rcnn網絡使其應用在場景復雜的頸動脈超聲醫學圖像病變體的自動化分割中，解決了已有文獻提出方法現存的一些問題。提高了分割的準確性、不再需要人工標注，大幅度節省了醫生的時間成本。在一定程度上為醫生提供了便利，但本文的方法也有一定的局限性。首先，由于樣本數量的限制，無法達到預期的效果，mask-rcnn算法雖然可以自動分割出頸動脈超聲圖像中的病變體，卻不能給出病變體的嚴重程度，這也是下一步的工作目標。

參考文獻

[1]LORENZ M W， MARKUS H S， BOTS M L， et al. Prediction of clinical cardiovascular events with carotid intima-media thickness： A systematic review and meta analysis-response[J]. Circulation， 2007，115： 459-467.

[2]GOLLEDGE J， GREENHALGH R M， DAVIES A H. The symptomatic carotid plaque[J]. Stroke：A Journal of Cerebral Circulation， 2000， 31（3）：774-781.

[3]CHAUDHRY A， HASSAN M， KHAN A， et al. Automatic segmentation and decision making of Carotid Artery ultrasound images[M]//LEE S， CHO H， YOON K J， et al. Intelligent autonomous systems 12. Advances in Intelligent Systems and Computing. Berlin/ Heidelberg：Springer， 2012，194：185-196.

[4]HASSAN M， CHAUDHRY A， KHAN A， et al. Carotid artery image segmentation using modified spatial fuzzy c-means and ensemble clustering[J]. Computer Methods and Programs in Biomedicine， 2012，108 （3）： 1261-1276.

[5]CHAUDHRY A， HASSAN M， KHAN A， et al. Image clustering using improved spatial fuzzy C-Means[C]//ICUMIC'12. Kuala Lumpur， Malaysia：ACM， 2012：1-7.

[6]HASSAN M， CHAUDHRY A， KHAN A， et al. Robust information gain based fuzzy c-means clustering and classification of carotid artery ultrasound images[J]. Computer Methods and Programs in Biomedicine， 2014，113 （2）： 593-609.

[7]SANTHIYAKUMARI N， RAJENDRAN P， MADHESWARAN M. Medical decision-making system of ultrasound carotid artery intima–media thickness using neural networks[J]. Journal of Digital Imaging， 2011，224 ：1112-1125.

[8]SANTHIYAKUMARI N， RAJENDRAN P， MADHESWARAN M， et al. Detection of the intima and media layer thickness of ultrasound common carotid artery image using efficient active contour segmentation technique[J]. Medical& Biological Engineering& Computing， 2011， 49 ： 1299-1310.

[9]GOLEMATI S， STOITSIS J， SIFAKIS E， et al. Using the Hough transform to segment ultrasound images of longitudinal and transverse sections of the carotid artery[J]. Ultrasound in Medicine & Biology， 2007， 33 （12）：1918-1932.

[10]LOIZOU C P， PATTICHIS C S， PANTZIARIS M， et al. An integrated system for the segmentation of atherosclerotic carotid plaque[J]. IEEE Transactions on Information Technology in Biomedicine， 2007，11 （6）： 661-667.

[11]DESTREMPES F， MEUNIER J， GIROUX M F， et al . Segmentation of plaques in sequences of ultrasonic B-mode images of Carotid arteries based on motion estimation and a Bayesian model[J]. Proceedings of the IEEE Transactions on Biomedical Engineering， 2011， 58（8）： 2202-2211.

[12]ATHANASIOU L， BOURANTAS C V， RIGAS G， et al. Methodology for fully automated segmentation and plaque characterization in intracoronary optical coherence tomography images[J]. Journal of Biomedical Optics，2014，19（2）：26009.

[13]HE K， GKIOXARI G， DOLLR P， et al. Mask R-CNN [C]// Proceedings of the IEEE International Conference on Computer Vision. Venice：IEEE，2017： 2961-2969.