基于改進U-Net的全心臟CT圖像分割

陳秋葉 韋瑞華 石璐瑩 吳甜 劉海華

摘 ?要：針對CT圖像中全心臟結構復雜度高、分割不完整及分割精度低等問題，文章提出了一種改進U-Net的全心臟分割方法。根據全心臟結構形態特點，文章將多并行尺度特征融合模塊引入U-Net網絡的編碼層，并在U-Net網絡的跳層連接中加入了注意力機制。文章利用MM-WHS數據集將改進的全心臟分割算法在中南民族大學認知科學實驗室中進行了一系列的全心臟分割實驗。實驗結果顯示，文章提出的算法分割相似度達到88.73%，提高了全心臟結構的分割準確率。

關鍵詞：全心臟CT圖像分割;改進U-Net網絡;多并行尺度特征融合;注意力機制

中圖分類號：TP391 ?文獻標識碼：A文章編號：2096-4706（2021）13-0076-05

Whole-heart CT Image Segmentation Based on Improved U-Net

CHEN Qiuye， WEI Ruihua， SHI Luying， WU Tian， LIU Haihua

（South-Central Minzu University， Wuhan ?430074， China）

Abstract： Aiming at the problems of high structural complexity， incomplete segmentation and low segmentation accuracy of whole heart in CT images， the paper proposes a whole-heart segmentation method based on improved U-Net. According to the structural and morphological characteristics of the whole heart， multi-parallel scale feature fusion module is introduced into the coding layer of U-Net network， and attention mechanism is added into the skipping layer of U-Net network. A series of whole heart segmentation experiments are carried out in the Cognitive Science Laboratory of South-Central University for Nationalities using the improved whole heart segmentation algorithm based on the MM-WHS dataset. Experimental results show that the similarity of the proposed algorithm reaches 88.73%， which improves the segmentation accuracy of the whole heart structure.

Keywords： whole heart CT image segmentation; improved U-Net network; multi parallel scale feature fusion; attention mechanism

0 ?引 ?言

心血管系統是人體的循環系統，它承擔著為人體輸送營養物質、排出代謝廢物進而維持人體正常生命體征的重要作用。基于醫學影像的自動分割在提高醫生手術準確率和高效性等方面具有突出優勢，特別在心臟介入手術中，全心臟結構的精準分割有助于提高精準治療。另外，隨著社會的發展，心血管疾病的發病率和致死率越來越高，并且發病越來越年輕化[1]。因此，心血管疾病的及時診斷與治療顯得尤為重要，而全心臟結構的精準分割對于心血管疾病的診療有著重要的意義。因此，全心臟結構的自動精準分割是一項重要的研究課題。

1 ?相關研究

CT影像中全心臟結構的分割一直是醫學圖像分割領域的一個熱點話題。目前針對心臟圖像的分割已有大量的方法被提出，這些方法涉及傳統方法中的圖譜法、可形變模型以及近年來發展火熱的深度學習的方法[2]。圖譜法和可形變模型都是基于先驗模型的方法，這兩種方法都是先通過某些特征如harr特征[3]找到CT影像中心臟的中心和粗略的分割邊界，然后通過圖譜法或可形變模型進行配準進而得到心臟的分割結果。在MM-WHS 2017挑戰賽中出現了很多用深度學習進行全心臟分割的方法，Christian等[4]通過一個定位CNN網絡和一個分割CNN網絡將全心臟結構分割出來，并取得了MM-WHS 2017挑戰賽第一名的成績。Yang等[5]使用帶有深度監督的3D U-Net網絡，并使用了將交叉熵損失和Dice損失融合的新型損失，在MM-WHS 2017挑戰賽中也取得了很好的分割結果。在比賽結束后，Xu等[6]先通過Fast RCNN定位全心臟結構，然后使用U-Net網絡分割出全心臟結構，分割結果不遜于MM-WHS 2017挑戰賽冠軍的成績。但是相比于其他器官或腫瘤組織的分割，全心臟結構直徑范圍比較廣，各部位對比度變化不明顯，且易受其他組織結構、病變、噪聲等因素的干擾。針對這些現存問題，本文結合最新的理論基礎致力于實現更精準的全心臟CT圖像自動分割。

2 ?網絡結構

本文提出了一種集多并行尺度特征融合、注意力機制為一體的改進U-Net全心臟結構分割網絡，該網絡結構充分利用了數據低維特征與高維特征、局部信息與全局信息，進而有效改進了網絡的分割效能?；诟倪MU-Net網絡分割模型見圖1。

2.1 ?多并行尺度特征融合

在卷積神經網絡中，淺層特征提取的是全局的粗糙信息，深層特征提取的是精細的細節信息，深層和淺層特征的融合可以提升分割效果。但是隨著網絡深度的加深很多細節信息都流失了，而并行尺度特征融合（Mffp）利用不同空洞率（r）的空洞卷積[7]并行并融合的方式提取心臟不同結構的特征信息。這種做法既可以識別出不同結構的特征，而且也可以識別出微小動脈血管的細節信息，對于對比度低的心臟結構以及狹小的動脈血管有較好的分割效果。在編碼結構的每一層卷積后都添加一個并行尺度特征融合從而構成多并行尺度特征融合[8]，該模塊可以充分利用因為卷積而丟失的深層和淺層特征，進而對分割結果進行優化。

并行尺度特征融合（Mffp）包括空洞率從1到5奇數增加的四條空洞分支和一條原特征圖分支，然后將不同空洞率產生的特征圖與原特征圖進行融合，四條空洞卷積的分支在融合之前都經過了sigmoid激活函數。該模塊的結構示意圖如圖2所示。

本文分別將并行尺度特征融合添加到編碼層的第1層卷積（conv1_Mffp）、第2層卷積（conv2_Mffp）、第3層卷積（conv3_Mffp）、第4層卷積（conv4_Mffp）、最底層卷積（conv5_Mffp）以及1到5層卷積的每一層（conv1_5_Mffp）進行對比試驗。

2.2 ?注意力機制模型

因為一系列的卷積和池化操作會過濾掉一些必要的邊緣信息并帶入一些多余的噪聲信息，所以本文在跳層連接中加入了注意力機制（AG）[9]。注意力機制的結構如圖3所示。

其中x是編碼器相應網絡層的輸出特征圖，g是與編碼器對應的同層解碼器網絡下一層的特征輸出，θ是注意力機制的門相關系數，T是注意力機制的輸出。在編碼結構中，注意力機制通過分析編碼器輸出特征圖和解碼器的輸出特征圖以獲得相應的門相關系數，從而使注意力機制更專注于全心臟結構的主要特征信息，并消除其他干擾全心臟結構分割的信息。在解碼結構中，注意力機制通過與下一個反卷積層級聯以達到融合互補特征信息的目的，進而將高低維特征相結合，更加有利于恢復和提取全心臟結構尤其是肺動脈小血管的細節特征和左心室心肌的邊緣信息，以提高分割精度。因此，將注意力機制添加到U-Net中可以接收更多的低維和高維特征，從而更好地抑制背景信息和噪聲的干擾，對于心臟各結構組織邊緣的分割有一定的幫助。

3 ?實驗與分析

3.1 ?數據獲取與數據處理

本文所使用的20例CT數據由MM-WHS 2017挑戰賽提供，其中14例用作訓練，2例用作驗證，4例用作測試。MM-WHS 2017挑戰賽所提供的數據標簽灰度在0～850之間，對標簽灰度值重新處理到0～7之間，原始標簽灰度值與處理后的標簽灰度值如表1所示。

數據歸一化：由于MM-WHS 2017挑戰賽所提供的原始數據集灰度值在幾十到幾千的范圍，所以為了加快神經網絡的訓練，本文對原始數據進行了歸一化處理。

數據擴充：由于本課題僅有14例樣本用于訓練，這種數據量級別遠遠不滿足深度學習所需的樣本數量。但是由于圖像分割實際上是對像素點的分類，所以本課題對全心臟結構的每一個像素點進行分類，這相當于間接擴大了數據量。另外，為了進一步擴大數據集，我們對實驗數據進行了隨機裁剪、旋轉的操作。

3.2 ?評價方法

為了定量的分析網絡性能和分割結果，采用了Dice similarity coefficient（DSC）評價指標，該評價指標的計算公式如式（1）所示：

（1）

其中：X，Y分別表示真實標簽和預測結果。

此外，因為交叉熵（Cross entropy）可以避免學習率過低的問題，所以實驗中使用交叉熵作為損失函數對模型訓練進行誤差統計。其定義如式（2）所示：

（2）

其中：n為類別數量，p（xi）為真實標簽概率分布，q（xi）為網絡預測概率分布。網絡預測概率分布越接近于真實標簽概率分布，交叉熵越小，分割結果越好。

3.3 ?實驗結果與分析

本文所進行的實驗在中南民族大學視覺認知科學實驗室完成，實驗環境配置以及參數設置如表2所示。

3.3.1 ?全心臟結構分割的量化評估

本文分別將并行尺度特征融合添加到U-Net網絡編碼層的每一層卷積以及1到5層卷積的每一層分別形成U_Net_conv1Mffp、U_Net_conv2Mffp、U_Net_conv3Mffp、U_Net_conv4Mffp、U_Net_conv5Mffp網絡和U_Net_conv1_5Mffp網絡來進行對比試驗。傳統U-Net網絡與各個添加并行尺度特征融合的U-Net網絡的實驗結果如表3所示。

從實驗數據可以看出將并行尺度特征融合的位置由最底層卷積依次往上移動時分割結果也分別取得了不同程度的優化，由此證明在網絡中添加并行尺度特征融合的位置會影響分割結果。在每一層卷積后都添加并行尺度特征融合模塊的多并行尺度特征融合網絡結果最好，由此證明在網絡中添加多個并行尺度特征融合可以捕獲更多的分割特征，對于醫學圖像的分割有一定的幫助。

為了獲取更優的分割網絡，本文在U_Net_conv1_5Mffp網絡中添加了注意力機制。U_Net_conv1_5Mffp網絡與添加注意力機制 （AttU_Net_conv1_5Mffp）的網絡以及U-Net網絡添加并行池化（U_Net_conv5Mffp_RMP）、注意力機制（AttU_Net_Mffp_RMP）網絡的實驗結果如表4所示。

從實驗數據可以看出在U_Net_conv1_5Mffp網絡中添加注意力機制對于除去背景信息的抑制和噪聲的干擾有一定的作用，添加注意力機制有助于醫學圖像的分割。

將本文提出的全心臟分割方法與Marija等[10]提出的全心臟分割方法進行比較，對比結果如表5所示。

結果顯示本文提出的網絡結構與對比網絡相比在Dice值方面較為突出，進而證明了該方法在全心臟分割方面的有效性及分割優勢。尤其在肺動脈分割方面，由于本文提出的網絡添加了多個空洞卷積模塊，使得網絡可以學習到影像的更多全局信息，很好地解決了肺動脈小血管分割不完整的問題。因為左心室心肌周圍的心臟子結構較多導致心肌邊緣模糊，而注意力機制的添加對組織邊緣的分割有一定的幫助，所以左心室心肌的分割與對比網絡相比也表現出了突出的優勢。同時，相比于3D網絡分割和兩個階段的網絡分割，本文提出的2D網絡結構僅通過一步就完成了全心臟結構的分割，耗時、計算量更少，避免了大量時間資源和內存資源的浪費。綜合分析來看，本文提出的網絡結構在進行CT圖像全心臟分割時，不僅可以得到較為突出的分割結果，尤其是肺動脈和心肌的分割，同時還具有耗時更短，計算量更少的優勢。

3.3.2 ?全心臟結構分割的視覺效果

本文通過將多并行尺度特征融合和注意力機制應用到傳統U-Net網絡[14]中，有效的分割出了全心臟結構。圖4顯示了一例測試數據通過AttU_Net_conv1_5Mffp網絡的部分切片的預測結果。

其中第一行是真實標簽圖片、第二行是相應切片通過網絡的分割結果。從分割結果可以看出，網絡分割結果和真實標簽相比有很高的相似度，一些細小的動脈血管及心肌邊緣該網絡都可以準確預測出來，由此證明該網絡可以很好地分割出全心臟結構。

4 ?結 ?論

本文基于介入手術導航和心血管疾病診斷與治療的基本需求，針對全心臟結構中各部位邊界模糊、尺寸大小差別較大等問題，結合胸部增強CT圖像的影像特征，提出了一種融合多并行尺度特征融合和注意力機制的改進U-Net網絡的全心臟CT圖像分割方法。在特征提取部分加入多并行尺度特征融合擴大了感受野且保留了細小特征;在U-Net網絡解碼階段加入注意力機制更有效的恢復了圖像的邊界信息。通過使用MM-WHS數據集在傳統的U-Net網絡以及添加各模塊的驗證網絡顯示：本文提出的分割網絡整體性能較優，有著比較高的準確度，分割結果比較可觀。

雖然該方法利用深度學習解決了傳統方法耗時耗力的問題，對全心臟結構的分割有很大的幫助，但是分割性能仍有待提升，原因可能是數據的預處理不夠突出以及數據量不夠導致學習不充分。后續我們也會針對目前存在的問題做進一步的優化，并對整個胸腔器官的分割進行研究以對介入手術進行導航。

參考文獻：

[1] 胡盛壽，高潤霖，劉力生，等.《中國心血管病報告2018》概要 [J].中國循環雜志，2019，34（3）：209-220.

[2] ZHUANG X. Challenges and methodologies of fully automatic whole heart segmentation：a review [J].Journal of Healthcare Engineering，2013，4（3）：371-408.

[3] ZHUANG X，SONG J，ZHAN S，et al. A registration and atlas propagation based framework for automatic whole heart segmentation of CT volumes [C]//SPIE Medical Imaging. Orlando：SPIE，2013.

[4] PAYER C，?TERN D，BISCHOF H，et al. Multi-label whole heart segmentation using CNNs and anatomical label configurations [C]//STACOM 2017：Statistical Atlases and Computational Models of the Heart. ACDC and MMWHS Challenges. Quebec：Springer，Cham，2018：190-198.

[5] YANG X，BIAN C，YU L，et al. Hybrid loss guided convolutional networks for whole heartparsing [C]//STACOM 2017：Statistical Atlases and Computational Models of the Heart. ACDC and MMWHS Challenges. Quebec：Springer，Cham，2017：215-223.

[6] XU Z，WU Z，FENG J. CFUN：Combining Faster R-CNN and U-net Network for Efficient Whole Heart Segmentation [J/OL].arXiv.org，2018，1（2018-12-12）.https：//arxiv.org/abs/1812.04914v1.

[7] YU F，KOLTUN V. Multi-Scale Context Aggregation by Dilated Convolutions [J/OL].arXiv.org，2016，3[2021-06-01].https：//arxiv.org/abs/1511.07122.

[8] 葉承欽.基于編解碼結構的全心臟CT圖像分割 [D].哈爾濱：哈爾濱工業大學，2019.

[9] ZHANG S，FU H，YAN Y，et al. Attention Guided Network for Retinal Image Segmentation [C]//MICCAI 2019：Medical Image Computing and Computer Assisted Intervention – MICCAI 2019.Shenzhen：Springer，Cham，2019：797-805.

[10] HABIJAN M，GALI? I，LEVENTI? H，et al. Whole heart segmentation using 3D FM-Pre-ResNet encoder–decoder based architecture with variational autoencoder regularization [J].Applied Sciences，2021，11（9）：3912.

[11] LIU T，TIAN Y，ZHAO S，et al. Automatic Whole Heart Segmentation Using a Two-Stage U-Net Framework and an Adaptive Threshold Window [J].IEEE Access，2019，7：83628-83636.

[12] 付殿臣.跨模態心臟醫學圖像域自適應分割算法研究 [D].長春：長春工業大學，2021.

[13] HABIJAN M，LEVENTI? H，GALI? I，et al. Neural network based whole heart segmentation from 3D CT images [J].International journal of electrical and computer engineering systems，2020，11（1）：[2021-05-31].http：//www.etfos.unios.hr/ijeces/papers/neural-network-based-whole-heart-segmentation-from-3d-ct-images/.

[14] RONNEBERGER O，FISCHER P，BROX T. U-Net：Convolutional Networks for Biomedical Image Segmentation [C]//MICCAI 2015：Medical Image Computing and Computer-Assisted Intervention – MICCAI 2015.Munich：Springer，Cham，2015：234-241.

作者簡介：陳秋葉（1995—），女，漢族，河南開封人，碩士研究生在讀，研究方向：視覺認知與醫學圖像處理;通訊作者：劉海華（1966—），男，漢族，湖北孝感人，教授，博士，研究方向：視覺認知計算與醫學圖像處理。