基于深度學習的心臟MRI 圖像分割綜述

張 婕，阿都建華，羊建興

（成都信息工程大學 軟件工程學院，四川 成都 610225）

0 引言

心血管疾病是全球第一大致死疾病，每年因心血管疾病死亡的人數遠多于任何其他疾病死亡人數。據《中國心血管病報告2018》報告推算，中國心血管病患病人數大約為2.9 億，死亡率高于腫瘤及其他疾病且居首位，占居民疾病死亡構成的40%以上，農村死亡率高于城市［1］。我國心血管疾病患者人數急劇增加且患病有年輕化趨勢，心血管疾病防治應引起公眾重視。隨著現代醫學的發展，為降低居民心血管疾病死亡率、誤診率，核磁共振（Magnetic Reso?nance Imaging，MRI）、計算機斷層掃描（Computerized To?mography，CT）、超聲（Ultrasound，US）等醫學成像技術應用廣泛，醫學成像技術可定性和定量地評估心臟解剖結構和心功能，為疾病診斷、疾病監測、治療規劃等提供支持。目前公認心臟MRI 是評價心功能的金標準［2］，且MRI 具有對人體傷害較小、成像清晰等優點。

分割心臟MRI 圖像是臨床心臟病診斷基礎，在該環節將整個心臟組織按照不同部位進行分割，這對心室、心房、心肌內外膜等結構定量分析至關重要。通常，心臟圖像分割的解剖結構包括左心室、右心室、心外膜、心內膜、心肌等。

深度學習算法擅長從數據中自動發現復雜的特征，常用于對象檢測和分割。傳統機器學習方法需要有效的特征和先驗知識保證分割結果準確性，而基于深度學習的方法通過學習過程和端到端的方式直接從數據中學習，得到的結果可應用于其他圖像分析程序。得益于計算機硬件的發展以及不斷增加的開放醫學圖像數據集，基于深度學習的分割算法在圖像分割研究中應用愈加廣泛。特別是自2016 年公開的心臟MRI 數據集，基于深度學習的心臟MRI 分割研究逐漸成為新的研究趨勢［3］。

本論文首先介紹心血管疾病現狀及研究的必要性，概述基于深度學習的心臟MRI 圖像分割方法；然后介紹MRI成像特點、深度學習基礎，詳細闡述目前分割效果最好的3個深度學習網絡；最后，總結當前研究存在的問題，并指出未來研究方向。

1 概述

1.1 MRI 成像特點

隨著現代醫學成像技術的不斷發展，磁共振成像（MRI）、計算機斷層掃描（CT）和超聲（US）等多種成像技術應用于心血管疾病臨床診斷，為醫生診斷提供有力的支撐。

MRI 是利用核磁共振原理，依據能量在不同結構環境中不同的衰減情況，在外加磁場內，用探測器檢測信號并輸入計算機，經過轉換處理在電腦上顯示圖像。由于其具有良好的軟組織對比分辨率、掃描視野大、可獲得各方位和角度的斜斷面圖像等優點，成為主流醫學成像方式。與CT 成像相比，MRI 成像清晰且無輻射，在某些組織和部位成像顯示更明顯，不易產生噪聲干擾，無需介入即可成像；與US 成像相比，MRI 成像更清晰，噪聲影響小，在分割方面表現更好。圖1 從左至右依次是MRI 成像圖、CT 成像圖和US 成像圖。從圖1 中可以看出超聲圖像質量差，CT 圖像質量有所改善，但CT 對人體有傷害，MRI 成像清晰且對身體傷害較小，所以一般臨床上更傾向于使用MRI 作為臨床診斷標準。

Fig.1 MRI，CT and US images圖1 MRI 成像圖、CT 成像圖和US 成像圖

1.2 深度學習基礎

深度學習是用于建立、模擬人腦進行分析學習的神經網絡，并模仿人腦機制來解釋數據的一種機器學習技術。人腦中基本單元是“神經元”，成千上萬的神經元互相連接成一個更龐大的結構，稱為“神經網絡”。學術界嘗試模仿人腦“神經網絡”以建立一個類似的學習策略，借名為“神經網絡”。神經網絡通過模仿神經元之間傳遞信息的模式處理信息，大量使用在計算機視覺和自然語言處理研究中。

2006 年Hinton 等［4］提出一個實際可行的Deep Learning框架。Deep Learning 采用分層結構，包括輸入層、隱層（多層）、輸出層組成的多層網絡，與人腦結構相似，有連接的只有相鄰兩層之間的節點，隔層和同層節點則沒有相互連接，大致結構如圖2 所示。

Fig.2 Deep learning basic structure圖2 深度學習基本結構

1.3 數據集

采用基于深度學習的方法進行心臟MRI 圖像分割需要大量數據進行網絡訓練和測試，而醫療數據集收集困難、標注復雜并且涉及隱私等問題導致公開的數據集稀少、研究難度大。目前公開的心臟MRI 數據集如表1 所示。

Table 1 Open heart MRI datasets表1 公開的心臟MRI 數據集

2 心臟MRI 圖像分割方法

MRI 在腦部、頸部、脊椎和心臟等部位檢測中十分重要，已被公認為心血管病診斷金標準。醫學圖像分割是重點也是難點，可為臨床診斷中器官、組織定性定量分析提供依據，提高分割結果準確性與醫生診斷正確率，間接提升病人存活率。自2016 年越來越多的MRI 數據集開放，利用深度學習進行MRI 分割成為研究熱點。目前用于心臟MRI 圖像分割最廣泛、最高效的3 種深度學習網絡是卷積神經網絡（Convolutional Neural Networks，CNN）、全卷積神經網絡（Fully Convolutional Networks，FCN）和U-net。

2.1 基 于CNN 的MRI 分 割

CNN 是最常見的用于圖像分析的深度神經網絡，廣泛應用于圖像分類、目標檢測等領域。2012 年Dan 等［5］提出常用于圖像分類的CNN 也可以用于圖像分割，且不需要對網絡架構進行大調整。神經網絡一般是多層結構，包括輸入、輸出和隱層3 大部分。其中隱層部分通常由卷積、池化、激活函數和全連接組成，卷積核提取特征信息；然后通過池化層即下采樣對特征進行壓縮，從而消除冗余特征，提高統計效率和模型泛化；最后，全連接層連接所有特征將其放入分類器中進行分類，網絡結構如圖3 所示。

Fig.3 CNN network structure圖3 CNN 網絡結構

CNN 在醫學分析中的研究包括圖像識別、分割、配準、重建、融合等，相關技術主要集中于圖像識別與分割兩個方面。如Tan 等［6］利用CNN 網絡回歸推斷心室分割中心室中心點和內心外膜輪廓極坐標空間；Mortazi 等［7］基于多視點卷積神經網絡的自適應融合策略與一個新的損失函數，允許快速和更準確的收斂，實現基于反向傳播的優化；Wolterink等［8］提出一種利用擴張卷積神經網絡自動分割先天性心臟病患者心血管、心肌和血池的方法；Zabihollahy 等［9］提出了一種利用卷積神經網絡分割心肌瘢痕的半自動方法；尹航［10］提出心室分層設計與Mask R-CNN 算法相結合的方法，自動化分割心室內膜并得到較好的分割效果；湯仁君［11］通過融合多個CNN 模型的輸出獲取更多的圖像特征。

2.2 基 于FCN 的MRI 分 割

FCN 最早由Long 等［12］在2015 年提出，它把全連接換成卷積，獲得一張2 維的feature map，后接Softmax 獲得每個像素點分類信息，實現像素級別的預測，是一種端到端的圖像分割方法。其網絡結構如圖4 所示。

Fig.4 FCN network structure圖4 FCN 網絡結構

2016 年Tran［13］基于FCN第一次在MRI圖像上直接分割左心室、心肌和右心室，這種端到端的方法在速度和準確性方面明顯優于傳統方法；Poudel 等［14］提出了一個循環的全卷積網絡（RFCN），它從整個二維切片堆棧中學習圖像表示，并通過內部內存單元利用片間空間依賴性。RF?CN 將解剖檢測和分割結合到一個單獨的體系結構中，該體系結構經過端到端訓練，從而大幅減少計算時間，簡化分割管道，明顯改善心尖附近的輪廓分割結果，并可能實現實時應用；2017 年Lieman-Sifry 等［15］開發了快速心室結構，將ENet 結構與FCN 結合用于心室分割，與已有心室分割結構相比，在保持良好準確性的前提下速度加快近4 倍，內存花費僅1/6；Patravali 等［16］利用深度卷積網絡開發了一個用于全自動心臟分割的2D 多通道FCN；Li 等［17］利用FCN 進行全心分割；Bai 等［18］提出了一種基于FCN 的CMR 圖像自動分析方法，在短軸CMR 圖像上LV 和RV 及長軸CMR 圖像上的左心房（LA）和右心房（RA）分割達到了與人類專家同等的高性能；2019 年Fahmy 等［19］提出基于FCN 的圖像處理平臺，可快速、自動地分析心肌天然T1 映射圖像，減輕手工分析負擔和觀察者相關可變性；Xiong 等［20］使用雙全卷積神經網絡對左心房進行分割；Moccia 等［21］利用FCN 進行左心室疤痕組織分割。

FCN 在MRI 圖像分割上發揮了重大作用，由它衍生出的諸多新網絡結構在MRI 分割上都有良好表現，在速度和準確性上均有提升，由于它可以實現端到端的分割以及良好的可拓展性，奠定了它在心臟MRI 分割應用中的重要地位。實驗表明三維網絡表現不如二維網絡表現，這主要是由于大多數心臟MRI 掃描的典型低透面分辨率和運動偽影限制了3D 網絡的適用性［22］。

2.3 基 于U-NET 的MRI 分 割

由于建立公開醫學圖像數據集過程艱難、耗時長，不同標記人的標記存在一定區別，所以一般公開的醫學數據集數量稀少且患者樣本數量也參差不齊。在2015 年Ron?neberger 等［23］基于FCN 提出了一種新的網絡結構U-NET網絡，它是一種廣泛應用于醫學圖像分割的U 型網絡結構，如圖5 所示。因為醫學圖像邊界模糊、梯度復雜，需要較多的高分辨率信息，經過連接操作從編碼器直接傳遞到同高度解碼器上的高分辨率信息能夠為分割提供更加精細的特征，如梯度等。U-NET 結合了低分辨率信息和高分辨率信息，所以在醫學圖像分割中具有獨特優勢。

Fig.5 U-net network Structure圖5 U-net 網絡結構

2016 年已有幾種最先進的心臟圖像分割方法采用UNET 或其3D 變體，3D U-NET［24］和3D V-NET［25］作為骨干網絡被應用于心臟分割。2017 年Isensee 等［26］提出了一種方法，通過將分割和疾病分類集成到一個全自動的處理流水線中解決命名限制，使用一組U-NET 激發的結構分割心臟結構；2018 年Xia 等［27］提出一種全自動的兩階段分割框架，其中第一個3D U-NET 從向下采樣的圖像粗略定位心房中心，然后第二個3D U-NET 從原始圖像中準確裁剪部分圖像，分割出心房。2019 年Khened 等［28］開發了一個包含inception 模塊的密集型U-NET，結合多尺度特征對具有較大結構變異性的圖像進行穩健分割；Tao等［29］采用U-NET建立一種基于深度學習的短軸電影MR 圖像左心室（LV）功能全自動量化方法，并評估其在多中心環境下的性能。

2.4 對比分析

表2 對CNN、FCN 和U-NET 這三種典型的心臟MRI 數據分割深度學習網絡進行了優缺點的總結，后續可以根據它們優缺點深入研究讓它們更加適合心臟MRI 的分割工作。

Table 2 Comparison of advantages and disadvantages of CNN，FCN and U-NET表2 CNN、FCN 與U-NET 優缺點比較

3 種網絡在左心室、左心室心肌和右心室分割的Dice values（ED 和ES 階段的平均骰子得分）統計如表3 所示。為了保障結果公平性，本文僅統計了ACDC 挑戰賽使用的本文3 種方法的分割算法，表中所有方法都在ACDC 挑戰賽測試集（50 名受試者）上進行評估。由表3 可以看出FCN網絡及其變體與U-NET 網絡及其變體使用比較廣泛，在分割上各有優勢，在左心室分割上U-NET 及其變體效果優于FCN，在心肌分割方面兩種方法效果相當，在右心房分割方面FCN 效果優于U-NET。

FCN 網絡和U-NET 網絡分割效果對比如圖6（a）所示，第1 行是使用FCN 網絡的分割結果，第2 行是使用U-NET網絡的分割結果，第3 行是醫生的標注結果，可以看出在左心室分割方面U-NET 網絡效果優于FCN 網絡，U-NET 左心室分割精度為0.950，FCN 左心室分割精度為0.935；在右心室分割方面FCN 網絡效果優于U-NET 網絡，U-NET 右心室分割精度為0.902，FCN 右心室分割精度為0.949。圖6（b）是2D U-NET 和3D U-NET 的分割效果對比，第1 行為原圖，第2 行為醫生標注圖，第3 行是2D U-NET 分割結果，第4 行是3D U-NET 分割結果，可以看出3D U-NET 網絡分割結果并不優于2D U-NET 網絡分割結果，在邊緣細節方面還是2D U-NET 網絡表現更好。使用Dice 值進行分割結果評價，在左心室分割方面2D U-NETDice 值為0.925，3D U-NETDice 值為0.920；在右心室分割方面2D U-NETDice值為0.845，3D U-NETDice 值為0.87。

Table 3 Dice values of three methods in ventricular and myocardial segmentation表3 3 種方法在心室和心肌分割方面的Dice values

2.5 其他方法

除了上述3 種使用最廣泛的圖像分割網絡，還有多個其他新型神經網絡也被用于圖像分割，雖然暫未應用于心臟圖像分割領域，但其應用范圍會不斷擴展。如DenseNet網絡具有很好的抗過擬合性能，參數量較少，計算量較小和泛化能力強等優點，被唐明軒［30］用于視網膜血管分割研究，取得了很好的分割效果；Deeplabv3+網絡具有更大感受野范圍的空洞卷積代替普通卷積，它的深度可分卷積，對于每個輸入通道獨立執行空洞卷積，孫先亮［31］利用ASPP空間金字塔結構中采樣率不同的并行網絡獲取圖像多尺度特征信息，編-解碼器結構使編碼器和解碼器各司其職，編碼器捕獲高層語義信息，解碼器逐步恢復邊界信息，該網絡被用于肺部圖像分割研究，也獲得了很好的分割效果。

Fig.6 Comparison of segmentation results圖6 分割效果對比

3 挑戰與未來工作

隨著公共醫學數據集的增加和先進的網絡架構的出現，深度學習方法在各種心臟分割應用中的表現比傳統方法更佳。其分割快速、精確的優勢使其在臨床中前景巨大，但也存在一些困難，這些困難為該領域未來工作提供了潛在研究方向。

（1）樣本多樣性。深度學習方法最大的困難是缺乏標注數據。常見作法是通過仿射變換擴充數據集，但無法改進數據集多樣性，不能反映真實世界的樣本分布。針對該問題，可利用4 類方法進行改進：微調遷移學習、弱半監督學習、自我監督學習和非監督學習。

（2）模型泛化。訓練集不一樣模型也會產生差別，導致泛化能力較弱，解決該問題的關鍵是增加數據集多樣性。生成模型（如GANs、變分AE）、強化學習和反例生成吸引了學者注意，這些模型旨在直接從現有數據中學習數據增強策略。

（3）圖像質量和噪聲。深度學習方法能夠準確分割圖像的前提是圖像質量較高，而現有公開數據集圖像質量通常較低，影響算法結果。針對該問題，有研究使用基于深度學習的方法獲得更好的圖像分辨率、視圖規劃與運動校正，使偽影減少，陰影檢測和圖像采集后的噪聲得到抑制。但是，如何將這些算法與分割算法結合集成到一個高效、針對患者的圖像系統中，為臨床提供準確的診斷輔助參考，仍需進一步研究。

4 結語

本文對用于MRI 圖像分割的深度學習技術進行了全面概述，主要概述了CNN、FCN、U-NET 3 個網絡在心臟MRI 圖像分割中的應用，對比了各網絡在該領域最新研究進展及優缺點，介紹了兩種在心臟MRI 圖像分割領域有潛力的新網絡，總結了深度學習方法在心臟MRI 圖像分割領域存在的困難及后續研究方向。隨著技術的發展，將有越來越豐富的深度學習方法用于提高分割精度和穩健性，成為臨床醫生的有力工具，因此深度學習在心臟MRI 圖像分割中有重要的研究意義。