多尺度空洞U-Net網絡的電影CMR圖像分割

王建軍，李婉晴，張 敏

(河北經貿大學 信息技術學院，河北 石家莊 050061)

0 引 言

心血管疾病(cardiovascular disease，CVD)是全球死亡率最高的疾病，心臟影像學是評估和診斷心臟疾病的常規手段，心臟磁共振成像(cardiac magnetic resonance，CMR)被認為是一種無創評估心血管系統功能和結構的方法，對CMR圖像切片進行病理分析是目前診斷心臟疾病的常用方法[1]。精確分割左心室(left ventricle，LV)、右心室(right ventricle，RV)和心肌(myocardium，Myo)是對圖像進行病例分析的關鍵環節，對心血管疾病的診斷和治療具有重要的意義[2-4]。但是由于CMR圖像中心臟與周圍組織的對比度差、輪廓不清晰、噪聲大及呼吸運動偽影等影響，極大地增加了分割心室和心肌的難度。針對CMR圖像分割的傳統方法有活動輪廓[5]、水平集[6]和圖割方法[7]。這些傳統的方法過多依賴先驗知識，并且存在一定的局限性，很難提高CMR分割的準確性。

近年來，基于深度學習的方法在圖像分割領域取得了很大的進展。Abdeltawab等人[8]使用FCN(fully convolutional network，FCN)[9]用于分割，提出了一種用于分割短軸圖的密集連接卷積網絡。他們采用一種有效的基于FCN的方法從心臟MRI中提取左心室感興趣區域(ROI)，以緩解類別不平衡的問題，并采用另一種FCN基于ROI進行左心室腔和心肌分割。此外引入了一個稱為徑向損失的新損失函數，以最小化LV的預測輪廓和真實輪廓之間的距離，取得了很好的分割結果。然而，該網絡的下采樣過程會導致細節信息丟失，對小物體的分割效果不佳。Cui等人[10]使用U-Net[11]網絡架構，引入圖像金字塔和深度監督輸出層全自動學習關注各種大小和形狀的目標結構，有效提高了心臟分割的準確性。然而，該網絡在上采樣時會造成圖像中心室和心肌邊緣細節丟失，存在分割差的問題。

該文提出一個基于遷移學習和多尺度空洞U-Net網絡(transfer learning and multi-scale dilated U-Net networks，TLMD-UNet)用于左心室、右心室和心肌的分割，利用遷移學習方法將Xception模型[12]在ImageNet數據集上訓練好的權重信息遷移到目標網絡中，解決了CMR圖像標記數據量少的問題。在U-Net網絡的下采樣中引入多尺度空洞卷積模塊(multi-scale dilated convolution block，MDC-Block)擴大了感受野，提取了豐富的多尺度CMR圖像信息；上采樣階段拼接下采樣過程中每個池化層前的全部卷積層提取的特征，避免U-Net網絡僅拼接每個池化層前最后一層特征造成的細節信息丟失問題，提高了CMR圖像中左心室、右心室和心肌邊緣分割的精確度。

1 網絡結構和算法原理

1.1 遷移學習

在處理醫學分割問題時，數據量不足是限制醫學分割研究的一個重要方面[13]。由于數據需要醫學專家手工標記非常耗時耗力，往往獲得的數據集僅有幾百張或幾千張訓練圖片，難以滿足訓練需求。然而，大量的數據集能提取更多的信息特征，泛化能力強，較小的數據集容易產生過擬合現象。因此，該文使用遷移學習[14]，將從源數據集上學習到的權值轉移到數據量不足的目標網絡，對目標數據集進行訓練，然后使用一些標記的目標域數據對預訓練的目標網絡進行微調，使目標域獲得更好的學習和表現。

該文采用圖1所示的遷移學習方法實現CMR圖像的分割網絡。但是由于ImageNet數據集中的圖像與CMR圖像特征差別較大，網絡往往不能通過先驗知識學習到較多的CMR圖像特征，所以使用ImageNet預先訓練好的權值對模型進行初始化后，將預訓練目標網絡模型的層再使用目標域數據進行逐層微調，更新和優化這些層的參數，加快網絡的收斂速度，提高網絡的特征學習能力，避免直接對整個網絡進行微調產生較大的計算量。遷移學習中的權重初始化和微調過程如圖2所示。

1.2 MD-UNet模型

采用U-Net網絡分割圖像時，其編碼階段采用單尺度卷積核提取特征，容易造成細節信息的遺漏；解碼階段跳躍連接只拼接了每個池化層前最后一個卷積層的信息特征，且該層相對其他層分辨率相對較小，保留的信息少，限制了模型性能的提高。因此，該文使用多尺度空洞U-Net網絡模型(multi-scale dilated U-Net networks，MD-UNet)，引入多尺度空洞卷積模塊，將空洞卷積及多尺度思想引入神經網絡，將編碼階段不同大小膨脹率的空洞卷積提取的信息融合成多尺度特征傳播到解碼階段。使用空洞卷積代替普通卷積擴大了感受野，并且將池化層前的所有卷積層的特征進行融合傳入解碼階段，有效解決了CMR圖像切片邊界曲線欠分割的問題。

1.2.1 空洞卷積

空洞卷積[15]在普通卷積中增加權重值為零的空洞，在保持參數不變的同時增加特征信息的感受野，超參數膨脹率rate控制著感受野的大小，膨脹率越大感受野越大。如圖3所示，膨脹率為[1，2，3]的空洞卷積，等效的核大小分別是[3，5，7]。對于膨脹率為r的空洞卷積，實際卷積核計算如公式(1)所示：

kr=k+(k-1)×(r-1)

(1)

其中，k表示原始卷積核大小，kr表示擴張后的卷積核大小。通過設置不同大小膨脹率的空洞卷積能夠捕獲特征圖中的多尺度信息，這有助于對大目標和小目標進行精確分割。

1.2.2 多尺度特征融合

在深度學習神經網絡提取特征信息時，隨著網絡逐漸加深，感受野變大，提取的特征信息更具有全局性。U-Net網絡編碼階段經過4次降采樣操作，每次降采樣池化層前經過多層卷積操作，解碼階段在解池化操作中通過跳躍連接僅拼接了每次池化操作前最深一層的特征圖信息(如圖4(a)所示)，忽略了包含更大尺寸以及具有更加豐富細節信息的淺層特征，容易造成細節信息的遺漏，影響CMR圖像分割效果[16]。為了彌補這一不足，該文將編碼階段每個池化操作前提取的淺層特征和深層特征進行特征融合一起傳入到解碼階段(如圖4(b)所示)，使得網絡提取更加精細的特征，提高CMR圖像邊界分割的精確度。

1.2.3 多尺度空洞卷積模塊

多尺度空洞卷積模塊(multi-scale dilated convolution block，MDC-Block)融合了空洞卷積和多尺度提取特征的優點，首先使用r=1、r=2和r=5三種膨脹率的3*3空洞卷積依次進行特征提取，小膨脹率的空洞卷積的感受野大小為3*3，用來獲取CMR圖像的細節特征信息，大膨脹率的空洞卷積感受野大小為11*11，用來獲取更具有全局性的特征信息；然后將淺層特征和深層特征進行特征融合，使得編碼階段提取到的特征更加精細準確，解碼階段跳躍連接引入的信息更加完整，提高了CMR圖像左心室、右心室和心肌的分割精確度；最后將融合的特征采用1*1卷積恢復特征圖通道維度。多尺度空洞卷積模塊結構如圖5所示。

1.2.4 MD-UNet網絡結構

MD-UNet網絡的整個架構如圖6所示，使用編碼器-解碼器作為基本網絡。編碼階段用于捕獲CMR圖像的上下文信息，解碼階段使用雙線性插值方法逐步恢復圖像的分辨率大小，且通過跳躍連接與編碼階段同一階段的特征圖進行拼接，減少網絡下采樣多次卷積池化造成的信息損失，對圖像的感興趣區域精準定位，從而實現左右心室及心肌的精確分割。

網絡的編碼階段由多尺度空洞卷積模塊和池化層交替構成，每個多尺度空洞卷積模塊包括三個不同膨脹率(r=1、r=2和r=5)的空洞卷積，并且將模塊中卷積層提取的信息進行特征融合，再使用1*1的卷積恢復特征圖通道維度，能夠獲得更多CMR圖像的細節信息，使用批歸一化層增加模型的訓練速度，提高網絡分割精度，并采用ReLU激活函數加強網絡模型的表達能力[17]。解碼階段包括卷積塊、上采樣和Softmax輸出，通過跳躍連接將每一階段編碼器與解碼器進行特征圖拼接，使得網絡獲得更多感興趣區域(ROI)的特征信息，提高分割準確率，最后使用Softmax對像素分類以完成最終的CMR圖像分割。

2 損失函數

該文采用交叉熵損失函數和Dice損失函數的混合損失函數作為分割心室和心肌的損失函數。Dice損失函數用于衡量兩個樣本的重疊程度，但是其梯度計算形式比較復雜，反向傳播時容易梯度劇烈變化，導致訓練不穩定。交叉熵損失函數梯度計算簡單，但不能解決前景類與背景類之間的不平衡問題，并且在分割多類輸入圖像時，分割性能不佳[18-19]。將兩者損失函數相結合，可以有效提高分割過程中的訓練穩定性和分割精度。交叉熵損失函數和Dice損失函數如式(2)和式(3)所示：

(2)

(3)

其中，M是類別數目，N是每個批次中的像素集，g是標簽圖像的one-hot值，s是預測樣本為類別c的概率值。CMR圖像分割的混合損失函數如式(4)所示：

L=LCE+LDice

(4)

3 實驗部分

3.1 實驗數據集和實驗環境

實驗數據由55例病人的短軸CMR圖像數據組成，其數據存儲為Nifti格式，短軸切片約8～10個，相鄰切片之間的距離為10 mm～20 mm。每個Nifti文件包含一個病人心臟不同切面的25幀影像數據，每個病例由200多張圖片組成。33例CMR圖像數據為訓練集，11例為驗證集，11例為測試集。圖7展示了一個病人的一張原始圖像和對應的標簽圖像。

實驗使用的深度學習框架是pytorch，torch==1.2.0，torchvision==0.4.0環境，編譯器為Pycharm，并使用NVIDIA GeForce RTX2080S(8G)進行訓練加速，采用windows10操作系統，編程語言python3.7，每次訓練時間約為12個小時，采用Adam優化器，學習率為0.01，batch size為16，epoch為300，動量參數為0.9。

3.2 數據預處理

首先提取ROI區域，選擇一個正方形區域，包括必要的心臟和不可避免的近鄰。通過傅里葉分析提取第一諧波圖像，在每一個切片相應的心跳頻率上捕獲最大的活動。假設左心室近似于一個圓，對第一次諧波圖像進行canny邊緣檢測。利用圓形霍夫變換方法從邊緣映射中計算出左心室的近似半徑和中心[20]。進而裁剪出感興趣區域，將圖像一致調整成128*128。然后將裁剪后的數據歸一化，避免像素灰度范圍分布較大影響分割效果。另外，使用數據增強對數據進行擴充，防止模型發生過擬合，方法是對輸入的CMR原圖像及其對應的金標準圖像進行平移、縮放、水平和垂直翻轉。

3.3 評價指標

為了檢測模型的分割效果，該文使用Dice系數、召回率(recall)、精確率(precision)和Hausdorff距離(HD)作為評價指標。

Dice系數表示兩個樣本重疊程度，取值范圍是[0，1]。指數越接近于1，分割結果越好。Dice系數如公式(5)所示：

(5)

Hausdorff距離(HD)表示兩個樣本之間的對稱距離，HD數值越小，方法越好。Hausdorff距離如公式(6)所示：

(6)

精確率(precision)表示預測是正的樣本被預測正確的概率。精確率如公式(7)所示：

(7)

召回率(recall)表示樣本中正樣本被預測正確的概率。召回率如公式(8)所示：

(8)

其中，TP表示預測是正例實際上也是正例的樣本，FP表示預測是正例實際上是負例的樣本，FN表示預測是負例實際上是正例的樣本，a、m分別是A、M上的像素點，d是a和m之間的距離。

3.4 實驗結果及分析

基于改進的U-Net網絡對CMR圖像中的左心室、右心室以及心肌的分割結果如圖8所示，其中(a)表示輸入的原始CMR圖像，里面包含了心臟以及除心臟以外的多個組織器官，(b)和(c)分別表示待分割圖像對應的專家標注的標簽圖像和文中模型的預測分割結果。如圖8所示，文中算法能準確地從CMR圖像中分割出心室和心肌，預測結果接近專家手動分割圖像。

為了進一步評價文中算法的分割性能，使用Dice系數、精確率(precision)、召回率(recall)和Hausdorff距離(HD)四個指標分別計算左心室(LV)、右心室(RV)與心肌(Myo)的分割結果，并且使用Dice系數和Hausdorff距離兩個評價指標將文中算法與其他算法進行了比較。

表1為改進的U-Net網絡模型使用交叉熵和Dice組合的混合損失函數對左心室、右心室以及心肌的分割結果。可以看出，左心室的平均Dice系數高于心肌和右心室，平均Hausdorff距離左心室最低，右心室最高，左心室分割效果好，可能是因為左心室與周圍組織之間相對右心室與心肌來說對比比較強烈。右心室有著最低Dice系數和最高Hausdorff距離，可能和右心室不規則形狀以及邊界不清晰有關。

表1 網絡分割評估均值

文中算法與U-Net、DeepLab和研究心臟分割的文獻[17，21]方法進行了比較，每種算法都使用相同的數據集與損失函數，采用Dice系數和Hausdorff兩種指標評估CMR圖像中左心室、右心室和心肌的分割精度。結果如表2所示，相比于其他實驗分割算法，文中算法的分割效果最好，平均Dice系數是0.902，平均Hausdorff距離是4.219 mm。說明文中算法存在一定優勢，分割效果比較理想。

表2 文中算法與其他分割算法對比

4 結束語

針對醫學圖像標注數據量少難以滿足研究需求的問題，使用遷移學習方法，將Xception模型在ImageNet數據集上訓練得到的網絡權重參數和結構對目標網絡進行遷移，提高目標網絡的特征學習能力。針對U-Net網絡丟失邊緣細節信息問題，加入多尺度空洞卷積模塊，提高了CMR圖像切片邊界的分割精度。實驗結果表明，該網絡模型比較完整地保留了CMR圖像的細節特征信息，能夠有效實現左心室、右心室以及心肌的準確分割。