基于深度學(xué)習(xí)的心臟磁共振圖像分割

張 博

(中南民族大學(xué) 生物醫(yī)學(xué)工程學(xué)院,湖北 武漢 430074)

1 引言

心血管疾病是導(dǎo)致人死亡主要的高致死率的疾病之一，近年來發(fā)病率呈上升趨勢，通過心臟MR圖像的分割，尤其對心室的精確分割，計(jì)算心室容積，是心臟生理功能定量分析的前提，可為多種心臟疾病的臨床診斷提供必要支持，有助于提高診斷效率與精度。因此，尋找一種有效的心臟分割算法實(shí)現(xiàn)心臟的準(zhǔn)確分割是十分重要的。

針對心臟圖像分割，研究人員提出了一系列方法，朱鍇等人[1]針對超聲心動(dòng)圖噪聲大、難以分割等特點(diǎn)，使用了基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)對目標(biāo)區(qū)域定位，然后使用K均值(K-means)算法對目標(biāo)區(qū)域進(jìn)行初始分類，使用一種均值漂移算法對分類后的結(jié)果提取心室區(qū)域，該方法有效克服超聲心動(dòng)圖目標(biāo)邊緣模糊因素對分割心室區(qū)域造成的影響；Lempitsky V等人[2]使用隨機(jī)森林算法分割心臟圖像，將分割問題轉(zhuǎn)化為分類問題，該方法依賴圖像灰度，計(jì)算復(fù)雜度高，頂部與基底切片分割效果較差。

深度學(xué)習(xí)推動(dòng)了醫(yī)學(xué)圖像分析的最新進(jìn)展，在諸如圖像分割、圖像配準(zhǔn)、基于影像的輔助診斷中得到了快速應(yīng)用，從心臟影像中自動(dòng)分割心臟結(jié)構(gòu)是分析正常和病理狀態(tài)下心臟功能的重要步驟。本文實(shí)驗(yàn)采用全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Neural Network, FCN)[3]分割心臟圖像，采用添加批歸一化層(Batch Normalization, BN)[4]和加入不同的損失函數(shù)等改進(jìn)來提升神經(jīng)網(wǎng)絡(luò)性能，最終，使用加權(quán)交叉熵?fù)p失函數(shù)的實(shí)驗(yàn)組在2017 ACDC數(shù)據(jù)集上進(jìn)行了評估，得到最好的分割結(jié)果。

2 網(wǎng)絡(luò)結(jié)構(gòu)

全卷積神經(jīng)網(wǎng)絡(luò)(FCN)是Jonathan Long等人于2015年提出的用于圖像語義分割的框架，整體的網(wǎng)絡(luò)結(jié)構(gòu)分為兩個(gè)部分：全卷積部分和反卷積部分。與CNN網(wǎng)絡(luò)相比，F(xiàn)CN網(wǎng)絡(luò)將CNN網(wǎng)絡(luò)最后的全連接層替換成卷積層。

本文實(shí)驗(yàn)網(wǎng)絡(luò)輸入圖像尺寸為224224，實(shí)驗(yàn)在下采樣路徑中每層卷積后添加批歸一化層，經(jīng)過批歸一化層的圖像通過最大池化層，圖像尺寸減半，圖像反卷積路徑中，首先對Conv7層反卷積，上采樣后的結(jié)果與池化層pool4層融合，融合后的特征圖再反卷積，反卷積后的輸出層與pool3融合，最后采用反卷積層對融合結(jié)果特征圖進(jìn)行上采樣, 使它恢復(fù)到輸入圖像相同的尺寸，從而可以對每個(gè)像素都產(chǎn)生了一個(gè)預(yù)測, 最后在上采樣的特征圖上進(jìn)行逐個(gè)像素分類。經(jīng)典的FCN網(wǎng)絡(luò)直接將全卷積后的結(jié)果上采樣后得到的結(jié)果通常是很粗糙的，因此，增加跳躍結(jié)構(gòu)，將不同池化層的結(jié)果進(jìn)行上采樣，然后結(jié)合這些結(jié)果來優(yōu)化輸出，增加跳躍結(jié)構(gòu)后的FCN網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖1所示。

圖1 FCN網(wǎng)絡(luò)結(jié)構(gòu)示意

3 批歸一化層(Batch Normalization)原理

深度網(wǎng)絡(luò)的訓(xùn)練是一個(gè)復(fù)雜的過程，神經(jīng)網(wǎng)絡(luò)開始訓(xùn)練，其參數(shù)就會(huì)發(fā)生更新，網(wǎng)絡(luò)每一層的輸入數(shù)據(jù)分布會(huì)因?yàn)榍耙粚泳W(wǎng)絡(luò)訓(xùn)練參數(shù)的變化而改變，因此，訓(xùn)練網(wǎng)絡(luò)要使用較小的學(xué)習(xí)率和好的參數(shù)初始化，但這會(huì)增加網(wǎng)絡(luò)訓(xùn)練的時(shí)間并且網(wǎng)絡(luò)會(huì)非常復(fù)雜，規(guī)范層的加入可以較好地解決這個(gè)問題。

規(guī)范層的原理是在網(wǎng)絡(luò)的每層輸入的時(shí)候，插入一個(gè)歸一化層，這個(gè)歸一化層對輸入數(shù)據(jù)作歸一化處理，使數(shù)據(jù)滿足高斯分布，其均值為0，方差為1。這個(gè)歸一化層是一個(gè)可學(xué)習(xí)、有參數(shù)(γ,β)的網(wǎng)絡(luò)層[5]，網(wǎng)絡(luò)中每個(gè)神經(jīng)元均含有這對參數(shù)，歸一化操作后使更多的隨機(jī)分界面調(diào)整到數(shù)據(jù)分布中，加速網(wǎng)絡(luò)收斂，降低網(wǎng)絡(luò)過擬合，在網(wǎng)絡(luò)迭代過程中，能夠?qū)⑸弦粚拥臄?shù)據(jù)分布恢復(fù)到初始狀態(tài)，避免網(wǎng)絡(luò)適應(yīng)學(xué)習(xí)新的數(shù)據(jù)分布。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)簡介

實(shí)驗(yàn)數(shù)據(jù)集來自于MICCAI 2017年自動(dòng)心臟挑戰(zhàn)比賽(Automated Cardiac Diagnosis Challenge, ACDC)[9]短軸心臟MR圖像。公開的數(shù)據(jù)集包括100例病人的心臟短軸圖像，每個(gè)病人包含心舒張末期(End-Diastolic, ED)與心收縮末期(End-Systole, ES)兩組圖像。圖像空間分辨率為0.70 mm×0.70 mm至1.92 mm×1.92 mm。金標(biāo)準(zhǔn)圖像中包含四個(gè)像素區(qū)域：0代表背景，1代表右心室，2代表左心室心肌，3代表左心室。它們可用于每個(gè)病人的心室舒張末期和收縮末期。

由于該數(shù)據(jù)集的測試集是不公開的，將100個(gè)病人圖像分為包含70例病人樣本的訓(xùn)練集和15例病人樣本的驗(yàn)證集，剩余15例患者的MR圖像作為測試集。如圖2分別表示的是一個(gè)病人的心臟切片原始圖像和對應(yīng)的金標(biāo)準(zhǔn)。

4.2 評估標(biāo)準(zhǔn)

為了評估分割后圖像與標(biāo)簽圖像的相似度，使用了三種評估系數(shù)：Dice系數(shù)(Dice coefficient)、豪斯多夫距離(Hausdorff Distance, HD)[10]、平均對稱表面距離(Average Symmetric Surface Distance, ASSD)，這三種是評估醫(yī)學(xué)圖像分割好壞的常用指標(biāo)。

Dice系數(shù)是衡量兩個(gè)分割結(jié)果與金標(biāo)準(zhǔn)圖像之間的重合程度：

(1)

式(1)中，A表示真實(shí)值(ground truth)，B表示經(jīng)過softmax層輸出后的結(jié)果，是經(jīng)過網(wǎng)絡(luò)模型分割后得到的心臟圖像。Dice系數(shù)的范圍為0到1：Dice值趨近1，表明心臟圖像分割的效果好；Dice值趨近0，表明和心臟圖像分割效果不好，與金標(biāo)準(zhǔn)圖像重合程度低。

圖2 心臟原始圖像及金標(biāo)準(zhǔn)

豪斯多夫距離是指某一集合中離另一集合最近點(diǎn)的所有距離的最大值：

(2)

式(2)中，A表示金標(biāo)準(zhǔn)圖像，B表示分割結(jié)果，d(a,b)計(jì)算的是歐氏距離。平均對稱表面距離是基于表面距離的度量指標(biāo)，A指的是金標(biāo)準(zhǔn)的表面像素S(A)與分割結(jié)果B的表面像素S(B)之間的距離：

(∑SA∈S(A)d(SA,S(B))+∑SB∈S(B)d(SB,S(A)))

(3)

式(3)中，A表示金標(biāo)準(zhǔn)圖像，B表示分割結(jié)果，S(A)與S(B)分別表示A與B的表面像素的集合，d(SA,S(B))表示S(A)上任意一點(diǎn)到S(B)上所有點(diǎn)的歐氏距離的最小值(表1、表2)。

表1 基于改進(jìn)的FCN網(wǎng)絡(luò)的兩種損失函數(shù)的平均分割精度對比

表2 基于改進(jìn)的FCN網(wǎng)絡(luò)分割精度值

4.3 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)采用改進(jìn)的FCN網(wǎng)絡(luò)分割心臟MR圖像的左、右心室及心肌，網(wǎng)絡(luò)訓(xùn)練添加不同損失函數(shù)，使用Dice系數(shù)和平均對稱表面距離兩種評估指標(biāo)評估ED、ES階段左、右心室和心肌分割結(jié)果，并統(tǒng)計(jì)兩個(gè)階段分割結(jié)果的均值，如表1所示。像素級的交叉熵?fù)p失函數(shù)與加權(quán)的交叉熵?fù)p失函數(shù)兩組實(shí)驗(yàn)的Dice系數(shù)基本相同，但是，加權(quán)的交叉熵?fù)p失函數(shù)實(shí)驗(yàn)組的對稱表面距離系數(shù)較小，得到更好的實(shí)驗(yàn)結(jié)果，本文實(shí)驗(yàn)選擇加權(quán)的交叉熵?fù)p失函數(shù)作為神經(jīng)網(wǎng)絡(luò)損失函數(shù)。

改進(jìn)的FCN網(wǎng)絡(luò)使用加權(quán)的交叉熵?fù)p失函數(shù)，得到的網(wǎng)絡(luò)模型用于分割ED、ES階段左、右心室和心肌，統(tǒng)計(jì)實(shí)驗(yàn)的分割精度值，統(tǒng)計(jì)結(jié)果如表2。數(shù)據(jù)表明ED階段左心室Dice系數(shù)最高，ES階段右心室最低，ES階段右心室有最高的Hausdorff距離和最低的Dice系數(shù)，說明此方法存在右心室分割困難的問題，這可能與病人右心室發(fā)生器質(zhì)性病變有關(guān)。圖3是改進(jìn)的FCN網(wǎng)絡(luò)在ED與ES階段測試集的分割結(jié)果。從左到右，第一列為原始圖像，第二列為分割結(jié)果，第三列為對應(yīng)的真實(shí)值，圖中紅色、綠色、藍(lán)色區(qū)域分別代表右心室、心肌、左心室。第二列的分割結(jié)果表明，該方法能分割出比較準(zhǔn)確的結(jié)果，但是在某些圖像切片上分割結(jié)果較差，導(dǎo)致這樣的結(jié)果可能是該切片包含心室像素太少，心室邊界有時(shí)難以確認(rèn)。

本文所使用數(shù)據(jù)集圖像數(shù)量是不充足的，數(shù)據(jù)增強(qiáng)操作對本文十分必要，它有利于提高網(wǎng)絡(luò)學(xué)習(xí)特征的準(zhǔn)確度。通過隨機(jī)裁剪，旋轉(zhuǎn)、翻轉(zhuǎn)操作來擴(kuò)充實(shí)驗(yàn)圖像數(shù)量。所有訓(xùn)練模型均使用GPU，顯卡版本為 NVIDIA GeForce RTX 1080Ti，網(wǎng)絡(luò)訓(xùn)練模型花費(fèi)大約11 h。

圖3用于測試的ACDC訓(xùn)練集子集上的心臟周期的ED與ES階段的分割結(jié)果

5 結(jié)語

針對心臟MR圖像特點(diǎn)，本文采用改進(jìn)的FCN網(wǎng)絡(luò)，通過在網(wǎng)絡(luò)中添加批歸一化層，同時(shí)使用不同的損失函數(shù)，對實(shí)驗(yàn)結(jié)果影響較大。在后續(xù)研究中，探索新的優(yōu)化數(shù)據(jù)預(yù)處理方法，保留更多的圖像特征；此外，可通過將其他網(wǎng)絡(luò)結(jié)構(gòu)引入FCN網(wǎng)絡(luò)下采樣過程，改進(jìn)下采樣過程，增強(qiáng)網(wǎng)絡(luò)的學(xué)習(xí)能力，提高訓(xùn)練網(wǎng)絡(luò)分割精度。