改進(jìn)型U-Net 網(wǎng)絡(luò)的左心室超聲心動(dòng)圖像分割

葛 帥，嚴(yán)加勇，謝利劍，姜遜渭

（1.上海理工大學(xué) 醫(yī)療器械與食品學(xué)院，上海 200093；2.上海健康醫(yī)學(xué)院 醫(yī)療器械學(xué)院，上海 201318；3.上海交通大學(xué)附屬兒童醫(yī)院，上海 200062）

0 引言

超聲心動(dòng)圖是臨床分析人體心臟功能的主要手段之一，左心室（Left Ventricle，LV）的形態(tài)特征是判斷心臟功能的重要生理參數(shù)。要對(duì)左心室形態(tài)特征進(jìn)行計(jì)算和分析，首先要對(duì)左心室圖像進(jìn)行分割。目前，臨床上基本采用手動(dòng)或半自動(dòng)方法對(duì)左心室圖像進(jìn)行分割。醫(yī)生手動(dòng)分割左心室輪廓不僅速度較慢，而且受醫(yī)生經(jīng)驗(yàn)等主觀因素影響，因此設(shè)計(jì)一種全自動(dòng)的分割算法可為臨床醫(yī)生提供極大方便。心臟超聲圖像分割存在以下幾個(gè)難點(diǎn)：①與其他醫(yī)學(xué)圖像相比，超聲圖像存在大量斑點(diǎn)噪聲，給計(jì)算機(jī)的自動(dòng)分割帶來較大困難；②心臟結(jié)構(gòu)復(fù)雜，各個(gè)腔室形狀隨心動(dòng)周期實(shí)時(shí)變化；③不同患者的心臟存在個(gè)體差異，需分割的區(qū)域形狀不規(guī)則。

許多科研人員對(duì)心臟超聲圖像分割算法進(jìn)行了研究。超聲心動(dòng)圖左心室分割方法可分為傳統(tǒng)方法和機(jī)器學(xué)習(xí)方法。傳統(tǒng)方法研究有：Ngo 等［1］提出基于水平集的方法進(jìn)行左心室核磁共振圖像分割；侯彪等［2］使用小波域隱馬爾科夫樹模型進(jìn)行圖像分割；張?bào)K祥等［3］提出基于小波域隱馬爾可夫多尺度圖像分割；張建偉等［4］應(yīng)用活動(dòng)輪廓模型（Active Appearance Models，AAM）對(duì)核磁共振的左心室進(jìn)行分割；徐艷等［5］提出基于Snake 模型的腦部核磁共振圖像分割方法；袁艷紅等［6］將T-snake 模型應(yīng)用于超聲心動(dòng)圖左心室心肌分割；Santiago 等［7］將主動(dòng)形狀模型（Ac?tive Shape Models，ASM）應(yīng)用于核磁共振圖像左心室的分割；樊崇皓［8］提出基于稀疏形狀組合模型對(duì)左心室外膜圖像進(jìn)行分割。此類算法存在如下缺點(diǎn)：①需要人為設(shè)計(jì)圖像局部特征對(duì)像素進(jìn)行聚類或分類；②由于不同患者的心臟大小和形態(tài)存在差異，易造成分割錯(cuò)誤。

近年來，機(jī)器學(xué)習(xí)在圖像分類領(lǐng)域得到成功應(yīng)用，由此應(yīng)用于醫(yī)學(xué)圖像分割領(lǐng)域［9］。Akbari 等［10］提出用支持向量機(jī)算法在超聲圖像上進(jìn)行分割；Yu 等［11］提出一種基于動(dòng)態(tài)CNN 的方案對(duì)左心室輪廓進(jìn)行分割；朱鍇等［12］提出在FCN 的基礎(chǔ)上加入關(guān)鍵點(diǎn)定位和求取圖像凸包方法應(yīng)用于超聲圖像左心室分割；2015 年U-Net 網(wǎng)絡(luò)［13］被提出，之后U-Net 網(wǎng)絡(luò)在醫(yī)學(xué)圖像領(lǐng)域得到了廣泛應(yīng)用，宮霞等［14］使用U-Net 對(duì)淋巴結(jié)超聲圖像進(jìn)行分割，提高了分割精度；邢妍妍等［15］利用融合型U-Net++網(wǎng)絡(luò)對(duì)胎兒頭部的超聲圖像進(jìn)行邊緣檢測。

綜上所述，U-Net 網(wǎng)絡(luò)在超聲圖像分割領(lǐng)域具有良好的應(yīng)用前景，但是直接使用傳統(tǒng)U-Net 網(wǎng)絡(luò)在分割精度上與實(shí)際臨床應(yīng)用需求還存在一定差距。為了提高分割效果，本文采用相應(yīng)策略，如圖像增強(qiáng)［16］以及深度學(xué)習(xí)模型的改進(jìn)等。在圖像增強(qiáng)基礎(chǔ)上，利用底層密集連接與傳統(tǒng)的U-Net 網(wǎng)絡(luò)相結(jié)合，有效增加了特征的復(fù)用，減少了梯度消失現(xiàn)象，從而提高超聲圖像的分割精度。

1 方法

本文提出的超聲圖像左心室自動(dòng)分割算法包括圖像灰度均衡化預(yù)處理及引入密集鏈接的U-Net 網(wǎng)絡(luò)兩個(gè)部分。

1.1 圖像預(yù)處理

超聲的原始圖像通常是扇形束，因此圖片存在大量的黑色背景，為增加后續(xù)網(wǎng)絡(luò)訓(xùn)練的效果、提高最終分割精度，本文對(duì)圖片進(jìn)行灰度均衡化預(yù)處理。

首先統(tǒng)計(jì)圖片有效區(qū)域的各灰度級(jí)i的像素?cái)?shù)目ni，0≤i＜256；然后計(jì)算圖像中灰度為i的像素出現(xiàn)的概率p(i)=ni/n，其中n為ROI 區(qū)域中像素點(diǎn)的總數(shù)；再計(jì)算p(i)的累積分布函數(shù)f(i)=；最后根據(jù)直方圖均衡化公式計(jì)算出ROI 的灰度分布，如式（1）所示。在原圖像的基礎(chǔ)上進(jìn)行預(yù)處理得到灰度均衡化的圖像，如圖1（a）、圖1（b）所示。

Fig.1 The image gray level equalization of the fan-shaped area圖1 扇形區(qū)域圖像灰度均衡化

其中，i代表原始圖像的灰度值，h(i)是均衡化后的灰度值，m 代表圖像尺寸，fmin代表累積分布函數(shù)最小值，round 指四舍五入。

1.2 原始U-Net 網(wǎng)絡(luò)

U-Net 是基于全卷積神經(jīng)網(wǎng)絡(luò)用于圖像分割的經(jīng)典網(wǎng)絡(luò)，網(wǎng)絡(luò)上采樣階段與下采樣階段采用相同數(shù)量層的卷積操作，網(wǎng)絡(luò)左右對(duì)稱，且使用跳躍鏈接結(jié)構(gòu)將下采樣層與上采樣層相連，下采樣層提取到的特征可直接傳遞到上采樣層，使得U-Net 網(wǎng)絡(luò)的像素定位更加準(zhǔn)確，分割精度更高。

1.3 密集連接

在深度學(xué)習(xí)網(wǎng)絡(luò)中，隨著網(wǎng)絡(luò)的加深，梯度消失問題會(huì)愈加明顯，并且深層所得到的高階特征很可能存在表達(dá)不夠精確的問題。對(duì)此在U-Net 最底層采用密集連接[17]來改進(jìn)傳統(tǒng)U-Net 網(wǎng)絡(luò)的卷積層結(jié)構(gòu)。密集連接通過建立若干個(gè)跨層來連通網(wǎng)絡(luò)中距離較遠(yuǎn)的前后層，是一種綜合長連接和短連接策略，其中C 代表卷積層，如圖2 所示。

Fig.2 Dense connection圖2 密集連接

1.4 本文網(wǎng)絡(luò)

本文利用密集連接改進(jìn)了傳統(tǒng)的U-Net 網(wǎng)絡(luò)，模型結(jié)構(gòu)如圖3 所示。每一個(gè)解碼器都包含3 個(gè)卷積層和一次下采樣，并且每次下采樣之后特征通道數(shù)量翻倍。最底層的解碼器包含4 個(gè)卷積層，這些卷積層均密集相連，其他解碼器包含3 個(gè)卷積層和一次上采樣。網(wǎng)絡(luò)總共進(jìn)行4 次下采樣和4 次上采樣，并且每次上采樣之后特征通道數(shù)量減少一半。改進(jìn)后的網(wǎng)絡(luò)具備以下3 點(diǎn)優(yōu)勢：①每層的輸出特征圖都是之后所有層的輸入，加強(qiáng)了特征復(fù)用，更有效提高了特征利用率；②每一層都可以直接利用損失函數(shù)的梯度以及最開始輸入的信息，有助于訓(xùn)練更深的網(wǎng)絡(luò)，防止梯度消失；③最低層的特征圖雖然尺寸最小，但是特征得到了復(fù)用。

Fig.3 A new network combining U-Net network and dense connection圖3 U-Net 網(wǎng)絡(luò)與密集連接結(jié)合的新網(wǎng)絡(luò)

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)數(shù)據(jù)集

本文使用的超聲心動(dòng)圖來源于上海兒童醫(yī)院心外科，數(shù)據(jù)在采集后進(jìn)行了脫敏處理，在使用過程中不涉及患者隱私信息。每個(gè)視頻代表一個(gè)超聲心動(dòng)圖，包含數(shù)個(gè)心動(dòng)周期，每個(gè)視頻選取包含心臟舒張期與收縮期圖像。視頻圖像來自8 名不同患者，在每個(gè)患者數(shù)個(gè)視頻中各選取60張圖片，共480 張圖片。為了應(yīng)對(duì)數(shù)據(jù)量不足問題，本文對(duì)圖像進(jìn)行剛性變換，如旋轉(zhuǎn)、翻轉(zhuǎn)、錯(cuò)切和平移，以及彈性變換，對(duì)訓(xùn)練集的超聲圖像進(jìn)行數(shù)量擴(kuò)充。圖像尺寸為800×600。實(shí)驗(yàn)用其中360 張圖片作為訓(xùn)練集，剩余的120張圖片作為測試集。

2.2 網(wǎng)絡(luò)訓(xùn)練

實(shí)驗(yàn)在CentOS 系統(tǒng)上進(jìn)行，采用Python 語言，在Ten?sorFlow 和Keras框架下實(shí)現(xiàn)，GPU型號(hào)為NVIDIA Tesla P100。實(shí)驗(yàn)首先對(duì)超聲圖像有效區(qū)域進(jìn)行灰度均衡化，并利用圖像擴(kuò)增算法令訓(xùn)練數(shù)據(jù)量提升4 倍。網(wǎng)絡(luò)訓(xùn)練采用自適應(yīng)學(xué)習(xí)率，Adam 優(yōu)化器，損失函數(shù)為Dice 系數(shù)的負(fù)數(shù)，訓(xùn)練迭代次數(shù)為100。

2.3 結(jié)果與分析

本文模型得到的分割結(jié)果如圖4 所示（彩圖掃OSID 碼可見）。金色輪廓是真實(shí)標(biāo)注結(jié)果，紅色輪廓是模型輸出的自動(dòng)分割結(jié)果。從分割結(jié)果可以看出該模型能較好地分割出左心室區(qū)域。

Fig.4 Part of the results圖4 部分分割結(jié)果

本文主要采用Dice 系數(shù)對(duì)分割精度進(jìn)行評(píng)估。Dice系數(shù)用于度量兩個(gè)集合的相似程度，Dice 系數(shù)表達(dá)式如式（2）所示，其中A 代表真實(shí)標(biāo)注結(jié)果的像素點(diǎn)數(shù)量，B 代表模型預(yù)測結(jié)果的像素點(diǎn)數(shù)量，分子是A 與B 像素點(diǎn)的交集兩倍，分母是A 和B 的總像素點(diǎn)之和，所以它的范圍在0-1之間。

本研究采用密集連接與U-Net 網(wǎng)絡(luò)結(jié)合的分割方法，最終的Dice 系數(shù)為91.76%±1.78%。

本文與Graph Cuts、傳統(tǒng)U-Net 以及FCN 方法進(jìn)行對(duì)比［18］，結(jié)果如表1 所示，可以看到本文分割結(jié)果大幅優(yōu)化，更加接近真實(shí)情況，可為后續(xù)臨床提供重要信息。

Table 1 Comparison of results with traditional methods表1 與傳統(tǒng)方法結(jié)果對(duì)比

3 結(jié)語

本文提出一種密集連接與U-Net 網(wǎng)絡(luò)相結(jié)合的超聲心動(dòng)圖左心室自動(dòng)分割方法。通過數(shù)據(jù)擴(kuò)增得到較為充足的訓(xùn)練集，利用圖像灰度均衡化作為預(yù)處理，在分割網(wǎng)絡(luò)中引入密集連接以提高分割效果。實(shí)驗(yàn)證明，本文提出的超聲心動(dòng)圖左心室自動(dòng)分割方法具備較高的分割精度，對(duì)后續(xù)心臟功能分析等具有重要意義。后續(xù)研究計(jì)劃增加標(biāo)注圖像的樣本數(shù)量，并在本文模型的基礎(chǔ)上引入其他結(jié)構(gòu)單元如ResNet 等，以進(jìn)一步提高圖像分割精度。