全局特征及多層次特征聚合的冠脈分割算法

顧 佳，方志軍，田方正

上海工程技術(shù)大學(xué)電子電氣工程學(xué)院，上海201600

心血管疾病是全球最常見的死亡原因之一，心血管疾病大多數(shù)由冠狀動脈病變引起，具有發(fā)病率高、死亡率高的特點(diǎn)。現(xiàn)代經(jīng)濟(jì)迅速發(fā)展，人們各方面壓力加大，心血管疾病的患病率更是不斷上升，對人類的健康有著嚴(yán)重的威脅[1]。冠心病可以通過有創(chuàng)的方式診斷，主要方法為通過壓力導(dǎo)絲，由大臂內(nèi)測插入，直達(dá)心臟，通過計(jì)算血流儲備分?jǐn)?shù)（fractional flow reserve，F(xiàn)FR）值的方式診斷病癥。FFR 是指損傷后的壓力相對于損傷前的壓力[2]。冠狀動脈計(jì)算機(jī)斷層掃描血管造影（computed tomographic angiography，CTA）是一種有效的替代直接侵入性造影的方法，可以檢測冠狀動脈病變，如狹窄[3]。有經(jīng)驗(yàn)的醫(yī)生可以通過對冠脈CTA 圖像的分析，識別出冠脈的病變部位，但是心血管疾病的專家在手動測量或者視覺觀察的過程中會存在主觀判斷的誤差。因此基于CTA 圖像的冠狀動脈立體分割成為冠心病輔助診斷的關(guān)鍵技術(shù)。

從研究或者應(yīng)用的角度來說，冠脈自動分割有以下三方面意義：（1）醫(yī)生在把握冠脈整體結(jié)構(gòu)下才可以精準(zhǔn)診斷，二維的冠脈CTA 圖像切片三維信息不足，準(zhǔn)確的冠脈分割可以為冠脈三維重建打下堅(jiān)實(shí)的基礎(chǔ)；（2）精準(zhǔn)的冠脈分割，可以提供冠脈血管橫截面積、直徑、密度值、壓力值等參數(shù)，并有效地輔助診斷冠脈狹窄等疾病；（3）全自動的冠脈分割可以有效地幫助醫(yī)生對冠脈進(jìn)行分析，節(jié)省醫(yī)生大量的時(shí)間。因此冠脈血管精準(zhǔn)的分割在研究與應(yīng)用領(lǐng)域具有重要價(jià)值。但是由于受設(shè)備不同、病人不同、造影劑不均勻分布以及存在脊柱、肋骨和心肌等其他一些軟組織構(gòu)成的重疊偽影等因素的影響，使得冠狀動脈在CTA 圖像中的清晰度存在較大差異，精確地分割冠脈的輪廓是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。

在先前的文獻(xiàn)中已經(jīng)提出了各種方法來從醫(yī)學(xué)圖像中分割血管。目前常用的冠脈血管分割算法主要分為傳統(tǒng)算法和基于深度學(xué)習(xí)的分割網(wǎng)絡(luò)。傳統(tǒng)的冠脈分割方法大致分為域生長方法[4-5]、活動輪廓模型[6]、統(tǒng)計(jì)模型[7]和中心線方法[8]。近年來深度學(xué)習(xí)技術(shù)興起，隨其快速發(fā)展，各種基于深度學(xué)習(xí)的算法被應(yīng)用到醫(yī)學(xué)圖像的處理任務(wù)中，特別是在圖像分割領(lǐng)域[9-10]。早期基于深度學(xué)習(xí)的方法使用圖像塊和滑動窗口塊來遍歷圖像[11]。但是滑動窗口方法需要進(jìn)行大量的計(jì)算，并且不會使用全文整體的信息，因此該方法目前已經(jīng)較少使用。自2014 年以來，全卷積網(wǎng)絡(luò)（fully convolutional networks，F(xiàn)CN）[12]開始用于圖像分割領(lǐng)域。之后誕生了編碼器-解碼器網(wǎng)絡(luò)和U-Net[13]用于醫(yī)學(xué)圖像分割，取得了良好的效果。后來在U-Net的基礎(chǔ)上，又延伸出了許多新的網(wǎng)絡(luò)架構(gòu)[14-16]，這些新的網(wǎng)絡(luò)架構(gòu)均提升對醫(yī)學(xué)圖像分割的性能。但是以上神經(jīng)網(wǎng)絡(luò)的構(gòu)造均采用二維卷積核的構(gòu)造方式。為了使醫(yī)學(xué)圖像的不同切片之間的空間信息被充分利用，許多研究人員引入了3D 卷積神經(jīng)網(wǎng)絡(luò)的概念，比如3D-FCN[17]、3D-U-Net[18]和V-Net[19]。針對冠脈圖像的分割，近兩年在傳統(tǒng)算法[9,20-21]以及深度學(xué)習(xí)算法[22-27]上都涌現(xiàn)出了很多優(yōu)秀的工作。

盡管傳統(tǒng)算法以及深度學(xué)習(xí)在冠脈血管的分割中取得了較好的結(jié)果，但是上述的方法中均沒有對冠脈CTA 圖像進(jìn)行很好的預(yù)處理。冠脈CTA 圖像存在很多噪聲，這些噪聲會對最終的分割結(jié)果產(chǎn)生不良影響。有效的噪聲過濾可以在一定程度上提高圖像分割的準(zhǔn)確性。此外，F(xiàn)CN、U-Net、V-Net等經(jīng)典深度學(xué)習(xí)算法沒有綜合利用前后的特征信息，使得分割結(jié)果不細(xì)膩。本文創(chuàng)新性地提出了全局特征及多層次特征聚合網(wǎng)絡(luò)。全局特征模塊利用自適應(yīng)的方法實(shí)現(xiàn)對原始CTA 圖像的過濾。使用多級V-Net 串聯(lián)的方式提取多層次的特征，最終通過將多層次特征融合的方式實(shí)現(xiàn)冠脈血管的準(zhǔn)確分割。為了更好地利用特征信息，設(shè)計(jì)了較深的網(wǎng)絡(luò)，由此可能帶來梯度消失的問題，采用深度監(jiān)督[28]的方式避免了這種情況的出現(xiàn)。

總的來說，基于全局特征嵌入及多層次特征聚合的冠脈CTA 分割算法，主要貢獻(xiàn)如下：

（1）提出了一種利用全局特征對原始CTA 圖像去噪的方法，全局特征模塊通過綜合早期和后期的特征信息，融合了豐富的細(xì)節(jié)和語義信息，這種去噪的方法會在網(wǎng)絡(luò)訓(xùn)練期間自適應(yīng)地優(yōu)化。

（2）采用神經(jīng)網(wǎng)絡(luò)深度較少的薄V 形結(jié)構(gòu)，構(gòu)造了多級細(xì)化V 形模塊，用于在全局特征的基礎(chǔ)上產(chǎn)生細(xì)化后的多級特征。利用不同層次特征之間優(yōu)勢的互補(bǔ)，得到精準(zhǔn)的冠脈分割圖像。

（3）在網(wǎng)絡(luò)結(jié)構(gòu)中，在每一個(gè)細(xì)化V 形模塊之后引入了深度監(jiān)督機(jī)制，抑制了多層次特征聚合中噪聲的疊加，避免梯度爆炸，使模型收斂速度更快，識別能力更好。

1 相關(guān)工作

冠脈血管分割是現(xiàn)代醫(yī)學(xué)影像輔助診斷過程中的關(guān)鍵步驟之一。在利用CTA 圖像對冠脈進(jìn)行分割的過程中需要關(guān)注冠脈以及冠脈CTA 圖像的特點(diǎn)。首先冠脈是一個(gè)立體的樹狀結(jié)構(gòu)，冠脈CTA 圖像的切片是二維的形式；冠脈CTA 圖像中，冠脈的灰度信息與背景相差較大，但是其與骨骼和心臟區(qū)域的灰度信息相近。在冠脈分割的研究方法中，都充分考慮了以上的特點(diǎn)。在各類冠脈CTA 圖像中，每年都會涌入一些先進(jìn)的算法，總的來說共分為傳統(tǒng)算法與深度學(xué)習(xí)算法兩種方式。

1.1 傳統(tǒng)算法在冠脈分割中的應(yīng)用

黎麗華等人[4]和Cai 等人[5]結(jié)合形態(tài)學(xué)方法和區(qū)域生長方法從冠狀動脈計(jì)算機(jī)斷層血管造影（coronary computed tomography angiography，CCTA）數(shù)據(jù)中分割心腔和冠狀動脈。Hernandez 等人[6]將通過K-最近鄰非參數(shù)估計(jì)方法估計(jì)的血管幾何特征的分布加入能量函數(shù)中，以解決血管組織中灰度的不均勻分布。Lacoste 等人[7]提出了一種使用馬爾可夫標(biāo)記在二維圖像中分割冠狀動脈并獲得良好結(jié)果的方法。Zhao 等人[8]使用Hessian 矩陣增強(qiáng)了原始CCTA圖像中血管的對比度，然后使用運(yùn)動球模型對冠狀動脈中心線進(jìn)行提取。Ma 等人[20]提出了一種基于環(huán)形和球形區(qū)域生長的冠狀動脈自動分割方法。該方法根據(jù)二維圖像中血管形狀的特點(diǎn)將區(qū)域劃分為一系列環(huán)形區(qū)域，而空間則根據(jù)三維圖像中血管的形狀和趨勢劃分為球形區(qū)域。Ge 等人[21]通過帶有幾何特征和響應(yīng)函數(shù)的Hessian 矩陣特征值特征向量初步提取冠狀動脈圖像中的潛在血管。將新的正則化和面積約束引入局部數(shù)據(jù)能量擬合函數(shù)。然后在水平集函數(shù)的演變中獲得冠狀動脈圖像的精度。鄭永昌等人[29]利用方向聚類對冠狀動脈進(jìn)行分割，該方法使用閉運(yùn)算及灰度拉伸對影像進(jìn)行預(yù)處理，最后通過聚類法跟蹤冠脈方向，實(shí)現(xiàn)對冠脈的分割。Liu等人[30]提出了一個(gè)新的無監(jiān)督集成策略來自動組合多個(gè)分割結(jié)果以獲得準(zhǔn)確的視網(wǎng)膜血管結(jié)果。該工作將許多傳統(tǒng)分割算法的結(jié)果集合起來，充分發(fā)揮了每種方法的優(yōu)勢。

1.2 深度學(xué)習(xí)在醫(yī)學(xué)圖像分割中的應(yīng)用

Long 等人[12]在原有的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）結(jié)構(gòu)下，對神經(jīng)網(wǎng)絡(luò)進(jìn)行擴(kuò)充，未采用全連接層的方式對圖像進(jìn)行像素級預(yù)測。Ronneberger 等人[13]利用跳線的方式，將編碼器中的特征圖疊加到對應(yīng)的解碼器中的特征圖中，提高了醫(yī)學(xué)圖像的分割精度。Fu 等人[14]采用多尺度輸入層構(gòu)建圖像金字塔以實(shí)現(xiàn)多級感受野大小，并使用U 形卷積網(wǎng)絡(luò)作為主體網(wǎng)絡(luò)結(jié)構(gòu)來學(xué)習(xí)豐富的層次表示，利用側(cè)輸出層則作為早期分類器，為不同尺度層生成伴隨局部預(yù)測圖。Gibson 等人[15]提出了編碼器塊中的密集連接，使用新的模塊來替換U-Net 架構(gòu)中的一些塊以增強(qiáng)特征學(xué)習(xí)能力。Gu 等人[16]在U-Net的瓶頸部分插入一個(gè)密集的空洞卷積塊（dense atrous convolution，DAC）和一個(gè)剩余的多核池塊（residual multi-kernel pooling，RMP），以提取和保存更多的空間環(huán)境。Yu 等人[31]提出了一種從粗到精的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索方法來實(shí)現(xiàn)3D 醫(yī)學(xué)圖像分割。該方法可以在不影響網(wǎng)絡(luò)規(guī)模或輸入規(guī)模的情況下，從零開始自動搜索3D 圖像網(wǎng)絡(luò)。Fang 等人[32]提出了一種新的具有區(qū)域和邊界約束的選擇性特征聚集網(wǎng)絡(luò)進(jìn)行息肉的自動分割。該方法使用了一個(gè)共享編碼器和兩個(gè)相互約束的解碼器，分別用于預(yù)測息肉區(qū)域和邊界。

1.3 深度學(xué)習(xí)在冠脈血管分割中的應(yīng)用

Chen 等人[22]提出了一種三維多通道U-Net 結(jié)構(gòu)，將血管圖結(jié)合到U-Net 的輸入中，U-Net 用作突出冠狀動脈管狀結(jié)構(gòu)的增強(qiáng)信息。Wolterink 等人[23]使用圖形卷積網(wǎng)絡(luò)（graph convolutional network，GCN）來預(yù)測分割冠狀動脈腔的管狀表面網(wǎng)格中頂點(diǎn)的空間位置。Fu 等人[24]使用Mask R-CNN 進(jìn)行冠狀動脈分割，在使用神經(jīng)網(wǎng)絡(luò)訓(xùn)練之前對肺部區(qū)域進(jìn)行掩蓋，避免了肺血管的干擾。Kong 等人[25]提出了一種新穎的樹結(jié)構(gòu)卷積門控循環(huán)單元（convolutional gated recurrent unit，ConvGRU）模型來學(xué)習(xí)冠狀動脈的解剖結(jié)構(gòu)。Blaiech 等人[26]提出了基于U-Net 架構(gòu)的深度神經(jīng)網(wǎng)絡(luò)，以改進(jìn)冠狀動脈圖像的分割任務(wù)。Wang 等人[27]以血管造影視頻的幾個(gè)連續(xù)幀為輸入，通過結(jié)合了3D 和2D 卷積，對視頻序列提取空間信息，最終獲得冠脈血管的分割結(jié)果。Yu 等人[33]提出了一種基于知識轉(zhuǎn)移的形狀一致性生成對抗網(wǎng)絡(luò)，該方法利用公開的帶注釋的眼底數(shù)據(jù)集的知識來分割冠狀動脈。

2 方法

全局特征嵌入及多層次特征聚合網(wǎng)絡(luò)的總體結(jié)構(gòu)如圖1 所示，主要由全局特征模塊、特征融合與V形細(xì)化多層次特征聚合模塊以及深度監(jiān)督三個(gè)模塊組成。首先全局特征嵌入模塊通過原始的CTA 圖像獲得全局特征，并且將獲得的全局特征作為基礎(chǔ)特征；然后基礎(chǔ)特征通過第一層V 形細(xì)化模塊獲得第一層細(xì)化特征，進(jìn)而融合基礎(chǔ)特征和第一細(xì)化特征并送入第二層V 形模塊獲得第二層細(xì)化特征，以此類推，得到不同層次的細(xì)化特征；最后，通過將不同層次的細(xì)化特征融合，獲得最終冠脈分割后的圖像。在每一個(gè)V 形細(xì)化模塊之后都加入了深度監(jiān)督機(jī)制，來避免網(wǎng)絡(luò)在訓(xùn)練的過程中出現(xiàn)梯度消失的問題。全局特征模塊對圖像進(jìn)行過濾，使得原始的CTA 圖像在保留更多的細(xì)節(jié)信息突出語義信息的同時(shí)去除了更多的噪聲。特征融合V 形細(xì)化模塊對基礎(chǔ)特征進(jìn)行精細(xì)化的特征提取，獲得不同層次的細(xì)化特征，保證細(xì)節(jié)信息以及語義信息充分結(jié)合，使得最終輸出的分割結(jié)果更加精確。

本文提出的網(wǎng)絡(luò)是一種新型的網(wǎng)絡(luò)。該網(wǎng)絡(luò)以CTA 圖像為輸入，以端到端的方式輸出分割結(jié)果。在CTA 圖像中，除冠脈以外存在很多的噪聲，因此，單憑CTA 圖像很難確定冠狀動脈的具體位置。由于血管在空間上是連續(xù)的，因此分析CTA 圖像的三維空間信息非常重要。為了充分編碼CTA 圖像切片之間的相關(guān)性，以學(xué)習(xí)冠狀動脈的先驗(yàn)形狀和三維時(shí)間相關(guān)性，文中設(shè)計(jì)的網(wǎng)絡(luò)中的所有層都是以三維格式構(gòu)建的。

2.1 全局特征模塊

為了對CTA 圖像去噪，設(shè)計(jì)了全局特征模塊。如圖2 左側(cè)所示，全局特征模塊具有五個(gè)下采樣模塊，用于CTA 圖像的過濾（特征提取）。在每個(gè)模塊中，使用5×5×5 卷積核、批量歸一化（batch normalization，BN）和帶參數(shù)的非線性激活函數(shù)（parametric rectified linear unit，PReLU）來提取特征。BN 將各層的數(shù)據(jù)分布強(qiáng)制轉(zhuǎn)換為正態(tài)分布，使得網(wǎng)絡(luò)的收斂速度加快。PReLU 是帶有參數(shù)的非線性激活單元，用來非線性激活標(biāo)準(zhǔn)化數(shù)據(jù)。顧名思義，它是帶參數(shù)的ReLU（rectified linear unit）。在整個(gè)網(wǎng)絡(luò)中，所有的激活函數(shù)均采用PReLU。PReLU 具體定義如下：

Fig.1 Overall algorithm flow chart圖1 總體算法流程圖

Fig.2 Global feature module圖2 全局特征模塊

其中，xi是函數(shù)輸入不同通道的張量，ai是與其對應(yīng)的參數(shù)。PReLU 是每個(gè)通道都有一個(gè)帶有不同參數(shù)的激活函數(shù)（ReLU）。在網(wǎng)絡(luò)訓(xùn)練過程中，ai是動態(tài)的，其變化過程如下：

其中，μ為動量，?為學(xué)習(xí)率，ε為目標(biāo)函數(shù)。

在第一個(gè)模塊中得到layer 1，在其他4 個(gè)下采樣模塊中，每個(gè)下采樣模塊得到3 個(gè)特征圖。在4 個(gè)模塊中，通過融合每一個(gè)模塊的第一層和最后一層分別得到layer 2…5，這種融合方式可以形成殘差函數(shù)，使網(wǎng)絡(luò)在短時(shí)間內(nèi)收斂。為避免池化層在降維的過程中因丟失信息對分割精確度的影響，在每個(gè)模塊之間的連接處，使用步長為2 的2×2×2 卷積核代替最大池化層來降低特征圖的分辨率。

如圖1 右側(cè)所示，利用反卷積對每個(gè)下采樣模塊的最后一個(gè)特征圖進(jìn)行解碼。具體來說，將layer 2…5，用反卷積逐步放大，直到達(dá)到與輸入圖像相同的大小，得到feature 2…5。在上采樣部分使用2×2×2反卷積核、BN 和非線性激活函數(shù)ReLU 進(jìn)行解碼。

為了更好地過濾掉CTA 圖像中的無關(guān)信息，根據(jù)淺層特征圖具有豐富的細(xì)節(jié)信息，但語義信息不足；深度特征圖具有較高層次的語義信息，同時(shí)也丟失了大量的細(xì)節(jié)信息這一特性設(shè)計(jì)了全局特征模塊，目的是得到一個(gè)較好的預(yù)處理的圖像。如圖3 中的feature 2 所示，它包含類似于邊的詳細(xì)信息，而feature 5 包含高級語義信息。高層次的語義特征使網(wǎng)絡(luò)能夠識別冠狀動脈并找到冠狀動脈的位置，而細(xì)節(jié)特征則能夠細(xì)化冠狀動脈的邊緣。全局特征是在feature 2…5 這4 個(gè)特征圖上使用1×1×1 卷積將其加權(quán)平均得到的。全局特征包含早期和后期的綜合信息，融合了豐富的細(xì)節(jié)和語義信息。冠脈CTA 圖像中的血管受造影劑的影響會顯示高亮的效果，其特征比較強(qiáng)烈。3D 卷積核在幾何空間中對CTA 圖像進(jìn)行過濾時(shí)會保留特征強(qiáng)烈的區(qū)域，全局特征模塊融合了較為前面的特征圖，因此在對CTA 圖像進(jìn)行過濾操作的時(shí)候可以盡可能地保持有效信息完整性。

Fig.3 Visualization diagram of global feature module圖3 全局特征模塊可視化示意圖

從圖3 可以看出，全局特征圖是對原始CTA 圖像一個(gè)很好的過濾。將全局特征圖作為基礎(chǔ)特征，送入V 形細(xì)化網(wǎng)絡(luò)進(jìn)行進(jìn)一步優(yōu)化。全局特征對最后得到較為精準(zhǔn)的分割結(jié)果打下了堅(jiān)實(shí)的基礎(chǔ)。

2.2 特征融合與V形細(xì)化多層次特征聚合模塊

全局特征模塊通過利用早期和后期的綜合信息，以及豐富的細(xì)節(jié)和語義信息對原始的CTA 圖像進(jìn)行了很好的過濾，產(chǎn)生了基礎(chǔ)特征。為了簡化書寫形式，將基礎(chǔ)特征記為BF。基礎(chǔ)特征BF 為后續(xù)V形細(xì)化網(wǎng)絡(luò)提供了多級的語義信息。將基礎(chǔ)特征BF與前一個(gè)V 形細(xì)化網(wǎng)絡(luò)輸出的特征圖的融合特征記為BFVF。多個(gè)V 形細(xì)化網(wǎng)絡(luò)與BFVF 交替疊加，輸出不同層次的特征圖。具體來說，BFVF 融合了前一個(gè)V 形細(xì)化網(wǎng)絡(luò)輸出的特征圖與基礎(chǔ)特征BF。融合后的特征圖BFVF 被送入下一個(gè)V 形細(xì)化網(wǎng)絡(luò)。值得注意的是，第一個(gè)V 形細(xì)化網(wǎng)絡(luò)沒有利用任何其他V 形細(xì)化網(wǎng)絡(luò)的先驗(yàn)知識，它只是從基礎(chǔ)特征BF 中學(xué)習(xí)。輸出的多尺度特征計(jì)算如下：

其中，xBF表示基礎(chǔ)特征BF，表示在第l個(gè)V 形細(xì)化網(wǎng)絡(luò)輸出的細(xì)化特征，L表示V 形細(xì)化網(wǎng)絡(luò)的數(shù)量，Tl表示第l個(gè)V 形細(xì)化網(wǎng)絡(luò)的運(yùn)算處理，F(xiàn) 表示基礎(chǔ)特征xBF與前一個(gè)V 形細(xì)化網(wǎng)絡(luò)輸出的特征圖的融合處理。

2.2.1 特征融合

BFVF 融合了基礎(chǔ)特征與細(xì)化V 形網(wǎng)絡(luò)產(chǎn)生的不同層次的特征，這對于最終的特征融合至關(guān)重要。特征融合模塊提取前一個(gè)細(xì)化V 形網(wǎng)絡(luò)輸出的特征與基礎(chǔ)特征，這兩個(gè)特征圖與輸入具有相同的尺度。特征融合模塊使用級聯(lián)操作來聚合這些特征映射，然后使用1×1×1 卷積層來減少特征的通道，為下一個(gè)細(xì)化V 形網(wǎng)絡(luò)生成融合后的特征BFVF。特征融合模塊的結(jié)構(gòu)細(xì)節(jié)如圖4 所示。

2.2.2 細(xì)化V 形網(wǎng)絡(luò)

Fig.4 Fusion of basic features and output features of refined V-shape network圖4 基礎(chǔ)特征與細(xì)化V 形網(wǎng)絡(luò)輸出特征融合

細(xì)化V 形模塊采用網(wǎng)絡(luò)深度較淺的V 形結(jié)構(gòu)，如圖1 所示。細(xì)化V 形模塊的下采樣部分采用2×2×2的卷積核、BN 和PReLU 來提取特征。上采樣部分，每層通過跳線的方式級聯(lián)與之對應(yīng)的下采樣層，通過2×2×2 的反卷積核對其進(jìn)行逐步放大，直到與輸入的尺寸相同。每個(gè)細(xì)化V 形模塊的輸出，構(gòu)成了多尺度的特征。具體來說，除第一個(gè)細(xì)化V 形模塊的輸入是基礎(chǔ)特征以外，第二層以及以后的細(xì)化V 形模塊的輸入均是基礎(chǔ)特征與上一個(gè)細(xì)化V 形模塊輸出的結(jié)合。這種方式主要是避免網(wǎng)絡(luò)在后面的學(xué)習(xí)中，遺忘之前的信息。因此，前面的細(xì)化V 形模塊主要提供淺層細(xì)節(jié)特征，后面的細(xì)化V形模塊提供深層語義特征。

2.2.3 多層特征融合

多層特征融合的目的是將細(xì)化V 形模塊生成的多級特征聚合到一起。沿通道將細(xì)化V 形模塊生成的多級特征連接在一起，前面的特征偏向于細(xì)節(jié)信息，后面的特征偏向于語義信息。為了使細(xì)節(jié)信息和語義信息能夠進(jìn)行很好的融合，采用了比較簡單的1×1×1 卷積核的方式。1×1×1 卷積核對連接在一起的特征圖在通道上進(jìn)行類似加權(quán)平均的操作，由于1×1×1 卷積核的參數(shù)是通過反向傳播學(xué)習(xí)的，因此在網(wǎng)絡(luò)訓(xùn)練的過程中，不改變特征圖分辨率的情況下，鼓勵特征關(guān)注它們最受益的通道。再次使用1×1×1 卷積核來生成與輸入體積相同大小的輸出。然后通過Softmax 將它轉(zhuǎn)換為前景和背景區(qū)域的概率，來獲得預(yù)測的分割圖像。

細(xì)化V 形模塊默認(rèn)配置為3 個(gè)，每個(gè)細(xì)化V 形模塊有5個(gè)下采樣和4個(gè)上采樣。為了減少參數(shù)的數(shù)量，每個(gè)上采樣或者下采樣只使用1 個(gè)卷積核進(jìn)行操作。

2.3 深度監(jiān)督與損失函數(shù)

2.3.1 深度監(jiān)督

深度學(xué)習(xí)有一個(gè)主要問題是存在梯度消失，這會導(dǎo)致早期層中的損失反向傳播無效。這種問題在三維格式構(gòu)建的網(wǎng)絡(luò)中可能更加嚴(yán)重。由于設(shè)計(jì)的網(wǎng)絡(luò)層次較深，這不可避免地會降低收斂速度并降低模型的辨別能力。在每一個(gè)細(xì)化V 形模塊的輸出位置增加一些額外監(jiān)控來抵消梯度消失的不利影響。具體而言，在每一個(gè)細(xì)化V 形模塊的輸出層使用Softmax 將其轉(zhuǎn)換為前景和背景區(qū)域的概率，對每一層的細(xì)化V形模塊的輸出進(jìn)行預(yù)測。利用這些預(yù)測與手動標(biāo)注的分割圖像的梯度，減輕梯度消失的影響。

具體來說，全局特征模塊共有25 層特征圖，每個(gè)細(xì)化V 形模塊有10 層特征圖，整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)共有57層特征圖。以W和Wvi分別表示主干網(wǎng)絡(luò)和深度監(jiān)督的分支權(quán)重，則有：

輸出層Softmax 表示為：

其中，Xi表示第i層的特征圖，Pi表示第i層的預(yù)測輸出。

戴斯相似性系數(shù)（Dice similarity coefficient，DSC）作為損失函數(shù)，具體的DSC 定義會在2.3.2 小節(jié)給出。

W和Wvi分別表示主干網(wǎng)絡(luò)和深度監(jiān)督的分支權(quán)重，T代表基本真值（手工標(biāo)記標(biāo)簽），Pi表示第i層的預(yù)測輸出，則主干網(wǎng)絡(luò)的損失函數(shù)為：

深度監(jiān)督的分支損失函數(shù)分別為：

通過上式可以看出，所有分支結(jié)構(gòu)中的卷積權(quán)重都會被關(guān)聯(lián)到主干網(wǎng)絡(luò)的卷積權(quán)重，深度監(jiān)督分支的損失函數(shù)取決于W，而不是Wvi。

2.3.2 損失函數(shù)

在醫(yī)學(xué)圖像分割中，通常需要高精度的分割結(jié)果。對于高精度分割結(jié)果采集，損失函數(shù)是優(yōu)化模型的關(guān)鍵。損失函數(shù)用于通過計(jì)算網(wǎng)絡(luò)模型預(yù)測的分割結(jié)果與實(shí)際分割結(jié)果之間的差異來反向傳播和優(yōu)化模型的參數(shù)。通過一次又一次的迭代，預(yù)測的分割結(jié)果與真實(shí)的分割結(jié)果盡可能一致。

本文所提的分割方法輸出的分割圖像的分辨率與輸入圖像的分辨率一致。網(wǎng)絡(luò)選擇醫(yī)學(xué)圖像分割中常用的DSC 損失函數(shù)來優(yōu)化模型。DSC 損失函數(shù)從特定區(qū)域提取特征并評估像素級別的相似性，這為模型分割帶來了良好的分割性能。簡單來說，DSC是計(jì)算輸出的預(yù)測分割圖像和真實(shí)分割圖像之間的“交并比”，并測量真實(shí)圖像和預(yù)測圖像之間的重疊度。DSC 可以定義為：

其中，Ti,j和Pi,j表示i,j位置的真實(shí)分割圖像和預(yù)測分割圖像的像素，Ω表示整個(gè)圖像區(qū)域。DSC 的值在0 到1 之間，如果DSC 為1，則表示預(yù)測的分割結(jié)果與實(shí)際的分割結(jié)果完全一致。DSC 損失可定義為：

由于在每個(gè)細(xì)化V 形網(wǎng)絡(luò)模塊使用的深度監(jiān)督機(jī)制，默認(rèn)使用的細(xì)化V 形模塊為3 個(gè)。故整個(gè)損失函數(shù)的定義為：

其中，DSC表示DSC 損失，T和P表示真實(shí)分割圖像和預(yù)測分割圖像，PA表示對多層特征融合后的特征預(yù)測分割的結(jié)果，Pi表示對i層細(xì)化V 形網(wǎng)絡(luò)輸出特征預(yù)測分割的結(jié)果，αi為超參數(shù)，根據(jù)經(jīng)驗(yàn)分別設(shè)置為α1,2,3=0.2,0.5,0.8。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集與實(shí)驗(yàn)環(huán)境

訓(xùn)練數(shù)據(jù)集是上海中山醫(yī)院提供的。中山醫(yī)院共提供了70 組病人的CTA 數(shù)據(jù)，每組病人的切片數(shù)都在250～350 之間。冠狀動脈CTA 數(shù)據(jù)在開始和結(jié)束的位置不包含相關(guān)切片（沒有主動脈或冠狀動脈的切片）。如圖5 所示，圖5（a）僅包含主動脈，冠狀動脈尚未出現(xiàn)，圖5（d）是血管完全消失的切片。圖5（b）、（c）是包含主動脈和冠狀動脈的切片（如方框所示）。從圖上看，單張切片前后不經(jīng)分析很難確定冠狀動脈的位置。通過統(tǒng)計(jì)分析，每位患者包含主動脈或冠狀動脈的有效切片約為150 片，以人工篩選的前10片冠狀動脈作為起始幀，每名患者選取160 片作為實(shí)驗(yàn)數(shù)據(jù)，最終得到一個(gè)包含11 200 張CTA 圖像的數(shù)據(jù)集。CTA 數(shù)據(jù)量為512×512×160。數(shù)據(jù)集的制作過程為：首先將DICOM 格式的CTA 數(shù)據(jù)轉(zhuǎn)換成TIF格式的切片。然后，使用WIN10 的畫圖工具對切片進(jìn)行TIF 格式的標(biāo)注。具體來說，使用鉛筆工具手工標(biāo)注冠狀動脈的邊緣。最后，提取標(biāo)記圖像中的紅色閉合區(qū)域，并將其轉(zhuǎn)化為手動分割真值圖像。本次實(shí)驗(yàn)在其中隨機(jī)選擇了50 例作為訓(xùn)練集，剩余的20 例作為測試集。

Fig.5 Position of aorta and coronary artery on different slices of same patient圖5 同一病人在不同切片上主動脈/冠狀動脈的位置

本實(shí)驗(yàn)環(huán)境基于Ubuntu16.04，64 位操作系統(tǒng)，采用Keras 深度學(xué)習(xí)框架來實(shí)現(xiàn)文中的方法。系統(tǒng)的輸入和輸出是.mhd 文件和相應(yīng)的.raw 文件。每個(gè).raw 文件包含160 張CTA 切片。學(xué)習(xí)率最初設(shè)置為1×10-4，每輪學(xué)習(xí)率的損耗率均設(shè)為1×10-6，共訓(xùn)練500 輪。全局特征模塊共包含25 個(gè)特征圖，如圖2 所示，其下采樣卷積核大小設(shè)置為5×5×5 和2×2×2，上采樣的卷積核設(shè)置為2×2×2，步長均為2。每個(gè)細(xì)化V 形模塊包括10 個(gè)特征圖，如圖1 所示，下采樣與上采樣的卷積核大小均設(shè)置為2×2×2，步長均為2。圖形處理器（graphics processing unit，GPU）型號為NVIDIA TITAN X。由于運(yùn)行內(nèi)存的限制，數(shù)據(jù)輸入大小設(shè)置為128×128×160，將原始CTA 數(shù)據(jù)縮小為網(wǎng)絡(luò)輸入所需尺寸。

3.2 實(shí)驗(yàn)結(jié)果

通過計(jì)算各自血管分割之間的杰卡德系數(shù)（Jaccard index，JI）和DSC 分?jǐn)?shù)來比較分割精度的好壞，JI分?jǐn)?shù)可理解為預(yù)測正確面積占預(yù)測標(biāo)簽和真實(shí)標(biāo)簽兩者面積并集的比值，DSC 分?jǐn)?shù)可理解為兩倍的預(yù)測正確結(jié)果面積占預(yù)測標(biāo)簽和真實(shí)標(biāo)簽兩者面積相加的比值，兩個(gè)數(shù)值的范圍都在0～1 之間，數(shù)值越高，證明分割的精度越好。DSC 的定義見式（7）。JI的計(jì)算公式可以定義為：

其中，T代表基本真值（手工標(biāo)記標(biāo)簽），P代表預(yù)測分割結(jié)果。

可視化的分割結(jié)果如圖6 所示。圖（a）是原始CTA 圖像切片；圖（b）是所提方法的分割結(jié)果，使用黃色輪廓表示；圖（c）是手動標(biāo)注的真實(shí)分割圖，使用紅色輪廓表示；圖（d）是所提方法的預(yù)測結(jié)果和手工分割的結(jié)果在原始CTA 切片上的對比。為了方便比較，放大了部分的細(xì)節(jié)。從圖中第四列的細(xì)節(jié)可以看到，所提方法能準(zhǔn)確定位冠狀動脈位置，提高冠脈血管的分割精度，盡管有時(shí)會失去極少邊緣細(xì)節(jié)，但仍為冠狀動脈血管的分割提供了有意義的價(jià)值。

為了評估所提出方法中各部分組件的貢獻(xiàn)，進(jìn)行了一組消融實(shí)驗(yàn)來評估各部分的有效性，其定量的對比結(jié)果如表1 所示。首先，在20 組病人數(shù)據(jù)集上測試了基礎(chǔ)特征和1 個(gè)細(xì)化V 形模塊組合的方式，該組合方式在冠脈血管上的JI 和DSC 分割精度均值能到達(dá)0.820 和0.901；其次，測試了基礎(chǔ)特征和3 個(gè)細(xì)化V 形模塊的組合方式，這種組合方式的分割結(jié)果明顯超越了上一種組合方式，其JI 和DSC 均值分別達(dá)到0.836、0.911；最后，在該網(wǎng)絡(luò)基礎(chǔ)上，進(jìn)一步加入了深度監(jiān)督機(jī)制進(jìn)行測試，實(shí)驗(yàn)結(jié)果證明，這種方法得出的分割結(jié)果的JI和DSC 均值為0.842和0.914，優(yōu)于以上兩種模型的結(jié)果，達(dá)到了實(shí)驗(yàn)的收斂速度更快的效果。

Fig.6 Segmentation results圖6 分割結(jié)果

Table 1 Ablation study of coronary CTA images表1 冠狀動脈CTA 圖像的消融研究

在消融實(shí)驗(yàn)部分，除了定量的研究以外，還做了定性的分析，定性分析的可視化結(jié)果如圖7 所示。圖7 中的（1）～（4）表示不同的切片，圖中顯示了在不同切片中，所提方法的不同組合之間的差異。為了更好地對比，放大了圖中的細(xì)節(jié)部分。從圖中可以看到，基礎(chǔ)特征與3 個(gè)細(xì)化V 形模塊的組合相比于與1個(gè)細(xì)化V 形模塊來說，其分割的邊緣更加平滑，在冠脈的分割部分也更加精細(xì)。在增加了深度監(jiān)督之后，可以看到其分割的結(jié)果更加飽滿。

3.3 對比實(shí)驗(yàn)

為了驗(yàn)證所提方法的先進(jìn)性，與幾種最新的方法進(jìn)行了比較研究。其中包括V-Net、AG-Net[34]和3D U2-Net[35]。在相同的條件下進(jìn)行了對比實(shí)驗(yàn)。定量分析的結(jié)果如表2 所示，由表2 可以看出，所提方法、3D U2-Net、AG-Net 和V-Net 的JI 平均值分別為0.842、0.825、0.819 和0.796，DSC 平均值分別為0.914、0.904、0.897 和0.884。從表中數(shù)據(jù)可以看出，與其他方法相比，所提方法在冠狀動脈分割精度方面有了顯著的改進(jìn)。

Table 2 Comparison of segmentation accuracy for various algorithms表2 各種算法分割精度的比較

Fig.7 Schematic diagram of coronary CTA image data on ablation study圖7 冠狀動脈CTA 圖像數(shù)據(jù)消融研究示意圖

為了更直觀地體現(xiàn)所提方法的優(yōu)勢，將不同方法的輸出結(jié)果進(jìn)行了對比，不同方法的可視化分割結(jié)果如圖8 所示。圖8 中的（1）～（4）表示冠狀動脈CTA 數(shù)據(jù)的不同切片。圖（a）是CTA 原始圖像，圖（b）是手工標(biāo)記的真實(shí)值標(biāo)簽，使用紅色輪廓表示，圖（c）～圖（f）是各種方法的分割結(jié)果，使用黃色輪廓標(biāo)記。從對比圖中可以看出，在對主動脈的分割上，V-Net 分割的主動脈血管邊界存在缺陷，而AG-Net和3D U2-Net分割的主動脈相對于所提方法仍然不夠飽滿。但通過預(yù)提取心臟區(qū)域和水平集函數(shù)優(yōu)化，主動脈的分割精度有顯著提升。在對冠狀動脈的分割上，V-Net 分割的冠脈血管中存在嚴(yán)重的丟失情況，AG-Net 和3D U2-Net 對冠脈的分割情況稍好，所提方法對冠脈的分割也較為準(zhǔn)確。

Fig.8 Visual segmentation results of different methods圖8 不同方法的可視化分割結(jié)果

4 結(jié)束語

針對冠脈CTA 圖像的分割問題，提出了全局特征嵌入及多層次特征聚合的冠脈CTA 分割算法。利用綜合了冠脈原始CTA 圖像早期和后期的特征信息，以及融合了豐富的細(xì)節(jié)和語義信息的全局特征模塊對原始CTA 圖像去噪，得到對原始CTA 圖像過濾之后的基礎(chǔ)特征。然后，利用較薄的V 形結(jié)構(gòu)組成的多級特征細(xì)化V 形模塊對基礎(chǔ)特征進(jìn)一步提取細(xì)化后的多級特征。利用不同層次特征之間優(yōu)勢的互補(bǔ)，得到精準(zhǔn)的冠脈分割圖像。此外，引入了深度監(jiān)督機(jī)制，抑制了多層次特征聚合中噪聲的疊加，避免了梯度爆炸的發(fā)生。通過定性以及定量的分析，所提方法在冠脈血管分割方面達(dá)到了更高的分割精度。后面將考慮通過設(shè)計(jì)新的損失函數(shù)，解決冠脈分割后的邊緣不平滑以及不連貫的問題。