嵌入注意力機制的多模型融合冠脈CTA分割算法

沈 燁，方志軍，高永彬

上海工程技術大學電子電氣工程學院，上海 201600

1 引言

我國一直是心血管疾病的高發國之一，隨著生活水平的日益提高，心血管疾病不斷開始蔓延，而且發病年齡日趨年輕化，嚴重威脅著人類的健康。冠狀動脈性心臟病（coronary heart disease，CHD），又稱為冠心病。作為一種常見的心臟疾病，其病因是由于冠狀動脈壁的沉積物導致血管狹窄，致使心肌缺血從而導致其功能障礙與器質性病變。因此又稱為缺血性心臟病（ischemic heart disease，IHD）[1]。冠心病絕大多數的原因是由冠狀動脈的粥樣硬化導致的，故習慣上稱冠狀動脈性心臟病為冠狀動脈粥樣硬化性心臟病。在冠心病患者中存在處于臨界狀態的情況，即狹窄50%～70%。這種情況根據冠脈的結構和患者心肌功能的損傷情況判斷是否需要置入支架。針對同一類型的病變，不同的醫生根據冠狀動脈造影結果會給出不同的治療策略，但部分患者的冠狀狹窄程度超過50%，患者的心肌并沒有明顯缺血，有些反之。由此可見，根據患者的冠狀動脈造影指導具有主觀性。因此通過計算機輔助診斷技術對冠狀動脈進行準確分割的這項工作，對于及早發現冠心病以及冠心病的治療具有重要的臨床意義。

本文主要提出了一種基于深度學習多模型融合的冠脈CTA的血管分割方法，主要貢獻如下：

（1）采用3D FCN（three-dimensional fully convolutional network）網絡處理三維冠狀動脈CTA影像，使網絡可以充分學習三維空間特征。

（2）將AG（attention gate）模型嵌入3D FCN網絡中去抑制不相關區域中的特征激活來提升網絡預測精度。

（3）提出了一種多模型融合的方法，通過把原始網絡和兩種改進網絡的結果用多數投票算法進行融合，有效地減少只使用單個網絡模型進行血管分割容易造成假陰性和假陽性的情況。

2 相關工作

分割是醫學圖像分析中高度相關的任務,圖像分割是基于圖像中像素的一些特征將圖像劃分為更小分區的過程。在醫學成像方面，圖像的分區可以是某些組織、器官或其他相關結構的區域[2]。分割任務大多用于定量分析和診斷，醫學圖像分割中的金標準是由臨床專家的手動分割來完成的。這是一項十分耗時的任務，因為現代醫學成像模態（例如計算機斷層掃描（computed tomography，CT）和磁共振成像（magnetic resonance imaging，MRI））能夠以3D圖像體積的形式產生大量數據，并且手動分割也存在偏差和人為錯誤。在臨床診斷中已經使用了一些半自動方法來加速分割過程，但仍然需要臨床專家來初始化或指導分割。全自動分割方法的重要性也隨著患者可用數據量的增加而增加。

近年來，基于水平集的分割算法已被廣泛使用，并成為醫學圖像分割的優選算法[3-4]。水平集方法通過整合不同類型的正則化（平滑項）和先驗，基于能量最小化的問題來進行分割[5]。它們可以提供具有改變拓撲屬性趨勢的分割函數，缺點在于它們需要適當的輪廓初始化以獲得有效的分割結果。近階段，基于深度學習方法的卷積神經網絡（convolutional neural network，CNN）已成功應用于醫學圖像的分析中，特別是用于分割和檢測任務中[6-7]。與基于水平集的方法不同的地方在于，深度學習可以從大量訓練數據中自動學習外觀模型，提取復雜結構和模式的特征，并把這些訓練的特征用于預測。

另外，醫學圖像的分割比自然圖像的分割更具挑戰性。首先，患者數據極具多樣化。換句話說，相同病理的模式因患者而異。其次，小而不完整的醫療數據集使CNN訓練更容易產生過擬合的情況。盡管如此，最近提出的CNN架構比其他基于機器學習的醫學圖像分割算法表現出更好的性能[8]。隨后，全卷積網絡（fully convolutional network，FCN）被加州大學伯克利分校的Long等人提出，擴充了原有的CNN結構，在不帶有全連接層的情況下能進行像素級預測[9]。Ronneberger等人則在FCN網絡的基礎上提出了U-net神經網絡，實現了對生物細胞圖像的自動分割，與傳統FCN網絡不同的是，U-net網絡使用跳連結構將下采樣層和上采樣層相連，這使得像素定位更加準確。U-net網絡在醫學圖像分割領域表現非常優秀，很多學者將U-net網絡作為基礎框架[10]。但是，諸如MRI或CT的醫學圖像通常是3D體積形式，而現有分割網絡大都是2D性質的。這些二維分割網絡按順序逐層應用，從而會忽略第三維中的空間信息[11]。由于計算復雜性和內存需求，不鼓勵使用3D CNN進行模型訓練。通過考慮上述問題，最近提出了3D FCN來對MRI或CT圖像進行分割和檢測，其中整個體積數據作為輸入直接在單個前向傳播中獲得3D體積輸出作為3D預測結果，從而降低計算復雜度[12]。與其他基于二維分割網絡的方法不同，它們使用3D卷積核，可以在三個維度上共享空間信息。

盡管3D FCN具有很好處理3D醫療體積數據的能力，但是當不同患者間的目標器官在形狀和大小方面存在較大差異時，有一部分做法會過度依賴于多級級聯CNN。級聯框架先提取感興趣區域（region of interest，ROI）并對該特定ROI進行密集預測，應用領域主要包括心臟[13]、腹部分割[14]、肺結節檢測等[15]。然而，這種方法導致計算資源的浪費和模型參數的復雜化。例如，類似的低級特征被級聯中的所有模型重復提取。為了解決這個問題，最近提出了一種簡單而有效的解決方案，即注意力門控模型[16-17]。具有AG的CNN模型不會影響模型訓練的標準方式，并且AG能夠自動學習專注于目標結構的特征而無需額外的監督。在測試時，這些門會動態地隱式生成候選區域，并突出顯示對特定任務有用的顯著特征。此外，它們不會造成很高的計算成本，并且不需要像多模型框架那樣學習大量模型參數。優勢在于所提出的AG可以通過抑制不相關區域中的特征激活來提高密集標簽預測的模型靈敏度和準確度。以這種方式，可以在保持較高預測精度的同時消除使用外部器官定位模型的必要性。

3 基于深度學習多模型融合的冠脈CTA的血管分割方法

本次研究的整體工作流程如圖1所示，該框架包括：（1）原始3D FCN網絡；（2）在原始3D FCN中嵌入一個注意力門控模型的網絡（3D FCN-AG1）；（3）在原始網絡中嵌入兩個注意力門控模型的網絡（3D FCN-AG2）。在訓練階段，通過訓練這三種不同的網絡來得到訓練的權重信息，并在測試階段中，分別使用三種網絡訓練好的權重對同一測試數據進行預測，并把三種網絡預測的結果采用多數投票算法進行融合，得到網絡預測的最終結果。最后，對網絡預測的最終結果運用水平集函數迭代優化，得到最終的分割結果。

Fig.1 Overall flow chart圖1 總體流程圖

3.1 三維全卷積網絡模型

實驗采用的三維全卷積網絡的結構如圖2所示。此網絡結構與現在比較主流的3D U-net[18]以及V-net[19]網絡結構較為相似。通過運用三維卷積，目的在于從三維CTA影像數據中提取特征，并在每個階段結束時通過使用適當的步長來調整其分辨率。網絡的左側部分由編碼路徑組成，而右側部分通過解碼路徑將數據恢復到其原始大小。

Fig.2 3D FCN network structure圖2 3D FCN網絡結構圖

其中，α=x-m，β=y-n，χ=z-t，表示內核大小為m×n×t的3D濾波器，在每個前一層的特征體積上逐元卷積;?代表3D卷積運算;表示偏差，σ(·)代表非線性激活函數。這里，新引入的非線性激活函數，即參數整流線性單元（parametric rectified linear unit，PReLU）[20]，來代替整流線性單元。PReLU函數給出為：

其中，Fi表示輸入，σ(Fi)表示輸出，αi表示學習控制Fi的負數部分所需的訓練參數，而αi在ReLU中幾乎為零。因此，PReLU可以根據輸入情況調整整流器，從而提高網絡的準確性，幾乎不增加計算成本，并降低過擬合風險。

網絡的左側分為不同的階段，以不同的分辨率運行。每個階段包含一到三個卷積層，并且在每個階段中，通過把每個階段的輸入在卷積層中進行非線性處理，并且將該層添加到該級的最后一個卷積層的輸出中，以便能夠學習殘差函數[21]。在網絡結構中融入殘差函數學習的優點就在于可以使網絡在訓練過程中能夠短時間內達到收斂的狀態。

在每個階段中執行的卷積使用的是卷積核尺寸為5×5×5，步長為1的卷積。隨著數據沿編碼路徑前進不同階段，其分辨率逐漸降低，這是通過卷積核尺寸為2×2×2，步長為2的卷積來實現的。由于第二個操作僅使用非重疊的2×2×2卷積核來提取特征，因此所得特征圖的大小減半，這種采用卷積操作來減半特征圖的方法也是代替了以往CNN中常用的池化操作[22]。此外，特征通道的數量也會在該網絡中編碼路徑的每個階段加倍，并且由于模型是由殘差網絡形成，通過這些卷積操作使特征映射的數量加倍，但其分辨率會隨之降低。

在整個網絡中應用了PReLU非線性激活函數，并且在非線性激活函數前也采用了批標準化[23]，通過一定的規范化手段，把每層神經網絡任意神經元輸入值的分布強行拉回到均值為0、方差為1的標準正態分布，這樣可以使梯度變大，避免梯度消失，加速網絡收斂。使用卷積的方法進行編碼操作也會導致網絡在訓練期間占用更小的內存。網絡編碼路徑中通過下采樣部分來減小輸入的大小，并增加在后續網絡層中計算的特征的接收域，而網絡解碼路徑主要進行提取特征并擴展較低分辨率的特征圖，以便收集和組合必要的信息，并且每個階段計算出的特征數量是前一層的兩倍。

最后一個卷積層采用卷積核尺寸為1×1×1來產生一個與輸入體積大小相同的特征映射，并通過應用sigmoid激活函數將它轉換為前景和背景區域的概率。在該網絡解碼路徑的每個階段之后，采用反卷積運算以增加輸入的大小，隨后是一到三個卷積層，涉及前一層中采用的5×5×5卷積核的數量的一半。與網絡的編碼路徑相類似，該部分也會在卷積階段學習殘差函數來加速網絡模型的收斂。

這項工作中采用了一個基于Dice系數的目標函數，它的值介于0和1之間，目標是最大化Dice系數的值。兩個二元體積之間的Dice系數D可寫為：

其中，總和在N個體素上運行，預測的二值分割體積pi∈P和Ground Truth二值體積gi∈G。

3.2 注意力門控模型

CTA的血管形狀和大小因冠狀動脈的切片而異，血管增強對于消除CTA切片中的雜質區域非常重要。在標準的CNN網絡模型中，一般采取對特征圖網格逐漸下采樣來捕獲足夠大的感知場，從而能夠更好地捕獲語義上下文信息。通過這種方式，可以讓網絡模型學習到粗糙空間網格水平模型的位置和全局范圍內組織之間的關系。然而，僅通過下采樣的方式仍然難以減少對于顯示大的形狀可變性的小物體的假陽性預測。為了提高準確性，當前的分割框架大多依賴于將任務簡化為單獨的定位和后續分割步驟[24]。在這一任務中，通過把AG融入到標準CNN模型中可以實現相同的目標。與多級CNN中的定位模型相反，它不需要訓練多個模型和大量額外的模型參數，并且AG的最大特點在于它可以逐漸抑制在不相關的背景區域中的特征響應，而不需要通過級聯網絡來裁剪ROI。

在標準注意力門控模型中，AG的輸出是輸入特征圖和注意系數的逐元素乘法，公式如下：

式中存在注意系數αi∈[0,1]，識別顯著圖像區域和修剪特征響應來保留與特定任務相關的激活。一般情況下，針對每個像素矢量計算單個標量注意值，其中Fl對應于層l中的特征圖的數量。

通過學習多維注意系數來針對多個語義類情況。因此，每個AG都學會專注于目標結構的子集，其中包含門控矢量用于每個像素i以確定聚焦區域。門控向量包含上下文信息以修剪下層特征響應[25]。通過對比乘法注意[26]和加性注意[27]的性能，最終使用加性注意來獲得門控系數。雖然這在計算上更昂貴，但實驗證明它可以獲得比乘法注意更高的準確度。加性注意力如下：

其中，AG的特征在于一組參數Θatt包含線性變換和偏置項bψ∈R，。采用基于向量級聯的注意方法，對于輸入張量，使用卷積核為1×1×1卷積計算線性變換，其中級聯特征xl和g被線性地映射到維度中。注意系數（σ1）采用PReLU非線性激活函數，因為PReLU激活函數相比于廣泛使用的ReLU激活函數可以根據輸入情況調整整流器來提升精度；由于順序使用softmax函數會在輸出端產生較稀疏的激活，因此注意系數（σ2）采用sigmoid激活函數，從而讓AG的參數在訓練過程中更好地收斂，AG的整體流程如圖3所示。

Fig.3 Workflow of attention gate圖3 注意力門控模型工作流程

在工作中，通過把AG嵌入到3D FCN的網絡架構中，以突出通過跳躍連接傳遞的顯著特征，結構如圖4所示。

Fig.4 3D FCN integrating attention gate圖4 嵌入注意力門控模型的3D FCN結構圖

該結構可以把網絡粗略提取的信息通過門控來消除跳躍連接中的不相關和噪聲區域。另外，AG在正向傳播以及反向傳播期間過濾神經元激活，源自背景區域的梯度在反向傳播期間向下加權，這允許較淺層中的模型參數主要基于與給定任務相關的空間區域來更新。在每個子AG中，提取并融合補充信息以定義跳躍連接的輸出。為了減少可訓練參數和AG的計算復雜度，采用卷積核為1×1×1的卷積來執行線性變換，并且輸入特征映射被下采樣到門控信號的分辨率，類似于非局部塊[28]。相應的線性變換將特征圖解耦并將其映射到用于門控操作的較低維空間。其次在門控功能中不使用低級特征圖，因為它們不表示高維空間中的輸入數據。因此使用了兩種嵌入AG的3D FCN網絡模型，一種是將AG嵌入到網絡結構中最后一層跳躍連接上（圖4（a）所示），另一種則是將AG嵌入到最后兩層跳躍連接上（圖4（b）所示），從而加強整個網絡對相關特征的學習。

3.3 模型融合及后處理方法

鑒于在工作中如果使用單個模型很容易造成預測結果的假陰性和假陽性情況，因此在下階段采用了一種模型融合的方法，對于三種網絡模型（3D FCN、3D FCN-AG1以及3D FCN-AG2）的預測結果，用多數投票法進行分類，投票多者確定為最終的分類。具體來說，針對測試數據的每一個像素點，通過三個網絡模型會預測出三個結果，如果結果中有兩個或兩個以上預測結果是血管，該像素點的最終預測結果即為血管，反之亦然。

通過上述方法得到最終網絡預測的分割結果，據觀察發現，在分割出的血管上存在邊緣比較粗糙的問題，為了解決這一問題，在后處理階段仍需采用水平集方法對血管邊緣輪廓進行迭代優化。

水平集方法[29]的基本思想是將平面閉合曲線隱含地表達為二維曲面函數的水平集,即具有相同函數值的點集,通過水平集函數曲面的進化隱含地求解曲線的運動。水平集函數的演化滿足如下的基本方程:

其中,φ為水平集函數,其零水平集表示目標輪廓曲線,即Γ(t)={x|φ(x,t)=0},表示水平集函數的梯度范數;F為曲面法線方向上的速度函數,控制曲線的運動。

4 實驗

實驗所采用的冠脈CTA影像數據一共包括70組病人數據，每組病人的切片數都在250～350之間，由于冠脈CTA影像數據的完整性導致在整個病人切片序列中前一部分切片和后一部分切片中存在無用切片序列（切片中只存在主動脈或者血管消失的情況）。如圖5所示，圖5（a）中是實驗所需要的圖片，圖片中包含主動脈以及冠脈血管（位置關系如箭頭指向所示），圖5（b）中只存在主動脈，冠脈血管還沒有出現，圖5（c）中血管已經全部消失。并且通過統計發現每組病人從冠脈出現到冠脈完全消失的整個過程都在150幀切片以內，因此通過人工篩選的方式以每組病人數據中冠脈出現的那一幀切片作為參考項取前10幀切片作為起始幀，選出160張切片作為每組病人的實驗數據，共約11 200張CTA影像圖片，每組病人的CTA影像數據尺寸為512×512×160，將50組病人數據作為訓練集，將其余20組病人數據作為測試集。

Fig.5 Data sample of various slices圖5 數據樣本切片

實驗采用Keras庫來實現模型[30]。利用Adam的優化算法來優化網絡模型[31]。學習率最初設定為10-5,在單個NVIDIA GPU（Nvidia GTX 1080Ti）上訓練整個模型500個epochs。訓練過程大約需要10 h。由于運行內存的限制，模型每一次的輸入尺寸為128×128×160，因此將原始CTA數據縮小為網絡輸入所需尺寸。

通過計算各自血管分割之間的JI（Jaccard index）和DSC（Dice similarity coefficient）分數[32]來比較分割精度的好壞。JI分數可理解為預測正確面積占兩者面積并集的比值，DSC分數可理解為兩倍的預測正確結果面積占兩者面積相加的比值，兩個數值的范圍都在0～1之間，數值越高，證明分割的精度越好。JI和DSC的計算公式如下：

其中，Y代表GT，Yp代表預測值。

實驗中不同算法分割精度如表1所示，首先在20組病人數據集上測試了原始3D FCN網絡在冠脈血管上的分割精度，JI和DSC均值能到達0.796 2和0.884 3，主動脈能準確分割出來但是冠脈的部分小血管存在一定的丟失。其次，又分別測試了在原始網絡的一層跳躍連接和兩層跳躍連接中分別嵌入注意力門控模型，發現兩種改進后的網絡模型分割結果的JI和DSC均值明顯超越了原始網絡，分別達到0.815 4、0.896 6以及0.811 9、0.893 6。特別在一些亮度不是特別明顯的冠脈血管的分割上有較好的效果，如圖6階段（1）所示，通過原始網絡的分割容易導致冠脈小血管的丟失（圖中黃色箭頭所示為未分割出血管部位），但是采用嵌入注意力門控模型的網絡就能很好地彌補原始網絡經常出現的這種問題，提升整體分割精度。然后，在可視化實驗結果的過程中發現，雖然嵌入注意力門控模型在整體的效果上有所提升，卻仍然會出現一些分割上的問題，如圖6階段（2）所示，原始網絡的分割表現很好，但是在嵌入注意力門控模型的網絡卻出現錯誤判斷血管的情況，誤將雜質分割成了血管（圖中黃色箭頭所示為血管分割錯誤部位），造成部分效果甚至不如原始網絡。針對這種問題，使用了一種多模型融合的方法，通過把原始網絡，以及兩個嵌入注意力門控模型的改進網絡的預測結果通過多數投票算法來得到最新預測結果。實驗結果證明，這種方法得出的分割結果的JI和DSC均值為0.821 4和0.900 5，優于以上三種模型中最好的結果。最后，從上述實驗中發現如果只用深度學習的方法去分割血管，雖然能夠把血管的骨架分割得很好，但是在一些細節處理上，特別是分割的輪廓上都會顯示得比較粗糙，并不是很光滑，因此在最后還加入了后處理部分，采用水平集算法對已經分割好的血管邊緣輪廓進一步迭代優化，如圖6階段（3）所示。并且，為了便于分析測試數據中每組病人數據的分割結果，還通過箱線圖的形式對各組結果進行統計，如圖7所示。圖7中原始的3D FCN的每個病例結果以及均值都不高，在嵌入了AG的兩個網絡結果中均值相較于原始3D FCN的結果都呈現出較大提升，再進行三個模型融合后的結果不管在每個病例結果還是均值上都有明顯提升，最終分割結果也是通過水平集方法在模型融合結果的基礎上得到進一步優化。

Table 1 Comparison of segmentation accuracy for various algorithms表1 不同算法分割精度的比較

Fig.6 Segmentation results of different methods for three stages of coronary CTA data圖6 不同方法對三期冠狀動脈CTA數據的分割效果

Fig.7 Boxplots of experimental data results圖7 實驗數據結果的箱線圖

5 結論

本文提出了一種基于深度學習多模型融合的方法來進行冠脈CTA血管的分割，該方法包括三個網絡模型：一個原始3D FCN來處理三維體積數據，訓練一個端到端的網絡來對三維冠脈CTA進行預測，以及兩個在原始3D FCN中嵌入AG模型的網絡。使模型在訓練過程中可以抑制不相關區域中的特征激活來提高密集標簽預測的模型靈敏度和準確度，然后把三種網絡的預測結果采用多數投票算法進行融合來減少分割中易造成的假陰性以及假陽性情況，得到網絡預測的最終結果。同時把網絡預測結果送入水平集函數進行邊緣輪廓的迭代優化，得到最終的分割結果。與原始網絡的分割效果相比，本文提出的方法在冠脈血管分割上提供了更好的分割精度與效果。