腦血管數(shù)字減影血管造影高分辨率分割網絡設計

崔穎, 付瑞, 朱佳, 高山, 陳立偉, 張廣

(1.哈爾濱工程大學 信息與通信工程學院,黑龍江 哈爾濱 150001; 2.哈爾濱醫(yī)科大學附屬第一醫(yī)院 神經外科,黑龍江 哈爾濱 150001)

腦血管疾病是顱內血液循環(huán)障礙造成腦組織損害的一種疾病,日常所見的腦卒中(中風)、腦出血、腦梗死、顱內動脈瘤等都屬于腦血管疾病,因為其發(fā)病率高、危害性大和死亡率高,已成為威脅中老年人健康的主要疾病[1]。

數(shù)字減影血管造影(digital subtraction angiography,DSA)作為腦血管疾病診斷的金標準被廣泛應用于臨床,主要用于觀察血管病變、血管狹窄的定位測量。由于分辨率高且能提供真實立體的影像,是多種介入治療的必備條件。

利用圖像分割的計算機輔助診療方法對DSA圖像進行處理,能夠為醫(yī)生展示出難以用肉眼觀察的細微病變,避免因成像模糊、血管重疊、醫(yī)生診斷的主觀差異造成的漏診或誤診,對精確診斷有著重要意義。與一般的影像數(shù)據集不同,DSA醫(yī)學數(shù)據集的樣本量比較小,數(shù)據集的處理和分析要求專業(yè)的醫(yī)學知識支持,給DSA醫(yī)學圖像智能分割技術帶來較大困難和挑戰(zhàn)。

對于DSA圖像的分割,最初使用的是基于區(qū)域生長、閾值檢測和匹配濾波等一系列的傳統(tǒng)分割方法。Cui等[2]提出了一種模糊能量最小化方法,對DSA圖像進行了分割。江乾峰等[3]提出了一種基于多角度空間特征點集的分割算法,有效去除腦血管DSA影像中的運動偽影,使用動態(tài)閾值和區(qū)域生長的混合算法,精確分割出腦血管DSA影像中的血管組織。王光磊等[4]提出了一種基于自適應閾值分割、數(shù)字形態(tài)學等方法的自動隨機游走分割算法,對DSA血管圖像實現(xiàn)自動分割。

近年來,越來越多的神經網絡被應用于DSA圖像分割,在減少人為干預的同時提升了分割精度。Nasr等[5]使用卷積神經網絡(convolutional neural networks,CNN)對血管造影圖像中的血管區(qū)域進行檢測。Yang等[6]利用卷積神經網絡以粗分割和細分割相結合的方式,有效去除血管造影圖像中的偽影。Fan等[7]提出了將造影前后圖像均用作多通道輸入的全卷積神經網絡分割算法,進行血管造影圖像中冠狀動脈的精確分割。Jun等[8]將針對于醫(yī)學圖像分割的神經網絡U-Net[9]進行改進,提出了一種嵌套編碼器-解碼器網絡T-Net,增強了特征層之間的特征融合,有效分割冠狀動脈造影圖像。Wang等[10]提出了基于U-Dense-net的DSA冠狀動脈血管分割方法,融合使用密集殘差塊、注意力機制和傳統(tǒng)分割算法對血管進行分割。

目前,針對醫(yī)學小數(shù)據集的分割網絡U-Net在DSA影像分割方面表現(xiàn)出了不錯的效果。近年來也出現(xiàn)了很多U-Net的改進網絡,對各類醫(yī)學數(shù)據集的分割性能都有了一定的提升。如Oktay等[11]提出了一種針對肝臟圖像分割的U-Net改進網絡Attention U-Net,在跳躍連接層加入了空間注意力門,并加入了軟注意力思想,進行空間特征篩選。Zahangir等[12]提出了一種醫(yī)學圖像分割網絡R2U-Net,使用循環(huán)卷積和殘差結構對U-Net進行改進,并在視網膜血管,肺部病變和皮膚癌3類醫(yī)學數(shù)據集分割上,表現(xiàn)出了不錯的效果。但是這些改進網絡大部分都比較復雜,對于高分辨率DSA腦血管圖片來說,分割過程中需要消耗巨大的存儲資源,在對硬件要求極高的同時部分有效特征提取能力反而下降。同時,由于使用的DSA數(shù)據集是醫(yī)學小數(shù)據集,分割過程中存在過擬合的問題。本文基于以上現(xiàn)狀,在U-Net模型的基礎上,融合使用Inception[13]和CBAM[14]中的通道注意力模塊(channel attention modle,CAM),提出了一個針對于高分辨率腦血管DSA分割的Inception-通道注意力聯(lián)合網絡(IC-Net)。

1 基于IC-Net模型的分割算法

1.1 ICAM聯(lián)合模塊

本文提出IC-Net模型的深層特征提取模塊,引用了Inception-CAM聯(lián)和模塊(inception channel attention modle,ICAM)。該模塊主要包含Inception結構和通道注意力模塊2部分。

本文的網絡模型為了提升對DSA影像中微弱血管的特征提取能力,使用Inception結構替代3×3卷積級聯(lián)模塊進行特征提取。該結構將1×1卷積、3×3卷積、5×5卷積和3×3最大池化并行連接,增加網絡寬度和深度的同時,能夠提取更多視野的特征信息,將網絡相關性強的特征利用卷積和池化的方式進行匯集,提升網絡的收斂速度。此外,考慮到大尺寸卷積核會帶來較大參數(shù)量的問題,IC-Net引用采取1×1卷積進行維度縮減的Inception模塊,模型結構見圖1。該結構的加入使網絡在一定程度上避免了過擬合和參數(shù)劇烈增加的問題。

圖1 進行維度縮減的Inception結構

圖2 CAM模塊

Inception結構的加入能夠增強網絡對虛弱血管的提取能力,但是DSA影像會因為拍攝時患者的移動或設備本身的原因,存在非血管偽影。由于Inception結構中各模塊處理得到的特征層以通道的方式進行堆疊,ICAM使用CAM模塊對Inception模塊提取的特征信息進行篩選,能夠有效解決DSA影像中的偽影問題。CAM結構如圖 2所示。

CAM模塊的關鍵是每個特征通道的權值計算。CAM模塊在權值計算過程中,首先將輸入大小為C×H×W特征層分別進行全域平均池化和最大池化以聚合特征層的空間特征信息;然后將其輸入由多層感知器(multi-layer perceptron, MLP)和一個隱藏層組成的共享網絡。在共享網絡中,使用1×1的卷積層進行壓縮和還原操作。壓縮過程中會將大小為C×1×1的空間上下文描述符壓縮為C/r×1×1。其中,r表示縮放因子,r會影響CAM模塊的性能;最后將兩路空間上下文描述符按對應元素的方式進行求和,利用Sigmoid函數(shù)激活輸出,得到大小為C×1×1的權值。利用CAM模塊得到權值后,再將輸入的特征層與對應通道的權值進行相乘運算,從而對各通道的特征進行篩選。每個特征通道的權值和篩選分別為:

MC(F)=σ(MMLP(Pavg(F))+MMLP(Pmax(F)))=

(1)

F′=MC(F)?F

(2)

式中:Mc表示CAM運算;F表示輸入的特征層;σ表示sigmoid激活函數(shù);MMLP為多層感知器算子;P表示池化運算;W0和W1表示多層感知器中的壓縮和激勵操作,壓縮和激勵之間需要使用ReLU函數(shù)進行激活操作;?為對應通道元素相乘運算;F′表示輸出的特征層。

1.2 IC-Net模型結構

IC-Net網絡結構見圖3,該網絡模型與原有U-Net結構相比,加入了ICAM聯(lián)合特征提取模塊,同時在卷積和激活操作之間加入了批標準化[10],解決梯度消失的問題,提升網絡的泛化能力。IC-Net模型為防止邊緣信息的丟失,在3×3卷積中采用等分辨率卷積,融合時直接采用等分辨率的通道堆疊。隨著網絡深度的增加和提取的抽象特征的感受視野擴大,ICAM中Inception模塊的大尺寸卷積核的比例也相應增加[13],Inception模塊具體的維度設置見表1。

表1 Inception模塊維度設置

圖3 IC-Net結構

圖4 DSA圖片及標簽圖片樣例

針對深層的高維Inception模塊仍然需要占用大量計算資源的問題,IC-Net加入步幅為2的7×7卷積層[11],對分辨率更小的特征層進行特征提取,在節(jié)省計算資源的同時,更能充分發(fā)揮Inception結構提取抽象特征的能力。同時,為了避免表達性瓶頸的問題[15],在編碼模塊特征層尺寸縮減前進行通道數(shù)的擴張,在譯碼模塊特征層分辨率還原后進行通道數(shù)的壓縮。

2 腦血管DSA分割實驗結果與分析

2.1 數(shù)據集

實驗中使用的高分辨率腦血管DSA影像包含36張分辨率為1 024×1 024的3通道png格式圖片。在多位DSA影像專家的指導下,利用labelme標注生成json文件,并轉換成8位png格式標簽文件。實驗中使用其中的24張作為訓練集,12張作為測試集。DSA影像及標簽文件樣例如圖 4所示。

2.2 實驗結果及分析

本文采用了多組消融實驗對ICAM的性能和最佳添加位置、通道注意力模塊的選擇、CAM模塊最佳縮放因子以及加深網絡模型的方式等問題進行研究,驗證了模型及結構設置的優(yōu)越性。與當前常用網絡模型進行分割性能比較,總結出了本文提出模型的特點。

2.2.1 評價指標

本文使用IOU、Accuracy、F1-Score和AUC共4項評價指標分析各模型對DSA數(shù)據集的分割性能。

IOU用來度量預測結果圖片和標簽圖片重疊程度的指標為:

(3)

式中:D為預測結果數(shù)據集;L為標簽數(shù)據集。為進一步衡量分割性能,引入Accuracy和F1-Score兩項指標。

(4)

STPR=Rt/(Rt+Et)

(5)

P=Rt/(Rt+Eb)

(6)

(7)

式中:A為正確預測的比例;Rt為正確預測為血管的樣本數(shù);Eb為將背景錯誤地預測為血管的樣本數(shù);Rb為正確預測為背景的樣本數(shù);Et為錯誤地將血管預測為背景的樣本數(shù);STPR為真實血管像素點中被預測正確的概率;P為被預測為血管的樣本中真實為血管樣本的比例;F1為P和STPR的加權調和平均,值越大表示分割性能越好。

為避免分類時閾值設定對分割結果產生影響,引入了指標AUC。因為在不同的閾值情況下,會得到不同的分類結果,而計算AUC時需要遍歷所有閾值并得到每個閾值結果的STPR和SFPR,通過繪制以SFPR、STPR為橫、縱坐標的ROC曲線,可以直觀顯示不同閾值情況下STPR和SFPR的關系,AUC即為ROC曲線下的面積,越接近1表示性能越好,其中SFPR為:

SFPR=Eb/(Eb+Rb)

(8)

2.2.2 聯(lián)合模塊對分割性能的改善。

本文對加入的Inception模塊和CAM模塊的有效性進行了驗證。分割結果評價指標見表2,Inception模塊加入后,IOU、Accuracy、F1-Score和AUC分別提升了0.66%、0.02%、0.19%和0.16%。加入ICAM聯(lián)合模塊后,IOU、Accuracy、F1-Score和AUC進一步提升了1.29%、0.10%、1.02%和0.40%。可見,Inception與CAM模塊的加入對分割性能均有提升。分割可視化結果見圖5,Inception模塊的加入,改進了模型對血管的提取能力,CAM模塊的加入,模型對腦部骨骼等殘余組織形成的偽影的辨別能力得到了改善(模型設置均為后續(xù)實驗驗證的最佳情況,各模塊加入模型最深2層,縮放因子為8)。

表2 加入各模塊對分割性能的改善

圖5 各模塊加入后的分割結果

圖6 ICAM不同添加位置分割結果

2.2.3 ICAM添加位置對性能的影響

在對ICAM添加位置進行討論時,包含了5種方式:第1種方式參考Szegedy等[13]基于Inception模塊提出的GoogleNet結構,將“U形網絡”中每一層的2個3×3卷積級聯(lián)模塊替換為ICAM;第2種方式參考Oktay等[11]提出的Attention U-Net結構,將譯碼部分的卷積級聯(lián)模塊替換為ICAM;因為Inception模塊能更好地提取小分辨率特征層的抽象特征,為了驗證Inception模塊在多小分辨率的特征層性能更佳,實驗中設置了3種方式,分別在“U形網絡”的4～6層、5～6層和第6層加入ICAM。

分割結果評價指標如表3所示, ICAM在中、小尺寸特征層的抽象特征提取方面表現(xiàn)出較好的效果。實驗中設置了3種方式,分別在“U形網絡”的4～6層、5～6層和僅在第6層加入ICAM。在5～6層加入時,模型的IOU、Accuracy和F1-Score均為最優(yōu)結果,分別達到了0.733 9、0.982 2和0.846 8。AUC為0.971 5,也只是略低于在整個網絡加入ICAM的0.9760。可見在5～6層加入ICAM時,標簽圖片和預測結果的重疊率更高,預測正確的概率更高,模型整體性能更好。可視化分割結果見圖 6,在整個網絡和在4～6層加入此模塊的分割網絡對虛弱血管的分割能力較差;在譯碼部分加入此模塊的分割網絡對偽影的分辨能力較差。在5～6層和僅在第6層加入此模塊的網絡分割結果都相對較好,相比之下,在5～6層加入此模塊的網絡分割結果細節(jié)效果更好。綜合分析,在5～6層加入此模塊的性能更優(yōu)。

表3 ICAM添加位置分割性能對比

2.2.4 通道注意力模塊的選擇

實驗對比了CAM模塊和SE模塊[16]2種常見的通道注意力結構。在結構上,CAM模塊多了一條最大池化支路。分割結果評價指標見表4,其中,CAM模塊的分割性能優(yōu)于SE模塊,其分割結果的IOU、Accuracy、F1-Score和AUC相較于SE模塊分別高了2.33%、0.15%、1.45%和0.26%。可見,CAM模塊中的最大池化通道對于平均池化通道有較強的特征補償作用。

表4 通道注意力模塊性能對比

見表5,為了獲取CAM模塊的最佳縮放因子,實驗中參考SE模型的實驗,將其分別設置為2、4、8、16和32進行對比,可見當r為8時分割性能最佳,4個評價指標均高于其他情況。

表5 最佳縮放因子

2.2.5 加深網絡的方式

見表6,實驗對比使用了2種加深網絡的方式:1)按照原有U-Net結構,直接增加一層;2)利用步幅為2的7×7卷積同時進行維度的擴張和特征層分辨率的降低。可以看出,有更大感受域的7×7卷積相較于前者,評價指標分別提升了1.33%、0.10%、0.82%和0.02%。

表6 最佳加深網絡深度的方式

表7 7×7卷積的特征提取特點

相較于傳統(tǒng)U-Net的2個3×3卷積級聯(lián)模塊有更好的性能,將所有的3×3卷積級聯(lián)模塊換成7×7卷積。實驗將編碼模塊第1層換成7×7卷積與將原有的3×3卷積級聯(lián)模塊全部換成7×7卷積進行對比。結果見表 7,2種方式的評價指標相近,只將編碼模塊第1層換成7×7卷積結構的IOU、Accuracy和F1-Score相較于后者略高了0.63%、0.03%和0.31%,而AUC低于后者0.98%。在性能相近的情況下,7×7卷積運算過程中會產生遠大于2個3×3卷積級聯(lián)模塊的參數(shù)量,從輕量化角度考慮,過多的加入7×7卷積是不劃算的。

2.2.6 常用模型分割性能比較

實驗將改進后的模型IC-Net與U-Net及U-Net多種常見的改進模型進行了比較。見表8,IC-Net相較于改進前的U-Net模型,IOU、Accuracy、F1-Score和AUC分別提高了2.82%、0.18%、1.77%和0.43%。相較于R2U-Net和Attention U-Net,IC-Net的各項指標均為最高值。各模型訓練過程中的損失函數(shù)變化曲線見圖7,可以看出,IC-Net相較于U-Net在收斂速度方面也有了提升,而R2U-Net模型的收斂速度最快。

表8 常見模型分割性能比較

圖7 常見模型損失函數(shù)變化曲線

可視化分割結果的見圖8。U-Net在血管末端的檢測能力相對較弱,同時對于頭部骨骼等殘余組織的偽影的辨別能力較差;R2U-Net在復雜DSA影像中對血管的檢測性能較好,在偽影辨別方面也有不錯的表現(xiàn),但是對于某些虛弱血管的檢測能力較差;Attention U-Net在某些血管的檢測能力甚至優(yōu)于IC-Net,但是在復雜血管影像中存在很多不連續(xù)的毛刺;IC-Net在虛弱血管和血管末端的檢測能力有了一定提升,同時能夠有效排除偽影的干擾。

圖8 常用模型分割結果

U-Net++[17]和U-Net3+[18]模型計算復雜度較高,分割過程中需要占用較大的存儲空間,并不適用于當前數(shù)據集的分割,所以實驗中未使用以上模型進行對比。可見,從血管檢測能力和占用計算機資源等綜合方面考慮,IC-Net對于高分辨率腦血管DSA影像的分割能力,明顯優(yōu)于當前其他模型。

3 結論

1)利用CAM模塊對Inception模塊提取的特征信息進行篩選,有效去除冗余信息;采用更大感受域的7×7卷積層,增加網絡深度、提升網絡特征提取能力,并且通過縮小特征層尺寸的方式減少了分割過程中產生的數(shù)據量。

2)該網絡提升了對DSA影像中微弱血管和血管末端的檢測能力,能夠有效分辨DSA影像中的非血管偽影,為醫(yī)生辨別病變提供有力參考。與改進前的U-Net模型和常用的U-Net改進模型相比,分割性能明顯優(yōu)于其他模型。

目前,IC-Net網絡仍存在不足。例如在血管末端虛弱血管的檢測能力仍有待提升;對直徑極細的血管分支檢測能力較差。所以,下一步需要繼續(xù)提升網絡對虛弱血管和直徑極細血管的提取能力。同時,DSA影像往往有著極高的分辨率,這對處理過程中使用的硬件設備有著極高的要求,所以需要將模型進一步輕量化。