基于各向異性注意力的雙分支血管分割模型

徐曉峰，黃韞梔，徐軍

（南京信息工程大學人工智能學院智慧醫療研究院，江蘇 南京 210044）

0 引言

管腔結構廣泛存在于人體系統中，血管是非常重要的管腔結構之一。血管系統也稱為循環系統，負責血液、營養物質、激素、氧氣和其他氣體進出細胞的活動。血管系統包括動脈、靜脈和毛細血管，當異常情況影響到血管時就會出現血管疾病。這是許多國家發病率和死亡率增加的主要原因［1］，給世界衛生系統和經濟帶來了巨大的負擔。早期的診斷和治療是預防血管疾病的關鍵。近年來，醫學影像技術（如CT、MRI、超聲）發展逐步完善，從影像數據中提取出血管區域可以幫助醫生檢測血管的異常，及時干預治療，從而降低并發癥的風險并提高患者的生活質量［2］。但由于管腔結構具有一定的復雜性，手動勾畫不僅消耗醫生大量的時間，準確性也得不到保證，因此設計血管自動分割方法可以減輕醫生的工作負擔，并提高分割準確性。

傳統的血管分割算法主要分為圖像濾波和增強算法［3］、基于形變模型的算法［4］、基于最短路徑的算法［5］和基于機器學習的算法［6］4 種。然而，這些傳統算法通常需要研究人員設計血管特征，選擇合適的參數。深度學習在醫學圖像分割領域展現出了顯著的優勢，研究人員提出很多優秀的分割網絡模型，如U-Net［7］、V-Net［8］、UNet++［9］和nnU-Net［10］。這些模型自動學習復雜的圖像特征，并將其組合成層次表示，用于預測和分類，在不同分割任務中取得較好的性能。血管分割網絡按照分割的圖像類型可分為2D網絡和3D 網絡。在2D 血管分割領域中，已經有一些使用多注意力機制雙網絡的研究。梅旭璋等［11］提出一種基于密集注意力網絡的圖像自動分割算法，該算法將編碼器-解碼器結構與密集連接網絡相結合，以充分提取每層的特征，在網絡的解碼器端引入注意力門模塊，抑制不必要的特征。相較于其他方法，基于密集注意力網絡的算法能夠更有效地處理視網膜血管分割問題，提高視網膜血管圖像的分割精度。鄧小波等［12］提出一種基于通道注意力的雙路徑架構網絡（DPCA-Net）算法，用于分割視網膜血管，該方法通過在網絡中引入通道注意力機制，融合主路徑和次路徑網絡中提取的特征，并構建未引入通道注意力機制的雙路徑架構網絡。DPCA-Net 算法能夠學習更多的血管分割特征，且對病變區域不敏感，分割視網膜血管的效果更好。劉娜等［13］提出一種自注意力融合網絡SAF-Net，將空間和通道注意力并行相結合以處理視網膜血管分割問題，該網絡的核心思想在于關注高頻信息的提取，即挖掘圖像中的細節信息。通過將空間注意力模塊和通道注意力模塊的輸出相加，SAF-Net 可以進一步改進特征表示，從而在視網膜血管分割任務上取得更好的性能。在3D 血管分割領域也有很大的進展，隨著計算機技術的發展和3D 醫學圖像數據的廣泛應用，研究人員已經提出許多新的3D 血管分割方法。TETTEH 等［14］提出一種用于3D 腦血管圖像分割、中心線預測和分支檢測的深度神經網絡，該網絡設計一種具有方向敏感性的卷積模塊，利用3D 上下文信息降低計算資源。KITRUNGROTSAKUL 等［15］提出一種用于肝臟血管分割的多路徑深度卷積神經網絡，從以目標體素為中心的3 個平面（矢狀面、冠狀面和橫斷面）提取的樣本塊對深度網絡進行二分類訓練，但是由于該方法需要計算血管概率圖，因此在預處理上花費更多的時間并且無法用于體素值差異較大的數據。HUANG 等［16］提出一種基于3D U-Net的肝臟血管分割模型，設計一種帶加權系數的Dice損失函數來平衡血管與背景之間的不平衡。YAN 等［17］設計一種基于注意力引導和多尺度特征融合的血管分割網絡，該網絡可以更好地選擇和利用深層特征。然而，這些算法沒有考慮血管拓撲結構的完整性，在分割任務中可能出現血管斷裂的情況，不符合臨床要求。為此，KESHWANI［18］等提出一種新的連通性度量方式，即不同血管對之間的類間距離和同類血管的類內拓撲距離，利用學習到的連通性度量和最短路徑樹算法來重構血管樹。然而，該方法仍然存在多個人工微調參數，并且對血管中心體素的誤檢也非常敏感。

本文提出基于各向異性注意力的雙分支血管分割模型CAU-Net。通過對基礎網絡結構ResU-Net進行改進，構建各向異性注意力模塊AIM，利用管腔結構特有的空間各向異性，從3 個方向提取血管空間各向異性特征，并對特征通道間的相關性進行建模，學習血管的3D 空間信息。采用主-輔雙分支模型，同時結合血管的語義特征和幾何約束，保證血管分割結果的精度和完整性。

1 基于中心線約束與各向異性注意力的血管分割模型

1.1 CAU-Net 雙分支模型結構

雖然深度學習在很多分割任務上的性能已經超過人工標注，但是血管分割依然是1 個具有挑戰性的問題。圖1 所示為血管分割中的挑戰性問題實例，主要有：1）血管與背景之間的邊界模糊；2）病變血管的大小、形狀多變；3）血管的空間結構復雜，且不同樣本之間的差異性較大。本文提出一種基于中心線約束和各向異性注意力的新型3D 血管分割網絡CAU-Net，模型的總體結構如圖2 所示。

圖1 血管分割中的挑戰性問題示例Fig.1 Examples of challenging issues in vascular segmentation

圖2 CAU-Net 總體結構Fig.2 Overall structure of CAU-Net

與傳統U-Net 分割網絡不同，CAU-Net 有2 個子網絡，分別是b-Net 和a-Net。b-Net 在ResU-Net 的基礎上加入各向異性注意力模塊。與傳統卷積不同，AIM 可以提取三維空間中更豐富的血管各向異性特征。b-Net 以圖像作為輸入，輸出血管的預測值。a-Net 以血管的標簽作為輸入，輸出血管中心線熱圖。CAU-Net 訓練過程分為血管中心線熱圖回歸預測任務和血管語義分割任務。

1）血管中心線熱圖回歸預測任務，其結構如圖2（a）所示，a-Net 參與訓練，學習血管的連續性拓撲信息，其訓練過程表達式如式（1）和式（2）所示：

其中：z1表示血管中心線熱圖回歸預測任務中a-Net的預測值；y表示血管中心線熱圖回歸預測任務中a-Net的輸入值；Laux表示a-Net 的Loss 值；MMSE表示均方誤差損失函數；z表示血管中心線熱圖的真實值。

2）血管語義分割任務，其流程如圖2（b）所示，這一步b-Net 參與訓練，b-Net 學習血管的語義特征，實現對血管端到端的語義分割任務，上一步的a-Net 網絡參數在該步驟臨時被凍結，其訓練過程表達式如式（3）～式（7）所示：

其中：x表示血管語義分割任務中輸入到b-Net 的血管影像數據；y1表示血管語義分割任務中b-Net 的預測值；Lseg表示主干網絡的Loss 值；Ls表示血管分割損失函數；z2表示血管語義分割任務中a-Net 的預測值；Lcon表示血管語義分割任務中a-Net 的Loss 值；Ltotal表示血管語義分割任務中的總Loss 值。

1.1.1 b-Net 模型結構

b-Net 模型基于ResU-Net 結構改進，其結構如圖3 所示。b-Net 的編碼器和解碼器是由殘差卷積模塊（RCM）和AIM 組成。文獻［19］提出跳躍連接，在殘差塊的輸入與輸出之間添加1 個恒等映射，可以有效地緩解深層網絡產生的梯度消失、梯度爆炸問題。本文所提的RCM 模塊根據恒等映射的思想，每個RCM模塊包括2 個帶有批量歸一化（BN）和ReLU 激活函數的大小為3×3×3、步長為1 的3D 卷積，并添加1 個加性跳躍連接。編碼器部分的輸入是1×128×128×128 的圖像塊，經過30×3×3×3 大小的卷積層后，送入AIM模塊，再經過上述一系列的RCM 模塊和AIM 模塊，最終得到300×8×8×8 大小的特征圖。解碼器與編碼器不同的是反卷積操作，利用反卷積將空間大小進行翻倍操作。編碼器的最后一步使用大小為1×1×1 的卷積將特征通道數30 映射為C，C為語義分割的類別數（包括背景）。在b-Net 中，不同空間層次的通道數分別為30、60、120、240、300。

圖3 b-Net 模型結構Fig.3 Structure of the b-Net model

1.1.2 a-Net 模型結構

a-Net模型基于U-Net結構改進，其結構如圖4 所示。a-Net 模型的深度更小，僅使用了3 次最大池化操作。每個卷積塊包括組歸一化（GN）［20］、3×3×3 大小的3D 卷積和ReLU 激活函數。因為考慮到b-Net只學習了血管和背景之間的差異特征（如邊緣特征），而不是血管內的中心線特征，所以a-Net 可以回歸中心線熱圖。其損失函數是均方誤差損失函數（MSE）。編碼器輸入的尺寸是1×128×128×128，a-Net 中不同空間層次的通道數分別是16、32、64。

圖4 a-Net 模型結構Fig.4 Structure of the a-Net model

1.1.3 AIM 模塊

SE［21］模塊通過建模特征映射通道之間的相互依賴關系，使網絡可以根據學習任務關注特定通道。然而3D 血管分割任務更關注空間維度，血管空間3 個維度的方向有著不同解剖信息，充分利用3D 空間信息有助于提升血管分割的完整度。ZHU 等［22］將SE 模塊拓展到3D，將空間3 個方向維度壓縮丟失了空間信息，移除所有的空間信息會導致相關信息丟失。對于分割任務，尤其是血管結構的分割，需要精準地解剖結構的空間信息。因此，本文引入AIM模塊，AIM 模塊的輸入是4D 張量U（寬度W、高度H、深度D和通道C），然后通過平均池化操作計算3 個不同方向的投影向量，尺寸分別是C×D、C×W、C×H，隨后將這3 個投影向量擴展后的結果相加，最后是帶有2 個卷積層的激勵操作和特征圖的重新校準操作。

1.2 損失函數

分割模塊的損失函數Ls包含3 部分，結合分割網絡中常用的Dice 損失函數、交叉熵損失函數和邊界損失函數［23］，如式（8）所示：

其中：ω1、ω2和ω3分別是Dice 損失函數、交叉熵損失函數和邊界損失函數的權重系數；Ldice表示Dice 損失函數；Lce表示交叉熵損失函數；Lboundary表示邊界損失函數。本文的ω1、ω2和ω3都設為1。Ldice和Lce的計算式如下：

其中：gki表示類別k在第i個位置的真實體素類別；pki表示類別k在第i個位置的預測概率值；N表示輸入圖像中所有體素的個數；C表示語義分割的類別數。

邊界損失函數的表達式如下：

其中：ψG表示邊界的水平集；當p?G時，ψG=-DG(p)，否則，ψG=DG(p)；sθ(p) 表示二值指示函數。D(?G,?S)表示真實邊界與預測邊界之間的距離，其計算式如下：

其中：DG(p)表示真實標記的深度圖；s(p)和g(p)表示二值指示函數。

2 實驗結果與分析

2.1 實驗數據

為驗證本文所提方法的有效性，本文選取2 種目前公開的血管影像數據集進行實驗。公開數據集血管3D 可視化圖如圖5 所示（彩色效果見《計算機工程》官網HTML 版）。

圖5 公開數據集血管三維可視化圖Fig.5 Three-dimensional visualization of vessels from a publicly available dataset

1 個血管分割數據集是3D-IRCADb-01［24］，其可視化效果如圖5（a）所示，該數據集包含10 名女性和10 名男性肝腫瘤患者的腹部增強掃描CT。每個病例的數據像素大小為0.57～0.87 mm，切片層厚為1～4 mm，切片數為74～260。該數據集中的肝臟靜脈血管（包括門靜脈和肝靜脈）輪廓是由放射科醫生手動勾畫而成，紅色是門靜脈血管的標注，綠色是肝靜脈血管的標注。

本文實驗使用的另外1 個血管分割數據集是IXI［25］，其可視化效果如圖5（b）所示。IXI 數據集包括600 名正常健康受試者的大腦磁共振成像（MR）。MR 圖像采集協議包括T1、T2 和PD 加權圖像、MRA圖像、擴散加權圖像（DWI）。這些數據是多中心的，從倫敦3 個不同醫院收集得到。血管標注使用原始血管圖和濾波增強的血管圖進行交互式閾值分割［25］，標注結果由1 位熟練的放射科醫生逐一檢查并修改。

2.2 實驗設計

2.2.1 數據預處理與數據增強

對于肝臟CT 圖像，首先根據肝臟真實掩碼裁剪出肝臟區域，以去除數據中的冗余信息，然后設置窗寬窗位，將信號強度窗口設置為0～300 HU，將圖像的間距重采樣為［1 mm，1 mm，1 mm］，最后使用最大最小標準化將CT 圖像的體素值歸一化到0～1。腦血管MRA 圖像的數據預處理方式與CT 圖像的不同之處是，將信號強度窗口設置為［0，99］，其中，99 是MR 圖像第99%分位的數值。

為提高模型的泛化能力，本文對數據進行數據增強，在訓練時采用旋轉、縮放、高斯模糊等方式對數據進行增強，隨機旋轉的角度設置為30°，隨機縮放比例設置為0.3，高斯噪聲的標準差設置為0.02。

2.2.2 實驗設置

本文實驗所使用的設備信息包括：處理器（CPU）為12th Gen Intel?Core i9-12900K×24，內存（RAM）為128 GB，顯卡（GPU）為GeForce GTX 3090Ti。開發平臺信息包括：操作系統為Ubuntu 22.04.1 LTS 64 位，開發平臺為Python 3.9.13，PyCharm 平臺，PyTorch 1.13.0 框架。

本文方法在進行分割任務訓練時，采用Kaiming均勻策略對模型進行初始化，然后采用Adam 優化器，最大迭代次數設為400，批大小設置為2，初始學習率設為1×10-4。學習率按式（13）進行更新：

其中：e表示當前迭代輪數；Ne表示總迭代輪數。

2.3 后處理與評估指標

結果表明，CAU-Net 容易將影像數據中一些噪聲點預測為血管區域。為去除這些細小的體積噪聲，根據經驗對分割結果進行后處理，計算每個連通區域的體積，當某個連通區域小于100 個像素時，則去除該連通區域。

本文使用的評價指標采用醫學圖像分割領域中比較經典的Dice 系數（DSC）、歸一化表面Dice（NSD）系數［26］、血管中心線指標clDice［27］、分支檢測率（BD）［28］和樹長檢測率（TD）［28］。

Dice 系數是1 個衡量2 個區域相對重疊程度的指標，如式（14）所示：

其中：G為數據集中血管區域的標簽；P為模型預測結果。Dice 系數介于0～1，Dice 系數越大，表面分割結果與真實值之間的重疊程度更高，分割結果更準確。

NSD 系數用來評價在指定容忍度τ下2 個surface 到底有多接近。NSD 系數范圍為0～1，其值越高表明邊界分割越好。在許多臨床任務中，邊界誤差是至關重要的。Dice 系數不能很好地反映邊界誤差，而NSD 系數對邊界誤差很敏感，其計算式如式（15）～式（17）所示：

其中：|?G|和|?P|分別代表真實體素和預測體素的個數和分別代表真實血管表面和預測血管表面在τ下的邊界區域。

然而，無論是Dice 系數還是NSD 系數，對于管腔類結構的分割性能評價都是次優的。在血管分割過程中，保證分割血管拓撲結構的完整性具有更大的價值。clDice 作為拓撲相似性測度，其原理為計算分割結果與骨架的相交占比，用于評價分割結果的拓撲連通性。拓撲學精度和敏感度的計算表達式如下：

其中：VL表示真實結果；VP表示預測結果；SL表示從真實結果中提取的骨架；SP表示從預測結果中提取的骨架。Tprec對應了拓撲學上的精度，而Tsens則對應了拓撲學上的敏感度。最后本文定義clDice 為Tprec和Tsens的F1 值，其計算式如下：

為衡量分割結果的完整性和連通性，本文還使用分支檢測率（BD）［28］和樹長檢測率（TD）［28］，其計算式如式（21）和式（22）所示：

其中：NP表示正確檢測到的分支數；NG表示真實標注中存在的分支總數；LP表示正確檢測到的血管樹長度；LG表示真實標注血管樹的總長度。

2.4 結果分析

本文提出的CAU-Net 新型血管分割模型，針對醫學圖像中血管的復雜結構、血管與背景對比度低、病變血管多樣性的問題，提出各向異性注意力模塊和基于中心線約束的主-輔雙分支模型。為驗證本文算法的有效性，本文首先選取3 種經典醫學圖像分割網絡進行對比，分別是nnU-Net、ResU-Net［29］和Attention U-Net［30］，從3D-IRCADb-01 數據集中隨機選取16 個樣本作為訓練集，另外4 個樣本作為驗證集。為進一步探索各模塊對分割性能的影響，本文在IXI 腦血管數據集上進行消融實驗，從IXI 腦血管數據集中隨機選出80 例MRA 數據用于分割任務的訓練集，20 例MRA 數據作為分割任務的驗證集。

2.4.1 在肝臟血管數據集上的對比實驗

在測試數據上，本文對比不同血管分割模型的分割性能，實驗結果分別如表1、表2 和圖6 所示，加粗表示最優數據。相比其他分割模型，CAU-Net取得最優的分割結果，門靜脈分割的Dice、NSD、clDice、BD、TD 分別是（74.80±8.05）%、（54.80±8.09）%、（72.43±8.26）%、（46.47±12.89）%、（67.08±15.59）%，肝靜脈分割的Dice、NSD、clDice、BD、TD 分別是（76.14±6.89）%、（50.40±5.22）%、（70.84±6.05）%、（39.19±7.97）%、（61.47±9.32）%。相比經典的醫學圖像分割模型nnU-Net，本文模型在門靜脈分割任務上的Dice、NSD、BD、TD 分別提升6.74%、18.67%、15.16%、8.21%，在肝靜脈分割任務上的Dice、NSD、clDice、BD、TD 分別提升8.28%、13.64%、3.18%、14.59%、10.52%。nnU-Net 在許多醫學圖像分割任務上取得了SOTA，然而在門靜脈和肝靜脈的分割任務上，nnU-Net 模型的分割結果并不理想。無論是基于體素、基于邊界還是基于中心線的評價指標，nnU-Net模型的結果都較差，說明nnU-Net 分割框架在血管分割任務并非最優選擇。

表1 各分割模型在3D-IRCADb-01 驗證集上的分割效果（門靜脈）對比Table 1 Comparison of segmentation effect（portal vein）of various segmentation models on the 3D-IRCADb-01 validation set %

表2 各分割模型在3D-IRCADb-01 驗證集上的分割效果（肝靜脈）對比Table 2 Comparison of segmentation effect（hepatic vein）of various segmentation models on the 3D-IRCADb-01 validation set %

圖6 肝臟門靜脈和肝靜脈分割結果Fig.6 Segmentation results of the hepatic portal vein and hepatic vein

對于門靜脈的分割任務，Attention U-Net 模型在驗證集上的平均Dice 系數略高于本文提出的CAU-Net，但是NSD、clDice、BD、TD 都低于CAU-Net。Attention U-Net 最初是為分割胰腺而設計的，與肝臟、脾臟這些人體內體積較大的器官不同，胰腺的體積更小，對于分割網絡的特征提取能力要求也更高。因此，Attention U-Net 在血管分割任務上可以取得較好的性能。然而胰腺的空間結構單一，與血管的復雜網絡結構相比，還是較為簡單的，血管分割任務的性能也不能僅僅考慮基于體素的性能指標。為了減小分割結果的邊界誤差，本文在血管分割的損失函數中加入邊界損失，對于門靜脈及肝靜脈的分割，CAU-Net 相較于Attention U-Net 的NSD 系數分別提升0.15%和9.40%。為提升血管分割結果的完整性和連通性，本文提出基于中心線約束的主-輔雙分支模型，通過血管中心線熱圖的回歸學習，血管分割的完整性和連通性均有所提高。對于門靜脈及肝靜脈的分割，相比Attention U-Net，CAU-Net 的clDice 系數分別提升了0.71%和4.09%，分支檢測率分別提升了7.47% 和9.81%，樹長檢測率分別提升5.89% 和7.62%。此外，為更充分地提取血管類結構所特有的特征，本文設計各向異性注意力模塊，各向異性注意力模塊可以幫助網絡更好地學習三維血管不同方向上的特征，從而提高網絡的泛化能力和血管分割的準確性。本文還采用不同的數據增強方法，例如隨機縮放、高斯模糊和三維旋轉等，以增加數據樣本的多樣性，進一步提高模型的魯棒性。

為了更充分驗證本文方法的優勢，本文在實驗中增加了細血管結構的局部對比。從圖6 中的局部對比結果可以看出，在細血管結構的檢測和分割上，CAU-Net 相較于其他方法具有一定的優勢。CAU-Net 可以更準確地檢測和分割細血管結構。然而，在血管分支較復雜的情況下，CAU-Net 的分割效果可能會受到一定的限制。

2.4.2 在腦血管數據集上的消融實驗

在腦血管數據集上的消融實驗結果分別如表3和圖7 所示。在加入各向異性注意力模塊后，Baseline+AIM 模型在測試集上的Dice、NSD、clDice、BD、TD 相比Baseline 分別提升0.48%、0.43%、0.52%、0.53%、0.68%。在加入基于中心線約束的主-輔兩分支模型后，模型的分割性能得到進一步提升，最終本文提出的分割方法在驗證集上的平均Dice、NSD、clDice、BD、TD 分別為（94.11±0.39）%、（96.53±0.37）%、（95.83±0.59）%、（98.64±1.63）%、（95.44±1.22）%，相比Baseline 分別提升0.92%、0.82%、0.92%、1.11%、1.60%。因此，本文提出的各向異性注意力模塊和基于中心線約束主-輔兩分支模型可以提升血管分割的精度和完整性。

表3 在腦血管數據集上的消融實驗結果Table 3 Results of ablation experiments on the cerebrovascular dataset %

圖7 腦血管分割結果對比Fig.7 Comparison of the segmentation results of the cerebrovascular

3 結束語

針對血管邊界模糊、病變血管的形狀多變以及血管空間結構復雜的問題，本文提出一種基于中心線約束和各向異性注意力的新型三維血管分割方法CAU-Net，以獲得更具血管代表性的圖像底層和高層特征，提升血管分割結果的精度和完整度。通過結合各向異性注意力模塊和基于中心線約束的主-輔雙分支訓練網絡，主網絡分支預測三維血管的語義分割結果，輔助網絡分支預測三維血管中心線熱圖，主-輔雙分支相互約束，更加高效地學習血管類結構特有的空間結構特征。在2 種不同類型的血管影像數據集上的實驗結果表明，CAU-Net 較其他醫學圖像分割方法具有更優的魯棒性，由于基于血管中心線約束的雙分支網絡同時結合了血管的語義特征和幾何約束，因此可以更準確地識別形態多變的血管，兼顧分割的精度與完整性。后續將優化CAU-Net 模型結構，提升在血管交叉較嚴重區域中的分割精度。