語義流引導采樣結合注意力機制的腦腫瘤圖像分割

宋建麗，呂曉琪，2*，谷宇

（1.內蒙古科技大學 信息工程學院，內蒙古 包頭市 014010；2.內蒙古工業大學 信息工程學院，內蒙古 呼和浩特 010051）

1 引言

腦腫瘤是顱內腫瘤的簡稱，由腦部非正常增長的神經細胞組成，相較于其他腫瘤具有更高的致命性。腦膠質瘤是所有腦腫瘤中最常見、最具有侵襲性的惡性腫瘤［1］。據世界衛生組織報道，根據其顯微圖像和腫瘤行為可分為四個等級［2］，Ⅰ，Ⅱ級為低級別膠質瘤（Low Gliomas grade，LGG），Ⅲ級和Ⅳ級為高級別膠質瘤（High Gliomas grade，HGG），級別越高，致命性越強。磁共振成像（Magnetic Resonance Imaging，MRI）作為一種高性能的軟組織成像手段，能夠顯示不同模態的信息，現已成為腦腫瘤檢測和診斷的重要工具［3］。

在臨床實驗中，腦腫瘤的精細分割主要依靠經驗豐富的醫生，注意力不集中、疲勞以及缺乏相關工作經驗等因素會影響分割結果［4］。盡管研究人員已經進行了深入研究，但是由于腦腫瘤的位置、大小和形狀具有不確定性，病變組織和正常組織之間的低質量成像和邊界模糊使得在實際操作中難以獲得足夠的分割精度，腦腫瘤分割仍然面臨很大挑戰［5］。近年來，深度學習技術廣泛應用于圖像分析與處理、語音識別等領域，并取得突破性進展，現已成為腦腫瘤圖像分割的主要技術手段［6］。

卷積神經網絡（Convolutional Neural Networks，CNN）因其強大的特征提取能力，廣泛應用于圖像處理領域［7］。Ronneberger等［8］在全卷積神經網絡（Fully Convolutional Networks，FCN）［9］的基礎上首次提出UNet 模型，實現了端到端的自動分割，已成為醫學圖像分割領域的主流網絡。?i?ek等［10］將UNet 擴展到3D UNet，改進后的網絡能夠更好地學習MRI 圖像不同維度的信息，并且各項指標的參數均優于二維的UNet 網絡。MultiResUNet［11］作為UNet 的增強版本，利用具有學習能力的殘差塊代替簡單的跳躍連接，能同時對3D 和2D 圖像產生更好的分割效果，尤其是對多模態數據集的處理。隨著注意力機制有效性被證實，研究者們嘗試將注意力機制引入卷積神經網絡，Oktay等［12］通過將注意力門控機制嵌入跳躍連接，實現了對特定目標結構的自動學習。Wang［13］和Jiang［14］將基于自注意力機制 的Transformer 和SwinTransformer 與UNet 融合，進一步實現了對腦腫瘤的精確分割。

現有模型在獲得高級語義信息時會損失重要的邊緣和細節信息，楊堅華等［15］構建了并行多路徑網絡，使用同時進行特征提取和融合策略減少語義信息丟失；梁禮明等［16］通過在編碼部分級聯高分辨率網絡減少特征缺失，增強病變像素傳遞，但是過多的卷積操作導致網絡結構冗余復雜。Huang 等人［17］在編碼階段設置并行路徑，在下采樣的同時融合細節信息，從輸入端降低采樣造成的信息損失，但忽視了不同層級的語義信息差。Aboelenein等［18］針對腫瘤形式和大小差異性，設計層數不同、卷積核大小不同的雙軌道UNet 結構，降低了小尺度特征在訓練中的損失，但缺少對邊緣細節信息的關注。Lu等［19］則利用多層的DenseNet 實現特征重用，保留低級信息。

針對傳統卷積帶來的模型參數量大，計算消耗高等問題，Chen等［20］提出DMFNet 網絡，使用多纖維單元構成基礎卷積層，利用不同擴張率的空洞卷積獲取多尺度特征表達，顯著降低了參數量和計算量，但是過多空洞卷積造成了圖像特征丟失。Luo等［21］通過對標準卷積進行跨信道和空間域的分層解耦，提出了一種輕量級的偽3D 模型HDCNet，在減少信息冗余的同時完成對空間上下文信息的學習，極大地降低了參數量和計算復雜度，但是對增強區域分割欠佳。Zhou等［22］利用計算效率較高的3D ShuffleNetV2 作為編碼器，利用逐點卷積和通道重排，降低計算復雜度和內存消耗，不足之處是忽略了解碼器對模型效率和精度的影響。

由上述研究內容可知，通過簡單地疊加模型結構，增加額外路徑或者多尺度融合等方法，無法很好地緩解因網絡層次加深導致的信息損失問題，同時還會造成網絡自身的復雜度提高。為更好地解決特征信息損失和模型復雜度過高的問題，本文提出了一種輕量級的雙重注意力特征對齊網絡（Dual Attention Feature Align Net，DAFANet）。首先，在網絡解碼階段使用特征對齊單元減少上采樣造成的信息損失，改變傳統分割模型對上采樣階段特征恢復的直接操作，顯示地學習不同層級之間存在的語義流差異性，校正語義信息差，實現更準確的特征恢復。其次，針對腦腫瘤圖像的三維數據形式，將2D 期望最大化注意力機制擴展為3D 變體，分別作用于特征對齊單元和級聯路徑，有助于網絡更好地利用圖像的體素信息，同時促進網絡對全局依賴關系的獲取，雙路徑形式能更好地減少輸入噪聲，降低輸入特征的差異性，強化特征恢復過程。最后，使用廣義Dice 損失函數提升數據不平衡條件下的分割精度，加快網絡收斂。

2 腦腫瘤圖像分割方法

本文提出的DAFANet 模型是基于實時分割網絡DMFNet 改進，其網絡結構如圖1 所示。4通道對應腦腫瘤的四個模態。模型采用U 型編碼解碼結構，在編碼階段首先采用步長為2 的3×3×3 卷積初步采樣，使用如圖2 所示的多纖維（Multi-Fiber，MF）單元和擴張多纖維（Dilated Multi-Fiber，DMF）單元作為卷積塊，并在下采樣中設置組卷積數為16，其中擴張多纖維單元用于解決在分辨率較低時感受野較小的問題，可學習的權重系數ω1，ω2，ω3分配給每個擴張分支，最后三個分支相加。多纖維結構通過使用3 個并行的纖維單元將具有Cin通道的輸入分為三組，將復雜的神經網絡切片替換成由多個纖維組成的集合，結合具有通道變換功能的多路復用器，極大地提高模型的效率，最終形成輕量級的3D 網絡結構。其中多路復用器的具體結構如圖2（b）所示，由兩層1×1×1 卷積組成，用于不同纖維塊之間的信息交互。

圖1 DAFANet 整體結構圖Fig.1 Overall network architecture of our DAFANet model

圖2 多纖維單元和擴張多纖維單元結構圖Fig.2 Structural diagram of Multi-Fiber unit and Dilated Multi-Fiber unit

解碼階段由特征對齊（Feature Align，FA）單元和多纖維單元構成，最后經過一層1×1×1 卷積和softmax 層得到最后的分割圖。特征圖在執行上采樣和級聯操作之前，特征對齊單元會顯示地學習編碼階段和解碼階段特征映射之間的語義信息差，利用信息差形成第一層采樣層，隨后和上采樣特征相加，最后和編碼路徑的信息級聯生成最后的特征信息。第三采樣層在跳躍連接路徑和特征對齊路徑融入3D 期望最大化注意力機 制（Expectation-Maximization Attention，EMA），用于獲取上下文信息，降低輸入噪聲。

2.1 特征對齊單元

特征對齊單元將特征的逐層傳遞抽象為“流”的形式，語義信息流可以簡單概述為具有語義差的特征在減少錯位問題時信息流動所形成的差值域，其核心思想是用深層語義信息彌補淺層語義信息的缺失。通過學習不同分辨率之間的語義信息，動態地建立特征圖之間的位置對應關系，降低相鄰級別特征圖的語義信息差，促使網絡得到更加豐富的空間和語義信息。特征對齊單元以不同層級的特征信息作為輸入，通過評估不同層級之間的特征差異得到合適的語義流場，該流場會自動調整兩層之間的差異，給出有效的特征對齊信息。網絡構成如圖3 所示。

圖3 特征對齊單元Fig.3 Feature align unit

多次遞歸使用下采樣操作，導致上采樣的特征映射與對應層的特征映射存在可預測的空間錯位，通過簡單地元素添加或者通道融合都會損害目標邊界的預測。特征對齊單元通過動態學習特征映射之間的語義信息差，進而減少空間錯位的產生，實現更準確的特征恢復。整體流程可分為如下兩步：（1）獲取顯著映射區域；（2）特征重采樣。

實現特征對齊的關鍵是尋找兩個相鄰特征層之間的對應點，由于腦腫瘤圖像前景和背景之間像素極不平衡，實際分割區域在腦腫瘤圖像占比不足，那么特征圖中的絕大多數顯著區域可以當做信息傳播的關鍵點，也是實現特征對齊的關鍵信息。

其中：cat（·）代表級聯操作，conv3×3×3代表卷積核3×3×3 的卷積操作。

經過Ω流域的預測，Fl所處的空間灰度域中的每一個位置pl都可以被映射到高級語義信息層的點ph上，最后將Fh和Ω經過warp 操作得到最后的特征映射。對于矯正之后的深層特征，Li等人［23］采用與淺層特征信息融合的方式來獲取最終的結果。但是對于像腦腫瘤這種實際分割占比不足而且分割區域呈現嵌套形式的圖像數據，當學習到的語義信息具備的對齊效果不佳時，會影響各個子區域的邊界分割效果。為此，本文采用模板匹配的方式，通過生成與Fh同樣大小的灰度規則網格grid，將Ω中對應坐標點的像素賦值到grid 的相應位置，基于語義相似度將低分辨率特征圖的樣本提升到高分辨率的大小，實現對高級語義信息的重采樣。Warp 核心是通過使用學習到的關鍵位置點和偏移量調整卷積核中每個采樣點的位置，實現將上采樣的特征映射對齊到一組特征映射grid 中去，最后輸出的特征圖F將會有特征對齊的特性。在數學上，可以通過公式（2）描述：

2.2 期望最大化注意力機制

在像素級別的腦腫瘤圖像分割過程中，詳細的上下文信息對分割任務至關重要，而卷積操作只能獲取卷積核區域內像素的相鄰關系，無法建立與其他像素之間的聯系。自注意力機制通過計算像素點之間的特征加權和獲取特征表示，以此捕獲遠程信息。傳統自注意力機制需要在所有位置上計算所需的注意力圖，導致較高的計算復雜度。Li 等人［24］從期望最大化迭代（Expectation-Maximization，EM）算法的角度對自注意力機制優化，使用EM 算法迭代得到一組緊湊的基，在基上計算權重，從而降低計算量。這一過程主要通過E 步更新注意力圖，M 步更新這組基實現，其中E、M 需要交替執行，直至收斂。本文在原有的注意力機制基礎上進行改進，將其擴展為3D 形式，以更好地適應腦腫瘤的三維圖像模式，使其能夠更好地捕獲全面的空間信息。

EMA 的具體流程可以描述為，對于給定的輸入大小為C×D×H×W的特征圖X，首先將其重塑為N×C大小，其中N=D×H×W，選擇初始基μ∈RK×C（K為基的個數），E 步估計隱變量Z∈RN×K，Z表示每個基對像素的權責，則第K個基對第n個像素xn的權責可以計算為：

其 中：1≤k≤K，1≤n≤N，內核P(a，b)選擇exp(aTb)的形式。則第t次迭代中的步驟E 可以表示為：

其中，λ作為超參數控制的分布。

用M 步更新基μ，μ被計算作為X的加權平均，則第k個基被更新為：

EMA 算法交替執行E 步和M 步算法T次之后，近似收斂的μ和Z對X進行重估計得公式為：

其主要流程如圖4 所示，對于輸入的特征圖X，交替執行E 步、M 步直至收斂，使用收斂的μ和生成的注意力圖Z對X進行特征重構得到Xˉ，兩個1×1×1 卷積分別用于變換輸入的值域和將估計值Xˉ映射到殘差空間，最后經由殘差運算得到加強后的特征信息。

圖4 期望最大化注意力機制整體架構Fig.4 Structure of expectation-maximization attention

2.3 損失函數

腦腫瘤的病變區域占整個輸入空間的一小部分，存在目標區域和背景區域分布占比不平衡的問題，而傳統的Dice 損失函數不利于小目標區域的分割，小目標區域部分像素的錯誤預測會引起Dice 系數大幅度波動，不利于模型收斂。為此，本文選擇使用廣義Dice 損失函數（Generalized Dice Loss，GDL）緩解小目標區域預測效果不佳時對模型的影響。GDL 在Dice Loss 的基礎上引入權重以改善對小目標檢測不利的情況，同時將多個類別預測情況下的結果進行整合，使用一個指標作為分割結果的預測指標。腦腫瘤圖像分割作為對健康組織和病灶的二分類任務，此時廣義Dice 損失函數如公式（7）所示：

其 中：m為類別數，rij為類別i在第j個像素處的標準值，pij為類別數i在第j個像素處的預測值，ω為每個類別的權重，由類別中的像素個數決定，具體如式（8）所示：

3 實驗結果與分析

3.1 實驗環境

本文所用實驗環境為：CPU：15 vCPU AMD EPYC 7543 32-Core Processor，GPU：RTX 3090（24 GB）* 1；ubuntu18.04 操作系統，Pytorch 深度學習框架。

3.2 數據集

實驗數據集使用腦腫瘤（BraTS）分割挑戰賽BraTS2018 和BraTS2019 數據集，數據集的數據構成如表1 所示，其中使用BraTS2019 做主要實驗，BraTS2018 用于不同數據集的泛化驗證。每個病例都有四種模態，包括T1 加權（T1）、T2加權（T2）、T1 對比（T1ce）和液體衰減向內恢復（FLARE）序列，每種模態的圖像大小都是240×240×155。所有訓練集均有標簽，驗證集沒有標簽，病例的真實標簽均有多位經驗豐富的醫師標注。論文中的所有結果均在BraTS 挑戰賽的在線評估服務器進行測評，驗證算法的有效性。圖5 為同一病例不同模態的腦腫瘤圖像和真實分割標簽。

表1 數據集構成Tab.1 Datasets composition

圖5 不同模態的腦腫瘤圖像與真實分割標簽Fig.5 Brain tumor image and real segmentation tags with different modalities

3.3 評價指標

為對分割結果進行有效評估，采用多指標綜合評判方法。選擇Dice 相似系數、靈敏度（Sensitivity）、特異性（Specificity）和豪斯多夫距離（Hausdorff95 distance）對腦腫瘤的浮腫（Whole Tumor，WT）區域、壞疽（Tumor Core，TC）區域和增強腫瘤（Enhance Tumor，ET）區域進行評價。其中Dice 相似系數用來計算分割結果和圖像真實標簽的相似程度，取值范圍為［0，1］，Dice值越大說明分割精度越高。計算公式為：

靈敏度和特異性用于衡量結果和真實值之間的體素重疊程度，具體計算方式為：

其中：TP表示真陽性，FP為假陽性，FN為假陰性。

Hausdorff95 距離用來評估模型的分割結果和真實標簽邊界之間的距離，是分割結果邊界中的某個點到真實標簽邊界中的最近點的最大值，距離越小說明分割精度越高。計算公式為：

其中：sup（·）用于尋找集合下確界，inf（·）尋找集合上確界，d（x，y）表示x，y兩點之間的歐式距離，X和Y分別為網絡預測的腦腫瘤區域和真實標簽區域的體素集，x，y分別為兩個體素點的距離。

3.4 參數設置

實驗過程中使用自適應矩陣估計（Adam）進行訓練，設置初始學習率為10-3，使用衰減率為10-5的L2 范數作為正則化系數；使用數據增強技術擴充數據集，包括將圖像從240×240×155 隨機剪裁為128×128×128，以0.5 的概率沿任意軸向對圖片進行隨機鏡像翻轉，對剪裁后的圖像在［-10°，10°］范圍內隨機旋轉等操作。在EMA模塊中設置基集數k的值為64，迭代次數T為3，超參數λ為1。根據實驗設備資源情況，設置批處理大小為4，訓練500 輪基本收斂。

3.5 特征對齊單元的有效性驗證

為更好地證明所提模塊的有效性和泛化性，分別在DMFNet、HDCNet 和3D UNet 網絡進行實驗，結果如表2 所示。實驗結果表明，結合FA單元后的三個基礎網絡綜合性能均得到提升，其中Dice 相似系數的效果最為明顯，表明經過處理之后的特征映射具備信息對齊的效果，證明了特征對齊單元在減少特征錯位問題上的有效性。尤其是改進后的3D UNet 在Dice 系數和靈敏度指標上較原網絡都有大幅提升，嵌入FA 的3D UNet 在ET，WT 和TC 三個區域的Dice 相似系數分別提升了1.97%，1.03%，1.74%，靈敏度分別提升了4.13%，1.06%，3.23%。DMFNet 在TC 區域的Dice 相似系數增加了0.79%，HDCNet 在WT 區域的Dice 精度增加了0.41%，在其他區域的精度也都有小幅提升。同時改進后的三個網絡在特異性和Hausdorff95 距離方面也有不同程度的改善，充分證明了特征對齊單元的有效性和泛化性。

表2 不同模型使用FA 后的效果Tab.2 Comparison of effects of different models using FA

3.6 DAFANet 的消融實驗

為驗證本文所提模塊的有效性，在DMFNet網絡的基礎上分別使用特征對齊單元（FA），期望最大化注意力機制（EMA），對比不同網絡結構下Dice 相似系數和Hausdorff95 距離，驗證不同模塊對分割結果的有效性，結果如表3 所示。

表3 DAFANet 模型的消融實驗Tab.3 Ablation experiment of DAFANet model

表中的“up”和“down”分別表示在特征對齊路徑和跳躍連接路徑使用EMA，“2EMA”表示在兩條路徑同時使用EMA。結果表明，不同結構下的Dice 相似系數較基礎網絡都有不同程度的提升，本文提出的DAFANet 模型Dice 相似系數達到了78.11%，90.10%，82.21%，對比原網絡分別提升了1.43%，1.63%，2.02%。Hausdorff95 距離在ET 和WT 區域均有減少，但在TC 區域略有增加；引入EMA 之后的效果更佳，尤其是在ET 和TC 區域的分割，對跳躍連接和特征對齊引導路徑同時使用EMA 的綜合效果優于單獨使用EMA。為進一步驗證EMA 位置對模型整體的影響，分別在網絡第一層、第二層和第三層使用EMA，驗證其位置對分割精度和模型參數的影響，結果如表4 所示。由表4 可以看出，在第三層使用EMA 的分割效果優于在其他位置的分割值，同時計算量低于其他位置，此時模型的整體性能達到最優。

表4 EMA 位置的消融實驗Tab.4 Ablation experiment of EMA position

3.7 基數k 值選擇

基集的初始值會影響EMA 收斂到全局最大值的進程，在迭代過程中尤為重要。為更好地發揮算法性能，本文針對k的取值做如表5 所示的對比實驗，驗證k 取不同數值的分割效果，Dice 系數的顯式對比如圖6 所示。結果表明，分割效果隨k的取值表現出明顯的差異性，k=16和k=64優于k=32 的分割效果，特別地，當k=64 時，在TC 區域的分割精度值較k=32 增加了2%，能夠實現整體效果最佳。

表5 超參數k 的對比實驗Tab.5 Comparative experiment of superparameter k

圖6 k 取不同值的對比圖Fig.6 Comparison chart of different values of k

3.8 與經典模型的結果對比

本文的DAFANet 模型與3D UNet、注意力UNet、DMFNet 等經典腦腫瘤分割模型的性能指標對比結果如表6 所示，從表中可知DAFANet網絡的整體分割效果優于其他六個模型，Dice 分割精度有不同程度提高，Hausdorff95 距離也有不同程度減少。在參數量和計算量（每秒浮點運算次數）上，DAFANet 的整體參數量為4.23 M，比原網絡和3D ESPNet 略有增加，遠小于注意力UNet 和TransBTS，約為注意力UNet 和Trans-BTS 參數的1/8，約為3DUNet 參數的1/3，較HDCNet 增加了3.94 M；在計算量上，約為TransBTS 的1/11，約為3D UNet 的1/6，約為注意力UNet 和3D ESPNet 的1/2。相較于HDCNet，DMFNet 和3D ESPNet，DAFANet能夠在較少增加計算量或者參數量的基礎上，分割精度得到有效提升。

表6 與經典模型的分割結果對比Tab.6 Comparison of segmentation results with classical models

為更好地顯示數據分散性，對DAFANet 和DMFNet 的Dice 相似系數做箱線圖比較。圖7中最上方和最下方的線段分別代表最大值和最小值，箱體自上而下分別代表第三四分位數、中位數和第一四分位數。由圖7 可知DAFANet 整體數據的平均水平較高，在ET 和TC 區域的Dice 相似系數穩定性高于DMFNet，離散數據值更接近第一四分位數值。綜合而言，DAFANet相對于DMFNet 能夠在保持分割穩定性的同時擁有更好的分割效果。

圖7 DAFANet 和DMFNet 的箱線圖對比Fig.7 Comparison of box diagram between DAFANet and DMFNet

3.9 不同數據集的泛化實驗

為驗證該模型在其他數據集上的效果，基于BraTS2018 驗證集開展進一步實驗，在三個區域最終的Dice 分割精度分別達到80.44%，90.07%，84.57%，對應的Hausdorff95 距離分別達到2.75 mm，4.70 mm，5.49 mm。將兩個數據集的分割結果和當前流行方法進行比較，結果如表7 所示。本文所提算法在兩個數據集ET 區域的分割幾乎都可以獲得可觀的Dice 精度，側面驗證了算法對細小區域分割的有效性。相對最新的Liu等［29］和Chang等［30］的 模型，DAFANet 的結果雖然在TC或者WT的分割值略低，但在其他區域都有不同程度的提升，進一步說明在獲取細節和邊緣輪廓信息上有一定的可行性。綜合對比，本文的綜合效果更佳。

表7 不同數據集下的Dice 系數和Hausdorff95 距離同其他模型的結果對比Tab.7 Comparison of Dice coefficient and Hausdorff95 distance with other models under different datasets

3.10 結果的可視化比較

為更直觀地顯示分割效果，對部分分割結果進行可視化，如圖8 所示（彩圖見期刊電子版）。本文DAFANet 網絡相比其他網絡更接近真實值，能顯著減少分類錯誤。DMFNet、注意力UNet 和UNet 的分割結果圖比較光滑，但是丟失了許多細節信息，導致輪廓分割模糊。3D ESPNet 雖然對小目標區域有一定優勢，但在分割子區域的重疊部分會產生較多錯誤分類，HDCNet 和TransBTS 的分割效果雖然優于其他網絡，但是在處理小目標區域以及核心區域細節部分上仍有不足。DAFANet相對于其他網絡，對腫瘤的小目標區域識別更加細膩，輪廓分割也更加準確，尤其是在紅色ET 區域的分割效果，優于其他網絡。

圖8 分割結果的可視化對比Fig.8 Visual comparison of segmentation result

4 結論

為了獲取更加豐富的細節信息，降低臨床操作中因邊緣模糊導致的分割失誤，本文通過對語義信息流概念的深入分析，設計了能夠減少因多次采樣造成信息損失的特征對齊引導單元，在探索特征對齊單元可行性的基礎上，提出了一種輕量級融合注意力的特征對齊引導網絡DAFANet。首先使用特征對齊單元緩解因網絡層次加深造成的信息退化，減少了網絡上采樣過程中的信息損失，使得模型本身能夠兼顧特征的深度獲取和細節保留；其次，在跳躍連接和特征對齊路徑中融入3D 期望最大化注意力機制，既能獲取全局依賴關系，又能降低輸入噪聲。最后，利用廣義Dice 損失函數降低類別不均衡對分割精度的影響。實驗結果顯示，本文所提方法在BraTS2018 和BraTS2019 數據集的平均分割精度達到了85.03%，83.47%，表明DAFANet 模型具有一定的優越性和較高的臨床價值，能夠更好地幫助醫生診斷病情。而特征對齊單元作為一種即用即改的模塊，目前主要在U 型網絡進行測試，未來會嘗試將其應用到其他網絡架構和其他醫學圖像數據集。