基于注意力機制的腦腫瘤分割算法研究

戴昂 宋亞男 徐榮華 方俞澤

摘要：文章針對形狀復雜、邊界模糊的腦腫瘤難以實現精確分割的問題，提出一種基于卷積注意力機制和Transformer多頭注意力機制的U型分割網絡。文章首先設計了基于通道注意力和空間注意力的卷積模塊，提高了模塊對局部關鍵特征的提取能力：其次使用一種結構更精簡的Transformer模塊作為網絡的瓶頸層，利用其多頭注意力機制對全局特征進行充分感知：最后在BraTS 2021數據集上進行了實驗。實驗結果表明文章算法在增強腫瘤區域、腫瘤核心區域和整個腫瘤區域的Dice系數評分分別為87. 51%，90. 69%和93. 47%，可以有效提高腦腫瘤分割精度。

關鍵詞：腦腫瘤分割：混合網絡：Transformer：注意力機制

中圖分類號：TP391

文獻標志碼：A

0 引言

在臨床中，通過核磁共振影像（ Magnetic ResonanceImaging，MRI）對腦腫瘤精確分割是醫生進行腦腫瘤診斷和制定治療方案的關鍵環節，這個過程主要需要大量的專業經驗，容易出錯而且費時費力，而傳統的基于閾值的分割方法應用到腦腫瘤分割時有較大的局限性。

近年來，卷積神經網絡（ Convolutional Neural Net-works．CNN）因其強大的特征提取能力而被廣泛應用于圖像處理任務。在醫學圖像分割領域，Ronneberger等[1]首次提出了U-Net架構，實現了端到端的自動分割，該架構迅速成了醫學圖像分割最有效的方法。為了充分利用MRI等三維數據的多個維度的信息．CiCek等[2]將U-Net擴展成三維結構，提出了3 D U-Nel，該網絡在腦腫瘤數據集上分割的各項分割指標均優于二維的U-Net網絡。隨著注意力機制的有效性被證實，研究人員逐漸將其引入以提高醫學圖像的分割精度。例如，郝曉宇等[3]將位置注意力和通道注意力引入3 D U-Net．提出DAU-Net用于肺腫瘤分割，有效地提升了肺腫瘤的分割精度。隨著研究的深入，在自然語言處理領域取得了成功的一種深度神經網絡Transformer逐漸被應用于圖像的分類、檢測和分割任務。Hacamizadeh等[4]提出針對三維醫學圖像分割的網絡UNelFormer．該網絡依然基于U-Nec框架，但編碼器和解碼器都利用Transformer實現，僅依靠Transformer強大的長距離依賴表示能力，實現了對腦腫瘤的精確分割。

雖然在模型中引入卷積注意力或Transformer的多頭白注意力的方法在三維醫學圖像分割中取得了一定的效果，但如何結合CNN的局部特征提取能力和Transformer的全局特征提取能力，更有效地發揮注意力機制的作用，提升三維醫學圖像的分割精度，仍然值得研究。

綜上，本文提出了一個融合CNN通道注意力、空間注意力和Transformer多頭注意力的腦腫瘤分割算法。實驗結果表明，本文算法在卷積編碼塊中合理地引入了注意力機制，并有效融合了Transformer架構，能夠充分發揮CNN和Transformer的優點，提升腦腫瘤分割精度。

1 本文方法

1.1 模型整體結構

本文提出的腦腫瘤分割模型整體結構如圖l所示，模型輸入尺寸為HxWxDx4．其中H．W和D表示三維圖像的3個維度，4表示輸入數據的4種模態。

模型由編碼器和解碼器構成。編碼器部分首先堆疊了3個具有相同結構的卷積層，這些卷積層都由卷積下采樣、通道注意力編碼模塊和空間注意力編碼模塊組成。編碼器的底層瓶頸層則由卷積下采樣和Transformer模塊構成。解碼器將編碼器每一層的下采樣卷積用上采樣轉置卷積替換，用于恢復特征圖的分辨率，然后對來自編碼器部分的同分辨率特征圖進行通道維度的拼接，其余部分和編碼器部分保持一致。最后的分割層的作用是將特征圖恢復為與輸入同等大小，然后由卷積核大小為lxlxl的卷積將通道數量恢復為4．經過Softmax激活函數得到分類輸出。

1.2 通道注意力層

編碼器和解碼器的卷積編碼模塊都由通道注意力層和空間注意力層組成。其中，通道注意力層首先使用兩個卷積核為1x1x1的點卷積和一個卷積核為3x3x3的深度可分離卷積進行特征提取，與使用兩個卷積核為3x3x3的普通卷積相比，計算量顯著降低，并且歸一化方式選擇Croup Norm，激活函數選擇Leaky Relu；然后在卷積特征提取部分后面引入了經典通道注意力模塊SE[5]．強化某些重要通道的特征圖權重：最后在SE后面拼接了一個由卷積實現的全連接模塊，加強全局特征感知能力。通道注意力層的結構如圖2所示。

1.3 空間注意力層

空間注意力層用CBAM[6]中的空間注意力模塊代替了通道注意力層中的通道注意力模塊，使其更加關注于特征圖的空間位置關系，而不是對通道特征的強化。對于輸入尺寸為H×W×DxC的特征圖，空間注意力模塊首先對其進行通道維度上的最大值池化（ MaxPool）與平均值池化（AvgPool），得到兩個H×WxDxl的特征圖，然后將兩個特征圖按通道方向拼接，接著經過一個7x7x7的卷積并使用Sigmoid函數進行激活，最后將激活函數輸出的特征權重矩陣與輸入特征圖相乘，得到對感興趣的區域進行了增強并抑制了無用信息后的特征圖。

1.4

Transformer模塊

與卷積神經網絡相比．Transformer具有動態注意、全局上下文感知和更好的泛化能力等優點。為了充分利用其多頭注意力機制的全局特征編碼能力，并減少參數量，受Wu等[7]提出的卷積視覺Transformer方法的啟發，本文使用卷積對原始的Transformer進行簡化。簡化的Transformer模塊結構如圖4所示。

簡化后的Transformer模塊沒有線性位置編碼投影層，而是直接通過一個深度可分離卷積．生成多頭注意力所需的p，K，V矩陣。具體的，對于經過4次

下采樣的特征圖

，通過卷積核大小為3x3x3的深度可分離卷積實現卷積投影，然后將特征圖在通道維度展平，并使用Layer Norm進行歸一化，得到Q，K，V矩陣。接著進行多頭注意力機制的計算，算法流程可以描述為：

其中，z1表示第l∈[1，2．¨．，L]個Transformer層的輸入，z0為初始輸入E…，LN表示Layer Norm．MLP表示全連接模塊，其結構也與原始的Transformer中的不同，使用的是與通道注意力層和空間注意力層中的全連接模塊一樣的結構。MHSA表示多頭自注意力，計算公式為：

2 實驗過程與結果分析

2.1 實驗數據與預處理

本文的實驗數據由腦腫瘤分割挑戰賽BraTS202l[s]提供，數據集由4種MRI模態組成，分別是Tlw．Tlcew，T2w和Flair。每種模態的數據大小為240x 240×155．腫瘤分割的區域分為增強腫瘤區域ET、腫瘤核心區域TC和全部的腫瘤區域WT。將1 251個數據，按照4：1的比例劃分為訓練集和測試集。在訓練過程中，本研究將數據隨機裁剪成128×128x128的大小，并進行了歸一化處理。

2.2模型訓練

實驗中的模型均在Uhuntu 20. 04.1操作系統下，基于PyTorch l.10.0實現，使用NVIDIA 3090 CPU，以batchsize為2，訓練500輪，訓練的優化器選擇Adam．學習率設置為0.000 5，訓練的損失函數選擇Dice損失。

2.3評價指標

為了定量比較和評估分割結果，本文計算了醫學圖像分割領域中廣泛使用的評價指標Dice系數，計算公式如下：

其中，|Xn Y|表示樣本X和樣本l，的交集．|X|和| Y|為樣本元素數量。

2.4 實驗結果與分析

將本文算法在測試集上與CNN方法3 D U-Net、Transformer方法UNetFormer和CNN與Transformer的混合方法TransBTS[9]進行了分割性能的比較。如表1所示，實驗結果表明，本文算法在ET．TC和WT的平均Dice系數與其他算法相比都取得了最高的分數。

如圖5所示為各方法的分割結果對比圖片，圖中從左到有依次為3 D UNet、UNetFormer、TransBTS、本文算法和真值。

從圖中可以觀察到，本文提出的模型在形狀不規則且模糊重疊的腦腫瘤上，分割更準確，更完整。例如在第一個腦腫瘤數據上，與本文算法相比，其他方法都存在更加嚴重的過度分割，在第二個腦腫瘤數據上．3 D UNec存在較大的分割錯誤，從整體與細節對比中可以發現，本文算法與真實值最為接近。

2.5 消融實驗

為了驗證本文算法中卷積特征提取模塊選擇的通道注意力和空間注意力的有效性以及Transformer模塊的有效性，進行了各模塊的消融實驗，消融實驗中作為對比的模型也以相同的數據和參數訓練得到。實驗結果如表2所示。

從實驗結果可以看出：

（l）不使用Transformer模塊，僅依靠本文設計的通道注意力層和空間注意力層構建基礎分割網絡，也能取得比3 D U-Net分割效果更好的分割結果，表明本文設計的基礎框架是有效的。

（2）直接用CBAM雙注意力模塊代替通道和空間注意力層中的注意力機制時．Dice評分與最終模型相比有所下降，可能是使用CBAM模塊直接計算完通道和空間注意力，會使得網絡在訓練時過于關注某些特征，從而更加容易過擬合。

（3）將SE模塊替換成CBAM中的通道注意力模塊后，分割性能有所提升，但依然低于本文最終的方法，表明將通道注意力模塊和空間注意力模塊嵌入不同的卷積編碼層分別強化通道和空間特征，能夠提升網絡性能，實現分割精度的提升，而且本文使用的注意力機制組合方式更加合理，能更加有效地發揮CNN和Transformer各自的優點。

3 結語

本文提出了一個用于三維腦腫瘤圖像分割的網絡，該網絡基于通道注意力、空間注意力、白注意力構建。網絡的淺層使用卷積注意力模塊有助于對圖像的局部空間信息進行充分編碼。瓶頸層使用簡化的Transformer模塊進行全局特征提取，在引入少量參數的情況下，充分發揮Transformer結構優秀的動態注意能力和學習全局語義相關性的能力。實驗結果表明，在腦腫瘤數據集上，本文提出的算法取得了更高的Dice系數評分，可以更準確地分割腫瘤并有助于臨床診斷的改善。考慮到模型復雜度也是算法能否實際應用的重要指標，后續將在保證分割精度的情況下，在模型輕量化策略上做出進一步改進。

參考文獻

[1]RONNEBERGER 0， FISCHER P， BROX T. U-net： Convolutional networks for biomedical imagesegmentation ： international conference on medical imagecomputing and compurer-assisted inlervention [ C lBerlin： Springer， Cham， 2015.

[2] qICEK O， ABDULKADIR A， LIENKAMP S S. etal. 3D U-Net： leaming dense volumetric segmentationfrom sparse annotation： International conference onmedical imag

[3]郝曉宇 ，熊俊峰 ，薛旭東 ，等 .融合 >-;7＼注意力機制3D U -Net的肺腫瘤分割 [ J] .中國圖象圖形學報，2020（ 10） ：2119-2127.

[4]HATAMIZADEH A. XU Z. YANCJ D， et al.UNetFormer： A unified vision transformer model andpre-training framework for 3D medical imagesegmentation[ EB/OL ] . （ 2022 - 04 - 05 ）

[ 2023 - 02 -14 ] .

https ： //arxiv. org/ab s/2204. 0063 1.

[5] HU J， SHEN L. SUN G. Squeeze -and -excitaLionnetworks： Proceedings of the IEEE conference oncomputer vision and pattern recognition [ C ] . Sah LakeCity： IEEE， 2018.

[6]WOO S， PARK J， LEE J Y， et al. Cbam：Convolutional block attention module ： Proceedings of theEuropean c.onference on computer vision （ ECCV） [ C] .Berlin： Springer， Press. 2018.

[7]WU H， XIAO B， CODELLA N， et al. Cvt：Introducing convolutions to vision transformers：Proceeding{s of the IEEE/CVF international conferenceon compurer vision[ C] . Salt Lake City ： IEEE ， 2021.

[8]BAID U， C.HODASARA S， MOHAN S， et al. Thersna-asnr-mic-.cai brats 2021 benc-.hmark on brain tumorsegmentation and radiogenomic classification [ EB/OL] .（ 2021- 09 - 12 ）

[ 2023 - 02 - 14 ] . https ：//arxiv. org/abs/2107. 02314.

[9]WANG W， CHEN C， DING M. et al. Transbts：Multimodal brain tumor segmentation using transformer：International conferenc-.e on medical image computing andcomputer-assisted intervention [ C ] . Berlin ： Springer，Cham ， 2021.

（編輯王雪芬 ）