基于改進U-Net模型和CBAM的腦腫瘤MRI圖像分割

張曉倩，羅 建，楊 梅，金芊芊，朱 熹

（西華師范大學電子信息工程學院，南充 637009）

0 引言

社會在進步，計算機技術也在發展，現已經能為大腦研究提供更豐富的腦組織圖像和有效信息。磁共振成像MRI也成為腫瘤分割的一個常用手段。它具有多參數成像，腫瘤位置更加敏感，腦組織成像更清晰等特征。雖然MRI能很好地顯示腦組織結構和病變區域，但MRI圖像存在偽影、偏場效應、灰度偏移場等問題。由于人工篩選MRI圖像來預判早期腦腫瘤的方法非常耗時，所以引入深度學習技術是非常有必要的。

目前常用方法分為兩大類，即傳統和深度學習的圖像方法。

閾值分割和區域生長法在傳統方法中占很大比重，雖然它在腦腫瘤的治療中取得了一定成果，但其圖像處理算法的整體效果不是很好。這類算法常依賴于人為操作，因此存在一定的限制，需要根據實驗的差異來設置約束值。實驗得到的結果往往不是最精確的，還需要對其進行優化，這種情況就會導致實驗的魯棒性差，腦腫瘤分割效率低。

近年來，關于腫瘤分割的深度學習方法有很多。Zhang等采用兩次分割MR圖像的方法，先采用FCN模型粗分割訓練，來檢測腫瘤的整體區域，然后再用FCN模型進行二次精確分割，獲得腦腫瘤的內部結構。但這會導致腦腫瘤圖像局部信息缺失，分割精度也偏低。Ronneberger等提出的對稱網絡U-Net，對醫學圖像分割適應能力較好，成為醫學圖像的常用網絡模型，本文模型基于此進行改進。Vittikop等在U-Net網絡基礎上加入了跳躍連接，將深淺層特征信息進行融合，這使得腦腫瘤圖像能很好地彌補缺失的淺層信息，取得了較好的效果。

由于跳躍連接在U-Net模型中能夠提高分割準確率，本文基于U-Net模型的同時保留跳躍連接來融合特征信息，并對模型進行了改進。首先，將深度殘差塊替換U-Net結構中的卷積塊，彌補丟失的特征信息，避免梯度消失等問題；其次，利用Dy-ReLU替換深度殘差模塊中的ReLU激活函數，提高網絡模型的非線性表達能力，解決梯度退化的問題；但U-Net中通過用跳躍連接來進行簡單的圖像拼接，容易丟失上下文特征信息，影響分割的準確性，對此，本文引入CBAM注意力機制，從空間和通道兩方面來提取需加以關注的某些特征，提高分割的準確性。

1 本文方法介紹

1.1 網絡模型

由于深度殘差塊在深度學習圖像處理中可以避免梯度消失的問題，同時對淺層網絡的分割效果有所提升，所以本文基于深度殘差塊進行改進并替換掉U-Net基礎網絡中的卷積塊。并將CBAM機制引入U-Net，使關鍵信息在空間和通道上都聚焦，提高腦腫瘤分割的效果。

圖1所示為本文的網絡結構，由多部分組成，包括橋接、跳躍連接、編碼、分類器和解碼。其中編碼和解碼區域由四個改進的殘差塊組成，橋接區域由一個改進的殘差塊組成。一個改進的深度殘差塊由批標準化BN、動態激活函數Dy-ReLU、3×3的卷積層和恒等映射部分組成，這部分內容將在后面詳細介紹。

圖1 網絡結構

編碼區域主要由改進的深度殘差塊和下采樣組成，下采樣主要采用全局最大池化，其中一共進行了四次操作，每經過一次深度殘差塊，就將進行一次全局最大池化。經過深度殘差塊和下采樣操作的時候，當圖尺寸減小，其相應的通道數將增加。

橋接在網絡模型中起著必不可少的作用，主要是用于連接編碼和解碼部分。解碼區域主要由改進的深度殘差塊和上采樣組成，其中一共進行了四次操作。上采樣后通道數將會減少一半，圖像尺寸擴大一倍。最后獲得與輸入的特征圖像大小近似的圖。分類器采用常用的方法，由1×1卷積和Sigmoid搭配而成。1×1卷積主要是用于降低計算量。最后通過Sigmoid對特征圖進行映射來顯示像素的類別。

跳躍連接實現特征映射的融合的方法是將編碼的深、淺層特征級聯。但由于編碼區域提取到的特征信息效果很差，帶來了大量的冗余特征信息。

針對編碼區域提取了大部分的冗余信息，本文在深淺層特征融合之前，引入CBAM機制，從通道和空間兩個方面都抑制冗余區域，提高特征提取的效率。

1.2 Dy-ReLU激活函數

激活函數通過引入非線性因素，使得模型具有非線性映射的能力。ReLU激活函數在分割中使用得非常頻繁，然而它不會根據實驗數據變化而變化，無區別對待所有的輸入樣本。但動態的激活函數則可以解決這個問題，本文通過引入動態校正單元Dynamic Rectified Linear Unit，Dy-ReLU來提高網絡模型的非線性表達能力。對于輸入的全局上下文信息，它通過輔助函數對其進行編碼，對后續的分段線性激活函數具有指導性作用。

圖2 Dy-ReLU示意圖

()可以看作是由類似SE模塊的超函數實現，主要是基于注意力機制來獲取關于特征信息之間的重要性，隨后通過重要度對有用信息和無用信息進行針對性的提取，最后將超參數映射到特征通道中。

先后經過全局池化層和全連接層，其中全連接層經過了兩次，隨后使用ReLU函數引入更多的非線性因素，讓信道間的復雜情況擬合得更好。最后采用Sigmoid標準化輸出。當SE模塊中的計算完成后，最后的輸出為：

1.3 深度殘差模塊

在深度學習圖像處理中，傳統觀念認為網絡進行更深層次的設計，效果會更好。但這也隨之帶來梯度消失的問題，而且淺層網絡對分割效果的提升也不夠明顯。基于以上問題，He等提出一種殘差網絡。

圖3 改進的殘差塊

殘差公式如下：

如圖4（a）所示是原始的殘差塊，通常在網絡層數較大時，提取的特征信息較好。本文結構如圖4（b）所示，是在殘差塊的基礎上，用Dy-ReLU替換ReLU激活函數。為了解決訓練中梯度退化的問題，采用恒等映射單元，將輸入部分傳遞到后面的網絡層，以促進特征信息的傳播，很大程度上可以解決淺層特征在訓練中丟失的問題。

圖4 原始的與改進的殘差模塊

1.4 注意力CBAM模塊

Woo等首次提出了CBAM雙重注意力機制，它是在空間和通道都關注某些特征的注意力模塊，雙管齊下，在提取特征時著重關注一些特征層和空間區域，增強了特征圖中有用的特征，在圖像分割中取得更好的效果。

圖5 CBAM機制示意圖

式中代表輸入；常用于表示sigmoid激活函數。

空間注意力機制主要從空間層面探討特征圖的關系來突出空間信息的重要性，其與通道注意力機制相輔相成。CBAM機制采用的卷積核大小為7×7，經過空間注意力模塊后，得到最終的特征圖。計算過程如下：

其中，7×7卷積核用表示。

2 實驗及結果分析

2.1 數據集

實驗使用的是MICCAI提供的公開腦腫瘤數據 集BraTS2019和BraTS2020，BraTS2019包括335例患者，這部分數據用于訓練。將BraTS2020相對于2019新增的數據用于測試，包括高級別膠質瘤34例。如圖6所示，每個患者的MR圖像都有4種模態T1，T1ce，Flair和T2和真實分割標簽。每一個數據都包含四個方面：非增強腫瘤和壞死腫瘤、水腫區域、增強腫瘤及背景，分割中通常將這些不同的區域分為三個部分：①整體腫瘤，去除背景的所有部分；②腫瘤核心，由壞死、非增強和增強腫瘤部分構成；③增強腫瘤，主要由增強腫瘤部分組成。

圖6 腦腫瘤四種模態

本文采用Z-score方法對數據進行標準化操作，先計算均值和標準差，再對所有圖像采取單位標準化和零均值操作，最后對圖像隨機切割為160×160的大小。

2.2 損失函數

由于混合損失函數在醫學圖像中使用效果較好，本文的損失函數由Dice相似系數和交叉熵損失組合而成。交叉熵公式如下：

式中，、分別是真實標簽與預測圖中像素集合，g代表真實類別，g指第個預測圖與第個真實標簽的類別，p代表預測值，指第個預測圖與第個真實標簽中的預測值。在訓練的時候，交叉熵通常用于優化，盡管可有效解決梯度消失的問題，但對于類不平衡的圖像，它往往有所偏重，尤其對類別數較多的樣本會偏向更多，這將使得網絡的優化不夠好。

對、分別進行計算，其中光滑算子用表示，主要用于避免分母為0的情況。Dice常用于學習網絡參數，使預測值更接近真實值。混合損失函數的公式如下：

2.3 評價指標

Dice系數、HD距離和查準率常用作圖像分割的評價指標，本文也采取相同的策略，公式如下：

公式中，指預測為正確的正樣本個數，指預測為正確實際是錯誤的負樣本個數，指預測為錯誤實際是正確的正樣本個數。Dice系數是用于衡量相似性的，用于計算預測值與真實值的相似度；查準率是指正確預測總數占被預測總數的比例；表示預測值，代表真實值，d與d分別表示預測值與真實值的HD距離，HD表示預測與真實值的不匹配的最大程度，是d和d中的最大值，這表明值越小，分割越準確。

2.4 參數設置及訓練

硬件環境：使用AMD EPYC 7302 CPU，內存大小為64 G，使用NVIDIA GeForce RTX3090 GPU，顯卡24 G。軟件環境：Pytorch深度學習框架，CUDNN8.0，CUDA11.0，Ubuntu 18.04.5 LTS，Python3.8。在訓練時同時輸入預處理后的圖像和真實標簽。25%、75%的數據集分別作為驗證集和訓練集，BraTS2020中新增部分用于測試集。訓練過程中，學習率初始值為0.0003，動量0.9，迭代批量為32，訓練迭代期為10000。用衰減系數為0.0001的Adma優化器優化。將早停法的值設置為20來防止過擬合。

圖7所示為模型訓練過程中損失函數變化的曲線圖。連續實線是訓練的損失，虛線是驗證的損失。由圖7可以看出，隨著迭代次數的增加，網絡的準確率在不斷地提高，損失在不斷地減少。當值趨近260時，網絡趨于穩定。

圖7 訓練損失圖

2.5 測試結果

本文選擇FCN和U-Net兩種常用的基礎網絡進行實驗對比。表1展示了三種模型的分割結果。從表1可以看出FCN的結果很不理想，主要原因是特征信息都沒有得到充分利用。U-Net可以看作是基于FCN改進的，融合跳躍連接來提取更多的信息，但由于獲取的淺層信息較差，存在冗余，對分割效果產生了很大的影響。本文以U-Net為基礎進行改進，改進后的模型在分割中效果較好，DSC較原U-Net模型有小幅提升，查準率在整體、核心和腫瘤增強區域依次提升2.59%、0.37%、2.52%，HD在各區域也有小幅提升，得到了不錯的分割結果。

表1 模型對比結果

腦腫瘤MR圖像分割結果如圖8所示。從左到右依次為FCN、U-Net、真實標簽和本文方法的分割結果。從圖8可以看出，FCN分割效果較差，只能大概定位腦腫瘤的位置，內部分割不夠精細。U-Net分割的輪廓清晰，但邊緣還是不夠細化，分割不是很準確。可以看出本文能夠得到與真實標簽更加相進的分割結果，效果明顯得到改善，性能良好。

圖8 對比實驗分割結果圖

3 結語

利用深度學習技術來分割腦腫瘤圖像的方法是很重要的。本文采用改進U-Net模型的方法提高腫瘤的分割結果。利用改進的深度殘差塊獲取特征信息，在跳轉連接中引入CBAM注意機制，同時結合混合損失函數對數據進行優化，很大程度上解決了類不平衡的問題。實驗結果顯示，本文的方法能較大提升分割的精確度，分割結果也趨近于真實標簽，但有一定的局限性。由于本實驗使用的是三維數據，采用三維數據切片后的數據進行分割會丟失一些圖像信息，影響分割精度。因此，下一步研究的重點是采用三維數據進行圖像分割，來彌補圖像丟失的不足。