改進的V-C-Net卷積神經網絡腦腫瘤圖像多層次分割實驗

莫修源，吳麗麗，陸志翔

(1.甘肅農業大學理學院，甘肅 蘭州 730000；2.信息科學技術學院，甘肅 蘭州 730000；3.中國科學院西北生態環境資源研究院中國科學院內陸河流域生態水文重點實驗室，甘肅 蘭州 730000)

1 引言(Introduction)

腦膠質瘤的產生是大腦和脊髓膠質細胞發生癌變引起的，是一種常見的原發性顱腦腫瘤，近年來在我國的發病率不斷升高[1]。腦核磁共振圖像是對腦膠質瘤的常用觀察方式[2]，隨著醫學成像技術的快速發展，借助算法客觀地分析腦腫瘤圖像，已經成為現代醫學研究的關鍵問題。

腦核磁共振圖像相對于常規圖像，其邊界分割較為困難主要源于存在容積效應、高噪聲、低對比度及遮擋等問題，并且腦核磁共振圖像中通常含有較高比例的不規則小區塊分割目標，相對于大尺度分割目標，小尺度區塊目標具有成像體積小、細節特征缺失等特點，所以針對小尺度區塊分割的精確度往往會偏低。近年來，學者嘗試從多個角度解決小尺度目標分割難的問題，本文針對V-Net模型[3]進行改進，提出通過改進的聯合損失函數提升網絡模型對病變點的分割效率，同時試圖通過添加時間與空間的雙注意力機制解決腦腫瘤邊界分割困難的問題，最終得到一個對腦腫瘤分割性能更優的神經網絡模型。

2 實驗方法(Experimental method)

2.1 圖像分割模型改進

如圖1所示，本文所改進的基礎網絡模型為V-Net模型，該模型常應用于3D醫學圖像的分割實驗，有編碼和解碼兩條對稱的路徑，編碼器由卷積層、池化層及殘差鏈接構成，對輸入的圖像進行壓縮，采用下采樣的操作，解碼器通過對圖像的反卷積恢復圖像的大小，并實現像素點級別的分割[4]。同時，該模型通過編碼和解碼部分的特征融合結構把淺層語義特征和深層語義特征相結合，使模型加強對圖像的細節特征提取，實現像素到像素的分割效果。

圖1 改進的V-C-NET模型結構示意圖Fig.1 Structure diagram of improved V-C-NET model

卷積神經網絡在對圖像數據的通道特征學習過程中，卷積核計算通道的局部感受野[5]忽視了特征圖的前后層連接信息，在感受野較小的情況下，網絡丟失信息嚴重。注意力機制可以增大模型的感受野，同時豐富信息的結合，為了使網絡更加關注腦腫瘤圖像病變部分的特征，在編碼器和解碼器交接位置添加了聯合注意力模塊，減少網絡模型關注與腦腫瘤分割無關的信息，加強對腦腫瘤微小特征的關注程度，最終增強模型對圖像有效特征的提取效果，實現對腦腫瘤圖像更精準的分割。

2.1.1 模型下采樣與上采樣編碼模塊

首先輸入大小為128×128×64的圖像塊，通過一個大小為5*5*5的卷積核進行卷積操作，并設置步長為1，填充Padding為2的填充操作使通過卷積層后圖像的大小不變，得到通道數為16的特征圖，然后通過一次殘差連接融合特征，融合特征后使用大小為2*2*2的卷積核、步長為2的卷積操作聚合圖像特征，使特征圖的大小壓縮為原來的一半。之后，重復下采樣過程直至得到大小為8×8×4、通道數為256的特征圖。

在解碼部分，對壓縮路徑得到的結果進行一次反卷積處理，使特征圖大小變為16×16×8、通道數變為128通道，然后將其與壓縮路徑中經過殘差連接后大小為16×16×8、通道數為128的特征圖進行拼接，得到大小不變，通道數為256的特征圖，之后將拼接后的特征圖經過三次卷積和一次殘差鏈接操作完成上采樣過程。重復上采樣過程直至得到大小為128×128×64、通道數為32的特征圖，之后通過一個1*1*1的卷積核卷積處理減少通道數，得到通道數為3的大小不變的特征圖完成圖像分割。

2.1.2 注意力機制模塊

注意力機制是通過網絡訓練計算輸入數據對輸出的分割結果的權重大小，計算圖像各個子區域被關注的程度高低，通過賦予各個區域或者通道不同的權重，從而增加受關注區域的顯著特征。

通道注意力機制[6]對網絡輸入的特征層，分別進行一次全局平均池化和全局最大池化的操作來生成兩個特征向量，并對經過池化操作后的兩個特征向量矩陣，利用共享的全連接層處理，學習通道維度的特征和各通道的重要性，將經過全連接處理后的兩個特征向量矩陣相加，用sigmoid激活函數激活，便獲得了輸入特征層每一個通道的權值矩陣，然后將原輸入特征層與權值矩陣相乘，就得到了添加通道注意力權重的特征層，如圖2所示。

圖2 通道注意力機制Fig.2 Channel attention mechanism

空間注意力機制[7]對輸入的特征層，在每一個特征點的通道上取最大值和平均值，之后將獲得兩個結果進行堆疊操作，并通過大小為1*1*1的卷積核卷積操作調整通道數為1，之后通過sigmoid激活函數激活，便獲得了輸入特征層每一個特征點的權值矩陣。同樣，將這個權值矩陣與原輸入特征層相乘，就得到了添加空間注意力權重的特征層，如圖3所示。

圖3 空間注意力機制Fig.3 Spatial attention mechanism

如圖4所示在V-Net模型下采樣編碼與上采樣編碼部分添加CBAM混合注意力機制[8]，就是將通道注意力機制和空間注意力機制相結合，對輸入的特征層先添加通道注意力機制后再添加空間注意力機制。腦腫瘤圖像是灰度圖，通道間的灰度值區分度較小、灰度不均勻、對比度低及邊界模糊，因此需要多方面考慮空間信息和通道信息，從而有效彌補網絡對圖像特征提取不充分的缺點。通過對模型添加CBAM混合注意力機制賦予中間特征圖不同的權重，充分利用有效信息的同時抑制無用信息，最終使特征圖中有效的區域權重增加，無效的區域權重變小，有效提高了模型分割的精度。

圖4 CBAM混合注意力機制Fig.4 CBAM attentional mechanism

2.2 損失函數的改進

損失函數是影響網絡分割性能的重要因素，是用來優化預測值和標準值的誤差函數，通過反向傳播到先前的神經網絡層，用來更新和優化模型的權重參數[9]。通過聯合分割任務中常用的三種損失函數，使改進的損失函數與網絡訓練次數相聯系，提升腦腫瘤圖像分割的精度。

2.2.1 基于區域和目標距離的損失函數

交叉熵損失函數是基于區域計算的損失函數[10]，該損失函數會檢查圖像中每個像素點，通過對比網絡輸出與標簽真實值的差距計算損失，本文用來計算三維數據的損失，交叉熵損失函數如式(1)所示：

式(1)中，p表示網絡預測的圖像中某像素屬于分割目標的概率，g表示該像素點的標簽真實值。

Dice系數[11]是一種傳統的用于評估分割性能的度量指標其原理是基于區域計算的損失函數，用來評估圖像標簽真實值和預測圖像之間的擬合度，也是一種像素級的測量，其范圍在0—1，當Dice系數等于1表示完美重合。Dice損失函數如式(2)所示。

BD損失函數[12]是一種計算目標距離的損失函數，通過區域積分的方式計算預測結果與標簽邊界之間的距離，如式(3)所示。

其中，G表示圖像真實標簽的邊界，邊界上的點與預測邊界上的點相對應。

2.2.2 改進的混合損失函數

交叉熵損失能提高圖像分割的精度，保證腦腫瘤區域和背景均勻分割，Dice損失函數計算損失時忽略了圖像背景，可以有效地對目標區域計算損失，BD損失函數計算的是輪廓空間的距離，關注預測分割結果和標簽圖像之間的區域，訓練過程中不斷減小邊界部分的分割錯誤。將交叉熵和Dice損失這種基于區域的損失函數與BD損失這種基于目標距離的損失函數結合，能夠很好地解決分割任務中前景與背景不均衡導致的問題，重要的是基于距離的損失函數解決了基于區域的損失函數在樣本不均衡狀況下發揮不穩定的問題，區域損失函數能讓訓練過程更加穩定，能夠有效分割腦腫瘤這類小樣本。本文試圖通過混合的損失函數把三種損失函數的優勢相結合。改進的混合損失函數如式(4)所示：

其中，α作為超參數控制三種損失函數在聯合損失函數中的權重，通過在實驗過程中根據實驗結果好壞得出，隨著訓練次數的增加應逐步提高BD損失函數在混合損失函數中的比重，進而有效提高目標邊界的分割效果，我們制定了超參數α調整表，見表1。

表1 超參數調整表Tab.1 Adjustment table of super-parameter

三種損失函數的結合彌補了各自的不足，可以最大化不同損失函數在訓練中的作用，有效解決了腦腫瘤圖像分割中目標的像素比例小且分割目標有重疊和嵌套的問題，通過改進的聯合損失函數使網絡更關注較小的病變區域，并在保留圖像所有信息的情況下優化網絡，實現模型對小目標、多層次的精確分割。

3 腦腫瘤數據介紹與預處理(Introduction and preprocessing of brain tumor data)

3.1 Brats腦腫瘤數據集介紹

Brats腦腫瘤數據集有285 個病例，有t1、t2、t1ce、flair四個模態[13]和人工手動標注的腫瘤標簽數據如圖5所示。多模態是利用不同的核磁共振成像模式生成的，利用不同的模態圖像進行分割實驗，可以有效地提升分割準確率，同時不同的模態也增加了分割實驗的難度。t1、t2模態是因為進行核磁共振成像時電磁波的物理量不同，所以產生了兩種不同的序列，t1腦腫瘤圖像中白質、灰質、腦脊液顏色區分明顯，所以t1模態圖像容易看出各種斷層結構，t2腦腫瘤圖像信號與大腦中水含量有關，病變部分的t2信號要強于周圍的正常腦組織，所以t2模態圖像更容易看出大腦病變的區域，t1ce模態是在做核磁共振成像之前把造影劑打入血液，使腦腫瘤圖像中供血豐富的地方變亮，其是病變組織的可能性就越大，flair模態是進行核磁共振成像時常用的序列模態，名稱為液體衰減反轉回復序列模態。

圖5 BraTs腦腫瘤多模態數據Fig.5 BraTs brain tumor multimodal data

對腦腫瘤圖像做三個部分的分割，即浮腫區域(ED)、增強腫瘤區域(ET)、壞疽區域(NET)[14]，然后這些區域合并為3 個嵌套的子區域，即WT=ED+ET+NET 區域，TC=ET+NET 區域，和單獨的ET區域相當于對腦腫瘤圖像的每個像素點做四分類任務。

3.2 3D重疊分塊預處理

核磁共振腦腫瘤圖像是一個三維數據結構，圖像像素大小為155×240×240，將四種不同模態的圖像和腫瘤對應的標簽數據圖像前后共加入5 個黑色切片，使圖像像素大小都變為160×240×240，方便分塊處理，并對腦腫瘤數據四種不同模態的圖像通過減去均值除以標準差的方式[15]進行標準化處理，通過圖像數據的歸一化方便訓練模型。

腦腫瘤數據中黑色為背景像素，在整個圖像數據中占據較大比例，并且背景像素對于腫瘤分割沒有任何幫助。為了讓網絡更好地注意到腫瘤區域，可以通過裁剪的方式減小黑色背景信息，同時減少網絡訓練的數據量，提升網絡的性能。

由于硬件資源的限制，腦腫瘤圖像不能完整地輸入到網絡中，需要對圖像數據和對應的標簽數據進行分塊處理[16]。經過裁剪后的圖像和標簽數據大小為160×128×128，傳統的分塊方式是從深度方向上分為5 個32×128×128大小的分塊，分塊是獨立的每個分塊沒有重疊的部分，并且分塊后的大小和完整圖像是倍數的關系，通過模型預測的結果進行直接拼接，就可以變成完整的圖像。傳統的分塊方式簡單，但存在一個問題，在每個分塊中層與層的結構關系模型可以學習到，但只學習了一個分塊中的結構關系，塊與塊之間是斷開的，網絡模型無法學習完整的3D圖像結構。本文提出一種新的分塊辦法，讓分塊與分塊之間有相互重疊的部分，這樣可以讓分塊與分塊之間相互聯系。塊的大小變為64×128×128，分塊移動的步長為32，最終分為大小為64×128×128的4 個分塊且分塊與分塊之間有一半重疊部分，這樣就可以使網絡完整學習圖像的3D結構，如圖6所示。

圖6 重疊分塊處理Fig.6 Overlapped block processing

將經過標準化和分塊處理后的腦腫瘤圖像數據的四個不同的模態合并成四個通道，保存后的數據形狀為(64，128，128，4)。同樣，對相應的標簽進行分塊，然后將WT、TC、ET分割區域合并成三個通道，數值為0或1，保存后的數據形狀為(64，128，128，3)作為模型學習的標簽。

4 腦腫瘤分割實驗(Brain tumor segmentation experiment)

4.1 實驗環境介紹

實驗通過Pytorch的深度學習框架實現，使用Pycharm編譯器，GPU是NVIDIA GeForce GTX 1650Ti，CUDA是11.0版本，操作系統是Windows 10，編程語言使用Python 3.8，在實驗中超參數Epoch設為100，這是通過實驗發現的最佳值，Adam的學習率初始化為0.0001，學習率衰減以0.1的倍數變化，并且最小學習率設置為e-5。為了防止過擬合，采用“早停”的訓練策略，當損失函數值穩定后并在十輪訓練中沒有變化即停止訓練。

4.2 評價指標

為了評估改進的模型對腦腫瘤的分割效果，也方便將改進的V-C-Net與3D U-Net等其他模型進行比較，實驗結果通過Dice系數(DSC)、交并比(IoU)、敏感度(Sensitivity)、精確率(Precision)及豪斯多夫距離(HD)五個性能指標進行評價[17]，其評價公式如式(5)—式(9)：

4.3 實驗結果及分析

為了驗證改進的V-C-Net模型在腦腫瘤分割上的性能，將其與FCN模型、3D-Unet模型、傳統V-Net模型進行腦腫瘤圖像分割實驗對比分析，表2中列舉了不同的模型在腦腫瘤分割實驗中的結果，四種模型的五項評估指標詳見表2。

表2 腦腫瘤分割指標評價表Tab.2 Evaluation table of segmentation index of brain tumor

從表2的五項評價指標中我們可以看出，通過添加聯合注意力機制改進的V-C-Net模型，在各個指標中均具有更好的表現，對腦腫瘤圖像做三個部分的分割，即浮腫區域、增強腫瘤區域、壞疽區域，每個部分的分割都優于其他三個模型，在測試集上的平均Dice系數達到90.78%，平均交并比系數達到89.68%，平均敏感度達到91.70%，平均精確率達到96.48%，平均豪斯多夫距離達到0.451。

3D-Unet模型和傳統V-Net模型具有深入特征融合結構，對于腦腫瘤病變區域的分割融合不同深度的語義信息，因此分割精度明顯優于FCN模型，但是傳統V-Net對腦腫瘤圖像的所有特征都進行分割計算，不僅造成計算資源的浪費，在腦腫瘤邊緣輪廓與腦部圖像對比度低時，分割效果并不好，通過添加聯合注意力機制和改進損失函數，改進的V-C-Net方法在平均Dice系數和交并比上對比傳統V-Net，分別提升了1.24%和0.66%，平均敏感度和平均精確率分別提高了1.77%和1.52%。在改進V-C-Net模型的基礎上又改進了模型損失函數，使得模型更關注腦腫瘤病變區域的細微邊緣信息，大大降低了把正常腦組織圖像像素誤分割為腦腫瘤像素的概率，使網絡模型的預測結果和圖像標簽之間的最大不匹配度更小，相比傳統V-Net模型，其豪斯多夫距離減小0.3266。由以上結果可知，改進的V-C-Net模型有著更強的優越性和競爭力。

圖7展示出了不同分割模型在測試集上的分割效果圖。圖7(a)、圖7(b)分別是腦腫瘤分割的原圖和對應標簽圖，圖7(c)—圖7(f)分別為FCN網絡模型、3D-Unet網絡模型、傳統V-Net網絡模型和改進的V-C-Net網絡模型得到的腦腫瘤分割效果圖。從圖7(c)中可以看到，FCN模型對腦腫瘤壞疽區域中心位置的定位不錯，但是出現漏檢和過檢的現象，我們可以明顯觀察到模型對浮腫區域和正常腦組織沒有辨識全面，出現漏檢現象，對增強腫瘤區域和浮腫區域有混淆。3D-Unet模型分割的腦腫瘤邊緣輪廓信息比FCN清晰，對整體浮腫區域的識別較為完整，對腦腫瘤壞疽中心位置的分割較為清晰，分割效果有了一些改善，但不是很精確。傳統V-Net網絡模型的分割效果優于3D-Unet網絡模型，對腦腫瘤浮腫區域、增強腫瘤區域分割明顯，但對腦腫瘤中心壞疽區域識別過多出現過檢現象。相比其他方法，改進的V-CNet網絡模型能夠更好地分割腦腫瘤細小、模糊的邊緣輪廓，能充分識別浮腫區域、增強腫瘤區域，并對腦腫瘤中心壞疽區域精確分割，明顯改善了過分割和欠分割現象[18]，得到了與標簽最接近甚至超過標簽的效果，具有很好的分割性能。

圖7 模型分割效果圖Fig.7 Model segmentation effect diagram

損失函數收斂得越快，則說明模型學習的參數與對腦腫瘤病變區域正確分割的參數越接近，模型學習的效率越高，模型起始學習參數越小，說明模型對腦腫瘤區域分割的起始精度越高，學習時間更短。圖8是改進的V-C-Net模型與其他三種分割模型對腦腫瘤區域分割過程的損失函數收斂圖，共進行100 輪訓練。從圖8中我們看到改進的V-C-Net模型比其他三種模型損失函數起始值更低，并且收斂速度更快，進一步證實了改進的V-C-Net模型有著更強的優越性和競爭力。

圖8 損失函數收斂圖Fig.8 Loss function convergence diagram

4.4 消融實驗

同時，我們通過消融實驗，研究CBAM混合注意力塊和改進的聯合損失函數對整體實驗結果的影響，分別設計了只添加CBAM混合注意力機制的V-Net網絡將損失函數改為交叉熵損失函數和在原始V-Net基礎上只添加改進的聯合損失函數的神經網絡進行對比實驗，其實驗的結果如表3所示。

表3 改進V-C-NET神經網絡的消融實驗Tab.3 Ablation experiment of improved V-C-NET neural network

從表3中可以看到，在只添加注意力模塊的情況下，腦腫瘤浮腫區域、增強腫瘤區域、壞疽區域三個分割模塊相對于傳統V-Net神經網絡，豪斯多夫距離的值分別下降到0.8145、0.6219、0.7514，在精確率方面分別提高到96.41%、94.91%、95.62%，這是因為腦腫瘤圖像是灰度圖，通道間的灰度值區分度較小，對比度低及邊界模糊，通過添加注意力模塊的同時考慮空間信息和通道信息有效彌補網絡對圖像特征提取不充分的缺點，提高了模型分割的精度，以及模型對分割邊界的準確率。

同時，在原始V-Net模型的基礎上只添加改進的聯合損失函數實驗中，腦腫瘤浮腫區域、增強腫瘤區域、壞疽區域三個分割模塊相對于傳統V-Net神經網絡，豪斯多夫距離的值分別下降到0.4124、0.2968、0.6775，在精確率方面分別提高到97.17%、94.82%、95.36%，這是因為提出的聯合損失函數中交叉熵損失能提高圖像分割的精度，保證腦腫瘤區域和背景均勻分割，同時Dice損失函數計算損失時忽略了圖像背景，可以有效地對目標區域計算損失，同時超參數控制BD損失函數在計算中的比重使得模型根據訓練次數的增加而更關注輪廓空間的距離，能更好地預測分割結果和標簽圖像之間的邊界，并在訓練過程中不斷減小邊界部分的分割錯誤，提高分割精度與減少分割邊界距離。

最后我們注意到，在同時添加注意力模塊與改進聯合損失函數的V-C-Net網絡中，腦腫瘤三個分割模塊相對于傳統V-Net神經網絡，各個指標具有更好的表現，對腦腫瘤圖像做三個部分的分割，即分割為浮腫區域、增強腫瘤區域、壞疽區域，每個部分的分割都優于單獨添加的其他兩個模型，在注意力模塊和聯合損失函數的優勢互補中，模型在測試集上的Dice系數、交并比、敏感度、精確率和豪斯多夫距離五個性能指標平均值分別為90.78%、89.68%、91.70%、96.48%、0.451，實驗結果表明改進的V-C-Net模型可以更好地對腦腫瘤病變部分進行分割。

5 結論(Conclusion)

本文針對傳統V-Net模型無法有效地集中注意力到病變區域，造成模型分割困難與邊界分割的精度低等問題，提出了一種改進的V-C-Net模型。通過實驗結果分析得到在傳統V-Net模型中加入CBAM混合注意力機制，同時使用改進的混合損失函數，提高了模型分割精度，在Dice系數、交并比、敏感度、精確率和豪斯多夫距離五個性能指標中的表現都優于同級別神經網絡模型，在腦腫瘤分割實驗中得到了更精確的分割圖。本文的實驗為深層卷積神經網絡分割3D醫學圖像時出現的邊緣分割不夠精確、分割目標較小而背景因素過大等問題提供了解決思路和方案。