基于U-Net改進模型的多模態(tài)腦腫瘤分割方法

黃 莉，何美玲*

(1.武漢科技大學 計算機科學與技術學院，湖北 武漢 430065;2.湖北省智能信息處理與實時工業(yè)系統(tǒng)重點實驗室，湖北 武漢 430065)

0 引 言

腦膠質瘤是最為多見的原發(fā)性腦腫瘤，絕大多數屬惡性，具有很高的致死率,早發(fā)現與早治療往往能夠延長患者的平均壽命。在臨床中，核磁共振成像(Magnetic Resonance Imaging，MRI)技術是最常用的腦腫瘤診斷技術，可以準確描繪腫瘤區(qū)域。但是由于病人MRI圖像數量巨大，醫(yī)生手動標注腦腫瘤區(qū)域耗時且效率低下，因此基于深度學習的自動腦腫瘤分割方法在輔助醫(yī)生診斷及確定治療手段等方面具有重要意義。

醫(yī)學圖像分割[1-4]作為圖像分割的一類，是計算機視覺領域的一個重要研究方向。其主要研究內容是通過計算機把圖像分成若干個特定的、具有獨特性質的區(qū)域[5-7]。傳統(tǒng)的圖像分割算法主要包括圖像預處理、圖像特征提取和目標區(qū)域分割三個步驟，其中圖像特征提取是圖像分割算法中最核心的部分，該部分所提取的特征的優(yōu)劣直接影響到圖像分割的性能。傳統(tǒng)的圖像分割算法在特征提取模塊提取的特征對目標邊界區(qū)域具有較大的冗余性和不精確性，從而會導致分割不精準，并且也不具有很好的泛化能力，因此研究者們提出了許多神經網絡模型來解決上述問題。

一種方法是引入自注意力機制，通過在特征圖提取階段引入自注意力，網絡能夠更好地關注與圖像類別相關的區(qū)域，捕獲目標的邊界空間信息。但是僅依靠自注意力機制，網絡缺乏對于邊界細節(jié)信息的學習。另一種是引入多尺度策略，由于圖像經過多層卷積和池化操作，丟失了大量的細節(jié)信息，從而導致卷積網絡及其改進模型所提取的特征往往表征能力不足。因此引入多尺度策略，用來最大程度地保留細節(jié)信息。但是僅依靠多尺度策略，網絡缺乏對于目標邊界空間信息的學習。

因此，該文提出了一種基于自注意力機制和多尺度策略的U-Net來解決上述問題。該方法將編碼器模塊每層卷積得到的特征圖保留，對其計算通道注意力來獲得自注意力圖，然后將得到的自注意力圖通過設計的尺度融合模塊組成多尺度特征圖，替代網絡原本的特征圖，提高神經網絡模型的特征提取能力，從而提高分割性能。在BRATS2017數據集上的實驗證明了該模型的有效性。

1 相關工作

1.1 自注意力機制

人類會選擇性地使用數據中的重要部分來做出決策，類似地，人類在查看一張圖像時，往往只會關注其中最重要的部分，而不是關注圖像整體，此過程稱之為注意力機制。自注意力機制是注意力機制的改進，其減少了對外部信息的依賴，更擅長捕捉數據或特征的內部相關性，現階段被廣泛應用于大量計算機視覺任務中[8-11]。文獻[12]提出了DANET，將自注意力機制用于場景分割，在特征的空間維度和通道維度分別抓取特征之間的全局依賴關系，增強特征的表達能力，然而它由兩個并列的注意力模塊組成，因此計算量較大。文獻[13]針對自注意力占用GPU內存大和計算量大的問題提出了CCNET，它只關注每個像素點所在的行與列的權重，循環(huán)兩次后便能達到與自注意力機制一樣的效果，進而能減少計算量，但因為只關注了所在行與列從而忽略了部分空間信息。除此之外，文獻[14]提出的ISSA采用交錯機制與自注意力機制結合的方式來獲得任意兩個位置的依賴關系，其主要思想是將密集相似矩陣分解為兩個稀疏相似矩陣的乘積。文獻[15-17]采用通道注意力機制，通過建模各個特征通道的重要程度，然后針對不同任務來增強或抑制不同的通道。在計算量與模型復雜度一樣的情況下，使用通道級注意力的方法在所有注意力的方法中達到了最好效果，因而文獻[18]采用通道級的注意力獲得自注意力圖來增強邊界空間信息進而提升目標定位精度。

1.2 多尺度策略

目前大多數語義分割網絡都采用的是編碼器-解碼器結構，傳統(tǒng)的U-Net[19]將圖像輸入到編碼器，獲取編碼器中最后一層的特征圖后，輸入到解碼器中進行解碼。雖然最后一層的特征圖含有最豐富的語義信息，但其缺少相應的細節(jié)信息，導致網絡學習不充分，進而出現過分割和欠分割的問題。為了解決這一問題，Relay-NET[20]通過引入跳連接機制來保證關鍵位置信息的保存，進而提升分割性能，但對于目標邊界信息仍會有丟失。為了解決目標邊界信息會丟失的問題，文獻[21-23]通過在傳統(tǒng)網絡中引入多尺度策略來增強目標邊界信息的特征提取，進而提升任務精度。全監(jiān)督方法[24]證明通過引入較低級別的特征可以進一步加強細節(jié)特征與邊界特征的獲取。隨著多尺度的進一步研究，多尺度特征融合策略引入了上下文相關的組合，以共同探索高級特征和低級特征的優(yōu)勢。文獻[25]合并了多尺度特征進行語義分割，獲得了更準確的結果。文獻[26]將多尺度策略成功應用到類激活圖中，在編碼部分采用多尺度策略來獲得精確的顯著性圖。

由此，該文將自注意力機制和多尺度策略相結合，提出了一種新的U-Net，借助自注意力機制獲取目標邊界空間信息，在編碼器部分采用多尺度策略使輸入到解碼器的特征圖包含邊界細節(jié)信息，從而提高圖像分割的性能。

2 文中方法

提出的U-Net-AMS(U-Net with Attention and Multiple Scale)模型是基于U-Net[19]的改進模型。主要改進是使用自注意力機制處理每層編碼器得到的特征圖，然后將特征圖通過多尺度融合模塊進行融合作為解碼器輸入，增強編碼器對分割目標邊界信息的特征表達能力，提高分割準確度。

U-Net-AMS模型整體呈U型結構，如圖1所示。主要分為三步：多尺度特征圖的獲取、特征圖信息加強、特征圖的融合。多尺度特征圖的獲取是通過保留編碼器的所有特征圖實現的，來最大程度地捕獲分割目標的邊界細節(jié)信息；特征圖信息加強是采用自注意力模塊SAM(Self Attention Module)實現的，SAM模塊采用通道注意力機制計算特征圖的自注意力圖，使用sigmoid激活函數來加強分割目標邊界的空間信息。特征圖融合模塊是通過尺度融合模塊SDS(Scaling and Downsampling)實現的，對特征圖的尺度和通道進行歸一化，基于通道進行融合。

從上述過程可知，U-Net-AMS使用自注意力機制和特征圖融合獲取了包含豐富細節(jié)和語義信息的特征圖，最終將融合特征圖作為解碼器的輸入來提升目標分割精度。

2.1 SAM模塊

(1)

其中，i表示縱向的位置，j表示橫向的位置，Hn×Wn表示Fn中每個通道特征圖的所有像素數量，un表示第n張?zhí)卣鲌D的像素集合。

(2)

(3)

其中，?表示逐元素相乘，經過上述過程，特征圖邊緣區(qū)域的差別更加明顯，可以更好地提取空間信息特征，從而提高邊緣區(qū)域的分割效果。

2.2 SDS模塊

文中方法是通過將編碼器的所有特征圖保留，采用自注意力模塊處理，來加強對邊界信息的提取能力，進而使用SDS模塊歸一化特征圖的尺度與通道數，最后將處理后的特征圖基于通道進行融合，最大程度保留分割目標的邊界信息。設計的整個流程可以看作是特征融合的操作，其目的是使輸入到解碼器中的特征圖包含豐富的分割目標邊界信息。

3 實驗與分析

實驗在一個高性能服務器集群上運行，管理平臺為kubesphere工作站，核心服務器配置為linux，操作系統(tǒng)為centos，工作站配備Intel(R) Xeon(R) CPU E5-2660 v4處理器，主頻2.00 GHz，內存32G。實驗使用Pytorch深度學習框架，使用的IDE為JetBrains公司的Pycharm，編程語言為Python。Pytorch是由Facebook公司開發(fā)的一個開源的Python深度學習庫，通過使用Pytorch搭建平臺，用戶可以調用相關的第三方開源函數工具包。

3.1 數據集介紹

該文采用BRATS2017腦腫瘤分割數據集[27]，該數據集提供了帶注釋的低等級神經膠質瘤(Low Grade Gliomas，LGG)和高等級神經膠質瘤(High Grade Glioblastomas，HGG)。BRATS2017由210個HGG和75個LGG病例組成，圖像尺寸為256×256。BRATS2017數據集采用的MRI圖像來自19家研究機構，并通過不同的磁場強度和MRI掃描儀獲得，由四位專家進行手動標注。

3.1.1 預處理

為了改善圖像的質量，避免對網絡性能造成影響，使用中值濾波(median filter)去噪算法進行預處理。通過把圖像中的某一點用它鄰域中各點值的中值進行替換，讓該點周圍的像素值盡可能地接近真實值，從而去除多余的噪聲點，最大程度地減少噪聲對圖像的干擾。圖4中顯示了預處理前后的腦腫瘤圖像。

3.1.2 數據增強

為了使網絡更好地學習目標的所有特征，并同時增強網絡的魯棒性，引入數據增強到網絡的訓練中。該文采用隨機水平翻移和隨機旋轉兩種圖像增強方法處理訓練集中的圖像和圖像掩碼。訓練集包含665張原始圖像和圖像掩碼；測試集包含332張原始圖像和圖像掩碼；所有圖像大小統(tǒng)一為256×256，并且都經過相同的數據預處理。

3.2 評價指標

在腦腫瘤的分割中，若模型分割的結果(A)與專家標注的圖像區(qū)域(B)相同則該像素點為真陽性(TP)，反之為假陽性(FP)；對于圖像背景區(qū)域，若分割結果的像素點與標注圖像相同則該像素點為真陰性(TN)，反之為假陰性(FN)。

為了定量分析網絡模型的分割結果并且更好地與其他方法進行對比，該文采用Dice、靈敏度(SE)和特異性(SP)這三個通用指標來客觀評價模型對腦腫瘤的分割效果。以上指標計算公式如下:

(4)

(5)

(6)

3.3 參數設置及訓練

優(yōu)化方法采用隨機梯度下降(Stochastic Gradient Descent，SGD)，訓練批次設定為200，測試批次設定為50，學習率初始化0.002，編碼器卷積層數N設置為4，采用Dice損失函數訓練網絡。

3.4 實驗結果及分析

3.4.1 消融實驗

為了證明多尺度策略和自注意力機制的有效性和必要性，進行了消融實驗，結果如表1所示，表明提出的模型的分割能力和自注意力機制以及多尺度策略相關。

表1 是否添加SAM模塊和SDS模塊的消融實驗

3.4.2 不同分割方法的分析

為了驗證提出的 U-Net-AMS模型的有效性，與RelayNet[20]、U-Net[19]、ResUNet[28]和SGNet[29]四種分割網絡進行對比實驗。采用相同的網絡訓練參數，利用驗證集對訓練好的模型性能進行測試。采用Dice系數進行分割效果評估，列出了三種病變Dice值以及平均Dice值，實驗結果如表2所示。

表2 U-Net-AMS與其他網絡分割性能的對比 (Dice)

其中，Lesion1表示水腫區(qū)域，Lesion2表示增強腫瘤區(qū)域，Lesion3表示壞死腫瘤區(qū)域。所提方法在三種病變組織的Dice上均有提升，并且在平均Dice上取得了最高值。實驗表明，文中模型通過引入自注意力機制和多尺度策略，能最大程度地保留分割目標的邊界信息，有效提升網絡對輸入圖像特征的提取能力，進而提高分割精準度。

圖5選擇5個不同的腦腫瘤圖像分割結果進行展示，從左到右依次是原始圖像、專家標注、U-Net-AMS、RelayNet、ResUNet、SGNet和U-Net的分割結果圖像。可以看出，對比第二列的專家標注，文中方法的分割結果與其更加接近。這表明通過引入自注意力機制和多尺度策略能夠有效提升網絡對目標的分割精度。

4 結束語

針對醫(yī)學影像分割特點和腦腫瘤分割不精準的問題，提出了一種融合自注意力機制和多尺度策略的方法，確保分割目標的邊界信息最大程度地保留。在BRATS2017數據集上通過實驗證實，該方法可以更大程度地提高神經網絡模型對目標的分割精度。在今后的工作中，進一步提高網絡分割性能，同時減少網絡模型對計算資源的需求還有待研究。