基于優化U-Net網絡的乳腺腫瘤區域分割方法

史健婷，崔閆靖，常 亮

(黑龍江科技大學 計算機與信息工程學院，黑龍江 哈爾濱 150022)

0 引 言

乳腺癌是發生在乳腺腺上皮組織的惡性腫瘤。全球乳腺癌發病率自20世紀70年代末開始一直呈上升趨勢。調查數據表明，乳腺癌是女性惡性腫瘤發病率最高的病癥。乳腺癌的防治關鍵在于早發現、早診斷，及時治療將提高患者的治愈率和存活率。目前有多種檢測癌癥的方法，其中乳腺超聲檢測技術因為成本低以及性價比高的特性，逐漸被大眾接受。隨著計算機技術的快速發展，計算機輔助診斷(CAD)參與到診斷過程中，為醫生提供參考，使結果更加具有準確性以及客觀性，不僅可以降低誤診率，也提高了效率。

早期乳腺超聲圖像分割算法多是利用統計學的知識來處理圖像，算法對于圖像的質量沒有太多要求，但是分割效果不好，速度較慢。基于深度學習的圖像分割算法可以自動提取圖像特征，分割效果有明顯的提高。U-Net深度學習模型由于對數據量要求的特性，多被應用于醫學圖像的分割。腫瘤在超聲圖像中一般表現為低回聲區，因此乳腺超聲圖像具有斑點噪聲較多、邊緣模糊不清、灰度不均勻等特性，增加了腫瘤的分割難度[1]，采用傳統的U-Net模型難以取得滿意的分割效果。

為此，文中研究了近幾年的乳腺超聲圖像分割技術，并對各種分割方法的優缺點做了對比分析，提出了一種新的分割方法。為了提高圖像質量，在圖像預處理時加入高斯濾波線性濾波器來抑制超聲圖像的噪聲，平滑圖像，在一定程度上提高訓練模型的魯棒性和適應性。為了提高分割的精確度和效率，在網絡模型中引入殘差結構，解決了因網絡深度的增加造成的梯度消失問題，使準確率得到明顯提升。

1 圖像分割方法

乳腺超聲圖像的腫瘤區域分割的效率和精度一直是提高腫瘤分類判別精確度的關鍵，許多研究人員在腫瘤分割方面做了很多研究。腫瘤在超聲圖像中一般表現為低回聲區。乳腺超聲圖像具有斑點噪聲多、邊緣比較模糊、灰度不均勻、腫瘤形狀不規則等特性。針對以上特性，本節將從已有的傳統圖像分割算法和使用深度學習的圖像分割算法兩大類別來進行介紹和對比。

1.1 傳統圖像分割方法

基于閾值的分割方法[2-3]是最基本、應用最廣泛的分割方法，特點是實現簡單，計算量不大，效率高。但由于這種方法忽略了空間特征，因此噪聲對分割結果的影響很大。而聚類法[4-6]則考慮到空間特征，解決了閾值法對噪聲敏感這一問題。分水嶺法[7-8]分割結果是目標的邊界，但它的致命缺點是容易過分割。活動輪廓模型法[9-15]對初始輪廓的依賴性較強，而乳腺超聲圖像具有弱邊界特性，故不能取得好的分割效果。馬爾可夫隨機場法[16-18]的特點是模型參數較少、空間約束性較強，但缺點是復雜度高，耗時高。圖論法[19-23]算法原理簡單，運行效率較高，分割效果也比較好，但是在乳腺超聲圖像比較復雜時，會有過分割和欠分割的情況發生。

1.2 深度學習圖像分割方法

1.2.1 卷積神經網絡

卷積神經網絡(convolutional neural networks，CNN)是一種近年來比較常見的深度神經網絡學習方法，常被用于圖像分類、圖像檢測等方面，在生物醫學圖像的識別中也經常以卷積神經網絡為基礎。CNN之所以有如此的成就是因為它具有表征學習能力，能夠按其階層結構對輸入信息進行平移不變分類，因此可以自動學習不同層次結構下的圖像特征。CNN通過卷積操作和池化操作來對特征進行學習和抽取，在相對較淺的卷積層由于其感受野較小所以可以學習到更多的局部特征，當卷積層處于較深層時由于感受野的擴大就可以學到更加抽象的特征。抽象特征對物體的全局化信息更加敏感，對提高識別性能有一定的幫助。

CNN在傳統的分類任務中表現出非常強大的能力，通過對圖像進行特征抽取，可以非常快速地完成對圖像的分類，但是在進行圖像特征抽取時會丟失一些特征信息，可能會使物體的輪廓信息不完全，不能很好地對像素分類，因此做到精確的分割就很有難度。

CNN也可以做一些簡單的圖像分割任務，通常是采用像素塊的方式使用需要分類的某個像素周圍的一個圖像塊作為其分類依據。這種方法最大的缺陷就是存儲開銷非常大，由于相鄰的圖像塊會產生疊加，在計算的時候就會產生大量冗余信息。其次像素塊的大小也會影響分類的速度和準確度，從而限制了分類的性能。

1.2.2 全卷積神經網絡

全卷積神經網絡(FCN)是基于傳統CNN改進的，主要用于圖像語義分割。與傳統的CNN不同的是，FCN用卷積層代替了CNN中的全連接層，沒有了全連接層單元數的限制，輸入圖像的大小也不再受限制。FCN在最后一層特征圖后使用反卷積對其進行上采樣，使特征圖大小與輸入圖像的尺寸相同。

1.2.3 U-Net網絡

U-Net神經網絡是由Ronneberger等提出的一種網絡結構，U型的對稱結構由左側的編碼網絡和一個右側對稱的解碼網絡構成。左側編碼網絡中主要是由交替的卷積層和池化層實現特征圖的提取和空間維度的學習，而解碼網絡正相反，通過更換卷積層的采樣方式，使用上采樣來恢復目標細節和相應的空間維度來實現精確定位。除此之外U-Net網絡還通過捷徑連接的思想將編碼網絡和解碼網絡之間進行上下文信息的跨層連接。捷徑連接思想通過裁剪和復制低層特征圖與高層特征圖結合起來，恢復更好的目標細節，實現精準的自動上下文像素級分類。傳統的U-Net在多種醫學圖像分割中均表現出良好的性能，即使在一些數據量少的任務下也能獲取不錯的效果。U-Net網絡結構如圖1所示。

圖1 U-Net網絡結構

在全卷積U型網絡U-Net提出來之后，國內外有很多學者都在此基礎上做了大量的研究。梁舒[24]在2018年提出將殘差學習單元加入U型網絡，通過提高網絡深度來增強模型的特征學習能力，然而簡單地增加深度，會導致梯度彌散或梯度爆炸。李嘉冀[25]在2019年提出將注意力機制應用在U-Net網絡上進行特征提取，提供了新的特征選取方式。此后醫療圖像分割算法的優化都集中在這兩個方向上。

2 改進后的圖像分割算法

2.1 優化后的算法流程

文中方法流程如圖2所示：(1)對數據集進行數據擴增；(2)將擴增后的超聲圖像使用高斯濾波進行去噪；(3)將圖像數據集分成訓練集、驗證集以及測試集；(4)將訓練集中的圖像放入文中改進的網絡中進行訓練，而后用驗證集對模型的訓練效果進行驗證，看收斂效果是否理想；(5)將測試集放入訓練好的網絡模型中，測試網絡模型的分割性能。

圖2 文中方法流程

2.2 圖像預處理

2.2.1 數據擴增

對于深度學習模型來說，大量的訓練數據是模型具有更好泛化能力的前提。想要獲取大規模經過醫生標注的乳腺腫瘤超聲圖像極為困難，并且由于成本原因無法滿足深度學習模型對大規模數據的需求。

在目標域數據分布具有變換不變性的前提下通過對原始數據進行隨機幾何變換等操作進行數據擴增。可以得到大量的與原始數據近似或獨立同分布的醫學數據，使深度學習網絡可以學習到更多關于訓練數據的不變性特征。通過數據增強，使得擴增后的樣本數據可以增加網絡學習到的特征多樣性，以此來提高網絡在進行特征學習是對原始數據的信息利用率。

在對乳腺腫瘤超聲圖像進行數據擴增操作時要注意以下兩點：(1)確保擴增后的數據與原有數據獨立同分布或近似獨立同分布；(2)確保擴增后的數據要很好地保留原有數據中腫瘤圖像的形狀或形態以及邊緣等重要診斷特征。

綜合以上考慮，采用隨機幾何變換的方法對原始數據進行數據增強，在以上要求下將產生大量的訓練樣本，有效擴大了數據集規模，解決因樣本量有限導致網絡訓練出現過擬合的問題，使U-Net在有限訓練數據集情況下也能獲得理想的分割效果。

但是在傳統的數據擴增中，超聲圖像和掩碼圖像需要分別進行擴增，不僅增加了計算量，而且會限制數據擴增的隨機性，在對超聲圖像進行隨機變換時無法保證掩碼圖像進行同樣的變換。針對這一問題，文中先對超聲圖像和掩碼圖像進行通道合并，之后進行數據擴增，這樣不僅減少了計算量，同時使得數據擴增的方式更加豐富。

文中數據集的標簽是與超聲圖像大小一樣的二值圖。標簽中白色區域對應乳腺超聲圖像的腫瘤區域，黑色區域對應超聲圖像非腫瘤區域。通道合并后的圖片，通過隨機旋轉、偏移、縮放等操作進行數據擴增。

2.2.2 高斯濾波去噪

噪聲在圖像當中常表現為一引起較強視覺效果的孤立像素點或像素塊。簡單來說，噪聲的出現會給圖像帶來干擾，讓圖像變得不清楚。

由于乳腺超聲圖像受技術影響會產生邊緣模糊、圖像質量過低、斑點噪聲過多等特性，再加上腫瘤形狀或形態的隨機多變因素，極大地增加了網絡對腫瘤特征的學習過程。為此，可以在充分保留腫瘤形狀或形態以及邊緣和紋理特征的前提下對超聲圖像進行去噪預處理操作來減少圖片質量對特征提取能力的影響。

通常會通過一些常規的濾波操作來抑制噪聲從而改善原始超聲圖像的質量。針對乳腺超聲圖像斑點噪聲和腫瘤的不規則形態等因素，實驗表明使用高斯濾波通過大小固定的窗口對原始超聲圖像進行濾波操作可以消除圖像中的斑點噪聲使圖像趨于平滑。如圖3所示，圖像(a)為超聲原始圖像，可以看出存在諸多噪聲，圖像(b)為超聲圖像高斯濾波后結果。

圖3 乳腺腫瘤超聲圖像及其高斯濾波結果

2.3 網絡優化

2.3.1 殘差單元

殘差網絡的出現是在2015年被He等人提出的，其目的是為了使得更深的網絡不會帶來訓練集上準確率的下降。殘差網絡通過加入捷徑連接和標識映射變得更加容易被優化，如圖4所示。每一個殘差單元可以用公式(1)、(2)表示。

圖4 殘差單元

Yi=h(Xi)+F(Xi,Wi)

(1)

Xi+1=f(Yi)

(2)

其中，Xi和Xi+1表示第i個殘差單元的輸入和輸出，F(?)表示殘差函數，h(Xi)表示一個標識映射函數，f(Yi)表示激活函數。

2.3.2 網絡優化

在訓練集上，傳統神經網絡越深效果不一定越好。隨著網絡層數的加深，訓練會變得很難收斂，模型在達到一定層數后繼續增加層數，會導致準確率下降。這被稱為網絡的退化問題。針對網絡退化問題，出現了一種新的網絡結構—殘差網絡，解決了隨著網絡層數加深導致的準確率下降等問題。

U-Net由于把編碼特征加入到解碼特征中，可以在小數據量下取得很好效果，但是有個問題，U-Net網絡不夠深，對特征的表達不夠準確，殘差網絡之所以取得這么好的分類效果就是網絡足夠深。文中在U-Net網絡中加入了兩層殘差學習單元，增加了U-Net的網絡深度，提高了該模型的特征提取能力，得到了更好的分割效果。圖5是改進后的U-Net網絡，其中殘差塊的數量為6。

圖5 改進的U-Net網絡

3 結果與分析

文中所用原始數據集為532張超聲圖像，經過隨機數據擴增10倍后按8∶1∶1劃分為訓練集、驗證集、測試集。實驗訓練初始參數學習率、權重衰減參數、動量參數分別設置為1×10-6、5×10-4、0．95，卷積核使用高斯分布N(0，0.1)進行初始化，使用梯度下降優化算法對模型進行收斂訓練．

實驗配置: Windows10操作系統，英特爾i7處理器，16 GB內存，NVIDIA GeForce 1060 Ti 4G顯卡，使用CUDA10.0計算架構和cuDNN7.5加速庫。

3.1 實驗結果

對測試數據集進行預處理后，將測試數據集送入模型中進行預測，輸出乳腺腫瘤圖像的分割結果。圖6中，圖(a)為乳腺腫瘤超聲圖像，圖(b)為標簽，圖(c)為分割結果。

圖6 分割結果

分割結果表明，文中的分割方法對多腫瘤以及不規則的超聲圖像有著很好的分割結果。

3.2 結果評價與分析

表1給出了FCN、文獻[25]、文獻[26]和文中模型分割單張圖像所需時間(batch_size=1)。

表1 分割單張圖像所需時間

從模型的單張圖片的測試時間來分析，可以得出三點結論：(1)FCN模型的網絡參數較多，因此模型的測試時間較長；(2)文獻[25]在2個3×3的卷積和1個2×2的池化運算之后插入一個殘差學習單元，模型復雜度的增加造成了測試時間的增加；(3)文獻[26]將模糊邏輯引入神經網絡中，將模糊邏輯和注意力機制相結合，該方法對特征要素重要程度進行重新標定造成了計算復雜度的增加。

為了對分割性能進行評測，表2給出了文獻[27]、U-Net和文中模型的分割結果。

表2 不同分割方法在測試集上的結果

從表2進行對比和分析，可以得出以下結論：(1)根據準確率的數值對比可以看出，文中方法在準確率上高于文獻[27]中所用的方法和U-Net方法，說明文中方法的分割結果對目標區域的覆蓋程度更高；(2)召回率又稱為查全率，表示樣本中有多少被預測正確了，從高于其他兩種方法的召回率和交并比可以看出文中方法分割的區域更加精確，標簽中腫瘤區域更加相似；(3)由于準確率和召回率是互相影響的，高準確率會造成低召回率，高召回率會造成低準確率，因此，為了在保證準確率的情況下提升召回率，使用F度量進行衡量。高于其他兩種方法的F度量值也表明了文中模型能夠取得更好的分割結果。

4 結束語

提出了一種基于優化U-Net網絡的乳腺腫瘤區域分割新方法。首先對超聲圖像進行高斯濾波處理以獲得更強的特征提取能力，然后以預處理后的圖像和掩膜圖像作為輸入，使用加深網絡深度和添加隨機噪聲的方式提升了模型的分割精度，分割結果有了更多的細節表達。在測試集上的實驗表明，改進后的U-Net網絡有更好的分割結果。針對腫瘤部位去對比不同分割方法，結果表明該分割方法具有更高的精度和準確率。