新型乳腺磁共振增強圖像腫瘤區域的自動分割模型

馬 偉 劉鴻利 孫明建 徐 軍* 蔣燕妮*

1(南京信息工程大學 江蘇省大數據分析技術重點實驗室，南京 210044)2(南京醫科大學第一附屬醫院放射科，南京 210029)

引言

乳腺癌作為女性發病率最高的惡性腫瘤之一，具有高度的異質性，對人類的身心健康已經造成巨大威脅[1-2]。臨床數據顯示，早診斷、早治療能有效地降低乳腺癌的死亡率。然而，多數患者是直到觸及乳腺腫塊才到醫院就診，只有少數患者是通過定期身體檢查才發現乳腺腫物或可疑病變。乳癌磁共振增強影像表現中，其形態學上主要分為腫塊型和非腫塊型。在臨床上，腫塊型乳腺癌一般具有較為明顯的形態特征，通常呈現為腫塊和結節圖像，診斷并不困難；非腫塊乳腺癌由于沒有明確的邊界，形態學差異大，因而診斷較為困難。在乳腺癌的檢測、診斷、治療過程中，各種不同的圖像模式都發揮著關鍵作用，CT圖像由于放射劑量較大等原因一般用于特殊病例的輔助診斷或了解病變的侵犯程度，PET是一種能顯示生物分子代謝活動的無創性影像技術，但無法精確定位，而磁共振成像(MRI)是一種從人體中利用磁共振現象獲得電磁信號并重建人體信息的一種斷層成像方式，由于其公認的高敏感性，對于乳腺癌的治療有著更為明顯的效果。

對于乳腺腫瘤分割這個問題，由于非腫塊型乳腺癌形態學特征較為復雜，研究人員很少針對非腫塊型乳腺癌進行相關研究，而針對腫塊型乳腺癌分割主要分為兩大類。一類是是采用傳統方法，主要有聚類分割、邊緣分割、形態學分割等[3-5]。形態學方法主要是依賴于閾值的選取，分割方式太單一；邊緣分割方法雖然能盡可能地保留邊緣信息，但受噪聲影響較大；聚類分割速度雖然快但同樣受噪聲影響的限制。單一分割方法自身的局限性較大，傳統方法中目前還比較流行采用多種算法相結合的分割方法，兩者優勢互補來達到更好的分割效果，例如基于C-V活動輪廓模型和馬爾可夫隨機場的方法[6]、基于小波變換和模糊C均值聚類的方法[7]，這些傳統方法一般都需要通過形態學運算如(腐蝕和膨脹等)后處理的方式來獲得比較平滑的腫瘤邊界。另一類方法是采用深度學習的方法，如基于多層神經網絡和活動輪廓模型的檢測方法[8]、基于深度神經網絡和隨機森林的分割方法[9]等。

深度檢測網絡一般應用的領域在自然圖像如行人檢測[10]等。何等[11]創造性地將檢測任務和分割任務集合在單深度網絡中，但這種方法需要大量有標記數據支撐。在醫學圖像領域，檢測主要是運用在小目標檢測上如肺結節檢測[12]。深度模型的好壞和數據有很大的關系。由于乳腺癌腫瘤區域和背景之間差異性小、乳腺腫瘤區域相對較小，這些問題對于直接分割來說難度過大。

借鑒何的方法[25]，本研究提出了一個新思路，由于乳腺腫瘤數據對于單檢測任務來說復雜度不是很高，而YOLOv2以擬合性好以及速度著稱，所以先使用YOLOv2進行粗檢測。同時，由于乳腺數據集較少，完全根據檢測框區域來進行精分割是不現實的，所以需根據檢測框中心選擇更大的感興趣塊送入SegNet模型來進行精細分割。檢測和分割分離的方法不僅能在小數據集上使用，而且也為小目標難于精細分割的難題提供了一個解決思路。

1 YOLOv2+SegNet分割模型

1.1 基于YOLOv2模型的乳腺腫瘤區域粗檢測

乳腺腫瘤由于有腫塊和非腫塊之分，目標區域小等特殊性，如何有效地檢測出乳腺病灶一直是檢測領域的熱點和難點。本研究提出了粗檢測精分割(YOLOv2+SegNet)的方法來分割乳腺腫瘤，具體流程如圖1所示。YOLOv2[13]作為目前最新的檢測網絡，本研究將其用于在MRI乳腺增強圖像中進行檢測病灶區域。

圖1 基于YOLOv2+SegNet框架的粗檢測和細分割流程Fig.1 Rough detection and fine segmentation flow chart based on YOLOv2+SegNet framework

1.1.1MRI數據檢測預處理

本研究使用的數據是腫塊型和非腫塊型乳腺癌磁共振增強圖像。預處理方法是通過歸一化來達到統一數據的目的。

1.1.2MRI數據擴充

檢測網絡需要一定的數據量，所以進行了一定的數據擴充。主要使用了鏡像、翻轉、調整對比度、銳化等，把415張訓練圖片擴充到2 075張。

1.1.3YOLOv2粗檢測模型

YOLOv2是YOLO[14]的改進版本，在保持原有速度優勢的基礎上，精度上得到大幅提升。YOLOv2算法首先引入了Batch Normalizatin層[15]，簡稱BN層，舍棄了drop out層來保證數據的完整性，BN層的做法是在卷積池化后，激活函數之前，對數據進行規范化。

YOLO是通過全連接層來預測邊框位置，這樣會丟失圖像位置信息，導致定位不精確，YOLOv2則借鑒了Faster-R-CNN的anchor思想[16]。anchor是RPN網絡中一個關鍵步驟，是在卷積特征圖上進行滑動操作，每個中心預測9種大小不同的候選框。具體操作是將全連接層和后面的池化層丟掉，將圖像輸入變成416×416，使后面產生的卷積特征圖寬和高為奇數，就可以產生中心點進而來得到候選框。

在使用anchor的時候，首先需要處理的問題是如何選取候選框的寬高比。不同于以前的手動選取，這里使用的是改進的k-means算法[17]，評判標準是IOU得分，采用的新的距離函數為

d(box,centroid)=1-IOU(box,centroid)

(1)

式中，centroid表示質心，box表示簇，IOU表示重疊面積。

采用這種聚類方法，選取了5個最具有代表性的寬高比來加速網絡的收斂。同時，為了使得算法更有魯棒性，算法使用了多尺度的思想，解決辦法是每經過10次迭代，選取不同的圖片尺寸，YOLOv2網絡使用的下采樣系數為32，那么就使用32的倍數 (320,352,…,608)來進行下采樣,接著按照輸入尺寸調整網絡進行訓練。

針對乳腺腫瘤分割這個特定問題，首先在開始訓練前，先使用改進的k-means算法聚類統計出最具代表乳腺腫瘤的6個anchor的寬高比率，分別是1.28、1.49、2.73、3.15、4.42、5.61。訓練時，由于數據集即使數據擴充完仍然較小，直接訓練模型很容易過擬合，所以在VOC數據集上進行微調，即在VOC上使用YOLOv2先訓練一個初始模型，然后再遷移到乳腺數據集上。訓練過程中，初始學習率設置10-4，在迭代100 000和150 000次學習率每次衰減1/10，總迭代次數為200 000次。檢測框和標記框的IOU閾值設置0.6，檢測訓練時大于這個閾值就保留，反之則舍棄。

1.2 基于SegNet網絡乳腺腫瘤細分割模型

1.2.1MRI數據分割處理

由于本研究采用的是粗檢測精分割的思想，所以在構建分割訓練數據集時需要特殊處理。本研究采用的是k-means算法，找到標記區域的中心點，在中心點基礎上取出144像素×144像素大小的塊，然后在原圖對應位置上取出相同大小的塊。

1.2.2傳統C-V模型

C-V模型[18]是基于區域的水平集方法，使用閉合曲線劃分感興趣區域和非感興趣區域，既而構建能量泛函，將曲線C用水平集函數φ代替，再通過求解能量泛函對應的Euler-Lagrange方程獲得水平集的演化方程。

一般地，傳統的C-V模型的能量公式為

(2)

式中：μ、λ1和λ2是取值為正的常數，一般令λ1=λ2=1；c1和c2分別是演化曲線C內部和外部的圖像灰度均值。

1.2.3模糊C均值聚類(fuzzy C-means，FCM)

模糊C均值聚類是由Mouelhi等提出的基于對目標函數的優化基礎上的一種數據聚類方法[7]。模糊均值聚類是乳腺自動分割領域非常流行的算法。同k-means類似，FCM算法的思想是使得同一簇的對象之間相似度最大，不同簇之間相似度最小。

FCM的目標函數和約束條件分別為

(3)

(4)

式中，uij表示樣本j屬于某一類i的隸屬度，m是隸屬度因子，‖xj-ci‖2表示樣本點xj與聚類中心ci的距離范數。

1.2.4基于譜映射主動輪廓模型

SEAC基于譜映射主動輪廓模型是由徐軍等提出的基于主動輪廓模型的改進版本，主要是利用空間梯度關系來處理MRI乳腺腫瘤分割問題[19]。該算法主要步驟如下：

1) 在乳腺MRI圖像上運用光譜映射；

2) 基于1的張量梯度送入主動輪廓模型增強梯度關系；

3) 手動選取初始點，本文采用的是檢測中心；

4) 迭代出最終結果。

1.2.5SegNet網絡

SegNet[20]是逐像素分割的深度神經網絡，網絡結構包含非線性處理層(編碼器)，和與之對應的解碼器，最后跟隨一個像素級別的分類層，具體結構如圖1所示。

通常，每個編碼器由卷積層、批歸一化層(batch normalization)、ReLU層[21]、最大池化層[22]組成。每個編碼器具有對應的解碼器層。解碼器由反卷積層、批歸一化層、ReLU層、上采樣層組成，在解碼完成后輸入softmax分類器來得到最終的概率圖。

卷積層是SegNet網絡的核心。在編碼階段，卷積的作用是利用每個卷積核提取輸入特征圖所有位置的特征，從而實現同一輸入特征圖的權值共享。整個網絡中卷積的方式是same卷積，即卷積后不改變特征圖的大小。在解碼階段，SegNet的反卷積層原理和卷積是一樣的，但反卷積的作用是為上采樣提供變大的圖像豐富信息，使得在池化層過程中丟失的信息能通過學習得到。SegNet的卷積和傳統的CNN的卷積沒有區別。

批歸一化層主要作用是加快學習速率，在前向傳播時，批歸一化層對卷積后的權值進行標準化但輸出不變，在后向傳播時，根據批歸一化層的均值和方差，結合每個卷積層和ReLU層進行鏈式求導，求出梯度進而計算當前的學習率。ReLU層又稱為激活函數層，ReLU是傳統激活函數sigmoid的改進，其公式為

f(x)=max(0,x)

(5)

池化層是一種非線性的下采樣方式，主要有最大和平均池化兩種方式。SegNet中的池化層較一般的池化層多了通過池化得到的權值在2×2的卷積核的相對位置。由于SegNet網絡是對稱的，編碼階段池化得到的相對位置輸出給解碼對應階段來進行上采樣。

本研究的數據是乳腺腫瘤，其目標區域本身較小。針對這個問題，在SegNet的基礎上，對于網絡進行了一定改動，編碼階段參數見表1。將原始網絡中7×7的卷積核修改成3×3的卷積核來減少局部感受野，進而讓網絡能學習到更小范圍的特征信息。同時為了輸入和輸出尺寸一致，pad由3修改成1。在SegNet訓練時，同樣因為乳腺數據集較小的原因，采用vgg-16模型為初始模型，初始學習率設置為0.001，總迭代次數80 000次，在30 000次時學習率衰減為初始值的1/10，momentum值設置為0.9。權重衰減系數設為0.005。

表1SegNet編碼器網絡結構和參數設置

Tab.1ThestructuredetailsandparametersofSegNet′sencoder

層數操作通道數尺寸步長邊緣填充1輸入3———2～3卷積643114池化642205～6卷積1283117池化1282208～10卷積25631111池化25622012～14卷積51231115池化51222016～18卷積51231119池化512220

1.3 實驗設計

1.3.1實驗數據

本研究使用的數據由江蘇省人民醫院放射科提供，數據由兩位具有多年影像學檢查經驗的醫生標記而來。腫塊和非腫塊的分類標準也是兩位醫生根據多年臨床經驗分析而來。數據集共有575張乳腺MR圖像，采集儀器是Siemens Trio Tim 3.0 T超導型磁共振掃描儀(MAGNETOM Trio, Siemens, Germany)，圖片分辨率為448像素×448像素，腫瘤區域大小均大于1 cm。數據格式為DICOM格式，從中選取了415張作為訓練集，其中270例腫塊型，145例非腫塊型；145張作為測試集，其中100例腫塊型，45例非腫塊型。由于訓練集數量相對較少，在檢測部分使用了如翻轉、鏡像等方法來對數據進行擴充，最終將整個檢測訓練集擴充到2 075張。所有的實驗為了真實性，數據都是隨機選取，實驗進行了多次隨機分組實驗，結果都是多次隨機實驗平均值。為了實驗的統一性，所有的圖像都經過了相應的預處理。

1.3.2實驗環境

實驗使用的硬件配置如下：處理器：Intel(R) Core(TM) i7-3770 CPU @ 4 GHz；內存(RAM)：32.0 GB；獨立顯卡：GeForce GTX Titan X；系統類型：Ubuntu 14.04；開發工具：python，caffe框架；讀圖軟件：Slicer3D[23]。

1.3.3實驗設置

實驗的主要步驟如圖2所示。第1步，448×448大小的圖片送入檢測網絡檢測出粗略腫瘤區域；第2步，根據檢測的區域中心點取出144×144的塊，然后把144×144的塊送入分割網絡進行分割；最后將最終結果映射到檢測位置。

本研究主要做了5組實驗，第1組是基于檢測結果的C-V模型方法，第2組是基于檢測結果的FCM算法，第3組是基于檢測結果的SEAC算法，第4組是使用全圖分割的SegNet方法，第5組是YOLOv2+SegNet分割方法。

2 結果

將本研究的方法運用到560張乳腺MR圖像，以驗證方法的優越性和有效性。為了說明本研究YOLOv2+SegNet方法的有效性，將本研究分割結果和C-V模型、FCM、SEAC以及直接分割的SegNet網絡進行了比較。具體的實驗分割結果如圖2所示，比較發現，對于腫塊型和非腫塊型乳腺癌來說，傳統C-V模型、FCM、SEAC和SegNet直接分割的多種方法的效果明顯不如本研究方法。

將所提出方法在100張乳腺腫塊測試集和45張乳腺非腫塊測試集上分別進行了分割評估，評估指標采用Dice系數[24]、特異性[25]、靈敏性[26]，具體的對比結果如表2所示。同樣地，對所有測試數據進行對比，包括傳統C-V模型、FCM算法、SEAC算法實驗和SegNet直接分割、DeepLab直接分割、U-net直接分割以及本研究方法，結果如表3所示。

表2 3種數據方式對比結果Tab.2 Comparison results of three data methods

表3 在所有測試集上的比較結果Tab.3 Comparison results on the whole test set

本研究提出利用YOLOv2+SegNet模型來進行腫塊型和非腫塊型乳腺腫瘤的檢測和分割。一般情況下，使用全圖來進行自動分割，但針對乳腺腫瘤分割這個問題，由于目標區域較小，非腫塊之間形態差異性大，全圖直接分割很不好。本研究先采用YOLOv2檢測網絡檢測出大致的腫瘤病灶，在所有測試集上，選取置信度最大框，由于本身乳腺腫瘤就較小以及后面分割模塊依據中心點選取遠大于腫瘤尺寸的144像素×144像素大小的塊，所以判定置信度最大框中心點在標記腫瘤框內即為腫瘤檢測正確，采用這種方法的單腫瘤檢測準確率是98%。從表2看，本研究的方法不管針對腫塊或者非腫塊還是兩者混合，其結果都是遠優于SegNet直接分割，就Dice系數、特異性以及靈敏性來說，本研究方法與SegNet方法相比平均提升大約10%。從圖2來看，傳統C-V模型當目標區域較小以及和背景差異性小時分割效果很一般，而針對非腫塊型C-V模型就表現得不錯，但是由于C-V模型是需要手動選擇初始點，人工參與過多會導致結果隨機性過大；FCM算法是一種無監督的模糊聚類方法，當某樣本在所有類中隸屬度相對平均時效果就很差。同樣地，當目標區域較小時結果會表現較差，從時間成本來看，實驗中FCM處理一張圖片耗時相當長；SEAC算法是基于主動輪廓模型的改進方法，極度依賴于初始點的選擇，這里采用的是檢測中心點，所以不同圖片分割效果相差很大，由于SEAC算法本身的局限性，從結果來看，針對腫塊型乳腺癌該方法分割得很好，而針對非腫塊型乳腺癌來說，SEAC方法并不是很理想；SegNet直接分割方法能將大致區域分割出來，但是由于無用信息較多，邊界分割并沒有那么精確，尤其針對非腫塊型乳腺癌這種邊界較復雜的數據來說，分割相當不精確；本研究先采用檢測方法粗檢測出大致目標區域，由于最終分割區域已經盡可能小，不管是腫塊型還是非腫塊型，分割結果都比前面的要好，和醫生的標記結果較為接近。從表3來看，和目前主流的深度模型U-net、DeepLab或者SegNet這些一步直接分割方法進行對比，本研究方法的Dice系數以及特異性都有著明顯的提升，靈敏性在所有方法中不是最好的，但較其他深度模型來說是最好的。

3 討論

乳腺癌是女性最常見的惡性腫瘤，近年來國內外的研究已經取得了長足的進展，使其早期的臨床檢出率和治愈率不斷提高，但是乳腺癌仍存在大量的難題等待解決。大家知道，早期由于技術的限制,某些非腫塊型乳腺癌病變并不能檢測出來，而且非腫塊型本身缺乏典型的腫塊特征，常導致誤檢或者漏檢。隨著計算機輔助診斷的普及和乳腺動態增強磁共振成像的廣泛應用，基于圖像的鑒別診斷正日益成熟，很多非腫塊型病變能夠被檢測出來，而準確地進行乳腺癌影像學診斷的關鍵一步則是乳腺腫瘤區域的精確分割。再從分子層面來說，根據基因圖譜，乳腺癌主要分為4種不同分子亞型：Luminal A型、Luminal B型、HER-2型、三陰性型[21-22]。不同分子亞型乳腺癌具有特定的臨床特征。所以如果能尋找到一種通用的精確分割方法無疑對于不同乳腺亞型的后續研究有著巨大幫助。

針對這些問題，本研究提出了一種先粗檢測后精確分割(YOLOv2+SegNet)的方法。本方法的研究內容主要體現在兩個方面：首先，使用深度檢測網絡(YOLOv2)來盡可能地準確定位腫瘤的大致位置；再者，在精確定位的基礎上，搭建和完善深度分割網絡(SegNet)，運用深度卷積神經網絡強大的特征學習能力，充分利用淺層特征和深層特征訓練出完整的分割網絡。一般來說，傳統方法如C-V、FCM、C-V等方法需要人為不斷地調整參數，主觀經驗有時會對結果產生影響。本研究基于深度卷積神經網絡的自動學習方法，既能更加充分利用圖像特征，又能減少主觀因素對于實驗結果的影響。從表2、3的對比結果分析來看，相比傳統方法，本研究提出的基于深度卷積神經網絡方法(YOLOv2+SegNet)各項評估指標有著近10%的提升。從硬件來說，深度學習方法能更加充分運用硬件設備(如GPU)，分割一張圖只需要不到1 s。由此，本研究提出的先檢測后分割的方法為減少醫生工作量以及輔助醫生診斷提供了可能。

同時，在本研究提出的方法中還有許多提升的空間。在分割網絡中，可以調整網絡結構或者更換損失函數來進一步提升分割準確率。在數據集方面，可以使用更多的數據集來加強魯棒性，使模型更加具有適用性。在數據方面，目前應用的是二維的乳腺數據，在以后的研究中，將采用同樣的想法對于三維乳腺腫瘤進行分割。

4 結論

針對腫塊型和非腫塊型乳腺癌難分割問題，本研究提出了一個粗檢測精分割(YOLOv2+SegNet)的方法，首先是對圖像進行預處理，再送入YOLOv2檢測網絡中檢測出腫瘤區域，選取框的中心點的144×144像素大小的塊來進行精細分割。實驗表明，本研究方法能較好地分割出腫塊型和非腫塊型乳腺癌腫瘤區域，較傳統C-V模型、FCM、SEAC以及深度模型的U-net、DeepLab或者SegNet直接分割的方法都有著很大的提升，這對于乳腺腫瘤的精確診斷提供了一定的參考。