基于卷積神經網絡的乳腺癌良惡性診斷

王陽 陳薇伊 馬軍山

摘? 要：為了提高乳腺癌病理圖像良惡性診斷的準確率，提出了一個基于卷積神經網絡（CNN）對乳腺癌病理圖像的診斷方法。利用這種方法，能夠快速地對乳腺癌病理圖像自動進行良惡性診斷。乳腺癌病理圖像具有非常復雜的結構，利用VGG16架構的卷積神經網絡對病理圖像進行特征提取，利用數據增強的方法擴充數據集，使用遷移學習，將在ImageNet數據集上訓練得到的權重作為該網絡的初始化參數，該模型在乳腺癌數據集Breakhis上得到的準確率可以達到95%，而在經過解凍部分訓練層、調整學習率等優化操作之后，分類準確率最高可以達到99%。實驗結果表明，優化后的方法在乳腺癌良惡性診斷準確率方面有很大的提高。

關鍵詞：乳腺癌;卷積神經網絡;圖像分類;數據增強;遷移學習

中圖分類號：TP391? ? ?文獻標識碼：A

文章編號：2096-1472（2022）-01-06-04

Abstract： In order to improve the accuracy of benign and malignant diagnosis for breast cancer pathological images， this paper proposes a diagnosis method for breast cancer pathological images based on convolutional neural network （CNN）. This method makes a quick and automatic benign and malignant diagnosis for breast cancer pathology images. As breast cancer pathological images have very complex structures， VGG16 （Visual Geometry Group） architecture convolutional neural network is used to extract the features of pathological images， and data enhancement is used to expand the data set. By using transfer learning， weights trained on the ImageNet data set are used as the initialized parameters of the network. The model can achieve 95% accuracy on breast cancer data set Breakhis; the classification accuracy is as high as 99% after thawing some training layers and adjusting learning rate. The experimental results show that the optimized method can greatly improve the accuracy of breast cancer benign and malignant diagnosis.

Keywords： breast cancer; convolutional neural network; image classification; data enhancement; transfer learning

1? ?引 言（Introduction）

乳腺癌是目前全球女性發病率最高的癌癥，對女性的身體健康造成非常大的傷害。世界衛生組織2018 年統計結果顯示，乳腺癌在女性癌癥新發病例中所占比例最高，并且死亡率也非常高[1]。

目前，診斷乳腺癌最常見方法的就是病理學診斷，并且大部分是由病理學專家借助顯微鏡觀察完成的。我國目前正在進行乳房腫瘤系統的研究，大規模的臨床應用有助于醫生在診斷過程中大幅提高診斷效率[2]。但是，人為的主觀意識存在偏差，長期的工作壓力以及病理圖像自身的復雜性都會導致誤判。隨著人工智能的發展，計算機輔助診斷治療CAD（Computer Aided Diag-Nosis）已經成為醫學領域研究的熱門課題[3]。同人工診斷相比，計算機診斷更加客觀，并且速度很快，可以同時完成多個病理圖像的診斷，醫生可以根據計算機的診斷結果，結合自身的專業知識，做出更好的判斷。目前基于計算機輔助診斷的主要有兩種方式，一是人工提取特征和傳統機器學習的乳腺癌病理圖像診斷[4];二是基于深度學習的乳腺癌病理圖像診斷。

近些年，卷積神經網絡（CNN）在圖像分類方面取得了優異的成績，在醫療圖像等領域也有很大的進展[5]。2014 年，牛津大學的SIMONYAN[6]在“用于大規模圖像識別得非常深卷積網絡”的論文中提出了VGG卷積神經網絡模型。該模型在ImageNet中實現了92.7%的top-5測試精度，這是一個1，000 類的超過1，400萬張圖像的數據集。VGG卷積神經網絡通過多個3×3大小的過濾器替換大型內核大小的過濾器（在第一個和第二個卷積層中分別為11和5）來改進AlexNet[7]。VGGNet證明了很小的卷積通過增加網絡深度可以有效提高性能。目前主要的卷積神經網絡模型有VGGNet、LeNet、GoogleNet、ResNet。通過卷積神經網絡（CNN）構建的圖像處理系統能夠有效地減小過擬合，并且在對大像素圖像內容識別方面也取得了不錯的效果，特別是在融合GPU加速技術后，使得神經網絡在實際訓練中能夠更好地擬合訓練數據，最終更快更準確地識別大部分的圖片。SPANHOL等在BreakHis數據集上采用卷積神經網絡對乳腺癌病理圖像進行良惡性診斷，準確度最高可達90%。

為了進一步提高乳腺癌病理圖像診斷的準確度，本文以卷積神經網絡VGG16網絡為基礎構造一個分類模型，并在公開的大型乳腺癌病理數據集BreakHis上進行研究。

2? ?數據集（Data set）

2016 年，SPANHOL等公布了BreakHis乳腺癌病理圖像數據集。該數據集取自82 個病人，其中24 人為良性，58 人為惡性，共有7，909 張病理圖片，分為四個放大倍數，即40×、100×、200×、400×。通過活體組織在不同放大倍數顯微鏡下成像得到如圖1所示不同放大倍數下的良性癌病理圖像。

如表1所示是Breakhis數據集里的圖像分布情況。

盡管BreakHis數據集有7，000多張圖片，但是對于神經網絡來說這是不夠的，因此我們需要用到數據增強技術。數據增強主要是可以起到減少網絡過擬合的作用，一方面通過增加數據量提高模型的泛化能力，另一方面通過添加噪聲提高模型的魯棒性[8]。數據增強的方法主要有隨機旋轉、隨機裁剪、添加噪聲等[9]。如圖2所示，圖2（b）是由圖2（a）經過反轉得到的。對于肉眼來說，這是兩張一樣的圖片，對圖片進行翻轉之后還是原來的圖片，但是在神經網絡看來，它們是完全不同的。

3? ?模型與方法（Model and methods）

3.1? ?VGG16架構

卷積神經網絡的主要結構包括輸入層、卷積層、池化層、全連接層和輸出層。本文采用的VGGNet16模型包括五個卷積層和三個全連接層，之所以選擇VGG16作為基礎網絡，是因為VGG16的分類性能很好，網絡結構非常規整，修改起來比較容易。VGGNet用3×3的卷積核替代AlexNet里面11×11的卷積核，因為對于給定的感受野，采用多個小的卷積核效果要比大的卷積核好，多層的非線性層能夠增加網絡的深度，從而保證網絡能夠學到更深層的東西，并且可以更好地保持圖像性質。另外，用多個小卷積核代替大卷積核也能夠減少參數的作用。VGG16模型結構如圖3所示。

輸入層負責載入圖像，本文的輸入圖像就是經過數據增強后的BreakHis數據集。輸入圖像的大小為224×224×3，3代表通道數，產生的輸出向量作為卷積層的輸入。

卷積層主要負責提取圖像特征，通過卷積核實現，卷積核就是給定一個輸入圖像，輸入圖像中的一塊區域像素經過加權平均后成為輸出圖像的對應像素，權值是一個給定函數，這個函數就叫做卷積核。對于輸入的乳腺癌圖像，經過多個卷積層之后提取到每張圖像的特征。

VGG16模型共有五個卷積層和三個全連接層，16指的是它的網絡深度。每個卷積層中都用到Relu激活函數，前兩個卷積層使用兩次大小為3×3、步長為1的卷積核進行卷積操作，后三層用了三次同樣的卷積核。為了提高模型的訓練速度，在卷積層之后添加了Batch Normalization層。

池化層也叫下采樣層，一般放在連續的卷積層之間，用于壓縮數據和參數。池化層的作用主要有兩個，一是特征不變性，池化操作就是圖像的縮放，壓縮去掉一些無關緊要的信息，留下的信息依然能夠保留原圖的特征;二是特征降維，一幅圖像里的特征有很多，但有些信息沒有太大的作用或者重復，就可以去掉這些信息，保留最重要的特征。常見的下采樣有最大池化（max-pooling）和均值池化（mean-pooling），這里使用的是最大池化，池化單元尺寸大小為2×2，可以對輸入圖像尺寸減半。

卷積取的是局部特征，全連接指的就是把這些局部特征重新通過權值矩陣組裝成完整的圖，全連接層的每一個節點都是跟上一層的所有節點相連的，用來把前面提取到的特征綜合起來。VGG16網絡有三個全連接層，前兩層都用了4，096個神經元，第三層使用了1，000 個神經元，常用的激活函數有Sigmoid、Tanh和Relu[10]，本實驗使用的是Relu函數，最后使用Softmax對圖像進行分類，輸出1，000 個預測結果。利用Softmax函數可以很好地處理多分類問題，因為本文只需要分類乳腺癌是良性還是惡性，所以分類標簽為2。在全連接層之前還添加了Dropout層[11]，為的是防止過擬合，提高模型的泛化能力。

損失函數Loss描述的是預測結果和實際結果之間的差別，模型的每一次預測的好壞用損失函數來度量，損失越小，模型越好。本文所用的損失函數是sparse_categorical_crossentropy。

3.2? ?遷移學習及改進

遷移學習[12]，顧名思義就是把已經訓練好的模型參數遷移到新的模型上，從而幫助新模型進行訓練。神經網絡在訓練的時候能夠隨機初始化參數，從頭訓練，由于大部分數據或者任務都是存在相關性的，因此通過遷移學習可以將已經學到的模型參數通過某種方式傳遞給新的模型，從而加快訓練速度并優化模型的學習效率。

在卷積神經網絡中，很多模型都是在ImageNet數據集上進行訓練的，訓練得到的參數通過遷移學習使用在其他網絡上。ImageNet數據集由超過1，400萬張圖像組成，每張圖像都包含注釋，標明物體屬于哪種類別。其實不管是哪種圖像，它們的邊緣特征都是相似的，所以考慮到了遷移學習。遷移學習可以將已經訓練好的模型參數直接用在自己的數據集上，但是訓練結果不一定會非常好。

本文所用的遷移學習的權重來自VGG16網絡在ImageNet數據集上訓練得到的參數，這里將其應用到乳腺癌病理組織的良惡性分類診斷問題上。針對網絡訓練結果的Loss偏大，對模型進行微調，之前是凍結預訓練模型的所有卷積層，只訓練自己要求的全連接層;現在只凍結指定預訓練模型的部分卷積層，這里設置的是解凍卷積層的后五層，訓練剩下的卷積層和自己的全連接層，原學習率為0.001，這里將學習率調整為原來的1/10，并添加了Dropout層，將丟棄率設置為0.5，又添加了Batch Normalization層。

3.3? ?實驗結果

本文使用Thinkpad T490、Intel i5，基于Python語言的tensorflow框架進行訓練和測試。

本文采用識別分類準確率對實驗效果進行評估，以7∶2∶1劃分訓練集、驗證集和測試集。用Nr表示正確分類出來的圖片數量，用Na表示輸入病理圖片的數量，圖像水平的識別準確率（Image_level_Rate）表達式如下式所示：

本文設置了兩組對比實驗，將遷移學習后的網絡直接進行訓練得到的準確率和微調后的模型準確率進行對比，圖4（a）是微調前訓練集和驗證集的準確率，圖4（b）是微調后的訓練集和驗證集的準確率。

從圖4可以明顯看出，微調之后的網絡在準確率性能上表現得更好。首先從圖4（a）可以看出微調前的模型，在經過大約25 次迭代后，準確率已經達到了95%，這說明在模型中增加了數據增強和遷移學習模塊能夠使得模型快速地處理乳腺癌病理圖像，使模型具有更好的魯棒性和泛化能力。然后在經過微調后，模型能夠更加快速地收斂，只需要經過20 次迭代，訓練集準確率便達到了99%，同時驗證集也達到了95%以上。最后利用測試集對模型進行測試，微調前測試集準確率是90%，而微調后測試集準確率達到了98%。表2是微調前后測試集的Loss對比，可以看出微調后的Loss下降更快，這進一步說明微調后的模型更適合使用BreakHis數據集進行良惡性診斷。

4? ?結論（Conclusion）

本實驗在公開乳腺癌數據集BreakHis上進行，同時使用卷積神經網絡模型VGG16，并且為了減少訓練時間，以及避免訓練過程中可能存在的誤差，這里使用了遷移學習，將VGG16在大型數據集ImageNet上訓練得到的權重用在本實驗上。為進一步提高模型性能，又進行了模型微調，解凍了模型訓練層的后五層進行訓練，試驗結果表明，微調后的Loss明顯小于微調前，準確率也從90%提高到了98%，充分證實了本實驗方法的可行性和實用性。未來的工作包括：（1）在乳腺癌二分類診斷的基礎上，進一步細分是哪種癌;（2）將本實驗的模型用在其他醫學疾病上，驗證該模型在其他疾病上是否具有通用性。

參考文獻（References）

[1] BRAY F， FERLAY J. Global cancer statistics 2018： Globocan for estimates of incidence and mortality worldwide 36 cancers in 185 countries[J]. A Cancer Journal for Clinicians， 2018， 68（6）：394-424.

[2] 陳詩慧，劉維湘，秦璟.基于深度學習和醫學圖像的癌癥計算機輔助診斷研究進展[J].生物醫學工程雜志，2017，34（02）：314-319.

[3] ERICKSON B J， KORFIATIS P， AKKUS Z， et al. Machine learning for medical imaging[J]. RadioGraphics， 2017， 37（2）：505-515.

[4] 龔磊，徐軍，王冠皓.基于多特征描述的乳腺癌腫瘤病理自動分級[J].計算機應用，2015，35（12）：3570-3575.

[5] SPANHOL F A， OLIVEIRA L S， PETITJEAN C， et al. A dataset for breast cancer histopathological image classification[J]. IEEE Transactions on Bio-medical Engineering， 2015， 63（7）：1455-1462.

[6] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[DB]. Eprint ArXiv， 2014：1409-1556.

[7] RAJKOMAR A， LINGAM S， TAYLO A G， et al. High-throughput classification of radiographs using deep convolutional neral networks[J]. Journal of Digital Imaging， 2017， 30（1）：95-101.

[8] LI X， TANG W L， YANG B. Semantic segmentation of high resolution remote sensing image using depth residual network[J]. Journal of Applied Sciences， 2019， 37（2）：282-290.

[9] YU X M， HONG S， YU J X， et al. Research on the enhancement method of visible light remote sensing image ship target data[J]. Journal of Instrumentation， 2020， 41（11）：261-269.

[10] ZHANG Y D， MUHAMMAD K， TANG C. Twelve-layer deep convolutional neural network with stochastic pooling for tea category classification GPU platform[J]. Mutimedia Tools and Applications， 2018， 77（17）：22821-22839.

[11] SRIVASTAVA N， HINTON G， KRIZHEVSKY A， et al. Dropout： A simple way to prevent neural networks from overfitting[J]. The Journal of Machine Learning Research， 2014， 15（1）：1929-1958.

[12] PAN S J， YANG Q. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering， 2010， 22（10）：1345-1359.

作者簡介：

王? 陽（1995-），男，碩士生.研究領域：計算機視覺，深度學習.

陳薇伊（1997-），女，碩士生.研究領域：計算機視覺.

馬軍山（1967-），男，博士，教授.研究領域：光學精密儀器，圖像處理.