基于深度學習的乳腺癌病理圖像自動分類

何雪英，韓忠義，魏本征

山東中醫藥大學 理工學院，濟南 250355

1 引言

癌癥是威脅人類健康和生命的主要殺手之一，其中乳腺癌是女性中最常見的癌癥，據世界衛生組織（WHO）下屬的國際癌癥研究中心（IARC）2012年公布的數據顯示[1]，乳腺癌是造成女性死亡的第二大病癥，且其發病率呈逐年上升和年輕化的趨勢。臨床上，相對于X-ray、鉬靶、核磁共振等圖像，病理圖像是醫生最后確診乳腺癌的重要標準，而對病理圖像進行準確地分類是醫生制訂最佳治療方案的重要依據。目前基于人工的病理圖像分類，不僅耗時、費力，而且診斷結果容易受到諸多主觀人為因素的影響，借助于計算機輔助診斷（Computer-Aided Diagnosis，CAD），自動將病理圖像進行良、惡性分類，不僅可以提高診斷效率，還能為醫生提供更加客觀、準確的診斷結果，因而具有重要的臨床應用價值。

乳腺癌病理圖像自動分類是一項非常有挑戰性的工作。一是由于病理圖像自身的特點：圖像之間細微的差異性、細胞重疊現象、顏色分布不均勻等，給圖像分類工作帶來了很大的困難。二是由于缺乏大型公開的、已標記的數據集，給算法研究帶來一定的困難。盡管如此，在乳腺癌病理圖像的自動分類方面，學者們已經進行了很多研究，并取得了一系列重要的研究進展。主要集中在以下兩個方面：

（1）基于人工特征提取和傳統機器學習算法的乳腺癌病理圖像分類。Kowal等人[2]采用不同的細胞核分割算法，在500幅乳腺癌病理圖像上的識別率為96%～100%。Zhang等人[3]提出了一種基于人工設計特征的單類核主成分分析方法，對361幅乳腺癌病理圖像分類，識別率為92%。基于顏色空間下4個形狀特征和138個紋理特征，Wang等人[4]使用支持向量機算法對68幅乳腺癌病理圖像的分類準確率為96.19%。Spanhol等人[5]公開了乳腺癌病理圖像數據集BreaKHis，基于該數據集，采用了局部二值模式（LBP）、灰度共生矩陣（GLCM）等6種特征描述子和支持向量機、隨機森林等不同的分類算法進行分類，準確率達到80%～85%。值得注意的是，上述分類算法大都是在小型數據集上開展，算法之間缺乏統一的對比標準，準確率之間不具有可比性。更重要的是，這些算法采用基于人工的特征提取方法，不僅需要專業領域知識，耗費大量的時間和精力完成，關鍵是要提取出有區分性的高質量特征也往往存在一定的困難。嚴重制約了傳統機器學習算法在乳腺癌病理圖像分類中的應用。

（2）基于深度學習的乳腺癌病理圖像分類。一方面，深度學習能夠自動從數據中學習特征，避免了傳統算法中人工設計、提取特征的復雜性和局限性，另一方面，卷積神經網絡（Convolutional Neural Networks，CNN）在自然語言處理、物體識別、圖像分類識別等領域獲得了廣泛應用[6-7]，為CNN在乳腺癌病理圖像中的應用奠定基礎[8-9]。在BreaKHis數據集[5]上，Spanhol等人[10]使用AlexNet網絡，采用不同的融合策略分類，其識別率比傳統機器學習算法高出6%。Bayramoglu等人[11]同樣在BreaKHis數據集上，采用基于放大倍數獨立的深度學習方法分類，其識別率約83%。然而，這些方法的識別率都有待進一步提高，以充分發揮CAD的作用，更好地滿足臨床應用。

針對上述問題，本文采用一種更深、更復雜的深度學習模型，來避免人工提取特征的復雜性和局限性，實現乳腺癌病理圖像的自動分類；同時采用先進的數據增強方法和遷移——微調學習來防止深度學習算法在小樣本集上訓練易出現的過擬合，提高圖像的識別率，以適應高標準的臨床需求。

2 方法

深度學習可看作是多層的人工神經網絡[12]，通過構建含有多個隱層的神經網絡模型，將低層特征通過逐層非線性特征組合變換，形成更加抽象的高層特征表達，以發現數據的分布式特征表示[13]。卷積神經網絡作為最常使用的深度學習模型之一，以2D或3D圖像直接作為網絡的輸入，避免了傳統機器學習算法中復雜的特征提取過程，相比全連接的神經網絡，其局部連接、權值共享和下采樣的特性減少了網絡參數的數量，降低了計算復雜度，同時對圖像的平移、縮放、旋轉等變化具有高度不變性。圖1顯示了深度卷積神經網絡的特征學習過程，模型從原始圖像僅能學習到一些邊緣、紋理、顏色等低層特征，隨著層數的加深，模型可以學習到更抽象的包含豐富語義信息的高層特征。

圖1 卷積神經網絡特征學習的可視化流程

對比目前常用的深度卷積神經網絡模型LeNet[14]、AlexNet[15]、VGG[16]等，選用ILSVRC14競賽中獲得冠軍的GoogLeNet[17]作為本文模型的基礎架構，該模型共計22層，主要包括輸入層、2個普通卷積層、9個Inception層和若干池化層。其中，每個Inception層包含6個卷積層和1個池化層。包括Inception結構在內的所有卷積都使用ReLU函數。模型通過Inception結構，在增加網絡寬度的同時，減少了參數的數量，降低了計算復雜度；通過在不同深度處增加兩個loss來保證梯度回傳的消失。

2.1 深度卷積神經網絡架構

2.1.1 網絡架構設計

輸入層：負責載入圖像，產生一個輸出向量作為卷積層的輸入。本文模型加載整幅3通道乳腺癌病理圖像，圖像自動縮減為224×224大小，以適應卷積層。

卷積層：負責特征的學習。由一組特征map組成，同一個特征map共享一個卷積核，卷積核實際上是一組權重，也稱作濾波器。一個可學習的卷積核與前一層若干個特征map作卷積，將對應元素累加后再加一個偏置，傳給一個非線性激活函數，如ReLU函數、Sigmoid函數，得到一個特征map，即實現了一個特征的提取。計算公式如式（1）所示，多個不同的卷積核實現多個特征的提取。

其中，l表示層數，kij表示連接第l層的特征mapj與第l-1層的特征mapi的卷積核，Ml-1表示第l-1層選擇的輸入特征maps，?表示卷積操作，b表示偏置，表示非線性激活函數。

本文模型中普通卷積層的卷積核大小分別設為7×7和3×3，步長（stride）為2，各Inception層卷積核的大小、stride值依模型具體情況設定，所有卷積都使用ReLU函數。

池化層：負責相鄰區域特征的聚合統計。通過取區域最大值或平均值對卷積層的map做下采樣，以減小下一層的輸入大小，從而減少網絡的參數個數和計算量。本文模型中除最后一個池化層采用Mean-pooling方式，感受野設為7×7，stride為1，其余池化層均采用Max-pooling方式，全部感受野設為3×3，stride為2。

此外，學習率為0.01，最大迭代次數為55 620。

2.1.2 Softmax分類器

本文采用Softmax分類器進行特征識別。Softmax分類器是logistic模型在多分類問題上的推廣，將目標變量分為多類的算法。假設有N幅輸入圖像每幅圖像的標記{yi∈{1 ,2,…,k},k≥2} ，共k類，本文中k=2。對于給定的測試圖像xi，用假設函數估計出其屬于每個類別 j的概率值 p(yi=j|xi)。則假設函數hθ(xi)為：

式中，代表對概率分布進行歸一化，即全部概率之和為1。θ表示Softmax分類器的參數。

Softmax分類器的損失函數為：

其中1(yi=j)為指示性函數。其取值規則為：1{值為真的表達式}=1，1值為假的表達式=0。最后通過隨機梯度下降法最小化誤差函數。

2.2 數據增強與遷移學習

缺乏大規模的訓練數據，是將CNN應用于醫學圖像分類面臨的主要挑戰之一，因為CNN參數的訓練需要大規模的有標記樣本，才能防止過擬合，而通常要獲取大規模的醫學圖像是困難、且代價昂貴的，尤其是經過專業醫生標注的醫學圖像。本文在乳腺癌病理圖像數據集BreaKHis[5]基礎上，采用了兩種解決方案：

一是數據增強[12]。采用仿射變換方法對BreaKHis數據集進行增強。主要通過將圖像旋轉90o/180o/270o、按照0.8的比例縮放、在水平和垂直方向作鏡像，以及這些操作的組合操作，將數據集擴充了14倍。

二是遷移學習[18]。通過在現有的大規模數據集上進行預訓練，得到模型的初始化參數，再遷移到目標數據集上進行微調訓練。遷移學習可以在預訓練數據集上學到一些有助于目標數據集分類的最基本特征，比如顏色、邊緣特征等，從而提高了模型的分類性能。本文在ImageNet（包含120余萬幅自然圖像和1 000多種不同的類別）上對模型進行預訓練，然后將模型參數遷移到BreaKHis上進行微調訓練。

3 實驗及結果分析

3.1 數據集

本文采用公開數據集BreaKHis[5]，該數據集包含來自于82位患者的7 909幅已標注的乳腺癌病理圖像，其中良性腫瘤圖像2 480幅，惡性腫瘤圖像5 429幅。每幅病理圖像均采用4種不同的放大倍數（40X、100X、200X、400X），固定大小為700×460像素，模式為RGB三通道圖像（24位顏色，每個通道8位）。表1是不同放大倍數的良、惡性腫瘤圖像的具體分布情況[5]。

表1 不同放大倍數的良、惡性腫瘤圖像的具體分布

增強后的數據集被擴充了14倍，約含11萬余幅乳腺癌病理圖像。為了充分保留圖像輪廓和全局等特征信息，將整幅切片圖像作為網絡的輸入。

3.2 評價標準

對于醫學圖像的分類，可以從兩個方面評價模型的分類性能：患者級別和圖像級別。從患者的層面計算識別率，令Nnp為每位患者病理圖像的數量，Nrp為每位患者被正確分類的圖像數量，Np為患者總數量，有：

則患者級別的識別率可表示為：

不考慮患者層面，而僅從圖像級別來計算識別率時，令Nall代表驗證集和測試集中病理圖像的數量，Nr代表其中被正確分類的圖像數量，則圖像級別的識別率可表示為：

3.3 訓練策略

增強前和增強后的數據集均被隨機分成三部分：訓練集50%、驗證集25%和測試集25%。其中，訓練集用于模型訓練和參數學習；驗證集用于優化模型，在訓練過程中對模型進行測試，根據測試結果自動微調參數；測試集用于測試模型的識別和泛化能力。為保證模型對未知數據的泛化能力，數據集之間互不交叉。結果為10次隨機分配數據集實驗的平均值。

為驗證遷移學習的有效性，采用兩種訓練策略：隨機初始化訓練和遷移——微調訓練。為驗證數據增強的有效性，將兩種訓練策略分別應用在增強前和增強后的數據集上。

3.4 實驗工具和時間消耗

本文模型在Lenovo ThinkStation，Intel i7 CPU，NVIDIA Quadro K2200GPU上訓練，使用Caffe框架[19]，平均訓練時間在增強前的數據集上約50 min，在增強后的數據集上約10 h16 min，單張測試時間平均約0.053 s。數據增強算法由Matlab2016a實現。

3.5 實驗結果及分析

為檢驗本文方法的性能，選擇與本文應用在同一數據集BreaKHis[5]上的方法進行對比，實驗結果見表2。該表選用對應文獻中的最優結果，分別從圖像級別和患者級別兩個方面進行了對比。表中，AlexNet是Spanhol等人在文獻[10]中采用的網絡模型，結果為采用不同融合策略后的最優分類結果；PFTAS+QDA/SVM/RF是文獻[5]中采用的方法，先用PFTAS（Parameter-Free Threshold Adjacency Statistics）方法進行特征提取，然后分別使用三種機器學習方法QDA（Quadratic Discriminant Analysis）、SVM 和 RF（Random Forests）進行分類；Single-Task CNN是文獻[11]中采用的基于放大倍數獨立的CNN算法。由表2可知：無論在圖像級別還是患者級別，本文方法的識別率均高于其他方法的識別率，并且，在不同放大倍數的圖像上，分類結果幾乎相同，約91%。表明本文方法能夠提取更具區分性的特征，因而識別率更高，且具有較好的魯棒性和泛化性。

表2 不同放大倍數下患者級別和圖像級別的識別率與其他方法的對比結果%

在增強前和增強后的數據集上分別進行隨機初始化訓練和遷移——微調訓練，實驗結果如圖2所示，從圖像級別和患者級別兩個方面進行了對比。圖2結果顯示：圖像級別和患者級別的結果差異甚微；數據增強后，無論是在隨機初始化訓練時還是遷移——微調訓練時，識別率均得到了大幅提升（見圖2中藍色和紅色曲線），證實了數據增強方法的有效性；采用遷移學習后，無論在元數據上還是增強后的數據上，識別率也均得到了提升（見圖2中藍色和綠色曲線），證實了遷移學習的有效性。表明本文方法有效避免了由于訓練樣本集不足而導致的過擬合問題，模型在ImageNet上預訓練時學到了一些特征，而這些特征有助于BreaKHis上圖像的分類，因而具有更高的識別率。

圖2 數據增強前和增強后分別采用兩種訓練策略的分類結果

4 結束語

本文研究了利用深度學習方法實現乳腺癌病理圖像的自動分類。采用的深度卷積神經網絡模型具有更深、更復雜的結構，而參數更少，準確率更高，避免了人工提取特征的復雜性和局限性。采用的數據增強和遷移學習方法有效避免了深度學習算法在樣本量不足時易出現的過擬合問題，實驗證明本文方法提高了識別率，具有較好的魯棒性和泛化性，在一定程度上滿足了更高要求的臨床需求。

[1]Stewart B，Wild C P.World cancer report 2014[M]//International Agency for Research on Cancer.[S.l.]：World Health Organization，2014.

[2]Kowal M，Filipczuk P，Obuchowicz A，et al.Computer-aided diagnosis of breast cancer based on fine needle biopsy microscopic images[J].Computers in Biology and Medicine，2013，43（10）：1563-1572.

[3]Zhang Y，Zhang B，Coenen F，et al.One-class kernel subspace ensemble for medical image classification[J].EURASIP Journal on Advances in Signal Processing，2014，（1）：17.

[4]Wang P，Hu X，Li Y，et al.Automatic cell nuclei segmentation and classification of breast cancer histopathology images[J].Signal Processing，2016，122：1-13.

[5]Spanhol F A，Oliveira L S，Petitjean C，et al.A dataset for breast cancer histopathological image classification[J].IEEE Transactions on Biomedical Engineering，2016，63（7）：1455-1462.

[6]LeCun Y，Bengio Y，Hinton G.Deep learning[J].Nature，2015，521（7553）：436-444.

[7]He K，Zhang X，Ren S，et al.Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2016：770-778.

[8]Chen H，Dou Q，Wang X，et al.Mitosis detection in breast cancer histology images via deep cascaded networks[C]//ProceedingsoftheThirtieth AAAIConference on Artificial Intelligence，2016：1160-1166.

[9]Wang D，Khosla A，Gargeya R，et al.Deep learning for identifying metastatic breast cancer[J].arXiv preprint arXiv：1606.05718，2016.

[10]Spanhol F A，Oliveira L S，Petitjean C，et al.Breast cancer histopathological image classification using ConvolutionalNeuralNetworks[C]//2016 InternationalJoint Conference on Neural Networks（IJCNN），2016：2560-2567.

[11]Bayramoglu N，Kannala J，Heikkil? J.Deep learning for magnification independent breast cancer histopathology image classification[C]//International Conference on Pattern Recognition（ICPR），2016：2441-2446.

[12]Shen D，Wu G，Suk H I.Deep learning in medical image analysis[J].Annual Review of Biomedical Engineering，2017，19（1）.

[13]Bengio Y，Delalleau O.On the expressive power of deep architectures[C]//InternationalConference on Algorithmic Learning Theory.Berlin Heidelberg：Springer，2011：18-36.

[14]LeCun Y，Bottou L，Bengio Y，et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE，1998，86（11）：2278-2324.

[15]Krizhevsky A，Sutskever I，Hinton G E.Imagenet classification with deep convolutional neural networks[C]//Advances in Neural Information Processing Systems，2012：1097-1105.

[16]Simonyan K，Zisserman A.Very deep convolutional networks for large-scale image recognition[J].arXiv preprint arXiv：1409.1556，2014.

[17]Szegedy C，Liu W，Jia Y，et al.Going deeper with convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015：1-9.

[18]Shin H C，Roth H R，Gao M，et al.Deep convolutional neural networks for computer-aided detection：CNN architectures，dataset characteristics and transfer learning[J].IEEE Transactions on Medical Imaging，2016，35（5）：1285-1298.

[19]Jia Y，Shelhamer E，Donahue J，et al.Caffe：Convolutional architecture for fast feature embedding[C]//Proceedings of the 22nd ACM International Conference on Multimedia，2014：675-678.