基于深度學習的乳腺癌病理圖像分類研究綜述

李 華，楊嘉能 ，劉 鳳，南方哲，錢育蓉

1.新疆大學 軟件學院，烏魯木齊 830046

2.新疆維吾爾自治區信號檢測與處理重點實驗室，烏魯木齊 830046

1 引言

據世界衛生組織（WHO）下屬的國際癌癥研究中心（IARC）的統計，2012年死于癌癥的人數有820萬人，預計2030 年因癌癥死亡的人數將達到2 700 萬人[1]，其中乳腺癌是女性中最常見的癌癥。乳腺癌疾病的檢測和診斷可以通過成像系統程序，如乳腺X線、磁共振圖像、超聲圖像和熱圖[2]。癌癥篩查的影像學研究已有40 多年歷史[3]，然而，臨床上，基于病理圖像的活檢無疑是檢測乳腺疾病的金標準[4]，也是對病理圖像進行準確分類時醫生制訂最佳治療方案的重要依據。

目前針對乳腺癌病理圖像的分類研究主要分為兩類：基于人工特征的傳統的乳腺癌病理圖像分類方法；基于深度學習的乳腺癌病理圖像分類方法?；谌斯ぬ卣鞯膫鹘y的乳腺癌病理圖像分類方法采用人工提取特征，基于這些特征使用支持向量機[5]、隨機森林[6]等分類器完成分類。該方法存在高要求的專業知識、提取特征耗費時間和提取高質量特征難等缺點。相對于傳統分類方法，基于深度學習[7]（Deep Learning，DL）的乳腺癌病理圖像分類方法，利用網絡自主學習相應的特征，克服了需要專業人士手工提取特征的缺點，同時節省了人工提取特征的時間。本文將主要介紹基于深度學習的乳腺癌病理圖像分類的研究。

當下，基于深度學習的乳腺病理分類方法主要采用的深度學習模型[8-11]有卷積神經網絡、自動編碼器、深度殘差網絡和密集連接網絡。這些方法利用深度學習模型自學習的特點，自動提取乳腺癌病理圖像的特征，實現乳腺癌病理圖像的分類。一方面，其方法避免了傳統算法中人工設計、提取特征的復雜性和局限性；另一方面，深度學習在自然語言處理、普通圖像分類識別、物體識別等領域獲得了廣泛應用[12-15]，為深度學習在乳腺癌病理圖像分類中的應用奠定基礎[16-17]。

本文針對目前主流的基于深度學習的乳腺癌病理圖像分類模型進行了歸納總結。第一部分對乳腺癌病理圖像分類進行簡要介紹，第二部分和第三部分對基于深度學習的乳腺癌病理圖像分類的相關模型進行詳細論述，第四部分介紹相關數據集，根據常用的模型評價標準，在相同的數據集上對四種深度學習模型進行實驗對比分析，第五部分，對乳腺癌病理圖像分類的未來發展趨勢進行了展望。

2 乳腺癌病理圖像分類

2.1 乳腺癌病理圖像分類方法概述

醫學影像不同的成像方式[18]包括X 射線、組織活檢、計算機斷層掃描（CT）、磁性、共振成像（MRI）、正電子發射斷層掃描（PET），超聲等。其中，利用組織活檢技術對乳腺進行穿刺得到乳腺癌病理圖像。

乳腺癌病理圖像分類任務[19]主要是利用良性病變和惡性病變不同的紋理特征、幾何特征、形態特征、光密度特征進行分析，來選擇特征參數，通過反演推測不同類型的特征，實現分類的效果。圖1是基于乳腺癌病理圖像分類系統框架。主要研究內容包括四部分：圖像預處理、圖像特征提取、分類決策和診斷結果。

圖1 乳腺癌病理圖像分類系統框架

傳統的乳腺病理圖像分類方法常采用圖像分割技術，如基于細胞核的分割方法，以及很多常用的圖像分析算法，如分水嶺算法、活動輪廓、水平集算法、K-means聚類算法以及區域生長等。通過對細胞核相關特征及核間組織形態進行分析，提取圖像的形態和紋理等相關特征，使用傳統的分類器，如支持向量機（Support Vector Machine，SVM）或基于特定問題設計的分類器對圖像進行分類。在特征提取部分，常采用通用特征描述符，如尺度不變性特征變換（Scale Invariant Feature Transform，SIFT）、灰度共生矩陣（Gray-Level Co-occurrence Matrix，GLCM）和梯度方向直方圖（Histogram of Oriented Gradients，HOG）等。

基于傳統方法的乳腺病理圖像分類效果的局限性在于人工設計提取的特征通常針對某種特定特性的病變類型具有良好的適應性，難以有效蘊含變化多樣的病變特征，在實際應用中，分類模型的泛化能力差。

相比于傳統的乳腺病理圖像分類方法，基于深度學習的乳腺病理圖像分類方法可以學習更具泛化性的特征表示，以適應在實際診療場景中，對變化多樣的乳腺病理圖像進行檢測。

2.2 乳腺癌病理圖像分類存在的問題

不同于普通圖像，乳腺癌病理圖像獲取困難，圖像信息含量大，病變類型多種多樣，乳腺癌病理圖像分類是一項非常有挑戰性的工作，已成為當前研究的重點，主要包括以下四種：

一是由于病理圖像自身固有的復雜性和多樣性的特點。醫學圖像之間細微的差異性、細胞重疊現象、顏色分布不均勻等，給圖像分類工作帶來了很大的困難。主要表現在醫學的相關病理特征成因復雜，圖像方面的隨機噪音很大以及圖像斷層之間的重疊，使得顯微檢查成為一項勞動密集型的繁瑣任務，成本高，耗時久且易出現誤診問題。

二是由于缺乏大型公開的、已標記的數據集。醫學圖像涉及倫理，導致公用醫學圖像獲取困難，然而利用深度學習訓練模型一般需要的數據量較多，給算法研究帶來一定的困難。

三是由于目前缺乏專業的病理醫師。病理學家的診斷結果直接影響著后續的治療方案，權威的病理學家需經過高度專業的訓練以及豐富的閱片經驗，而這些經驗和專業難以繼承和創新。

四是由于不同病理學家評判標準的主觀性。病理切片中病理和細胞學特征評判標準的主觀性和個人經驗差別使得不同病理學家之間的平均診斷一致性只有大約75%。

圖2 卷機神經網絡概念結構圖

針對上述問題，一方面，基于深度學習的方法不同于傳統方法，不需要人工提取特征，降低了對專業病理醫生的需求，可以利用網絡不斷學習圖像特征，對變化多樣的乳腺病理圖像進行檢測，這在一定程度上解決了病理圖像自身固有的復雜性和多樣性、缺乏專業的病理醫師以及不同病理學家評判標準的主觀性等問題；另一方面，面對大型公開的、已標記的數據集缺乏的問題，會給深度學習方法訓練優化模型帶來困難，雖然難以直接解決，但是可以利用無監督或半監督學習、數據增強以及遷移學習等方法，緩解醫學數據缺乏帶來的問題?？偟膩碚f，深度學習方法比傳統方法更具優勢，因此近年來被越來越多的研究者所采納。

3 深度學習模型

深度神經網絡的很多結構模型都被應用在醫學影像中，其中對于乳腺癌病理圖像分類模型應用廣泛的包括卷積神經網絡（Convolutional Neural Networks，CNN）、自動編碼器（AutoEncoder，AE）、深度殘差網絡（Residual Neural Network，ResNet）和密集連接網絡（Dense Convolutional Network，DenseNet）。下文就對這些模型的原理和框架進行簡單介紹。

3.1 卷積神經網絡

CNN在大規模圖像特征表示和分類中取得了很大的成功，是神經網絡中一個非常經典的模型[20-21]。在CNN[22-24]中，主要包括三種網絡層：卷積層（Convolutions）、采樣層（Sub Sampling）和全連接層（Fully Connected）。其典型的網絡結構圖如圖2所示。

CNN的關鍵思想在于多層堆疊、局部連接、權值共享和池化。CNN 中的層與層之間不再是全連接的，而是局部連接的，這樣可以大大簡化模型的復雜度，減少參數的數量。CNN 能夠自學習圖像特征，無需專業病理醫師進行人工操作復雜的特征提取，更適合應用于乳腺病理圖像特征的學習與表達，目前CNN 已成為乳腺癌病理圖像研究中深度學習算法的關鍵，且適用于多種醫學問題[4]，例如醫學圖像識別、醫學分割等方面。

3.2 深度殘差網絡

ResNet[25]結構可以極快的加速神經網絡的訓練，模型的準確率也有比較大的提升，同時參數量比VGGNet[26]低。理論上在特征提取時增加網絡的深度或者寬度，提取到的細節與抽象能力就越豐富，然而僅僅進行簡單的層數增加操作，會出現梯度爆炸或梯度彌散的問題，傳統解決方法如數據初始化（normlized initializatiton）和正則化（batch normlization）[27]操作，雖然解決了梯度問題，但是會導致網絡性能退化。殘差網絡則克服了神經網絡深度增加導致性能易退化的缺點，其主要思想是與Highway Network的思想類似，允許原始輸入信息直接傳輸到后面一層，其結構如圖3所示。

圖3 殘差網絡結構圖

ResNet 采用跳躍連接方式，能提取多層特征信息，適用于乳腺病理圖像復雜性高、顏色分布不均勻、不易提取等問題且殘差網絡已經被廣泛應用到計算機視覺[28]、圖像識別[29]、行人檢測[30]等相關領域的模型中。

3.3 密集連接網絡

ResNet 模型的核心是通過建立前面層與后面層之間的“短路連接”（shortcuts，skip connection），這有助于訓練過程中梯度的反向傳播，從而能訓練出更深的CNN網絡。DenseNet 模型的基本思路與ResNet 一致，但是它建立的是前面所有層與后面層的密集連接[31]（dense connection）。DenseNet 的另一大特色是通過特征在channel上的連接來實現特征重用（feature reuse）。這些特點讓DenseNet在參數和計算成本更少的情形下實現比ResNet更優的性能。

相比ResNet，DenseNet是一種密集連接且DenseNet是直接連接來自不同層的特征圖，這可以充分結合病理圖像上下文信息，易于復雜的乳腺病理圖像分類，能夠實現特征重用，提升模型效率，其結構圖如圖1 所示。DenseNet 在語義切割[32]、語音識別[33]和圖像分類[34]等領域都得到了廣泛的應用。

圖4 DenseNet結構圖

3.4 自動編碼器

自動編碼器是人工神經網絡（Artificial Neural Network，ANN）的一種形式[35]，用于無監督學習模型。AE 能夠從圖像數據中學習生成的表示，通過減少隱層的維數空間來構造輸出層上的輸入。自動編碼器被廣泛應用于乳腺圖像分析中的檢測任務，尤其是公開、已標記的醫學數據集缺乏，利用無監督學習的自動編碼器，適用于對缺乏的乳腺病理圖像進行處理。其網絡結構圖如圖5所示。

圖5 自動編碼器網絡結構圖

自編碼技術，包括稀疏自編碼（Spase AutoEncoder，SpaseAE）、棧式自編碼器（Stack AutoEncoder，SAE）、變分自編碼（Vector AutoEncoder，VAE）、堆疊去噪自動編碼器（Stacking Denoising AutoEncoder，SDAE）等。其中，SAE[36]常用于醫學圖像分析，是一個由多層訓練好的自編碼器組成的神經網絡。由于網絡中的每一層都是單獨訓練而來，相當于都初始化了一個合理的數值，使網絡更容易訓練且具有更快的收斂性及更高的準確度。

4 基于深度學習的乳腺癌病理分類方法

4.1 基于卷積神經網絡的方法

基于卷積神經網絡的分類方法，其核心思想是利用卷積神經網絡的機制，利用端到端的學習方法，輸入醫學圖像，從醫學圖像底層數據中學習醫學數據的特征信息，如良性病變和惡性病變不同的紋理特征、幾何特征、形態特征、光密度特征，并利用損失函數不斷對學習到的特性進行改進，從而使網絡模型具有更好的分類效果。

Spanhol[37]等人分別測試了 LeNet[38]和 AlexNet[39]模型，將乳腺癌腫瘤分為良、惡性兩種，準確率分別為72%和80.8%～85.6%。由此可得LeNet 模型結構比AlexNet簡單，造成提取信息不足，導致準確率偏低。沿著改進CNN網絡層數，提高分類精度的思想，Vang等人[40]提出了基于InceptionV3 模型的乳腺病理圖像分類方法，其主要思想是加深網絡模型的層數，通過包含多數投票、梯度提升機（GBM）和Logistic 回歸的集成融合框架來進行補丁級預測，以獲得圖像水平預測。

雖然，在基于卷積神經網絡的方法中利用增加卷積神經網絡的層數以及優化各層參數，可以有效克服網絡結構簡單，圖像特征提取能力弱的缺陷，極大程度上緩解了提取乳腺癌病理圖像本身的復雜性，圖像細節特征繁雜的問題，使模型達到良好的分類效果，但是隨之會增加模型的訓練時間以及可能會產生網絡訓練時的梯度消失和梯度爆炸現象。

4.2 基于深度殘差網絡的方法

理論上，對卷積神經網絡不斷加深網絡層數，可以提高特征提取能力，實現較高的分類效果，但是實際上會出現梯度消失和梯度爆炸問題，導致參數易陷入局部最小的情況。深度殘差網絡使用捷徑連接（shortcut connection）沒有增加新的參數，其計算復雜度與沒有殘差單元的普通深度卷積神經網絡基本一致，可以保持較快的計算速度，提高模型的性能。

Koné 等人[41]利用 Resnet50 模型對乳腺癌病理圖像分類，取得81%的4 分類精度；Mahbod 等人[42]提出了一種新的基于ResNet 模型的方法，采用歸一化蘇木精-伊紅染色圖像作為輸入，通過兩個不同的ResNet的組合，先對ImageNet 圖像進行了預訓練，然后對乳腺病理圖像進行微調，最后，利用模型最后全連接層的輸出，給出最終四類疾病的預測結果。Brancati等人[43]提出了一種基 于 ResNet 的 微 調 策 略 ，將 ResNet34、ResNet50 和ResNet101三種組合在一起，利于平衡單個ResNet模型的提取特征單一弱點，取得了較好的分類效果。

基于深度殘差網絡的方法，利用殘差結構的多層特征融合，更好地獲取乳腺癌病理圖像的高頻細節信息且網絡調整靈活、簡單，簡化學習目標和難度并在一定程度上解決了梯度消失或者梯度爆炸，導致網絡層數過深無法訓練的問題。

4.3 基于密集連接網絡的方法

ResNet的提出，雖然解決了網絡加深帶來的梯度消失問題，通過殘差塊可使得神經網絡的深度可以很大程度的加深，但網絡也因此而變得笨拙。而DenseNet 則是在ResNet的基礎上，保持分類精度不變的情況下，大大降低了模型參數量。DenseNet即解決了退化問題，也加強了特征在網絡中的傳遞，有效提高了模型分類效果。

Li等人[44]基于DenseNet模型的方法，提出了一種新的用于病理圖像分類的深度學習網絡DenseNet，利用對稠密塊進行無級卷積，實現多尺度特征提取，取得了93.29%的四分類精度。Makarchuk 等人[45]在利用單一DenseNet 模型的基礎上，提出的一種新的基于DenseNet169和DenseNet201兩種模型組合的分類方法，實驗證明組合后的DenseNet分類精度比單一DenseNet更勝一籌。Kohl等人[46]研究了稠密連通卷積的適用性，并用實驗對比 VGG19、Inception-v3 和 DenseNet161 三種網絡模型，先分別將三種模型利用ImageNet 圖像進行預訓練，最后對比分類精度，DenseNet161平均精度高于VGG19和Inception-v3兩個模型4%。

基于密集連接網絡的方法，通過引入Dense Block結構，將多個Dense Block串聯起來，使得網絡獲取的每層特征圖都與其他層有關，達到信息流利用最大化，充分結合圖像上下文信息，使得乳腺癌假陽性檢測比例降低，提高乳腺病理圖像特征提取能力，有效提高醫學圖像識別率。

4.4 基于自動編碼器的方法

基于監督學習的方法，如CNN、ResNet、DenseNet，雖然在醫學圖像分類方面，取得了很好的成績，但是基于監督學習的方法需要大規模的標記數據，標記的組織病理學圖像是昂貴和耗時的。如果能夠利用大量的未標記數據，則現有的基于監督的模型的性能可以得到明顯的改善。解決這個問題的一個可行的方法，是利用非監督特征學習神經網絡（如自動編碼器）從大量未標記的醫學圖像中學習有價值的信息。

文獻[47-48]中使用兩個隱藏層SSAE 以無監督的方式學習乳腺癌圖像表示，該方法在不考慮H&E 圖像顏色信息的情況下，學習灰度圖像的高級表示，然后訓練一個分類器來識別圖像。Feng 等人[49]提出的一種利用SDAE 從大量的圖像中學習健壯的特征，使用SDAE獲取組織病理學圖像的高級表示。為了提高模型的識別能力，利用高層次特征和標記信息訓練分類器，對模型進行了有監督的端到端的微調，對模型進行了優化。

基于自動編碼器的方法，適用于只有少數標記圖像和大量未標記圖像的細胞分類任務，在一定程度上解決了因公開已標記醫學數據匱乏導致基于監督學習的網絡模型訓練困難的問題，但是存在僅限于高分辨率組織病理圖像識別的限制。

4.5 基于模型融合的方法

單一的網絡模型，往往所提取的特征類別單一，不能覆蓋所有的特征信息，采用多個模型融合的方式，可以利用不同模型的特性，分階段提取圖像特征，提高模型分類效果。

Yan 等人[50]提出了利用 Inception-v3 與 LSTM 結合的混合卷積神經網絡對乳腺癌組織病理學圖像分類的方法。該方法能有效綜合卷積神經網絡和遞歸神經網絡的優點，并能結合圖片分塊間的短期和長期空間相關性。Campilho 等人[51]融合了 Resnet 與 Inception-v2模型，對乳腺癌病理圖像分類，取得四類分類任務的準確率為76%。Rakhlin等人[52]提出了一種基于深度卷積神經網絡的乳腺癌病理圖像分類計算方法，融合了ResNet50、vgg16 和 Inception_v3 三種模型的優點，取得四類分類任務的準確率為87.2%，二分類任務的準確率為93.8%。Chennamsetty等人[53]使用了一組ImageNet預先培訓的CNN 來對醫療圖像進行分類。算法由一個ResNet101 和兩個DenseNet161 組成，與來自不同數據標準化方案的圖像進行精細協調，使用預先訓練的權值初始化模型，緩解了有限數量的高質量標簽數據訓練網絡的限制。

基于模型混合的方法可以結合不同模型的優點，構建多級特征融合，將乳腺癌病理圖像中的重疊，分布不均勻等問題，利用低層的顏色、紋理等特征與高層的語義特征相結合，解決了單一模型造成的細節信息丟失的確定，提高模型的識別率且混合的模型比一般單一的模型具有更好的尺度不變性，但是存在模型設計困難和存儲開銷大，且模型的性能有待提高等問題。

綜上所述，基于深度學習的乳腺癌病理圖像分類方法通過模擬人腦抽象和迭代過程，獲得對乳腺癌病理圖像數據中良性病變和惡性病變圖像的具體可分性的表示特征。深度神經網絡可以從輸入的原始乳腺癌病理圖像中，學習到乳腺病變的低層特征：邊緣特征和紋理特征等，結合各種卷積核組合的中間層特征，獲得不斷抽象的高層語義特征?；谏疃葘W習的乳腺癌病理圖像分類方法既降低了人工提取特征的困難和負擔，又能獲得從原始輸入到高層語義的有效特征表達，提高識別效果。然而，基于深度學習的乳腺癌病理圖像分類方法也存在如下問題：首先，很多算法是通過增加網絡的深度以及網絡的復雜度，提高神經網絡的非線性表達能力，但這種方式也增加了神經網絡的參數，同時目前可用的有標注的乳腺癌病理圖像數據量十分有限，復雜的網絡模型在訓練時也會難以優化。其次，通過設計復雜的網絡監督學習過程，使其更好地擬合多樣化的乳腺病變特性，從而獲得更具備泛化能力的特征表達形式。然而，這種改進方式同時也增加了對神經網絡的訓練難度，不適當的任務學習分配也會使得訓練模型難以收斂。

如表1 為本文對基于深度學習的乳腺病理圖像分類方法的總結。從目前已發表的相關文獻可知，基于卷積神經網絡的分類方法是最先用于分析乳腺癌病理圖像中識別問題的深度學習方法，也是目前研究最為廣泛的深度學習識別方法。相較于其他方法，基于卷積神經網絡的分類方法可以更快速地提取特征，具有強大的特征表示能力。但基于卷積神經網絡的分類方法缺少全局上下文信息，使得圖像病變內的一些細節信息在網絡前向傳播過程中丟失，假陽性檢測率高。此外，基于卷積神經網絡的分類方法在運算速度上也稍有遜色。因此，針對基于卷積神經網絡的分類方法的缺陷，后續研究者提出采用基于深度殘差網絡和基于密集連接網絡的方法，可以更好地解決基于卷積神經網絡分類方法中的問題，有效解決了梯度消失和梯度爆炸問題，并能捕捉網絡中多層特征信息，彌補檢測速度慢等問題，實現更快速的特征提取。但是基于深度殘差網絡和基于密集連接網絡存在不善于探索新的醫學特征、網絡結構設計、模型訓練以及目標函數優化困難等問題，可以嘗試添加注意力模塊探索新的醫學特征，以及采用遷移學習方法，降低模型訓練難度。基于自編碼的分類方法優點在于不需要具有精準的標注信息，可以有效減少醫學標注數據少以及標注不準確的問題，其難度在于如何設計有效的網絡結構，如何有效地優化目標函數以及如何高效地訓練模型。后續研究可探究優化模型方面以及考慮對缺乏的醫學數據進行數據增強、數據遷移等方法，采用有監督的神經網絡進行醫學分類任務。基于模型融合的分類方法，也存在存儲開銷大和模型設計困難等問題，后續研究可考慮結合多個GPU 以及探究優化模型方面，這也是目前研究的熱點，能結合不同模型的優點，彌補單一方法自身的局限性，達到更優的分類效果。

5 數據集及性能比較

本章首先對乳腺癌病理圖像相關數據集以及分類模型的評價指標進行簡要介紹，然后再對近幾年基于深度學習的乳腺癌病理圖像分類的相關模型進行對比和分析。

5.1 乳腺癌病理圖像相關數據集

數據集在醫學圖像分類領域的研究中占據了重要的位置，它是衡量和比較分類算法性能的共同基礎，也是推動該領域向更復雜更具有挑戰性方向發展的主要力量。表2 中總結了近幾年醫學挑戰中提出的乳腺癌病理圖像公開數據集，雖然解決了早期數據集極度匱乏的問題，但若應用在深度學習的方法中，數據量依然欠缺，乳腺癌病理圖像的采集問題仍是重點問題。

表1 基于深度學習的乳腺病理圖像分類方法總結

表2 常見乳腺癌病理數據集

針對這一問題，解決方法一般采用數據增強[54]（Data Augmentation），創建新的數據添加到原本的訓練集中。通常采用八種常用的數據增強方法[55-58]，分別是旋轉變換、翻轉變換、平移變換、對比度變換、噪聲擾動、顏色增強、亮度增強、顏色擾動，實現效果如圖6所示。

5.2 評價標準

采用準確率（Accuracy）、F1度量（F1-score）、精確性（Precision）、召回率（Recall）、靈敏度（Sensitivity）、特異性（Specificity）等不同的關鍵性能指標[68-70]對典型的醫學圖像分析系統進行了評價。

其中，真陽性（True Positive，TP）表示被正確識別為缺陷的病例數，假陽性（False Positive，FP）表示被錯誤識別為缺陷的病例數，真陰性（True Nagative，TN）表示被正確識別為無缺陷的病例數，假陰性（False Nagative，FN）表示被錯誤識別為無缺陷的病例數。

5.3 實驗結果與分析

本節在BACH數據集和BCC數據集上對基于卷積神經網絡、深度殘差網絡、密集連接網絡、自動編碼以及模型融合的乳腺癌病理圖像分類方法的性能展開比較和分析，列舉了近幾年具有代表性的乳腺癌病理圖像分類文獻方法性能的實驗結果以及選取了BACH數據集，訓練集包括400張圖片，測試集包括100張圖片，分別對AlexNet、ResNet50、DenseNet121 以及 SDAE 四種模型進行實驗對比和數據分析。

基于卷積神經網絡的分類方法，分析了Vang等人[40]提出的基于InceptionV3 模型的乳腺病理圖像分類方法。該方法不同于Spanhol 等人[37]提出的基于LeNet 和AlexNet 構建的網絡結構簡單，模型深度較淺的分類模型，其引入Inception結構代替單一的卷積加激活的傳統操作技術，利用1×1 卷積核進行降維，解決模型計算量大的問題，網絡層數比AlexNet 深很多，但參數卻只是AlexNet的1/12倍。

基于深度殘差網絡的分類方法，分析了Brancati 等人[43]提出的一種將 ResNet34、ResNet50 和 ResNet101 三種組合在一起的分類方法，選取了具有少量參數且復雜性較低的ResNet，利用ImageNet 預先訓練的權重初始化模型，減輕網絡訓練的問題，同時選取34、50和101不同的網絡深度，融合不同層獲得的特征圖，很好的提高了模型的特征提取能力。

基于密集連接網絡的分類方法，分析了Kohl 等人[46]提出的基于DenseNet161 的分類方法，與Brancati等人[43]提出的方法類似，為了減輕模型訓練負擔，先利用ImageNet 預先訓練的權重初始化模型，然后對數據集中400張圖像進行下采樣固定網絡輸入尺寸，利用DenseNet塊加強特征的傳播且減少模型參數，在減少模型復雜度的同時提高分類精度。

基于自動編碼器的分類方法，分析了Feng 等人[49]，提出的一種利用SDAE 從大量的圖像中學習健壯的特征，利用SDAE自學習的特點，彌補數據集不足的問題，但是對于訓練集中從未出現的編碼，在解碼時可能會看作噪聲或亂碼。

最后對于基于模型融合的方法，分析了Rakhlin 等人[52]提出的融合ResNet50、vgg16和Inception_v3三種模型的分類方法，以及Chennamsetty等人[53]提出的融合一個ResNet101 和兩個DenseNet161 的分類方法，這兩種方法思路相通，利用不同模型的特性，獲取圖像抽象的細節信息，提高模型的識別率。

圖6 不同數據增強方法展示圖

通過表3中準確率，輸入尺寸和顏色歸一化的數據可以看出，乳腺癌病理圖像診斷結果與模型輸入尺寸選取的大小、選取策略以及是否先對圖像采用顏色歸一化技術有很密切的關系?？傮w看來，基于模型融合的乳腺癌病理圖像分類方法的識別率較高于其他方法，具有較好的特征提取效果，在一定程度上可以為病理學醫生提供更具準確性的參考意見。

圖7為四種模型混淆矩陣的結果展示圖，可視化的展示了四種模型在BACH 數據集上的分類效果，其中N、B、In、in 分別代表Normal、Benign、Insitu、Invasive 四個類別。圖 A、B、C、D 分別對應 AlexNet、ResNet50、DenseNet121以及SDAE模型對四種乳腺癌類別分類的混淆矩陣圖，可以看出，圖A、B、C、D 有同樣的問題，Normal 和Benign 類別的分類準確率普遍低于Insitu 和Invasive類別，且Normal與Benign互錯分為對方類別的概率較大。可能造成這種現象的原因是Normal 和Benign的子類不僅多種多樣，而且與患者的年齡密切相關。因此，在數據集數目有限的情況下臨床圖像很難涵蓋Normal 和Benign 病理圖像的足夠特征。因此，最終的分類結果相對較低。

6 總結與展望

基于深度學習的乳腺癌病理圖像分類是計算機領域和醫學領域共同的研究重點，具有重要的理論研究意義和良好的應用前景。本文對近幾年提出的基于深度學習的乳腺癌病理圖像分類方法進行歸納和總結：

（1）早期基于傳統方法的乳腺癌病理圖像分類方法的不足，一方面，由于多利用提取圖像的低層特征，難以完成對比度較低的，復雜情況的圖像分類，并且傳統人工設計的乳腺癌特征表示方法的局限性在于識別算法的魯棒性不強，識別模型的泛化能力較差，往往只適用具有某一種或幾種顯著性特征的識別，難以涵蓋變化多樣的乳腺癌特征；另一方面，采用傳統人工提取特征，由于醫生的個人因素可能會帶來誤診情況。

（2）隨著深度學習網絡在計算機視覺處理中取得的巨大成功，深度學習網絡也備受醫學界的青睞，并在醫學圖像分析的多個領域取得了重大進展。深度學習方法與傳統方法相比具有十分明顯的優勢，深度網絡利用了多層次結構，自動地從數據中學習并更新網絡中數量龐大的神經元參數，使其具有強大的學習能力和特征表現能力。大多數的深度模型算法可以實現端到端的訓練方式，使整個檢測模型的訓練和測試變得十分方便。目前在使用深度學習模型處理乳腺病理圖像分類的方法上存在相似性，大多采用CNN、ResNet、DenseNet 和AE及幾種模型融合的方式來進行圖像分類。

表3 乳腺病理數據集上乳腺癌圖像典型分類方法的性能對比

圖7 四種模型的混淆矩陣效果圖

深度學習在醫學圖像研究中已經取得了不錯的效果，乳腺癌病理圖像分類準確率也在不斷提高，但距離實際臨床應用還存在一定的差距。今后的研究工作可以從以下幾方面展開：

（1）提高乳腺癌病理數據可用性

盡管深度學習方法能夠提供更好或更高的學習效果，但深度學習技術仍存在一定的局限性，限制了其在臨床領域的應用。深度學習體系結構需要大量的訓練數據和計算能力。缺乏計算能力將導致需要更多的時間來訓練網絡，這將取決于使用的訓練數據的大小。大多數深度學習模型，如卷積神經網絡，都需要有標簽的數據來進行監督學習，而醫學圖像的人工標記是一個困難的問題。

（2）降低標簽注解的主觀性

病理切片中病理和細胞學特征評判標準的主觀性和個人經驗差別使得不同病理學家之間的平均診斷一致性只有大約75%，如果可能的話，注釋應該由不同的病理病理家提供，以適應主觀性的變化。

（3）提高深度學習模型的可解釋性

深度學習方法無論從分類效果和實際應用價值都有著無可比擬的優越性，但深度學習也常被稱為“黑盒”，特別是在醫學領域，與手工制作的特性不同，它提供了更直觀、更適合臨床醫生和研究人員的透明信息。深度學習驅動的特征依賴于從大量培訓數據中提取的過濾器響應，這些數據缺乏可解釋性。僅僅有一個良好的分類系統是不夠的，還需要利用科學的方法對模型進行合理的解釋與分析。

（4）引入圖像全局有效的上下文信息

目前，在乳腺病理圖像分類的研究中，采用常規的基于 CNN、ResNet、DenseNet 和 AE 方法不能有效的捕獲圖像的上下文信息，對于提升乳腺病理圖像識別精度存在困難。有效地引入圖像的全局信息，也可以提升圖像的分類精度。可嘗試結合傳統的計算機視覺方法捕獲圖像的上下文信息，也可結合反卷積操作以及LSTM對圖像的上下文信息實現擴充。

（5）設計乳腺癌病理圖像與乳腺X線圖像協同合作的模型

應該設計新的結合乳腺X線和病理測量的算法，在活檢獲取病理圖像之前，獲取到乳腺X 線圖像，以及兩種類型的一一對應關系，以便挖掘放射學和病理圖像之間的語義相互關系。

（6）將生成式對抗網絡引入醫學圖像，以期望豐富醫學圖像數據

圖像分析研究人員面臨的主要挑戰是如何訪問相關的圖像和數據庫，為了解決乳腺癌病理圖像數據缺乏的問題，不僅可借助遷移學習、數據增強等方法，還可以考慮利用生成式對抗網絡，豐富醫學圖像數據。