基于深度卷積網絡和結合策略的乳腺組織病理圖像細胞核異型性自動評分

周 超 徐 軍* 羅 波

1(南京信息工程大學江蘇省大數據分析技術重點實驗室，南京 210044)2(華中科技大學附屬武漢市中心醫院病理科，武漢 430014)

基于深度卷積網絡和結合策略的乳腺組織病理圖像細胞核異型性自動評分

周 超1徐 軍1*羅 波2

1(南京信息工程大學江蘇省大數據分析技術重點實驗室，南京 210044)2(華中科技大學附屬武漢市中心醫院病理科，武漢 430014)

細胞核異型性是評估乳腺癌惡性程度的一個重要指標，主要體現在細胞核的形狀、大小變化、紋理和質密度不均化。提出基于深度學習和結合策略模型的乳腺組織細胞核異型性自動評分模型。該模型使用3個卷積神經網絡，分別處理每個病例的3種不同分辨率下的組織病理圖像，每個網絡結合滑動窗口和絕對多數投票法，評估每個病例同一種分辨率下的圖像的分值，得到3種分辨率下的評分結果。使用相對多數投票法，綜合評估每個病例的最終細胞核異型性評分結果。為評估模型對細胞核異型性評分的有效性，利用訓練好的模型對124個病例的測試圖像進行自動評分，并把其評分結果與病理醫生的評分結果作比較，進行性能評估。該模型的評分正確率得分為67分，其結果在現有的細胞核異型性評分模型中準確率排名第二。此外，該模型的計算效率也很高，平均在每張×10、×20、×40分辨率下圖像的計算時間分別約為1.2、5.5、30 s。研究表明，該細胞核異型性評分模型不僅具有較高的準確性，而且計算效率高，因此具備潛在的臨床應用能力。

細胞核異型性；深度卷積網絡；絕對多數投票法；相對多數投票法

引言

美國癌癥協會(ACS)2016年發布的數據顯示，乳腺癌、肺癌和結直腸癌依次居全球女性惡性腫瘤發病率前三位，占所有新發病例的一半，乳腺癌獨占29%[1]。目前，我國乳腺癌發病率位居女性惡性腫瘤之首，但相比肺癌、胃癌和肝癌，其預后效果最好[2]。乳腺癌早診斷、早治療，其5年無病生存率可達90%以上。組織病理學分析作為乳腺癌診斷的“金標準”，可評估乳腺癌的惡性程度，從而指導臨床醫生制訂治療方案[3]。

蘇木素- 伊紅染色(H&E)是臨床組織病理分析中應用最為廣泛的一種染色方式，H&E圖像可用于組織學分級，評估乳腺癌的分化程度，進而評估其惡性程度[4]。病理醫生通常是通過研究和統計視角下細胞的形態和分布，進行人工評分。由于組織病理圖像具有高度復雜性，因此人工分析具有較大的難度。文獻[5]中的研究表明，由于人工分析方法具有很強的主觀性，不同的病理醫生在相同的客觀條件下在人工評分上具有較大的不一致性。人工分析除了容易受主觀和環境因素的影響之外，其過程也是十分耗時費力的，人力代價很高，而計算機輔助診斷技術可以彌補人工分析的缺陷。圖1(a)～(c)分別為乳腺組織病理圖像中低、中、高3種等級的細胞異型性組織病理圖像。這三幅圖像內容無序，目標眾多，背景復雜，因此對于圖像處理算法來說具有較大的難度，如果運用傳統的計算機分析算法很難自動地區分3種類型的圖像。

圖1 具有不同細胞核異型性等級的乳腺組織病理圖像。(a)～(c) 細胞核異型性等級為1～3的組織病理圖像塊Fig.1 Pathological nuclear atypia images of different scores. (a)～ (c) Nuclear atypia score values 1～ 3

根據國際衛生組織發布的診治指南，乳腺癌惡性程度的診斷采用最廣泛的是諾丁漢分級系統(NGS)[6]。這套系統主要是依據乳腺組織病理圖像的3個指標：乳腺導管(腺管)的形成程度、有絲分裂數、細胞核異型性。腺管的形成程度是評估腫瘤形成腺管結構的百分比，所占比例越大，乳腺癌等級越低；有絲分裂相記數評估在顯微鏡400倍放大倍數下核分裂像計數，數量越多，乳腺癌等級越高；細胞核異型性評估腫瘤細胞核與正常乳腺上皮細胞核的差異性，差異越大，乳腺癌等級越高。每一項指標惡性程度由低到高的分值范圍是1～3 分，因此每個患者3個指標綜合起來的分值范圍是3～9。 患者的評分分值越接近1，表明癌癥的惡性程度越低，因此患者的治療和預后的效果越好；相反，惡性程度越高，治療和預后的效果也越差。因此，精確地確定NGS系統的3個指標分值，在臨床中至關重要。近些年來，隨著組織切片數字掃描技術的快速發展[7]，以及計算機處理高分辨率組織病理圖像的能力的增強[8]，計算機輔助分析組織病理片切片領域的研究非常活躍。針對乳腺癌諾丁漢分級系統3個指標的計算機輔助自動評分，2012和2014年的國際模式識別大會(International Conference on Pattern Recognition，ICPR)[9]，以及2013 年的國際醫學圖像處理與計算機輔助干預(the International Conference on Medical Image Computing and Computer Assisted Intervention，MICCAI)國際大會[10]發布了針對第二個指標(有絲分裂次數)的競賽[11]。在MICCAI 2013 的競賽中，基于深度卷積網絡的方法[12]獲得了競賽的第一名。2014年，ICPR大會繼續發布了以組織病理圖像自動分類為基礎的細胞核異型性(諾丁漢分級系統的第三個指標)自動評分的競賽，內容為乳腺組織病理圖像中細胞核異型性的定量評估。細胞核異型性作為乳腺癌分級的三大指標之一，一直就受到研究人員的高度重視。文獻[13]詳細地描述了細胞核異型性的評定標準。細胞核異型性的評分標準為：

1)1分。如圖1(a)所示，細胞核較小，與正常細胞核相比，在尺寸上有略微增大，有正常的輪廓，細胞核染色質分布均勻。

2)2分。如圖1(b)所示，與正常細胞核相比尺寸要大，可見泡狀核，核仁清晰，大小及形態較一致。

3)3分。如圖1(c) 所示，細胞核多形性程度增加，細胞核明顯增大，核仁清楚，且可見奇異細胞核。

近年來，由于計算機視覺和機器學習等領域研究的快速發展，推動了組織病理圖像的分析領域研究的發展。許多高性能的計算機視覺算法被應用于處理病理圖像，并取得了不錯的效果。在文獻[14]中，Adnan等使用了區域協方差描述子來實現對細胞核異型性的圖像評分。近幾年，深度學習[15]在圖像的自動分類和識別方面取得了巨大成功[16]，因此受到了學術界和工業界的高度關注。深度學習以數據驅動為基礎，而且是端對端的學習模式，因此在圖像處理和分析方面獲得極大的成功。由于組織病理圖像具有高度的復雜性，因此與傳統的方法相比，基于深度學習的分析方法能夠體現出明顯的優勢，能夠使高效地分析數字病理組織圖像向前邁進一大步[17- 18]。文獻[17]采用了深度學習的方法，自動、快速、準確地檢測組織病理圖像中的細胞核。結果表明，與傳統的細胞核檢測方法相比，深度學習方法具有較高的魯棒性和準確性。

本研究的主要目標是：構建一個基于深度卷積網絡和結合策略的模型，以實現組織病理圖像中細胞核異型性的自動評分。為了實現這一目標，使用深度卷積網絡結合滑動窗口的方法，高效精確地分析病理圖像，同時毫不遺漏地掃描和評估尺寸較大的組織病理切片。運用絕對多數投票法，評估每個分辨率下病理切片的分值，最后運用相對多數投票法，綜合不同分辨率下的分值，對每個病例做最后的投票，以決定評分的分值。

接下來的內容如下：詳細介紹本研究提出的乳腺組織病理圖像細胞核異型性自動評分模型，分析該評分算法的實驗設計及實驗結果，最后對該項工作進行討論和總結。

1 方法

1.1 乳腺癌細胞核異型性評分模型

本研究提出的乳腺癌細胞核異型性評分模型的整體框架和流程如圖2所示，主要的思路是：針對每個病例同一個視角、3種不同分辨率(10、20、40倍)下的組織病理圖像，分別輸入3個深度卷積網絡進行訓練，從而得到3個在不同分辨率下的分類模型。然后，利用已經訓練好的深度卷積網絡，結合滑動窗口的方法，分別處理每個分辨率下的乳腺病理切片原圖，得到一張圖像很多子集的得分。采用絕對多數投票法，處理同一分辨率下所有子集的得分，得出這個分辨率下圖像的得分；使用相對多數投票法，對每個病例3個分辨率下絕對多數投票法的結果進行投票，得到每個病例的最終得分[19]。 該算法具體流程如圖2所示。

圖2 基于深度卷積網絡和結合策略的乳腺組織病理圖像細胞核異型性評分模型流程Fig.2 The flowchart of nuclear atypia grading based on deep convolutional networks and combination strategy on breast histopathology

1.1.1 深度卷積網絡

深度卷積網絡作為最初的人工神經網絡模型前饋神經網絡的一種，在近些年得到了長足的發展，特別是在圖像處理和語音識別方面。作為可訓練的多層網絡結構，卷積階段包括卷積層、非線性變換層、下采樣層(即池化層)[20]。

卷積層通過卷積核來提取圖像的特征，如圖3中特征提取虛線框所示，這是基于局部感受野的概念。每個卷積核提取輸入特征圖上所有位置的特定特征，實現同一個輸入特征圖上的權值共享。為了提取輸入特征圖上不同的特征，就使用不同的卷積核進行卷積操作。非線性變換層將卷積層提取的特征進行非線性映射。傳統的卷積神經網絡采用的是飽和非線性函數來進行非線性映射，包括sigmoid、tanh 或者softsign。 最近提出的卷積神經網絡中，經常使用非飽和非線性函數ReLU。在模型進行反向傳播、梯度下降的時候，ReLU要比傳統的飽和非線性函數的收斂速度更快，這樣訓練網絡時具有很高的效率。

池化層是對每個特征圖進行獨立的操作，目前使用較多的是采用平均池化或者最大池化兩種操作。平均池化是在選定領域窗口內計算像素的均值，而最大池化是計算選定區域窗口的最大值，一般窗口平移的步長為1。特征圖通過池化操作之后，特征圖的分辨率降低，卻保留了有效的特征，同時池化也達到了降維的目的。特征提取完成之后，將最后一層的輸出特征圖后連接全連接層和分類器，如圖3 中預測分類虛線框所示。

深度卷積網絡使用原始的圖像像素直接作為網絡的輸入，與傳統的圖像識別算法不同，避免了復雜的人工特征的提取[21]；權值共享可以減少權值的數量，從而降低網絡的計算復雜度；局部感受野的使用，使得整個網絡所觀測到的特征具有平移和旋轉不變性。網絡的輸出直接對應于類別，這樣的端對端的網絡模型極大提高了識別精度。

1.1.2 滑動窗口

為了將模型運用到細胞核異型性分類當中，并且考慮到組織切片中組織結構的復雜性、多樣性、遍布性和無規律性，本研究采用滑動窗口的方法[17]遍歷整張圖像。利用所選的滑動框，從切片圖像的左上方開始，從左往右、從上到下依次滑動，每滑動一次都對窗口內的圖像塊進行判斷，判斷每一個窗口所屬的等級(即評分)。在本實驗中，使用的窗口大小為256×256，滑動的步長為窗口大小的1/5。在滑動窗口掃過圖像邊緣時會出現邊界效應，即角點處的像素出現真空狀態，在本研究中使用鏡像填塞(即像素圍繞圖像邊界)進行鏡像反射，解決了邊界效應問題。

1.1.3 投票法

在本研究中，當使用滑動窗口的方法來處理每個病例的單個分辨率圖像時，每一個分辨率下的圖像會得到很多子圖像塊的預測結果，通過投票法，結合這些子圖像塊的結果，用來預測這個分辨率下整張圖像的結果。在這個階段，選擇使用絕對多數投票法[22]，完成單個分辨率下的整張圖片評分的任務。

絕對多數投票法的表決策略為

(1)

在對單個分辨率下圖像的評分完成之后，結合3個分辨率下的評分來確定圖像最終的結果。本研究采用相對多數投票法的結合策略來做最終決策。相對多數投票法[23]即為預測得票最多的標記，若同時有多個標記獲得最高票，則從中隨機選取一個。

相對多數投票法的表決策略為

(2)

1.2 實驗設計

1.2.1 實驗數據

圖4 同一個視角下組織病理圖像的3種分辨率下的圖像樣例。(a)×10分辨率下的圖像，將(a)分割4×4圖像塊得到(b)，(b)中的每個小塊的尺寸和(a)的尺寸是一樣的。同樣，(c) 中的每塊圖像塊是由(b)中每個圖像塊的1/4，尺寸和(a)的尺寸是一樣的Fig. 4 Pathological images of three resolutions under the same view. (a) At ×10 magnification; (b) At ×20 magnification; (c)At ×40 magnification. Each ×10 frame is subdivided into four frames at ×20 magnification. Each ×20 frame is also subdivided into four frames at ×40 magnification. Each piece of (b) and (c) has the same size of (a).

使用的數據是由2014年國際模式識別會議公布的競賽提供，是由組織者從法國巴黎的薩伯特慈善醫院病理科挑選出的乳腺病理組織圖像，并且這些數據都是由2～3名經驗豐富的病理醫生共同標注。數據中每個病例的圖像都包含3種分辨率下的圖像，分辨率分別是×10、×20和×40，每個病例的3個分辨率的圖片大小為769像素×688像素、1 539像素×1 376像素和3 078像素×2 752像素(見圖4)。 在實驗過程中，隨機分別從3種不同分辨率下訓練集中截取256×256的圖像塊，構建實驗所用的包含3種不同分辨率的數據集。在訓練集中，分辨率為×10、×20、×40的數據集分別約有2、4、8萬張。除此之外，在訓練神經網絡的時候，對現有數據進行了數據擴容的操作，主要包括對每張圖像的旋轉和鏡像操作。除了訓練圖片，競賽還提供124個病例的測試圖片，每個病例包括3張不同分辨率的乳腺病例組織圖像，用來檢驗自動評分模型的泛化能力。需要指出的是：該數據集只提供了訓練集的評分分值，并沒有提供測試集的評分分值。為了測試算法的性能，競賽組織者要求參與者把對每張測試集的評分分值發給組織者，由組織者提供算法的自動評分準確率。

1.2.2 實驗環境

實驗使用的硬件設備如下：處理器，Intel(R) Core(TM) i7- 3770 CPU @ 3.40 GHz；內存(RAM)，16.0 GB；獨立顯卡，GeForce GTX Titan X；系統類型，64 位window 7操作系統，Ubuntu 14.04；開發工具，Matlab R2014a,Caffe 框架[24]。

1.2.3 實驗設置

所有訓練病例的3個不同分辨率對應3個數據集，數十萬個的圖片，直接送入Caffe的框架中，訓練3個對應于不同分辨率的深度卷積網絡。在訓練過程中，為了提高訓練的效率和準確度，實驗深度卷積網絡的訓練是在Alexnet[16]網絡參數上微調進行的,見表1。Alexnet 網絡模型是2012年Imagenet 圖像分類大賽獲得第一名的參賽模型，也是深度學習在圖像處理方面的完美展示。該模型是由數百萬張的圖像上訓練出來的，具有很強的魯棒性。眾所周知，深度卷積網絡是以數據驅動為基礎的方法，數據集的大小直接影響模型的能力，這也是選擇這個模型的重要原因。

表1 所使用的深度卷積網絡結構及其參數設置Tab.1 The structure details and parameters of deep convolutional networks in experiment

乳腺病理組織圖像采取滑動窗口的方法，輸入到相對應的深度卷積網絡中，以判斷每個窗口的分數。根據病理醫生的給病理組織切片評分的經驗，使用絕對多數投票法來推測輸入圖片的異型性分數。對于每個病例的3個不同分辨率下圖像的3個預測結果，使用相對多數投票法來決策該病例的最終預測結果。

1.3 實驗評估方法

在實驗測試階段，使用上述方法對測試圖片進行細胞核異型性評分，得到每張測試圖片的評分。由于2014 年ICPR 競賽未公布測試圖片的專家標記(即病理醫生的評分)，為了檢驗本模型的分級能力，筆者將每個病例圖像的自動評分分值發給了競賽的組織者Ludovic Roux，由他來評價本方法自動評分的準確性。Ludovic Roux 評估的標準采取了計分制，記不同模型預測輸入組織病理圖像得分為p，病理醫生給這張圖片給分為g，這張圖片的評估得分為S，評估標準如下：

(3)

最后，計算所有測試病例的評估分數總和，得到此模型的預測測試數據的總分。

2 結果

利用所提出的方法，對2014年國際模式識別會議競賽提供的124病例的測試圖片進行細胞核異型性評分。圖5是由Ludovic Roux提供的本方法和迄今為止評分準確率排名前幾位的算法評估分值(points)的對比結果。結果表明，所提出方法的評分準確率目前排名第二，領先于除了華威大學的其他算法。由圖中的結果可以看出，本方法的評估結果是67分，明顯地優于其他大部分的算法，這也證實本方法在細胞核異型性評分上的有效性。

圖5 乳腺組織細胞核異型性評分結果Fig.5 Comparison result diagram of nuclear atypia grading

為了驗證結合多個分辨率圖像信息對模型的影響，本方法除了與其他算法作對比，還對不同分辨率下的結果進行對比。圖6中×10、×20、×40分別對應于各自分辨率下的得分結果，即各自分辨率下絕對多數投票的評分結果，而本方法是結合上述3個分辨率下的結果、再進行相對多數投票的評分結果。如圖6所示，所提出的利用投票法對多個分辨率下的評分結果進行綜合評分的方法，在實際測試過程中增強了算法對細胞核異型性評分的能力；同時也說明，結合不同分辨率下的信息，在一定程度上可以提高模型對問題的分析能力。

在實驗過程中，本方法在計算機時間上具有一定的優勢，在給每一張分辨率分別為×10、×20、×40的圖像自動評分時，計算時間分別約為1.2、5.5、30 s。這說明，所采用的方法不僅評分準確率高，而且計算機速度快，因此具備了在實際臨床應用中對組織病理圖像自動評分的可能性。

3 討論

從圖5中可以看出，本研究的方法在乳腺組織細胞核異型性測試中的表現要比除了華威大學的其他方法有明顯優勢。這些方法都遵循著一個流程：首先對感興趣區域(細胞核區域)進行分割，然后對分割出的感興趣區域進行特征提取，再利用這些特征訓練分類器來實現最終的等級評分。如陜西師范大學的方法[25]，利用局部閾值和形態學方法分割細胞核，進而對細胞核提取了包括尺寸、梯度和紋理在內的上百維特征來訓練細胞核異型性評分的分類器。同樣，華威大學的方法[14]也是遵循這個流程，不同的是華威大學的方法對同一幅圖像提取了兩次特征，第一次是基于圖像整體提取像素級的特征，第二次是基于感興趣區域提取像素級的特征。而本研究的方法并未使用傳統的人工特征，采用與評分結果相結合的自學習特征，即將特征提取階段和分類器訓練階段合二為一，由分類器的表現來決定特征提取器從圖像中提取什么樣的特征。一個好的特征描述有利于尋找不同類型圖像的區分度和同種類型圖像的相似度，從而使分類器的精度得以提高。深度學習的出現正好提供了一個特征學習和圖像分類相結合的可行性方案，這樣的結合使得學習的特征極大地提高了分類器的能力，也使得計算機輔助的乳腺癌細胞核異型性病理圖像分級完全有可能幫助醫生制訂治療方案。有了好的特征提取器之后，感興趣區域的選擇同樣會影響著細胞異型性的分析。在細胞核異型性程度較高的圖像中，細胞核并沒有完整的細胞邊界而且經常出現扭曲重疊的問題，這都會影響評分的準確率。本研究提出的用滑動窗口從圖像中提取圖像小塊特征的方法可以克服這些問題，并且可以提取到細胞核周邊信息的特征，這有利于區分細胞核異型性的等級。

除此之外，在乳腺組織細胞核異型性的分析問題中，結合多分辨率下的信息是非常重要的，這符合病理醫生觀察病理切片的流程，同時可以有效地利用數據信息。本方法采用結合策略，處理3個不同分辨率下的細胞核異型性評分結果，以確定最終結果。從圖6中前3個橫條可以看出，×20分辨率下的評分準確率最高，而本方法綜合3個分辨率下的評分結果要優于這個分辨率下的結果，這說明低分辨率下的整體信息和高分辨率下的細節信息對細胞核異型性的評分都有著深遠影響，無論丟棄了哪種信息都會導致最終的評分結果準確率下降，所以本方法結合多個分辨率下的信息，可以有效地提高細胞核異型性評分的準確率。綜上所述，本研究采用深度卷積網絡和傳統聯合決策相結合的方法，充分利用實驗數據來驅動深度算法解決細胞核異型性評分問題。傳統的圖像處理算法很難有效地分析高度復雜的病理組織圖像，而深度學習方法的出現和快速發展給研究人員提供了新的研究方向和實驗工具，這對病理圖像的研究乃至整個病理學的發展都具有至關重要的影響。

4 結論

本研究提出了一種對乳腺組織病理圖像細胞核異型性進行評分的深度模型。該模型綜合了深度卷積網絡和兩種結合策略，其中深度卷積網絡分別處理每個病例的多分辨率的病理組織圖像，采用結合策略處理深度卷積網絡的預測結果，本研究使用了兩種結合策略，使用絕對多數投票法，得到每個病例每個分辨率下的細胞核異型性的得分，再使用相對多數投票法得到每個病例的最終得分。通過實驗數據的測試，模型能夠對乳腺細胞核異型性組織圖像很好地分級。由于使用了卷積神經網絡處理病理組織圖像，提高了特征對圖像的表達能力，加上端到端的分類器訓練方式，再結合多分辨率下的信息，使得本方法具有優良的細胞核異型性評分結果。

所提出的方法在細胞核異型性評分上取得了一定的成果，對于以后的工作還有許多實踐經驗，可為同類研究提供參考。在算法上，越有效的特征所具有解決問題的能力就會越強，本研究是結合多分辨率下的結果，而未來的研究內容是結合多分辨率下的圖像特征，利用這種融合后特征，對細胞核異型性進行評分。

(致謝：該實驗的評估工作是由2014年國際模式識別會議競賽的組織者Ludovic Roux協助實現的。)

[1] Jemal A, Siegel R, Xu Jun, et al. Cancer statistics [J]. Ca Cancer Journal for Clinicians, 2012, 62(1):10- 29.

[2] Chen Wanqing, Zheng Rongshou, Baade PD, et al. Cancer statistics in China [J].Ca Cancer Journal for Clinicians, 2016, 66(2):115- 132.

[3] 龔磊, 徐軍, 王冠皓,等. 基于多特征描述的乳腺癌腫瘤病理自動分級[J]. 計算機應用, 2015, 35(12):3570- 3575.

[4] 陳佳梅, 屈愛平, 王林偉,等. 計算機圖像分析挖掘乳腺癌病理預后新指標[J]. 生物物理學報, 2014, 30(7):517- 530.

[5] Robbins P, Pinder S, Klerk ND, et al. Histological grading of breast carcinomas: A study of inter observer agreement [J]. Human Pathology, 1995, 26(8):873- 879.

[6] Basavanhally AN, Ganesan S, Agner S, et al. Computerized image- based detection and grading of lymphocytic infiltration in HER2+ breast cancer histopathology [J]. IEEE Transactions on Biomedical Engineering, 2010, 57(3):642- 653.

[7] May M. A better lens on disease [J]. Scientific American, 2010, 302(5):74- 77.

[8] Bourzac K. Software: The computer will see you now [J]. Nature, 2013, 502(7473):92- 94.

[9] Roux L, Racoceanu D, Loménie N, et al. Mitosis detection in breast cancer histological images An ICPR 2012 contest [J]. Journal of Pathology Informatics, 2013, 4(1):4- 8.

[10] Cruz- Roa A, Basavanhally A. Mitosis detection in breast cancer pathology images by combining handcrafted and convolutional neural network features [J]. Journal of Medical Imaging, 2014, 1(3):1- 8.

[11] Veta M, Diest PJV, Willems SM, et al. Assessment of algorithms for mitosis detection in breast cancer histopathology images [J]. Medical Image Analysis, 2015, 20(1):237- 248.

[13] Irshad H. Automated mitosis detection in histopathology using morphological and multi- channel statistics features [J]. Journal of Pathology Informatics, 2013, 4:1- 10.

[14] Khan AM, Sirinukunwattana K, Rajpoot N. A global covariance descriptor for nuclear atypia scoring in breast histopathology images [J]. Surface Science, 2015, 19(5):1637.

[15] Hinton GE, Salakhutdinov RR. Reducing the dimensionality of data with neural networks [J]. Science, 2006, 313(5786):504- 507.

[16] Krizhevsky A, Sutskever I, Hinton GE. Imagenet classification with deep convolutional neural networks [J]. Advances in Neural Information Processing Systems, 2012, 25(2):2012- 2022.

[17] Xu Jun, Xiang Lei, Liu Qingshan, et al. Stacked sparse autoencoder (SSAE) for nuclei detection on breast cancer histopathology images [J]. IEEE Transactions on Medical Imaging, 2015, 35(1):119- 130.

[18] Xu Jun, Luo Xiaofei, Wang Guanhao, et al. A deep convolutional neural network for segmenting and classifying epithelial and stromal regions in histopathological images [J]. Neurocomputing, 2016, 191:214- 223.

[19] Basavanhally A, Ganesan S, Feldman M, et al. Multi- field- of- view framework for distinguishing tumor grade in ER+ breast cancer from entire histopathology slides [J]. IEEE Transactions on Biomedical Engineering, 2013, 60(8):2089 - 2099.

[20] Koushik, Jayanth. Understanding convolutional neural networks [J].Eprint Arxiv ,25 May,2016 [Epub ahead of print].

[21] Zeiler MD, Fergus R. Visualizing and understanding convolutional networks [M]// Fleet,Computer Vision- ECCV 2014. Cham: Springer International Publishing, 2014:818- 833.

[22] Alpaydin E. Combining pattern classifiers: methods and algorithms[J]. IEEE Transactions on Neural Networks, 2007, 18(3):963- 964.

[23] 周志華. 機器學習[M]. 北京：清華大學出版社, 2015：171- 196.

[24] Jia Yangqing, Shelhamer E, Donahue J, et al. Caffe: convolutional architecture for fast feature embedding [J]. Eprint Arxiv, 2014:675- 678.

[25] Chen Lu. Automated image analysis of nuclear atypia in high‐power field histopathological image [J]. Journal of Microscopy, 2015, 258(3): 233- 240.

A Deep Convolutional Networks and Combination Strategy for Automated Nuclear Atypia Grading on Breast Histopathology

Zhou Chao1Xu Jun1*Luo Bo2

1(School of Information and Control, Nanjing University of Information and Technology, Nanjing 210044, China)2(Department of Histopathology, The Central Hospital of Wuhan, Affiliated Hospital of TongJi Medical College Huazhong University of Science and Technology, Wuhan 430014, China)

Nuclear atypia is one of important factors in Nottingham Grading System (NGS) for evaluating the aggressiveness of breast cancer. The nuclear atypia is mainly manifested in change of the nuclear shape, size, texture and uneven density. However, histologic image has complicated nature that makes the automated nuclei atypia grading a pretty difficult task. In the paper we integrated deep convolutional neural networks and combination strategy for automated nuclei atypia grading. Firstly, the histologic patches with three different resolutions were cropped into same size for training three convolutional neural networks models, respectively. During the testing, a sliding window technique was employed to choose image patches and feed to the trained DCNN. Then the majority voting was used to evaluate the grade of the image under each resolution. Finally, plurality voting was employed to evaluate the score based on three different resolutions. The proposed model got 67 points in the test set, ranking the 2nd comparing with all of current methods with good performance. Moreover, the proposed approach was computationally efficient. The average computational time on each images with the resolution of ×10, ×20, ×40 were 1.2, 5.5, and 30 seconds, respectively, indicating that the proposed approach can be applied in clinical routine procedure for automated grading of nuclei atypia on histologic images.

nuclei atypia; convolutional neural networks; majority voting, plurality voting

10.3969/j.issn.0258- 8021. 2017. 03.003

2016-05-06， 錄用日期:2016-05-27

國家自然科學基金(61273259)；江蘇省“六大人才高峰”高層次人才項目(2013-XXRJ-019)；江蘇省自然科學基金(BK20141482)

R318

A

0258- 8021(2017) 03- 0276- 08

*通信作者(Corresponding author)，E- mail: xujung@gmail.com