基于Inception-ResNet-V2的乳腺癌病理圖像識別研究

劉靖雯 黃理燦

摘 要：乳腺癌嚴重威脅女性健康和生命，及時診斷并提供治療方案給醫生帶來了挑戰，病理圖像分類結果是醫生確診的重要依據，實現乳腺癌病理圖像識別分類具有重要意義及臨床應用價值。近年來，大多數研究集中于良惡性分類，而不同類型的乳腺腫瘤本身具有不同病因及治療方法。采用Inception-ResNet-V2深度卷積神經網絡模型，實現對乳腺癌病理圖像的八分類，利用數據增強和遷移學習方法，在Matlab上對數據集BreaKHis進行實驗。結果表明，該方法識別率基本達到80%以上，比大部分已有研究成果效果更優。

關鍵詞：Inception-ResNet-V2;深度卷積神經網絡;數據增強;遷移學習;乳腺癌病理圖像

DOI：10. 11907/rjdk. 192019 開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP317.4 文獻標識碼：A 文章編號：1672-7800（2020）005-0225-05

0 引言

乳腺癌細胞喪失了正常細胞特性，細胞之間連接松散，容易脫落，是目前威脅女性健康的常見腫瘤。相關統計數據表明，乳腺癌在癌癥死亡原因中位居第六，且在中國女性中發病率最高[1]。眾所周知，診斷乳腺癌的最可靠途徑是通過病理診斷。臨床上，相對于 X-ray及核磁共振圖像，醫生最后確診時依賴于對病理圖像的分析。已有研究多采用病理圖像分類，既費力又費時，且采用人工提取方法有誤診的可能。計算機輔助診斷（Computer-Aided Diagnosis，CAD）可將病理圖像自動分類，既節省人力、提高效率，診斷結果也更準確可靠[2]。但實現較難：一是病理圖像存在微小差異，容易出現細胞重疊現象、顏色分布出現不均勻等情況;二是鑒于醫學圖像通常涉及病人隱私，缺乏公開的、已標記的數據集，使得因數據量少而造成分類困難。盡管如此，仍有學者對乳腺癌病理圖像進行大量研究，并取得了重要研究成果。可大致分為以下兩個部分：

（1）采用傳統機器學習算法即人工方式提取特征。2013年，Kowal等[3]利用4種不同的聚類算法在快速核分割的任務中進行了測試和比較。將K均值、模糊C均值、競爭學習神經網絡和高斯混合模型相結合，用于顏色空間中的聚類以及灰度中的自適應閾值處理。500份病例被分類為良性或惡性，識別率為 96%～100%。Zhang等[4]提出了一種基于單類核主成分分析（KPCA）模型集成的分類方案，對361張病理圖像進行分類，識別率為92%;Spanhlol等[5]于2015年提出來源于82名患者的7 909例乳腺癌組織病理學圖像數據集BreaKHis，并且可從提供的網址公開獲得，采用局部二值模式（LBP）等6種特征描述子，利用支持向量機、隨機森林等不同分類算法，使得準確率達到80%～85%。上述研究方法由于數據集不同導致實驗結果不具有可比性，在人工設計及特征提取時也存在過程復雜的問題。

（2）用深度學習進行乳腺癌病理圖像分類。人工智能的發展，使得越來越多人了解卷積神經網絡（Convolutional Neural Networks，CNN）。近幾年，它在語音識別、信號處理、機器翻譯、計算機視覺等領域獲得了廣泛應用[6]，使得CNN應用于醫學圖像成為可能[7]。此外，深度學習實現數據自主學習特征，解決了人工設計提取特征造成的時間長及復雜性高等問題。

2016年，Spanhol等[8]使用 AlexNet網絡，提出一種基于圖像塊的提取方法訓練CNN，并使用不同的融合策略分類，其識別率比傳統算法高6%。Bayramoglu等[9]提出兩個不同的架構：單一任務用于預測惡性腫瘤，多任務CNN用于預測惡性腫瘤并且同時放大圖像倍數，其識別率約83%。2017年，Wei等[10]提出一種BICNN的深度卷積神經網絡模型，增加了網絡深度和寬度，提出完全保留癌變區域的圖像邊緣特征的數據增強方法，使得準確率達到97%。2019年，王恒等[11]以ResNet50為基礎框架，利用遷移學習設計了一個乳腺癌圖像二分類模型，正確率可達97.4%，并具有泛化好、深度強、精度高、收斂快等優點。

由上可知，采用BreaKHis數據集作為研究乳腺癌病理圖像的主要數據集，一方面識別率雖有較大提升，但針對BreaKHis數據集8種疾病的多樣性，簡單的良性—惡性分類已經不能滿足醫生實際診斷需要。

針對上述問題，本文采用深層次混合深度卷積神經網絡，它可以自動進行八分類，不僅能判斷良性惡性，更能確定是哪一種良性或惡性腫瘤，從而更好地為醫生提供參考。同時，采用數據增強和遷移學習防止過擬合，提高圖像識別率，以適應高標準的實際臨床需求。

1 研究方法

與目前常用的深度卷積神經網絡模型GoogLeNet[12]、ResNet50[13]等對比，本文使用Incetion-Resnet-V2[14]網絡作為基礎架構，如圖1所示。模型主要包括：數據讀取、數據增強及標準化處理、加載預訓練網絡、替換最終層、訓練網絡、對結果進行預測統計等內容。

首先在源數據上進行預訓練得到模型的權重參數，其次用得到的模型權重參數初始化新模型的殘差網絡層，然后在目標數據集上進行微調訓練得到最終模型，最后在測試集上檢驗模型性能。

1.1 Incetion-ResNet-V2網絡

2016年，Google團隊發布Inception-ResNet-V2卷積神經網絡，在ILSVRC圖像分類基準測試中拿下了最好成績。它從微軟的殘差網絡（ResNet）中得到啟發，由Inception V3模型變化而來。殘差連接（Residual Connections）可以讓Shortcuts存在于模型中，從而簡化Inception塊，可以讓更深的神經網絡訓練成為可能。網絡結構如圖2所示。

Inception-ResNet V2設計思想如下：

由Inception V4和ResNet 相結合;3種Inception-ResNet塊加入直連，使得通道多樣;比Inception V4參數少、收斂快;比Inception-ResNet -V1塊內卷積核的通道更多樣化。核心結構為Stem塊。

3種Inception-ResNet塊：卷積核通道數與Inception V4各模塊內的數目相比減少了，但整體寬度在模塊升維后相同（相比之下參數更少）;它們都加入了直連結構使得其更深、收斂更快;最后都用1[×]1拓寬維度。

1.1.1 Inception

這里存在一個重要思想，即讓網絡自己決定兩個過程：一是決定使用過濾器，二是決定是否池化，而不再像從前那樣人為確定參量。可人為在網絡中添加所有參數的可能值，將它們的輸出連接起來，讓網絡自主學習，得知它需要哪些過濾器的組合，具體需要什么樣的參數。為了調整Inception網絡防止過擬合發生，網絡中設有Softmax分支，這樣做的目的在于正常預測圖片分類，即使在進行特征計算時出現其它層，比如隱藏其中的單元或中間層參與進來時，也不會耽誤結果產生。

1.1.2 ResNet的優勢

ResNet殘差網絡可認為是殘差塊的堆疊，這樣可以將網絡設計得很深。殘差網絡和普通網絡的不同點在于，在進行非線性變化前，部分數據復制一份累加后進行了非線性變換。理想狀態下，隨著網絡深度的增加，訓練誤差理應逐漸縮小，而ResNet能夠做到隨著網絡深度的增加，訓練中產生的誤差縮小。對于CNN而言，常用的優化算法為梯度下降等。網絡深度逐漸增加，會呈現訓練誤差先減后增的情況。

1.1.3 1[×]1卷積

當1[×]1卷積[15]出現時，其主要作用是提高或降低通道數，也即厚度，卻不改變圖片的寬和高。改變的通道個數取決于使用的過濾器個數，將原來的通道數改為過濾器個數，以減少運算成本。比如，一張227[×]227且厚度為50的圖片在20個過濾器上進行1[×]1的卷積，則結果自然變成227[×]227[×]20。另一個作用是非線性也被加入其中。先經過CNN再經過激勵層， 在前一層上進行1[×]1的卷積，以提升網絡表達能力，則稱之為添加了非線性激勵（Non-linear Activation）。提升非線性特性要注意保證一個前提：不損失分辨率，也即維持特征圖尺度不變，最后結果是讓網絡更深。

1.2 數據增強

需要大量帶有標記的樣本，這是防止過擬合情況產生的有效途徑，獲得醫學圖像通常需要高昂的代價且很難實現，想要得到經過醫生標注的醫學圖像更是難上加難。本文在數據集BreaKHis基礎上，采用數據增強[16]加以實現。使用增強的圖像數據存儲可自動調整訓練圖像的大小[17]。指定對訓練圖像額外執行的增強操作：沿垂直軸隨機翻轉訓練圖像，以及在水平和垂直方向上隨機平移訓練圖像最多30個像素。

1.3 Softmax分類器

Softmax大部分在多分類過程中使用，多個神經細胞的輸出映射到（0，1）區間內，形成一個概率。在全連接層輸入的特征矩陣接收到后，其輸出的是輸入所對應的每個類別上的概率，通過這一過程實現多分類[18]。假設輸入圖像數目為[N]，即為[xi，yimi=1]，[yi∈1，2？m]標記為每個圖像，模型中最后輸出種類數記為[mm2]。本文進行乳腺癌八分類，因此m的值為8。[xi]為給定的輸入圖像，估計假定函數[fθxi]對應類別的概率值[Pyi=j|xi] ?。則函數表示如式（1）所示。

1.4 遷移學習

遷移學習[19]思想類似于人們常說的舉一反三，本文使用已有機器學習方法解決相關實際問題。這里所說的相關是指不同領域但富有關聯性，目的是打通知識遷移性，解決實際問題中標簽樣本少甚至由于現實條件下的各種情況導致標簽樣本不存在的情況。其基本思路是使用預訓練，將現有大型數據集上訓練好的權重值作為初始化值，將它遷移到實際問題的數據集上進行再次訓練并且微調參數。相當于在預訓練中進行學習而得到一些基本特征，可能是顏色，也可以是邊框特征，總之這種方法可以提高準確率并節省訓練時間[20]。本文使用ImageNet數據集將預訓練好的Inception-ResNetV2網絡模型參數遷移到BreaKHis上進行微調訓練。

2 實驗

2.1 數據集

乳腺癌活檢是醫生確診的重要步驟，醫療上常采取腫物切活檢獲得最終診斷。針對這項技術，常見方法分為4類：細針穿刺、核心穿刺活檢、真空輔助和外科（開放）活組織檢查（SOB）。通過SOB方法收集數據集中存在的樣品，也稱為部分乳房切除術或切除活組織檢查。本文所用的數據集BreaKHis[5]由SPANHOL與巴西巴拉那P&D實驗室（病理解剖學和細胞病理學）合作構建。從82名患者（良性患者24人，惡性患者58人）收集的乳腺腫瘤組織顯微圖像，共7 909張，包含4種不同的放大因子（40X、100X、200X和400X）。內含2 480個良性乳腺腫瘤圖像和5 429個惡性乳腺癌癥圖像（3通道RGB，每個通道8位深度，700×460像素，PNG格式），詳情如表1所示。

根據腫瘤細胞在顯微鏡下的外觀，可以將良性和惡性乳腺腫瘤分為不同類型。 各種類型的乳腺腫瘤可具有不同的預后和治療意義。該數據集目前包含4種組織學上不同良性乳腺腫瘤，一般有較好機會治療。它們分別為：纖維腺瘤（F）、腺病（A）、管狀腺瘤（TA）、葉狀腫瘤（PT）。4種惡性腫瘤（乳腺癌），均以癌癥被人們所知，它們分別為：癌（DC）、粘液癌（MC）、乳頭狀癌（PC）、小葉癌（LC）。

每個圖像文件名存儲關于圖像本身的信息：程序活組織檢查方法、腫瘤類別、腫瘤類型、患者識別和放大因子。 例如，SOB_B_TA-14-4659-40-001.png是放大因子40X的圖像1，其是管狀腺瘤的良性腫瘤，原始來自載玻片14-4659，其通過程序SOB收集。

2.2 訓練策略

從本實驗中將數據集按倍數分為4組完成對BreaKHis數據集的八分類，將它隨機劃分為3個部分，即驗證集（20%）、測試集（20%）和訓練集（60%），并且采取相同的預處理操作，劃分為網絡可以接受的輸入299[×]299×3大小，以保證驗證和測試結果的準確性，并保存在data_set_split_8.m文件中。對網絡進行模型訓練和參數學習并在訓練集中完成，以40X為例：學習率為0.001，最大迭代為2 390，驗證集頻率為100，最小的批大小為5，訓練時間達3小時左右。在驗證集中主要完成以下步驟：優化模型，在訓練過程中對模型進行測試，根據測試結果進行微調;提升測試模型的識別和泛化能力并在測試集中完成。本實驗對訓練集進行了數據增強，驗證集和測試集用于測試實驗效果;加載Inception-ResNet-V2網絡，并替換最終網絡層，使得網絡分類個數為8;開始訓練，并微調參數，使得實驗結果最優。訓練效果如圖3和圖4所示（彩圖掃描OSID碼可見，下文同），在迭代2 390次后，Loss值為1.31。

2.3 硬件及軟件平臺

實驗中所用硬件配置為：64 位Windows操作系統， 16GB內存CPU，GEFORCE GTX1050ti顯卡。軟件方面：使用2019版Matlab以及圖像處理工具箱。

2.4 實驗結果及分析

本實驗中使用正確率ACC為評價指標，ACC的值越大，代表模型的預測和真實情況越接近，模型性能越好。假定[N]代表所有測試集圖像數目，[Nq]代表網絡判斷正確次數。則ACC的表達式為式（3）。

由圖5可知，在40倍的實驗測試數據中，綠色對角線上顯示為正確分類的圖像數目，而旁邊紅色的數據顯示為網絡判斷錯誤的圖像數目，混淆矩陣邊緣數據為根據測試數據計算的準確率。以良性病benign_adenosis為例：測試集中共23張圖片，網絡正確分類圖像數目為19張，錯誤分類成benign_fibroadenoma為2張，占測試集總數的0.5%，被錯分成malignant_lobular_carcinoma的數目為2張，占總測試集的0.5%;正確分類占真正實例的82.6%，錯誤分類比例占17.4%。同理可知其余7類結果，得出最后準確率為86.7%。同理，在其它倍數上也進行了實驗匯總，得到如表2所示結果。

在4種放大倍數上對數據集進行分類，實驗結果表明，本文使用的Inception-ResNet-V2深度卷積神經網絡實驗效果在40X～200X時效果優于其它兩種近幾年使用較多的卷積神經網絡。但400X環境下深層次網絡較復雜且層數較多，導致實驗結果不如ResNet50效果好，可見放大倍數對實驗結果的影響。

4 結語

本文使用以Inception-ResNet-V2為架構的深度卷積神經網絡，將乳腺癌病理圖像數據集分成8種不同類型的良惡性乳腺腫瘤。利用數據增強和遷移學習方法擴充數據量，從而解決因標記樣本過少帶來的過擬合問題。從實驗結果可以看出，本文提出的方法具有較高的識別率，較其它良惡性腫瘤二分類能夠更好地為臨床醫療提供幫助。同時本文也存在不足，主要是公開可用的實驗數據量少。因此，今后的改進方向是使用更多的醫學真實數據進行測試，并采用更好的卷積神經網絡以提高識別率。

參考文獻：

[1] STEWART B，WILD C P. World cancer report 2014[M]. Lyon：World Health Organization，2014.

[2] 何雪英，韓忠義，魏本征. 基于深度學習的乳腺癌病理圖像自動分類[J]. 計算機工程與應用，2018，54（12）：126-130.

[3] KOWAL M，FILIPCZUK P，OBUCHOWICZ A，et al. Computer- aided diagnosis of breast cancer based on fine needle biopsy microscopic images[J]. Computers in Biology and Medicine，2013，43（10）：1563-1572.

[4] ZHANG Y，ZHANG B，COENEN F，et al. One-class ?kernel sub-space ensemble for medical image ?classification[J]. EUR- ASIP ?Journal ?on ?Advances ?in ?Signal ?Processing，2014（1）：17.

[5] SPANHOL F A，OLIVEIRA L S，PETITJEAN C，et al. A dataset for breast cancer histopathological image classification[J]. IEEE Transactions on Biomedical Engineering，2016，63（7）：1455-1462.

[6] KRIZHEVSKY A，SUTSKEVER I，HINTON G E. Imagenet classification with deep convolutional neural networks[C]. Advances in Neural Information Processing Systems，2012：1097-1105.

[7] CHEN H，DOU Q，WANG X，et al. Mitosis detection in breast cancer histology images via deep cascaded networks[C]. Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence，2016：1160-1166.

[8] SPANHOLF A ，OLIVEIRA L S，PETITJEAN C，et al. Breast cancer histopathological image classification using convolutional neural networks[C]. Vancouver：IEEE International Joint Conference on Neural Networks，2016.

[9] BAYRAMOGLU N，KANNALA J，HEIKKILA J. Deep learning for magnification independent breast cancer histopathology image classification[C]. International Conference on Pattern Recognition（ICPR），2016：2441-2446.

[10] WEI B，HAN Z，HE X，et al. Deep learning model based breast cancer histopathological image classification[C]. Chengdu： IEEE International Conference on Cloud Computing & Big Data Analysis，2017.

[11] 王恒，李霞，劉曉芳，等. 基于Resnet50網絡的乳腺癌病理圖像分類研究[J]. 中國計量大學學報，2019，30（1）：72-77.

[12] SZEGEDY C，LIU W，JIA Y，et al. Going deeper with convolutions[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015：1-9.

[13] HE K，ZHANG ?X，REN S，et al. Deep residual learning for image recognition[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2016：770-778.

[14] SZEGEDY C，IOFFE S，VANHOUCKE V，et al. Inception-v4，Inception-ResNet and the impact of residual connections on learning[J]. ?ARXIV，2016：1-12.

[15] SZEGEDY C，VANHOUCKE V，IOFFE S，et al. Rethinking the inception architecture for computer vision[C]. ?Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2016： 2818-2826.

[16] SHEN D，WU G，SUK H I. Deep learning in medical image analysis[J]. Annual Review of Biomedical Engineering，2017，19（1）：221-248.

[17] 劉棟， 李素， 曹志冬. 深度學習及其在圖像物體分類與檢測中的應用綜述[J]. 計算機科學， 2016（12）：20-30.

[18] 薛迪秀. 基于卷積神經網絡的醫學圖像癌變識別研究[D]. 合肥：中國科學技術大學，2017.

[19] SHIN H C，ROTH H R，GAO M，et al. Deep convolutional neural networks for computer-aided detection：CNN architectures，dataset characteristics and transfer learning[J]. IEEE Transactions on Medical Imaging，2016，35（5）：1285-1298.

[20] BECKER A S，MUELLER M，STOFFEL E，et al. Classification of breast cancer in ultrasound imaging using a generic deep learning analysis software： a pilot study[J]. ?Br J Radiol，2018，91：20170576.

（責任編輯：孫 娟）