基于深度卷積網絡的結直腸全掃描病理圖像的多種組織分割

蔡程飛 徐 軍? 梁 莉 魏建華 周洋樞

1（南京信息工程大學江蘇省大數據分析技術重點實驗室，南京 210044）

2（南方醫科大學病理學系，廣州 510515）

基于深度卷積網絡的結直腸全掃描病理圖像的多種組織分割

蔡程飛1徐 軍1?梁 莉2魏建華2周洋樞2

1（南京信息工程大學江蘇省大數據分析技術重點實驗室，南京 210044）

2（南方醫科大學病理學系，廣州 510515）

結直腸全掃描圖像處理困難，原因在于圖像的數據量大、結構復雜、信息含量多。目前對于結直腸癌組織病理圖像的研究通常包含腫瘤和基質兩種組織類型，只有一小部分研究可以解決多種組織的問題，但又不是處理全掃描的結直腸病理圖像。提出一種基于深度卷積網絡的結直腸全掃描病理圖像進行多種類型組織分割的模型。該模型使用的網絡層數有8層，利用深度卷積網絡學習結直腸全掃描圖像中典型的8種類型的組織，利用訓練好的模型對這8種類型的結直腸組織進行分類測試，其測試集分類準確率達92.48%。利用該模型對結直腸全掃描病理圖像中的8種類型組織進行分割，首先對全掃描圖像進行預處理，分成5000像素×5000像素大小的圖像塊，然后標記出每一張中的8種類型的組織，最后將所得到的標記結果進行拼接，從而獲得整張結直腸全掃描病理圖像的8種類型組織的標記結果。該方法對8種類型的組織分割的準確率比較高，有一定輔助診斷的幫助。

全掃描病理圖像；多種類型組織；深度卷積網絡

引言

結直腸癌是最常見的惡性腫瘤之一。美國癌癥協會（ACS）發布的2016年美國新發癌癥病例數以及患者死亡率顯示，結直腸癌在所有癌癥當中排第三［1］。在中國，結直腸癌也是危害人們健康的主要惡性腫瘤之一，對其早發現和早治療可以使患者死亡率下降50%左右。

近些年來，計算機圖像處理技術得到飛速發展，在醫學臨床病理方面也得到一定的應用。計算機及圖像處理技術不僅能夠提高組織病理學評估的效率、準確率和穩定性，還能夠為診斷的一致性提供支持依據。由于全掃描的病理圖像尺寸過大，圖像中包含多種不同類型的組織，所以對全掃描病理圖像中的多種類型組織進行自動分類再將其分割出來是一項具有挑戰性的工作。在本研究中，使用的是蘇木素-伊紅染色（H＆E）的結直腸全掃描病理圖像，這類染色是臨床組織病理分析應用中比較常用的一種組織病理分析染色。當前病理醫生對結直腸全掃描圖像的分析主要還是依賴于人工的分析，對圖像當中不同的組織部分，通過尋找、觀察和分析進行診斷，這項工作是非常耗時的。在醫療資源分配不均勻的背景之下，計算機輔助診斷的醫療手段能夠很大程度上緩解這種狀況。

目前，自動分離組織類型可以通過機器學習的方法獲得。Xu等基于細胞形態學的方法分割出單個細胞［2］，將這些細胞分為不同的類型，如腫瘤細胞、間質細胞和免疫細胞，并且利用這些生物信息進行標記［3-5］。在基于紋理特征的不同類型的組織分類方法中，主要利用圖像組織的結構特征，如粗糙與光滑或者有序與隨機等［6-8］。在醫學圖像的分析中，基于紋理的方法也是一種非常有用的多種類型組織分類方法［9-11］。通常這些方法首先是提取圖像的紋理特征［12-14］，然后利用提取的特征進行分類。上述的是現在已有的方法，目前適用于對腫瘤和基質這兩類組織分割，同時能夠處理的圖片尺寸也有規定，因而不適用對大尺寸、復雜度高的結直腸全掃描圖像。

本研究提出對結直腸全掃描圖像中8種典型的區域或者組織進行分割，分別是腫瘤上皮細胞、簡單基質、復雜基質、免疫細胞、碎片和黏膜、黏膜腺體、脂肪、背景，如圖1所示。

本研究基于深度卷積網絡模型，對結直腸全掃描圖像的多種類型組織進行分割，對實驗設計以及實驗結果進行討論，并對研究工作進行總結。

1 方法

1.1 分割模型

本研究提出了一個多種類型組織分割模型，用來處理結直腸全掃描圖像，其整個流程如圖2所示。

本研究的主要設計思路是：在分辨率為20倍下，分割出8種類型的組織區域。選取8種類型的組織構建訓練集圖像為150像素×150像素，然后利用深度卷積網絡訓練分類模型，從而可以將這8種類型的組織分開。對一張結直腸全掃描的圖像首先進行預處理，將全掃描圖像分塊成5 000像素 ×5 000像素的圖像，再利用訓練好的模型和150像素×150像素的滑動窗分割出里面的8種類型的組織，在對所有圖片進行處理之后，得到每張5 000像素×5 000像素的分割結果圖像，最后將這些圖像進行拼接，得到結直腸全掃描的分割圖像。

圖1 結直腸圖像中8種類型的組織。（a）腫瘤上皮細胞；（b）簡單基質；（c）復雜基質；（d）免疫細胞；（e）碎片和黏膜；（f）黏膜腺體；（g）脂肪；（h）背景Fig.1 Representative structures in an entire colorectal histologic image.（a）Tumor epithelium；（b）Simple stroma；（c）Complex stroma；（d）Immune cell conglomerates；（e）Debris and mucus；（f）Mucosal glands；（g）Adipose tissue；（h）Background

1.1.1 深度卷積網絡

圖2 基于深度卷積網絡的結直腸全掃描病理圖像多種類型組織分割模型流程Fig.2 The flowchart of a deep convolutional networks for multipletissue segmentation on a colorectal histologic image of whole slide

深度卷積網絡結構是基于經典的AlexNet模型，主要包括卷積層、池化層［15］、線性糾正函數的激活函數［16］、局部響應歸一化層、全鏈接層以及最后的softmax分類器。整個模型的輸入是包含RGB三個顏色通道的正方形圖像塊，該模型根據輸入的每個彩色圖像塊中的顏色信息特征，通過這種特有的網絡結構，將顏色特征轉化為高層次的特征，之后會利用得到的高層次特征進行分類。

卷積層是深度卷積網絡的核心，卷積層中卷積核的大小以及它的步長對卷積層提取圖像的特征至關重要。通過構建多個卷積濾波器，從而得到整張圖像局部感受域的卷積運算結果。利用每一個卷積核，提取輸入特征圖在所有位置上的特定特征，從而對同一張特征圖實現權值共享。激活層的非線性函數主要作用就是對卷積層上提特征進行非線性映射。非線性變換映射函數雖然有多種，如sigmoid、tanh、ReLU、PReLU、Maxout等，但本研究在深度卷積網絡中使用ReLU激活函數描述，有

池化層是一種非線性的下采樣方法，它對每一個特征映射進行池化操作，平均池化和最大池化是最常用的兩種池化方法。本研究中的深度網絡采用最大池化，能把輸入圖像分割成不重疊的局部感受域，對每一個局部感受域都輸出最大值，并提取最能代表和反映局部感受域的特征。

特征提取完成之后，通過最后一層輸出到全鏈接層，在全鏈接層中使用了Dropout層［17］，從而進一步提高了網絡的泛化能力。全鏈接層的目標是：將前一層的輸出特性連接成一個向量作為后一層的輸入量，通過兩個全鏈接層連接的softmax作為輸出層，最后輸出分類結果。

1.1.2 滑動窗口

為了使用這樣的模型對結直腸全掃描圖像中多種類型組織進行分割，利用滑動窗口的方法［18］，遍歷整張圖像。窗口滑動的方法是：從圖像左上角起的第一個像素開始從左向右滑動，再從上到下依次滑動，每滑動一次就會對滑動窗口區域的組織判斷類別，分別將8種類型的組織區域分割出來。利用滑動窗進行滑動分割時，會出現邊界效應問題，即在邊界處出現像素的缺失，使滑動窗無法繼續進行。在本研究中，利用鏡像填充的操作方式，在邊緣處產生一定寬度的像素，從而確保滑動窗能繼續掃描圖像。

1.2 實驗設計

1.2.1 實驗數據

數據來源主要有兩個，第一個是由德國曼海姆（Mannheim）大學醫學中心提供的結直腸病理圖像（http：//creativecommons.org/licenses/by/4.0/），第二個是從TCGA上獲取的結直腸病理圖像（https：//cancergenome.nih.gov/）。其中，對于從曼海姆大學醫學中心獲得的數據，通過病理醫生在上面標注出8種類型的組織區域，再從圖像分辨率為20倍下取得150像素×150像素的8種類型組織區域作為訓練集，對于TCGA中的數據沒有提取數據構建訓練集只是用來對模型進行測試。在本研究中，從第一個數據中取得5 000像素×5 000像素的圖像，用來測試和對比所提出模型的組織分類準確率以及分割的效果。第二個數據同樣也是用來測試模型的效果，為了使數據在當前的設備環境之下有效，對結直腸全掃描病理圖像先進行分塊，之后再處理分塊的圖像，將其中多種類型的組織分割出來。

1.2.2 實驗設備

Linux系統為Ubuntu 14.04，處理器為Intel（R）Core（TM）i7-3770 CPU @3.40 GHz，內存（RAM）為16.0 GB，獨立顯卡為GeForce GTX Titan X，開發工具采用 Matlab R2015a、Caffe 框架［19］。

1.2.3 實驗設置

從第一個數據集中取得了3萬張8種類型組織區域的訓練圖片，訓練集24 000張，測試集6 000張。然后通過旋轉、水平鏡像和垂直鏡像對數據集進行擴充，再將這些數據集中的8類組織區域做標簽，8種類型組織標簽分別對應為0～7，之后將訓練集的圖片直接送入到Caffe框架中訓練它的網絡模型。在本研究中，以AlexNet網絡模型作為基礎，在此基礎上修改它的網絡參數進行調節，見表1。這種方法直接利用它的模型權值等一些參數，可以提高訓練效率和模型的準確率，在利用其進行訓練建立模型時主要調節了AlexNet網絡模型的學習率。

表1 所使用的深度卷積網絡結構及其參數設置Tab.1 The structure details and parameters of deep convolutional networks in experiment

2 結果

在本研究中，利用深度卷積網絡，對結直腸8種類型測試集的組織區域進行識別分類，準確率達92.48%。2016年，Kather等在Scientific Reports發表文章，介紹利用形態學方法訓練分類器對8種類型的組織區域進行分類，分類準確率達87.4%［11］。相比而言，本研究使用深度卷積網絡對8種類型的組織區域進行分類具有明顯的優勢，圖3是利用該方法和Kather等的方法對5 000像素×5 000像素的結直腸病理圖像分割效果的對比?？梢悦黠@看出，該方法對圖像中的一些微小組織區域部分分辨比Kather等提出的方法分辨要細致，這主要取決于模型對8種類型組織區域分類的準確率。Xu等利用深度網絡對乳腺癌病理圖像的上皮和基質兩類組織進行分割［20］，其效果已經非常不錯，而本研究是利用深度卷積網絡對結直腸癌的病理圖像中的多種類型組織進行分割，也取得了優良的效果。

圖3 兩種方法實驗對比。（a）原始圖像；（b）Kather等的方法的分割結果；（c）本方法的分割結果Fig.3 Two methods of experimental contrast figure.（a）Original image；（b）Segmentation results of［11］；（c）Segmentation results of our proposed method

為驗證本方法的模型對結直腸的病理圖像具有廣泛的適用性，以及能夠對全掃描圖像進行處理，利用第二個數據集進行驗證，根據TCGA上獲取的結直腸全掃描病理圖像，先將結直腸全掃描圖像分塊成5 000像素×5 000像素的圖像，其分割效果如圖4所示。實驗結果表明，該訓練模型對TCGA上的結直腸病理圖像具有一定的適用性。

在測試該方法的適用性之后，利用本研究提出的模型，可以對結直腸全掃描病理圖像當中的8種類型的組織區域進行分割，其中對一張全掃描圖像的處理的流程如下：

圖4 基于TCGA的數據對本模型適用性測試。（a）原始圖像；（b）分割的圖像Fig.4 Based on TCGA’s data to test this article’s modelapplicability.（a）Originalimage；（b）Segmentation of（a）

1）先將結直腸的全掃描圖像按照前面所述的測試和評估方法，分成5 000像素×5 000像素大小的圖像；

2）利用滑動窗口和訓練的模型，對所有分割的圖像進行依次的預測，從而可以得到每一張5 000像素×5 000像素分割之后的圖像；

3）最后按照分割時的坐標將這些圖像拼接在一起，從而獲得結直腸全掃描病理圖像的分割圖像，其分割結果如圖5所示。

圖5 基于深度卷積網絡的結直腸全掃描病理圖像多種類型分割結果示例。（a）原始圖像；（b）分割的圖像Fig.5 The example result of basing on a deep convolutional networks for multiple types of tissue segmentation on colorectal histologic image of whole slide.（a）Original image；（b）Segmentation of（a）

在實驗當中，利用深度卷積網絡成功地訓練數據集并建立模型，從而實現對結直腸全掃描病理圖像的分割，這有助于病理醫生能夠迅速地找到感興趣的區域，對患者的病情做出快速準確的判定，因而這種方法在臨床上具有一定的實用價值。

3 討論

本研究的主要目的就是利用深度卷積網絡，對結直腸全掃描病理圖像中的8類組織區域進行分割。在Kather等的方法當中，主要是利用圖像本身的形態學特征，提取了圖像的低階和高階直方圖特征、局部二進制特征、灰度共生矩陣、Gabor特征、感知特征，其中分別對這些特征進行測試，獲得了一組最好的特征組合；結合合適的分類器，對其進行訓練，從而可以獲得對不同組織類型的分類分割，如圖3（b）所示。而本研究并沒有去尋找這些特征及其組合，而是直接通過深度卷積網絡中多次的卷積、非線性映射和池化作用，得到訓練集當中不同類型組織的特征，輸入到全鏈接層中，利用Dropout層增加網絡的泛化能力和效率，最后使用softmax分類器輸出，從而實現對多種類型組織的分類；利用訓練完成的模型和滑動窗口的方法，從而快速地實現對不同類型組織的分割，同時它的分類準確率相對于形態學方法得到了一定的提升。因此，深度學習的出現提供了一個特征學習和圖像分類相結合的可行性方案，這樣的結合使得學習到的特征極大提高了分類器的能力。

4 結論

本研究利用深度卷積網絡處理病理圖像，提高了圖像中的特征表達能力，這種端對端的傳輸方式，使分類器訓練得到很大的改善，從而提高滑動窗口中組織判斷的準確率。該方法在對結直腸多種類型組織的分類和全掃描病理圖像的分割中取得了一定的成果，可為以后這方面的研究提供參考。

［1］ Chen W，Zheng R，Baade PD，et al.Cancer statistics，2015［J］.Ca A Cancer Journal for Clinicians，2016，66（2）：115-32.

［2］ Xu Jun，Xiang Lei，Liu Qingshan，et al.Stacked sparse autoenconder（SSAE）for nuclei detection on breast cancer histopathology images［J］. IEEE Transactions on Medical Imaging，2016，35（1）：119-130.

［3］ Lan C，Heindl A，Huang X，et al.Quantitative histology analysis of the ovarian tumour microenvironment［J］.Scientific Reports，2015，5（2）：16317.

［4］ Ginsburg S，Lee G，Ali S，et al.Feature importance in nonlinear embeddings（FINE）：applications in digital pathology［J］.IEEE Trans Medical Imaging，2015，35（1）：76-88.

［5］ Yuan Y，Failmezger H，Rueda O M，et al.Quantitative image analysis of cellular heterogeneity in breast tumors complements genomic profiling［J］.Science Translational Medicine，2012，4（157）：157ra143.

［6］ Tamura H，Mori S，Yamawaki T.Textural features corresponding to visualperception ［J］. IEEE Trans SystemsMan ＆Cybernetics，1978，8（6）：460-473.

［7］ Bianconi F，álvarez-Larrán A，Fernández A.Discrimination between tumour epithelium and stroma via perception-based features［J］.Neurocomputing，2015，154：119-126.

［8］ Haralick R M，Shanmugam K，Dinstein I.Textural features for image classification ［J］. IEEE Trans Systems Man ＆Cybernetics，1973，SMC-3（6）：610-621.

［9］ Schad LR，H?rle W，Zuna I，et al.Magnetic resonance imaging of intracranial tumors：tissue characterization by means of texture analysis［J］.Zeitschrift Für Medizinische Physik，1992，2（1）：12-17.

［10］ Lerski RA，Schad LR.The use of reticulated foam in texture test objects for magnetic resonance imaging［J］.Magnetic Resonance Imaging，1998，16（9）：1139-1144.

［11］ Kather JN，Weis CA，Bianconi F，et al.Multi-class texture analysis in colorectal cancer histology［J］.Scientific Reports，2016，6：27988.

［12］ Linder N.Identification of tumor epithelium and stroma in tissue microarrays using texture analysis［J］.Diagnostic Pathology，2012，7（1）：1-11.

［13］ Turkki R，Linder N，Holopainen T，et al.Assessment of tumour viability in human lung cancer xenografts with texture-based image analysis［J］.Journal of Clinical Pathology，2015，68（8）：614-621.

［14］ Barker J，HoogiA，Depeursinge A，etal. Automated classification of brain tumor type in whole-slide digital pathology images using local representative tiles［J］.Medical Image Analysis，2015，30：60-71.

［15］ Koushik，Jayanth.Understanding convolutional neural networks［C］ //29th Conference on Neural Information Processing Systems（NIPS 2016）.Barcelona：The California Institute of Technology and Bell Laboratories，2016.

［16］ Glorot X，Bordes A，Bengio Y.Deep sparse rectifier neural networks［J］.Journal of Machine Learning Research，2011，15.

［17］ Hinton G E，Srivastava N，Krizhevsky A，et al.Improving neural networks by preventing co-adaptation of feature detectors［J］.Computer Science，2012，3（4）：212-223.

［18］ May M.A better lens on disease［J］.Scientific American，2010，302（5）：74-77.

［19］ Jia Yangqing，ShelhamerE，Donahue J，etal. Caffe：convolutional architecture for fast feature embedding［J］.Eprint Arxiv，2014：675-678.

［20］ Xu Jun，Luo Xiaofei，Wang Guanghao，etal. A deep convolutional neural network for segmenting and classifying epithelial and stromal regions in histopathological images［J］.Neurocomputing，2016，191：214-223.

A Deep Convolutional Networks for Identifying Multiple Tissues from Colorectal Histologic Image of Whole Slide

Cai Chengfei1Xu Jun1?Liang Li2Wei Jianhua2Zhou Yangshu2

1（Jiangsu Key Laboratory of Big Data Analysis Technology，Nanjing University of Information and Technology，Nanjing210044，China）

2（Department of Pathology，Southern Medical University，Guangzhou510515，China）

whole scanning pathological image；multiple type of tissue；deep convolutional networks

R318 文獻標志碼：D 文章編號：0258-8021（2017）05-0632-05

10.3969 /j.issn.0258-8021.2017.05.018

2017-06-05，錄用日期：2017-07-10

國家自然科學基金（61771249）；江蘇省“六大人才高峰”高層次人才項目（2013-XXRJ-019）；江蘇省自然科學基金（BK20141482）

?通信作者（Corresponding author），E-mail：xujung@gmail.com