基于深度卷積神經網絡的腎透明細胞癌細胞核分割*

魯浩達，徐軍，劉利卉，周超，周曉軍，張澤林

（1.南京信息工程大學，江蘇省大數據分析技術重點實驗室，南京 210044；2.南京軍區南京總醫院，南京 210044）

1 引 言

腎癌是泌尿系統腫瘤中致死率最高的一種，其發病率和死亡率約占全部腫瘤的2%。在病理上，腎癌通常分為：透明細胞型腎癌、顆粒細胞型腎癌、混合細胞型腎癌、未分化細胞型腎癌。其中，腎透明細胞癌（clear cell renal cell carcinoma，ccRCC）是腎癌中最常見的一種亞型。但臨床實際中腎透明細胞癌的癌細胞常排列成片狀、條索狀、腺泡狀或管狀，很像腎小管，單純以病理醫生人工的方式在顯微鏡下對其進行分級診斷其實非常困難。所以，運用計算機圖像分析技術對腎透明細胞癌病理圖像中的細胞核進行有效地、準確地分割，是當前分析腎癌惡性程度、構建腎癌自動分級系統的迫切需求。

然而，組織病理圖像具有高度復雜性，對數以千計的細胞核進行分割具有如下的難度：

（1）高分辨率組織病理圖像尺寸大。圖1（ad）分別展示了一張腎透明細胞癌全掃描切片在顯微鏡不同分辨率下的圖像。其中圖1（a）是全掃描組織病理圖像，其尺寸為40001×28514個像素，壓縮后約為3.2 GB；圖1（b）、圖1（c）、圖1（d）分別是前一幅圖中紅色區域放大10、20、40倍數后的圖像。

（2）組織病理結構類型復雜。見圖1（d），圖中不規則地分布著的許多類似紡錘狀的深色結構為細胞核，數量繁多并且形態差異性非常大，難以用固定的特征來描述。

圖1 4種放大倍數下的圖像Fig 1 Four kinds of image magnification

在這種高分辨率圖像中運用計算機自動分割細胞核，對硬件和圖像分析算法都有較大的挑戰。

目前，主動輪廓模型［1］、分水嶺模型［2］和區域增長模型［3］是三個常見且有效的細胞核分割模型，其中主動輪廓模型使用頻率較大，主要原因是它可以很好的擬合目標的邊界，但是模型的分割效果很大程度上依賴于檢測到的細胞核位置給出的初始輪廓，細胞核檢測效果的好壞對最終的分割效果有很強的制約作用。因而在細胞分割方面仍需要投入更多的研究。

近年來，深度學習方法開始被廣泛地運用于組織病理圖像分析。Ciresan等人［4］運用深度卷積神經網絡（CN）來檢測乳腺組織病理圖像中的有絲分裂現象。Ertosun等人［5］運用CN對腦組織病理圖像進行腦膠質瘤自動化分級。徐軍等人［6］運用CN對乳腺組織病理圖像進行上皮和基質區域的自動分割。Sirinukunwattana等人［7］運用CN對結直腸癌組織病理圖像進行腺體的自動分割和良惡性分類。

目前，運用深度學習的方法在腎癌病理圖像中的分析工作尚無具體發表的結果。在腎透明細胞癌病理圖像中，細胞核存在異型性并且細胞核數量繁多。本研究針對這一問題，提出基于深度卷積神經網絡的細胞核分割模型。

表1列出了本研究所使用的縮寫符號及其解釋。

表1 本研究中所使用的縮寫符號及其描述Table 1 The abbreviations used in this article and their descriptions

2 深度卷積神經網絡模型

本研究的網絡結構是基于Krizhevsky等人［8］提出的經典的AlexNet模型，其網絡結構見圖2。該模型主要包括卷積層，池化層［9］，線性糾正（rectified linear unit，ReLU）激活函數［10］，全連接層以及 softmax（SMC）分類器。關于卷積層、池化層、線性糾正激活函數的詳細介紹，請參考文獻［8］。卷積層通過多個卷積核對圖像進行卷積操作后得到特征映射圖。為了避免飽和非線性問題，本研究采用ReLU激活函數，見公式（1）。

本研究采用最大池化的方法，把輸入的圖像分割成為不重疊的局部感受域，對每一個局部感受域都輸出最大值，靈活地降低了數據的維度。全連接層的目標是將前一層輸出的特征連接成一個向量作為后一層的輸入。通過全連接層連接SMC分類器作為輸出層，本研究使用的基于二分類的SMC，它是一個監督性的logistic回歸模型。網絡的輸出端的神經元個數等于類的個數，因此對于輸入的第i個圖像塊的特征x（i），SMC輸出可以看做一個二維的向量：

其中SMC的輸入x（i）是CN提取的高水平的特征。θj是由SMC模型通過訓練學習分別得到的兩個輸出神經元的參數。每個圖像塊通過CN提取出高水平特征x（i）輸入到SMC中，SMC會輸出一個二維的概率值，網絡將通過給出分別屬于兩類的二維概率值中較大的那類作為分類最終結果。

圖2 本研究使用的網絡結構Fig 2 The structure of network convolutional networks used in this paper

3 實驗設計

3.1 實驗設備

本研究所做的實驗使用的操作系統和硬件設備如下：Linux系統：Ubuntu 14.04；處理器：Intel（R）Core（TM）i7-3770 CPU@3.40 GHz；內存（RAM）：16.0 GB；獨立顯卡：GeForce GTX Titan X；開發工具：MATLAB R2014b，Caffe框架［11］。

3.2 實驗數據

本研究采用的腎透明細胞癌數據是來自美國癌癥基因組圖譜的信息中心（TCGA）［12］。從TCGA中挑選出461張H＆E染色的病理圖像，圖像是在40倍目鏡下掃描拍攝的，尺寸為400×400像素。

3.3 訓練集構建

為了實現逐像素點分割，本研究構建的訓練集包括兩種類型的圖像塊：細胞塊和非細胞塊。兩類訓練集的構建方法見圖3。根據專家標記（見圖3（a））提取其中對應的細胞核邊界進行腐蝕和膨脹操作，并根據專家標記（見圖3（a））將腐蝕和膨脹后的邊界區域劃分為細胞核區域和非細胞核區域（見圖3（b））。最后，以圖3（b）中所有綠色區域的像素點為中心取尺寸為39×39的正方形小塊作為細胞塊，以紅色區域的像素點為中心取尺寸為39×39正方形小塊作為非細胞塊。本研究還考慮到訓練集樣本中冗余小塊的數量，隨機丟棄部分小塊。除了邊緣區域附近提取的小塊以外，同時也在細胞核內部和間質背景部分選取大量的相同尺寸的兩種類型的圖像塊。其中，本研究使用的訓練集和測試集的圖像塊的數量見表2。

圖3 細胞核分割訓練集構建示意圖Fig 3 The Illustration of construction of Nuclear Segmentation Training Set

3.4 實驗流程

本研究采用的詳細的實驗步驟如下：

（1）構建訓練集和測試集。構建方法和數量已在3.3節中闡明。

（2）訓練CN-PI模型。構建圖2的CN模型，運用上一步驟中獲得的訓練集，訓練該CN網絡。

表2 訓練和測試樣本的數量Table 2 The number of training and testing samples

（3）細胞核分割測試。運用滑動窗的方法提取測試集圖像塊，對整張圖進行逐像素點分割。首先，從每幅圖像的左上角第一個像素開始，以此像素為中心像素點，取尺寸為39×39的圖像塊，送進步驟2中訓練好的網絡中去分類，網絡輸出得到的類別即代表此中心像素點的類別。測試時，從左到右、從上往下，使得滑動窗的中心像素遍歷整幅圖像，完成對整幅圖像的逐像素點分割。

4 結果與分析

4.1 對比模型

為了體現本研究方法在細胞核分割準確度上的優越性，實驗中用了3種其他方法進行對比，見表3。

表3 對比方法名稱Table 3 The names of contrast methods

4.2 定量評估指標

針對細胞核分割的結果，本研究采用以下四個定量評估指標［16］：

（3）區域交集mean IU：

（4）加權區域交集frequency weight IU：

其中nji表示在圖像標記中屬于類型i卻被預測為類型j像素點數量，nc表示類型的總數，ti表示在圖像標記中屬于類型i的所有像素點的數量。像素準確率由細胞核分割模型預測正確的像素點與全圖所有像素點的比值組成；平均像素準確率所計算的是細胞核分割模型預測各類別像素點與實際標記類別像素點數量的比值的平均值；區域交集計算了細胞核分割模型預測正確的每類像素點與錯誤預測的像素點比值的平均值；加權區域交集是在計算區域交集時添加了每個類型像素點所占圖像所有像素點的權重。

4.3 實驗結果分析

4.3.1 定性的實驗結果 圖4展示了腎透明細胞癌病理組織圖像和細胞核的專家標記。圖4（a）是一幅病理組織圖像原圖，圖中不規則的分布著許多類似紡錘狀的深色結構即細胞核；專家標記的細胞核輪廓見圖4（b）。

圖4 （a）腎透明細胞癌病理圖像（b）病理醫生標記Fig 4 （a）Pathological image of ccRCC（b）Ground truth from pathologist

圖5展示了本研究方法與其他三種細胞核分割方法的分割結果，圖5中下行四幅分割結果圖為二值化的細胞核分割結果，上行四幅分割結果圖中綠色的部分是二值化的細胞核分割結果在原圖上的突出展示。圖5（a）為本研究提出方法的分割結果圖；圖5（b）為 GLGF方法的分割結果圖；圖 5（c）為LATB方法的分割結果圖；圖5（d）為GC方法的分割結果圖。仔細研究四幅分割結果，對比圖5（b）可以看出，GLGF方法在分割細胞核時可以將圖像中大部分細胞核都分割出來，但是仔細觀察發現，出現很多漏檢的細胞核，并且細胞核的邊界分割不夠準確，出現區域膨脹的現象；對比圖5（c）可以看出，與LATB方法的分割結果相比，本研究方法具有更高的準確率，不會丟失大部分目標，也不會對一個細胞核的分割時會只分割出一半的不良狀況；對比圖5（d）可以看出，GC方法雖然將大部分細胞核分割出來，但細胞核邊界粗糙，而且包含大量不相關間質背景區域。

綜上，從細胞核分割的定性結果分析來看，本研究提出的CN-PI模型對腎透明細胞癌的細胞核分割具有更好的效果。

圖5 四種方法的分割結果對比Fig 5 The comparison of the four methods’results

4.3.2 定量的實驗結果

表4對比了本研究方法和其它3種方法的像素準確率、平均像素準確率、區域交集和加權區域交集。見圖6，把上述四個評估指標以直方圖的形式呈現出來，直方圖的高低程度直觀地展示出了這四種方法的細胞核分割性能。

表4 不同方法的細胞分割結果的定量評估（%）Table 4 Quantitative assessments of cell segmentation results by different methods（%）

從定量結果分析表明，本研究CN-PI模型呈現出明顯的優勢，像素準確率達到了90.33%，說明CN-PI模型在腎透明細胞癌的細胞核分割上具有良好的性能。

圖6 四種方法的準確率直方圖Fig 6 The histogram of four methods’accuracy

5 結論

本研究提出了一種基于深度卷積神經網絡的逐像素點分割（CN-PI）模型，我們把CN-PI與 GLGF、LATB、GC這3種傳統分割方法在分割細胞核的性能上做了對比，CN-PI模型在分割準確率上具有較明顯的優勢。不過，CN-PI模型在分割的過程中，由于以待分割圖像的每個像素點為中心像素構造的圖像塊都需要輸入到CN中進行預測，因此，如果圖像尺寸特別大，將需要耗費較長時間。CN-PI模型的這個不足還有待在未來的模型中加以改進。未來的工作擬將腎透明細胞癌細胞核的分割結果運用于腎癌的良惡性分級的研究中，從而實現基于組織病理圖像計算的腎癌自動診斷分級系統。