基于深度學習的肺癌計算機輔助診斷

李斌，李科宇，湯渝玲，李慧

（1.南華大學附屬長沙醫(yī)院，湖南 長沙 410005；2.長沙市第一醫(yī)院呼吸內科，湖南 長沙 410005）

目前，肺癌所致死亡占全世界癌癥相關死亡原因的首位[1]。根 據(jù)2009 至2013 年SEER（surveillance, epidemiology and end results）數(shù)據(jù)庫結果顯示，肺癌患者的5年生存率僅為18%左右。早期可切除癌患者的5年生存率約為34%，而不可切除肺癌患者的5 年生存率＜10%。因此，肺癌的早期發(fā)現(xiàn)和診斷是提高治療效果的重要環(huán)節(jié)。根據(jù)美國國立綜合癌癥網(wǎng)絡（national comprehensive cancer network，NCCN）指南，對于疑似腫瘤，需通過纖維支氣管鏡和活檢病理檢查進行早期診斷?；顧z病理確診是肺癌診斷的金標準，準確率達90%以上[2]。肺癌的主要組織學亞型為鱗癌、腺癌、小細胞癌和未分化癌。然而，目前龐大的癌癥患者數(shù)量與有限的病理科醫(yī)師并不匹配，難以滿足巨大的臨床需求。人工智能肺癌自動診斷系統(tǒng)或可有效解決這一問題。

近年來，人工智能技術在醫(yī)學病理診斷領域蓬勃發(fā)展。2016年，通過使用特征提取和選擇算法，深度學習卷積神經(jīng)網(wǎng)絡（convolutional neural networks，CNN）tensorflow算法成功檢測到黑色素瘤病灶，準確率達92%[3]。乳腺癌四極阻抗測量（tetrapolar impedance measurement，TPIM）通過機器學習提取特征，有效診斷率為84%[4]。在細胞水平，人工智能技術對乳腺癌[5]的診斷率達95.34%。目前，人工智能在肺癌診斷中的應用主要集中在影像學圖像[6-7]。放射組學是一個使用預定義的、工程算法或深度學習方法[4]自動量化放射表型特征的過程。通過工程CT 圖像分析，放射組學特征可區(qū)分EGRF-和EGFR+肺癌，及EGFR+和KRAS+肺癌[6]?；贑T 圖像的卷積神經(jīng)網(wǎng)絡（CNN）在肺癌[7]中的準確率達86.4%。然而，與影像學診斷相比，病理診斷更有優(yōu)勢，因為可對組織學亞型進行分類，并為臨床治療提供直接證據(jù)。在過去的幾十年，研究者們已開發(fā)了多種自動或半自動定量模型來客觀評價顯微鏡下的病理圖像[3，8]。傳統(tǒng)的研究步驟包括病理圖像輸入和數(shù)字化、疾病病灶分割、特征提取和模型構建。形狀、邊界、顏色變化和紋理描述是重要的病理特征[9-11]。近年來，深度學習（deep learning，DL）算法，尤其是CNN，已成功應用于數(shù)字病理圖像分析[12-13]。與傳統(tǒng)的機器學習算法相比，深度學習方法無需任何可能在不同病灶間變化的手工標注的特征。雖然許多CNN 都是為自然圖像分析而設計的，但遷移學習的思想可幫助研究人員利用預先訓練過的CNN 解決醫(yī)學圖像中的問題。本研究收集33 例肺癌患者的病理性全視野數(shù)字切片（whole slide images，WSIs），由經(jīng)驗豐富的病理學家（超過20年）在每張幻燈片上畫出癌癥區(qū)域。本研究旨在比較幾種傳統(tǒng)的基于CNN的算法，以輔助肺癌的診斷。

1 資料與方法

1.1 臨床資料 選取2016 年1 月至2017 年11 月在長沙市第一醫(yī)院腫瘤內科接受治療的33例患者為研究對象。根據(jù)美國癌癥聯(lián)合委員會（AJCC）分期系統(tǒng)，患者首先診斷為肺癌/支氣管癌（部位編碼：C34.1-C34.9；組織學類型：腺癌、鱗狀細胞癌和小細胞癌。納入標準：①經(jīng)手術切除或穿刺活檢病理確診患者；②術前無放療；③年齡30～90 歲；④臨床資料完整。排除標準：①合并其他惡性腫瘤；②轉移性肺癌；③有免疫缺陷或器官移植史；④無法參與的患者。本研究經(jīng)長沙市第一醫(yī)院倫理委員會審核批準。所有患者均對本研究知情同意并簽署知情同意書。收集患者的基本人口學和臨床信息，如年齡、病理、分期、影像學記錄、治療史。

1.2 圖像采集和預處理 組織切片（每例患者3片）用蘇木精-伊紅染色法染色后，分別用自動顯微鏡（Olympus VS120）在10、20、40倍下進行掃描。20倍數(shù)字病理圖像上標注的腫瘤區(qū)域，見圖1。20 倍圖像的完整圖像被裁剪成小塊，大小為256×256，裁剪后的圖像塊，見圖2。圖像塊顏色與正常組織差異較大[14]。由于癌變類型的不同，癌變區(qū)域的外觀也不同。如圖2A-B 為小細胞肺癌，圖2C-D 為非小細胞肺癌組織。

圖1 病理WSI 與癌癥區(qū)域的標注（圖像放大3 倍，以更好的可視化）Figure 1 Pathological WSI with annotations for cancer regions(the image is zoomed in 3×for better visualization)

圖2 腫瘤圖像塊和正常圖像塊Figure 2 Examples of tumor patches and normal patches

1.3 使用GLCM 和SVM 進行預分析 灰度共生矩陣（graylevel co-occurrence matrix，GLCM）紋理分析在癌癥病理學中被廣泛應用。本研究首先選取30 張載玻片（10 張非癌性、10 張非小細胞肺癌、10 張小細胞肺癌）進行GLCM 分析。采用中位數(shù)和四分位數(shù)對腫瘤圖像和正常組織圖像進行歸一化處理。將歸一化后的圖像分割成大小為7×7像素的小段。對每個圖，利用小片段的參數(shù)均值、方差、同質性、對比度、相異度、熵、二階矩和相關性提取紋理特征。本研究使用了自主研制的基于支持向量機（supporting vector machines，SVM）的算法鑒別腫瘤良惡性。

1.4 卷積 神經(jīng)網(wǎng)絡卷積神經(jīng)網(wǎng)絡（CNN）是一種專門用于圖像分析的神經(jīng)網(wǎng)絡。該方法已成功用于[15-16]的圖像分類。CNN 的典型結構包括卷積層、池化層和全連接層。引入了batch normalization[17]、dropout[18]、shortcut connections[19]等先進技術，提高了分類精度。

1.5 基于圖像塊的CNN分類 MXNet用于構造DL 框架。該框架的性能比Torch 和TensorFlow 等其他框架更快。前期研究測試了幾種流行的基于圖像塊分類的CNN 架構：AlexNet[15]、VGG、ResNet 和SqueezeNet。所有的網(wǎng)絡都是在目前最大的計算機視覺圖像分類數(shù)據(jù)集ImageNet[20]上進行預處理。在微調實驗中，本研究使用4個網(wǎng)絡在ImageNet上預先訓練的權值作為初始化。實驗選擇VGG-16 和ResNet-50作為VGG和ResNet體系結構的代表。Adam優(yōu)化算法是隨機最速下降法（stochastic gradient descent，SGD）的擴展，最近在計算機視覺的深度學習應用中被廣泛采用。在這項工作中，本研究使用Adam來更新網(wǎng)絡的權值。遵循遷移學習的思想，比較兩種類型的訓練方案：從零開始訓練和對整個預訓練網(wǎng)絡進行微調。對于所有的方法，本研究固定學習率（learning rate）=0.000 01，權重衰減率（weighted decay rate）=0.000 1，一代訓練（epoch）=10，批尺寸（batch size）=64。

1.6 實驗設置 將數(shù)據(jù)隨機分為26張幻燈片的訓練集和7張幻燈片的測試集。每張幻燈片將256×256像素的圖像塊裁剪為196 像素，保證相鄰圖像塊間有足夠的重疊。最后，在訓練集中有大約80 000個圖像塊，在測試集中有30 000個圖像塊。由于此時標注只被指定為癌癥或不是癌癥，本研究只處理二分類的問題。

2 結果

2.1 基于紋理分析和SVM 的樣本分類 根據(jù)2 個層次的GLCM 分析和SVM，提取7×7 個單元格樣本圖像塊的紋理特征。30個樣本的第一層均值和方差的直方圖（見圖3A）。然后將第二層的均值和方差與第一層的比較（見圖3B）。根據(jù)第1 層和第2 層的紋理特征，SVM 在3 組的總準確率為0.83。但是，3組的level-1-out總準確率為0.57，見表1。

圖3 第1層和第2層分析的GCLM輸出特征Figure 3 GCLM output features from the 1st and 2nd layer's analysis

表1 利用第一層和第二層GLCM提取特征的線性SVM的準確率Table 1 Accuracy of linear SVM with 1st and 2nd layer GLCM extracted features

2.2 基于圖像塊的分類 在圖像塊水平上進行受試者工作特征（receiver operating characteristic，ROC）分析，用于比較不同CNNs 的ROC 曲線下的面積（area under the ROC curve，AUC）。SqueezeNet、ResNet-50、Alexnet 和VGG-16 的結果，見圖4～5，分別使用兩種不同的學習策略：從零開始訓練和對整個預訓練網(wǎng)絡進行微調。

2.3 基于幻燈片的癌癥區(qū)域檢測和與人類標注比較 結合之前所有基于圖像塊的分類結果，進行基于幻燈片的癌癥區(qū)域檢測。計算每個WSI的熱圖，見圖6。

在標注的區(qū)域內，可看到大部分區(qū)域的癌癥率均較高。也可在標注區(qū)看到一些假陰性區(qū)域（不那么紅的區(qū)域，如綠色箭頭指出的地方）。然而，當放大這些區(qū)域（見圖6C 和E）時，可看到假陰性區(qū)域實際上是真陰性區(qū)域。DL 模型還可分出腫瘤區(qū)域和正常區(qū)域的邊界，見圖6D和F]。

圖4 從零開始訓練的ROC曲線Figure 4 ROC of training from scratch

圖5 對整個預訓練網(wǎng)絡進行微調的ROC曲線Figure 5 ROC of fine tuning for whole networks

圖6 腫瘤區(qū)域檢測可視化Figure 6 Visualization of cancer region detection

3 討論

本研究測試了幾種深度學習模型用于肺癌的組織病理學診斷。可以看出，除ResNet-50外，從零開始訓練AUC要高于對整個網(wǎng)絡的微調。與其他計算機視覺任務的微調不同，本研究中模型似乎并沒有從imageNet預先訓練的模型中獲益太多。這是因為本研究的域與imageNet 域有內在的區(qū)別，從imageNet學到的權值實際上對最終的模型貢獻很小。AlexNet在這兩種訓練策略中都給出了最高的AUC。在腫瘤區(qū)域檢測可視化結果中，基于深度學習的模型可正確地預測這些區(qū)域，病理學家的標注也可在尊重模型訓練的基礎上得到進一步的改進，但可能需引入另一個深度學習模型來減少假陽性。初步結果表明，深度學習法具有診斷肺癌的潛力，有望在未來輔助病理醫(yī)生提高病理診斷的準確度，并減輕其負擔。但是，其診斷準確率低于已報道的用于其他癌癥診斷的深度學習系統(tǒng)，顯示出人工智能在肺癌診斷[12]的挑戰(zhàn)。這可能是由于不同載玻片之間的模式差異較大，導致訓練數(shù)據(jù)和測試數(shù)據(jù)不一致。病理學家的不精確標注也降低了檢測的準確性。在未來的工作中，一方面，本研究將收集更多的訓練數(shù)據(jù)來覆蓋數(shù)據(jù)分布的巨大變化，另一方面，本研究將探討其他技術，如領域自適應（domain adaptation）[16]來解決分布的差異，提高診斷的準確性。還將創(chuàng)建細粒度圖像注解（fine grained annotations）來區(qū)分不同類型的癌癥。