基于3D卷積神經網絡對局部晚期NSCLC患者的生存預測

馬亞楠 宋玥 郝天宇

摘? 要：目前關于非小細胞肺癌（NSCLC）患者生存分析的研究已經有很多，但是大多數都是在醫生勾畫出腫瘤的基礎上進行影像組學特征提取，其次結合臨床以及治療前患者的腫瘤PET/CT圖像特征進行生存分析的研究。在無醫生勾畫腫瘤的基礎上，采用深度學習的方法，基于患者治療前后FDG-PET是否可以對局部晚期NSCLC患者進行生存分析。在采用治療前和治療后FDG-PET時，基于3D卷積神經網絡（3D CNN）的深度生存模型的一致性指數（C-index）為0.67。研究表明，同時使用治療前后PDG-PET進行閱片可以預測出患者的風險概率。

關鍵詞：非小細胞肺癌；治療前后PDG-PET；3D卷積神經網絡；生存分析

中圖分類號：TP391? 文獻標識碼：A? 文章編號：2096-4706（2023）04-0109-05

Survival Prediction of Patients with Locally Advanced NSCLC Based on 3D CNN

MA Ya'nan， SONG Yue， HAO Tianyu

（Lanzhou University of Finance and Economics， Lanzhou? 730020， China）

Abstract： There have been many studies on the survival analysis of patients with non-small cell lung cancer （NSCLC）. However， most of the studies are based on the extraction of tumor radiomics features based on the tumour label outlined by the physician， followed by a combination of clinical and pre-treatment PET/CT image features of the patient for survival analysis. Survival analysis of patients with locally advanced NSCLC based on whether pre-treatment and post-treatment FDG-PET can be performed by using a deep learning approach without the basis of tumors label of the physician. The consistency index （C-index） of the deep survival model based on 3D CNN is 0.67 when using pre-treatment and post-treatment FDG-PET. The study shows that simultaneous reading with pre-treatment and post-treatment PDG-PET can predict the risk probability of patient.

Keywords： non-small cell lung cancer; pre-treatment and post-treatment PDG-PET; 3D CNN; survival analysis

0? 引? 言

癌癥是世界范圍內的主要公共衛生問題。肺癌是世界范圍內最常見的癌癥類型，也是導致癌癥死亡的主要原因[1]。肺癌可以大致分為小細胞肺癌（Small Cell Lung Cancer， SCLC， 15%）和非小細胞肺癌（Non-small cell lung cancer， NSCLC， 85%）。其中NSCLC患者中超過三分之一（33%～50%）的患者表現為局部晚期疾病[2]。局部晚期NSCLC通常是指Ⅲ期的NSCLC[3]。

PET對NSCLC分期有效，與常規分期相比，對局部或遠端轉移疾病的敏感性和特異性更高[4]；并且已經有研究證明，放化療后相對較快獲得的18-氟脫氧葡萄糖（FDG）PET可以預測長期預后。但是由于PET/CT檢查非常昂貴，極少有病人會在治療后再次進行PET/CT篩查，導致治療后圖像數據非常稀缺。并且腫瘤金標準勾畫非常昂貴和耗時，如果可以在不勾畫腫瘤金標準的基礎上，對PET圖像進行閱片來對患者進行生存分析可以節省極大的人力和時間。

Cox比例風險模型可以對比與事件和事件發生時間相關的變量，是醫學研究[5]中常用的分析方法。該方法不僅提供了結果（即是否死亡），還提供了事件發生的時間，這對臨床實踐更有模型幫助。Cox比例風險模型表現出較高的性能，但也有局限性。它假設是線性分析，而不是進行非線性分析。非線性分析可以更好地反映實際的特征與患者預后之間的相關性[5]。

在過去的幾年里，深度學習已經成為一個跨越廣泛的成像領域的強大工具，如分類、預測、檢測、分割、診斷、解釋、重建等。雖然深度神經網絡最初在計算機視覺社區中發現，但它們很快傳播到醫學成像應用。

深度學習在診斷疾病方面的加速力量將使醫生在臨床環境中加快決策。近年來，現代醫療器械的應用和醫療保健的數字化產生了大量的醫學圖像。在這個大數據領域，用于高效數據處理、分析和生成數據建模的新深度學習方法和計算模型對于臨床應用和理解潛在的生物過程至關重要。

近年來，深度學習在醫學領域引起了關注[6，7]。通過深度學習，有可能提取出特征與個體預后之間復雜的線性和非線性關系。將深度學習集成到Cox比例風險模型中，導致了深度學習生存神經網絡（DeepSurv）的發展[8]。在具有線性和非線性協變量的生存數據上，這已被證明與其他生存分析方法一樣好或更好。死亡時間估計的優點是它比傳統的二值分類任務能提供更多的信息。傳統的二元分類并不估計患者在死亡風險增加之前的多少天。另一方面，死亡時間模型可以從一個固定時間點（在該模型中的入院時）的數據中估計隨時間變化的死亡風險。

假設可以通過使用FDG-PET建立一個可以直接從醫學影像中提取圖像特征的預后模型。由于DeepSurv沒有處理圖像的機制，整合了卷積神經網絡（CNN），這是DeepSurv的深度學習領域之一。可以用端到端的形式直接使用和處理圖像，以評估預后。

本文的研究重點是基于患者治療前和治療后的FDG-PET圖像，并采用深度學習的卷積神經網絡模型對NSCLC患者進行生存分析。

1? 相關知識

1.1? 生存分析

生存數據由三個要素組成：患者的基線數據x、事件發生的時間間隔T和事件指示器E。如果觀察到事件（例如死亡），時間間隔T對應于收集基線數據的時間和事件發生的時間之間的時間，并且事件指示器為E=1。如果沒有觀察到一個事件，時間間隔T對應于收集基線數據到與患者最后一次接觸（如研究結束）之間經過的時間，事件指標為E=0。在這種情況下，病人被認為是正確審查的。如果選擇使用標準回歸方法，右截尾數據被認為是一種缺失數據。這通常會被丟棄，這可能會在模型中引入偏差。因此，對右截尾數據進行建模需要特別考慮或使用生存模型。

生存和風險函數是生存分析中的兩個基本功能。生存函數用S（t）=Pr（T＞t）表示，它表示一個個體在時間t后“存活”的概率。風險函數λ（t）的定義為：

風險函數是一個人不能存活額外的時間δ的概率，假設他們已經存活到時間t。因此，危險越大，死亡的風險就越大。

生存分析模型包括兩個部分，包括線性分析模型以及非線性分析模型。常用的線性生存分析模型指的是Cox比例風險回歸模型，用來處理特征與生存時間以及生存狀態之間的線性關系。但是通常得到的特征，其與患者生存狀態以及時間之間的關系并非是線性關系，因此會采用深度學習生存神經網絡來處理特征進行生存分析，并且深度學習可以直接用來處理圖像，為使用深度學習進行生存分析提供了一種端到端的方式。

1.2? CNN

在深度學習和醫學圖像處理領域，CNN是最常用的神經網絡。CNN結構由三層類型組成：（a）卷積，（b）池化層和（c）全連接層，分層有序，堆疊在多層中。除了這些層之外，還有一個輸入層和一個輸出層。每一層的功能都是學習圖像[9]的具體特征。

CNN模型的性能會在很大程度上受到數據的影響。此外，它可能對結果產生誤導，以及模糊圖像特征從而影響到CNN最終的預測結果，因為已知放射圖像有噪聲、人工制品和其他因素，可能影響醫療和計算機應用程序的感知[10]。因此，醫學圖像分析的第一步通常是圖像預處理，以改善圖像的質量、對比度、噪聲去除等特征[11]。

2? 實驗數據

2.1? 數據來源

本文所采用的數據為公開數據集，患者數據來自美國放射影像網絡（ACRIN）6668/放射治療腫瘤組（RTOG）/0235。該數據集總共有250名患者，共有242名非小細胞肺癌患者的影像數據。其中239名患者有PDG-PET圖像數據，180名患者有治療前和治療后的FDG-PET圖像，156名患者有治療前和治療后的FDG-PET/CT圖像。

2.2? 數據預處理

所采用的數據中每名患者都有治療前和治療后的FDG-PET/CT圖像，首先，將患者的FDG-PET/CT圖像經過3DSlicer醫學圖像處理軟件得到其PET圖像對應的SUV圖像；然后，去除處理異常和SUV圖像異常的數據以及臨床分期非、、的患者，然后將所有的患者切片進行重采樣到相同的層厚，最后手動挑選出所有病人肩膀以下、膀胱以上的部分，最終納入144名患者。并將圖像進行了歸一化，剔除圖像中可能存在的一些噪聲以及干擾信息。從中隨機選取80%的數據作為訓練集，其余20%的數據為測試集。本實驗采用的數據情況如表1所示。

3? 實驗方法

3.1? 模型結構

本文采用的生存分析模型如圖1所示。將同一名患者治療前后的FDG-PET同時輸入到由3D卷積神經網絡組成的特征提取器中，用來進行圖像特征提取；然后將提取到的特征通過通道數疊加到一起，最后經過全連接層預測患者的風險概率。

具體來說就是將一個CNN合并到DeepSurv[8]中：將CNN的輸出連接到DeepSurv的全連接層，以創建一個端到端深度學習模型。該模型同時由CNN和MLP結構組成。在正向傳播過程中，將從影像中提取到的CNN的特征傳遞給MLP。損失根據MLP的輸出值計算。然后，CNN和MLP中的權重將同時進行更新。在每個訓練過程中，模型將圖像和臨床數據作為輸入，預測結果（死亡或出院），然后通過反向傳播對DeepSurv和CNN進行訓練。

3.2? 特征提取模塊

所采用的特征提取模塊如圖2所示。特征提取模塊的基本框架是3D-VGG16，與VGG16不同的是，只采用的VGG16網絡的前三個卷積塊來進行圖像特征提取，并分別在第一和最后一個卷積塊后加入了卷積注意力（Convolutional Block Attention Module， CBAM）[12]模塊，如圖3所示。

本實驗采用的三個卷積塊中，前兩個卷積塊由兩個3×3×3的卷積組成，最后一個卷積塊由三個3×3×3的卷積組成。每個3×3×3的卷積后都跟了一個批量歸一化（即BatchNorm）和Relu激活層。在每個卷積塊的最后都有一個最大池化層用來進行下采樣，核大小為2×2×2，步幅為2。

CBAM模塊由兩個部分組成，分別是通道注意力模塊和空間注意力模塊。通道注意力模塊是將從卷積塊得到的特征先分別經過全局平均池化和全局最大池化層，然后分別通過共享參數的MLP層后相加，最后經過Softmax激活后和最初的特征相乘得到通道注意力特征。通道注意力模塊中的MLP層是由兩個1×1×1的卷積組成，兩個卷積層中間加了一個Relu激活層。空間注意力模塊是將從經過通道注意力模塊得到的特征分別經過最大和平均池化層后，得到兩個不同的特征圖，然后經過通道數堆疊，通過一個1×1×1的卷積層以及Softmax激活層，將得到的概率圖和通道注意力特征相乘得到最后的卷積注意力特征。最后在特征提取器后面加了一個全局平均池化層，將卷積神經網絡提取到的三維特征映射到一維層面，并進行患者的生存預測。

4? 實驗與結果

4.1? 損失函數

卷積神經網絡的輸出是具有線性激活的單個節點，估計的是Cox模型中的對數風險函數[8]，因此本文采用的損失函數是平均負對數似然損失函數：

其中，NE=1為患有可觀察事件的患者數量。

模型訓練過程中的損失如圖4所示，訓練過程中訓練集的損失隨著epoch的增加，是成波動變化的，但整體上呈下降趨勢。

4.2? 實驗參數設置

由于實驗設備的局限，為了保證實驗的順利進行，本實驗的特征提取模塊中的卷積塊通道數分別為16、32、32。用于治療前和治療后FDG-PET的特征提取器的參數是共享的。優化器選擇的是Adam優化器與權重衰減為0.000 5，學習率設置為0.001，并選擇使損失函數最小的權重用于測試。

4.3? 評價指標

C-index，C指數，即一致性指數（index of concordance），用來評價模型的預測能力。它估計了預測結果與實際觀察到的結果相一致的概率，取值范圍在[0， 1]，計算方法為：

其中，n是可比較對的數量， 是指示函數，t是實際的時間觀測值，f表示預測的風險概率。C-index數值越大，模型的預測結果就越好[13]。

4.4? 特征提取可視化

在特征提取模塊，卷積神經網絡提取到的特征圖可視化如圖5所示，圖5（a）至圖5（d）為治療前患者的FDG-PET所提取到的特征圖，圖5（e）至圖5（f）為治療后患者的FDG-PET所提取到的特征圖。圖中第一行圖片是特征提取模塊提取的患者治療前FDG-PET的圖像特征，第二行圖片是特征提取模塊提取的患者治療后FDG-PET的圖像特征。第一列圖像是輸入的圖像經過特征提取模塊的第一個卷積塊時候所提取到的淺層圖像特征，第二列圖像是圖像經過特征提取模塊的第二個卷積塊后所提取到的圖像特征，第三列是圖像經過特征提取模塊的第三個卷積塊后所提取到的深層圖像特征，最后一列是第三列圖像經過CBAM后得到的最終的圖像特征。圖像在經過每個卷積塊后，圖像的大小以及像素值都會發生改變，為了觀察方便，手動把它調整為同樣大小，特征圖的像素值也經過了歸一化擴展到了[0， 255]。

4.5? 實驗結果與分析

為了驗證僅使用治療前或治療后的FDG-PET圖像對生存分析是否有幫助，進行了對比實驗。實驗結果如表2所示。實驗結果表明在單獨使用治療前或治療后患者的PDG-PET圖像進行生存分析時，是可以提取到與患者生存分析有關的一些圖像特征的，雖然生存分析結果的C-index偏低，但是還是對患者生存分析有一定的幫助。模型在同時使用治療前和治療后患者的FDG-PET圖像時，生存分析效果最好，這表明網絡同時學到了治療前和治療后患者的FDG-PET的一些特征，并可能學到了它們之中的不同之處用來進行最后的生存分析，才會使在同時使用治療前和治療后的圖像時，生存分析結果有所提升。其中3D CNN with CBAM表示本文所采用的模型，3D CNN without CBAM表示的是在本文所采用模型的基礎上去掉CBAM模塊，實驗結果的目的是為了驗證網絡加入CBAM模塊后效果是否有提升，驗證CBAM模塊的有效性。最終實驗結果表明，在加入CBAM模塊后，模型的效果得到了提升，這表明卷積神經網絡在加入注意力模塊時，模型學到了一些與生存分析有關的特征，尤其是在同時使用治療前和治療后的FDG-PET時，生存分析的效果最好，C-index達到了0.67。

5? 結? 論

本文的實驗表明，在沒有醫生勾畫腫瘤金標準的情況下，采用閱片的形式對患者進行生存分析是可行的，并且在同時使用治療前和治療后的FDG-PET時效果最好，C-index達到了0.67。

參考文獻：

[1] SIEGEL R L，MILLER K D，FUCHS H E，et al. Cancer Statistics [J].CA：A Cancer Journal for Clinicians.2022，72（1）：7–33.

[2] 中華醫學會腫瘤學分會，中華醫學會雜志社.中華醫學會腫瘤學分會肺癌臨床診療指南：2021版 [J].中華腫瘤雜志，2021，43（6）：591-621.

[3] SHIARLI A-M，PATEL P，MCDONALD F. Management of Locally Advanced Non-Small Cell Lung Cancer [M]//JANES S M. Encyclopedia of Respiratory Medicine：Second Edition.Pittsburgh：Academic Press，2022：810-824.

[4] TRUONG M T，VISWANATHAN C，ERASMUS J J. Positron Emission Tomography/Computed Tomography in Lung Cancer Staging，Prognosis，and Assessment of Therapeutic Response [J].Journal of Thoracic Imaging，2011，26（2）：132-46.

[5] COX D R. Regression Models and Life-Tables [M]//KOTZ S，JOHNSON N L. Breakthroughs in Statistics Volume II Methodology and Diitribution.Berlin：Springer，1992：527-541.

[6] HINTON G. Deep Learning—a Technology with the Potential to Transform Health Care [J].JAMA，2018，320（11）：1101-1102.

[7] LECUN Y，BENGIO Y，HINTON G. Deep learning [J].Nature，2015，521（28）：436-444.

[8] KATZMAN J L，SHAHAM U，CLONINGER A，et al. Deepsurv：Personalized Treatment Recommender System Using a Cox Proportional Hazards Deep Neural Network [J/OL].arXiv：1606.00931 [stat.ML].[2022-08-03].https：//arxiv.org/abs/1606.00931.

[9] VIZCARRA J，PLACE R，TONG L，et al. Fusion in Breast Cancer Histology Classification [C]//the 10th ACM International Conference on Bioinformatics，Computational Biology and Health Informatics.Niagara Falls：ACM，2019：485-493.

[10] NISHIKAWA R M，GIGER M L，DOI K，et al. Effect of Case Selection on the Performance of Computer-Aided Detection Schemes [J].Medical physics，1994，21（2）：265-269.

[11] RODRIGUEZ-RUIZ A，TEUWEN J，CHUNG K，et al. Pectoral Muscle Segmentation in Breast Tomosynthesis with Deep Learning [C]//Medical Imaging 2018：Computer-Aided Diagnosis.Houston：SPIE，2018：10575.

[12] WOO S，PARK J，LEE J-Y，et al. CBAM：Convolutional Block Attention Module [J/OL].arXiv：1807.06521 [cs.CV].[2022-08-06].https：//arxiv.org/abs/1807.06521v2.

[13] YAO J W，ZHU X L，JONNAGADDALA J，et al. Whole Slide Images Based Cancer Survival Prediction Using Attention Guided Deep Multiple Instance Learning Networks [J/OL].arXiv：2009.11169 [eess.IV].[2022-08-09].https：//arxiv.org/abs/2009.11169.

作者簡介：馬亞楠（1996—），女，漢族，河南鄭州人，碩士在讀，研究方向：信息管理與信息系統；宋玥（1997—），女，漢族，山西呂梁人，碩士在讀，研究方向：信息管理與信息系統；郝天宇（2001—），男，漢族，湖北荊門人，本科在讀，研究方向：信息管理與信息系統。

收稿日期：2022-09-30