三維ResNet 網(wǎng)絡(luò)預(yù)測(cè)肺腺癌結(jié)節(jié)亞型的效能及其穩(wěn)定性

駱源，徐啟飛，呂澤政，蔡娜，郭麗

（1.天津醫(yī)科大學(xué)醫(yī)學(xué)技術(shù)學(xué)院醫(yī)學(xué)圖像處理教研室，天津 300203；2.山東省臨沂市人民醫(yī)院影像科，臨沂 276000）

在癌癥相關(guān)致死率排名第一的肺癌中，肺腺癌占比最大[1]。2021 年5 月出版的《WHO 胸部腫瘤分類，第5 版》已將其目錄中的原位腺癌（adenocarcinoma in situ，AIS）歸類為前驅(qū)病變[2]，其他常見亞型如：微浸潤(rùn)性腺癌（minimally invasive adenocarcinoma，MIA）和浸潤(rùn)性腺癌（invasive adenocarcinoma，IA）仍為腺癌類別。并且先前的研究表明，在肺腺癌的各種亞型中IA 的預(yù)后最差，但其他亞型都有著幾乎100%的生存率[3-4]。不同的預(yù)后決定了不同的臨床診療策略。由此，術(shù)前如何鑒別IA 與non-IA（AIS+MIA）非常重要，有助于輔助并指導(dǎo)臨床診療策略的構(gòu)建。

與從原始圖像中人工計(jì)算提取特征并利用機(jī)器學(xué)習(xí)模型識(shí)別疾病特有特征模式的模型建立方式相比，深度學(xué)習(xí)技術(shù)能以數(shù)據(jù)驅(qū)動(dòng)的方式自動(dòng)從原始高維度圖像中尋找低維特征來實(shí)現(xiàn)端到端的學(xué)習(xí)。前者因需要人工確定感興趣區(qū)，不可避免的不穩(wěn)定性將會(huì)被引入提取的特征之中，這在一定程度上影響了模型的性能及其泛化能力。相應(yīng)的，深度學(xué)習(xí)可以減少人工標(biāo)注的成本，提高數(shù)據(jù)分析的效率和客觀性。在先前的研究中深度學(xué)習(xí)模型能較好完成肺腺癌的精準(zhǔn)診斷任務(wù)，但其模型穩(wěn)定性仍有待驗(yàn)證[5-6]。在本研究中，筆者在兩個(gè)批次的數(shù)據(jù)中進(jìn)行建模和測(cè)試，旨在探究二元分類的三維卷積神經(jīng)網(wǎng)絡(luò)對(duì)肺腺癌亞型影像數(shù)據(jù)的鑒別效能、泛化能力以及模型的穩(wěn)定性。

1 材料與方法

1.1 材料 回顧性收集山東省臨沂人民醫(yī)院2014年2 月—2020 年10 月和2020 年4 月—2020 年11 月兩個(gè)批次的經(jīng)病理證實(shí)為肺腺癌患者的CT 影像資料。納入標(biāo)準(zhǔn)：經(jīng)病理證實(shí)為肺腺癌；有完整的CT影像資料；CT 圖像上表現(xiàn)為孤立的結(jié)節(jié)。排除標(biāo)準(zhǔn)：圖像質(zhì)量差，有明顯偽影；結(jié)節(jié)直徑不在3~30 mm內(nèi)。最終收集311 例患者的CT 圖像數(shù)據(jù)，共計(jì)422枚結(jié)節(jié)。從第1 批數(shù)據(jù)隨機(jī)分層抽樣70%的結(jié)節(jié)數(shù)據(jù)（n=256，IA=123 例，non-IA=133 例）作為模型訓(xùn)練數(shù)據(jù)集，剩余30%的結(jié)節(jié)數(shù)據(jù)（n=108，IA=51 例，non-IA=57 例）作為內(nèi)部測(cè)試集，將第2 批次的數(shù)據(jù)（n=58，IA=24 例，non-IA=34 例）作為外部測(cè)試集。

1.2 結(jié)節(jié)區(qū)域分割 使用3D-slicer 軟件（https://www.slicer.org/）進(jìn)行結(jié)節(jié)邊界的勾畫，每個(gè)結(jié)節(jié)的勾畫至少有2 名醫(yī)師的參與。在相同的窗（1 400 HU）窗位（-500 HU）下，1 名醫(yī)師對(duì)肺腺癌患者CT 影像的DICOM（medical digital imaging and communication）格式數(shù)據(jù)逐層手動(dòng)分割，在標(biāo)注過程中沿結(jié)節(jié)與正常組織交界處進(jìn)行分割且盡量避免納入氣管和血管，最終得到結(jié)節(jié)3D-VOI（volume of interest）的掩膜。在結(jié)節(jié)區(qū)域勾畫完畢之后，由另外一名高年資的醫(yī)師進(jìn)行核查，對(duì)于有異議的分割區(qū)域，在兩名醫(yī)師商議之后重新進(jìn)行勾畫。

1.3 數(shù)據(jù)處理 不同圖像獲取參數(shù)產(chǎn)生了不同大小的體素，為使它們所含信息量在同一水平而增加數(shù)據(jù)的一致性，對(duì)所有數(shù)據(jù)進(jìn)行了統(tǒng)一體素大小的重采樣。同時(shí)，為了讓重采樣之后的圖像數(shù)據(jù)更接近原始數(shù)據(jù)，統(tǒng)計(jì)了所有圖像體素在各維度上的大小，并取中位數(shù)0.7 mm。最終將所有圖像和掩膜的體素使用3 次樣條插值算法重采樣至0.7 mm×0.7 mm×0.7 mm。依據(jù)結(jié)節(jié)的中心，提取24×24×24（各結(jié)節(jié)大小的70%分位數(shù)）的三維數(shù)據(jù)塊。數(shù)據(jù)塊通過公式

1.4 網(wǎng)絡(luò)結(jié)構(gòu) 使用了一個(gè)基于ResNet[7]的3D 卷積神經(jīng)網(wǎng)絡(luò)，見圖1。為避免過擬合，不對(duì)原文章中的基礎(chǔ)模塊進(jìn)行堆疊，最后得到一個(gè)10 層的網(wǎng)絡(luò)（ResNet10）。網(wǎng)絡(luò)包含一個(gè)64 個(gè)7×7×7 卷積核的3D 卷積層以及4 個(gè)基礎(chǔ)模塊，每個(gè)基礎(chǔ)模塊中都有兩個(gè)卷積核大小為3×3×3 的卷積層，并在兩次卷積之后添加捷徑鏈接（shortcut connection），4 個(gè)基礎(chǔ)模塊中卷積核的個(gè)數(shù)分別為64、128、256、512。一個(gè)核大小為3×3×3 的最大匯聚層（max pooling layer）在第1 個(gè)基礎(chǔ)模塊之前，另外一個(gè)平均匯聚層（average pooling layer）在第4 個(gè)基礎(chǔ)模塊之后，輸出大小為1×1×1。在全連接層（fully connected layer）將卷積得到的特征映射到輸出之后，使用sigmoid 函數(shù)輸出網(wǎng)絡(luò)的預(yù)測(cè)概率。網(wǎng)絡(luò)中使用的激活函數(shù)都為整流線性單元（rectified linear units，ReLUs）。為了避免內(nèi)部協(xié)變量偏移[8]的問題，每層卷積層之后都會(huì)使用批量規(guī)范化（batch normalization）。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig 1 Structure of the convolutional neural network

1.5 網(wǎng)絡(luò)訓(xùn)練與測(cè)試 將25%的訓(xùn)練集數(shù)據(jù)作為驗(yàn)證數(shù)據(jù)集，在使用網(wǎng)格搜索以及早停（early stop－ping）[9]技術(shù)搜尋驗(yàn)證損失最佳的批大小以及學(xué)習(xí)率組合。使用基于梯度的隨機(jī)優(yōu)化器Adam[10]來對(duì)網(wǎng)絡(luò)權(quán)重進(jìn)行優(yōu)化，以及周期性學(xué)習(xí)率（cyclical learning rate）[11]技術(shù)動(dòng)態(tài)修改每輪訓(xùn)練過程中的學(xué)習(xí)率，將網(wǎng)絡(luò)10 次迭代作為1 周期，動(dòng)態(tài)學(xué)習(xí)率的最大值為基礎(chǔ)學(xué)習(xí)率的5 倍。在訓(xùn)練過程中對(duì)數(shù)據(jù)進(jìn)行概率為50%的隨機(jī)水平鏡像翻轉(zhuǎn)和隨機(jī)90°的旋轉(zhuǎn)來進(jìn)行數(shù)據(jù)增廣。選擇對(duì)應(yīng)驗(yàn)證損失最小的模型分別對(duì)內(nèi)部測(cè)試集以及外部測(cè)試集進(jìn)行預(yù)測(cè)，并使用受試者工作特性曲線（receiver operator characteristic curve，ROC curve）的曲線下面積（AUC）、敏感度、特異度對(duì)模型性能進(jìn)行評(píng)估。作為對(duì)比，原文獻(xiàn)中的ResNet-18 的3D 版本模型也按上述步驟，在相同的數(shù)據(jù)集上進(jìn)行了訓(xùn)練、調(diào)試以及測(cè)試。最后兩個(gè)模型所得參數(shù)均為：批大小為16，基礎(chǔ)學(xué)習(xí)率為3.6×10-4。最大訓(xùn)練輪數(shù)設(shè)置為200。本研究基于Pytorch[12]深度學(xué)習(xí)框架，設(shè)備硬件配置為Inteli9-10900X 中央處理器、64 GB 內(nèi)存、Nvidia GeForce RTX3080 圖形處理器，系統(tǒng)版本為Ubuntu 18.04.6LTS。模型訓(xùn)練及測(cè)試時(shí)間見表1。

表1 模型訓(xùn)練以及測(cè)試用時(shí)Tab 1 Time elapse of model training and test

1.6 ResNet10 模型的穩(wěn)定性測(cè)試

1.6.1 標(biāo)注敏感測(cè)試 結(jié)節(jié)中心由掩膜邊界計(jì)算得到。為測(cè)試深度學(xué)習(xí)模型是否對(duì)不穩(wěn)定人工標(biāo)注敏感，對(duì)測(cè)試集數(shù)據(jù)，對(duì)計(jì)算得到的結(jié)節(jié)中心隨機(jī)增加一個(gè)各維度上的偏移，并根據(jù)此中心提取用于測(cè)試的數(shù)據(jù)塊。比較模型對(duì)增加隨機(jī)偏移前后的數(shù)據(jù)的預(yù)測(cè)效能。各維度的可移動(dòng)量為4 個(gè)像素單位。

1.6.2 掩膜測(cè)試 從原始圖像數(shù)據(jù)中提取固定大小的數(shù)據(jù)塊時(shí)部分?jǐn)?shù)據(jù)塊會(huì)納入結(jié)節(jié)周圍信息，僅對(duì)每個(gè)測(cè)試集使用數(shù)據(jù)對(duì)應(yīng)結(jié)節(jié)掩膜將三維數(shù)據(jù)塊內(nèi)結(jié)節(jié)周圍的信息剔除，并設(shè)置為-1 000 Hu 的CT 值。不重新訓(xùn)練模型，使用處理后的兩組測(cè)試集對(duì)已經(jīng)在訓(xùn)練集中訓(xùn)練完成的模型進(jìn)行測(cè)試。使用ROC 及其AUC、敏感度、特異度評(píng)估模型分類表現(xiàn)。用混淆矩陣展示模型在各測(cè)試集中的具體分類情況。

2 結(jié)果

2.1 數(shù)據(jù)基本統(tǒng)計(jì)信息 第一批次收集的數(shù)據(jù)共364 個(gè)結(jié)節(jié)。將每個(gè)結(jié)節(jié)作為一個(gè)樣本，男性有232人，女性有132 人。平均年齡為（55.1±10.8）歲。結(jié)節(jié)直徑10.3（6.9，16.0）mm，。第二批次收集的數(shù)據(jù)共58 個(gè)結(jié)節(jié)。將每個(gè)結(jié)節(jié)作為一個(gè)樣本，男性有44 人，女性有14 人。年齡均值為（53.8±11.9）歲。結(jié)節(jié)直徑10.2（6.9，15.2）mm。

2.2 模型測(cè)試結(jié)果 表2 列出了訓(xùn)練完成的ResNet10模型在內(nèi)部測(cè)試集和外部測(cè)試集以及相應(yīng)的用于模型穩(wěn)定性測(cè)試的數(shù)據(jù)集中的分類表現(xiàn)。在原始的內(nèi)部測(cè)試集以及外部測(cè)試集中AUC 值分別為0.949 1 和0.959 6。ResNet18 模型在內(nèi)部測(cè)試集和外部測(cè)試集中的分類性能與ResNet10 相似，在內(nèi)部測(cè)試集以及外部測(cè)試集中AUC 值分別為0.945 3和0.957 1。在內(nèi)部測(cè)試集測(cè)試的敏感度和特異度分別為92.16%和87.72%，在外部測(cè)試集中敏感度和特異度分別為79.17%和91.18%，較低于ResNet10模型所得結(jié)果。18 層結(jié)構(gòu)的模型在本數(shù)據(jù)集上出現(xiàn)了過擬合的現(xiàn)象。內(nèi)部測(cè)試集和外部測(cè)試集中模型分類的ROC 曲線見圖2，分類的混淆矩陣見圖3，在各種測(cè)試情景下，模型均能較好的對(duì)各類結(jié)節(jié)進(jìn)行分類，體現(xiàn)在混淆矩陣較高的主對(duì)角線值。在隨機(jī)結(jié)節(jié)中心移動(dòng)的模型穩(wěn)定性測(cè)試中，模型在內(nèi)部測(cè)試集和外部測(cè)試集的分類混淆矩陣和其在原數(shù)據(jù)中的混淆矩陣相近，模型AUC 值與在原數(shù)據(jù)測(cè)得的相比差異均無統(tǒng)計(jì)學(xué)意義（P 值分別為0.425 3和0.276 9）。在使用掩膜處理原數(shù)據(jù)的模型穩(wěn)定性測(cè)試中，混淆矩陣右上角值增大，模型分類的假陽性樣本增多。相應(yīng)的，模型特異度在內(nèi)部測(cè)試集和外部測(cè)試集中與在原數(shù)據(jù)測(cè)試的結(jié)果（分別為82.46%和94.12%）相比都有不同程度的下降，分別為66.67%和52.94%，統(tǒng)計(jì)比較的P 值分別為0.085 4 和0.000 4。但在兩測(cè)試集中模型AUC 值與在原數(shù)據(jù)測(cè)得的相比差異均無統(tǒng)計(jì)學(xué)意義（P 值分別為0.239 3 和0.753 9）。

圖2 內(nèi)部測(cè)試集和外部測(cè)試集中ResNet10 模型分類表現(xiàn)的ROC 曲線Fig 2 ROC curve of ResNet10 classification performance in internal test set and external test set

圖3 ResNet10 模型在各測(cè)試數(shù)據(jù)上分類的混淆矩陣Fig 3 Confusion matrices of ResNet10 classification on each test data

表2 不同測(cè)試集中ResNet10 模型的分類性能Tab 2 ResNet10 classification performance in different test dataset

2.3 模型分類模式 部分結(jié)節(jié)中心軸位面的影像數(shù)據(jù)見圖4。對(duì)于第3 行的non-IA 結(jié)節(jié)圖像，模型做出了誤判，診斷為IA 類結(jié)節(jié)。第4 行假陰性樣本的圖像中多數(shù)結(jié)節(jié)與周圍組織沒有很強(qiáng)的對(duì)比，與陰性樣本相似，導(dǎo)致了模型的誤判。

圖4 部分結(jié)節(jié)圖像數(shù)據(jù)Fig 4 Images data of some nodules

3 討論

本研究試圖通過使用CT 影像數(shù)據(jù)訓(xùn)練三維ResNet 網(wǎng)絡(luò)對(duì)不同侵襲性的肺腺癌進(jìn)行分類，并使用內(nèi)部測(cè)試集和外部測(cè)試集評(píng)估模型分類的準(zhǔn)確性和泛化性。通過隨機(jī)中心點(diǎn)移動(dòng)和掩膜處理的方式構(gòu)建新的測(cè)試集以評(píng)估神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性。

隨著神經(jīng)網(wǎng)絡(luò)權(quán)重層的增多，模型過擬合的風(fēng)險(xiǎn)也會(huì)增大。僅通過與相同的調(diào)參以及訓(xùn)練步驟的18 層三維ResNet 網(wǎng)絡(luò)進(jìn)行對(duì)比，可以看出在本數(shù)據(jù)集中適當(dāng)減少含有權(quán)重參數(shù)的層，能在不降低模型分類性能的情況下增加模型的泛化性能。且在使用早停方法訓(xùn)練模型的前提下，ResNet10 模型僅在18 個(gè)訓(xùn)練周期內(nèi)就達(dá)到了ResNet18 訓(xùn)練25 個(gè)周期的效果，由此可見ResNet10 模型更適合于當(dāng)前數(shù)據(jù)集。

借助深度學(xué)習(xí)模型來對(duì)圖像數(shù)據(jù)進(jìn)行診斷，同樣也能通過模型對(duì)于圖像的行為分析來對(duì)模型進(jìn)行診斷。在2.3 中，展示了部分結(jié)節(jié)中心軸位面的影像數(shù)據(jù)。希望通過圖像分析得到模型的分類規(guī)律以及模型的偏倚。從圖像的角度，真陽性結(jié)節(jié)在圖像上一般為較大的內(nèi)部密度不均的區(qū)域，且在密度上與瘤周正常組織形成了強(qiáng)的對(duì)比。真陰性結(jié)節(jié)則一般較小，內(nèi)部密度較均勻，與周圍組織對(duì)比不強(qiáng)。對(duì)于圖4 中第3 行的non-IA 結(jié)節(jié)圖像，模型做出了誤判，診斷為IA 類結(jié)節(jié)。一種可能的解釋是：結(jié)節(jié)區(qū)域大多都出現(xiàn)了高密度的噪聲，原本均質(zhì)的結(jié)節(jié)內(nèi)部密度變得不一致，從而導(dǎo)致了模型的誤判。圖4中第4 行假陰性的樣本與周圍組織沒有很強(qiáng)的對(duì)比，這與大多數(shù)IA 類結(jié)節(jié)和周圍組織形成高對(duì)比的特征不一致，而編號(hào)為3129979_N1_1 的圖像則可能是由于結(jié)節(jié)本身較大，在數(shù)據(jù)截取過程中僅截取到了其內(nèi)部部分區(qū)域，因此失去了與周圍組織密度高對(duì)比度的特征，從而導(dǎo)致了模型的誤判。

在前人的研究中[6，14-15]，深度學(xué)習(xí)在肺腺癌結(jié)節(jié)的分類任務(wù)中同樣都有較優(yōu)異的表現(xiàn)，證實(shí)了深度學(xué)習(xí)在肺腺癌侵襲性早期分類的應(yīng)用前景。筆者的試驗(yàn)中，深度學(xué)習(xí)模型在訓(xùn)練之后對(duì)一定范圍內(nèi)隨機(jī)中心點(diǎn)移動(dòng)后提取的數(shù)據(jù)仍具有優(yōu)異的分類表現(xiàn)，且與在原始數(shù)據(jù)得到的結(jié)果無統(tǒng)計(jì)學(xué)差異。說明深度學(xué)習(xí)模型對(duì)人工標(biāo)注的不穩(wěn)定性有一定的容受能力。使用經(jīng)過掩膜處理之后的數(shù)據(jù)對(duì)模型進(jìn)行測(cè)試，無論是在內(nèi)部測(cè)試集還是在外部測(cè)試集中，其AUC 與在原始數(shù)據(jù)得到的AUC 同樣無統(tǒng)計(jì)學(xué)差異。由此可以看出，在提取用于訓(xùn)練深度學(xué)習(xí)模型的數(shù)據(jù)時(shí)，只需確定大致的中心點(diǎn)并按一定大小提取數(shù)據(jù)塊，深度學(xué)習(xí)模型就能自動(dòng)聚焦于差異區(qū)域并提取特征用于分類。

本研究仍然存在一定的局限性：深度學(xué)習(xí)模型是數(shù)據(jù)驅(qū)動(dòng)的，422 個(gè)肺結(jié)節(jié)的數(shù)據(jù)集對(duì)于深度學(xué)習(xí)模型仍然不足。結(jié)果2.3 可看出，當(dāng)數(shù)據(jù)中摻入噪聲或者數(shù)據(jù)存在偏倚，模型將不能準(zhǔn)確做出判斷。需要采集更多的數(shù)據(jù)或使用更多的數(shù)據(jù)增廣方式用以訓(xùn)練模型，使用在較大3D 醫(yī)學(xué)圖像數(shù)據(jù)集中訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的遷移學(xué)習(xí)也可能緩解這一問題。雖然體素重采樣能部分解決獲取的圖像在采集過程中由于成像協(xié)議不同帶來的數(shù)據(jù)差異，但仍需要嘗試更加有效的方法來增加數(shù)據(jù)一致性。筆者雖然分兩個(gè)批次收集了數(shù)據(jù)用以評(píng)估模型的泛化性，但仍需要在多中心的數(shù)據(jù)中進(jìn)行測(cè)試。

在本研究中深度學(xué)習(xí)模型展示了肺腺癌結(jié)節(jié)侵襲性分類的優(yōu)異性能表現(xiàn)。同時(shí)它相較于手工提取特征的建模方式更加高效且具有一定的穩(wěn)定性。深度學(xué)習(xí)模型在肺腺癌的診斷任務(wù)中是有應(yīng)用前景的，能輔助臨床進(jìn)行精確診斷并做出治療決策。