基于CT圖像的肺結核病灶治愈狀態判定深度學習模型的建立

秦李祎 呂平欣 郭琳 錢令軍 肖謙 楊陽 尚園園 賈俊楠 初乃惠 劉遠明 李衛民

結核病是嚴重危害人類健康的傳染性疾病[1]。活動性肺結核患者是重要的傳染源,及時治愈活動性肺結核患者是結核病預防控制的關鍵環節。在活動性肺結核治療過程中,有效判定肺內病變是否處于活動性是輔助臨床醫生治療決策的關鍵[2-4]。影像學檢查作為肺結核篩查、診斷、病變嚴重程度評估和治療效果評價的常規輔助工具,對評判肺結核病變是否治愈具有重要的參考價值[5-9]。但是,依據傳統方法進行影像學評價過于依賴閱片者的主觀經驗,且缺乏一致性[8,10-11]。由于肺結核病灶的狀態是局部病原菌、免疫微環境及藥物滲透共同作用和博弈的結果,具有一定的異質性和復雜性,影像表現上常出現“活動性不確定”的征象[12-14],需結合其他手段進行綜合判斷,準確性有所欠缺。

深度學習是人工智能的一個子領域,擅長識別大量成像數據中的復雜模式,具有從醫學圖像中自動提取隱含的疾病分類特征的優勢[15]。在大多數基于深度學習區分肺結核活動性的研究中,用于模型訓練的活動性/非活動性病灶標簽的設置都是基于現有影像學專家共識描述確定的[2-3,16-18]。但是,這些用于訓練的病灶只包括能夠通過形態和密度確認活動性狀態的病灶,即以專家判斷的非活動性肺結核病變為標簽,而并非確定診斷的病灶,可能存在假陽性的結果。最近,Lee等[19]構建了在胸部X線攝片(簡稱“胸片”)上識別肺結核活動性的深度學習模型,該模型的訓練標簽為患者治療前和治療后的胸片,模型最終對病灶活動性的判定性能與經驗豐富的醫生相當。本研究納入的患者為臨床明確診斷的活動性肺結核患者,采集患者治愈前后的CT圖像中的病灶作為活動性和非活動性數據集,構建了基于掩膜區域卷積神經網絡(mask region-based convolutional neural network,Mask R-CNN)框架[20]的病灶活動性分類深度學習模型,以期實現對肺結核病灶狀態的精準判定。

對象和方法

一、研究對象

(一)納入和排除標準

1.納入標準:(1)年齡范圍為18～70歲;(2)HIV檢測陰性;(3)病原學、病理學證實的肺結核患者[21];(4)完成抗結核治療并治愈的患者;(5)有抗結核治療前后及治療過程中的CT資料,且圖像質量良好;(6)具有完整可用的病例資料,包括一般人口學數據、治療起始時間、治療結局、初復治類型及耐藥情況等。

2.排除標準:(1)肺外結核及合并肺炎、腫瘤、慢性阻塞性肺疾病等其他肺部疾病者;(2)病灶難以勾畫者;(3)抗結核治療前后CT資料質量不佳或不全者。

(二)數據收集

參照納入和排除標準,回顧性收集2018年12月至2020年12月首都醫科大學附屬北京胸科醫院明確診斷的活動性肺結核患者(102例),并逐一隨訪確認每例患者的治療結局。回顧性隊列按照8∶2的比例作為測試和驗證數據集。

收集患者的人口學、臨床及相應的CT資料。CT資料覆蓋患者抗結核治療全程(治療前、治療中、治療后)。其中,治療過程中的圖像用于追蹤觀察獨立病灶的變化。從抗結核治療前和治療后演化的CT影像資料中篩選活動性和非活動性病灶,將病灶的三維感興趣體積(volume of interest,VOI)作為標簽用于模型的構建。

此外,按照相同標準,于2021年10月至2022年12月,在同一家醫院前瞻性納入肺結核患者治愈隊列(72例)作為獨立驗證集。

本研究前瞻性隊列通過了首都醫科大學附屬北京胸科醫院倫理委員會的審核批準(編號:YJS-2021-024)。所有數據在使用前均進行了脫敏處理。

二、研究方法

1.檢查方法:采用GE 256排Revolution CT機。掃描參數:120 kV,200～240 mA(自動毫安補償技術);掃描層厚5 mm,螺距1.375,并全部進行薄層標準肺重建,重建層厚為1.25 mm,層間隔為1.25 mm。CT資料以DICOM格式進行存儲,并保存在影像歸檔和通信系統(picture archiving and communication systems,PACS)中以供調閱。

2.圖像分割和預處理:通過ITK-Snap 3.6.0軟件內置的半自動分割模塊“Active Contour Segmentation Mode”結合手動標注模塊進行病灶的逐層勾畫,最終獲得整個病灶的VOI。考慮到肺結核病灶的復雜性,在勾畫過程中,標記原則:(1)對于邊界清晰的孤立性病灶,將其作為一個獨立標簽;(2)對于不同征象病灶融合的現象(如實變與周圍的部分結節融合),則以融合的大病灶為一個整體追溯病灶的變化;(3)對于局部同時存在的多個小病灶(如某個支氣管周圍播散的多個結節),則以引流支氣管為中心,將該支氣管附近的病灶簇按照一個病灶進行標記,從而保證不同類型病灶在模型訓練數據中的平衡。首先,由1位低年資醫師執行病灶的勾畫工作,之后由2位高年資醫師審查勾畫結果,并對存在分歧的病灶標簽進行一致性修改。對于所有用于深度學習模型輸入的CT圖像進行預處理以提升模型性能。

3.深度學習模型的構建:使用活動性組及非活動性穩定組的肺結核病灶VOI作為模型輸入進行訓練。考慮到樣本量大小的影響,本研究采用了遷移學習的方式進行模型的搭建。將“結核病預防控制輔助決策系統”(深圳市智影醫療科技有限公司)人工智能模型架構作為預訓練網絡,構建了具有Mask R-CNN架構的肺結核病灶活動性判定深度學習模型,該模型可以同時實現病灶的自動分割及病灶活動性類別的預測任務。

模型構建細節:基于ResNeSt 2D卷積網絡結構,構建3D卷積的ResNeSt 3D模塊作為Mask R-CNN 模型的主干網絡,用于提取肺部CT圖像的特征。借鑒U-net結構,通過采樣和特征圖拼接方式,處理主干網絡提取的特征圖,最終輸出stride為4的特征圖,用于檢測和分割任務。接著,采用RPN(region proposal network)模塊進行前景檢測,ROI模塊進行區域興趣區病灶預測,Mask模塊進行分割信息預測。

三、相關定義

(1)肺結核治愈:抗結核治療后6個月及以后分枝桿菌培養均為陰性,且治療完成后1年及以上無復發。(2)肺結核病灶:在抗結核治療過程中發生演化的病灶,對于本研究中的治愈患者群體則表現為良性的治療反應,即病灶從影像學的角度上出現了大小、密度上的吸收,也可表現為征象的轉變。(3)活動性的肺結核病灶:即抗結核治療前的肺結核病灶,本研究的數據集包括實變、空洞、未鈣化或不完全鈣化的結節、樹芽征等征象。(4)非活動性的穩定肺結核病灶:抗結核治療完成及以后保持大小、密度穩定的肺結核病灶。以圖1為例,從左至右病灶由未鈣化的結節空洞最終演化為完全鈣化的結節。將第0個月的CT圖像中截取到的病灶VOI納入活動性病灶組,將治療完成后的穩定的病灶VOI納入非活動性穩定病灶組。

四、統計學處理

采用SPSS 26.0軟件對患者的臨床資料及CT采樣情況進行描述性統計分析。計數資料以“例,百分率/構成比(%)”描述,組間差異的比較采用χ2檢驗或Fisher確切概率法;偏態分布的計量資料以“中位數(四分位數)[M(Q1,Q3)]”描述,組間差異的比較采用秩和檢驗。以雙側P<0.05為差異有統計學意義的判定標準。通過計算測試集和獨立驗證集模型的ROC曲線下面積(AUC)、敏感度和特異度評估模型效能。

結 果

一、臨床資料

回顧性隊列共納入符合標準的肺結核治愈患者102例,可用于分析的連續胸部CT圖像770份。其中,治療前、治療中、治療后的CT采樣數目分別為105份、524份和141份,將篩選出的肺結核病灶(796個)分為兩組:活動性組(332個)及非活動性穩定組(464個),按照8∶2的比例隨機分為訓練集和測試集。

前瞻性隊列數據集包含72例患者的540份連續性胸部CT圖像,其中治療前和治療后的圖像分別為94份和152份,含活動性病灶313個,非活動性病灶493個。

入組患者的相應臨床資料及CT圖像采樣情況見表1、2。相比于回顧性隊列,用于構建獨立驗證集的前瞻性隊列納入的男性患者更多,復治患者更多,耐藥情況更嚴重,差異均有統計學意義(P值均<0.05)。

表1 兩組患者的臨床資料情況

表2 兩組患者的CT圖像采樣情況

二、深度學習模型的病灶活動性預測效能

將病灶VOI標簽作為模型輸入用于構建Mask R-CNN模型,以實現在病灶水平上對肺結核病灶活動性進行預測。模型在測試集中的AUC為87.5%,在由313個活動性病灶及493個非活動性病灶構成的獨立驗證集中,模型的AUC達到了79.9%,見表3;相應的ROC曲線見圖2～4。

表3 Mask R-CNN模型在不同數據集中的肺結核病灶活動性預測效能

圖2 基于Mask R-CNN模型在回顧性隊列構成的訓練集中預測肺結核病灶活動性的ROC曲線

圖3 基于Mask R-CNN模型在回顧性隊列構成的測試集中預測肺結核病灶活動性的ROC曲線

圖4 基于Mask R-CNN模型在獨立驗證集中預測肺結核病灶活動性的ROC曲線

討 論

在臨床上,細菌學陰性肺結核患者治療效果的評價多依賴病灶影像的變化[2,21],即通過對連續影像學資料進行比對判斷病情好轉、穩定或惡化。在隨訪中,病灶體積穩定或逐漸縮小、平均密度增高和鈣化增多是向非活動性病變轉化的證據,但是以此形成的判定標準受到醫生診斷能力和經驗的影響,并且需要投入大量的時間成本和經濟成本。因此,本研究基于連續的CT圖像數據集和深度學習模型進行肺結核病灶級別的活動性判斷,旨在為臨床提供準確、快速的診斷和治療決策參考,從而有助于減少肺結核過診過治和漏診漏治的現象。

現有的通過CT判斷肺結核病灶活動性的標準,是依據病灶形態和密度特點建立的,如活動性肺結核的主要征象包括小葉中心結節影、樹芽征、實變影、空洞等[2,4,22]。但是,治愈患者的殘留病灶也可觀察到這些征象,但并不意味著病灶處于活動狀態[22-23]。另外,治愈患者的胸部CT也可見大量的活動性不確定性征象,包括未發生鈣化的結核瘤、界限清楚的不規則實變、肺不張等[2,4,24],這是由于肺結核的影像學表現是多種因素相互作用的結果,即疾病自然發展與主動醫療干預之間博弈的動態變化過程,具有一定的異質性和復雜性[25-27],從而對醫師準確判斷病灶的活動性帶來困難。盡管通過CT定位穿刺活檢可以進一步判定病變的活動性,但有創檢查會帶來臨床風險。此外,即使是同一例患者的不同病灶的演化狀態也存在差異[27]。因此,本研究采用了肺結核治愈患者治療前和治療后的CT采樣來篩選活動性和非活動性病灶,利用患者自身前后對照的設計,使得對治療干預下的所有肺結核病灶覆蓋完全,并且在病灶演化的尺度上進行活動性的區分,更符合實際臨床需求,同時也保證了數據的均衡性。此外,考慮到復治患者存在“陳舊性病灶”等情況,本研究結合了現有共識[4]中的病灶形態學密度特征進行病灶標簽的最終確認,從而避免了錯誤分類的情況。

近年,深度學習在肺結核影像診斷中展示出強大潛力,集中表現為對肺結核診斷的量化,以及結節病灶良惡性的鑒別診斷[28-30],而在肺結核活動性區分任務方面研究較少。Lee等[19]基于治療前和治療后的胸片作為陽性和陰性類別標簽構建的深度學習模型對肺結核活動性的判定AUC達0.83。本研究則是基于病灶縱向演化的標準探索了深度學習模型在CT資料中的肺結核病灶活動性預測性能。影響深度學習模型表現的因素有很多,包括標簽的準確性、數據量、模型的架構等。“Ground truth”是指在機器學習、深度學習或計算機視覺中,用于訓練和評估模型數據集的準確性、可信度的標簽或注釋。在本研究中即為活動性組和非活動性穩定組的病灶VOI標簽,標簽的設置對于深度學習模型的訓練至關重要。以病灶在治療過程中的演化特點為基礎來確定標簽類型是建立高質量縱向隊列的關鍵。本研究利用了兩個隊列連續治療前后不同時間點CT數據來構建并驗證深度學習模型,CT資料覆蓋患者治療全程。雖然納入的兩個隊列患者總數僅為174例(回顧性隊列102例,前瞻性隊列72例),但是用于定義病灶分組的CT數量達到了1310份(回顧性隊列770份,前瞻性隊列540份),通過密集的CT采樣保證了分類的準確性。鑒于數據量對于模型訓練的影響,為了更有效地利用有限的數據資源,本研究采用了遷移學習方法來構建模型,即利用預訓練模型在大規模數據集上學到的知識和特征,將這些知識遷移到當前的活動性預測任務中。通過利用遷移學習,能夠在數據有限的情況下更快速地實現模型訓練與優化,提高模型性能和泛化能力。此外,為了實現對肺結核病灶的自動分割和特征提取任務,本研究選擇采用了Mask R-CNN架構[20]進行模型構建。該架構結合了目標檢測和語義分割的優點,能夠有效地實現病灶的區域定位和精確分割,并且同時提取出相關的特征信息,其主要優勢在于其對病灶邊界的準確判定和對復雜結構的有效分割,從而能夠提供更詳細和準確的肺結核病灶信息。在回顧性測試集中,模型的AUC為87.5%,在獨立的前瞻性外部驗證集中AUC也可以達到79.9%。且后者復治和耐藥情況嚴重的患者占比更多,病變模式更復雜,但是仍舊顯示出了深度學習模型對小樣本數據的肺結核病灶活動性預測的巨大潛力。

本研究存在一定的局限性。首先,作為單中心研究,本研究的樣本數量相對較小,這導致對于病灶多樣性的全面覆蓋有所不足,測試集和驗證集的構成差異提示了這一不足,本研究更多地關注了耐藥患者的病灶活動性分類問題,將來在擴大樣本量時,還需要關注敏感肺結核和耐藥肺結核患者數量的平衡,觀察模型在兩者中的表現。第二,盡管遷移學習在本研究中表現良好,但要進一步優化模型性能和驗證需要更大規模的數據支持,同時也需要關注不同模型架構對性能的影響。需要在下一步研究中,擴大樣本量、補充多中心數據以提升模型性能,為臨床提供更高效、準確、穩定的參考指標。

綜上,本研究為CT圖像上肺結核病灶活動性的自動判定提供了初步的框架。基于遷移學習的Mask R-CNN深度學習模型在小規模肺結核病灶活動性預測任務中展現出了一定潛力,但仍需在更大樣本和更完善標準的基礎上進一步改進,這將有助于提高模型的準確性和穩定性,從而為臨床醫生提供更可靠和更快速的輔助診斷工具。

利益沖突所有作者均聲明不存在利益沖突

作者貢獻秦李袆和呂平欣:醞釀和設計實險、實施研究、采集數據、分析/解釋數據、起草文章;郭琳:實施研究、采集數據;錢令軍和肖謙:采集數據、支持性貢獻;楊陽和尚園園:采集數據、對文章的知識性內容作批評性審閱、支持性貢獻;賈俊楠:實施研究、對文章的知識性內容作批評性審閱、行政/技術或材料支持、支持性貢獻;初乃惠:設計實驗、支持性貢獻;劉遠明和李衛民:醞釀和設計實驗、實施研究、對文章的知識性內容作批評性審閱、獲取研究經費、行政、技術或材料支持、指導、支持性貢獻