基于深度學習的新型冠狀病毒肺炎CT征象檢測研究

祖蒞惠，胡博奇，王 平，張 忠，劉景鑫

1. 吉林大學中日聯誼醫院，吉林 長春 130033；2. 遼寧萬象聯合醫療科技有限公司，遼寧 沈陽 110000

引言

新 型 冠 狀 病 毒 肺 炎（Coronavirus Disease 2019，COVID-19）具有較強的傳染性，病毒通過飛沫和接觸傳播，在全國各地蔓延[1]，世界上多個國家均已出現。在疫情的暴發期階段，由于患者人數的不斷增長，醫院及相關醫療機構內長期滯留了大量患者，醫護人員長期處于高強度的工作狀態，加劇了病毒傳播的速度。同時，核酸檢測試劑盒供應不足延長了確診時間，多地區出現無癥狀且具有傳染性的患者，影響了醫生對患者的診療和疫情控制。因此在前期以核酸檢測為主的確診方式下，急需胸部CT作為早期篩查的手段予以配合，通過對影像中病灶征象的識別，可以對COVID-19患者進行快速初篩，使患者快速分流并降低感染風險，有效緩解醫療資源的緊張，對控制疫情的蔓延具有重大意義。

由于COVID-19患者的基數龐大，導致多數醫務人員的工作量長期處于超負荷狀態，存在忽略患者早期CT征象的可能。近年來人工智能在深度學習領域對圖像處理的相關研究取得了比較大的進展，基于卷積神經網絡的目標檢測和圖像分割等方法已經相當成熟地應用在許多醫學影像領域[2-3]，可以從醫學影像數據中自動分割目標器官并提取其可能存在的病灶特征[4-5]，為醫學影像的研究和分析提供了快速可靠的輔助支持。基于深度學習的醫學影像分析模型可以快速、準確地推理影像隱含信息，輔助初篩疾病，合理優化醫療資源分配策略[6-9]，減輕醫務工作者不必要的工作負擔。

本文結合深度學習目標檢測和圖像分類等方法對COVID-19患者病灶的CT征象進行分析和研究，對不同階段的病灶區域進行特征提取分析。基于時間空間序列卷積提出了一種對CT影像病灶區域快速檢測的算法模型，可以輔助醫務人員進行COVID-19初篩，縮短患者滯留時間，一定程度上減少院內感染風險。同時，本文提出的算法模型通過對不同時間階段患者CT影像的關聯分析，可以得到更合理的病灶CT征象推理結果，幫助醫生快速判斷病情，提供了診斷和治療的輔助依據。

1 COVID-19 CT征象與深度學習算法模型

1.1 COVID-19的CT表現

新型冠狀病毒核酸檢測結果具有相對明顯的滯后性，并伴隨一定數量的假陰性樣本。CT檢查對COVID-19的診斷、篩查、病情評估指導治療等發揮重要作用。CT征象主要表現為雙肺多發、斑片狀磨玻璃密度影，多沿支氣管血管束和胸膜下分布，被細網格狀或小蜂窩樣小葉間隔增厚分隔成“鋪路石樣”改變。隨著病變進展可見磨玻璃陰影、實變、結節等多種性質病變共存，可有纖維化病灶存在。實變陰影內常見空氣支氣管征、細支氣管管壁有增厚，纖維化病灶則表現為局部肺紋理增粗、扭曲，其內支氣管管壁呈柱狀，鄰近胸膜或葉間胸膜增厚，無或有少量胸腔積液，無明顯淋巴結腫大。

1.2 基于深度學習的高級圖像特征提取方法

對于圖像的目標檢測任務，不同維度的特征提取方法已經被深度卷積神經網絡輸出的多層次特征圖取代。挖掘更高級別的語義，對高層特征的豐富語義信息以及低層特征準確的目標位置信息合理利用，是深度卷積神經網絡特征提取的關鍵。Single Feature Map[10]是深度卷積網絡提取特征的基本結構，通過多次卷積操作提取圖片的特征并逐漸使感受野增多，最后根據特征圖進行預測。Pyramidal Feature Hierarchy[11]是特征金字塔與深度卷積網絡的融合結構。隨著網絡的不斷加深，特征圖的分辨率會逐步下降，感受野不斷豐富使語義信息更加抽象。這種方法一般頂層用來對圖像中的大目標進行預測，而底層則用于對小目標的預測。 特征金字塔網絡（Feature Pyramid Networks，FPN）[12]是一種多尺度目標檢測方法，將圖像處理成不同的尺寸，頂層特征通過上采樣低層特征并進行特征融合，融合后的每一層都具有較豐富的語義信息。

1.3 基于深度學習的目標檢測方法

近年來，基于圖像的目標檢測方法得到了廣泛應用，主要分為以候選區域為基礎的R-CNN系列兩步檢測算法和YOLO、SSD等一步檢測算法。兩步檢測算法速度相對較慢，但準確性較高。R-CNN[13]采用滑動窗口的原理，對區域進行識別，產生包含目標區域的候選區域，提取候選區域和特征向量并進行目標邊框修正，完成目標的分類和定位。Fast R-CNN[14]改進了R-CNN存在的缺陷，使用ROI池化層在全局提取每個ROI對應的特征，通過卷積神經網絡直接獲取全局特征，縮短了任務時間。Faster R-CNN[15]直接利用Region Proposal Network完成待檢測區域的生成，進一步縮短了算法完成目標檢測的時間。YOLO將目標分類和定位放在一個步驟內完成，在網絡的輸出層對目標框進行回歸和目標分類操作，實現一步檢測[16]。SSD同樣在一階段內完成目標的定位與分類，提出類似Faster R-CNN中錨點的Prior box，并加入了特征金字塔的檢測方式[17]。

研究者對上述工作內容進行了充分研究，在此基礎上根據COVID-19 CT影像數據的數據分布和數據特征提出了一種深度學習目標檢測模型，通過對時間空間序列的特征提取，能快速定位病灶所在區域，具有較高的準確性和較強的魯棒性。

2 研究方法

COVID-19 CT病灶的目標檢測方法，包括如何進行影像目標區域的選擇、目標檢測的模型結構設計和基于時間空間序列特征的提取方法。

2.1 目標區域的獲取

對COVID-19病灶的檢測，第一步需要對影像中肺實質部分進行分割，根據分割后的區域位置進行幾何學運算得到合理的目標區域。我們對50例COVID-19患者以及30例健康人的CT影像逐層進行肺實質輪廓醫學標注，標注圖像樣本如圖1所示，利用標注后的每一層肺實質進行2D肺部分割模型訓練，為保證模型的魯棒性，首先對一部分訓練數據進行多種幾何形態學數據增強。

圖1 待分割肺實質及對應標注掩模

進行相關數據分布分析后，在（-500，1600）窗寬窗位值附近進行多次數據增強，以提高分割模型的健壯性。根據數據的相關特征，本文基于上采樣圖像語意分割網絡[18]設計了肺實質分割模型。該模型由多個連續的卷積層、池化層組成，不斷向下提取特征，在最后一個特征提取層進行上采用特征融合，對特征圖相關缺失信息（比如位置信息、邊緣信息等）進行鏡像填補后完成分割特征提取操作。

在分割模型完成肺實質的初步分割后，得到肺野的目標提取區域如圖2所示。通過幾何形態學等一系列操作（如腐蝕、膨脹和填補空洞等），得到目標檢測模型所需的檢測區域。

以上步驟的目的是減少后續病灶檢測的無關區域，可以顯著地提高模型推理檢測的效率。

圖2 肺部影像語義分割結果

2.2 基于時空序列特征提取的目標檢測模型

本文在病灶檢測模型中設計了兩個特殊的卷積層：空間序列卷積層和時間序列卷積層。針對CT這樣的連續斷層掃描影像，其上下層之間具有一定的空間關聯性。常規的目標檢測更關注平面圖像內的特征關聯，但如果只對每個CT斷層內的影像單獨做特征提取與分析，會丟失重要的圖像上下文語義，造成檢測結果準確性的損失。

根據COVID-19的CT影像診斷方法，其影像征象分為早期、進展期、重癥期三個不同的階段。研究發現，許多患者在不同時期都存在相應的CT影像檢查數據，同一患者在不同時期影像的表現存在一定的特征關聯，如果目標檢測過程中，可以在時間維度上提取相關特征，則可能會挖掘出COVID-19在不同階段病灶征象的潛在語義信息，準確性提升的同時，模型的推理預測結果會更具有輔助診斷意義。

空間序列卷積層的設計原理基于雙向循環神經網絡結構和常規的2D卷積層結構。由于影像的空間連貫性，距離更近的斷層具有更高的關聯性。模型通過連續的若干卷積層捕獲斷層平面內的特征信息，隨后加入兩個空間序列卷積層來提取肺實質的空間連續特征。將每一層的特征圖上采樣與接下來對應的兩個時間序列卷積層進行融合。

時間序列卷積層的設計原理基于單向循環神經網絡結構和常規的2D卷積層結構。根據對COVID-19病灶CT征象的階段性特征分析，以單向時間軸的序列抽象順序提取影像上下文語義特征更為合理。經過兩個時間序列卷積層的卷積操作，其特征圖輸入給后續卷積層進行最后階段的特征提取，得到預測結果。具體結構及流程如圖3所示。

圖3 基于時空序列卷積的目標檢測模型結構

模型的檢測結果如圖4所示，對CT影像斷層中病灶區域進行目標識別與定位，為醫務人員提供輔助診斷參考結果。

圖4 模型對COVID-19 CT影像斷層的檢測結果

3 實驗結果

3.1 數據與模型

本文對來自不同醫院721例COVID-19患者的數據脫敏CT影像進行分析研究，將其中600例影像作為COVID-19檢測模型的訓練數據。為驗證單向時間序列卷積與雙向時間序列卷積之間復雜性的關系，實驗訓練了僅存在時間序列差異的兩種模型結構。實驗的測試數據由余下的121例COVID-19患者以及其他500例健康人的數據脫敏CT影像組成。測試的算法結構包括Faster R-CNN、YOLO3、SSD以及本文提出的基于時空序列卷積的算法模型—Space_time_Net，分為單向時間序列和雙向時間序列兩種結構，簡記為Space_Time1和Space_Time2。采用相同的測試數據集對上述模型進行病人識別靈敏度以及病灶目標檢測準確性的測試。

為驗證多階段影像數據對實驗結果的影響，測試分為兩個階段。第一階段每個病例只采集一個時間點的患者影像進行測試；第二階段對存在多階段影像數據的患者，完成相關影像的關聯增補后進行測試。通過兩個階段的測試，可以驗證單一空間影像和時空序列影像對模型準確性的影響，并評估模型能否有效地利用時間空間序列特性得到更準確的檢測結果。

3.2 實驗結果分析

第一階段實驗的相關數據結果，見表1。在不關聯患者所有階段影像的情況下，YOLO3的準確性和靈敏度差異相對較大。本文提出的模型在兩種結構下（Space_Time1和Space_Time2）均具有較好的準確性和靈敏度。

表1 第一階段模型對比實驗結果（%）

通過分析表1的實驗數據可以得出，在第一階段測試中，時間序列雙向結構的Space_Time2具有更高的目標檢測準確性，由于時序雙向的復雜性導致其損失了一定的靈敏度。具有時間序列單向結構的Space_Time1具有更好的靈敏度，說明算法模型結構的復雜程度會對模型最終效果產生一定影響。

第二階段實驗的相關數據結果，見表2。當關聯患者所有階段的影像后，YOLO3的準確性和靈敏度差異仍然相對較大，三種對比模型的靈敏度與準確性相比第一階段實驗數據結果略有提高。本文提出的模型在兩種結構下都表現出比第一階段更好的準確性和靈敏度。通過對模型結構以及實驗數據特征的分析，當同一個患者具有多個時間階段的影像數據時，Space_Time_Net的時間空間序列卷積層可以更有效地提取時間序列相關的潛在影像語義特征，得到更準確的綜合檢測結果。

表2 第二階段模型對比實驗結果（%）

通過對兩次試驗數據的分析可以得出，具有時間序列屬性的影像數據能提供更多的影像語義特征，本文基于時間序列屬性設計了時間空間序列卷積核提取這部分特征，得到了更準確的檢測結果。對結構復雜性和可解釋性的權衡是未來COVID-19檢測模型優化的方向。

4 結論

本文提出了一種基于時間空間序列卷積的COVID-19 CT影像病灶檢測模型。通過對病灶征象的相關醫學研究，完成了從CT影像肺實質分割到病灶檢測不同深度學習模型的設計，能快速完成COVID-19病例的自動檢測。在關聯同一患者不同階段的影像后，可以綜合得到更準確的輔助初篩結果。實驗數據表明模型具有較高的準確性和穩定性，為COVID-19的影像診斷提供了良好的輔助支持，對疫情的防控具有積極意義。