基于深度學習的新型冠狀病毒肺炎診斷研究綜述

唐江平，周曉飛，賀 鑫，褚曉文，李世鋒，常慶蕊，張繼勇

（1.杭州電子科技大學 自動化學院，杭州 310018；2.香港浸會大學 計算機科學系，香港 999077；3.中電數據服務有限公司，北京 100191；4.華北電力大學 控制與計算機工程學院，河北 保定 071000）

0 概述

新型冠狀病毒肺炎（Corona Virus Disease 2019，COVID-19）是由嚴重急性呼吸綜合征冠狀病毒（SARS-CoV-2）引起的疾病［1-2］。2019 年，COVID-19疫情迅速蔓延至全球范圍，對人類生命安全構成嚴重威脅。據約翰斯·霍普金斯大學發布的全球新冠肺炎疫情實時現狀報告［3］，截至2021 年1 月25 日，全球新冠肺炎確診病例累計超過9 925.7 萬例，死亡人數達213.1 萬，并且確診/死亡人數呈現持續快速增長的趨勢［4-5］。

SARS-CoV-2 病毒具有高度傳染性［6-7］，其傳播途徑主要為直接傳播、氣溶膠傳播和接觸傳播。直接傳播是指患者通過咳嗽、打噴嚏和說話產生的飛沫在人群中近距離被吸入導致感染［8］；氣溶膠傳播是指飛沫混合在空氣中形成氣溶膠，被他人吸入后導致感染；接觸傳播是指飛沫沉積在物體表面，而且由于SARS-CoV-2 病毒在環境中極度穩定且隱蔽，可以在不同的物體表面附著數天［9］，最終通過接觸導致感染。相關研究結果表明，COVID-19 的嚴重性不僅在于死亡率，更多取決于其在社區中傳播速度快和感染率高的特點［10］。賓夕法尼亞州立大學研究人員指出，美國3 月份的新冠病毒病例數量可能是最初報告的80 倍，增長速度為最初報告的2 倍。近日發表的一項研究通過對比SARS-CoV-2、SARS-CoV 和中東呼吸綜合征冠狀病毒（MERS-CoV），指出SARS-CoV-2 的致死率最低，僅高于流感，但是其傳染性高于另外兩類冠狀病毒［11］。在致病性方面，結合臨床觀察可以發現，COVID-19 感染患者典型的臨床特征以發熱、乏力、干咳為主要表現，同時，少數患者伴有鼻塞、流涕、腹瀉等癥狀［12］。更嚴重的是，重癥患者的病情會快速發展為急性呼吸窘迫綜合征（ARDS）和多器官功能衰竭，甚至導致死亡。此外，還會出現白細胞或淋巴細胞計數減少等癥狀［13-15］。值得注意的是，基于目前的流行病學調查可知，SARS-CoV-2 病毒的潛伏期通常為3 天～14 天，且有臨床病例顯示其潛伏期最長可達24 天［16］。在病毒潛伏期間，患者無感染癥狀，潛伏期過后，患者可能出現類似于普通感冒的癥狀，甚至仍然表現為無癥狀感染者。綜上所述，COVID-19 具有高傳染性、強致病性和長潛伏期等特點，對其進行精準、快速診斷存在極大的難度。

目前，核酸檢測是確診COVID-19 最常見的方法［17-18］。該方法利用RNA 逆轉錄和聚合酶鏈式反應相結合的技術（RT-PCR）檢測病毒RNA 片段，且只有通過核酸測試為陽性才能確診。然而，RT-PCR 篩選存在敏感性低的問題，即使可疑患者的RT-PCR 結果為陰性，也無法完全排除患者被SARS-CoV-2 感染的可能性［19-20］。此外，核酸測試存在耗時較長、需要專用測試盒等缺點，因此，需要進一步加快檢測速度并降低成本。與此同時，據中國國家衛健委印發的《新型冠狀病毒肺炎診療方案（試行第七版）》，影像學特征被列為新冠肺炎疑似病例三條臨床特征之一，胸部影像臨床診斷結果也可作為新冠肺炎病例診斷的標準［21］。文獻［22］通過對計算機斷層掃描（Computer Tomography，CT）和RT-PCR 兩種檢測診斷方法進行對比實驗分析指出，相較于RT-PCR 方法，基于胸部CT 圖像的診斷更加快速高效。通常來說，COVID-19患者肺部具有典型的影像學特征，包括毛玻璃結節（Ground-Glass Opacities，GGO）、肺硬化、肺纖維化和多發性病變等［23-25］。

此外，相關研究也表明，影像學信息能夠在COVID-19 診斷中起到至關重要的作用［26-27］。但是，基于CT 圖像的人工分析和診斷過程對專業知識依賴性很高，對CT 圖像特征的分析比較耗時，早期難以觀察到隱匿病變，且難以區分其他病毒性肺炎和細菌性肺炎。人工智能（Artificial Intelligence，AI）技術可將視覺影像信息轉化為深層次特征信息，且這些信息是可量化的，有助于減少人工操作和提高精準定量分析的效率［28］，其中，卷積神經網絡（Convolutional Neural Network，CNN）在肺部疾病的診斷中已經能夠達到非常優秀的性能［29-30］。因此，為避免當下過度依賴核酸檢測進行COVID-19診斷的局限性，研究人員設計了多種基于深度學習的COVID-19 檢測診斷模型。這些模型不僅能夠實現檢測診斷方式的多元化，而且可使診斷過程更加快速高效，最關鍵的是，其準確率可以媲美核酸檢測理想情況下高達95%以上的準確率［31］。最近，越來越多的研究人員開始關注COVID-19 患者醫學影像數據（X 射線（X-ray）圖像或CT 圖像）的獲取，并嘗試在此基礎上構建基于深度學習的COVID-19 檢測診斷模型。

本文闡述基于深度學習的COVID-19 檢測診斷研究現狀，對相關實驗數據集和評價指標進行討論和總結，介紹21 種基于深度學習的COVID-19 檢測診斷模型，根據模型任務和影像數據類型劃分為單任務/多任務檢測診斷模型和基于CT/X-ray 圖像的檢測診斷模型，并對具有代表性的模型從骨干網絡、數據集、數據類型、性能表現、分類種類和開源情況6 個不同維度進行分析。在此基礎上，調研抗疫場景下表現出色的人工智能應用實例，并針對基于深度學習的COVID-19 檢測診斷技術，探討其未來的發展趨勢。

1 數據集

數據集是設計和訓練一個深度學習模型的必要條件。因此，構建基于深度學習的COVID-19 診斷模型必須收集醫學影像數據集。

COVID-19 影像數據類型主要是X-ray 圖像和CT 圖像，其對應的樣本種類包含COVID-19、病毒性肺炎（Viral Pneumonia，VP）、細菌性肺炎（Bacteria Pneumonia，BP）、其他肺炎和正常（normal）等。對常見的8 個公開數據集進行整理，具體見表1。

表1 COVID-19 相關的開源數據集Table 1 Related open source datasets for COVID-19

1.1 X-ray 數據集

常見的X-ray 數據集主要包括COVID-chestxray［32］和pneumonia-chestxray［33］，下文進行具體介紹。

1.1.1 COVID-chestxray 數據集

COVID-chestxray 是一個公開的COVID-19 病例數據集，包含COVID-19、其他病毒性肺炎和細菌性肺炎（MERS、SARS、ARDS）患者的胸部X-ray 和CT圖像，圖像主要來自在線開源數據、網站和文獻［39］中所提到參考文獻。此外，數據集作者允許用戶通過github 網站向該數據集提交其他COVID-19 數據。該數據集主要包含434 張COVID-19 的X-ray 正面視圖，只有少量的CT 圖像。

1.1.2 pneumonia-chestxray 數據集

pneumonia-chestxray 數據集由訓練集、測試集和驗證集組成，包含健康受試者、非COVID-19 病毒性肺炎患者和細菌性患者的5 863 張X-ray 圖像。其中，前后胸部X-ray 圖像選自廣州市婦幼保健中心的1 歲～5 歲兒童患者的回顧性研究。數據集作者對所有數據進行了篩查，通過去除所有低質量或不可讀的掃描圖來進行質量控制。然后，由兩名專業醫師對圖像進行診斷并給出對應的標簽。此外，為盡可能減少人為標記帶來的誤差，由第三位專家對前兩位醫師的標記結果進行檢查。值得注意的是，pneumonia-chestxray 是非COVID-19 數據集，但是大量研究者構建的COVID-19 數據集部分采用該數據集中的健康受試者、病毒性肺炎患者和細菌性肺炎患者的X-ray 數據進行增強。

1.2 CT 數據集

常見的CT 數據集主要包括COVID-CT［34］、COVID-CT-Seg［35］、CC-CCII［31］、MosMedData［36］、SARS-CoV-2 CT-scan［37］和COVID-CT-set［38］，下文進行具體介紹。

1.2.1 COVID-CT 數據集

COVID-CT 數據集包含216 名COVID-19 患者的349 張CT 切片和非COVID-19 患者的463 張CT切片。該數據集主要收集來自網站和出版物的醫學影像，即從760 份COVID-19 相關預印本文獻中收集，這些文獻主要來自medRxiv 和bioRxiv。此外，對于每個CT 圖像，數據集作者還收集了從論文中提取的meta 信息，如患者年齡、性別、位置、病史、掃描時間、COVID-19 的嚴重程度和放射學報告。該數據集有兩個主要缺點：首先，許多CT 圖像中含有CT 掃描機或醫生產生的標記，這可能對深度學習技術產生負面影響；其次，每個病人只有少數幾張CT 圖像而不是一個完整的3D 掃描體，無法使用3D CNN 來挖掘肺部深層次信息。

1.2.2 COVID-CT-Seg 數據集

COVID-CT-Seg 數據集是一個公開可用的CT 數據集。數據集作者對來自意大利醫學和介入放射學學會網站上的JPG 數據進行處理，其中包含40 多個COVID-19 患者的100 張軸向CT 圖像。這些經由放射學專家分割的圖像包含毛玻璃、硬化和胸腔積液三類標簽。該數據集于2020 年4 月20 日進行更新，增加了20 個標記良好的掃描樣本數據，包括左肺、右肺和病變感染區域的標記。新增數據的注釋工作由三位經驗豐富的放射科醫生全程參與，其中兩位放射科醫生進行標記，一位進行驗證。

1.2.3 CC-CCII 數據集

CC-CCII 數據集是一個可公開使用的CT 數據集，是目前針對COVID-19建立的最大CT數據集之一，包含4 154名患者的6 752次掃描結果，共計617 775張CT切片，包括新型冠狀病毒性肺炎（Novel Corona Pneumonia，NCP）、普通肺炎（Common Pneumonia，CP）和正常對照組（normal）三大類。其中，肺炎包括細菌性肺炎和病毒性肺炎。然而，該數據集（2020 年4 月23 日發布的1.0 版）包含了一些錯誤，如某些掃描中存在CT 圖像次序混亂、部分掃描結果包含無用的頭部信息但不包括關鍵肺部信息等。數據集作者于2020 年7 月3 號發布v2.2 版本，解決了壓縮文件損壞問題，同時增加了對應的病變分割數據集。

1.2.4 MosMedData 數據集

MosMedData 數據集包含1 000 多位匿名患者的胸部CT 掃描數據。數據集作者從2020 年3 月1 日至4 月25 日在莫斯科通過統一放射信息服務（URIS）收集。此外，數據集中的所有CT 數據均帶有特殊標記，其根據分類進行標記以反映胸部CT 肺組織中COVID-19 的病理異常表現。數據集根據標記將CT數據分為五大類，即從CT-0（正常和無病毒性肺炎的CT）到CT-4（彌漫性玻璃膜混濁，肺實質受累超過75%）。同時，為了更好地開發AI 算法，CT 薄切片被轉換為NIFTI 格式。在相應的標記中，病例的整體標記用于患者的自動分類，定位標記用于為放射科醫生指出在CT 掃描中可疑的位置，病理輪廓標記用于肺部病變的自動定量評估和患者兩次CT 之間的動態評估。此外，專家明確標記了其中50 個CT 掃描集，每個CT 切片上都標出了COVID-19 特有的毛玻璃混濁和硬化的像素區域，并顯示出肺組織異常。

1.2.5 SARS-CoV-2 CT-scan 數據集

SARS-CoV-2 CT-scan 是一個公共可用的SARSCoV-2 CT scan 數據集，包含1 252 例SARS-CoV-2 感染陽性（COVID-19）的CT 掃描數據和1 230 例未感染SARS-CoV-2 的患者的CT 掃描數據。這些數據是從巴西圣保羅的醫院的真實患者處收集的。該數據集發布的目的是鼓勵研究和開發人工智能算法，旨在通過該數據集中的CT 掃描數據進行訓練測試分析，確定病人是否被SARS-CoV-2 感染。

1.2.6 COVID-CT-set 數據集

COVID-CT-set 數據集包含95 例COVID-19 患者的15 589 張CT 掃描圖像和282 例正常受試者的48 260 張CT 掃描圖像，收集于伊朗的一家醫療中心。為了保護患者的隱私，數據集作者將數據格式從DICOM 轉換為TIFF。該數據集采用16 位灰度數據，能夠避免8 位數據引起的信息丟失問題。此外，將圖像的每個像素值除以其最大像素值，從而得到32 位浮點類型的像素值，使得圖像能夠在常規的監視器中顯示。

在X-ray 數據集方面，pneumonia-chestxray 包含大量非COVID-19 肺炎數據，該數據集被廣泛用于基于深度學習的其他肺炎檢測診斷模型，是一個成熟且豐富的公共數據集，COVID-chestxray 則由于包含COVID-19 樣本而被大多數研究人員所熟知。上述兩個數據集通常以組合的形式，共同參與基于深度學習的COVID-19 診斷模型的數據集構建。而CT數據集相對X-ray 數據集擁有更多的COVID-19 樣本數據，甚至包含大量專家給出的標記（如MosMedData 數據集），能夠更好地訓練基于深度學習的COVID-19 檢測診斷模型。但是，上述CT 公開數據集提出時間較短，還未得到科研人員的廣泛使用，更多的科研工作者使用私有數據集進行模型的訓練。綜上，數據集在數量和質量方面還有待進一步提高，使得科研人員構建的COVID-19 檢測診斷模型能夠在一個公平完善的基礎上進行比較。

2 評價指標

基于深度學習的新冠肺炎診斷屬于典型的醫學圖像處理問題，可以劃分為分類任務和分割任務。對于分類任務，深度學習神經網絡需要正確識別醫學影像數據中的COVID-19 和non-COVID-19，其中non-COVID-19 可以進一步細分為病毒型肺炎、細菌型肺炎和正常等，根據分類的種類數量，新冠肺炎診斷可以是二分類問題，也可以是多分類問題。對分割任務，深度學習神經網絡需要在對整個肺部進行分割預處理的基礎上，進一步對肺部的病灶區域進行分割，從而獲得醫生最關注的區域，最終根據感染區域的特征和大小完成醫學影像數據中新冠肺炎的診斷。下文分別對分類和分割任務中不同的評價指標進行介紹。

2.1 分類任務的評價指標

分類任務涉及7 種常用的評價指標，即表示敏感性的 召回率（Recall）、精準率（Precision）、特異性（Specificity）、準確率（Accuracy）、F1-score、ROC（Receiver Operating Characteristic）曲線和AUC（Area Under Curve）指標［40-41］。

召回率、精準率和特異性指標分別如下所示：

其中，NTP表示實例為陽性并且被預測為陽性所對應的數量，NFN表示實例為陽性但被預測為陰性所對應的數量，NFP表示實例為陰性但被預測為陽性所對應的數量，NTN表示實例為陰性并且被預測為陰性所對應的數量。

由于召回率和精準率被作為單一指標進行評估，因此無法全面地評估診斷結果。同時，針對不同場景的分類應用，對召回率和精準率的要求也有所不同。因此，出現了F1-score。該指標綜合考慮了以上兩個指標，可以表示為兩者的調和平均，如式（4）所示：

在更一般的情況下，該指標對應的形式如式（5）所示，其中，β為加權系數，用于調節召回率和精準率之間的權重關系。

F0.5-score 和F2-score 在統計學中均有廣泛應用。新冠肺炎具有嚴重的危害性，在COVID-19 診斷中必須保證足夠高的敏感性，因此，推薦使用F2-score。

準確率表達式如下：

其中，N表示樣本實例的總數量。

ROC 曲線的橫軸是偽陽性率（False Postive Rate，FPR），滿足FPR=1-SSpecificity，縱軸是真陽性率（True Postive Rate，TPR），滿足TPR=RRecall。具體地，給定一個閾值，對所有實例進行分類預測，從而計算得出對應的一組（FPR，TPR）。最理想的情況為TPR=1，FPR=0。因此，ROC 曲線越靠近坐標（0，1），說明算法性能越優秀。此外，ROC 曲線具備一個很好的特性，即當測試集中的正負樣本分布發生變化時，ROC曲線能夠保持不變。通常實際數據集中存在類不平衡現象，即正、負樣本數量差異較大。因此，ROC 曲線得到了廣泛的應用。AUC 表示ROC 曲線下的面積，用以評估分類器的優劣，對應的數值越大，代表算法性能越好。

2.2 分割任務的評價指標

分割任務涉及5 種常用的評估指標，包括DICE 系數、體積重疊誤差（Volumetric Overlap Error，VOE）、相對體積差（Relative Volume Difference，RVD）、對稱位置的平均表面距離（Average Symmetric Surface Distance，ASD）和對稱位置的最大表面距離（Maximum Symmetric Surface Distance，MSD）。

首先定義標識符Vgt和Vseg，以Vgt表示ground truth對應的分割結果，以Vseg表示預測的分割結果。

DICE 系數作為分割任務中最常用的評價指標被廣泛使用，其表達式如下：

與DICE 系數類似，VOE 將交集運算替換為差集運算表示錯誤率，其表達式如下：

RVD 表示Vgt和Vseg兩者體積間差異，其表達式如下：

為計算ASD，先定義Aseg表示預測的分割結果Vseg中的邊 界像素，Agt表示ground truth 中的邊界像素。由此計算Bseg：

其中，d表示邊界像素之間的最短距離。同理可計算得到Bgt。根據計算得到的Bseg和Bgt，對應ASD 的表達式如下：

MSD 則與ASD 的定義類似，將其中的平均運算替換為最大值運算，其表達式如下：

3 基于深度學習的COVID-19 檢測診斷模型

分別從模型任務（單任務即分類任務或分割任務，多任務即分類任務和分割任務）和影像數據類型（CT、X-ray）兩個不同角度，對基于深度學習的COVID-19 檢測診斷模型進行分類與闡述。分類任務先對整個肺部區域進行提取，再使用卷積神經網絡學習新冠肺炎的特征，從而實現對新冠肺炎的診斷；分割任務則在預處理（提取整個肺部區域）的基礎上，進一步對肺部病灶區域進行了分割，能夠更有效地對特征進行提取，從而改善新冠肺炎診斷的效果。但是，分割任務的實現依賴于額外的醫學影像病灶標記，從現有數據集來看，相對于不帶病灶標記的數據，帶病灶標記的數據顯得更加匱乏。基于深度學習的分類任務和分割任務處理流程分別如圖1 和圖2 所示，對兩者進行組合即可得到多任務的處理流程。

圖1 基于深度學習的分類任務處理流程Fig.1 Processing flow of classification task based on deep learning

圖2 基于深度學習的分割任務處理流程Fig.2 Processing flow of segmentation task based on deep learning

3.1 基于模型任務的分類

3.1.1 基于分割或分類任務的COVID-19 診斷模型

文獻［42］設計了一種深度學習模型，從典型的病毒性肺炎中篩選COVID-19。首先，放射科醫生將感染區域標注為感興趣區域（Region of Interest，ROI）。然后，作者構建基于Inception 網絡［43］的遷移學習神經網絡用以提取特征向量，結合決策樹和AdaBoost［44］對COVID-19 和典型病毒性肺炎進行分類。該工作收集的數據集包括99 例患者（44 例COVID-19 和55 例典型病毒性肺炎）的胸部CT 圖像。該模型在內部測試數據集上的準確率為82.9%，特異性為84%，敏感性為81%。

文獻［45］使用ResNet50［46］提取特征，并添加特征金字塔網絡（Feature Pyramid Network，FPN）［47］和注意力模塊［48］構建診斷模型。首先，提取主要肺部區域，并用肺本身填充肺分割的空白，以避免因不同肺輪廓引起的噪聲。然后，設計細節關系提取神經網絡（DRE-Net）來提取CT 圖像中的細節區域，并進行圖像級別的預測。最后，將圖像級別的預測集合相結合以實現患者級別的診斷。該系統對88 例COVID-19 患者、101 例細菌性肺炎患者和86 例健康受試者的CT 掃描數據進行了深度學習模型的訓練和驗證。在測試集中，模型的AUC 為0.95，敏感性為96%，其對肺炎分類（COVID-19 或細菌性肺炎）的準確率為86.0%，對肺炎診斷（COVID-19 或健康）的準確率為94.0%。

文獻［49］使用了一個大型胸部CT 數據集，包含3 322 名患者的4 356 張胸部CT 圖像（1 296 張COVID-19、1 735 張社區獲得性肺炎（Community-Acquired Pneumonia，CAP）和1 325 張非肺炎）。具體地，該方法將ResNet50 模型應用于具有共享權重的二維（2D）切片上，結合最大值池化（max-pooling）以區分COVID-19、CAP 和非肺炎。實驗結果表明，該模型可以準確檢測COVID-19，并能有效區分社區獲得性肺炎和其他肺部疾病。該模型的敏感性為90%，特異性為96%，AUC 為0.96。

文獻［50］使用UNet++［51-52］提取COVID-19 患者CT 圖像中的肺部病變區域，圖像級別的標記（COVID-19 或非COVID-19）直接根據分割的病變區域確定，而病例級別的標記則增加了一個連續圖像預測結果的邏輯：將分割圖像的預測結果分為四等份，只有當三張連續圖像的病變分割出現在同一象限時，才判定病例為陽性。獲得的數據集包括106 例患者（51 例為COVID-19，55 例為其他疾病）的二維CT 圖像，且被隨機分為訓練集和驗證集。該模型對COVID-19 病例級別的檢測診斷準確率達到95.2%，敏感性達到100%，特異性達到93.6%。目前該模型已被部署到武漢大學人民醫院以幫助放射科醫生進行新病例的分析，并在互聯網上開源，以實現對CT 圖像的快速審查。此外，此項研究使用了包括27 名潛在患者數據的前瞻性數據集做進一步驗證，表明模型取得了與專業放射科醫生相當的性能，可使放射科醫生的閱讀時間減少65%。

文獻［53］提出一種基于DenseNet201 的深度遷徙學習方法檢測COVID-19，以判斷患者是否被感染。該模型利用其在ImageNet 數據集上學習的權值和卷積神經結構來提取CT 圖像中的特征。該文作者通過實驗比較VGG16、Inception ResNet、ResNet152 v2和DenseNet201 等模型的性能表現。實驗結果表明，DenseNet201 模型的F1-score 和準確率均為最佳。

3.1.2 基于分割和分類任務的COVID-19 診斷模型

文獻［54］使用ResNet18［55］自動檢測CT 圖像中的感染區域，并使用ResNet23 來識別感染區域是否為COVID-19 癥狀。首先，利用ResNet18 的分割模型從肺部CT 圖像中分割出候選感染區域。然后，利用ResNet23 分類模型將候選區域分類到COVID-19、甲型流感病毒性肺炎或健康組，同時通過附帶位置-注意力模型得到對應的置信分數。最后，利用噪聲函數或貝葉斯函數計算感染類型和總置信度。CT樣本數據集包括219 例COVID-19 患者、224 例甲型流感病毒性肺炎和175 例健康CT 樣本，該文作者隨機抽取85.4%的CT 樣本作為訓練集，其余14.6%的CT 樣本用于測試。在測試集上，該模型的敏感性達到了86.7%，相對不使用位置-注意力模型提高了3.4%。

文獻［56］構造了一種用于篩選COVID-19 患者的模型，該模型接收胸部CT 圖像，輸出肺部異常定位和定量測量結果。模型主要由AB 兩個子系統構成。子系統A 使用現成的商業軟件對帶有結節和病灶混濁的病例進行三維（3D）分析，子系統B 對病例的切片進行二維分析，并使用U-Net 分割網絡提取感興趣區域，且由2D ResNet50 模型［57］檢測出COVID-19 相關異常結果，最終實現較大彌漫性混濁的定位和病例的診斷。模型根據陽性率（陽性檢出切片與肺切片的百分比）確定病例分類。研究結果表明，該模型在以陽性率1.9%作為閾值的情況下，AUC 為0.996，敏感性為96.4%，特異性為98%。

文獻［58］收集了來自5 家醫院的1 136 例患者（723 例COVID-19 陽性、413 例COVID-19 陰性）的胸部CT 圖像。該文提出的診斷模型包含基于UNet++的分割模型和基于ResNet50 的分類模型。分割模型用于突出肺部區域所有病變，以便快速檢查，同時作為分類模型的輸入。該模型的敏感性和特異性分別為97.4%和92.2%，滿足臨床應用需求。

文獻［59］提出一種多任務學習（Multi-Task Learning，MTL）模型檢測COVID-19，并對胸部CT圖像中的病變區域進行分割。MTL［60］將來自不同任務的若干信息進行組合，以提高模型的性能，使其具有更強的泛化能力。該模型由一個編碼器和兩個解碼器組成，用于圖像的重建和分割，同時包含一個用于分類的多層感知器（Multi-Layer Perceptron，MLP）。該文利用1 044例患者的數據集（包括449例COVID-19患者、100 例正常患者、98 例肺癌患者和397 例不同病理類型的患者）對所提出的模型進行評估，并對比其他圖像分割和分類技術。該模型準確率為0.86，敏感性為0.94，特異性為0.79。

文獻［61］采用多任務學習模型，提出一種卷積神經網絡模型實現COVID-19 檢測和患者嚴重程度的細化。該文訓練ResNet50 作為分類網絡，該網絡以軸向切片作為輸入，獨立提取切片的特征向量，預測肺實質受累的概率，實現對COVID-19 的有效檢測，而患者嚴重程度量化任務的實現由兩部分組成：左/右肺的分割和病變的分割。肺部的整體分割由一個標準的完全卷積神經網絡完成，使用K-means算法對肺部內體素進行聚類，以歐幾里得距離作為體素間的度量，完成左/右肺的分割。病變區域的分割則使用基于U-Net 結構的網絡完成。最后對兩個體積的比率進行分級，依次對應不同的嚴重程度。該模型在COVID-19 識別任務上AUC 為0.951，在嚴重程度定量任務上，斯皮爾曼相關性系數達到0.98。

3.2 基于影像數據類型的分類

鑒于普通肺炎特別是病毒性肺炎與COVID-19 有相似的影像學表現，其鑒別診斷將更有助于臨床篩選過程。因此，基于深度學習的COVID-19 診斷任務可以概括為健康受試者、其他類型肺炎（細菌性肺炎、病毒性肺炎、社區獲得性肺炎等）患者和COVID-19 患者的分類任務。不同類型患者在不同影像數據中的典型表現如圖3 和圖4 所示。

圖3 胸部X-ray 樣本圖像Fig.3 Sample chest X-ray images

圖4 胸部CT 樣本圖像Fig.4 Sample chest CT images

3.2.1 基于X-ray 的COVID-19 診斷模型

文獻［62］提出一種貝葉斯CNN 評估COVID-19預測中的診斷不確定性。實驗結果表明，在不同的MCDW（Monte-Carlo Drop Weight）下，貝葉斯推理能提高ResNet50V2 模型［52］的檢測準確率，并且模型的不確定性與預測準確率之間具有強相關性。此外，該文進一步生成顯著性圖來說明深度網絡所關注的位置，從而加深對深度學習結果的理解，做出更明智的決策。

文獻［63］提出基于3 種不同的深度學習模型，即基于ResNet50、Inception v3 和Inception-ResNet v2［64］的COVID-19 診斷模型，用于從X-ray 圖像中檢測出COVID-19。通過ROC 分析和5-fold 交叉驗證可以看出：在準確率方面，相對Inception v3 的97.0%和Inception-ResNet v2 的87%，ResNet50 模型獲得了98.0%的最高分類性能。

文獻［65］提出一個基于EfficientNet［66］的檢測診斷模型，使用EfficientNet-B0 網絡在ImageNet 上進行預訓練用以提取特征，并且附帶異常檢測模塊和置信分數預測模塊。該模型包含兩方面的任務：對COVID-19 和非COVID-19 患者進行分類，并進行異常檢測。其中，異常檢測任務給出異常分數，以優化用于分類的COVID-19 分數。該模型的敏感性為71.7%，特異性為73.8%，AUC 為0.836。

文獻［67］提出一種基于ResNet 的CNN 網絡模型（COVID-Net）。該模型對正常、細菌性感染、非COVID-19 病毒性感染和COVID-19 病毒性感染進行預測，并且滿足準確率高于80%和計算復雜度小于2.5 億次乘加運算等設計要求。COVID-Net 首先在ImageNet 數據集［68］上預訓練，然后使用Adam 優化器在COVIDx 數據集上訓練。COVIDx 數據集包含45 例COVID-19 患者、1 203 例正常受試者、931 例病毒性肺炎患者和660 病毒性肺炎患者的X-ray 數據。該模型的準確率為83.5%，敏感性為100%，精準率為80%。

文獻［69］提出利用遷移學習自動檢測COVID-19。首先對近年來用于醫學圖像分類中最先進（SOTA）的CNN 模型進行性能評估，其中包括VGG19［70］、MobleNet v2［71］、Xception［72］、Inception 和Inception-ResNet v2。然后通過遷移學習［73］在小型醫學圖像數據集中檢測異常，從而實現對COVID-19 的診斷。通過對比不同的CNN結果發現，VGG19和MobileNet v2表現最佳。此外，通過計算分析最佳模型對應混淆矩陣可以看出，VGG19 具有更高的準確率，其準確率為97.83%，而MobileNet v2 在敏感性方面（99.1%）優于VGG19，因此其被證明是特定分類任務和特定數據樣本的有效模型。

以上研究涉及的數據集大多來自兩個數據集：COVID-chestxray-dataset［31］，包括70 張COVID-19 患者肺部X-ray 圖像；KAG 數據集［33］，包括健康受試者、病毒性肺炎患者和細菌性患者的5 863 張X-ray圖像。由于COVID-19 圖像數量有限，不足以評估以上方法的魯棒性，導致其臨床中心應用的可推廣性也難以被認可。此外，X-ray 作為最常用的醫學成像方式之一，被廣泛用于為放射科醫生提供證據，但通常被認為不如胸部CT 圖像敏感。值得注意的是，最近一項研究報告表明［74］，COVID-19 患者在早期或者輕度癥狀階段，X-ray 顯示正常。因此，研究人員嘗試利用CT 數據進行COVID-19 的診斷。

3.2.2 基于CT 的COVID-19 診斷模型

文獻［75］提出了一種弱監督檢測診斷模型，利用三維CT 圖像檢測COVID-19。首先，對于每個患者使用預訓練模型U-Net 分割肺部區域。然后，將分割的3D 肺部區域作為三維CNN 的輸入，以預測感染COVID-19 的概率。三維CNN 包括以下3 個部分：第一部分為主干網絡，由1 個三維卷積核、1 個BN（Batch Normalization）層和1 個池化層組成；第二部分由2 個殘差塊構成；第三部分為漸進式分類器，包含3 個卷積層和1 個全連接層。在該工作中，收集的542名受試者（313例COVID-19、229例非COVID-19）的胸部CT 圖像被用作訓練和測試數據。該模型的敏感性為90.7%，特異性為91.1%，AUC 為0.959。

文獻［76］提出一個用于COVID-19 分類和預后分析的全自動深度學習模型。該模型使用DenseNet121［77］作為骨干網絡，首先將DenseNet121 與FPN 相結合完成肺部區域的自動分割，然后利用類DenseNet 結構（COVID-19Net）建立分類網絡，對分割得到的區域進行分類。該文共收集了7 個省市的5 372 例CT 圖像，包括COVID-19 數據集和表皮生長因子受體（Epidermal Growth Factor Receptor，EGFR）數據集。其中，4 106 例具有EGFR 基因突變狀態的患者樣本用來對模型進行預訓練［78］，使其學習肺部特征，924 例COVID-19 患者和342 例其他肺炎患者樣本則用來進行模型訓練和驗證。在4 個外部驗證集中，該模型從其他肺炎（AUC=0.87 和0.88）和病毒性肺炎（AUC=0.86）中識別COVID-19 取得了良好的效果。

文獻［79］采用胸部CT 掃描數據集，包含2 685 例樣本（1 658 例COVID-19、1 027 例普通肺炎）。該模型首先對所有圖像進行預處理，采用VBNet［80］分割感染區域、左/右肺、5 個肺葉和18 個肺段。然后提取感染大小、位置特征和放射特征等手工特征，并使用最小絕對收縮和選擇算子［81］進行特征選擇。在此基礎上，提出一種感染區域大小感知的隨機森林方法，將受試者自動分為不同感染病灶大小的分組，并在每組中進行隨機森林分類。實驗結果表明，該方法對于感染大小在0.01%～10%中等范圍內的病例取得了較大的性能裕度，而對小范圍感染的患者被識別的敏感性較低。在5-fold 交叉驗證下，該模型敏感性為90.7%，特異性為83.3%，準確率為87.9%。

文獻［82］通過神經結構搜索（NAS）設計一個輕量級的三維模型，結合CT 圖像檢測進行COVID-19診斷。該模型首先建立搜索空間，定義神經結構的設計原則。然后選擇搜索策略，相關研究表明，隨機搜索比其他許多方法更具競爭力［83-85］。最后選擇準確率方面排名靠前的模型進行對比。作者將通過NAS 搜索得到的最佳模型命名為MNas3DNet。實驗結果表明，相對基線3D 模型，MNas3DNet 模型尺寸更小。此外，其中MNas3DNet41 能實現SOTA 級別的性能表現，相應的準確率為87.14%，F1 評分為87.25%，AUC 為0.957。

文獻［86］提出一種基于混合密度網絡模型的深度雙向長短時記憶網絡（DBM），并結合自適應差分進化（MADE）算法［87］構建MADE-DBM 模型。該模型可以有效避免手工調整超參數的繁瑣過程，適用于COVID-19 實時分類系統。該文采用SARS-CoV-2 CT-scan 數據集，將訓練集和測試集按3∶2 的比例進行劃分，并對提出的模型與其他SOTA 模型分別進行二分類和三分類的性能比較。實驗結果表明，該模型在AUC、敏感性、特異性和準確率等指標上相較于其他模型均獲得了最佳表現。對于二分類，其AUC 達到0.983，敏感性達到0.989，準確率達到98.4%。

文獻［39］介紹公開數據集COVID-CT-set，并且提出一種快速、準確的全自動系統用于從CT 圖像中檢測出COVID-19 患者的圖像。該系統主要流程如下：在第一階段運行優化的圖像處理算法，以丟棄肺部內部無法正常顯示的CT 圖像。在下一階段提出一種基于ResNet50V2 改進的深度卷積網絡，并通過特征金字塔網絡進行增強，對所選CT 圖像進行分類。最后利用特征可視化算法對分類后的圖像進行處理，以顯示圖像中的感染區域。實驗結果表明，該系統能夠以專業醫生5 倍的識別速度，達到98.49%的準確率。

4 模型性能對比及分析

上文對數據集、評價指標和基于深度學習技術的COVID-19 檢測診斷模型進行了詳細介紹。下文將從骨干網絡、數據集、數據類型、性能表現、分類種類和開源情況6 個維度，分析比較現有基于深度學習的COVID-19 檢測診斷模型，具體見表2。

表2 不同COIVID-19 診斷模型比較Table 2 Comparison of different COVID-19 diagnostic models

續表

從表2 可以得出以下結論：

1）對骨干網絡進行分析可知：COVID-19 檢測診斷模型的網絡結構包含分割網絡（U-Net、UNet++和VBNet 等）和分類網絡（ResNet 系列、DenseNet 系列、Inception 系列等），由于COVID-19 患者在不同階段表現出不同的影像學特征，因此可以使用分割網絡對ROI 區域進行分割提取；同時可以借助分類網絡學習COVID-19 患者特有的影像學特征，從而有效區分COVID-19、其他肺炎和正常受試者；此外，研究者借助輔助手段（如FPN、注意力機制、決策樹、Lasso 等）可有效提高模型的性能。

2）對數據集進行分析可知：多數研究工作的COVID-19 數據集樣本數量范圍從幾十到幾百不等，大部分研究者采用遷移學習，并基于小樣本COVID-19數據集進行檢測診斷（如文獻［67，75，79］）；此外，目前只有極少量公開可用的大型COVID-19 影像數據集（如CC-CCII 數據集、MosMedData 數據集、SARS-CoV-2 CT-scan 數據集、COVID-CT-set 數據集），大部分研究人員采用私有數據集（如文獻［45，49，54，58］），由此也導致部分模型的泛化能力較弱，對特定數據集有一定的偏移性，因此，無法在相對公平的條件下通過比較不同數據集下的實驗結果來評價模型性能優劣。

3）對影像類型進行分析可知：科研工作者傾向基于CT 圖像的COVID-19 診斷（如文獻［42，45，50］），一方面，因為X-ray 相對CT 圖像敏感性更低；另一方面，CT 圖像數據除了二維類型外，還包含更多深層次三維特征信息，CNN 在圖像處理方面的出色表現，本質上源于其強大的特征提取能力，因此，CNN能夠從三維CT 圖像數據中獲取更多的特征信息，從而提高診斷的效果。

4）對模型性能進行分析可知：文獻［63］提出的ResNet50 模型取得了最高的SPE=1.000；文獻［67，51］提出的ResNet 模型和UNet++取得了最高的SEN=1.000；文獻［56］提出的UNet 和ResNet50 多任務模型取得了最高的AUC=0.996；文獻［39］提出的ResNet50 v2 模型取得了最高的ACC=0.985。需要注意的是，該對比缺少一定的指導價值，存在諸多不一致因素，比如不同的驗證方式（包括回顧性（內部）驗證和前瞻性（外部）驗證）、不同的分類級別（包括圖像級別和病例級別）、不同的置信區間（Confidence Interval，CI）（大多取CI=95%）、不同的AUC 類型（包括PR AUC 和ROC AUC）、不同的數據集以及不同的分類種類等。

5）對分類種類分析可知：上述模型的COVID-19分類任務可歸納為二分類（COVID-19與non COVID-19）、三分類（COVID-19、其他肺炎和正常）以及四分類（COVID-19、其他病毒性肺炎、細菌性肺炎和正常）。

6）對開源情況進行分析可知：只有少量模型開源（如文獻［39，49，59，75］）。由于各個模型之間進行直接比較缺乏一定的公正性，后續可以通過統一的數據集建立相對公平的環境，對目前現有的開源模型進行比較實驗（如文獻［82］），因此對數據集的統一完善以及開源模型的改進顯得至關重要。

綜上，現有基于深度學習的COVID-19 診斷模型從不同角度進行新冠肺炎的檢測診斷，并取得了不錯的表現。這些模型不僅能夠完成對ROI 區域的自動分割和自動標注，有效減少醫務人員的人工操作，而且還能對COVID-19 患者進行快速篩選，輔助專業人士進行高效診斷。

5 應用實例介紹

目前，多種基于深度學習的COVID-19 檢測診斷模型相繼被提出，并經過不斷的優化完善，性能已可滿足實際應用場景下的臨床應用需求。特別是利用CT 圖像輔助診斷COVID-19 的肺炎AI 影像輔助產品，極大提高了臨床診斷效率，在COVID-19 的防控工作中發揮了舉足輕重的作用。下文將介紹在抗疫場景下表現出色的人工智能應用系統。

阿里達摩院醫療AI 團隊基于最新的診療方案，包括鐘南山院士等多個權威團隊發表的關于新冠肺炎患者臨床特征的工作［88-90］，與浙大一附院、萬里云、長遠佳和古珀醫院等多家機構開展合作，率先突破了訓練數據不足的局限，其基于5 000 多個病例的CT 影像樣本數據學習、訓練樣本的病灶紋理，研發了全新的AI 算法模型。該技術能夠在20 s 內對患者的肺部CT 圖像作出分析和判讀，從而為臨床醫生的診斷提供有力依據，準確率達到96%以上。此外，該技術還可計算病灶部位的比例，量化、預測病癥的輕重程度，大幅度提升診斷效率，為患者的治療爭取寶貴時間。特別是對未接診過新冠肺炎病例或低年資醫生，可提供有效的診斷鑒別提示信息。同時，阿里達摩院還與阿里云共同研發了輔助診斷算法，該算法可以根據患者的基本信息、癥狀、實驗室檢查結果、流行病學史、影像報告等多維信息，進一步輔助醫生制定科學的治療方案。

依圖胸部CT 的COVID-19 智能評價系統［91］由上海市公共衛生臨床中心和依圖醫療合作開發，其作為業界首個COVID-19 智能影像評價系統于2020 年1 月28 日上線。該系統可實現前中后期的全流程輔助診斷，并采用創新的AI 全肺定量分析技術，提升診斷的速度和精度，幫助醫生進行快速檢出、定量檢測和療效評價。該系統具體功能和性能為：

1）智能檢出：肺炎病變檢出率敏感性達97.3%，特異性達99%。

2）智能分析：對肺炎嚴重程度進行量化評價，在2 s～3 s內完成定量分析。

3）智能隨訪：智能隨訪分析患者病程，精準匹配歷史影像，自動分析病情的轉移和發展。

鐘南山等專家通過召集支援武漢一線工作富有臨床經驗的醫師，并聯合統計學、生物醫學工程和信息技術領域的專家，開發了基于物聯網醫學技術的COVID-19 智能診治輔助程序，簡稱nCapp［92］。該程序主要包括以下3 個方面的功能：

1）智能輔助診斷：根據提供的數據、問卷回復以及檢查結果自動進行確診，并對疑似和可疑的病例進行歸類；根據患者病情的嚴重程度，區分為輕型、普通型、重型和危重型；建立實時更新的COVID-19樣例數據庫，通過最新病例數據對智能診斷的算法模型進行實時優化升級，提升診斷的準確率。

2）智能指導治療：對不同類型患者制定不同的治療方案，追蹤COVID-19 愈后患者情況，進行長期隨訪管理。

3）智能數據監測：自主監控上傳至云服務器數據的可靠性與真實性，保證nCapp 能夠有效地輔助專家進行診斷。

張康教授團隊研發的COVID-19 智慧篩查、診斷與預測系統，可以對大量疑似肺炎病人進行快速篩查、輔助診斷和住院臨床分級預警，實現對COVID-19病人的全生命周期管理。該團隊基于五十萬份臨床影像學大數據［93-94］，運用深度學習［95］、遷移學習［96］和語義分割［97-98］等多種AI 前沿技術，開發基于胸部CT和X-ray 的新冠肺炎AI 輔助診斷系統［26］。該系統可在20 s 內完成檢測及診斷過程，且診斷準確率達90%以上。此外，其還具有病情嚴重程度分級和重癥危重癥預測功能，可對胸部CT 圖像每一層面的小結節、磨玻璃影和實變進行自動識別、標注及定量分析，通過患者的吸氧頻率、血氧飽和度、酸堿平衡、肝功能、凝血功能等信息，綜合預測病人發展為重癥、危重癥的概率和時間，有利醫生進行及時干預，降低患者死亡率。

6 未來研究方向

現有多數基于深度學習的COVID-19 檢測診斷模型都是基于小樣本數據集訓練得到的，這可能會導致結果的過擬合。因此，為提高模型性能，使其能夠更好地輔助臨床診斷，COVID-19 數據集的質量和數量都有待進一步提高。在數量方面，需要聯合多家醫院和研究機構，實現資源共享以擴大樣本量；在質量方面，要求所有的影像數據都是規范的和標準的，并需要對這些影像數據進行精確標記。值得注意的是，影像數據中不完整、不精確的標記，將顯著降低診斷模型性能，而基于弱監督深度學習技術的COVID-19 診斷模型可以有效規避噪聲數據（或低質量數據）的影響，這將是未來診斷模型一個較好的發展方向。此外，數據的人工標注往往費時費力，研究者可以嘗試利用無監督和自監督［99-100］等方法構建COVID-19 診斷模型。另一方面，新冠肺炎診斷不應僅局限于COVID-19 和非COVID-19 之間的分類，而應擴展至細粒度或者精細化研究［101-102］，由此分析得出患者的感染患病等級。與此同時，當下一些熱門的方法同樣值得借鑒，如多模態數據分析［103-104］、知識圖譜［105］和自動機器學習［106-107］等。

7 結束語

本文結合基于深度學習的COVID-19 檢測診斷模型研究現狀，在影像數據類型和模型任務方面介紹目前性能較為突出的分類/分割方法并進行整理和評估，對模型性能集中在6 個不同維度進行分析。隨著相關檢測診斷模型研究不斷發展，效果顯著的模型被陸續提出并被成功應用到抗擊COVID-19 的第一線，這對抑制COVID-19 大規模流行具有重大意義。同時，針對該研究領域構建的影像數據集、常用評價指標和代表性檢測診斷模型，對于未來抗擊其他傳染性疾病同樣具有重要的參考價值。后續將對基于多模態知識計算的新冠肺炎病灶區域分割算法進行深入研究，促進多模態融合和知識圖譜等技術在醫學領域的應用與發展。