新型冠狀病毒肺炎的深度學習診斷方法綜述

馬金林，裘 碩，馬自萍，陳 勇

1.北方民族大學 計算機科學與工程學院，銀川 750021

2.圖像圖形智能信息處理國家民委重點實驗室，銀川 750021

3.北方民族大學 數學與信息科學學院，銀川 750021

4.寧夏醫科大學總醫院 放射介入科，銀川 750004

新型冠狀病毒肺炎[1]（COVID-19）的快速診斷對疾病治療和疫情防控具有重要意義。逆轉錄-聚合酶反應（RT-PCR）[2]檢測是COVID-19檢測的“金標準”，但存在一些缺陷[3]。為了加快診斷速度，提高準確率，肺部影像篩查方法被大量使用。肺部影像篩查主要利用深度學習對肺部影像（X-ray圖像和CT圖像）進行分析，深度學習技術可以揭示圖像中許多不顯著的特征，進而給出明確的檢測結果。隨著大量COVID-19深度學習分類模型的涌現，其性能日益提高[4]，COVID-19得以快速準確地診斷。

1 COVID-19圖像數據集

自2019年，出現了大量的COVID-19數據集，這些數據集主要由肺部的X-ray圖像和CT圖像組成（如圖1所示），一般分為COVID-19、病毒性肺炎、社區獲得性肺炎、細菌性肺炎、其他肺炎和正常等類別。

圖1 肺部X-ray圖像和CT圖像Fig.1 X-ray and CT images of lung

1.1 X-ray數據集

X-ray數據集基于X射線獲得胸部照片，因其費用較低，最早被廣泛使用，但由于其輻射量大，逐漸被CT、MRI等技術取代。

COVID19-DB[5]數據集：COVID19-DB包含3 545張胸部X-ray圖像，數據源于RSNA肺炎檢測挑戰賽收集的胸部圖像和COVID-19胸部圖像，湘雅醫院的四名放射科醫生對胸部X-ray圖像進行了COVID-19驗證和標注。此外，作者使用多種數據增強[6]技術（如隨機裁剪、翻轉、移動、傾斜和縮放）擴展數據。

Chest X-Ray Images（Pneumonia）[7]數據集：Pneumonia是非COVID-19數據集，包含來自健康受試者、病毒性肺炎患者和細菌性肺炎患者的5 863張X-ray圖像。該數據集由訓練集、測試集和驗證集組成，通常被用于其他COVID-19數據集的數據增強。

Figure 1 COVID-19 Chest X-ray Dataset Initiative數據集：Figure 1 COVID-19 Chest X-ray Dataset Initiative是由COVID-Net團隊收集的56個COVID-19圖像組成，圖像格式為PNG和JPG，可通過網址https：//github.com/agchung/Figure1-COVID-chestxray-dataset獲取該數據集。

COVID-19 radiography database數據集：COVID-19 radiography database是由來自卡塔爾多哈的卡塔爾大學和孟加拉達卡大學的研究人員連同巴基斯坦和馬來西亞的合作者與醫生合作創建的，包含3 616 COVID-19陽性、10 192正常、6 012肺部混濁（非COVID-19）和1 345病毒性肺炎圖像，格式為PNG。可通過網址https：//www.kaggle.com/tawsifurrahman/covid19-radiography-database獲取該數據集。

ActualMed COVID-19 Chest X-Ray Dataset Initiative數據集：ActualMed COVID-19 Chest X-Ray Dataset Initiative由238張X-ray圖像組成，分為COVID-19和No finding兩類，該數據集可通過網址https：//github.com/agchung/Actualmed-COVID-chestxray-dataset獲取。

1.2 CT數據集

CT圖像具有高密度分辨力且能夠進行密度量化分析，易于檢查病變，能夠較早發現小病變，較準確顯示出病變范圍。臨床中，CT圖像可以克服X線影像重疊的問題，明顯提高病灶檢出率。另外，CT圖像是數字化圖像，能夠運用計算機軟件進行各種處理。

COVIDx[8]數據集：COVIDx是最大的COVID-19陽性病例數據集，數據集的13 975張CT圖像來自5個公開數據庫的13 870例患者，其中COVID-19患者266、普通肺炎患者8 066、正常患者8 066。該數據集可通過網址https：//github.com/lindawangg/COVID-Net獲取。

COVID19-CT[9]數據集：COVID19-CT包含216位患者的349份COVID-19陽性圖像和397份COVID-19陰性圖像，這些圖像均使用PyMuPDF[10]從文獻中分割而來，其中陽性圖像全部來自于medRxiv[11]和bioRxiv[12]收錄的760篇COVID-19的預印本文獻，陰性圖像的202個來自于PubMed Central（PMC）[13]搜索引擎，其余的195個來自于MedPix。

COVID-CT-Set[14]數據集：COVID-CT-Set是伊朗薩里的內金放射科收集的，包含來自95名患者的15 589幅COVID-19圖像和來自282名患者的48 260幅正常圖像，格式為16位TIFF灰度圖像。

SARS-CoV-2 CT-scan[15]數據集：SARS-CoV-2 CTscan收集了來自巴西圣保羅醫院的2 492位患者的CT圖像，其中1 262例COVID-19陽性和1 230例COVID-19陰性。該數據集可通過網址https：//www.kaggle.com/plameneduardo/sarscov2-ctscan-dataset獲取。

CC-CCII[16]數據集：CC-CCII在全球范圍內可用，其包含4 154名患者的617 775層CT圖像，分為新型冠狀病毒肺炎（NCP）、普通肺炎（CP）和正常（normal）三種類型，其中CP包括細菌性肺炎和病毒性肺炎。該數據集目前已經更新到2.3版本，相比1.0版本添加了病灶分割數據集和相應的CSV文件。

COVID-CT-Seg[17]數據集：COVID-CT-Seg包含了20個標注為左肺、右肺和感染的CT掃描圖像（COVID-19圖像），這些標注先由初級標注師圈定，再由兩名有5年經驗的放射科醫師細化，最后所有標注由一名有10年以上胸部放射學經驗的資深放射科醫師驗證細化。該數據集可通過網址http：//medicalsegmentation.com/covid19/獲取。

MosMedData[18]數據集：MosMedData包含1 000余位患者的胸部CT圖像，分為COVID-19（CT1-CT4）和正常（CT0）五類，采用NIFTI格式。醫學專家對一小部分圖像(n=50)進行了標注，每個CT切片都標出COVID-19特有的像素區域，并標注肺組織異常。可通過網址https：//mosmed.ai/datasets/covid19_1110/獲取該數據集。

1.3 X-ray與CT混合的數據集

COVID-chestxray[19]數據集：COVID-chestxray是一個公開的COVID-19病例數據集，由434張COVID-19的X-ray圖像和少量CT圖像組成，分為COVID-19、普通病毒性肺炎和細菌性肺炎（MERS、SARS、ARDS）三種類型。

COVID-19-CT-CXR[20]數據集：COVID-19-CT-CXR是從PubMed Central Open Access（PMC-OA）子集的COVID-19相關文章中提取的公共數據庫，包含COVID-19的1 327張CT圖像和263張X-ray圖像。

主要的COVID-19數據集如表1所示。

表1 主要COVID-19數據集匯總表Table 1 Summary table of major COVID-19 datasets

2 基于深度學習的診斷方法

基于深度學習的診斷方法主要是借助深度學習模型對圖像進行分類，常用基礎分類模型有：VGGNet[21]、Inception[22]、ResNet[23]、DenseNet[24]、CapsNet[25]和Efficient-Net[26]等模型，整體結構如圖2所示。

圖2 基于深度學習診斷方法的整體結構圖Fig.2 Overall structure diagram of deep learning-based diagnostic methods

2.1 基于VGGNet的分類模型

VGGNet主要包含VGG16和VGG19兩種結構，通過采用小卷積核、小池化核，增加網絡深度來提高特征學習和模型表達能力，在保證獲得相同感受野下，減少網絡參數同時捕獲更多細節，部分學者將VGGNet用做診斷COVID-19的骨干網絡。

自動化COVID-19篩查模型TLCoV[27]使用VGG16通過遷移學習[28]將在ImageNet數據集上學習的權值、偏差和特征轉移到TLCoV模型，降低計算量，采用離線增強技術來增強數據，實驗在COVID-19、病毒性肺炎和正常的三分類上取得97.67%的準確率，96.65%的精度，但是并未提及靈敏度和特異性等指標，且使用了大量池化層丟失了識別對象的空間信息，后續可以引入膠囊網絡的路由機制來避免這一問題。

Wang等[29]提出以VSBN為骨干網絡，集成卷積塊注意模塊[30]（CBAM）和多路數據擴充方法（IMDA）的ACNC模型來檢測COVID-19。VSBN以VGG作為骨干網絡，CBAM通過通道注意模塊（CAM）和空間注意模塊（SAM）來細化三維特征圖，專注顯著特征并增強對噪聲的魯棒性，IMDA有助于減少數據集過小帶來的過擬合，實驗顯示，該模型對COVID-19、社區獲得性肺炎、繼發性肺結核和健康四種分類的靈敏度、精度都在95%以上。

Shibly等[31]以VGG16為基礎提出了一個由24個卷積層、兩個全連接層和六個匯集層組成的新框架。該研究使用了13 800圖片作為數據集（來自COVIDx和作者定制）進行實驗，避免了數據集過小的局限。不足的是，該模型在較差圖像的預測任務中做出了不正確的結論。

COV-VGX[32]引入了兩種類型的分類器，一個是正常、COVID-19和普通肺炎的分類器，另一個是COVID-19和普通肺炎分類器，該模型使用了遷移學習，在經過預訓練的VGG16模型上采用相等且足夠多的數據集進行評估，結果顯示兩種分類器上均取得了良好效果，但是無法區分病毒性肺炎和細菌性肺炎的圖像。

整體來看，使用VGG作為骨干網絡的模型大多都針對小數據集實施了改進措施，對比結果可以發現，其中COV-VGX[32]效果最好，證明了一個平衡的大數據集對于基于VGG網絡模型的訓練的重要性。

2.2 基于Inception的分類模型

相比VGG來說，Inception模型采用不同尺度的多分支結構提取多尺度特特征，通過聚集相關性強的特征來保持網絡結構的稀疏性，更多小尺度卷積核也使網絡更加輕量化，還利用1×1卷積減少參數量并加深網絡，提高網絡計算效率和性能。模型使用全局平均池化層替換全連接層，提高了運算速度，Inception也常被研究人員應用到COVID-19檢測中。

Das等[13]提出Truncated Inception Net從非COVID-19或健康病例中篩COVID-19陽性圖像。該模型訓練時間少，參數量少，使用六種不同類型的數據集進行驗證，在COVID-19陽性、肺炎與健康的分類中取得99.96%的準確率（AUC為1.0）。但該模型受限于其在圖像中定位疾病的能力，從更深層的激活圖中可以看出，該模型開發的是圖像特征的內在表示，而不是準確的空間熱圖，該問題可以通過在大量不同疾病的圖像上預訓練來避免。

CoroNet[33]使用Xception[34]作為基礎模型，在末尾添加一個脫落層和兩個全連接層，構成新的深度卷積神經網絡，使用遷移學習來克服過度擬合的問題，實驗結果顯示CoroNet計算量較小，在小規模數據集上取得了較好的結果，但是由于數據集較小，患者信息較少，給實驗帶來了一定的局限性。

以Inception為基礎的模型在減少參數量這一方面具有一定的優勢，其中以Truncated Inception Net[13]最低，僅有COVID-Net[8]的18%。

2.3 基于ResNet的分類模型

ResNet提出殘差連接將淺層特征信息直接連接到深層，利用新的表達方式實現層間恒等映射。ResNet的每層特征僅需要在前續層特征基礎上學習新的特征，殘差連接中反向傳播的導數需要加上恒等項，有效地避免了過小梯度信息的消失，緩解了梯度彌散和網絡退化問題。通過殘差連接技術可以加深網絡，從而獲得更強的逐層學習能力和更強的模型表達能力，因此，基于深度學習的診斷方法多以ResNet為骨干網絡。

以ResNet50[35]為骨干的3D深度學習框架COVNet[12]能夠提取肺部CT圖像的二維局部特征和三維全局特征。COVNet使用最大池化操作組合提取切片特征，并反饋到全連接層和softmax激活函數，以生成每種類型（COVID-19、社區獲得性肺炎和非肺炎）的概率。為了提高模型的可解釋性，作者采用梯度加權類激活映射（Grad-CAM）[36]方法可視化深度學習模型決策的重要區域，但是該方法主要關注異常區域，而忽略了正常區域，易造成錯判。此外，COVNet只給出疾病的類別，未明確疾病的嚴重程度。

為明確COVID-19的嚴重程度，Goncharov等[37]提出了基于閾值的方法（因為病理組織比健康組織密度大，所以相應的CT體素在Hounsfield單位中具有更大的強度）來量化COVID-19嚴重程度，但是該方法存在血管和支氣管的假陽性預測和無法將COVID-19相關病變與其他病理區分的缺點。因此作者采用了一個多任務模型，該體系結構的分段部分是切片式的2D三角網模型，輸出用于評估嚴重性分數，分類與分割部分共享一個公共的中間特征圖，這些特征圖被堆疊并通過金字塔匯集層聚集成特征向量，在兩個完全連接層后進行sigmoid激活，將特征向量轉換為COVID-19概率。實驗證明，該多任務架構同時實現COVID-19識別和嚴重性量化的最高質量指標，但是在非COVID-19患者中的分類管道會產生相對較少的假陽性警報，需要放射科醫生二次查看。

相比COVNet[12]只檢查和修改了一個CNN來說，Ardakani等[38]提出了10個廣泛使用的網絡，通過分析投資回報提高網絡性能，同時避免了COVNet將整個肺部區域輸送到網絡進行區分時冗余數據造成的誤診。實驗結果顯示，所有網絡中性能最好的是ResNet101，其靈敏度為100%，特異性為99.0%，準確率為99.5%。因此，作者認為ResNet101是一個高靈敏度的模型，比Rahimzadeh等[39]提出的模型靈敏度高了近20%。但該方法也存在一定的局限性，首先，該模型的性能并沒有與放射科醫生進行比較；其次，該實驗數據是由醫生復核得到的，由于小部分COVID-19患者的RT-PCR結果為陰性，導致醫生在篩選圖像時，這些患者可能被錯誤地排除在外，造成一定的實驗誤差。

遷移學習能夠解決小數據問題，降低模型計算量，被部分研究人員應用到網絡中。Narin等[40]使用五個預訓練模型（ResNet50、ResNet101、ResNet152、InceptionV3[41]和Inception-ResNet-V2[42]）實現三種不同的二分類，即COVID-19和正常（健康）、COVID-19和病毒性肺炎、COVID-19和細菌性肺炎。雖然作者使用遷移學習解決數據量少和訓練時間不足的問題，但是有限的數據依然對研究造成了限制。實驗結果表明，ResNet50預訓練模型獲得了最好的分類性能（數據集1的準確率為96.1%、數據集2的準確率為99.5%、數據集3的準確率為99.7%）。

Pathak等[43]用遷移學習調整深層的初始參數，作者用ResNet50提取潛在特征，采用平滑損失函數來增強結果，并用10倍交叉驗證方法來防止過擬合問題，但是該研究并沒有考慮超參數的最優選擇問題（該問題由Ucar等[44]和Polsinelli等[45]解決）。

El-Kenawy等[46]提出了一種基于高級松鼠搜索優化算法（ASSOA）的兩階段分類方法，對胸部X-ray圖像中的不同病例進行分類。第一階段，使用遷移學習技術進行預訓練，采用ASSOA對ResNet-50提取的特征進行選擇；第二階段，用選擇后的特征優化多層感知器（MLP）神經網絡的連接權值，對輸入情況進行分類。該研究將ASSOA同灰狼優化算法（GWO）和遺傳算法進行比較，驗證其有效性。實驗顯示，（ASSOA+MLP）算法達到了99.7%的最高準確率。此外，該模型能夠有效地對受災情況進行分類，平均準確率為99.26%。

特征金字塔網絡（feature pyramid networks，FPN）[47]的對模型性能有不小的影響。Rahimzadeh等[14]將FPN用于進行圖像預處理，從而丟棄肺內無法正常顯示的CT圖像，以加快處理速度。但是由于測試數據集不平衡，導致該方法的實驗準確性和靈敏度較低。Wang等[5]在COVID-19識別的基礎上添加了肺部定位功能，該研究包含兩個深度學習模型Discrimination-DL和Localization-DL：Discrimination-DL在ResNet基礎上構建了一個FPN的基本單元作為COVID-19鑒別器確定識別概率；Localization-DL使用殘差網絡來定位受感染的肺部區域。其鑒別準確率和定位準確率分別為98.71%、93.03%。但由于缺乏來自數據源的對應圖像，實驗并未納入其他類型病毒性肺炎的X-ray圖像，導致實驗過于單調。

ResNet模型輕量化也是一個研究方向，COVIDNet[8]就是一種基于ResNet50的輕量級網絡，該網絡先在ImageNet數據集上進行預訓練，然后使用Adam優化器在COVIDx數據集上訓練。COVID-Net不僅能夠在保持低計算復雜性的同時增強表示能力，而且在檢測COVID-19陽性病例的同時限制假陽性COVID-19檢測的數量。雖然使用COVID-Net可以幫助臨床醫生改善篩查，并在加速計算機輔助篩查時提高信任度和透明度，但實驗結果顯示該模型對于COVID-19的檢測準確率較低。

由于Resnet具有避免小梯度消失，緩解梯度彌散和網絡退化的特性，但是該類模型在輕量化方面發展較為緩慢，輕量化的COVID-Net的參數量遠大于Truncated Inception Net。

2.4 基于DenseNet的分類模型

DenseNet網絡中任意層進行兩兩互連，將ResNet跨層連接進一步應用，通過對不同層特征圖的復用，加強網絡各層之間特征傳遞并減少層間相互依賴性，其中網絡每層輸入特征圖由前續所有層信息組合而成，不同長短的跨層連接提供緊湊且有區別的特征，有效地緩解了深層網絡中因梯度消失而難以優化的問題，DenseNet還利用全部特征進行最終預測來提升模型魯棒性，最終利用較小模型尺寸和計算量，在標準數據集上獲得較好性能，因此涌現出許多基于DenseNet的COVID-19分類模型。

Wang等[48]提出了一個用于COVID-19分類和預后分析的全自動深度學習系統，該系統包含：利用DenseNet121[24]+FPN完成肺部區域的自動分割、非肺區域抑制和分類與預后分析三部分。作者使用兩步遷移學習策略解決數據集較小的問題，并用數據鏈可視化算法從兩個角度分析COVID-19網絡學習到的特征。雖然取得了較好的分類效果，但是也存在沒有考慮患者的患病程度（該局限被Goncharov等[37]解決）和小數據集導致的準確性較低的問題。

Montalbo等[54]提出基于截斷和連接的DenseNet輕量級模型Fused-DenseNet-Tiny來檢測COVID-19。該方法融合了一個截斷的DenseNet模型鏡像，一半從COVID-19病例的X-ray數據集和ImageNet中重新訓練了整個網絡，另外一半上層部分凍結，以生成不同的特性批處理，兩種模型的不同特征在網絡結束前被融合，并通過一組帶有正則化的層來處理，以防止過擬合問題。雖然該模型只有120萬個參數，與其他先進的模型相比計算成本和參數尺寸相對大幅降低，但其提取特征能力下降，使得無法在更大的數據集上應用。

DWSDenseNet[55]用深度可分離卷積代替SDenseNet部分稠密塊傳統卷積，以降低網絡的參數量。與VGG16、ResNet18、ResNet34、DenseNet121和SDenseNet模型的比較實驗表明，DWSDenseNet在三分類實驗中相較于ResNet34在準確率、靈敏度和特異性上都有提高。相較于基礎網絡SDenseNet，DWSDenseNet的參數量減少了43.9%，但分類效果并未下降。由于實驗僅在一個數據集上進行，模型的可重復性未得到充分驗證。

可以看出，基于DenseNet的分類模型大多一定程度上修改了，使網絡的參數量大大降低，尤其是Fused-DenseNet-Tin的參數量僅有120萬，相比基于Inception的模型更具優勢。但是該類模型也存在難以復現的缺陷，輕量化應用是該類模型的發展前景。

2.5 基于CapsNet的分類模型

CapsNet與最先進的深度學習網絡不同，它使用淺層網絡，讓capsule層嵌套在其他層中，從而避免增加更多的層使得網絡深層次化。每個capsule被用于檢測圖像中的特定實體，動態的路由機制將檢測到的實體發送給父層。相比CNN需要從多方面來考慮成千上萬的圖像，capsule網絡能夠在不同情況下，從多個角度識別物體，減少了數據量，在COVID-19檢測中展現了良好的性能。

COVID-FACT[56]利用膠囊網絡作為其主要構建模型，在第一階段檢測顯示感染的切片，第二階段對患者進行劃分，同時增加了一種閾值方法對零個或很少的CT圖像進行分類。雖然該模型的可訓練的參數、監督要求和注釋遠少于其他模型，但是其會將社區獲得性肺炎病例錯誤分類為COVID-19，需要放射科醫生通過手動改變圖像對比度來檢測這些異常，不僅準確率低而且會給醫生帶來不便。相比之下，使用預訓練和遷移學習的COVID-CAPS[57]取得了98.3%的準確率，比COVIDFACT高近8%。

神經網絡Convolutional CapsNet[58]為二分類（COVID-19和無發現）和多分類（COVID-19、無發現和肺炎）提供了準確的診斷方法，Convolutional CapsNet模型相對簡單，具有更少的層，但是所用數據集較大，要求輸入圖像的大小相同，需要大量的時間和硬件資源去處理圖像。

對比發現，基于CapsNet的模型在小數據集上更具有優勢。

2.6 基于EfficientNet的分類模型

EfficientNet提出了B0～B7的縮放尺度，交叉使用3×3和5×5的卷積核進行特征提取，提出了組合縮放系數，可同時對寬度、深度和圖片分辨率進行參數調整，提高了精度。以EfficientNet為基礎的COVID-19檢測模型在準確率上取得了最佳結果。

由中國工程建設焊接協會主辦的“中國工程建設焊接論壇”是我國工程建設焊接領域的年度盛會，論壇以“新技術、新工藝、新材料、新設備”應用推廣和技術交流為主題開展論壇交流，助推工程建設領域的科技創新，提升工程建設相關行業和會員單位的焊接制造能力和產品質量水平，促進“產、學、研、用”的有效融合，推動中國由焊接大國向焊接強國的升級。

Monshi等[59]基于EfficientNet-B0提出CovidXrayNet模型，通過優化數據增強管道和模型超參數來檢測胸部X-ray圖像中COVID-19，解釋并可視化不同數據增強技術，使用管道將最佳順序進行組合，更好地提取COVID-19診斷相關特征，模型在增強的平衡COIVDcxr和基準COVIDx數據集的三分類任務中達到95.82%準確率。雖然結果表現良好，但假陰性的分類結果（它誤認了四名COVID-19患者患有肺炎，一位COVID-19患者是正常的）會給臨床帶來不必要的負擔。另外，通過額外的數據擴充和更好的超參數來構建和優化可以避免一些問題，但由于沒有適當的COVID-19數據，CovidXrayNet很難在其他數據集上實現95.82%的準確度。

基于EfficientNet的集成卷積神經網絡ECOVNet[60]使用ImageNet預訓練權重，通過模型快照和集成預測降低泛化誤差，通過Grad-CAM可視化一個激活圖來解釋預測并識別圖像中的關鍵區域，實驗在COVIDx上進行驗證，顯示對COVID-19的召回率為100%，準確率為96.07%，高于CovidXrayNet，但實驗并未提及特異性等指標。

Bhatt等[61]在EfficientNetB3模型的基礎上，結合遷移學習技術與漸進調整技術[62]增強效果，使用Grad-CAM[36]對圖像進行分類，使用COVIDx數據集進行驗證，在二分類和多分類上準確性都達到了100%，但是由于數據集過于單一，模型的分類結果很難復現。

從性能來看，基于EfficientNe的分類模型取得的效果最佳，但是網絡往往缺乏可重復性，對數據集往往有很高的要求。因此，通過數據集的多樣化來提高模型泛化能力是該類模型的一個發展方向。

2.7 基于多網絡融合的分類模型

由于COVID-19的圖像較少，很容易因數據集不平衡而影響模型的訓練效果。因此，Rahimzadeh等[39]將實驗分為訓練和驗證兩部分，訓練時將訓練集分為8個連續階段。作者使用基于Xception和ResNet50-V2的級聯神經網絡，實現了99.50%的平均精度，但靈敏度僅有80.5%。

Tiwari等[63]采用CapsNet與VGG16級聯網絡，既解決了傳統CNN的局限，又增強了初始特征圖的計算能力，在小數據上取得了良好的性能，但是該網絡更加適用于二分類。

DenseCapsNet[64]由密集卷積網絡和膠囊神經網絡融合而成，利用各網絡的自身優勢，減少卷積神經網絡對大量數據的依賴。該方法可取得90.7%的準確度和90.9%的F1值，其COVID-19的檢測靈敏度可達96%。

COFE-Net[65]利用模糊邏輯的原理，通過Choquet模糊積分，結合三個最先進的CNN（InceptionV3、Inception-ResNet-V2和DenseNet201）測量決策值檢測COVID-19。雖然使用了Sugeno模糊測量極大地減少了搜索空間，但是通過實驗確定最佳測量仍然是一個耗時的過程。多個數據集上的實驗均取得了良好效果。由于CNN分類器的特征提取自整個輸入圖像，但區別元素集中在圖像的特定部分，會造成一定的分類誤差。

多融合的網絡模型是集合了兩種或多種基礎模型的優點，使融合模型的檢測效果更佳顯著。但是，這也增加了網絡的深度，使得計算量和參數量提升，有必要引入輕量化模塊。

表2匯總了基于深度學習的診斷方法。

表3匯總了基于深度學習的診斷方法的性能對比情況。

表3 深度學習診斷方法性能對比表Table.3 Performance comparison table of deep learning diagnostic methods

3 深度學習與其他機器學習方法結合的診斷方法

深度學習與其他機器學習方法結合的診斷方法主要分為三種：深度學習與有監督方法結合的分類模型、深度學習與弱監督方法結合的分類模型和深度學習與無監督方法結合的分類模型，其中深度學習與有監督方法結合的分類模型又分為結合SVM分類器的模型、采用貝葉斯算法的分類模型和結合其他有監督方法的模型三種，圖3展示了深度學習與其他機器學習方法結合的診斷方法結構圖。

圖3 診斷方法結構圖Fig.3 Diagnostic method structure diagram

3.1 深度學習與有監督方法結合的分類模型

3.1.1 結合SVM分類器的模型

Canayaz等[66]分別使用AlexNet[67]、VGG19、GoogleNet和ResNet等網絡進行特征提取，然后借助元啟發式算法（二元粒子群優化[68]和二元灰狼優化[69]）選擇最有效的特征，最后用SVM[70]分類器進行分類。研究表明，使用BPSO[68]算法的VGG19模型獲得了99.38%的最佳精度。該實驗展示了不同深度學習模型在COVID-19診斷中的表現，但是對比發現不是每個深度學習模型都能在所提出的方法中取得足夠的成功，模型缺乏廣泛性。

Ozkaya等[71]提出了一種融合和排列深層特征的方法檢測早期COVID-19。作者采用VGG16、GoogleNet和ResNet50模型進行特征提取，將得到的特征向量與這些模型進行融合，得到高維融合特征，以此來減少從單個CNN網絡獲得的特征不足的影響。同時采用t檢驗方法進行特征排序（通過考慮特征向量中相同特征的出現頻率和平均特征的發現頻率來進行排序），減少了時間損耗和計算機復雜性。在進行特征融合和排序后，訓練二進制SVM分類器進行分類。SVM使用了線性核函數，并把特征轉移到空間，從而更好地分類特征。通過觀察混淆矩陣可以發現，該模型容易將圖像錯判為COVID-19。

Togacar等[72]開始時使用模糊顏色技術和疊加技術來處理數據，接著，采用兩種深度學習模型（MobileNetV2[73]和SqueezeNet[74]）對堆疊數據集進行訓練，并用社會模仿優化（SMO）算法提取有效的特征，最后使用支持向量機（SVM）[75]對有效特征進行組合和分類。該模型具有參數量較少的優點，為集成到便攜式智能設備中創造了條件。但是，由于采取了疊加技術該方法要求原始圖像和結構化圖像的分辨率必須相同，并且無法處理低分辨率的圖像。在特定數據集上的實驗結果顯示，單獨的COVID-19數據分類成功率為100%，COVID-19、正常和肺炎圖像三分類的總成功率為99.27%。

CovXmlc[76]采用多模型分類方法將X-ray圖像分為COVID-19和正常。該模型在VGG16卷積網絡的最后一層結合了SVM，并在VGG16和SVM之間增加包含最大池化層、密集層和dropout層的新卷積結構，使得VGG16和SVM更好地同步。將CovXmlc與使用不同參數和度量的五個現有模型進行比較表明，在作者提出的最小數據集上，CovXmlc的準確率高達95%，顯著高于現有模型的準確率，但實驗未考慮存在不同COVID-19變體的情況。

3.1.2 采用貝葉斯算法的分類模型

貝葉斯算法是處理參數優化問題的有效算法[77-78]。Ucar等[44]和Polsinelli等[45]都是在SqueezeNet的基礎上，使用了貝葉斯算法對初始學習率（在訓練期間用于更新權重的比率）、動量（該參數影響權重更新，考慮到前一次迭代的更新值）、L2正則化（一個正則化項，用于損失函數的權重，以減少過度擬合）等超參數進行優化[44-45]。不同的是文獻[45]所述方法添加了訓練數據集的擴充、旋轉（隨機角度在0°到90°之間）、縮放（隨機值在1.1到1.3之間）和高斯噪聲等處理。而文獻[44]則針對數據集的不平衡問題添加了多尺度增強過程。

較高的假陰性會造成診斷成本偏高，針對該問題Ghoshal等[79]采用加權貝葉斯[80]卷積神經網絡（BCNN）估計深度學習的不確定性（缺乏訓練數據造成的模型不確定性和由于類重疊、標簽噪聲等造成的隨機不確定性）從而提高人機組合的診斷性能。在數據方面，作者使用數據集的平均值和標準偏差值對圖像進行標準化，并進行實時數據增強以防止過度擬合并增強模型的學習能力；在網絡方面，作者在ResNet50V2[81]的基礎上引入全連接層，將最大激活層之后的下降權重作為高斯過程的近似，并將其轉換為近似貝葉斯推理來估計模型不確定性。實驗表明，模型的不確定性和預測的準確性之間有很強的相關性。

3.1.3 結合其他有監督方法的模型

Hu等[82]創建了一個具有挑戰性的臨床數據集COVID19 DIAG，提出一種新的不平衡數據分類方法，該方法采用自適應輔助損失（DSN-SAAL）深度監督學習方法進行診斷COVID-19。由于所有的模型參數都是通過網絡迭代自動學習的，該方法可以應用于不同的數據集，但有限的數據集對深度學習模型的訓練產生一定影響。

Elazab等[83]提出一種基于GCN的具有監督機制的新方法從X-ray圖像中診斷COVID-19。該模型將監督機制與VGG網絡結合起來，豐富了特征提取功能，取得了96.41%的準確率。該模型只關注二分類任務，且沒有定量疾病狀態。

3.2 深度學習與弱監督方法結合的分類模型

使用三維檢索的DeCoVNet[84]采用弱監督[85]的方法：首先使用U-Net[86]分割肺部區域，然后將分割后的三維肺部區域輸入三維深度神經網絡來預測COVID-19感染的概率。為解決數據集過小帶來的過擬合問題，DeCoVNet采用了數據增強技術。該模型易導致較高的假陰性，且存在一些局限性：首先，用于肺部分割的U-Net模型沒有利用時間信息，而是使用不完善的真實度模板進行訓練；其次，研究中使用的數據來自一家醫院，沒有進行跨中心驗證；另外，在診斷COVID-19時，以黑盒方式工作，但由于該算法基于深度學習，其可解釋性仍處于早期階段。

Uemura等[87]開發了名為pix2surv的弱監督網絡，可用于從圖像中自動計算事件發生的時間信息，以進行愈后預測。與目前可用的實驗室測試和現有的基于圖像視覺和定量預測因子相比，該網絡有利于預測COVID-19患者的疾病進展和死亡率。此外，還可以通過該模型將患者分為低風險組和高風險組，其范圍比其他預測因子更廣。但該方法只考慮基于圖像的信息，將非成像臨床數據集成到模型中是提高其預測準確性的有效方法。Chikontwe等[88]提出基于雙注意對比的MIL（DA-CMIL）模型來檢測COVID-19。DA-CMIL是一種端到端的弱監督模型，它將多個患者CT切片（視為實例包）作為輸入，輸出單個標簽。基于注意力機制的池化層用于隱式選擇潛在空間中的關鍵切片，而空間注意力機制通過學習切片空間上下文進行可解釋的診斷。該模型取得了98.4%的AUC，98.6%的精度。但是該文獻沒有研究健康圖像，在檢測健康圖像時會產生不利結果。

3.3 深度學習與無監督方法結合的分類模型

Mansour等[89]提出了一種新的基于無監督DL的變分自編碼器（UDL-VAE）模型，用于COVID-19檢測和分類。UDL-VAE模型采用基于自適應維納濾波（AWF）的預處理技術提高圖像質量，使用Inception V4作為特征提取器，無監督的VAE模型用于分類過程。UDL-VAE模型在二元類和多類上的準確率分別達到了0.987和0.992的效果。雖取實驗取得了優良效果，但在超參數設計方面有待優化。

Bargshady等[90]提出CycleGAN-Inception模型來識別COVID-19，該方法首先采用無監督方法進行數據增強并調整數據大小，之后把規范化的數據傳入InceptionV3預訓練模型中進行驗證，實驗使用的數據集包含X-ray和CT圖像。該模型具有較好的兼容性，但只使用了一個公共數據庫，數據缺乏多樣化，模型的可重復性有待驗證。

表4匯總了深度學習與其他機器學習方法結合的診斷方法。

表4 深度學習與其他機器學習結合方法匯總表Table 4 Summary of deep learning combined with other machine learning methods

表5匯總了深度學習與其他機器學習方法結合診斷方法的性能對比情況。

表5 深度學習與其他機器學習結合方法性能對比表Table 5 Table of performance comparison between deep learning and other machine learning methods

4 結束語

本文對COVID-19的深度學習診斷方法進行總結，通過對比可以發現：

（1）從骨干網絡來說。基于COVID-19的診斷模型中，分類網絡有VGG、Inception、ResNet、DenseNet、CapsNet、EfficientNet等多種，其中以ResNet應用最為廣泛，部分作者在這些網絡基礎上添加其他輔助手段，如FPN、注意力機制、決策樹等，提高模型性能。

（2）從數據集來說。大多數研究使用的COVID-19數據集的圖像數量在幾十到幾千之間。為解決小樣本問題，部分作者采用了遷移學習的方法。在公開可用的大型COVID-19數據集中以COVIDx應用最多。

（3）從模型性能來說。以EfficientNetB3[70]為骨干網絡的方法在二分類和多分類上準確率達到100%，充分證明深度學習診斷方法在COVID-19診斷中的重要作用。

可以發現，隨著計算機視覺的不斷發展，深度學習在圖分類領域不斷進步，大多數基于深度學習的COVID-19診斷模型都取得了顯著成果，但是其仍然存在改進空間：

（1）完善數據集。一個模型最終性能的確定離不開數據集，因此完整、清晰、精確的數據集是必不可少的。目前大部分模型在進行驗證的時候所應用的數據集圖像數目較少且有些數據集的圖像不清晰，這很容易產生過擬合。此外，不少模型采用由不同數據集合并而成的新數據集，易導致數據重復。

（2）存在算法偏見（算法偏見是指算法在數據集構建、目標制定與特征選取、數據標注等環節中產生的信息偏差，導致算法失去公平和準確性）。部分研究采用了兒童的相關影像作為“COVID-19”非對照組，事實上相比于成人，兒童感染COVID-19的幾率要小得多。因此這種設計上的偏差會讓算法產生很大的偏見。

（3）模型具有不可重復性。一般來說有兩種方法來驗證算法的性能，即內部驗證和外部驗證。內部驗證是指測試數據與開發數據屬于相同來源；外部驗證是指測試數據屬于不同來源。如果該研究只是基于一家醫院的數據，那么它很可能不適用于另一家醫院。這些數據需要多樣性，最好是國際化的，否則，當該方法被更廣泛地測試時肯定是要失敗的。

（4）模型輕量化[91-93]。隨著卷積神經網絡的不斷進步，研究人員提出了很多結構更復雜、層數更深的卷積神經網絡模型，但隨之而來的即是效率問題，結構復雜的卷積神經網絡雖然會有較好的準確率優勢，但是具有效率不高、參數量大和計算量高等不可忽視的缺點，因此輕量化卷積神經網絡的研究對于COVID-19模型的優化和應用推廣具有深遠意義。

（5）無監督學習。COVID-19的深度學習分類方法是監督式學習。但是人類大腦具有思考能力，更像是無監督式學習，人類視覺系統判斷一幅圖像之前并不需要被告知幾千上萬圖像的類別。因此，使用單純的無監督學習模型來檢測COVID-19也是未來的一個發展方向。

隨著COVID-19的常態化流行，肺部影像篩查的方法起著越來越重要的作用。本文從基于深度學習的COVID-19檢測模型出發，首先簡單地介紹了一些常用的COVID-19數據集，接著從深度學習和深度學習與其他機器學習方法結合兩個方面對模型的骨干網絡、數據集、性能等多個角度進行總結。隨著各種技術的發展，檢測模型在準確率、靈敏度、特異性等評價指標上有很大的提升，這對醫學領域的診斷有著很大的幫助。但是部分模型仍然存在一些缺陷，期待未來COVID-19檢測技術能夠克服這些不足，更好地為醫學領域做出貢獻。