基于深度學習的COVID-19智能診斷系統

賈 楠，李 燕，郭靜霞，徐 立，白金牛

(1.內蒙古科技大學 包頭醫學院計算機科學與技術學院，內蒙古 包頭 014040；2.包頭市中心醫院，內蒙古 包頭 014040)

0 引言

自2019年12月以來，新冠肺炎仍在全球蔓延。所以快速、準確地識別出新冠肺炎對于患者的及時醫治以及控制疫情的傳播具有非常重要的意義。目前新冠肺炎檢測的金標準是逆轉錄聚合酶鏈反應(RT-PCR)[1]，但在實踐中常常會由于采樣質量或者病毒的載量出現假陰性或弱陽性結果，從而導致較高的復檢率，容易延誤治療，增加其他人員感染的風險。利用胸部X光片(CXR)也可以很好地進行新冠肺炎的輔助診斷。CXR是最常見的診斷放射學檢查之一，CXR成像比CT成像更容易獲得。因為CT掃描儀價格高昂且維護成本較高，而CXR系統相對較為便宜，且在鄉鎮一級的醫院也普遍存在。但想通過CXR影像來識別患者是否感染新型冠狀病毒，非常依賴放射科醫生的經驗。即便是訓練有素的放射科醫生也很容易犯錯誤，因為其它類型的肺炎和新冠肺炎往往具有相似的視覺特征。因此，用深度學習的方法構建一個模型支持放射科醫生的決策過程，加速新冠篩查，幫助減少診斷錯誤具有非常重要的意義。

深度學習通過使用卷積神經網絡可實現對醫學影像特征的自動提取，具有強大的表征能力[2]。因此將深度學習應用于針對胸片的新冠肺炎檢測也是當下研究的熱點。Narin等[3]運用ResNet50、ResNet101、ResNet152、InceptionV3和Inception-ResNetV2五個模型，通過五折交叉驗證對胸片進行訓練，實現了COVID-19、正常(健康)、病毒性肺炎和細菌性肺炎四分類任務。實驗結果顯示ResNet50模型獲得了最高的分類準確率。Wang等[4]基于DenseNet-121構造了一個深度學習管道，除了可區分由COVID-19引起的病毒性肺炎和其它類型的肺炎外，可以對新冠肺炎的嚴重程度進行評估。Wang等[5]利用神經網絡搜索技術構建了COVID-Net模型，實現了正常(Normal)、其它肺炎(Non-COVID)、新冠肺炎(COVID-19)的三分類檢測任務，并取得了不錯的結果。Siddhartha等[6]，提出了一種名為COVIDLite的方法，該方法在圖像預處理階段運用白平衡與限制對比度自適應直方圖均衡化相結合，在神經網絡構建中又采用了深度可分離卷積，最終實現了Normal、Non-COVID、COVID-19的三分類準確率為97.12%。Oh等[7]提出了一種基于patch的深度神經網絡架構，可以在小數據集上穩定地訓練，從而解決了新冠肺炎數據集較少的問題。

本文將構建一個輕量化的神經網絡模型，該模型在滿足檢測精度的前提下，參數量要盡可能的小。同時為了使所訓練的模型不是僅僅停留在實驗室，而是能夠真正地運用到臨床輔助診斷中，本文還將搭建一套方便醫院影像工作人員使用的web系統。

1 智能診斷系統結構及原理

本系統原理如圖1所示。包括如下5個模塊，1)數據集的整理和劃分；2)分割模型；3)圖像預處理；4)分類模型；5)模型部署。

圖1 智能診斷系統原理圖

具體說明如下：1)數據集整理和劃分是將收集到影像數據按照類別進行整理，一個類別對應一個文件夾，文件夾中存入相應類別的影像。然后將整理后的影像按照一定比例劃分為訓練集、驗證集和測試集；2)用訓練集訓練一個肺部分割模型，實現胸部X光片的肺部區域的分割；3)對分割后的肺部影像進行圖像預處理，擴充訓練樣本的數量，提高模型的泛化能力；4)基于處理后的影像數據訓練一個新冠肺炎檢測三分類模型；5)將分割模型和分類模型進行組合部署，滿足實際應用需求。

2 COIVD-19深度學習檢測技術與方法

2.1 數據集介紹

本研究訓練模型使用的是類別為COVID-19、Non-COVID、Normal的三分類數據集。一方面此類公開數據集較多；另一方面這種分類方法，有助于臨床醫生對COVID-19進行初篩分診，如果檢測為COVID-19可通過RT-PCR進一步進行確診。同時COVID-19和其它肺炎采取的治療方案不同，如此分類還有助于醫生快速采取相應的治療策略。數據集詳細說明如下：

COVID-QU-Ex Dataset[8-12]，是本文訓練模型的數據集。該數據集來源于kaggle網站，包含33 920 張胸部x光片，其中COVID-19為11 956張，Non-COVID為11 263張，Normal為10 701張，并且所有影像均包含肺部邊緣輪廓分割掩膜。本研究將該數據集進行訓練集、驗證集和測試集的劃分。影像示例如圖2所示，數據集詳細統計見表1。

(a)～(c)分別為新冠肺炎患者、其它肺炎患者和正常人胸部x光片；(d)～(f)分別為新冠肺炎患者、其它肺炎患者和正常人肺部邊界區域。圖2 COVID-QU-Ex Dataset影像示例

表1 COVID-QU-Ex Dataset詳細統計

此外為了驗證模型的泛化能力和穩定性，本論文還用COVID CXR Image Dataset[13-15]對模型進行了測試。該數據集也來源于kaggle網站，數據集包括Normal、Non-COVID和CVOID-19患者的胸部X光片的后前方(PA)視圖。共有1823張CXR影像，包含536張COVID-19影像，619張Non-COVID影像和668張Normal影像。數據集中COVID-19病例的年齡范圍為18～75歲。

2.2 檢測方法

該研究利用深度學習對CXR影像進行分類的工作流程如圖3所示。首先利用COVID-QU-Ex Dataset數據集中的肺部胸片以及肺部分割掩膜，訓練一個UNet分割模型，UNet模型在醫學圖像分割領域表現優異，該模型能夠很好地實現CXR影像肺部區域(ROI區域)的自動分割。其次將自動提取后的ROI區域送入圖像分類模型，最終實現Normal 、Non-COVID、 COVID-19的三分類。

圖3 工作流程圖

本研究比較了當下流行的10種主流深度學習分類模型。詳細的實驗數據見文中第3部分。在以上10種模型的對比實驗中，發現針對COVID-QU-Ex Dataset數據集，同系列的模型并不是模型深度越深，模型精度越高。而是隨著模型深度增加到一定程度，精度不增反而略微下降。以RestNet系列為例，模型在驗證集上的準確率如下：RestNet18為0.947、RestNet34為0.948、RestNet50為0.946、RestNet101為0.946。圖4、圖5分別為RestNet系列在訓練集和驗證集上直觀展示。

圖4 訓練集準確率

圖5 驗證集準確率

受此啟發，針對該分類任務，構建模型時可以不用設計過深的網絡，同樣也能達到較好的分類效果，這樣就可以控制模型的大小，方便模型在終端部署。為此本文以MobileNetV2[16]為基礎，增加了CA(coordinate attention)[17]注意力機制，構建了一個新的模型用于CXR影像新冠肺炎檢測任務，并將其命名為MBCA-COVIDNET。

2.3 MBCA-COVIDNET模型結構

該模型的整體結構如圖6所示。

圖6 MBCA-COVIDNET網絡結構示意圖

圖6中，k代表卷積核大小；卷積中的s代表卷積步距；BN代表批歸一化；RLU6、Non-Linear、Sigmoid代表非線性激活函數；t代表隱藏層的擴展因子；n代表bottleneck的重復次數；圖中左側MBCA-COVIDNET中包含7個bottleneck層，需要注意的是每個bottleneck層中標識出的s是對應的第一個bottleneck模塊中的卷積步距，其它bottleneck模塊s均為1；Avg Pool代表全局平均池化；DW Conv2d代表深度可分離卷積；C代表通道數；H代表特征圖的高度；W代表特征圖的寬度；r為代表特征圖的縮放因子。

2.3.1 CA模塊

CA是將位置信息嵌入到通道注意力中。與通道注意力機制不同，傳統的通道注意力機制是通過二維全局平均池化將每個通道上對應的空間信息(H×W)壓縮為1個具體的數值，最終維度變為1×1×C的向量，這種操作會損失物體的空間信息。而CA將通道注意力分解為兩個一維特征編碼的過程，分別沿著兩個空間方向聚合特征。這種方法可以在一個空間方向上捕獲長距離依賴，同時在另一個空間方向上保留精確的位置信息，它們可以互補地應用到輸入特征圖來增強感興趣的目標表示。具體實現過程如圖6所示，首先將輸入特征圖分別在寬度和高度兩個方向進行全局平均池化，分別獲得在寬度和高度兩個方向的特征圖zw和zh，公式如下所示：

(1)

(2)

然后將特征圖zw的最后兩個維度調換，再將其與特征圖zh拼接在一起并送入卷積模塊，卷積核為 1×1，輸出維度降低為原來的C/r，r為通道的縮放比率，并將經過批量歸一化處理的特征圖F1經過非線性激活函數得到形如 1×(W+H)×C/r的特征圖f，f∈RC/r×(H+W)，公式如下所示：

f=δ(F1([zh，zw]))

(3)

式中，zh為高度方向上的特征圖，zw為寬度方向上的特征圖，[. ，.]為在空間維度上的拼接操作，F1為對輸入特征進行1×1卷積并進行批歸一化操作，δ為非線性激活函數。

接著，沿著空間維度將f切分為兩個單獨的張量fh∈RC/r×H和fw∈RC/r×W再利用兩個1×1卷積將特征圖fh和fw變換到和輸入x同樣的通道數。

gh=σ(Fh(fh))

(4)

gw=σ(Fw(fw))

(5)

式中，fh為沿高度方向將f切分的特征，fw為沿寬度方向將f切分的特征，Fh、Fw表示分別對fh和fw進行1×1卷積，并將特征通道數從C/r變回為C，σ為sigmoid函數。

最后對gh和gw進行拓展，作為注意力權重與輸入相乘，CA模塊的最終輸出可以表述如下式：

(6)

2.3.2 改進MobileNetV2結構

為了進一步提高MobileNetV2模型分類的準確率，在原模型的每個bottleneck模塊中加入了CA模塊，加入位置如圖6所示。CA模塊中BN層后的非線性激活函數采用RELU6激活函數。

2.4 數據預處理和數據增強

圖像預處理，本實驗將所有的影像縮放到224*224，數據集中的絕大部分圖像都比該尺寸要大，也有個別圖像的尺寸小于224*224，為將圖像擴大至224*224，實現輸入模型的圖像尺寸統一，采用了最近鄰插值。

為了更好地訓練模型，提高模型的精度，在實驗中也嘗試了醫學影像中常用的數據增強方法，如直方圖均衡化、Gamma變換、TrivialAugment[18]等。

1)直方圖均衡化：直方圖表示的是圖片灰度值的分布，直方圖均衡化是將原圖經過某種變換，得到一幅灰度直方圖為均勻分布的新圖像的方法。其基本思想是對在圖像中像素個數多的灰度級進行展寬，而對像素個數少的灰度級進行縮減，從而達到清晰圖像的目的。

2)Gamma變換：Gamma變換是對輸入圖像灰度值進行非線性操作，使輸出圖像灰度值與輸入圖像灰度值呈指數關系。Gamma變換就是用來圖像增強，其提升了暗部細節，通過非線性變換，讓圖像從曝光強度的線性響應變得更接近人眼感受的響應，對過曝或過暗的圖像進行矯正。

3)TrivialAugment：TrivialAugment是一種自動增強策略。它不像AutoAugment和RandAugment需要搜索空間，其不需要任何搜索，整個方法非常簡單，每次隨機選擇一個圖像增強操作，然后隨機確定它的增強幅度，并對圖像進行增強。TrivialAugment的圖像增強集合和RandAugment基本一樣，只不過其定義了一套更寬的增強幅度，目前torchvision中已經實現了TrivialAugmentWide。

2.5 模型評估指標

針對胸片的三分類任務，采用如下7個評估指標對模型進行評估：正確率(Accuracy)、精度(Precision)、靈敏度(Sensitivity)、F1Score、特異度(Specificity)、參數量(Parameters)、計算量(MACs)。

(7)

Accuracy為所有被分類正確的影像數量與所有影像數量的比值。

(8)

Precision為被分類為正例的影像中，實際為正例的比例。

(9)

Sensitivity為影像中所有正例被分類正確的比例，用來衡量模型對正例的識別能力。

(10)

F1Score兼顧了分類模型的精確率和召回率，可以看作是模型精確率和召回率的一種調和平均，它的最大值是1，最小值是0。

(11)

Specificity為影像中所有的負例被分類正確的比例，衡量模型對負例的識別能力。

公式(7)～(11)中TP表示實際上是正例，預測結果也是正例的數量；TN表示實際上是負例，預測結果也是負例的數量；FP表示實際上是負例，預測結果為正例的數量；FN表示實際上是正例，預測結果為負例的數量。

Parameters為模型內部總的參數數量，用來衡量模型的大??；MACs為乘加累積次數，1MACs等于1個乘法和1個加法。

3 實驗結果與分析

3.1 實驗步驟

本研究所有實驗均基于Python3.9.5和pytorch1.11.0的深度學習框架實現，具體硬件設備配置：顯卡為NVIDIAGeForceRTX 3080 LaptopGPU，顯存16 G，電腦內存32 G，CPU為AMDRyzen 9 5900HX。

針對COVID-QU-Ex Dataset數據集的影像分類任務，對比了如下幾個模型，RestNet系列(RestNett18、RestNet34、RestNet50、RestNet101)、EfficientNet系列(EfficientNetB0、EfficientNetB3)、MoblieNetV2、MobileNetV3、SwinTransformer、ConvNext_small以及新設計的MBCA-COVIDNET模型。所有這些模型訓練的參數設置如下：訓練迭代次數(epoch)30，因為30次模型已經收斂，再繼續進行訓練，模型精度沒有繼續提升；batchsize為64，因為受于實驗硬件設備所限，該大小可使得所有基線模型在當前GPU(16 G)下訓練；初始學習率為5×10-4，由于所有基線模型都采用遷移學習，都用到在ImageNet1K上的預訓權重，所以初始學習率不易過大；優化器選用效果較好的AdamW，weight_decay設置為5×10-2，AdamW是在Adam的基礎上引入了L2正則化，可有效地減小過擬合，針對該訓練數據集，實驗證明AdamW要優于SGD；學習率下降策略采用warmup+Cosine的下降策略，熱身訓練為1個epoch。實驗證明該下降策略相比等間隔調整學習率(StepLR)能夠帶來精度的提升。同時所有模型訓練時均不采用任何圖像增強技術，只是將數據集中的圖像大小縮放為224*224作為模型輸入。

3.2 實驗結果

基于上述統一設置的訓練參數，訓練得到的10個神經網絡模型在COVID-QU-Ex Dataset測試集上的性能表現如表2所示，各模型的混淆矩陣如圖7所示。從表2中可以看出MBCA-COVIDNET的模型的正確率為97.02%，是所有模型最高的，ConvNext_small模型的正確率為96.99%，僅從正確率這個指標看前者只比后者僅提升了0.03%。但是對比模型的參數量可以發現MBCA-COVIDNET模型的參數量僅為2.67 M，而ConvNext_small模型的參數量為49.46 M，前者的參數量遠小于后者。對比MACs指標，前者為0.33 G，后者為8.7 G，前者的計算量也遠小于后者。

表2 各深度學習模型在COVID-QU-Ex數據集上的性能對比

圖7 各深度學習模型在COVID-QU-Ex數據集上的混淆矩陣

對比MBCA-COVIDNET模型和MoblieNetV2模型，可以發現正確率前者比后者提升了0.47%，參數量前者僅比后者多0.44 M，計算量前者比后者多0.01。同時也證明了MoblieNetV2加入CA注意力機制的有效性。

通過觀察MBCA-COVIDNE模型在測試集上的混淆矩陣，可以發現，2 395例COVID-19測試影像中正確預測2 376例，4例預測為Non-COVID類別，15例預測為Normal類別。預測正確率為99.41%，靈敏度為99.21%，特異度為99.68%，F1Score為99.31%；2 253例Non-COVID測試影像中正確預測2 160例，7例預測為COVID-19類別，86例預測為Normal類別。預測正確率為96.13%，靈敏度為95.87%，特異度為98.08%，F1Score為96.0%；2 140例Normal測試影像中正確預測2 050例，7例預測為COVID-19類別，83例預測為Non-COVID類別。預測正確率為95.30%，靈敏度為95.79%，特異度為97.83%，F1Score為95.54%。實驗證明該模型對COVID-19影像分類正確率要高于其它2個類別。而其它2個類別的影像分類正確率低的原因，主要是模型將部分Non-COVID類別影像預測為Normal類別，將部分Normal類別影像預測為Non-COVID類別造成的。

3.3 消融實驗

為了更好地訓練一個輕量化的模型，本研究做了如下3個消融實驗。

1)針對CA模塊中的非線性激活函數，對比了RELU、RELU6、SiLU、LeakyReLU、Mish 5個激活函數，結果表明RELU6激活函數效果更好一些，具體情況詳見表3。

表3 CA模塊中不同激活函數的性能對比

2)為了驗證在COVID-QU-Ex數據集上CA注意力模塊優于其它注意力模塊，以MobileNetV2為基礎，對比了加入SE模塊、CBAM模塊以及CA模塊后的效果，結果表明MobileNetV2+CA的正確率要優于MobileNetV2+CBAM和MobileNetV2+SE，而且針對該數據集MobileNetV2+CBAM和MobileNetV2的正確率差別不大，具體情況如表4所示。

表4 MobileNetV2中加入不同注意力模塊的性能對比

3)本文也嘗試了兩種不同的數據增強策略，第一種用到了Albumentations[19]庫中RandomGamma、RandomBrightnessContrast、CLAHE、Blur、MotionBlur、MedianBlur、HorizontalFlip、ShiftScaleRotate數據增強方法的組合；第二種用的是TrivialAugment。同時訓練模型的迭代次數也從之前的30次增加到了50次，使得模型更好的收斂。實驗結果表TrivialAugment數據增強的效果更優，詳見表5。

表5 不同數據增強策略的性能對比

3.4 類激活圖可視化

由于神經網絡模型需要大量的數據來訓練，是以數據驅動的方式創建的，因此通常認為神經網絡是一個“黑盒”，其做出的分類缺乏可解釋性。為了對MBCA-COVIDNET模型的分類決策進行解釋，本研究利用Grad-CAM[20]技術，在胸片上進行了類激活圖可視化，如圖8所示。從圖中可以看出該模型關注的影像區域較為合理，覆蓋了肺部感染區域，能夠輔助醫生發現病灶，有助于醫生對患者的診斷和治療。

(a)～(c)為數據集中新冠肺炎患者原始胸部X光片樣例；(d)～(f)為新冠肺炎患者肺部邊界區域；(g)～(i)為新冠肺炎患者類激活圖。圖8 MBCA-COVIDNET新冠影像類激活圖

4 結束語

本文利用MobileNet網絡結構并與CA注意力模塊相結合，構建了一個針對胸片的COVID-19檢測模型MBCA-COVIDNET。該模型在COVID-QU-Ex Dataset數據集上的三分類任務中，采用了TrivialAugment圖像預處理、遷移學習以及一系列訓練技巧，最終在測試集上取得了97.98%的準確率，該模型比之前較先進的COVIDLite模型提升了0.8個百分點，同時該模型的參數量和計算量也均處于較低水平，易于在各種硬件上進行部署。

為了更好地演示該模型，利用Hugging Face[21]開源軟件開發了一個COVID-19智能輔助診斷演示系統。該開源軟件可以非常容易的將訓練好的模型托管到Hugging Face Spaces中，只需編寫一個app.py文件，就可以很方便地隨時隨地進行系統的演示，軟件界面如圖9所示。

圖9 Hugging Face系統界面

同時，為了使訓練好的模型能夠真正地應用于臨床實踐，而不是停留在實驗室階段，利用Flask開發了一個COVID-19的web應用程序，Flask是一個使用 Python 編寫的輕量級 Web 應用框架。該系統能夠輔助醫院工作人員，快速的判斷CXR影像的類別。具體操作步驟如下：1)點擊選擇文件按鈕，加載一張待檢測的影像；2)點擊預測按鈕，系統會使用訓練好的模型，對該影像進行預測，并且給出預測為各個類別的概率。經過實際測試該系統在普通的筆記本電腦上就可以部署并且能夠流暢運行，具有極佳的用戶體驗。系統界面如圖10所示。

圖10 COVID-19深度學習檢測系統界面

本研究的局限性：1)訓練好的模型未能在更多的數據集上做測試，特別是當前新冠病毒進行了多次變異，針對感染變異后新冠病毒患者的胸部X光片，該模型的泛化能力有待進一步驗證；2)訓練模型的數據集來源單一，沒能做到多中心；3)訓練模型完全依賴于胸部X光片未能結合患者的臨床相關數據；4)該模型最終功能只實現對胸部X光片進行新冠肺炎、其它肺炎、正常三分類任務，未能指出新冠肺炎感染的嚴重程度。

下一步研究工作可在現有研究的基礎上，收集、標注新冠肺炎感染區域并訓練一個感染區域分割模型，從而實現利用胸部X光片對新冠肺炎感染嚴重程度進行量化分析。