基于自注意力卷積的新冠肺炎CXR圖像識別

摘要：2019冠狀病毒病（COVID-19）是近年來對世界經濟發展影響最大的流行病。早期發現是治療COVID-19患者的關鍵，而胸片作為一種快速有效的輔助診斷方法被廣泛用于實際的醫療案例中。基于深度學習的圖像識別方法能更快、更準確地診斷CXR圖像，可以取得較好的效果。然而，常見的深度學習模型在對數據進行特征提取時沒有針對性。對此，本文提出基于卷積注意力的新冠肺炎圖像識別網絡，提升對COVID-19陽性樣本的敏感性和特異性，并且增加的模型參數量和訓練時間可以忽略不計。本文結合VGG16、MobileNet、InceptionV3、ResNet50等經典深度學習網絡搭建了卷積注意力模型，并在COVIDRD公開數據庫上進行了驗證。實驗結果表明本文提出的網絡架構有效的提升了對新冠肺炎識別的準確性、敏感性和特異性。

關鍵字：新冠肺炎；CXR圖像；深度學習；卷積注意力

中圖分類號：P315.69文獻標志碼：A文章編號：1001-2443（2023）03-0217-05

引言

新型冠狀病毒病（COVID-19）被世界衛生組織命名為“2019冠狀病毒病”。2020年2月11日，世衛組織總干事譚德賽在瑞士日內瓦宣布了新型“冠肺炎COVID-19”冠狀病毒感染肺炎。3月11日，世衛組織認為，當前爆發的COVID-19疫情可稱為全球大流行。截至2022年5月5日中歐夏季時間（中國標準時間2022年5月6日），全球共有確診病例513384685例，累計死亡病例6246828例。

防止COVID-19感染的傳播刻不容緩，并且需要對患者進行有效的篩查和及時的醫療應對。逆轉錄聚合酶鏈反應（RT-PCR）是目前臨床篩查COVID-19患者最常見的方法，采用呼吸道標本檢測［1］。RT-PCR作為檢測COVID-19患者的參考方法，但該技術是手工操作，并且復雜、費力、耗時。此外，RT-PCR供應容易出現短缺，這可能導致疾病預防工作的延誤［2］。X-Ray圖像也是診斷COVID-19的方法之一，X-Ray圖像可以幫助早期發現疑似病例［3-4］，但放射科醫生在醫院長時間工作之后可能導致誤診。因此，使用計算機輔助診斷（CAD）可以更快、更準確地診斷CXR圖像，已有許多研究人員進行應用［5-10］。

國內外很多人士都使用深度學習方法對識別新冠肺炎圖像進行研究，Narin等人［11］采用預訓練的ResNet50模型進行了正常和COVID-19、正常和病毒性肺炎、正常和細菌性肺炎三種二元分類任務。Maghdid等人［12］已經使用了一個改進的預先訓練的AlexNet模型來檢測COVID-19。Jaiswal等人［13］提出了一種經過修剪的基于高效網絡的COVID-19檢測模型。Minaee等人［14］提出了使用深度遷移學習預測covid-covid-19。Heidari等人［15］對進行了直方圖均衡化和雙邊低通濾波器作為預處理。然后，利用基于遷移學習的卷積神經網絡模型得到了分類結果。Hemdan等人［16］提出了一種使用改進的VGG19模型的COVIDX-Net來檢測COVID-19。Afshar等人［17］實施了一個名為COVID-CAPS的框架，該框架基于COVID-19檢測的膠囊網絡。Chowdhury等人［18］利用深度學習中的TL方法，基于從公共數據庫獲得的數據集來區分COVID-19和病毒性肺炎。使用423例COVID-19、1458例病毒性肺炎和1579張正常胸片圖像，對胸部x線圖像進行訓練。Mahmud等人［19］利用深度CNN作為COVXNet，基于不同的擴張率進行修改，進行特征提取、優化、疊加算法和基于梯度的鑒別定位，對COVID-19和其他類型的肺炎進行分類。王劍鋒等人［20］提出了一種基于DenseNet模型優化的新冠肺炎CT圖像檢測算法。陳國祥等人［21］針對新冠肺炎識別與診斷這一課題，從新冠肺炎特征表征、肺部軟組織語義分割及新冠肺炎陽性患者病變位置定位三個層面進行了研究，提出了基于深度學習的新冠肺炎X-ray圖像識別算法，并完成了新冠肺炎識別與診斷系統的設計與實現。已完成的研究人員的工作，側重點在于區分新冠肺炎和普通肺炎之間的區別，忽略了新冠肺炎和病毒性肺炎部分特征之間的相似性，導致新冠肺炎的檢測精度達不到更高的標準，因此本文提出了基于注意力的新冠肺炎圖像識別方法。

1 方法

本文提出的模型結構如圖1所示，主要由卷積神經網絡、卷積注意力模塊（CBAM）［22］和分類層三個部分組成。

CBAM在特征圖的通道上注入兩個獨立的空間維度，以提高網絡的表征能力，關注重要特征，抑制不必要的特征。CBAM可以看作是串聯的通道注意模塊和空間注意模塊。通道注意模塊如圖2所示，計算過程可以描述如下。

我們使用深度學習網絡模型提取的特征圖（7×7×2048）作為輸入特征F，輸入特征F通過基于空間的全局最大池和全局平均池，分別輸出兩個維度為1×1×2048的特征圖。然后將它們分別發送到MLP（兩層神經網絡）中，第一層神經元的數量為C/r（C為通道，r為還原率），激活函數為relu，共享兩層神經網絡的網絡權值。然后，由MLP輸出的兩個特征映射進行元素級加法操作，并經過sigmoid激活函數生成通道注意特征 [MC]。最后， [MC]和輸入特征映射F進行元素級乘法運算，生成空間注意模塊所需的輸入特征 F，維度為7×7×2048。

空間注意模塊如圖3所示，計算過程可描述如下。

以通道注意力模塊輸出的特征圖F'作為本模塊的輸入特征圖。首先，特征圖F'通過基于信道的全局最大池化和全局平均池化，輸出兩個維度為7×7×1的特征圖，然后對這兩個特征圖進行元素級乘積操作。然后，用大小為7×7的濾波器進行卷積操作。將維數降為1個通道，經過sigmoid激活函數生成空間注意力特征 [MS]。最后，將該模塊的特征 [MS]和輸入特征F'相乘，得到最終生成的特征F''。

2 實驗

2.1 COVID-19數據集和評價指標

為了驗證本文提出的方法的有效性和可行性，我們使用了公開數據庫COVIDRD［23］。該數據集來自卡塔爾大學和孟加拉國達卡大學的一個研究人員團隊，以及來自巴基斯坦和馬來西亞的合作者與醫生合作，創建了COVID-19陽性病例的胸部x光圖像以及正常和病毒性肺炎圖像數據庫。此數據庫包含1200張新冠狀動脈肺炎、1341張正常和1345張病毒性肺炎胸片（CXR）圖像［24-25］，如圖4所示。

在這項工作中，為了進行公平的比較，我們隨機選擇70%的圖像作為訓練集，10%的圖像作為驗證集，其余20%的圖像作為測試集。為了保證分類器的有效性，我們保證了用于構建訓練集和驗證集的患者不會被用于測試集。本研究報告的分類結果中使用的評價方法是準確性、敏感性和特異性，敏感性和特異性是可用于報告COVID-19分類模型性能的兩個適當指標。在本實驗中，敏感性和特異性僅代表COVID-19類的指標，敏感性越高，模型對COVID-19的區分能力越強，定義如下。

TP（真陽性）是正確分類的圖像的數量，FP（假陽性）是錯誤的分類圖像的數量，FN（假陰性）是圖像的數量被檢測到一個類作為另一個類，和TN（真陰性）圖像的數量不屬于一個類，沒有被歸類為那個類。

2.2 實驗結果

本文使用ImageNet上的預訓練模型來加快模型的訓練速度，并采用余弦退火的學習速率衰減策略來幫助模型更快地收斂到最優解。所有實驗均是在同一臺設備上進行的，并使用特斯拉V100 GPU和CUDA 10.2和cuDNN v9進行加速。

為證明卷積注意力可以提升模型對COVID-19的準確性、敏感性，我們用原始的深度學習網絡和基于卷積注意力的網絡對COVIDRD進行訓練，訓練中所有的配置、學習率、訓練次數都保持一致。實驗結果如表1和表2所示。表中對比了VGG、MobileNet、InceptionV3、InceptionResNetv2、ResNet等深度學習模型在無卷積注意力和有卷積注意力時對COVIDRD數據集的準確率、敏感性和特異性。

從表中結果可以看出，在添加了卷積注意力之后，每個網絡的準確率都有一定的提高，另外從敏感性的評估可以判別模型對COVID-19陽性樣本的識別性能，網絡層數較淺的VGG16和VGG19模型的敏感性提高了2.5%和1.67%，輕量化模型MobileNetV1和MobileNetV2的敏感性提高了1.25%和0.83%，殘差結構的ResNet50模型和ResNet50V2模型達到最高準確率，敏感性同樣提高了1.66%，包含Inception結構和殘差結構的InceptionResNetv2模型的敏感性提高了2.08%，實驗證明了在注意力的幫助下，在不同結構、不同深度、不同參數的模型中對COVID-19陽性樣本有很好的識別能力。

3 結語

由于新冠肺炎疫情近期的傳播趨勢，實施有效的新冠肺炎分類系統仍是一項具有挑戰性的任務。本研究提出了一種基于注意力的模型，利用卷積注意力模塊來提高模型的敏感性，考慮對COVID-19重要特征的關注，忽略不重要特征。并且在實驗中結合VGGNet，MobileNet，Inception，InceptionResNetv2，ResNet等經典深度學習網絡搭建卷積注意力模型，證明了在添加卷積注意力后，可以有效的提升對新冠肺炎的識別準確性、敏感性和特異性。

參考文獻

［1］ WANG W ， XU Y， GAO R， et al. Detection of SARS-CoV-2 in different types of clinical specimens［J］. Jama， 2020，323（ 18）：1843–1844.

［2］ YANG T， WANG Y C，? SHEN C F， et al. Point-of-Care RNA based diagnostic device for COVID-19［J］. Multidisciplinary Digital Publishing Institute， 2020，10（3）：165.

［3］ WANG L， WONG， A.? Covid-net： A tailored deep convolutional neural network design for detection of covid-19 cases from chest x-ray images［J］. arXiv：2003：09871.

［4］ SHOEIBI A， KHODATARS M， ALIZADEHSANI R， et al. 2020 Automated detection and forecasting of covid-19 using deep learning techniques［J］. A arXiv abs/2007：10785.

［5］ 郭炳廷. 基于深度學習的醫療影像輔助檢測研究［D］.廈門：廈門理工學院，2022.

［6］ 沈昊鈞. 基于CT圖像的新冠肺炎檢測研究［D］.成都：電子科技大學，2022.

［7］ 費宏運，陳庚，遲兆瑞，等.基于AlexNet的新冠肺炎CT圖像識別的可行性分析［J］.信息與電腦（理論版），2021，33（4）：137-140.

［8］ 沈聰，郭佑民.人工智能技術在新型冠狀病毒肺炎患者應用中需要注意的問題［J］.結核與肺部疾病雜志，2020，1（3）：106-108.

［9］ 翁羽潔，李忠賢，姬宇程，等.基于改進閾值的VGG網絡的新冠肺炎CT圖像自動診斷算法［J］.中國醫學物理學雜志，2022，39（6）：731-736.

［10］ RAHMAN T， KHANDAKAR A， QIBLAWEY Y， et al. 2020 exploring the effect of image enhancement techniques on COVID-19 detection using chest X-ray images［J］. Computers in Biology and Medicine，2021，132：104319.

［11］ NARIN A， KAYA C， PAMUK Z. Automatic detection of coronavirus disease （covid-19） using x-ray images and deep convolutional neural networks［J］. Pattern Anal Appl， 2021，24： 1207–1220.

［12］ AGAIAN S S， ASARI V K， DELMARCO S P.Multimodal image exploitation and learning 2021［J］.SPIE，2021，11734∶1173401-1.

［13］ JAISWAL A K， TIWARI P ， RATHI V K， et al. Covidpen： A novel covid-19 detection model using chest x-rays and ct scans［J］. Medrxiv，2020：20149161.

［14］ MINAEE S， KAFIEH R， SONKA M， et al. Deep-covid：Predicting covid-19 from chest x-ray images using deep transfer learning［J］. Med Image Anal ，2020，65：101794.

［15］ HEIDARI M， MIRNIAHARIKANDEHEI S， KHUZANI A Z， et al. Improving the performance of CNN to predict the likelihood of COVID-19 using chest x-ray images with preprocessing algorithms ［J］. Int J Med Inform， 2020，144：104284.

［16］ HEMDAN E D， SHOUMAN M A， KARAR M E. Covid X-net：A framework of deep learning classifiers to diagnose covid-19 in X-ray images［EB/OL］.［2023-02-10］ https：//arxiv.org/abs/2003.11055 ［2020-03-24］.

［17］ AFSHAR P， HEIDARIAN S， NADERKHANI F， et al. Covid-caps： A capsule network-based framework for identification of covid-19 cases from x-ray images ［J］. Pattern Recognit Lett 2020，138：638-643.

［18］ NAYAK S R， NAYAK D R， SINHA U， et al. Application of deep learning techniques for detection of COVID-19 cases using chest X-ray images： A comprehensive study［J］.Biomedical SignalProcessing and Control， 2021，64 ：102365.

［19］ MAHMUD T， RAHMAN M A， FATTAH S A. CovXNet： a multi-dila-tion convolutional neural network for automatic COVID-19 and other pneumonia detection from chest X-ray images with transferable multi-receptive feature optimization［J］. Comput? Biol? Med， 2020;1（122）：103869.

［20］ 王劍峰，王傳旭.基于DenseNet模型優化的新冠肺炎CT圖像檢測算法［J］.青島科技大學學報（自然科學版），2022，43（3）：107-111+119.

［21］ 陳國祥. 基于深度學習的新冠肺炎X-ray圖像識別算法研究［D］.重慶：西南交通大學，2021.

［22］ WOO S， PARK J， LEE J Y， et al. Convolutional block attention module［M］. Cham：Springer，2010：3-19.

［23］ RAHMAN T，KHANDAKAR A，QIBLAWEY， et al. Exploring the effect of image enhancement techniques on COVID-19 detection using chest X-ray image［J］. Computers in Biology and Medicine，2021，132： 104319.

［24］ CHOWDHURY M E， RAHMAN T， KHANDAKAR A， et al. Can AI help in screening viral and COVID-19 pneumonia？［J］. IEEE Access，2020，8： 132665-132676.

［25］ HE K， ZHANG X， REN S，et al. Identity mappings in deep residual networks［M］.Cham： Springer，? 2016： 630-645.

Abstract： COVID-19 is the epidemic that has the greatest impact on the world economic development in recent years. Early detection is the key to the treatment of COVID-19 patients， and chest radiograph as a fast and effective auxiliary diagnostic method is widely used in practical medical cases. The image recognition method based on depth learning can diagnose CXR images faster and more accurately， and can achieve good results. However， common deep learning models are not targeted when extracting features from data. In this regard， this paper proposes a new coronal pneumonia image recognition network based on convolutional attention to improve the sensitivity and specificity of COVID-19 positive samples， and the increased model parameters and training time can be ignored. This paper builds a convolutional attention model based on VGG16， MobileNet， InceptionV3， ResNet50 and other classic deep learning networks， and verifies it on the COVIDRD public database. The experimental results show that the network architecture proposed in this paper effectively improves the accuracy， sensitivity and specificity of new coronal pneumonia recognition.

Key words： COVID-19; CXR images; deep learning; convolutional attention

（責任編輯：馬乃玉）