基于改進U-Net 的肺部CT 圖像COVID-19病灶分割研究

蔡晨濤　吳鈞　柳玉婷

摘要：肺部CT圖像是診斷患者是否新冠感染最常用的技術(shù)之一。然而，從CT圖像中手動篩查COVID-19病例耗時且費力。此外，COVID-19與其他社區(qū)獲得性肺炎，如病毒性、細菌性或真菌性肺炎，在肺部CT影像上具有類似的特征，僅依靠影像醫(yī)師無法準確區(qū)分二者。為了解決這個問題，提出了一種基于深度學(xué)習(xí)的自動分割系統(tǒng)。首先對圖像進行了直方圖均衡化、Otsu的二值化裁剪和數(shù)據(jù)增強等預(yù)處理操作，選用改進U-Net模型SA-UNet，即在特征拼接中引入空間注意力模塊，采用結(jié)構(gòu)化的dropout卷積塊代替U-Net的原始卷積塊，獲得了實驗性能突出的分割改進模型。

關(guān)鍵詞： 深度學(xué)習(xí)；U-Net；COVID-19；醫(yī)學(xué)影像；圖像分割

中圖分類號：TP391 文獻標識碼：A

文章編號：1009-3044（2024）14-0018-05 開放科學(xué)（資源服務(wù)）標識碼（OSID） ：

0 引言

此前，新型冠狀病毒肺炎（COVID-19） 疫情迅速蔓延至全球范圍，逆轉(zhuǎn)錄聚合酶鏈反應(yīng)（RT-PCR） 是目前被廣泛應(yīng)用于COVID-19的病毒檢測方法，被視為“金標準”，但 RT-PCR 檢測存在一定的假陰性，敏感性有限，新冠感染的最終確診還必須依據(jù)對患者肺部CT圖像的準確判讀[1-3]。大多數(shù)新冠感染患者的肺部CT圖像具有一些共同特征，如早期病變以磨玻璃影為主，晚期病變以實變影為主[4-5]，專業(yè)醫(yī)生可以通過分析這些特征來做出診斷。

然而，由于該類圖像中病灶重疊、背景干擾和低分辨率等問題，僅依靠肉眼判讀常常難以正確判斷；而臨床抗疫形勢下的時間緊迫、任務(wù)重，加之專家數(shù)量有限，進一步增加了醫(yī)生由于疲勞而出現(xiàn)診斷錯誤的風險。如今，COVID-19肺部CT圖像的病灶分割已經(jīng)成為醫(yī)學(xué)圖像分析領(lǐng)域的一個熱門研究方向，其中人工智能技術(shù)起到了關(guān)鍵性的作用[6-7]。

2015 年，Olaf Ronneberger 在國際學(xué)術(shù)會議（MICCAI） 上提出一種新的網(wǎng)絡(luò)結(jié)構(gòu)——U-Net[8]，是醫(yī)學(xué)圖像語義分割任務(wù)的常用模型，它通過引入跳躍連接顯著提高了圖像分割的精度。Zheng[9]等學(xué)者在CT影像數(shù)據(jù)不足的情況下提出使用弱監(jiān)督深度學(xué)習(xí)的方法生成圖像的偽分割掩模，使用預(yù)先訓(xùn)練的 UNet對COVID-19病灶區(qū)域進行分割。Wang 等人[10]提出了一種基于弱監(jiān)督的深度學(xué)習(xí)診斷模型，使用3DCT圖像實現(xiàn)COVID-19 的檢測。Zhou等人在進行改進研究時引入了嵌套密集跳躍連接，提出一種UNet++分割網(wǎng)絡(luò)模型[11]，這種網(wǎng)絡(luò)結(jié)構(gòu)在編解碼路徑之間嵌入了卷積結(jié)構(gòu)，使得該模型結(jié)構(gòu)能夠提取更多的細節(jié)特征，并且實現(xiàn)不同的特征融合。Oktay等在研究時提出一種注意力U-Net，其分割COVID-19病灶區(qū)效果顯著提升[12]。

然而，上述方法在處理新冠感染CT圖像的分割時，容易出現(xiàn)梯度消失、未充分利用特征等問題，導(dǎo)致最終的分割效果較差。所以，本文以U-Net作為基礎(chǔ)網(wǎng)絡(luò)，引入多個模塊參數(shù)，以提高模型的分割性能，同時使用公開的COVID-19 CT掃描數(shù)據(jù)集來訓(xùn)練這個模型，以驗證它在COVID-19肺部CT圖像分割方面的準確性。

1 圖像預(yù)處理

1.1 數(shù)據(jù)集的選取

本研究選取了來自Kaggle的COVID-19 CT掃描數(shù)據(jù)集，其中包含20 例診斷為COVID-19 的患者的CT掃描圖像，以及專家對肺部和感染區(qū)域的分割結(jié)果。由于這些CT圖像采用了nii格式，因此使用ITKSNAP軟件查看了圖像屬性，具體的查看結(jié)果如圖1 所示。從結(jié)果分析可以看出，每個文件包含多個通道或切片，每個通道或切片都是一個單獨的灰度圖像，總共有3 520個切片。

同時，數(shù)據(jù)集還包含20個.nii類型的文件，每個文件對應(yīng)著幾個掩膜文件：lung_mask、infection_mask 和lung_and_infection_mask。筆者選擇了其中一個CT 圖像，查看了其標注結(jié)果，具體如圖2所示。

其中，lung_mask標記了左肺和右肺的區(qū)域，infec?tion_mask 標記了肺部感染區(qū)域，而lung_and_infec?tion_mask則將左右肺和感染區(qū)域結(jié)合在一起。

1.2 圖像預(yù)處理

對于 CT 影像的預(yù)處理，以獲取較為優(yōu)異的肺部特征，并為后續(xù)模型提供精確的病灶區(qū)分割，我們需要進行一系列圖像預(yù)處理操作。由于本項目旨在對COVID-19 陽性患者的肺部感染區(qū)域進行分割，因此我們僅使用原始 CT 圖片（共計 2 112 張切片）和 in?fection_mask（共計 2 112 張切片）兩個文件夾中的文件。通過觀察 infection_mask 文件，我們發(fā)現(xiàn)其中共有 498 張全黑的 mask 切片（即不包含肺部或任何感染區(qū)域），因此這部分切片可以視作噪聲并進行去除。對于剩余的 1 614 張切片，我們進行 Min-Max 標準化處理，將圖像像素值映射到 [0，1] 之間。隨后，對圖像進行以下處理：

1） 限制對比度自適應(yīng)直方圖均衡化（Contrast Limited Adaptive Histo?gram Equalization，CLAHE）。針對醫(yī)學(xué)圖像存在的對比度問題，筆者采用限制對比度自適應(yīng)直方圖均衡化（CLAHE） ，該方法能夠?qū)D像的直方圖分布轉(zhuǎn)變?yōu)榻凭鶆蚍植?，抑制噪聲，增強圖像的對比度，從而顯著提升圖像中肺部與背景的對比度，突顯肺部信息。具體處理結(jié)果如圖3（b） 所示。

2） 使用自適應(yīng)閾值確定法（Otsu） 裁剪感興趣的區(qū)域（ROI）。在 CT 圖像中存在大量的黑色空間，其中可能包含我們不感興趣的內(nèi)容，如肺下的隔膜等。因此，本項目采用 Otsu 的二值化方法，在 CT 圖像上繪制輪廓，并裁剪出面積最大的輪廓矩形，從而提取出感興趣的區(qū)域（ROI） 。最大面積的輪廓覆蓋了雙肺區(qū)域。具體處理結(jié)果如圖3（c）所示。

由圖3可以看出，經(jīng)過處理后的 CT 圖像顯示，肺部與背景的對比度得到了顯著增強，同時也成功裁剪掉了一些與肺部感染無關(guān)的圖像信息。

3） 數(shù)據(jù)增強（Data Augmentation）。由于缺乏足夠的訓(xùn)練數(shù)據(jù)，筆者采用數(shù)據(jù)增強的方式來擴充訓(xùn)練集以更好地擬合模型參數(shù)。對預(yù)處理后的圖像進行隨機翻轉(zhuǎn)，擴大數(shù)據(jù)集。具體經(jīng)過數(shù)據(jù)增強后的圖像如圖4和圖5所示。

2 模型的選取與改進

2.1 分割網(wǎng)絡(luò)的選取

醫(yī)學(xué)圖像的語義較為簡單，結(jié)構(gòu)較為固定，通常是對特定器官的成像。此外，醫(yī)學(xué)影像的標注數(shù)據(jù)量較少，參數(shù)過多，容易導(dǎo)致訓(xùn)練過擬合。基于上述醫(yī)學(xué)影像的特點，本項目選擇了模型較小、參數(shù)較少的U-Net來實現(xiàn)COVID-19肺部CT圖像分割。

2.2 模型介紹

U-Net是一種以字母U的形狀命名的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。整個神經(jīng)網(wǎng)絡(luò)由搜索路徑（contracting path） 和擴展路徑（expanding path） 兩部分組成。搜索路徑用于捕捉圖像中的上下文信息，而擴展路徑則用于精確定位需要分割的部分。U-Net結(jié)合了下采樣時的低分辨率信息（提供物體類別識別的依據(jù)）和上采樣時的高分辨率信息（提供精確分割定位的依據(jù)）。此外，UNet還通過跳躍連接（skip connection） 來補充底層信息以提高分割的準確性。

2.3 模型改進

在U-Net中，引入空間注意力模塊，命名為Spa?tial Attention U-Net（SA-UNet） 。該模塊可以沿著空間維度推斷出注意力圖，并將該圖與輸入特征圖相乘，以進行自適應(yīng)特征細化。此外，我們提出的網(wǎng)絡(luò)采用結(jié)構(gòu)化的dropout 卷積塊代替U-Net的原始卷積塊，以避免網(wǎng)絡(luò)過擬合。通過引入少量其他參數(shù)（attention pa?rameters） ，空間注意力可以增強重要特征（如病灶區(qū)）并抑制不重要的特征，從而提高網(wǎng)絡(luò)的表示能力。其網(wǎng)絡(luò)模型結(jié)構(gòu)如圖6所示。

3 實驗結(jié)果與分析

3.1 實驗環(huán)境及實驗設(shè)置

在開始本實驗之前，需要配置相關(guān)的實驗環(huán)境。本實驗配置了 Nvidia GeForce RTX 3060 顯卡，操作系統(tǒng)為 Windows 10。在此基礎(chǔ)上，使用 Python 語言進行開發(fā)，下載了 Python 3.7。由于本實驗所使用的算法基于深度學(xué)習(xí)模型，推薦在 GPU 環(huán)境中進行模型的訓(xùn)練過程。因此，安裝了 GPU 版本的 TensorFlow=2.6.3 和相應(yīng)版本的 Keras=2.6.0。詳細信息如表1所示：

為了比較引入改進的U-Net神經(jīng)網(wǎng)絡(luò)對COVID-19肺部CT圖像分割的影響，本文設(shè)計了以下實驗：

選擇了多個語義分割模型，包括UNet、U-Net++以及本文改進的SA-UNet模型，對測試集進行實驗，并比較各模型的性能差異。在實驗中，對上述網(wǎng)絡(luò)模型分別采取了不同的batch size、優(yōu)化函數(shù)以及損失函數(shù)進行分析。通過微調(diào)模型，找到最優(yōu)的分割模型。

為了方便模型訓(xùn)練，考慮到圖片大小不統(tǒng)一的情況，我們對所有圖像進行了縮放，將它們的尺寸統(tǒng)一調(diào)整為512×512像素。在完成圖像預(yù)處理后，我們將數(shù)據(jù)集劃分為訓(xùn)練集、驗證集和測試集三個部分。其中，訓(xùn)練集用于訓(xùn)練網(wǎng)絡(luò)和參數(shù)優(yōu)化，驗證集用于評估網(wǎng)絡(luò)的性能，通過計算損失函數(shù)來進行梯度反向傳播。這種劃分方法有助于防止過擬合現(xiàn)象的發(fā)生。測試集用于驗證模型在真實數(shù)據(jù)上的可靠性和泛化能力。具體的劃分比例為訓(xùn)練集占總數(shù)據(jù)集的60%，驗證集占20%，測試集占20%。需要注意的是，這三個數(shù)據(jù)集之間是不交叉的。

3.2 模型評價指標

在本實驗中，對肺部CT圖像進行分割時，將每張圖像的像素點分為3類，具體如表2所示：

通過保存訓(xùn)練過程中最優(yōu)的模型用來預(yù)測圖像，預(yù)測的結(jié)果評價標準由Dice系數(shù)、精準率（Precision） 、召回率（Recall） 進行分析評價，具體如式（1）、式（2）、式（3）所示：

1） Dice系數(shù)。Dice系數(shù)是一種用于測量兩個樣本集合相似度的函數(shù)，常用于評估兩個樣本之間的相似性，取值范圍在[0，1]，接近1說明模型分割準確，是常見圖像分割的評價指標，其公式如式（1） ：

式中，TP 表示真陽性（True Posi?tives） 、FP 表示假陽性（False Posi?tives） 、FN 表示假陰性（False Nega?tives） 。

2） 精確率（Precision）。準確率為在被模型預(yù)測為正的樣本中實際為正樣本的比例，其公式如式 ：

3） 召回率（Recall）。召回率為在實際為正的樣本中被模型預(yù)測為正樣本的比例，其公式如式（3） 所示：

這些指標將用于評估模型的性能和準確性。

3.3 實驗結(jié)果分析

在項目規(guī)劃階段進行了一次實驗，整個實驗的參數(shù)設(shè)置如下：損失函數(shù)選擇二元交叉熵損失（BCELoss） ，優(yōu)化器選擇Adam優(yōu)化器，并設(shè)置初始參數(shù)為：批大?。╞atchsize） = 32，學(xué)習(xí)率（LR） = 0.001，迭代次數(shù)（epoch） = 80。表3為性能指標對比分析：

結(jié)果顯示，本研究提出的算法模型最優(yōu)。將最優(yōu)的模型保存后，在測試集上運行分割結(jié)果，并將其與infection_mask中專家標注的結(jié)果進行直觀對比。在此基礎(chǔ)上觀察分割模型的優(yōu)劣。具體的分割結(jié)果對比如圖7所示。

在TensorFlow框架下，使用matplotlib庫繪制了保存的最優(yōu)模型在驗證集（val） 上準確率（accuracy）隨訓(xùn)練輪次的變化圖。從圖中可以觀察到，在模型迭代到25次時，準確率趨于穩(wěn)定。具體如圖8所示。

3.4 模型微調(diào)

為了提高模型的準確率并防止過擬合，本文對學(xué)習(xí)率進行了多次調(diào)整。具體的調(diào)整結(jié)果如表4所示。從表4中可以看出，當學(xué)習(xí)率為0.001時，模型的準確率最高，在測試集上的準確率達到了97.99%。

4 結(jié)論

本研究采用改進的U-Net神經(jīng)網(wǎng)絡(luò)對肺部CT圖像中的COVID-19病灶進行了自動分割。在實驗過程中，我們發(fā)現(xiàn)原始圖片大小不一，且存在大量噪聲，不能直接用于訓(xùn)練。因此，我們對數(shù)據(jù)集進行了預(yù)處理。首先，采用限制對比度自適應(yīng)直方圖均衡化（CLAHE） 方法增強肺部區(qū)域和背景圖像的對比度。接著，使用自適應(yīng)閾值確定法（Otsu） 裁剪出感興趣的肺部區(qū)域，并將其統(tǒng)一縮放至512×512像素大小。通過這些預(yù)處理步驟，我們?yōu)楹罄m(xù)的模型訓(xùn)練提供了更加穩(wěn)定和可靠的數(shù)據(jù)集。

實驗結(jié)果顯示，在幾輪訓(xùn)練后，訓(xùn)練集和驗證集上的準確率（accuracy） 顯著提升，表明預(yù)訓(xùn)練的SAUNet模型能有效地實現(xiàn)肺部CT圖像中COVID-19病灶的自動分割。此外，本文提出的網(wǎng)絡(luò)采用結(jié)構(gòu)化的dropout卷積塊替代了U-Net的原始卷積塊，并通過引入不同的空間注意力參數(shù)，增強了模型對感染區(qū)域重要特征的提取能力，同時抑制了不重要特征的影響，進一步提高了模型的分割性能。這些改進措施有助于提高模型的泛化能力和魯棒性，使其在處理實際肺部CT圖像時更加準確可靠。

然而，由于含COVID-19 的肺部CT 圖像變異性強，初期實驗采用的傳統(tǒng)數(shù)據(jù)增強策略效果不佳，無法保證訓(xùn)練樣本的多樣性。因此，我們考慮使用GAN 網(wǎng)絡(luò)的生成器與鑒別器之間的對抗來合成高質(zhì)量逼真的圖像，以擴充訓(xùn)練集。

另外，COVID-19感染區(qū)域的位置不穩(wěn)定，分布方差很大，且感染區(qū)域的大小也存在很大差異，因此很難找到像肺部分割的潛在規(guī)律。為了實現(xiàn)陽性區(qū)域感染分割的目的，我們在U-Net 的基礎(chǔ)上進行了改進，引入空間注意力模塊。通過增加少量參數(shù)，使網(wǎng)絡(luò)的非線性特征提取能力更強，使網(wǎng)絡(luò)的語義分割能力更加魯棒。

參考文獻：

[1] FANG Y，ZHANG H，ZHANG H，et al.Sensitivity of chest CT for COVID-19：comparison to RT-PCR[J].Radiology，2020，296（2）：E115-E117.

[2] AI T，YANG Z L，HOU H Y，et al.Correlation of chest CT and RTPCR testing for coronavirus disease 2019 （COVID-19） in China：a report of 1014 cases[J].Radiology，2020，296（2）：E32-E40.

[3] PAN Y Y，GUAN H X，ZHOU S C，et al.Initial CT findings and temporal changes in patients with the novel coronavirus pneu?monia （2019-nCoV）：a study of 63 patients in Wuhan，China[J].European Radiology，2020，30（6）：3306-3309.

[4] 鐘飛揚，張寒菲，王彬宸，等.新型冠狀病毒肺炎的CT影像學(xué)表現(xiàn)[J].武漢大學(xué)學(xué)報（醫(yī)學(xué)版），2020，41（3）：345-348.

[5] CHUNG M，BERNHEIM A，MEI X Y，et al.CT imaging features of 2019 novel coronavirus （2019-nCoV）[J].Radiology，2020，295（1）：202-207.

[6] 劉銳，丁輝，尚媛園，等.COVID-19醫(yī)學(xué)影像數(shù)據(jù)集及研究進展[J].計算機工程與應(yīng)用，2021，57（22）：15-27.

[7] 馮龍鋒，陳英，周滔輝，等.CT圖像肺及肺病變區(qū)域分割方法綜述[J].中國圖象圖形學(xué)報，2022，27（3）：722-749.

[8] RONNEBERGER O，F(xiàn)ISCHER P，BROX T.U-net：convolutional networks for biomedical image segmentation[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention.Cham：Springer，2015：234-241.

[9] ZHENG C，DENG X B，F(xiàn)U Q，et al.Deep Learning-based detection for COVID-19 from chest CT using weak label[EB/OL].[2022-12-20].https：//www.researchgate.net/publication/339995455.

[10] WANG X G， DENG X B， FU Q， et al. A weakly-supervised framework for COVID-19 classification and lesion localiza?tion from chest CT[J].IEEE Transactions on Medical Imaging，2020，39（8）：2615-2625.

[11] 黃偉燃.基于卷積神經(jīng)網(wǎng)絡(luò)的肝臟腫瘤檢測算法及應(yīng)用[D].廣州：華南理工大學(xué)，2018.

[12] ?I?EK ?，ABDULKADIR A，LIENKAMP S S，et al.3D U-net：learning dense volumetric segmentation from sparse annotation[M]//Medical Image Com?puting and Computer-Assisted Intervention – MICCAI 2016.Cham：Springer International Publishing，2016：424-432.

[13] Johns Hopkins Coronavirus Resource Center[EB/OL].[2023-01-10].https：//coronavirus.jhu.edu/.

[14] TOPOL E J.High-performance medicine：the convergence of human and artificial intelligence[J].Nature Medicine，2019，25（1）：44-56.

[15] NORGEOT B，GLICKSBERG B S，BUTTE A J.A call for deeplearning healthcare[J].Nature Medicine，2019，25（1）：14-15.

[16] LI L， QIN L X， XU Z G， et al. Artificial intelligence distin?guishes COVID-19 from community acquired pneumonia on chest C[J]. Radiology，2020，296（2）：E65-E72.

[17] CHAGANTI S，BALACHANDRAN A，CHABIN G，et al.Auto?mated quantification of CT patterns associated with COVID-19 from chest CT[J].ArXiv，2020：2004.01279v7.

[18] XIE W Y，JACOBS C，CHARBONNIER J P，et al.Relational modeling for robust and efficient pulmonary lobe segmenta?tion in CTscans[J].IEEE Transactions on Medical Imaging，2020，39（8）：2664-2675.

[19] 宋瑤，劉俊.改進U-Net的新冠肺炎圖像分割方法[J].計算機工程與應(yīng)用，2021，57（19）：243-251.

[20] TIAN Z，HE T，SHEN C H，et al.Decoders matter for semantic segmentation：data-dependent decoding enables flexible fea?ture aggregation[C]//2019 IEEE/CVF Conference on Com?puter Vision and Pattern Recognition （CVPR）.Long Beach，CA，USA.IEEE，2019：3121-3130.

【通聯(lián)編輯：唐一東】

基金項目：本文得到國家級大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃項目（No.202210368040），安徽省大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃項目（S202210368076）資助