基于多尺度特征選擇網絡的新冠肺炎CT圖像分割方法

厲恩碩 張智誠 耿冰研 唐璐

（徐州醫科大學醫學影像學院，徐州 221004）

新冠肺炎（Corona Virus Disease 2019，COVID-19）在全球范圍的爆發嚴重影響了人民的正常生活［1］，該病毒傳播速度快、變異種類多，典型起病癥狀為呼吸困難、發熱、咳嗽，嚴重時可能會引起多器官衰竭，威脅患者的生命。及時的病情評估對疾病的治療有重要意義。在新冠肺炎的診斷中，CT掃描可以幫助醫生準確評估病情的嚴重程度，并指導治療方案。然而，在CT掃描中，醫生需要仔細檢查每個CT圖像，識別出患者肺部的病變區域。這個過程非常費時，而且容易出現人為錯誤，特別是在大規模疫情爆發期間。因此，自動化分割CT圖像中的病變區域是當前的研究熱點。

近年來，深度學習技術在醫學圖像分析領域中得到廣泛應用［2］，2015年Ronneberger等［3］提出的U-Net網絡結構，已經被證明可以對CT圖像中的病變區域進行有效分割［4，5］。Zhou等［6］通過將空間注意模塊和通道注意模塊融合到一個U-Net架構中，重新計算權重特征來表示空間和通道注意力的方法，用于捕獲豐富的COVID-19病灶類別信息。Fan等［7］提出的Inf-Net模型使用一個并行解碼器提取高級別特征信息并生成全局注意力特征圖，通過隱式反向注意和顯式邊緣注意對邊界信息進行提取；Liu等［8］提出了nCoVSegNet分割模型，利用注意感知特征融合和大感受野進行有效的COVID-19感染分割，解決邊界對比度低和感染變異大的問題。

盡管針對CT圖像中新冠肺炎病灶區域分割問題已經有大量的方法被提出，但是分割技術仍然具有很大的挑戰性。針對病灶區域大小各異、形狀不規則的問題，本文將設計的多尺度特征選擇模塊融合到U-Net網絡結構中，增強模型對不同尺度信息的感知能力，有效提高對小病灶和不規則病灶區域的提取能力。

1 材料與方法

1.1 一般材料

本文使用COVID-19 Lung CT Lesion Segmentation Challenge-2020（COVID-19-20）競賽方提供的公開數據［9］訓練和測試模型。這份數據包含199例帶有像素級病灶區域標注的COVID-19確診病例的肺部CT斷層圖像，在橫斷面上的空間分辨率為512×512。

1.2 數據處理

實驗中采用的圖像預處理方式包括重采樣、加窗、CLAHE和歸一化，以消除數據集中因掃描設備或參數的不同產生的差異，肺部區域信息更加突出，對比度更明顯。采用的數據增強方法包括隨機旋轉、翻折、仿射變換、添加隨機的高斯噪聲、對比度噪聲和亮度噪聲。

1.3 網絡模型

本文使用的U-Net改進網絡主要在其原有結構的基礎上，將上下文信息提取模塊替換為本文設計的多尺度特征選擇模塊（Multi-scale Feature Slective Module，MsFS）。上下文信息提取模塊起到對編碼器輸出的高級語義信息進行提取并傳遞到解碼器的作用，該部分的特征信息是整個模型中最高級別的語義信息，對模型分割結果會產生至關重要的作用。對于存在不同尺度目標的分割任務，單一大小的感受野通常難以進行準確的分割，采用多尺度的卷積核可以有效解決這一問題。Zhao等［10］使用不同尺寸的池化核對特征進行提取，增強了模型對上下文信息的多尺度信息提取能力，獲得了更好的分割結果；Chen等［11］提出一種空洞空間卷積池化金字塔結構（Atrous Spatial Pyramid Pooling，ASPP），利用不同膨脹率的空洞卷積提取多尺度信息，在保持參數量不增加的情況下提升了多尺度信息提取能力。本文提出的MsFS是在ASPP基礎上的改進，在該小節中，首先在1.3.1介紹ASPP結構，在1.3.2介紹提出的MsFS結構，最后在1.3.3介紹經MsFS改進后的多尺度特征選擇網絡（Multi-scale Feature Slective Network，MsFS-Net）。見圖1，圖2。

圖1 多尺度特征選擇網絡（MsFS-Net）

圖2 多尺度特征選擇模塊（MsFS）

1.3.1 ASPP

ASPP對輸入特征圖F input采用5個并聯的不同尺度的特征提取操作，分別是1×1卷積，膨脹率為x1，x2，x3的3×3空洞卷積和池化操作，然后對并聯輸出特征圖在通道維度疊加，獲得輸出特征圖F output。其公式可表示為：

其中，concat［·］表示在通道維度的合并操作；Conv1×1、Atrousxi、pooling分別表示1×1卷積、空洞卷積和池化。

1.3.2 MsFS

MsFS是ASPP的改進結構，如圖3所示，在對特征圖采用不同尺度的卷積、空洞卷積和池化操作特征提取后，引入高效通道注意力機制結構（Efficient Channel Attention，ECA）［12］，使得對不同尺度信息具有選擇判斷能力，其中的ECA模塊對輸入特征圖首先執行一次全局平均池化（Global Average Pooling，GAP）操作，得到通道維度的特征信息，并通過一次一維卷積和Sigmoid激活函數獲得通道維度的注意力信息，并將其與輸入特征圖相乘。其公式可表示為：

圖3 訓練曲線

其中，GAP表示全局平均池化；Conv1D表示一維卷積，卷積核的長度為3；σ表示Sigmoid激活函數；?表示通道維度的相乘。

1.3.3 MsFS-Net

圖1展示了本文提出的多尺度特征選擇網絡（MsFS-Net）模型結構，該模型的結構由編碼器、上下文特征提取模塊和解碼器3部分組成。其中編碼器對輸入尺寸為512×512×1的CT圖像進行5次下采樣，輸出一個16×16×1280的特征圖，為達到更好的訓練效果，本文使用遷移學習方法，遷移了U-Net主干網絡在Image Net中的預訓練參數，該方法被證明可以加快模型的收斂速度和訓練精度［13，14］。然后在上下文信息處理模塊中，MsFS模塊提取特征圖更深層次的多尺度特征信息，輸出特征圖尺寸不變，還是16×16×1280，見圖2。最后在解碼器中連續的5次上采樣與特征融合，使得圖像恢復原始的尺寸，獲得一張512×512×1的分割結果圖。在輸出的最后，使用Sigmoid激活函數，將每個像素點的數值映射到［0，1］區間，代表該像素點為新冠肺炎病灶區域的概率。在最后的圖像后處理中，以0.5作為閾值對圖像做二值化處理。

1.4 實驗環境

實驗環境為Python 3.7.9，tensorflow 1.13.2，keras 2.2.4，CPU使用intel i5-12600K，GPU使用Nvidia GeForce RTX 2080Ti。所有實驗均在相同軟硬件條件下運行采用五折交叉驗證訓練方法，優化器選擇Adam，初始學習率為1e-4，訓練輪數設定為200輪，并設計學習率衰減策略和訓練早停機制，當驗證集損失值連續5輪訓練不再下降時，學習率自動衰減一半，連續10輪訓練不再下降時，自動停止模型訓練。

1.5 評測指標

使用的評測指標包括Dice系數，召回率，精確率和二值交叉熵。Dice相似系數（Dice coefficient）表示分割結果與實際結果的重疊相似度；召回率（Recall）表示真陽性樣本在實際陽性樣本中的占比，即正例樣本的召回情況；精確率（Precision）表示被分為正例的目標中實際為正例的占比，定義TP、TN、FP、FN分別真陽性、真陰性、假陽性和假陰性樣本，評測指標的公式表示如下：

1.6 統計學分析

實驗結果使用SPSS 18.0進行分析，對各評測指標以（）的形式表示，其中表示平均值，s表示標準差，并采用t檢驗，以P＜0.05為差異有統計學意義。

2 結果

在結果分析中，使用5折交叉驗證方法訓練數據，除基線網絡U-Net和本文提出的MsFS-Net以外，本文還對比了多尺度特征提取中較為經典的DeepLabV3+［11］和注意力機制相關的分割網絡Attention U-Net［15］，對比這4個模型在Dice、Recall、Precision三項評測指標中的表現，繪制訓練曲線圖并可視化分割結果圖。

2.1 評測指標對比結果

使用Dice、Recall、Precision三個評測指標，對比U-Net和MsFS-Net的分割性能，表1顯示了5折交叉實驗中評測指標對比結果。DeepLabV3+的指標最差，可能是由于其結構的設計主要針對自然圖像，不適用于醫學圖像分割。Attention U-Net的分割效果與U-Net相比差別不大，說明該網絡中使用到的注意力門結構可能并不適用于新冠肺炎的分割。MsFS-Net在3項評測指標中的表現較優，相對于U-Net分別提升了5.89%、5.71%、5.30%，且標準差較小，證明模型的穩定性高、魯棒性更好，差異有統計學意義（P＜0.05）。

表1 評測指標對比

2.2 訓練曲線

隨機選擇出5折交叉中第1折的訓練數據，繪制出訓練過程中的損失函數和dice的變化曲線。可以看出MsFS-Net的損失函數下降更快，最終達到的數值更低，驗證集中dice曲線的變化更平滑，準確率更高。在早停機制的約束下，MsFS-Net的訓練輪數最少。見圖3。

2.3 分割結果可視化

圖4中顯示了從測試集中選取的5張CT圖像和預測結果對比。其中，圖4（a）是輸入的原始圖像，圖4（b）是金標準，圖4（c）（d）（e）（f）分別是U-Net，DeeplabV3+，Attention U-Net和本文模型的分割預測結果。其中，3個對比模型容易漏掉小病灶和不規則病灶區域，部分區域邊界不清出現了黏連的情況。以第一幅切片圖像為例，左側箭頭所指區域由于邊界模糊，導致其他模型的分割區域黏連，右上箭頭所指的小病灶區域出現了缺失，對比之下，本文模型應對這些特殊情況的處理效果更好。

圖4 對比實驗中各模型的分割結果

3 討論

COVID-19是一種由嚴重急性呼吸綜合征冠狀病毒（SARS-CoV-2）引起的傳染性呼吸道疾病，已造成全球范圍內的大流行［16］。CT圖像在COVID-19的診斷和評估中具有重要作用，因為它可以顯示肺部感染區域的位置和大小［5］。基于U-Net的深度學習方法在醫學圖像分割領域有著廣泛的應用，因為它可以有效地提取圖像特征并保留圖像細節［17］。本文提出了一種多尺度特征選擇網絡，用于COVID-19 CT圖像分割任務。該模型在U-Net的基礎上，增加了多尺度特征選擇模塊，以提高模型對不同尺度病灶區域的感知能力。

本文使用了公開可用的COVID-19 CT圖像數據集進行實驗，采用U-Net網絡結構作為基礎模型，并對其進行了一些改進，以適應COVID-19 CT圖像分割任務。具體而言，提出了一種多尺度特征選擇模塊，以提高模型對不同尺寸病灶區域的分割能力，增強模型魯棒性。還使用了數據增強、五折交叉驗證、Adam優化器等方法來優化訓練過程。

通過定量的評價指標來評估所提出的網絡模型在COVID-19 CT圖像分割任務上的效果，并與U-Net、DeepLabV3+和Attention U-Net做比較。評價指標有Dice、Recall和Precision。實驗結果表明，所提出的網絡模型在COVID-19 CT圖像分割任務上具有較高的精度和穩定性，并且優于其他深度學習方法。

盡管本研究取得了一定成果，但仍存在一些局限性，本文使用的數據量較小且來源單一，可能存在樣本偏差或不足的問題，并且沒有對不同類型或階段的COVID-19患者進行區別處理或評估。針以上局限，未來工作可以從以下方面進行改進：（1）收集更多來源多樣且質量高的數據集，并對數據做出進一步的數據增強。（2）探索不同類型或階段患者之間CT圖像特征及其與臨床指標之間的關系，并設計更適合各類患者情況下圖像分割任務的模型。