XR-MSF-Unet：新冠肺炎肺部CT 圖像自動分割模型

謝娟英，張凱云

陜西師范大學 計算機科學學院，西安710119

新型冠狀病毒肺炎（corona virus disease 2019,COVID-19）給人類帶來了巨大危害。2020 年2 月4日中國國家衛生健康委員會發布《新型冠狀病毒感染的肺炎診療方案》（試行第五版），將CT（computed tomography）影像列為新冠肺炎臨床診斷的重要依據。然而，醫生瀏覽大量CT 影像做出診斷是繁重的體力和腦力工作，而且新冠肺炎病情多變，存在個體差異，給醫生準確診斷帶來挑戰。利用人工智能（artificial intelligence,AI）技術精確劃分CT 影像感染區域，輔助醫生進行診斷是提高新冠肺炎診斷效率和準確率、減輕醫生負擔、減少漏診和誤診的重要手段。

隨著深度學習技術的不斷發展，利用人工智能技術分割醫學圖像取得了很大進展。劉辰等人利用編解碼結構和雙向卷積長短記憶網絡組成的卷積神經網絡分割海馬體MRI 圖像獲得了與專業醫生幾乎相同的分割結果；胡敏等人提出殘差八度卷積塊，結合混合注意力機制改進U-Net網絡，從而更精確地分割腦出血CT 圖像；沈懷艷等人提出一種利用多尺度語義特征融合和注意力機制的分割網絡MSFA-Net，實現從腹部CT 圖像中自動分割肝臟；余昇等人采用MBConvBlock 編碼器模塊、插值重構的解碼器模塊和改進的三重閾值策略改進U-Net網絡，在氣胸X 射線圖像分割中取得了良好的性能；錢寶鑫等人提出了一種基于空洞空間金字塔池化、級聯操作和注意力機制的編解碼結構的肺部分割網絡，有效分割出肺實質區域。

新冠肺炎患者肺部CT 圖像，感染區域為毛玻璃樣陰影及實變，斑片狀模糊陰影彌漫整個肺區，極易與肺部氣管、血管等混淆。因此，基于AI 技術有效分割新冠肺炎肺部CT 圖像感染區域極具挑戰。國內外關于新冠肺炎CT 圖像輔助診斷研究包括CT 圖像感染區域分割和分類兩大類。分類方面：Wang 等人提出一種聯合學習框架，通過對異構數據集進行學習，區分肺部CT 圖像為新冠肺炎陽性和陰性；Butt等人使用傳統ResNet-23 與加入注意力機制的ResNet-18 對新冠肺炎CT 圖像與普通肺炎CT 圖像和正常CT圖像進行多分類研究。分割方面：Chen等人利用大量新冠肺炎CT 圖像訓練UNet++，對CT 圖像進行分割，達到專業醫生相當水平，但該研究依賴于大量CT 圖像；Shan 等人提出一種基于“瓶頸結構”的VB-Net 網絡來分割新冠肺炎CT 圖像，并提出專業醫生參與的“人在回路（human-in-the-loop,HITL）”的半監督訓練策略減少網絡訓練時間，提高分割效率；Chen 等人通過在U-Net中加入殘差結構和注意力機制改進網絡，提高新冠肺炎CT 圖像分割效果，但沒有解決訓練樣本不足問題；Fan 等人提出基于并行解碼器和多注意力機制的Inf-Net 網絡對新冠肺炎CT 圖像進行分割，并提出半監督訓練方式緩解標記數據不足問題，實現對不同感染區域的多類分割；Budak 等人提出一種基于注意門控機制的ASegNet 模型實現自動分割新冠肺炎CT 圖像的病變區域；Kumar 等人提出基于RFA（receptive-fieldaware）模塊的LungINFseg 模型，其中提出的RFA 模塊可以擴大感受域且不丟失任何特征信息，從而提高模型學習能力。此外，還有分割和分類相結合的研究：如，Wang 等人采用兩步法來確定新冠肺炎是否陽性，訓練一個弱監督分割網絡對CT 圖像進行分割，然后用DeCoVNet 網絡識別是否新冠肺炎陽性；吳辰文等人利用BIN（batch normalization&instancenormalization）殘差塊改進U-Net網絡分割新冠肺炎CT圖像，結合多層感知器對分割后的圖像進行分類預測。

盡管新冠肺炎CT 圖像感染區域分割研究取得了較大進展，但是依然存在如下問題：首先，大部分研究所用數據集是非公開的，訓練樣本少，易導致過擬合，研究結果泛化性能較差，所得系統無法輔助臨床診斷；其次，新冠肺炎肺部CT 圖像復雜，極易與其他肺部疾病混淆，編碼器提取有效分割特征非常困難；另外，新冠肺炎感染區域的彌漫性、位置不定、邊界不清、形狀多變，需要分割模型有極強的細節特征提取能力。

為解決上述問題，本文首先利用數據擴充技術對數據集進行擴充，增加數據多樣性，以增強模型魯棒性，緩解目前存在的相關訓練數據不足導致的模型過擬合問題。其次對U-Net 網絡結構進行改進，在Xie等人的ResNeXt結構啟發下，提出XR（X ResNet）模塊，使用XR 替換U-Net的兩層普通卷積，以增強模型的特征提取能力。然后提出即插即用的融合多尺度特征的注意力模塊MSF（multi-scale features fusion module），融合不同大小感受野、全局、局部以及空間信息，提取包含更多細節信息的特征，以強化模型的細節分割效果。綜合上述改進，提出針對新冠肺炎CT 圖像感染區域自動分割的新模型XR-MSF-Unet。

1 相關工作

1.1 U-Net網絡

傳統語義分割采用基于顏色、形狀等低級語義信息，無法很好分割復雜圖像。深度學習技術使用高級語義信息進行分割。2015 年，Long 等人首次使用全卷積神經網絡對自然圖像進行端到端分割，實現了從傳統方法到深度學習方法的突破。2015 年Ronneberger 等人在全卷積神經網絡基礎上提出UNet 結構，在ISBI 細胞分割挑戰賽中獲得第一名。UNet 網絡包含編碼和解碼兩部分，編碼器進行下采樣操作，提取原始圖像空間特征，解碼器進行上采樣操作，根據編碼器所提取的空間特征構造出圖像。為了防止對應特征丟失，對應編碼器和解碼器之間有跳躍連接。U-Net的編碼器采用兩層3×3 卷積、ReLU激活函數和2×2 最大池化，來提取圖像特征，共進行4次下采樣，該過程降低特征圖尺寸，增加通道數，最終通道數為原來的16 倍。解碼器部分使用2×2 反卷積進行上采樣，減少通道數，逐漸恢復特征圖尺寸。

然而，新冠肺炎CT 圖像十分復雜，U-Net 在編碼器每一個階段僅使用普通的兩層卷積和池化操作來提取特征，相較于經過設計的卷積組合，這樣的特征提取方式容易導致模型無法提取到全部有用的特征信息，甚至還會有一部分特征在這個過程中丟失。此外，U-Net 的解碼器在逐步恢復圖像時也采用簡單的兩層卷積和反卷積進行，這樣又會導致一定的特征信息損失，最終使得網絡無法完全恢復圖像的復雜特征信息。另外，U-Net 沒有考慮全局、局部和不同空間位置的特征差異。為了提取新冠肺炎CT 圖像的復雜特征，提升對該類CT 圖像感染區域分割的準確性，本文將對U-Net的特征提取結構進行改進。

1.2 卷積塊的聚集殘差變換

深層網絡模型往往具有更強特征提取能力。Alex 等人提出的AlexNet 通過堆疊卷積和分組卷積增加網絡深度，在2012 年的ImageNet 競賽中取得冠軍。隨后，加深網絡深度和堆疊卷積成為深度學習的熱點。Szegedy 等人提出的Inception 系列網絡，使用特定的堆疊卷積和分組卷積提取更多特征信息，但Inception 系列網絡的超參數有較強針對性，泛化性一般；另外，隨著網絡層數加深，模型的時間復雜度和空間復雜度不斷增加，并帶來梯度爆炸和消失問題。為此，He 等人2016 年提出ResNet，通過跳層連接避免網絡層數加深帶來的問題，同時避免高層特征損失，得到保留更多細節信息的特征圖，提高網絡提取信息的能力。

在ResNet 基礎上，Xie 等人于2017年結合Inception 系列網絡的“分解-轉換-融合”策略，提出ResNeXt 網絡。ResNeXt 提出“基數（cardinality）”概念，表示聚合的相同拓撲結構的數量。ResNeXt 網絡將輸入圖像經過“基數”個相同拓撲結構，聚合這些結構的輸出，經過一個全局池化得到最終的特征映射。通過聚合“基數”個相同拓撲結構，使模型在增加少量參數基礎上，提取到更多特征信息，有效增加模型的特征提取能力，提升模型性能。

1.3 注意力機制

注意力機制是深度學習領域備受青睞的技術，其原理源于人類視覺注意力機制，目的是使模型在處理信息時能實現信息資源的高效分配。注意力機制通過快速掃描全局，發現需要關注的重點區域，即注意力焦點，對這些區域投入更多關注，從而獲得更多信息，同時抑制其他區域的干擾信息。Tsotsos等人在1995 年首次將注意力機制引入計算機視覺領域，認為注意力作用就是通過減少處理樣本，增加樣本間的特征匹配度，優化傳統視覺搜索方法。2017年的圖像分類挑戰賽ILSVRC 中提出的SENet開啟了融入注意力機制的深度學習。目前，注意力機制在分類、目標檢測、語義分割等計算機視覺領域被廣泛應用。

新冠肺炎肺部CT 圖像感染區域不僅包含磨玻璃陰影、鋪路石征、血管、氣管擴張等影像學表現，還有肺部正常血管、氣管以及結節等信息。對圖像感染區域進行分割，需要模型能夠“關注”感染區域。因此，本文將使用注意力機制，以使模型重點“關注”感染區域，抑制其他信息，實現新冠肺炎CT 圖像感染區域的有效分割，提升模型的分割效果。

2 本文方法

本章首先介紹提出的XR-MSF-Unet 模型的整體結構，然后詳細闡述XR-MSF-Unet 模型中提出的XR模塊和MSF 注意力模塊，最后介紹訓練模型使用的損失函數。

2.1 XR-MSF-Unet模型

XR-MSF-Unet模型結構如圖1 所示，包括編碼區和解碼區，是一個端到端的分割模型。提出的XR 模塊進行特征提取和恢復，編碼區每個XR 模塊后是提出的多尺度特征融合注意力模塊MSF，解碼區通過連續4 次上采樣，恢復圖像分辨率，輸出分割圖像。

從圖1 可見，XR-MSF-Unet 模型引入XR 模塊 提取更多特征信息，輸入圖像經過5 個XR 模塊組成的編碼器進行4 次下采樣，提取到盡可能多的特征信息，再使用4 個XR 模塊組成的解碼器進行上采樣，盡可能多地恢復圖像信息。為了防止編碼區和解碼區對應位置的特征丟失，使用跳躍連接來連接對應的編碼器和解碼器，和U-Net 不同的是這里不需要剪裁，只需要拷貝即可。為了使模型重點“關注”感染區域，XR-MSF-Unet 模型在編碼器的每個XR 模塊之后加入提出的多尺度特征融合注意力模塊MSF，期望從豐富的特征信息中“關注”感興趣區域，提高模型的細節分割效果。

圖1 XR-MSF-Unet網絡結構示意圖Fig.1 Diagram of XR-MSF-Unet network structure

2.2 聚合殘差塊模塊XR

新冠肺炎肺部CT 圖像感染區域形狀復雜、邊界模糊，與圖像中其他結構極易混淆。為了更好地分割出新冠肺炎肺部CT 圖像感染區域，對ResNeXt 模塊進行推廣，提出圖2 所示的XR 模塊。每個分支都由1×1、3×3 和1×1 卷積組成，且都含有跳層連接，個分支聚合，構成XR 模塊。XR 模塊通過個殘差塊的不同卷積提取圖像特征，以便獲得更好的分割特征。

圖2 XR 模塊結構圖Fig.2 Diagram of XR module structure

如圖2 所示，由于不同分支的卷積路徑關注的特征信息不同，同一特征圖在經過不同的卷積路徑后得到的特征圖也是不相同的，但是不同路徑得到的特征圖的耦合性較低，綜合所有卷積路徑的特征圖并進行融合可以互相補充缺失的特征信息，這樣有利于得到更加完整的圖像特征信息。此外，XR 模塊的每一條卷積路徑使用了一個完整的殘差結構，由于殘差結構可以解決網絡加深帶來的性能退化問題，從而進一步避免了特征提取過程中產生的特征損失，更加有助于模型提取到更多特征信息。

2.3 多尺度特征融合注意力模塊MSF

新冠肺炎感染區域大多為彌漫性感染，整幅圖像中各個角落都可能存在感染區。卷積感受野大小決定特征關注區域大小，感受野過大或過小可能會使CT 圖像部分感染區域被分割錯誤。另外，新冠肺炎感染區域位置不定，形狀復雜，極易與其他肺部結構混淆，因此，為使模型能發現感染區域并增加其發現感染區域的能力，提出圖3 所示的融合多尺度特征的即插即用注意力模塊MSF（multi-scale features fusion module）。

為了避免感受野不同給模型特征提取帶來的問題，MSF 模塊使用3×3、5×5 和7×7 三種不同大小感受野的卷積核以并行的方式提取特征，這三種不同大小的卷積核分別具有小、中、大三種不同大小的感受野，提取的特征分別經過批歸一化BN 和ReLU 激活后進行特征融合，這樣并行的特征提取策略可以最大程度地減少串行卷積帶來的特征損失，可以保證融合后的特征圖中盡可能多地包含圖像的各種特征信息。之后，融合的特征分別經過全局注意力模塊（global attention module，GAM）和空間注意力模塊（spatial attention module，SAM）構成的一個分支以及局部注意力模塊（local attention module，LAM）和空間注意力模塊SAM 構成的另一個分支，最后將兩支注意力模塊特征加和，實現不同大小感受野、全局、局部和不同空間特征的融合，使最終輸出的特征圖包含不同尺度和位置的信息，從各種維度最大限度保證模型提取到圖像更多的特征信息。

圖3 多尺度特征融合的注意力模塊MSFFig.3 MSF attention module fusing multi-scale features

全局注意力模塊GAM 如圖4 所示，采用注意力模塊CBAM（convolutional block attention module）中的通道注意力模塊（channel attention module，CAM）。其中的全局平均池化（global average pooling，GAP）在結構上對整個網絡進行正則化，避免了過擬合；全局最大池化（global max pooling，GMP）可以找到每個通道最大值的坐標，減少輸出層特征維度，減少圖像噪聲對提取特征的影響。因此，GAP 和GMP 模塊有助于模型獲取上下文關系，使GAM 模塊能更好地關注全局重點信息，有利于模型“關注”散布在整個圖像中的感染區域，增加模型的整體性能。1×1 卷積、ReLU 激活函數、1×1 卷積組成GAM 模塊的網絡連接層，為Sigmoid 函數，⊕為加和操作。GAM 模塊得到式（5）表示的特征圖。

圖4 全局注意力模塊GAMFig.4 Global attention module GAM

局部特征信息提取的LAM 采用Wang 等人提出的ECA（efficient channel attention）注意力模塊。ECA對輸入特征圖進行全局平均池化，通過一個1×大小的一維卷積實現局部跨通道交互，表示參與該通道注意力預測的鄰域通道數，代表局部跨通道交互的覆蓋率，實驗中值自動選擇。

使不同鄰域通道參與某一個通道預測，能有效注意到圖像的細節信息，提高模型對圖像細節信息的“關注”能力。因此，本文使用該模塊提高模型對感染區域局部細節的“關注”，實現更加精細的分割。

空間注意力模塊SAM 來自文獻[30]，其主要作用是讓模型關注特征位置信息，關注有意義特征。SAM 模塊對輸入特征進行基于通道的最大池化和平均池化，得到兩個單通道結果，將該兩結果拼接，經過卷積操作得到一張二維特征圖，再經過Sigmoid 函數得到最終的空間注意力特征圖。與文獻[30]的SAM模塊對拼接特征進行7×7 卷積不同，本文通過實驗選擇1×1 卷積。

圖3 中SAM 模塊分別將GAM、LAM 模塊的輸出特征作為輸入。GAM 模塊的特征圖經過SAM 模塊得到式（6）融合全局和空間信息的特征圖；LAM 模塊的特征圖經過SAM 模塊后得到式（7）融合局部和空間信息的特征圖。其中，AvgPool和MaxPool 分別表示平均池化和最大池化，[;]表示、拼接操作。

2.4 損失函數

醫學圖像分割領域常用的損失函數是Milletari等人在2016 年提出的Dice Loss。Dice Loss 能很好地解決醫學圖像中正負類樣本不平衡問題。新冠肺炎感染區域分割圖像中感染區域（正類）和背景區域（負類）的分布不平衡，因此，本文使用Dice Loss 作為損失函數。Dice Loss源于Dice 系數（dice coefficient，DC），Dice 系數是一種集合相似性度量函數，計算兩個集合的相似度，取值在[0,1]之間，如式（8）。

其中，代表真實結果GT（ground truth），代表模型分割的結果（predicted value），|?|表示集合和交集的元素個數，||和||分別表示集合和的元素個數。Dice Loss表示為式（9）。

由于有監督的圖像分割本質上是對像素點進行分類，Dice Loss在圖像分割表示為式（10）。

其中，為圖像總像素點數，為類別數，本文(=2)代表新冠肺炎圖像的感染區域和背景。(,)∈[0,1]代表像素點被劃分到第類的概率，即預測圖中像素點屬于類的概率，(,)∈[0,1]代表圖像中像素點屬于類的真實概率。

3 實驗結果及分析

本章先介紹實驗數據、評價指標和實驗環境，然后測試本文的數據擴增方法、XR-MSF-Unet 模型及其各模塊的性能，最后測試XR-MSF-Unet 模型的泛化性。

3.1 實驗數據

第3.1～3.7 節的實驗數據來自數據集COVID-19 CT Segmentation Dataset，包含約60 例新冠肺炎患者的100張CT 圖像，是最具挑戰性的COVID-19分割數據集，本文命名為COVID-19-1。第3.8 節的實驗數據來自COVID-19 CT Segmentation Dataset的另外一個數據集，本文命名為COVID-19-2，以及來自COVID-19 CT Lung and Infection Segmentation Dataset和Mos-MedData的本文命名為COVID-19-3 和COVID-19-4 的數據集。

其中，COVID-19-1 數據集由意大利醫學和介入放射學會（Italian Society of Medical and Interventional Radiology）收集，包含約60 名新冠肺炎患者的共100張軸向CT 圖像和放射科醫生對這100 張CT 圖像感染區域的標注圖像。COVID-19-2 數據集由Radiopaedia 的9 個不同病例的共829 張軸向二維CT 切片組成，其中有373 張為新冠肺炎切片，由放射科醫生進行了感染區域的分割標注，原始數據格式為NIFTI。COVID-19-3 數據集由Coronacases Initiative和Radiopaedia 的20 個不同病例的共1 844 張新冠肺炎CT 切片組成，感染區域由有經驗的放射科醫生進行標注。COVID-19-4 數據集來源于俄羅斯莫斯科市立醫院，包含1 110 個病例的肺部CT 圖像，本文使用的為來自其中50 個病例的有專家標注圖像感染區域的785 張確診新冠肺炎CT 圖像。各數據集的詳細信息見表1。

表1 實驗用COVID-19 CT 圖像數據集Table 1 COVID-19 CT image datasets for experiments

3.2 評價指標與實驗環境

實驗結果評價使用Dice、IOU、F1-Score 和Sensitivity 四種常用的醫學圖像分割評價指標，這4 種指標的計算方式如式（11）～（14）所示，式（11）和式（8）本質上相同。

其中，表示網絡輸出的感染區域是真實的感染區域；表示網絡輸出的背景區域是真實的背景區域；表示網絡輸出的感染區域不是真實的感染區域，即錯誤地將背景分割為感染區域；表示網絡輸出的背景區域不是真實的背景區域，即錯誤地將感染區域分割為背景。這些評價指標的取值越大，代表模型的分割效果越好。

本文實驗采用開源深度學習框架PyTorch1.5.1實現提出的XR-MSF-Unet 模型，使用GPU 加速網絡模型的訓練和測試，顯卡型號為GeForce RTX 2080Ti。實驗訓練和測試階段的batch size均為1，共訓練200輪次。優化器采用RMSProp，初始學習率設置為0.001，權重衰減系數設置為1E-8。

不同優化器會影響模型性能，為此使用四種常見的優化器RMSProp（root mean square propagation）、Adam（adaptive moment estimation）、SGD（stochastic gradient descent）和Adamax（adam based on the infinity norm）分別訓練模型，比較模型性能，選擇最合適的優化器。實驗中使用U-Net網絡，四個優化器的初始學習率均設置為0.001，權重衰減系數均設置為1E-8。實驗結果如表2 所示，加粗表示最好結果。

表2 不同優化器下的模型性能比較Table 2 Comparison of model performance using different optimizers

表2 結果顯示，RMSProp 優化器使模型的Dice和F1-Score 指標最好；Adamax 優化器使模型的IOU和Sensitivity 指標最好；SGD 優化器的效果最差；雖然Adam 優化器使模型的Sensitivity 指標優于RMSProp 優化器的效果，但是其他指標均不如RMSProp 優化器。綜上所述，以Dice 指標作為最主要的評價標準，RMSProp 優化器綜合效果最好，因此，本文采用RMSProp 優化算法。

3.3 數據擴增方法測試

由于COVID-19-1 數據集的樣本量對于需要大量訓練數據的深度學習模型來說，會帶來過擬合，將數據按1∶1 比例劃分為訓練集和測試集，對訓練集的50 張CT 圖像使用隨機旋轉、顏色抖動以及中心裁剪等方法進行擴增，最終得到包含原始數據在內的共350 張CT 圖像作為訓練集。使用U-Net網絡來測試數據擴增的有效性，測試結果如表3 所示。實驗中從訓練集隨機選擇10%數據作為驗證子集，用于調整模型參數，監控是否發生過擬合，其余90%作為訓練子集訓練模型。以測試集來測試訓練所得模型的分割性能。

表3 數據擴增有效性測試結果Table 3 Testing results of data augmentation efficacy

表3 結果顯示，U-Net模型的各項評價指標Dice、IOU、F1-Score 以及Sensitivity 在數據擴增之后，均得到提升，說明數據擴增有利于提升模型的分割性能。因此，本文后續實驗均使用擴增后的數據集作為訓練集。

3.4 XR 模塊參數測試

XR 模塊由個相同的殘差塊聚合而成，為了探究聚合多少個殘差塊模型性能最好，實驗設計了只有1 個殘差塊和聚合2、4、8、16、32、64 個殘差塊的XR 模塊，將這7 種聚合了不同數量殘差塊的XR 模塊嵌入到U-Net 網絡進行實驗，實驗結果如表4 所示，加粗表示最好結果。殘差塊數0 表示沒有嵌入XR 模塊的原始U-Net模型的實驗結果。

表4 XR 模塊中殘差塊參數X 測試的實驗結果Table 4 Experimental results of parameter X of residual blocks embedded in XR module

表4 結果顯示，當XR 模塊只聚合一個殘差塊時，不僅沒有提升原始U-Net 模型的分割效果，反而使其分割效果變差；但當聚合2 個以上殘差塊時，U-Net的分割效果開始逐漸提升，直到聚合32 個殘差塊時達到最好分割效果。而當聚合64 個殘差塊時，模型的分割效果最差。分析原因是過多的殘差塊使得模型過于復雜，造成了過擬合。因此，本文使用聚合32 個殘差塊的XR 模塊替換U-Net中用于特征提取（編碼）和恢復（解碼）的卷積模塊。

3.5 MSF 模塊測試

本節將通過實驗測試MSF 模塊的空間注意力模塊SAM 的最佳卷積核設置，MSF 模塊對不同類型注意力模塊特征進行加和時的權重系數設置，MSF 模塊在U-Net 網絡的最佳位置，比較MSF 與其他注意力模塊的性能，并將MSF 模塊嵌入不同baseline 驗證其性能，最后對MSF 模塊各個組件的有效性以及模塊的復雜度進行實驗分析。

提出的MSF 模塊中的空間注意力模塊SAM 需要經過一個卷積降維，該卷積塊的卷積核大小對于整個MSF 注意力模塊至關重要。本文通過實驗測試MSF 模塊的SAM 模塊的卷積核大小設置。表5 展示了將MSF 模塊加在U-Net 編碼區，設置SAM 模塊不同大小的卷積核得到的實驗結果，加粗表示最好結果。

表5 SAM 模塊的卷積核大小測試實驗結果Table 5 Experimental results for testing kernel sizes of SAM module

表5 實驗結果顯示，當SAM 模塊采用1×1 卷積核時，模型取得了最優的分割結果，說明在進行復雜圖像分割時，1×1 的小卷積核能使特征圖信息保存得更加完整，同時也能從特征圖中獲得更多細節特征，有利于模型“關注”細節特征，獲得更好分割結果。因此，本文后續實驗中，MSF 模塊的空間注意力模塊SAM 的卷積核大小設置為1×1。

MSF 模塊對經過SAM 模塊的融合全局與空間信息的特征圖和融合局部信息與空間信息的特征圖的對應元素相加得到融合特征。為了確定和這兩個特征圖加和時的權重比，分別對這兩個特征賦予不同權重進行加和，測試對U-Net 模型性能的影響。實驗結果如表6 所示，加粗表示最好結果。

表6 實驗結果顯示，當兩部分特征圖加和時的權重比為1∶1 時，MSF 模塊能提取到分割性能最好的特征。當兩部分特征圖的權重比分別為2∶3、3∶7 和1∶4時，MSF 模塊獲得的特征的分割性能非常差，各項分割指標基本趨于0，而當權重比為3∶2、4∶1、7∶3 時，MSF 模塊提取的特征的分割性能優于相反的權重比，說明特征對MSF 模塊提取的特征的分割性能影響較大。當權重比為1∶9 和9∶1 時，MSF 模塊提取的特征的分割能力大幅提升，僅次于權重比為1∶1時的特征，且9∶1 時MSF 模塊提取的特征的分割能力更好，不僅說明特征圖對MSF 模塊提取的特征的分割性能影響較大，也說明特征圖對MSF 特征的分割能力的強大貢獻。綜合上述分析，在融合兩部分特征時將權重設置為1∶1 最佳。

表6 MSF 模塊特征融合的權重測試實驗Table 6 Experiments for testing weights for feature fusion of MSF module

提出的MSF 是即插即用注意力模塊，放置在網絡不同編碼位置對實驗結果會有不同影響。圖5 展示了MSF 模塊嵌入到U-Net 的8 種位置，對每一種情況進行實驗測試，實驗結果如表7 所示，加粗表示最好結果。

圖5 MSF 模塊在U-Net的不同位置Fig.5 MSF modules in different locations of U-Net

表7 實驗結果顯示，當MSF 模塊在編碼區時得到的分割結果最好。分析原因是MSF 模塊的主要功能是獲得圖像更多特征信息，嵌入編碼區域，距離輸入層近，能夠從原始圖像獲得更多特征信息，而解碼區的特征是經過編碼區特征提取后，上采樣還原的特征，無法表達圖像細節信息。

表7 MSF 模塊在U-Net不同位置的模型性能Table 7 Performance of U-Net embedding MSF module in different positions

因此，后續實驗均將提出的MSF 模塊嵌入在編碼區，也就是圖5 的L2 所示。

為了驗證提出的即插即用注意力模塊MSF 在新冠肺炎肺部CT 圖像感染區域分割中的有效性，將MSF 與其他注意力模塊進行對比實驗。為保證實驗公平，所有注意力模塊均放置在U-Net 編碼區，實驗數據集劃分和實驗環境均相同，測試結果如表8 所示，加粗表示最好結果。

表8 MSF 注意力模塊與其他注意力模塊的性能對比Table 8 Performance comparison of MSF and other attention modules

表8實驗結果顯示，在新冠肺炎肺部CT感染區域分割中，相比其他注意力模塊，提出的MSF 模塊嵌入U-Net 模型能夠取得最優的分割結果。SE（squeezeand-excitation）、CBAM 和ECA 注意力模塊不僅沒有提升U-Net 的分割效果，反而使其性能降低。SCSE（concurrent spatial and channel squeeze and channel excitation）注意力機制雖然提高了U-Net 的Dice 指標，但提升較少，且加入SCSE的U-Net模型的IOU、F1-Score和Sensitivity 指標均不如原始U-Net 模型。綜上分析可見，提出的MSF 模塊在新冠肺炎肺部CT 感染區域分割中最有效。

為了更加清楚地顯示MSF 模塊能夠更好地分割細節的優勢，將表8 各模塊的分割結果進行可視化顯示。圖6（a）、（b）展示了表8 帶有不同注意力模塊的U-Net 模型對測試集隨機選擇的兩張CT 圖像的分割結果，其中Ground Truth 表示真實標簽，第二到第六行分別表示MSF+U-Net、ECA+U-Net、SCSE+U-Net、CBAM+U-Net 和SE+U-Net 各模型的分割結果，紅色框標記的是各個模型的分割結果中更能體現分割細節的感染區域。各模型分割結果的邊界細節使用Canny 邊緣檢測算法得到。

圖6 MSF 模塊與其他注意力模塊的細節分割對比Fig.6 Comparison of segmentation details between MSF module and other attention modules

圖6 的可視化結果顯示，MSF 模塊嵌入U-Net 模型的細節分割效果比嵌入其他幾種注意力模塊的效果都好。圖6（a）紅色框標記的Ground Truth 部分形狀類似字母“M”，且與旁邊感染區域之間有間隔縫隙。圖6（a）嵌入不同注意力模塊的U-Net 模型的分割結果中，嵌入MSF 的U-Net 模型的分割結果與真實標記最相似，且與其他感染區域不相連；ECA+UNet 模型的分割結果與旁邊感染區域相連；嵌入其他注意力模塊的U-Net 模型的分割結果雖然與旁邊感染區域分開，但分割出的區域均與標記區域形狀差異很大。圖6（b）紅色框標記的分割結果顯示，只有MSF嵌入U-Net模型的分割結果與真實標記的Ground Truth 相似，其余各模型的分割效果都與真實標記相差很大。綜上所述，相對于其他注意力模塊，本文提出的多尺度特征融合注意力模塊MSF 具有更好的細節分割能力。

為了進一步驗證提出的注意力模塊MSF 提取新冠肺炎肺部CT 圖像分割特征的能力，將其嵌入FCN（fully convolutional networks）、FusionNet、SegNet三個不同模型進行實驗。為了保證實驗公平和有效，這三個Baseline 和U-Net 一樣是編碼區和解碼區結構，MSF 模塊均放置在各模型的編碼區，實驗數據劃分和實驗環境均相同，實驗結果如圖7 所示。圖7（a）～（d）分別展示了MSF 嵌入U-Net、FCN、Fusion-Net 及SegNet 前后對應模型的Dice、IOU、F1-Score 和Sensitivity 指標值。

圖7實驗結果顯示，將MSF模塊嵌入U-Net、FCN、FusionNet及SegNet模型，除了U-Net模型的F1-Score和SegNet 模型的IOU，各模型的Dice、IOU、F1-Score和Sensitivity 評價指標均有所提升，其中，各模型的Dice 和Sensitivity 指標均得到提升。說明提出的MSF 模塊能學習獲得性能非常好的新冠肺炎CT 圖像分割特征，這些特征的強大分割性能使得加入MSF 注意力機制模塊的各模型能更好地分割新冠肺炎肺部CT 圖像的感染區域。

圖7 MSF 模塊嵌入不同Baseline的實驗結果Fig.7 Experimental results of MSF module embedded in different baselines

作為一種即插即用的注意力模塊，MSF 的有效性在第3.5.4～3.5.5 小節得到了驗證，本小節對MSF模塊中每一個組件的有效性和復雜度進行分析。使用DRF（different receptive field）表示MSF 模塊中的不同大小感受野模塊，采用消融實驗方式驗證DRF和MSF模塊中的全局、局部和空間注意力模塊GAM、LAM、SAM 的有效性。表9 中展示MSF 模塊的消融實驗結果，“√”表示包含相應模塊。另外，模型的參數量（parameters）可以衡量模型的時間和空間復雜度，每秒幀率（frame per second，FPS）表示模型每秒內處理的圖片數量，可以用來衡量模型的時間復雜度，因此MSF 模塊的復雜度將通過計算模型的參數量和每秒幀率來進行評價。表9 同時展示了模型的復雜度。加粗表示最好結果。

表9 MSF 模塊的消融實驗及復雜度分析Table 9 Ablation experiments and complexity analysis of MSF module

表9 結果顯示，將完整的MSF 模塊加入U-Net 可以使模型達到最好的分割性能。無論是去掉MSF 模塊中的不同大小感受野DRF，還是全局注意力模塊GAM、局部注意力模塊LAM 或者空間注意力模塊SAM，模型的分割性能都受到不同程度的影響。其中，LAM 模塊對模型的性能影響最小，然后依次是GAM、DRF 和SAM 模塊。SAM 模塊對模型的分割性能影響最強，說明SAM 模塊關注的空間信息對MSF 模塊提取到分割能力很強的特征很重要。

表9 模型的復雜度顯示，添加MSF 模塊U-Net 模型比原始U-Net 模型的參數量增加了近3 倍，每秒幀率FPS 也減少了差不多1/4。說明提出的MSF 模塊在提升模型分割性能的同時，增加了模型的復雜度。另外，表9 結果還顯示，MSF 模塊的DRF、GAM、LAM 和SAM 模塊對模型的復雜度影響都非常大，特別是大大降低了模型的效率。

綜合以上分析可見，MSF 模塊雖然增加了參數量，但能使模型具有更好的分割精度，并且對模型的運算實時性影響最小。

3.6 XR-MSF-Unet模型的消融實驗

提出的XR-MSF-Unet 模型將U-Net 的兩層卷積替換為XR 模塊，并在U-Net 編碼區加入注意力模塊MSF。本節的消融實驗，通過比較U-Net、XR+UNet、MSF+U-Net 和XR-MSF-Unet 對新冠肺炎肺 部CT圖像的分割效果，驗證提出的XR和MSF模塊的性能。消融實驗結果如表10所示，加粗表示最好結果。

表10 不同模塊對U-Net模型性能影響的消融實驗Table 10 Ablation experimental results of different modules on performance of U-Net

表10 實驗結果顯示，嵌入XR 模塊的U-Net 在Dice、IOU、F1-Score 和Sensitivity 四個指標上提升了原始U-Net 對新冠肺炎CT 圖像的分割性能；嵌入MSF 模塊的U-Net除了F1-Score，在Dice、IOU 和Sensitivity 三個指標上提升了原始U-Net 對新冠肺炎CT 圖像的分割性能；提出的同時嵌入XR、MSF 模塊的XR-MSF-Unet 模型對新冠肺炎肺部CT 圖像的分割效果最好。

3.7 XR-MSF-Unet模型與其他方法對比實驗

為了驗證提出的XR-MSF-Unet模型的性能，將其與U-Net、Attention U-Net、UNet++、FusionNet、SegNet、FCN、PraNet、BASNet、CaraNet和UNeXt十種方法進行實驗比較。所有實驗均在相同環境和相同劃分數據集進行，實驗結果如表11 所示，表中最后兩列是各模型參數量和每秒幀率的比較，加粗表示最好結果。

表11 實驗結果揭示，提出的XR-MSF-Unet 模型的Dice、IOU、F1-Score 和Sensitivity 各項指標均比對比模型好。XR-MSF-Unet 模型的各項指標比基準模型U-Net 分別高3.21、5.96、1.22 和4.83 個百分點。分割效果最差的是PraNet 模型，接著依次是SegNet、UNet++、FusionNet、FCN、Attention U-Net、CaraNet、UNeXt、BASNet。因此，提出的XR-MSF-Unet 模型能夠實現新冠肺炎肺部CT 圖像的有效分割。另外，表11 結果還顯示，提出的XR-MSF-Unet 模型的參數量和每秒幀率均沒有其他模型好。說明，該模型用時間換取了性能的大幅提高。對關注分割準確率的醫學圖像分割任務，本文的XR-MSF-Unet 模型具有實用價值。

表11 本文XR-MSF-Unet與其他方法的性能比較Table 11 Performance comparison of XR-MSF-Unet and other methods

為了清晰展示提出的XR-MSF-Unet 模型與其他方法的實驗效果，隨機選擇了測試集中的5 張圖像對分割結果進行可視化，如圖8 所示。其中，第1 列是來自測試集的5 張肺部CT 原始圖像，第2～12 列分別是Attention U-Net、FCN、FusionNet、SegNet、UNet++、U-Net、PraNet、BASNet、CaraNet、UNeXt和提出的XR-MSF-Unet 模型對這5 張CT 圖像的分割結果，第13 列是醫生標注的真實感染區域。

圖8 不同方法的分割效果可視化展示Fig.8 Visualization of segmentation results of different methods

圖8 各模型分割結果的可視化顯示，PraNet 的分割結果最差，模糊不清。本文XR-MSF-Unet 模型的分割效果最好，能有效分割出感染區域，分割結果最接近專家標注的結果。BASNet模型的分割結果僅次于本文提出的XR-MSF-Unet模型。FCN、FusionNet、Seg-Net、U-Net 和CaraNet、UNeXt 對感染區域的分割不全，一些感染區域被忽視，且SegNet 的分割結果邊界粗糙。U-Net、Attention U-Net、FusionNet、CaraNet 和UNet++的分割結果容易受肺部血管和結節等器官影響。

3.8 XR-MSF-Unet模型的泛化性測試

本節通過比較提出的XR-MSF-Unet 模型在COVID-19-1、COVID-19-2、COVID-19-3 和COVID-19-4 數據集的分割性能，測試其泛化性。各數據集均按1∶1 劃分為訓練集和測試集，在訓練集訓練模型，測試集進行測試。由于COVID-19-2、COVID-19-3、COVID-19-4 數據集較大，沒有進行數據擴增，使用原始數據訓練網絡。實驗結果見表12 所示。

表12 XR-MSF-Unet模型的泛化性能測試Table 12 Generalization test of XR-MSF-Unet model

表12 中的實驗結果顯示，XR-MSF-Unet 模型在COVID-19-2、COVID-19-3 和COVID-19-4 數據集均取得比在COVID-19-1 數據集更優的結果。其中，在COVID-19-3數據集的性能最好，然后依次是在COVID-19-2、COVID-19-4、COVID-19-1 的性能。由此可見，XR-MSF-Unet 模型具有很好的泛化性能。另外，表12 實驗結果還顯示，數據集規模越大，XR-MSF-Unet模型的性能越好，說明數據集規模越大模型學習獲得的分割特征越好。

4 結束語

提出了自動分割新冠肺炎肺部CT 圖像的新模型XR-MSF-Unet，該模型提出了XR 模塊來增強模型的特征提取能力，提出了融合多尺度特征的即插即用注意力模塊MSF 來提取新冠肺炎肺部CT 圖像的細節特征。

新冠肺炎CT 圖像公開數據集的大量實驗測試驗證了提出的XR 模塊和MSF 模塊的性能，并驗證了提出的XR-MSF-Unet 模型是實現新冠肺炎肺部CT圖像感染區域端到端自動分割的良好模型。

盡管如此，XR-MSF-Unet 模型的分割性能還有很大提升空間。另外，模型nnU-Net在醫學圖像分割領域展示了很好的性能，未來可以結合nnU-Net 模型的設計思路對XR-MSF-Unet 模型進行改進；除此之外，還需要進一步在模型優化、損失函數構造以及數據擴增方法等方面進行探索，提升模型對新冠肺炎CT 圖像分割的準確性以及實時性；并嘗試將提出的模塊與nnU-Net 模型結合，實現更好的新冠肺炎CT 圖像端到端分割，輔助醫生進行快速準確的診斷。