用于肺部病灶圖像分割的多尺度稠密融合網絡

盧小燕，徐楊，2*，袁文昊

用于肺部病灶圖像分割的多尺度稠密融合網絡

盧小燕1，徐楊1，2*，袁文昊1

（1.貴州大學 大數據與信息工程學院，貴陽 550025； 2.貴陽鋁鎂設計研究院有限公司，貴陽 550009）（ ? 通信作者電子郵箱xuy@gzu.edu.cn）

針對主流的深度學習網絡難以完整分割肺部病灶、區域邊界預測模糊的問題，提出一種基于U-Net的多尺度稠密融合網絡（MDF-Net）。首先，引入多分支密集跳層連接以捕獲多級上下文信息，并在網絡末端引入信息加權融合（IWF）模塊進行逐級融合，以解決網絡中的特征損失問題；其次，設計一種自注意力金字塔模塊，使用各金字塔層對特征圖進行不同規模的切分處理，并使用自注意力機制計算像素關聯度，從而增強局部與全局區域的感染特征顯著性；最后，設計一種區別于傳統U-Net的上采樣模式的上采樣殘差（UR）模塊，多分支的殘差結構與通道特征激勵使網絡能夠還原更加豐富的微小病灶特征。在兩個公開數據集上的實驗結果顯示，與UNeXt相比，所提網絡的準確度（ACC）分別提升了1.5%和1.4%，平均交并比（MIoU）分別提升了3.9%和1.9%，實驗結果驗證了MDF-Net具有更好的肺部病灶分割性能。

肺部疾?。幻芗鴮舆B接；自注意力金字塔；上采樣殘差；信息加權融合

0 引言

肺是人體的重要呼吸器官，肺部感染會造成肺部產生炎癥性的改變、滲出性的改變和間質性的改變，嚴重時會導致人體出現呼吸困難甚至是呼吸衰竭的表現。直接對患者判斷分析較難確認感染程度，而通過計算機斷層掃描（Computed Tomography， CT）圖像進一步篩查可以顯示部分顯著特征，包括磨玻璃影（Ground-Glass Opacity， GGO）、肺纖維化、胸腔積液和肺實變，對肺部病灶區域的早期診斷具有重要的研究價值和現實意義。

針對肺部CT病灶區域的分割方法主要有兩類：傳統手工分割算法［1］和深度學習圖像分割算法。傳統的手工分割算法［1］主要依賴標注醫生的先驗知識，泛化能力差，不易遷移到新的任務場景。隨著深度學習在計算機視覺中的快速發展，許多優秀的卷積神經網絡（Convolutional Neural Network， CNN）模型被快速應用于醫學圖像分割任務，為醫學影像研究提供了新的方向［2-3］。Ronneberger等［4］首次提出一種具有對稱特點的U-Net，并引入跳躍連接提取細節特征信息。基于U-Net，Zhan等［5］提出一種新型的擴張雙注意力U-Net（Dilated Dual Attention U-Net， D2A U-Net），利用由門注意模塊（Gate Attention Module， GAM）和解碼器注意模塊（Decoder Attention Module， DAM）組成的雙注意策略細化特征圖，此外引入混合擴張卷積優化解碼過程，從而提高模型識別肺部病變區域的能力；但是該模型以ResNeXt-50為主干，參數量較大，導致模型推理速度較慢。為了提高患者的治愈率，Wang等［6］提出一種用于快速診斷肺部疾病的智能輔助診斷系統。該系統首先利用分割網絡定位病變區域，再利用分類網絡確定目標區域是否具有感染特征；但是該系統缺乏泛化能力，當圖像有多種病變時，無法較好地辨別目標區域。Fan等［7］提出肺部病灶分割模型Inf-Net（lung Infection segmentation deep Network），通過邊緣注意模塊和反向注意模塊關注感染區域的邊界信息和小目標區域，分割肺部CT圖像；雖然該模型的特異度得到大幅提升，但是對紋理復雜區域的分割結果不理想。為了提高網絡模型的學習能力，Kumar等［8］提出基于RFA（Receptive-Field-Aware）模塊的全自動化和高效的肺部病灶分割（LungINFseg）模型，其中RFA模塊可以擴大分割模型的感受野，學習上下文信息。

盡管基于CNN的肺部CT圖像病灶分割算法取得了極大的進展，但是仍然存在不少問題：首先，肺部CT圖像組織復雜、邊界模糊，網絡較難提取有效特征；其次，標注醫生個人判斷的不確定性和不同醫生客觀認知差異導致圖像標注誤差大；最后，CT圖像病變高度異質化，圖像特征表達不完整，難以建立上下文信息交流關系。

針對肺部CT圖像分割面臨的問題，為了學習不同尺度的病灶特征，捕獲豐富的上下文信息，本文提出一種基于深度學習的多尺度稠密融合網絡（Multiscale Dense Fusion Network， MDF-Net）。首先，基于U-Net［4］提出一種新的多分支密集跳層連接方式，并引入一種自注意力金字塔模塊（Self-attention pyramid module），以提高局部與全局區域的病灶特征顯著性；其次，通過上采樣殘差（Up-sampling Residual， UR）模塊與逐級特征融合方式增強像素分類能力，提升網絡的分割性能。

本文的主要工作如下：

1）基于U-Net的跳層連接，提出多分支密集跳層連接方式。多節點的形式使解碼部分不再局限于對應編碼的單分支特征，有效增強了多尺度的特征信息傳遞。

2）在網絡的編碼部分，引入自注意力金字塔模塊。金字塔逐層遞進的結構和各層對特征圖不同規模的切分處理，使網絡在整體下采樣過程中能夠學習更精確的整體感染特征和更多的局部細節特征。

3）在網絡的解碼部分，設計上采樣殘差（UR）模塊。多分支殘差結構和通道特征激勵可以有效減少低層特征的計算損失，利于解碼支路逐層恢復圖像分割信息。

4）設計一種信息加權融合（Information Weighted Fusion， IWF）模塊。該模塊的自適應調節能力能夠合理實現特征加權融合，有效保留CT切片中的病變區域，抑制像素誤分類。

1 MDF?Net

1.1　網絡架構

MDF-Net的整體結構如圖1所示。它采用端到端的網絡架構，包含4個編碼?解碼部分（即圖1中的Stage 1～Stage 4）和信息加權融合塊。編碼部分依次提取語義信息并確定相對粗略的位置，解碼部分則根據提取的語義信息逐階段恢復感染區域。Stage 1～Stage 4的解碼分支對特征采取上采樣殘差操作，幫助網絡還原豐富的多尺度信息。此外，在每一個編碼分支都會使用一個密集連接處理輸入的特征張量，加強各層特征信息移動，有效結合高級語義特征和低級輪廓細節特征，這有助于更好地分割病變區域。各解碼分支的輸出特征逐級疊加送入信息加權融合塊，有效突顯CT切片中的感染區域并抑制像素誤分類，最終實現肺部CT病灶分割。

1.2　多分支密集跳層連接

U-Net通過跳層連接提取多尺度語義信息，但只是編碼和對應解碼的一一連接，導致位置和邊界信息等細節仍然丟失。為了解決這個問題，本文提出了多分支密集跳層連接，如圖2所示。在不擴展網絡深度前提下引入更多節點，使得解碼部分不局限于只有對應編碼的單分支特征，從而增強多尺度的特征信息傳遞。具體地，MDF-Net中的每個階段的解碼支路都結合了來自對稱編碼部分和對應上層編碼部分的特征圖，挖掘隱藏在淺層網絡中的低維特征信息，并在獲取多尺度特征時增強深層網絡中的語義信息。

圖2　多分支密集跳層連接

1.3　自注意力金字塔模塊

注意力機制可以有效增強圖像特征的顯著性，解決肺部CT圖像的病灶分割邊界模糊、特征提取困難的問題。根據肺部CT圖像的像素特征與病灶區域的分布特性，本文提出了一種自注意力金字塔模塊，引導網絡從淺層到深層約束局部與全局的特征區域。

自注意力金字塔模塊分為3層結構，由于肺部CT切片具有較好的左右肺部對稱效果，首先，將輸入各金字塔層的特征圖切分（Split）為不同規模大小的特征子圖，再輸入多頭自注意力機制計算局部與全局區域的像素關聯度。其次，經過多頭自注意力機制后像素特征已粗略顯著化，再將特征子圖輸入壓縮?激勵（Squeeze-Excitation， SE）模塊［9］實現通道特征加權，增強特征顯著化效果。最后，將特征子圖逐一拼接恢復到原始尺寸。自注意力金字塔模塊的整體結構如圖3所示。由于金字塔逐層遞進的結構與各層對特征圖不同規模大小的切分處理，使得網絡在整體下采樣過程中能夠學習更精確的整體病變特征和更多的局部病變細節特征。

圖3　自注意力金字塔模塊

由此，自注意力機制的數學計算表達式為：

再次，使用全連接（Fully Connected， FC）層、線性整流函數（Rectified Linear Unit， ReLU）、FC和Sigmoid激活函數的組合方式作為激勵函數，如式（6）所示：

最后，通過通道權重相乘，得到最終結果輸出：

其中：表示權重加權操作；為第個通道的輸出值。

1.4　上采樣模塊

在上采樣時，有效融入低層采樣特征可以進一步提高像素分類準確性。因此，本文設計了一種應用于解碼分支的上采樣殘差（UR）模塊，如圖5所示。

圖5　上采樣殘差模塊

1.5　信息加權融合塊

圖6　信息加權融合模塊

1.6　損失函數

對于圖像分割，合適的損失函數可以加快訓練過程的收斂，提高分割網絡的性能。本文利用Dice系數（Dice coefficient）［11］損失函數和BCE（Binary Cross-Entropy）損失函數組成的聯合損失函數訓練MDF-Net。

Dice損失函數適用于圖像的微小目標分割，一定程度上解決正負樣本在數量上不平衡的問題，但是單獨使用Dice損失函數容易使訓練變得不穩定。Dice損失函數定義為：

BCE損失函數同樣廣泛應用于二值分割任務的性能評估，它的定義如式（17）所示：

為了更好地提升網絡訓練的穩定性，本文聯合Dice損失函數和BCE損失函數，提高網絡模型的魯棒性與泛化能力。聯合損失函數如式（18）所示：

2 實驗與結果分析

2.1　數據集和實驗設置

本文使用Lung dataset-1（http：//medicalsegmentation.com）和Lung dataset-2（https：//www.kaggle.com/andrewmvd/datasets）評估MDF-Net。其中，Lung dataset-1由肺部CT分割數據集和肺部病灶CT圖像數據集組成，總共有6 804張切片。肺部CT分割數據集由意大利醫學和介入放射學會收集的20名肺炎患者的100張軸向CT圖像組成；肺部病灶CT圖像數據集由Radiopaedia機構提供。本文選用肺部CT掃描數據集作為數據集2（Lung dataset-2），它包含肺炎患者的20次CT掃描和專家對肺部感染的人工分割圖，共11 191張切片。

實驗的硬件環境為：CPU為Intel I7 12700KF處理器，GPU為Nvidia RTX3080TI，內存16 GB。軟件環境為：基于Ubuntu20.04系統的PyTorch1.7深度學習框架，編程語言為Python3.8。在訓練過程中，選擇Adam作為網絡優化器，數據集的批大小設置為8，圖片尺寸設置為128×128，初始學習率為0.01，訓練迭代次數設置為120。

2.2　評價指標

為了評估MDF-Net分割肺部CT圖像的效果，本文選擇準確度（ACCuracy， ACC）、平均交并比（Mean Intersection over Union， MIoU）、Dice相似系數（Dice Similariy Coefficient， DSC）和F1分數（F1-Score）作為評判標準。

2.3　不同網絡對比

將MDF-Net與主流的圖像分割網絡進行比較，對比網絡包括SegNet［12］、R2U-Net（Recurrent Residual U-Net）［13］、Attention U-Net［14］、U2-Net［15］、CaraNet（Context axial reverse attention Network）［16］和UNeXt［17］。為保證實驗結果的公平性，本文在相同的實驗環境下分別測試這7個對比網絡，實驗對比結果如表1所示。

從表1可以看出，MDF-Net在兩個數據集上的4項指標均為最高，相較于其他對比網絡具有更好的分割效果。與SegNet相比，MDF-Net的ACC提高了13.4%、8.8%，MIoU提高了17.9%、20.2%，DSC提高了19.7%、20.7%，1提高了31.2%、31.7%；與性能表現次優的UNeXt相比，MDF-Net的ACC提高了1.5%、1.4%，MIoU提高了3.9%、1.9%，DSC提高了4.1%、1.4%，1提高了2.5%、2.0%。本文在U-Net基礎上，引入了多分支密集跳層連接，在下采樣過程中嵌入了自注意力金字塔模塊，并使用上采樣殘差模塊替換傳統的上采樣卷積操作，最后利用信息加權融合塊實現各編碼?解碼分支間的最優融合效果。根據實驗結果可知，本文提出的MDF-Net在肺部病灶分割精度上優勢明顯。

隨機選擇Lung dataset-1和Lung dataset-2測試集中的6張CT切片，不同網絡的可視化效果如圖7～8所示。可以看出：SegNet和R2U-Net相較于其他對比網絡，只能夠分割主體部分較明顯的感染區域；Attention U-Net和U2-Net在對病灶邊界分割上較精準；CaraNet和UNeXt對細節部分的處理結果更好；得益于自注意力金字塔模塊和信息加權融合模塊，MDF-Net能夠更清晰地分割病灶邊界和更完整的病灶區域，最接近人工分割。

圖7　不同網絡在Lung dataset-1上的可視化效果

圖8　不同網絡在Lung dataset-2上的可視化效果

表1　不同網絡在Lung dataset-1和Lung dataset-2上的性能對比 單位：%

為了進一步直觀地反映分割網絡的性能，圖9展示了不同網絡訓練時的損失曲線與準確度曲線。訓練過程中，MDF-Net相較于其他對比網絡的收斂更快，且收斂后精度最高。因此，MDF-Net更易于訓練，可以更好地學習肺部病灶分割。

圖9　不同網絡在兩個數據集上的損失曲線和準確度曲線

2.4　消融實驗

為了說明本文提出的各個模塊在整體網絡中的貢獻，本節以U-Net為基礎網絡進行消融實驗。Lung dataset-1和Lung dataset-2數據集的實驗結果如表2所示。

從表2可以看出，與基礎網絡相比，MDF-Net的ACC提升了11.9%、9.7%；MIoU提升了11.1%、10.8%；DSC提升了9.2%、10.2%；1提升了4.3%、3.3%。在基礎網絡中加入自注意力金字塔模塊或信息加權融合模塊后提升力度較顯著，說明提出的自注意力金字塔模塊具有較強的特征提取能力，且信息加權融合模塊能夠有效增強病灶特征表現力。整體網絡相較于基礎網絡的ACC與MIoU指標提升明顯，在分割精度上更有優勢。

表2　不同模塊在Lung dataset-1和Lung dataset-2上對網絡性能的影響 單位：%

注：M1表示自注意力金字塔模塊；M2表示多分支密集跳層連接。

2.5　主要模塊的測試對比

2.5.1改進上采樣前后對比

使用本文提出的UR模塊替換U-Net中傳統上采樣（upsampling）［4］的具體對比結果如表3所示。在ACC指標上，UR模塊相較于傳統上采樣提高了1.2%、0.8%，MIoU指標提高了1.5%、1.5%，DSC指標提高了2.5%、2.6%，1提高了1.2%、1.0%。由此可見，在分割病灶區域時，UR模塊提高了低層語義特征與高層語義特征的融合質量，融合了UR模塊的U-Net得到的分割結果更加接近真實標簽。綜上，所提出的UR模塊性能優于傳統的U-Net上采樣結構。

表3　不同上采樣方式在Lung dataset-1和Lung dataset-2上的性能對比 單位：%

為了進一步展示UR模塊對肺部病灶分割的有效性，本文對各組成部分展開詳細的對比實驗。基礎網絡設置為原始U-Net；將UR模塊中的全局平均池化、全連接計算和Sigmoid激活函數整體替換為“無操作殘差連接”形式，再保留5×5卷積和3×3卷積分支組成多分支殘差結構，記為M3；將UR模塊中的5×5卷積和3×3卷積分支去除，并保留全局平均池化、全連接計算和Sigmoid激活函數組成通道特征激勵，記為M4，實驗結果如表4所示。

綜合各個指標，U-Net和多分支殘差結構組合（U-Net+M3）的分割效果優于U-Net和通道特征激勵組合（U-Net+M4）。在提升較為突出的MIoU和DSC指標上，相較于U-Net+M3，U-Net+M4在Lung dataset-1上分別提升了0.4%和1.0%，在Lung dataset-2分別提升了0.6%和0.8%。從整體來看，U-Net+UR的分割效果優于U-Net+M3和U-Net+M4，說明多分支殘差結構與通道特征激勵的組合對網絡有更高的性能提升。

2.5.2自注意力金字塔模塊與其他注意力模塊對比

為了驗證所提出的自注意力金字塔模塊在肺部病灶分割中的有效性，以U-Net［4］為基礎網絡，將它與其他注意力模塊對比，對比結果如表5所示。其中，空間與通道激勵（Spatial and Channel Squeeze & Excitation， SCSE）模塊［18］基于SE模塊，分別沿通道和空間重新校準特征映射，獲取更多信息；高效通道注意力（Efficient Channel Attention， ECA）模塊［19］在避免降維情況下，適當地跨通道交互，從而學習有效的通道信息。

表5　不同注意力模塊在Lung dataset-1和Lung dataset-2上的性能對比 單位：%

從表5可以看出，在肺部病灶分割任務上，SCSE雖然在性能指標上有所提升，但幅度較?。欢褂肊CA的分割效果與U-Net的效果相當。在使用具有較復雜組織紋理的肺部CT圖像實驗時，ECA模塊難以達到理想效果。相較于上述兩種注意力模塊，本文所提出的自注意力金字塔模塊借助肺部圖像的對稱結構，將輸入特征圖以對稱形式切分，具有局部與全局的特征感知作用，再以金字塔形式逐級堆疊注意力特征。所提注意力模塊在U-Net基礎上提升幅度最大，表現最優，分割病灶區域最有效。

2.5.3信息加權融合塊與其他特征融合模塊對比

為了驗證信息加權融合（IWF）模塊對網絡性能的貢獻，以本文網絡為基礎網絡，將IWF模塊和特征融合模塊（Feature Fusion Module， FFM）［20］、改進的自適應特征融合（Modified Adaptive Feature Fusion， MAFF）模塊［21］對比，結果如表6所示。

表6中實驗結果顯示，在Baseline上加入IWF模塊，它的ACC、MIoU、DSC和1指標在兩組數據集上均取得了最優結果。FFM在基準模型中的貢獻能力最小，與FFM相比，IWF模塊在Lung dataset-1上各項指標分別提升了4.1%、4.4%、2.5%和0.7%；在Lung dataset-2上分別提升了2.8%、3.1%、1.7%和1.2%?？梢钥闯觯捎谛畔⒓訖嗳诤喜呗?，IWF模塊能夠自適應地修正特征區域并抑制背景像素的顯著性，提高網絡的分割能力。

表6　IWF模塊與其他特征融合模塊在Lung dataset-1和Lung dataset-2上的性能對比 單位：%

2.5.4不同密集跳層連接方式對比

由于本文網絡與UNet++［22］具有相似的跳層連接方式，因此本節將MDF-Net與UNet++對比，結果如表7所示。

從表7可知，相較于UNet++，MDF-Net在各項指標上均有所提升，在Lung dataset-1上各項指標分別提升了3.3%、3.7%、4.7%和6.0%；在Lung dataset-2上分別提升了4.5%、2.8%、3.9%和5.3%，其中1指標提升最為明顯。不同采樣階段提取到的病灶特征區域不同，UNet++直接將所有低層的編碼特征與高層的解碼特征相互疊加，缺少特征增強的過程，這無疑會造成特征損失。而本文網絡充分利用自注意力金字塔模塊，從不同感知范圍提取病灶特征，利用上采樣殘差模塊和信息加權融合模塊增強特征融合，實現了對病灶區域更精確的定位和分割。

表7　兩種網絡的密集連接方式在Lung dataset-1和Lung dataset-2上的性能對比 單位：%

3 結語

本文提出了一種針對肺部疾病的肺部病灶分割網絡（MDF-Net）。首先，引入了一種多分支密集跳層連接方式，使網絡中編碼節點的采樣特征能夠在多級結構中重復利用；其次，在編碼部分引入自注意力金字塔模塊，最大化提取感染區域特征；同時在各解碼分支設計了上采樣殘差模塊，進一步細化特征信息，更好地恢復被感染的顯著區域；最后，在所有解碼分支之后使用信息加權融合模塊，加權融合多尺度特征，有效突顯CT切片中的病變區域并抑制像素誤分類。實驗結果表明，MDF-Net優于其他對比醫學圖像分割網絡，能夠得到更精確的分割結果。但本文網絡也存在不足之處，如對于紋理復雜的CT圖像仍存在分割不夠理想、病灶邊緣像素分類不夠準確的問題。在未來工作中，我們將繼續優化現有的方法，并嘗試將二維切片圖像和三維CT圖像結合，從多模數據的角度探尋更優的分割模型。

[1] 陳樹越，晁亞，鄒凌. 基于幾何特征的孤立性肺結節檢測［J］. 生物醫學工程學雜志， 2016， 33（4）：680-685.（CHEN S Y， CHAO Y， ZOU L. Detection of solitary pulmonary nodules based on geometric features［J］. Journal of Biomedical Engineering， 2016， 33（4）： 680-685.）

[2] LITJENS G， KOOI T， EHTESHAMI BEJNORDI B， et al. A survey on deep learning in medical image analysis［J］. Medical Image Analysis， 2017， 42： 60-88.

[3] MUNUSAMY H， KARTHIKEYAN J M， SHRIRAM G， et al. FractalCovNet architecture for COVID-19 Chest X-ray image Classification and CT-scan image Segmentation［J］. Biocybernetics and Biomedical Engineering， 2021， 41（3）： 1025-1038.

[4] RONNEBERGER O， FISCHER P， BROX T. U-net： convolutional networks for biomedical image segmentation［C］// Proceedings of the 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Cham： Springer， 2015： 234-241.

[5] ZHAN X， ZHANG P， SONG F， et al. D2A U-Net： automatic segmentation of COVID-19 CT slices based on dual attention and hybrid dilated convolution［J］. Computers in Biology and Medicine， 2021， 135： No.104526.

[6] WANG B， JIN S， YAN Q， et al. AI-assisted CT imaging analysis for COVID-19 screening： building and deploying a medical AI system［J］. Applied Soft Computing， 2021， 98： No.106897.

[7] FAN D P， ZHOU T， JI G P， et al. Inf-Net： automatic COVID-19 lung infection segmentation from CT images［J］. IEEE Transactions on Medical Imaging， 2020， 39（8）： 2626-2637.

[8] KUMAR SINGH V， ABDEL-NASSER M， PANDEY N， et al. LungINFseg： segmenting COVID-19 infected regions in lung CT images based on a receptive-field-aware deep learning framework［J］. Diagnostics， 2021， 11（2）： No.158.

[9] HU J， SHEN L， SUN G. Squeeze-and-excitation networks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7132-7141.

[10] FU J， LIU J， TIAN H， et al. Dual attention network for scene segmentation［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 3141-3149.

[11] MILLETARI F， NAVAB N， AHMADI S A. V-Net： fully convolutional neural networks for volumetric medical image segmentation［C］// Proceedings of the 4th International Conference on 3D Vision. Piscataway： IEEE， 2016： 565-571.

[12] BADRINARAYANAN V， KENDALL A， CIPOLLA R. SegNet： a deep convolutional encoder-decoder architecture for image segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（12）： 2481-2495.

[13] ALOM M Z， YAKOPCIC C， HASAN M， et al. Recurrent residual U-Net for medical image segmentation［J］. Journal of Medical Imaging， 2019， 6（1）： No.014006.

[14] OKTAY O， SCHLEMPER J， LE FOLGOC L， et al. Attention U-Net： learning where to look for the pancreas［EB/OL］. （2018-03-20） ［2022-08-15］.https：//arxiv.org/pdf/1804.03999.pdf.

[15] QIN X， ZHANG Z， HUANG C， et al. U2-Net： going deeper with nested U-structure for salient object detection［J］. Pattern Recognition， 2020， 106： No.107404.

[16] LOU A， GUAN S， KO H， et al. CaraNet： context axial reverse attention network for segmentation of small medical objects［C］// Proceedings of the SPIE 12032， Medical Imaging 2022： Image Processing. Bellingham， WA： SPIE， 2022： No.120320D.

[17] VALANARASU J M J， PATEL V M. UNeXt： MLP-based rapid medical image segmentation network［C］// Proceedings of the 2022 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 13435. Cham： Springer， 2022： 23-33.

[18] ROY A G， NAVAB N， WACINGER C. Concurrent spatial and channel ‘squeeze & excitation’ in fully convolutional networks［C］// Proceedings of the 2018 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 11070. Cham： Springer， 2018： 421-429.

[19] WANG Q， WU B， ZHU P， et al. ECA-Net： efficient channel attention for deep convolutional neural networks［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020：11531-11539.

[20] 傅雙杰，陳瑋，尹鐘. 結合自注意力和特征自適應融合的語義分割算法［J］. 信息與控制， 2022， 51（6）：680-687， 698.（FU S J， CHEN W， YIN Z. Semantic segmentation algorithm combining self-attention and feature adaptive fusion［J］. Information and Control， 2022， 51（6）：680-687， 698.）

[21] 梁禮明，詹濤，雷坤，等. 多級自適應尺度的U型視網膜血管分割算法［J］. 電子測量技術， 2022， 45（13）：130-140.（LIANG L M， ZHAN T， LEI K， et al. Multi-level adaptive scale U-shaped retinal blood vessel segmentation algorithm［J］. Electronic Measurement Technology， 2022， 45（13）：130-140.）

[22] ZHOU Z， RAHMAN SIDDIQUEE M M， TAJBAKHSH N， et al. UNet++： a nested U-Net architecture for medical image segmentation［C］// Proceedings of the 2018 International Workshop on Deep Learning in Medical Image Analysis/ International Workshop on Multimodal Learning for Clinical Decision Support， LNCS 11045. Cham： Springer， 2018： 3-11.

Multiscale dense fusion network for lung lesion image segmentation

LU Xiaoyan1， XU Yang1，2*， YUAN Wenhao1

（1，，550025，；2，550009，）

Aiming at the problems of incomplete segmentation of lung lesions and fuzzy prediction of regional boundaries in mainstream deep learning networks， a Multiscale Dense Fusion Network （MDF-Net） based on U-Net was proposed. Firstly， multi-branch dense skip connections were introduced to capture multi-level contextual information， and Information Weighted Fusion （IWF） module was introduced at the end of the network for level-by-level fusion to solve the feature loss problem in the network. Secondly， a self-attention pyramid module was designed. Each pyramid layer was used to segment the feature map in different scales， and the self-attention mechanism was applied to calculate the pixel correlation， thereby enhancing the saliency of the infection features in local and global regions. Finally， unlike the up-sampling form in traditional U-Net， a Up-sampling Residual （UR） module was designed. The multi-branch residual structure and channel feature excitation were used to help the network restore more abundant features of micro lesions. Experimental results on two public datasets show that compared with UNeXt， the proposed network improves the ACCuracy （ACC） by 1.5% and 1.4% respectively， and the Mean Intersection over Union （MIoU） by 3.9% and 1.9% respectively， which verify that MDF-Net has better lung lesion segmentation performance.

lung disease; dense skip connection; self-attention pyramid; Up-sampling Residual (UR); Information Weighed Fusion (IWF)

This work is partially supported by Guizhou Science and Technology Program （Guizhou Science and Technology Cooperation Support ［2021］ General 176）.

LU Xiaoyan， born in 1997， M. S. candidate. Her research interests include deep learning， image processing.

XU Yang， born in 1980， Ph. D.， associate professor. His research interests include machine learning， data mining.

YUAN Wenhao， born in 1998， M. S. candidate. His research interests include deep learning， image processing.

1001-9081（2023）10-3282-08

10.11772/j.issn.1001-9081.2022101545

2022?10?14；

2023?02?06；

貴州省科技計劃項目（黔科合支撐［2021］一般176）。

盧小燕（1997—），女，河南南陽人，碩士研究生，主要研究方向：深度學習、圖像處理； 徐楊（1980—），男，貴州貴陽人，副教授，博士，CCF會員，主要研究方向：機器學習、數據挖掘； 袁文昊（1998—），男，四川成都人，碩士研究生，主要研究方向：深度學習、圖像處理。

TP183；TP391

A

2023?02?08。