基于Transformer和CNN交錯混合的肺結(jié)節(jié)分割網(wǎng)絡(luò)

摘 要：針對肺結(jié)節(jié)尺寸多樣、 形狀異質(zhì)化高等問題，提出基于Transformer 和卷積神經(jīng)網(wǎng)絡(luò)（CNN）交錯混合（IMTC）的肺結(jié)節(jié)分割網(wǎng)絡(luò)，該網(wǎng)絡(luò)是一個對稱的層次連接網(wǎng)絡(luò)，具有很強的多尺度特征提取能力。該網(wǎng)絡(luò)通過集成2 種方案分別解決肺結(jié)節(jié)多尺寸與形狀異質(zhì)化問題：淤采用感知注意力模塊（inception attention module，IAM），通過并聯(lián)多個不同大小的卷積核來增加淺層網(wǎng)絡(luò)的感受”組合，以此捕獲更為豐富的淺層特征；于為獲取更具表示能力的高級語義特征，利用由Transformer 和CNN 組成的基本骨干網(wǎng)絡(luò)交錯提取結(jié)節(jié)特征，使得全局特征與局部特征充分融合，從而提高結(jié)節(jié)特征表示的泛化能力和魯棒性。實驗結(jié)果表明： 本文模型可以準確分割直徑較小以及邊緣復雜的肺結(jié)節(jié)，在LUNA16 公開數(shù)據(jù)集上分割性能良好，Dice 和IOU 分別達到86.15%和76.10%。

關(guān)鍵詞： 肺結(jié)節(jié)；Transformer；卷積神經(jīng)網(wǎng)絡(luò)（CNN）；感知注意力模塊（IAM）；交錯混合

中圖分類號：TP391.4 文獻標志碼：A 文章編號：1671-024X（0024）01-0074-08

Interlace mixed net of lung nodule segmentation based on Transformer and CNN

WU Jun1，2，HOU Xianzhe1，2，WANG Jian3，XIAO Zhitao2，WANG Wen2，4

（1. School of Electronics and Information Engineering，Tiangong University，Tianjin 300387，China；2. Tianjin Key Labo-ratory of Optoelectronic Detection Technology and Systems，Tiangong University，Tianjin 300387，China；3. Department"of Electronic Teaching and Research，93756 Units，Tianjin 300131，China；4. School of Life Sciences，Tiangong Univer-sity，Tianjin 300387，China））

Abstract：Aiming at the problems of multi-size and high heterogeneity of lung nodules，an interlace mixed network basedTransformer and convolutional neural network interlace mixed（IMTC） is proposed. The network is a symmetricalhierarchical connection network with strong multi -scale feature extraction capabilities. It integrates two newschemes to solves the promblems of multi-size and shape heterogeneity. 淤 Inception attention module（IAM） isproposed to capture richer shallow features by paralleling multiple convolution kernels of different sizes toincrease the combination of receptive fields. 于 In order to extract deeper semantic features with more expressiveability，the basic backbone network composed of Transformer and CNN is used to extract nodule featuresalternately，so that the global features and local features are fully integrated，and then the generalization abilityand robustness of nodule feature representation are improved. The experimental results show that the model inthis paper can accurately segment nodules with small scale and complex margin，and has good segmentationperformance on the LUNA16 public dataset，and the Dice and IOU reach 86.15% and 76.10%，respectively.

Key words：lung nodules； Transformer； convolutional neural networks（CNN）； inception attention module（IAM）； interlacemixed

肺癌是最常見的肺部-發(fā)性惡性腫瘤，2022 年中國預計約有482 萬新發(fā)癌癥病例，其中最常見的癌癥就是肺癌。肺癌在早期主要表現(xiàn)為肺結(jié)節(jié)，它們具有尺寸多樣（3～30 mm）、對比度低、形狀異質(zhì)化高等特征，若在早期階段發(fā)現(xiàn)這些結(jié)節(jié)可極大增加人類存活機率[1]。X 射線計算機斷層掃描（CT）成像是檢測和診斷早期肺癌的重要手段，使用這種技術(shù)會產(chǎn)生大量的CT 影像數(shù)據(jù)，在龐大的CT 數(shù)據(jù)中檢測肺結(jié)節(jié)對于放射科醫(yī)生來說極其具有挑戰(zhàn)性，因此開發(fā)一個穩(wěn)健的自動肺結(jié)節(jié)分割模型對于避免繁瑣的手工治療和減少醫(yī)生之間的診斷差異具有重要的臨床意義[2]。

近些年，卷積神經(jīng)網(wǎng)絡(luò)（CNN）在醫(yī)學圖像分割等視覺任務(wù)中取得了長足的進步，并且隨著U-Net[3]網(wǎng)絡(luò)在醫(yī)學圖像分割任務(wù)中的良好表現(xiàn)，一些基于編碼-解碼結(jié)構(gòu)的變體網(wǎng)絡(luò)也隨之應(yīng)用于肺結(jié)節(jié)分割。Tang等[4]提出了一種新的端到端的多任務(wù)三維深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN），該網(wǎng)絡(luò)提出以多任務(wù)的方式聯(lián)合解決結(jié)節(jié)檢測、假陽性減少和結(jié)節(jié)分割問題。Singadkar等[5]提出了一種基于深度反卷積殘差網(wǎng)絡(luò)的CT 圖像分割肺結(jié)節(jié)的方法，該方法以深度反卷積殘差網(wǎng)絡(luò)進行端到端訓練，并在網(wǎng)絡(luò)卷積部分到反卷積部分添加長跳躍連接從而保存了因池化操作過程丟失的空間信息，捕獲全分辨率特征。但是上述方法均存在兩方面問題：淤結(jié)節(jié)具有復雜的形狀和高度異質(zhì)性紋理特征，僅使用基于局部偏置方法提取結(jié)節(jié)高級語義特征無法映射為高質(zhì)量的分割特征圖，以至于對具有非規(guī)則形狀特征的肺結(jié)節(jié)造成欠分割；于雖然基于CNN 方法具有很好的表示能力，但由于卷積局部歸納偏置的局限性使得網(wǎng)絡(luò)很難建立一種顯式的長距離±賴關(guān)系。卷積運算的局限性給學習全局語義信息增加了挑戰(zhàn)，而全局語義信息對于肺結(jié)節(jié)分割任務(wù)至關(guān)重要。

基于CNN 在提取特征時的局部特性和權(quán)重分配的歸納偏差能力，許多視覺任務(wù)致力于擴大CNN 的接受感受”來提高網(wǎng)絡(luò)上下文建模的能力[6-7]，然而卷積操作的局部性仍然將感受”限制在一個較小的區(qū)域。受Transformer[8]在NLP 成功的啟發(fā)，多項計算機視覺研究嘗試將Transformer 直接應(yīng)用于視覺任務(wù)，利用Transformer 中自注意力機制先天性遠程捕獲的能力建模全局±賴關(guān)系。例如Swin Transformer[9]通過引入卷積特征金字塔構(gòu)建方式構(gòu)建層次化Transformer，并提出錯位窗口移動方案，使得計算復雜度大大降低。

基于Swin Transformer 在視覺任務(wù)的成功應(yīng)用，本文提出一種將Swin Transformer 與CNN 相交錯混合的肺結(jié)節(jié)分割網(wǎng)絡(luò)（IMTC，interlace mixed net based onTransformer and CNN），主要工作有以下幾個方面：

（1）為避免由于網(wǎng)絡(luò)過深而導致小直徑結(jié)節(jié)特征和邊緣信息消失的問題，設(shè)計一種多個不同卷積核并聯(lián)組合的感知注意力模塊（inception attention module，IAM），通過增加淺層網(wǎng)絡(luò)寬度來增加網(wǎng)絡(luò)的感受”組合，以此捕獲更為豐富的淺層特征。

（2）針對結(jié)節(jié)大尺寸與高度形狀異質(zhì)化等問題，設(shè)計了一種由Transformer 和CNN 組成的基本骨干網(wǎng)絡(luò)交錯提取結(jié)節(jié)特征以捕獲更為豐富的深層信息。這么做的目的有2 個：淤在Transformer 后面加上卷積層，可以將卷積操作的歸納偏置特性引入到Transformer提取的全局特征中，有℃于特征聚合；于通過組成Tra-nsformer 與CNN 相結(jié)合的交錯網(wǎng)絡(luò)，可以使得全局特征與局部特征充分融合。

（3）將編碼器生成的不同尺度的高分辨率特征通過跳躍連接與解碼器中相對應(yīng)位置特征進行融合，以生成更為精細的重建特征。

1 研究方法

本文提出的IMTC 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

IMTC 是基于U-Net 類型的雙對稱編碼-解碼結(jié)構(gòu)，主要由編碼器、Bottleneck 和解碼器3 個部分組成。編碼器由1 個卷積模塊和2 個IAM 模塊組成。為降低網(wǎng)絡(luò)計算成本，首先經(jīng)過卷積層將輸入信息降采樣，然后利用2 個連續(xù)的IAM 模塊分別在不同感受”條件下充分提取結(jié)節(jié)淺層信息。此外，為了給解碼器提供足夠大的感受域，基于Transformer Layer、下采樣層和上采樣層共同組成Bottleneck。解碼器與編碼器結(jié)構(gòu)相似，由2 個UnetRes Block 和擴展層組成，通過2 個連續(xù)的UnetRes Block 將提取的深層語義特征重建為更具識別能力的高分辨圖像，并通過擴展層將重建的高分辨圖像恢復至-分辨率進行像素級語義預測。此外，為了生成更為精細的重建特征，將分別包含有結(jié)節(jié)邊緣信息的淺層特征以及下采樣過程中生成的低分辨率高級語義特征通過跳躍連接方式傳遞至上采樣相同分辨率的位置，以進一步提高預測結(jié)果。下面將對模型各個結(jié)構(gòu)進行更為詳盡的敘述。

1.1 編碼器

由于小結(jié)節(jié)的存在會在很大程度上限制網(wǎng)絡(luò)的降采樣能力，換句話說，小直徑結(jié)節(jié)特征很容易在深層網(wǎng)絡(luò)的一次次下采樣和上采樣過程丟失掉，這個時候可能需要感受”小的特征來幫助。因此若網(wǎng)絡(luò)可以擁有不同大小的感受”，分割效果會更好。受GoogLeNet[10]啟發(fā)，針對結(jié)節(jié)多尺度問題，本文提出感知注意力模塊（IAM）。IAM 網(wǎng)絡(luò)結(jié)構(gòu)圖分別由Inception Block 和Attention Module 組成，并以多殘差方式連接，如圖2所示。

對于Inception Block，為增加網(wǎng)絡(luò)的感受”組合，分別結(jié)合kernel 為1×1×1、3×3×3 和5×5×5 的卷積層提取結(jié)節(jié)特征并進行Concat，從而有效提高對-始像素信息與網(wǎng)絡(luò)內(nèi)部資源的利用率。此外，為降低Inception Block 計算成本，在3×3×3 和5×5×5 的卷積層前分別加1×1×1 卷積對特征進行降維，然后再進行卷積運算，并且使用2 個3×3×3 卷積將5×5×5 卷積進行替代，使得在減少參數(shù)量的同時實現(xiàn)相同大小的感受”。為增加網(wǎng)絡(luò)非線性表達能力，該模塊在每次卷積層后，均添加有Layer Normalization[11]和GELU[12]激活函數(shù)。

為了使融合特征具有更強勁的表征能力，本文設(shè)計了注意力模塊（Attention Module），該模塊是基于通道和空間注意力模塊分別增強融合特征，其網(wǎng)絡(luò)結(jié)構(gòu)圖如圖3 所示。

對于通道注意力模塊，由于編碼特征在前期訓練階段容易包含不相干區(qū)域，故基于規(guī)一化注意力模塊NAM[13]（normalization-based attention module）中對歸一化權(quán)重因素的重要性考慮，通過對權(quán)重做稀釋懲罰進一步抑制不顯著的通道或特征，進而增強重要特征信息。對于空間注意力模塊，借助CBAM [14]（Convoluti-onal Block Attention Module）中空間濾波器池化與卷積等操作再次學習融合特征中的局部細節(jié)，以增強有用信息的傳遞。

最后將增強特征與初始融合特征進行Concat 連接，作為最終的信息并傳遞至下一過程。通道注意力和空間注意力模塊計算方式如式（1）所示，AttentionModule 計算過程如式（2）所示：

式中：l 為當前融合模塊的索引值；Wγ 表示特征和的加權(quán)值；f7×7×7表示卷積核大小為7 × 7 × 7 的卷積操作；σ表示sigmoid 函數(shù)；LN 表示層歸一化操作；Fl為融合模塊最終輸出結(jié)果。

1.2 Bottleneck

若網(wǎng)絡(luò)僅由連續(xù)的IAM 模塊組成，這樣做雖可以很好地分割小直徑結(jié)節(jié)，但是對于大直徑和形狀多變的肺結(jié)節(jié)會導致欠分割效果，因為這樣的肺結(jié)節(jié)在對邊緣進行分割的時候需要更深的網(wǎng)絡(luò)結(jié)構(gòu)。故基于對大尺度肺結(jié)節(jié)與形狀高度異質(zhì)化等問題的考慮，該方法利用由Transformer 和CNN 組成的基本骨干網(wǎng)絡(luò)交錯提取結(jié)節(jié)特征，從而為解碼器提供足夠大的感受域。在該方法中，Transformer Layer 利用其全局自注意機制增強特征全局上下文表征能力和建模遠程±賴能力，卷積層±賴于卷積固有的歸納偏置特性可以將表征全局信息的特征進行局部增強，兩者通過交錯連接共同獲取在多個尺度下特征的長期±賴關(guān)系與局部空間信息，有助于提高特征表示的泛化能力和魯棒性。

由于使用傳統(tǒng)的多頭自注意力（multi head selfa-ttention，MHSA）方法具有極高的計算復雜度，參考Swin Transformer 中提出的移位窗口機制計算窗口間自注意力方法，并將其應(yīng)用在3D 體積運算中。該方法利用非重疊窗口劃分方法將3D 體積數(shù)據(jù)劃分為一個個局部體積塊，并將自注意力限制在局部體積塊內(nèi)，降低計算復雜度為輸入體積大小的線性關(guān)系。然后利用移位窗口方案增加體積塊之間信息交互，從而建模全局上下文和捕獲體素之間遠程±賴關(guān)系。

Transformer Layer 網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。

式中：l 表示當前Transformer layer 索引值；LN 表示層歸一化操作；T" l與T l分別表示（S）W-MSA 模塊與多層感知機（MLP）輸出結(jié)果。

在Transformer Layer 后引入卷積層可以利用卷積操作固有的歸納偏置特性對獲取的全局特征進行局部約束，從而提高特征表示的泛化能力和魯棒性。IMTC 中模塊細節(jié)如圖5 所示。Down-sampling 僅由1個kernel 為3×3×3和stride 為 2×2×2 的卷積層組成，且在卷積操作后添加Layer Normalization 和GELU激活函數(shù)。為了驗證不同的結(jié)果，該方法嘗試使用不同下采樣方式對全局特征進行約束，實際上，由于數(shù)據(jù)切片數(shù)量有限，過度下采樣使得最終分割效果并不理想，所以綜合考慮只在Down-sampling 使用1 個kernel 為 3×3×3的卷積進行特征下采樣。

1.3 解碼器

為了生成與輸入醫(yī)學圖像相同分辨率的分割結(jié)果，解碼器基于2 個UnetRes Block 和擴展層組成，用于對低分辨高級語義特征解碼并生成最后的像素級分割結(jié)果。此外，為了彌合在下采樣過程丟失的空間信息以及捕獲更多語義信息，在編碼器-解碼器相同尺度內(nèi)添加跳躍連接以重建更為精細的特征信息。同時，通過向具有不同尺度的解碼器輸出添加輔助損失來使用深監(jiān)督策略，損失函數(shù)為Dice 損失。

圖5 中，UnetRes Block 由1 個kernel 為2 × 2 × 2 和stride 為2 × 2 × 2 的反卷積層和2 個連續(xù)的kernel 為3 × 3 × 3和stride 為1 × 1 × 1 的卷積層±次連接組成。該Block 首先對輸入特征進行2 倍上采樣，然后將采樣特征送入連續(xù)卷積層學習特征之間的相關(guān)性。此外，為避免在訓練過程中梯度消失，在連續(xù)卷積層之間使用殘差連接。

2 實驗結(jié)果分析

2.1 實驗數(shù)據(jù)

本次實驗使用LUNA16[15]公開數(shù)據(jù)集來評估IMTC的性能，LUNA16 來自于一個更大的公共數(shù)據(jù)集LIDC-LDRI[16]，該數(shù)據(jù)集包含從多個胸部部位收集的具有不同厚片切度的1 018 組CT 影像，且直徑等于或大于3 mm 的結(jié)節(jié)由多達4 位專家分別勾勒其輪廓。為保證數(shù)據(jù)集樣本規(guī)范化，LUNA16 去除切片厚度大于3 mm 和肺結(jié)節(jié)小于3 mm 的CT 影像，并將中心距離小于半徑之和的2 個相鄰結(jié)節(jié)合并，所以共得到2 290、1 602、1 186、777 個至少由1、2、3、4 個專家標注的結(jié)節(jié)，LUNA16 選取至少由3 位專家標注的1 186個結(jié)節(jié)作為最后要檢測的區(qū)域。在本次實驗中隨機抽取815 個肺結(jié)節(jié)作為訓練集，驗證集和測試集分別為128 和243 個肺結(jié)節(jié)，并將數(shù)據(jù)集裁剪成大小為（64，128，128）的格式后輸入網(wǎng)絡(luò)。

2.2 評價指標

本次實驗使用Dice 和IOU 評估指標來衡量模型分割精度。Dice 是醫(yī)學圖像分割比賽中使用頻率最高的衡量指標，是一種集合相似度度量指標，用于衡量2個樣本之間的相似度，主要對分割內(nèi)部填充比較敏感，該評價指標=高表示分割的效果=好。IOU 同樣是描述2 組點集之間相似程度的一種度量，但該指標重點集中于衡量兩組點集之間的重疊度，Dice 和IOU 計算公式分別如式（5）和式（6）所示：

2.3 實驗環(huán)境及超參數(shù)設(shè)置

硬件配置為GPU：2 個NVIDIA 2080Ti 顯卡； 深度學習框架為Pytorch1.6.0 + python3.6，網(wǎng)絡(luò)在訓練時采用Adam 優(yōu)化器訓練模型，權(quán)重衰減系數(shù)為Ie-4，初始學習率為0.000 1，batch size 為4，共訓練300 個epoch，并使用‘ploy’學習率衰減方法。為減輕有限數(shù)據(jù)的過擬合問題，還采用了中心點隨機裁剪、旋轉(zhuǎn)、隨機縮放、高斯白噪聲、高斯模糊、調(diào)整亮度和對比度數(shù)據(jù)增強策略，以增加數(shù)據(jù)集多樣化。

2.4 實驗結(jié)果與分析

2.4.1 實驗結(jié)果對比

將所提出方法與不同肺結(jié)節(jié)分割網(wǎng)絡(luò)模型進行了比較，并根據(jù)定量結(jié)果與定性結(jié)果進行了評估。在定量分析方面，為了得到更為全面的分析結(jié)果，使用Dice 和IOU 作為主要評估指標。對比的肺結(jié)節(jié)分割模型包括SegNet[17]、VNet[18]、3D ResU-Net[19]、Attention-U-Net[20]、3D U-Net[21]、3D U-Net++[22]和nnFormer。本文方法與不同分割網(wǎng)絡(luò)模型的分割評價指標如表1 所示。由表1 可見本文提出的分割模型取得了最好的分割性能。

圖6 展現(xiàn)了不同種類的肺結(jié)節(jié)在上述幾種網(wǎng)絡(luò)中的分割結(jié)果與本文提出的IMTC 方法的分割結(jié)果對比圖。圖6 中從上到下可±次將肺結(jié)節(jié)分為小直徑結(jié)節(jié)和大直徑結(jié)節(jié)，其中小直徑結(jié)節(jié)和大直徑結(jié)節(jié)中又包括規(guī)則形狀結(jié)節(jié)與非規(guī)則形狀結(jié)節(jié)。本文以圖6（a）為標準對各分割方法進行分析，通過分析可見，對于各種類型的肺結(jié)節(jié)，圖6（b）得到的分割結(jié)果始終與圖6（a）最為相似。圖6（c）得℃于Transformer 與CNN 相結(jié)合的結(jié)構(gòu)，取得相對較好的分割結(jié)果。圖6（c）通過在多個級別上添加密集的跳躍連接，改進了U 型結(jié)構(gòu)，取得不錯的分割結(jié)果。圖6（f）—圖6（i）則表現(xiàn)出較差的分割結(jié)果，雖然這幾種方法均可以初步定位肺結(jié)節(jié)的位置信息，但對于不規(guī)則形狀肺結(jié)節(jié)的分割結(jié)果均出現(xiàn)不同程度的誤分割與欠分割，這可能是由卷積操作的局部性造成的，表明這幾種網(wǎng)絡(luò)對特征分布復雜的肺結(jié)節(jié)目標在特征提取方面還有待加強。

圖7 展示了提出方法在不同肺結(jié)節(jié)類別上的分割結(jié)果，從上到下±次為孤立性結(jié)節(jié)、血管黏連性結(jié)節(jié)、胸腔黏連性結(jié)節(jié)和磨玻璃結(jié)節(jié)。由圖7 可見，針對于不同種類的肺結(jié)節(jié)，圖7（b）與圖7（c）雖然在邊緣位置有一些不同，但是在大致位置與結(jié)節(jié)形狀還是非常相似的。證明該模型可以成功分割黏連性結(jié)節(jié)與磨玻璃結(jié)節(jié)，且分割結(jié)果與Ground truth 極為相近。

綜合比較，本文提出網(wǎng)絡(luò)模型性能優(yōu)于上述幾種方法，說明IMTC 對于邊緣復雜且具有不同尺度的肺結(jié)節(jié)可以得到較好的分割效果。因為提出的網(wǎng)絡(luò)不僅是基于端到端訓練，而且利用IAM 模塊可以捕獲更為豐富的淺層特征，能很好地識別目標的輪廓等細節(jié)特征。此外，通過Transformer 與卷積操作交錯組合的下采樣結(jié)構(gòu)可以更好的學習結(jié)節(jié)特征在全局與局部之間的信息交互，從而產(chǎn)生更好的分割結(jié)果。

2.4.2 消融實驗

為了探討不同因素對模型性能的影響，本文分別對IAM 模塊組合、注意力模塊組合、下采樣方式和輸入尺寸進行了消融實驗。

本方法基于淺層特征對于肺結(jié)節(jié)分割重要性的考慮，將IAM 模塊分別放在第2 次和第3 次下采樣過程中。在實際分割中，肺結(jié)節(jié)的邊緣信息和小直徑結(jié)節(jié)信息很容易在深層網(wǎng)絡(luò)的一次次的下采樣過程中丟失其-有特征信息，因此若在淺層網(wǎng)絡(luò)提取結(jié)節(jié)特征時擁有不同大小的感受”，可以產(chǎn)生更好的分割效果。本文通過消融實驗來驗證IAM 模塊在網(wǎng)絡(luò)不同位置處的有效性和實用性，其上角標表示IAM 模塊添加到第n 次下采樣的位置，如表2 所示。由表2 可見，本文所提出方法獲得最好的分割精度。

表3 所示為IAM 模塊中空間注意力與通道注意力在不同組合方式下對分割性能的影響。表3 中BackBone 表示提出方法將IAM 完全剔除掉的網(wǎng)絡(luò)，可以看出，在BackBone 不變的情況下，在逐漸增加模塊的同時肺結(jié)節(jié)評估指標也在穩(wěn)步上升，而且全部模塊組合的網(wǎng)絡(luò)取得了最好的結(jié)果。

為了探索不同大小的卷積核對于全局特征的歸納偏置能力，本文針對Bottleneck 中的下采樣方式進行消融實驗，其中kernel = 2 × 2 × 2 和kernel = 3 × 3 ×3 分別表示下采樣方式采用的不同卷積核的大小，patch merging 表示Swin-Unet[23]所采用的全連接下采樣方式。表4 所示為使用卷積核為3 × 3 × 3 的下采樣方式可以獲得最好的分割精度。

本文基于肺結(jié)節(jié)數(shù)據(jù)集中肺結(jié)節(jié)尺寸大小與胸腔背景之間的比例考量，決定將輸入網(wǎng)絡(luò)的數(shù)據(jù)尺寸裁剪為。因為若裁剪尺寸過小，則不能很好的學習肺結(jié)節(jié)邊緣與胸腔背景之間的關(guān)系，可能會造成誤分割。而若裁剪尺寸過大，則會導致肺結(jié)節(jié)目標與胸腔背景比例嚴重失衡，從而造成欠分割。當網(wǎng)絡(luò)輸入為64 × 128 × 128 時取得最好的分割效果，如表5 所示。

本文通過大量實驗定量分析與定性分析了所提出模型的性能。對于邊緣復雜且尺度不一的肺結(jié)節(jié)，本文模型均可以準確地預測出結(jié)節(jié)位置，而且對于一些難分割結(jié)節(jié)比如黏連性結(jié)節(jié)和磨玻璃結(jié)節(jié)也表現(xiàn)出較好的性能，雖然預測結(jié)果可能稍有誤差，但總的來看分割結(jié)果和金標準數(shù)據(jù)比較接近。此外，通過對比幾種分割網(wǎng)絡(luò)對于大尺度邊緣復雜的肺結(jié)節(jié)和小直徑結(jié)節(jié)2 種情況的分割結(jié)果，均顯示本文提出方法得到分割效果最好，進一步驗證了本文方法能夠?qū)Ψ谓Y(jié)節(jié)進行精確分割，充分說明說明本文所提出方法適用于三維CT 圖像的肺結(jié)節(jié)分割任務(wù)。

3 結(jié) 論

本文基于對肺結(jié)節(jié)多尺度與多形狀等問題設(shè)計網(wǎng)絡(luò)模型，提出基于Transformer 與CNN 交錯混合的肺結(jié)節(jié)分割方法。為了解決肺結(jié)節(jié)在不同網(wǎng)絡(luò)深度下特征提取的有效性，分別設(shè)計IAM 模塊和基于Trans-former layer 與CNN 交錯提取特征的骨干網(wǎng)絡(luò)。針對于小直徑結(jié)節(jié)以及邊緣復雜的結(jié)節(jié)，可以利用IAM 模塊通過拓寬網(wǎng)絡(luò)寬度充分提取淺層細節(jié)特征。對于大直徑和多形狀變化的結(jié)節(jié)，該方法利用骨干網(wǎng)絡(luò)交錯提取結(jié)節(jié)特征，其中Transformer layer 主要使特征建立全局±賴關(guān)系，從而增強全局上下文建模能力； 而卷積層可以利用其固有的歸納偏置特性可以將表征全局信息的特征進行局部增強，兩者相互補充，相輔相成。此外，該方法還通過跳躍連接將來自編碼器的不同尺度的高分辨率特征與解碼器上采樣特征進行融合，以彌合由于下采樣過程導致的空間信息丟失。實驗表明，本文所提出的模型展現(xiàn)出良好的肺結(jié)節(jié)分割效果，Dice 和IOU 分別達到86.15%和76.10%。

參考文獻：

[1] DIEDERICH S，WORMANNS D，SEMIK M，et al. Screeningfor early lung cancer with low-dose spiral CT： Prevalence in817 asymptomatic smokers[J]. Radiology，2002，222（3）： 773-781.

[2] REEVES A P，CHAN A B，YANKELEVITZ D F，et al. Onmeasuring the change in size of pulmonary nodules[J]. IEEETransactions on Medical Imaging，2006，25（4）： 435-450.

[3] RONNEBERGER O，F(xiàn)ISCHER P，BROX T. U-net： Convo-lutional networks for biomedical image segmentation[C]//Inter-national Conference on Medical Image Computing and Com-puter-Assisted Intervention. Munich，Germany： Lecture Notesin Computer Science，2015： 234-241.

[4] TANG H，ZHANG C P，XIE X H. NoduleNet： Decoupled1 positive reduction for pulmonary nodule detection andsegmentation[C]//International Conference on Medical ImageComputing and Computer -Assisted Intervention. Shenzhen，China： Springer，2019： 266-274.

[5] SINGADKAR G，MAHAJAN A，THAKUR M，et al. Deepdeconvolutional residual network based automatic lung nodulesegmentation[J]. Journal of Digital Imaging，2020，33（3）：678-684.

[6] ROCHA J，CUNHA A，MENDON？A A M. Conventional fil-tering versus U-net based models for pulmonary nodule seg-mentation in CT images[J]. Journal of Medical Systems，2020，44（4）： 1-8.

[7] GU Z W，CHENG J，F(xiàn)U H Z，et al. CE-net： Context encodernetwork for 2D medical image segmentation[J]. IEEE Transac-tions on Medical Imaging，2019，38（10）： 2281-2292.

[8] VASWANI A，SHAZEER N，PARMAR N，et al. Attention isall you need[J] . Advances in Neural Information ProcessingSystems，2017，30：5998-6008.

[9] LIU Z，LIN Y T，CAO Y，et al. Swin transformer： Hierarchi-cal vision transformer using shifted windows[C]//2021 IEEE/CVF International Conference on Computer Vision（ICCV）.Montreal，QC，Canada： IEEE，2022： 9992-10002.

[10] SZEGEDY C，LIU W，JIA Y Q，et al. Going deeper with con-volutions[C]//2015 IEEE Conference on Computer Vision andPattern Recognition（CVPR）. Boston，MA，USA： IEEE，2015：1-9.

[11] BA J L，KIROS J R，HINTON G E. Layer normalization [J].2016.DOI：10.48550/arXiv：1607.06450.

[12] HENDRYCKSD，GIMPELK.Gaussian error linear units（gelus）[J]. 2016. DOI：10.48550/arXiv：1606.08415.

[13] LIU Y C，SHAO Z R，TENG Y Y，et al. NAM： normalization-based attention module[J]. 2021. DOI：10.48550/arXiv： 2111.12419.

[14] WOO S，PARK J，LEE J Y，et al. CBAM： convolutionalblock attention module[C]//European Conference on ComputerVision. Cham： Springer，2018： 3-19.

[15] SETIO A A A，TRAVERSO A，DE BEL T，et al. Validation，comparison，and combination of algorithms for automaticdetection of pulmonary nodules in computed tomographyimages： The LUNA16 challenge [J]. Medical Image Analysis，2017，42： 1-13.

[16] ARMATO III S G，MCLENNAN G，BIDAUT L，et al. Thelung image database consortium（LIDC） and image databaseresource initiative（IDRI）： A completed reference database oflung nodules on CT scans[J]. Medical Physics，2011，38（2）：915-931.

[17] BADRINARAYANAN V，KENDALL A，CIPOLLA R.SegNet： A deep convolutional encoder-decoder architecturefor image segmentation [J]. IEEE Transactions on PatternAnalysis and Machine Intelligence，2017，39（12）： 2481-2495.

[18] MILLETARI F，NAVAB N，AHMADI S A. V -net： fullyconvolutional neural networks for volumetric medical imagesegmentation [C]//2016 Fourth International Conference on 3DVision（3DV）. October 25 -28，2016，Stanford，CA，USA.IEEE，2016： 565-571.

[19] YU L，YANG X，CHEN H，et al. Volumetric ConvNets withmixed residual connections for automated prostate segmenta-tion from 3D MR images[C]//Proceedings of the Thirty-FirstAAAI Conference on Artificial Intelligence. New York： ACM，2017： 66-72.

[20] OKTAY O，SCHLEMPER J，F(xiàn)OLGOC L L，et al. Attention u-net： Learning where to look for the pancreas[J]. 2018. DOI：10.48550/arXiv.1804.03999.

[21] ?I?EK O，AABDULKADIR A，LIENKAMP S S，et al. 3D U-net： Learning dense volumetric segmentation from sparse anno-tation[C]//Medical Image Computing and Computer-AssistedIntervention -MICCAI 2016： 19th International Conference.Athens，Greece： Springer International Publishing，2016：424-432.

[22] ZHOU Z W，RAHMAN SIDDIQUEE M M，TAJBAKHSH N，et al. “Unet++： A nested u-net architecture for medical imagesegmentation.” Deep Learning in Medical Image Analysis andMultimodal Learning for Clinical Decision Support： 4thInternational Workshop. Granada，Spain，Cham： Springer，2018： 3-11.

[23] CAO H，WANG Y，CHEN J，et al. Swin-unet： Unet-likepure transformer for medical image segmentation[C]//EuropeanConference on ComputerVision（ECCV）. Israel. Cham： SpringerNature Switzerland，2022： 205-218.

本文引文格式：

吳駿，侯憲哲，王健，等. 基于Transformer 和CNN 交錯混合的肺結(jié)節(jié)分割網(wǎng)絡(luò)[J]. 天津工業(yè)大學學報，2024，43（1）：74-81.

WU J，HOU X Z，WANG J，et al. Interlace mixed net of lungnodule segmentation based on Transformer and CNN[J]. Jour-nal of Tiangong University，2024，43（1）：74-81（in Chinese）.