跨尺度跨維度的自適應(yīng)Transformer網(wǎng)絡(luò)應(yīng)用于結(jié)直腸息肉分割

梁禮明， 何安軍， 李仁杰， 吳健

（江西理工大學(xué) 電氣工程及其自動化學(xué)院，江西 贛州 341000）

1 引 言

結(jié)直腸癌是世界上最常見的高發(fā)癌癥之一，具有極高的死亡率［1］。研究報告數(shù)據(jù)顯示，早期結(jié)直腸腺瘤息肉可以通過簡單手術(shù)予以切除，生存率高達(dá)95%。也就是說，早發(fā)現(xiàn)和準(zhǔn)確診斷結(jié)直腸腺瘤息肉是有效降低死亡率的關(guān)鍵。但由于不同時期的結(jié)直腸息肉大小不一，形狀尺度變化大、邊界模糊且存在正常組織與病變區(qū)域相似度高等復(fù)雜特性［2］，使得結(jié)直腸癌息肉分割面臨眾多挑戰(zhàn)。

為了解決結(jié)直腸息肉難以準(zhǔn)確分割的挑戰(zhàn)，許多學(xué)者提出傳統(tǒng)分割方法和基于深度學(xué)習(xí)的方法［3］，傳統(tǒng)方法主要依賴于人為選取特征，以區(qū)域生長，閾值圖像和統(tǒng)計形狀為主［4-6］。受到結(jié)直腸息肉圖像病變區(qū)域復(fù)雜特性的影響，傳統(tǒng)方法存在較大的局限性。隨著深度學(xué)習(xí)的普及，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）以強大的特征提取能力在圖像處理領(lǐng)域開辟了新范式［7］。基于CNN結(jié)構(gòu)的U型網(wǎng)絡(luò)在生物醫(yī)學(xué)語義分割任務(wù)中被廣泛運用。U-Net［8］采用對稱的編碼-解碼器結(jié)構(gòu)，并在編碼-解碼器之間引入跳躍連接，使網(wǎng)絡(luò)可以很好地將深層語義信息和淺層細(xì)粒度信息進行融合。由于卷積操作僅進行局部運算，難以建立遠(yuǎn)距離特征依賴關(guān)系，所以U-Net網(wǎng)絡(luò)結(jié)構(gòu)在一定程度上仍有較大的改進空間。Jha等［9］采用空洞空間金字塔池化（Atrous Spatial Pyramid Pooling, ASPP）來擴大模型感受野，嵌入SE(Squeeze and Excitation)［10］注意力機制促進通道特征信息之間的依賴關(guān)系，有效改善了息肉的分割精度，但在邊緣細(xì)節(jié)上處理并不是很好。Fan等［11］使用并行部分解碼器進行特征聚合，采用反向注意力模塊構(gòu)建區(qū)域和邊界線索之間的顯性關(guān)系，優(yōu)化了分割結(jié)果邊緣，但對小目標(biāo)分割還存在漏檢現(xiàn)象。Lou等［12］提出CaraNet，設(shè)計上下文軸向注意力模塊和通道級特征金字塔模塊來提高模型對小目標(biāo)的分割性能，但整體流程較為復(fù)雜。

Transformer［13］結(jié)構(gòu)通過捕獲長距離依賴顯性關(guān)系，建模全局上下文信息，在醫(yī)學(xué)圖像分析領(lǐng)域獲得了出色的表現(xiàn)。Dai等［14］結(jié)合CNN和Transformer的優(yōu)點，首次將Transformer結(jié)構(gòu)應(yīng)用于多模塊醫(yī)學(xué)圖像分類任務(wù)，獲得了較好的分類效果。Chen等［15］提出TransUNet，設(shè)計雙邊融合模塊來處理不同分支的語義信息，改善了多器官和心臟圖像分割任務(wù)的精度，但該結(jié)構(gòu)帶來了大量的浮點運算和參數(shù)，影響模型的實際應(yīng)用。Wang等［16］采用金字塔視覺Transformer提取輸入圖像的語義信息，提出漸進式解碼器來強調(diào)局部特征和強化目標(biāo)信息，提升了息肉分割精度，但在未知數(shù)據(jù)集上的泛化性能較差。Wu等［17］結(jié)合Swin Transformer結(jié)構(gòu)分成多階段產(chǎn)生多個不同尺度特征，構(gòu)建多尺度通道注意力機制和空間反向注意力機制，以提升網(wǎng)絡(luò)學(xué)習(xí)和提取結(jié)直腸息肉各種形態(tài)特征的能力，進一步優(yōu)化結(jié)直腸息肉分割結(jié)果，但該結(jié)構(gòu)需要預(yù)訓(xùn)練權(quán)重才能發(fā)揮其效果，導(dǎo)致網(wǎng)絡(luò)結(jié)構(gòu)不能靈活調(diào)節(jié)。

針對結(jié)直腸息肉分割當(dāng)前面臨的技術(shù)挑戰(zhàn)，本文提出一種跨尺度跨維度的自適應(yīng)Transformer分割模型。該模型首先在金字塔視覺Transformer（Pyramid Vison transformer v2，PVTv2）基礎(chǔ)上融合CNN結(jié)構(gòu)，不僅能有效提取全局上下文信息，還增強了網(wǎng)絡(luò)對局部特征的解析能力。然后設(shè)計多尺度密集并行解碼模塊來補充淺層網(wǎng)絡(luò)細(xì)粒度信息和深層網(wǎng)絡(luò)語義信息之間的語義空白。最后引入多尺度預(yù)測模塊以調(diào)整不同階段預(yù)測結(jié)果，逐步細(xì)化息肉區(qū)域的邊緣結(jié)構(gòu)信息。

2 方 法

2.1 研究基礎(chǔ)

卷積神經(jīng)網(wǎng)絡(luò)（CNN）通過與圖像周圍像素進行點運算提高模型的局部感知能力，具有平移不變性和歸納偏差，但受到卷積核大小、網(wǎng)絡(luò)層數(shù)以及計算資源的限制，導(dǎo)致捕捉全局上下文特征信息的能力不足。而Transformer結(jié)構(gòu)中的多頭注意力機制能有效建立短距離和遠(yuǎn)距離的特征間距，使網(wǎng)絡(luò)能夠從全局角度解析語義信息。結(jié)直腸息肉病灶區(qū)域與正常腸黏膜對比度低、邊界模糊，有效處理全局語義信息和局部細(xì)節(jié)信息能對分割精度提升帶來很大的幫助。最近，基于Transformer結(jié)構(gòu)方法在多種視覺任務(wù)上取得了與基于CNN結(jié)構(gòu)相當(dāng)?shù)男阅埽琍VTv2［18］表現(xiàn)得相當(dāng)出色，其核心Transformer編碼模塊如圖1所示。圖1中zi-1表示第i個Transformer編碼模塊經(jīng)過卷積前饋層和殘差連接后的輸出特征圖；z′i表示經(jīng)線性空間自注意力層和殘差連接后的輸出特征圖。

圖1 核心Transformer編碼模塊Fig.1 Core Transformer encoding block

每個Transformer編碼模塊均由層歸一化（Layer Normalization，LN）、線性空間自注意力層（Linear Spatial-reduction Attention Layer，LSRA）、卷積前饋層（Conv Feed-Forward，CFF）和殘差連接組成，卷積前饋層由全連接層、高斯誤差線性單元（Gaussion Error Linear Unit，GELU）和3×3的深度可分離卷積組成。其中，LSRA通過重塑圖像結(jié)構(gòu)，縮短遠(yuǎn)距離特征間距，從而增強網(wǎng)絡(luò)捕獲全局語義信息的能力。

LSRA接受三個相同維度的特征向量，分別是查詢矩陣Q，鍵矩陣V和值矩陣K。相比于傳統(tǒng)的多頭注意力層，LSRA采用平均池化操作降低矩陣K和V的空間尺寸，在很大程度減少了計算開銷。具體的計算過程如下：

其中：Concat(?)表示連接操作；WQj∈RCi×dhead，為線性投影參數(shù)；Ni表示第i階段注意力層的頭數(shù)，即每個頭部的尺度（dhead）為表示第i階段輸出通道數(shù)；LSR(?)是降低輸入序列（K或V）空間維度操作，其計算式為LSR(x)=Norm(Reshape(x，P)WS)，其中，x∈R(HiWi)×Ci表示輸入序列；P為線性池化大小，設(shè)置為7；Reshape(x，P)是將輸入序列x重塑大小為P2×Ci，WS∈RCi×Ci是一種線性投影；Norm(?)值歸一化層。

自注意力層使用位置編碼方式來確定圖像上下文信息，其輸出結(jié)果是輸出圖像尺寸保持不變。當(dāng)訓(xùn)練圖像尺寸與測試圖像尺寸不一致時，需要對圖像進行插值操作來保持統(tǒng)一尺寸，而插值操作容易造成局部細(xì)節(jié)信息的丟失，導(dǎo)致分割結(jié)果精度下降。受到文獻(xiàn)［19］的啟發(fā)，為了改善零填充對位置編碼泄露的影響，在LSRA后引入卷積前饋層。卷積前饋層計算式為：

其中：MLP(?)表示多層感知器；GELU(?)表示激活函數(shù)；DWConv3×3(?)表示3×3的深度可分離卷積；xin表示自注意力層的輸出。

2.2 總體結(jié)構(gòu)

為了減少空間歸納偏差和增強網(wǎng)絡(luò)對上下文特征信息的有效表示，針對結(jié)直腸息肉的特點，本文提出一種跨尺度跨維度的自適應(yīng)Transformer網(wǎng)絡(luò)（Cross-Scale and Cross-Dimensional Adaptive Transformer Network，SDAFormer）應(yīng)用于結(jié)直腸息肉分割，如圖2所示。其網(wǎng)絡(luò)結(jié)構(gòu)主要包括編碼器、混合注意力機制、多尺度密集并行解碼（Multi-scale Dense Parallel Decoding，MDPD）模塊和多尺度預(yù)測（Multi-Scale Prediction，MSP）模塊。其中，編碼器采用在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的PVTv2網(wǎng)絡(luò)模型，逐層提取結(jié)直腸息肉圖像的空間信息和語義信息，輸出多尺度特征圖；混合注意力機制通過強調(diào)特征圖的病灶部分，有效建立不同階段，不同特征圖之間的通道信息聯(lián)系，以抑制背景噪聲影響并為目標(biāo)區(qū)域分配合適的學(xué)習(xí)權(quán)重；多尺度密集并行解碼模塊用于深層網(wǎng)絡(luò)信息和淺層網(wǎng)絡(luò)信息的互補，融合空間信息和語義信息；多尺度預(yù)測模塊以可學(xué)習(xí)的方式來獲取一組權(quán)重系數(shù)，對權(quán)重系數(shù)進行自適應(yīng)加權(quán)加法來糾正預(yù)測錯誤分類結(jié)果。

圖2 跨尺度跨維度的自適應(yīng)Transformer網(wǎng)絡(luò)Fig.2 Cross-scale and cross-dimensional adaptive transformer network

2.3 混合注意力機制

由于結(jié)直腸息肉圖像中病灶區(qū)域的局部特征具有相關(guān)性，簡單地融合淺層細(xì)粒度信息和深層語義信息，容易引入背景噪聲等其他無關(guān)信息。為了自動調(diào)整不同特征之間的依賴關(guān)系，對重要特征施加合適的學(xué)習(xí)權(quán)重，在網(wǎng)絡(luò)跳躍連接處引入空間注意力橋（Spatial Attention Bridge，SAB）模塊和通道注意力橋（Channel Attention Bridge，CAB）模塊［20］。相比于CBAM［21］，SAB更加輕量級，能夠在計算資源有限的情況下提供較好的注意力增益。CAB相對于SAB更加重量級，但在特征圖的通道數(shù)較多時能夠提供更好的注意力增益。

2.3.1 空間注意力橋模塊

使用空間注意力橋模塊來充分利用編碼器不同階段、不同尺度的特征信息，聚焦特征圖中病灶部分，抑制背景噪聲。算法偽代碼（算法1）表示為：

Algorithm 1： Spatial attention bridge block Inputs： The input maps of the four channel attention bridge block Ci，i=1，2，3，4 Outputs： Si，i=1，2，3，4 1： χi mean=AvgPool（Ci） /*avg-pooling*/2： χi max=MaxPool（Ci）/*max-pooling*/3： χi s=Concat（hi mean，hi max）/*Concatenate the feature map odd*/4： α=Conv7×7(hc)/*7×7 convolution operation*/5： ε=σ(β)/*After sigmoid， the feature map becomeC×H×1*/6： Si=ε*Ci+Ci/*The feature map of sigmoid with the original feature and then add */End

首先將來自編碼器四個階段的輸出特征圖分別進行全局平均池化和全局最大池化，平均池化對結(jié)直腸息肉病灶區(qū)域進行去噪，最大池化用于凸顯圖像待分割的目標(biāo)區(qū)域；然后拼接同一階段池化后的特征圖，將拼接后的特征圖輸送到權(quán)值共享的擴展卷積運算中（擴展卷積運算由一個卷積核大小為7，擴張率為3，填充量為9的卷積組成），使用Sigmoid函數(shù)生成空間注意力圖，最后將生成的空間注意圖以逐元素的方式與原始輸入特征圖相乘，并引入殘差結(jié)構(gòu)。圖3為空間注意力橋模塊示意圖。

圖3 空間注意力橋模塊Fig.3 Spatial attention bridge block

空間注意力橋模塊的具體表示為：

其中：Avg表示全局平均池化；Max表示全局最大池化；Conv7d表示7×7卷積；Ei表示第i階段輸出特征圖；Concate表示拼接操作；

2.3.2 通道注意力橋模塊

多階段，多尺度信息的獲取對于不同大小目標(biāo)的分割起著至關(guān)重要的作用。在空間注意力橋模塊后面引入通道注意力橋模塊有利于建立不同階段特征圖之間的長期依賴關(guān)系，從而增強重要信息的微觀表達(dá)能力。算法偽代碼（算法2）表示為：

通道注意力橋模塊將多階段，多尺度信息的融合細(xì)分為局部信息融合（一維卷積操作）和全局信息融合（每個階段都有不同的全連接層），來提供更豐富信息的通道注意力圖。首先將來自SAB四個階段特征圖分別進行全局平均池化，然后拼接四個階段池化結(jié)果得到1×1×C權(quán)重值。接著使用由一個3×3卷積核和全連接層組成多層感知器網(wǎng)絡(luò)來促進局部信息和全局信息的交互，使用Sigmoid函數(shù)生成通道注意力圖，最后將生成的通道注意圖以逐元素的方式與原始輸入特征圖相乘，并引入殘差結(jié)構(gòu)。圖4為通道注意力橋模塊示意圖。

Algorithm 2： Channel attention bridge block Inputs： The input maps of the four stagesEi，i=1，2，3，4 Outputs： Ci，i=1，2，3，4 1： hi mean=AvgPool（Ci） /*avg-pooling*/2： hc=Concat（h1 mean，h2 mean，h3 mean，h4 mean）/*Concatenate the feature map of avg-pooling*/3： β=Conv3×3(hc)/*3×3 convolution operation*/4： γ=σ(β)/*After sigmoid， the feature map becomeC×H×1*/5： Ci=γ*Ei+Ei/*The feature map of sigmoid with the original feature and then add */End

圖4 通道注意力橋模塊Fig.4 Channel attention bridge block

通道注意力橋模塊可表示為：

其中：GAP表示全局平均池化；Concate表示拼接操作；FCi表示第i階段全連接層；Conv1d表示3×3標(biāo)準(zhǔn)卷積。

2.4 多尺度密集并行解碼模塊

網(wǎng)絡(luò)解碼階段得到不同尺度特征圖，這些特征圖蘊含的語義信息和空間細(xì)節(jié)信息像素相關(guān)性是不同的，通過直接上采樣操作來恢復(fù)圖像特征的空間細(xì)節(jié)，容易造成局部細(xì)節(jié)信息丟失［22］。因此，本文設(shè)計一種新的多尺度密集并行解碼模塊來對各階段輸出圖像進行解碼重建，其結(jié)構(gòu)如圖5所示。

圖5 多尺度密集并行解碼模塊Fig.5 Multi-scale dense parallel decoding block

多尺度密集并行解碼模塊由標(biāo)準(zhǔn)3×3卷積，批量歸一化（BN）層，ReLU激活函數(shù)和上采樣層組成。模塊首先將高級特征圖C4進行雙線性插值上采樣操作，使其分辨率與特征圖C3相匹配，然后通過兩個標(biāo)準(zhǔn)3×3卷積、批量歸一化和Re-LU激活函數(shù)來傳遞語義結(jié)果，得到傳遞結(jié)果C41和C31，再將得到的結(jié)果C41與原特征圖C31進行矩陣乘法并引入殘差結(jié)構(gòu)，最后利用卷積單元來平滑連接特征，得到第三階段融合特征圖。重復(fù)上述過程，直至融合所有階段的輸出，最終得到四個階段的預(yù)測輸出結(jié)果。

2.5 多尺度預(yù)測模塊

在結(jié)直腸息肉病理圖像中，病變區(qū)域通常具有不同的形狀和大小，且與正常組織高度一致。由于腸黏膜特征的相似性，精細(xì)的息肉外觀特征及容易被忽視。為了促進網(wǎng)絡(luò)對邊緣細(xì)節(jié)的識別能力，F(xiàn)an等［11］和Lou等［12］提出反向注意力模塊和軸向注意力模塊減少目標(biāo)邊緣像素點的誤分類。文獻(xiàn)［23］提出一種多尺度預(yù)測模塊，以可學(xué)習(xí)的方式獲取一組權(quán)重系數(shù)整合不同階段的預(yù)測結(jié)果，其結(jié)構(gòu)如圖6所示。

圖6 多尺度預(yù)測模塊Fig.6 Multi-scale prediction block

具體來說，在多尺度密集并行解碼模塊獲得輸出特征圖Fi后，采用四個并行的1×1卷積和上采樣（Upsampling）操作獲取不同階段對應(yīng)的輸出二進制掩碼Pi。同時，將輸出特征圖Fi全局平均池化進行空間信息壓縮，然后使用4個并行的1×1的卷積來匹配池化后特征的維度，將匹配后的特征圖先進行信道加法融合，再通過兩個連續(xù)的全連接層進一步編碼，利用Sigmoid函數(shù)得到權(quán)重系數(shù)，最后采用自適應(yīng)加權(quán)加法得到預(yù)測輸出掩膜。

3 實驗與分析

3.1 數(shù)據(jù)集和實驗設(shè)置

為了驗證本文模型的有效性，實驗采用4個公開的結(jié)直腸息肉數(shù)據(jù)集，即CVC-ClinicDB［24］、Kvasir-SEG［25］，CVC-ColonDB［26］和ETIS［27］。其中CVC-ClinicDB數(shù)據(jù)庫包含612張分辨率大小為384×288的結(jié)腸鏡圖像；Kvasir-SEG數(shù)據(jù)集包含了1 000張結(jié)腸鏡圖像和分割掩膜；CVCColonDB數(shù)據(jù)集包含了380張分辨率為574×500的結(jié)腸鏡圖像；ETIS數(shù)據(jù)集包含了196張分辨率為1 226×996的結(jié)腸鏡圖像。實驗訓(xùn)練由未經(jīng)過任何數(shù)據(jù)增強隨機抽取550張CVC-ClinicDB數(shù)據(jù)圖像和900張Kvasir-SEG數(shù)據(jù)圖像組成，測試集由剩下的62張CVC-ClinicDB數(shù)據(jù)圖像、100張Kvasir-SEG數(shù)據(jù)圖像、196張ETIS數(shù)據(jù)圖像和380張CVC-ColonDB數(shù)據(jù)圖像組成。為了方便模型訓(xùn)練和測試，將訓(xùn)練集圖像統(tǒng)一分辨率352×352。

本實驗在操作系統(tǒng)Windows11進行；建模基于深度學(xué)習(xí)架構(gòu)Pytorch 3.9（Facebook Inc.，美國）和計算統(tǒng)一設(shè)備架構(gòu)CUDA 12.1（Nvidia Inc.，美國）。計算機具體配置：顯卡（Nvidia Ge-Fore GTX 4070 Ti GPU，Nvidia Inc.，美國）、中央處理器（Intel Core TM i5-13600KF CPU，Inter Inc.，美國）。模型使用以加權(quán)二進制交叉熵?fù)p失函數(shù)和加權(quán)交并比損失函數(shù)為基礎(chǔ)的聯(lián)合損失，采用自適應(yīng)矩估計優(yōu)化器（Adam），實驗迭代次數(shù)50，批量大小設(shè)置為6，初始學(xué)習(xí)率5×10-5，動量設(shè)置為0.9，并使用多尺度訓(xùn)練策略｛0.75，1，1.25｝。

3.2 評估指標(biāo)

本文采用Dice相似性系數(shù)、平均交并比（Mean Intersection Over Union，MIoU）、召回率（Sensitivity，SE）、精確率（Precision，PC）、F2得分和平均絕對誤差（Mean Absolute Error，MAE）來對結(jié)腸息肉的分割結(jié)果進行評估。其具體計算式分別為：

其中：X為預(yù)測輸出圖像，Y專家標(biāo)注的金標(biāo)簽圖像，TP為預(yù)測結(jié)果中正確分類的前景像素數(shù)目，F(xiàn)N為預(yù)測結(jié)果中被錯誤分類為前景像素數(shù)目，F(xiàn)P為預(yù)測結(jié)果中被錯誤分類為背景像素數(shù)目，N為圖像中的像素點數(shù)。

3.3 對比試驗

為了驗證本文方法在結(jié)直腸息肉數(shù)據(jù)集分割方面的優(yōu)勢，分別與經(jīng)典醫(yī)學(xué)圖像分割網(wǎng)絡(luò)UNet，EU-Net［28］，PraNet和CaraNet以及最近提出基于Transformer結(jié)構(gòu)的醫(yī)學(xué)圖像分割網(wǎng)絡(luò)PolypPVT［21］，SSFormer和MSRAFormer進行比較，實驗結(jié)果如表1~表2所示。表中最優(yōu)指標(biāo)加粗表示。

表2 CVC-ColonDB和ETIS數(shù)據(jù)集上不同網(wǎng)絡(luò)分割結(jié)果Tab.2 Segmentation results of different networks on CVC-ColonDB and ETIS datasets

表1給出本文模型和其他7種模型在Kvasir和CVC-ClinicDB數(shù)據(jù)集上的評估結(jié)果，表2給出本文模型和其他7種模型在CVC-ColonDB和ETIS上的評估結(jié)果，在Dice指標(biāo)和MIoU指標(biāo)均為最高。Dice指標(biāo)是用于衡量分割結(jié)果中預(yù)測像素數(shù)量與總數(shù)量的比例，值越高表示分割結(jié)果與真實標(biāo)簽越接近，分割質(zhì)量越高。F2得分是綜合考慮召回率和精確度，相比于F1分?jǐn)?shù)，F(xiàn)2分?jǐn)?shù)更加重視召回率，值越高表示能更準(zhǔn)確地將目標(biāo)對象從背景中分割出來。表2顯示，在Kvasir和CVC-ClinicDB數(shù)據(jù)集中，本文方法的Dice和F2得分分別為0.932，0.942和0.931，0.954，相比基于CNN的基礎(chǔ)網(wǎng)絡(luò)CaraNet，分割結(jié)果分別提高了1.4%，1.7%和0.6%，0.6%。與基于Transformer結(jié)構(gòu)的PolypPVT相比，Dice指標(biāo)分別提高了1.5%和0.5%。表2顯示，本文方法在CVC-ColonDB和ETIS數(shù)據(jù)集上的Dice和MIoU指標(biāo)分別為0.811，0.805和0.731，0.729。實驗結(jié)果表明，本文方法分割效果更好，泛化性能更加，病變區(qū)域誤分類更少。

表3給出了本文網(wǎng)絡(luò)和其他7種網(wǎng)絡(luò)的模型參數(shù)性能，以Transformer結(jié)構(gòu)為基礎(chǔ)的Polyp-PVT，SSFormer-L，MSRAformer和本文方法在分割性能指標(biāo)上均高于基于CNN結(jié)構(gòu)的U-Net，EUNet和PraNet。在一定程度上Transformer結(jié)構(gòu)會提升網(wǎng)絡(luò)的參數(shù)量和計算復(fù)雜度，相比于其他7種網(wǎng)絡(luò)本文方法在參數(shù)量上獲得最優(yōu)，計算復(fù)雜度和單輪訓(xùn)練時長均獲得了次優(yōu)結(jié)果，分別為24.99 M，10.01 G 和 127 s。相比于基于Transformer結(jié)構(gòu)MSRAformer，本文方法參數(shù)量和計算復(fù)雜度分別降低了63.26%和52.98%。相比于基于CNN結(jié)構(gòu)的EUNet，本文方法參數(shù)量和計算復(fù)雜度分別降低了20.31%和18.31%。綜合分析，本文方法在兼顧參數(shù)量、計算量和推理時間的情況下，獲得較好的分割結(jié)果，實現(xiàn)了網(wǎng)絡(luò)分割性能的提升。

表3 不同網(wǎng)絡(luò)性能對比（CVC-ClinicDB）Tab.3 Performance comparison of different networks（CVC-ClinicDB）

圖7和圖8分別顯示了本文方法和上述7種方法在CVC-ClinicDB，Kvasir，ETIS和CVCColonDB數(shù)據(jù)集上的分割結(jié)果，從上往下依次為原始輸入圖像、金標(biāo)簽、U-Net，EU-Net，PraNet，CaraNet，Polyp-PVT，SSFormer，MSRAFormer和本文方法。從圖7~圖8可以看出，在病灶區(qū)域占比較小的病理圖像中，EU-Net不能很好地區(qū)分背景和前景，出現(xiàn)大量的誤檢現(xiàn)象。Polpy-PVT使用相似性聚合模塊有效分割病灶區(qū)域占比小的病理圖像，但分割大面積病灶區(qū)域時分割結(jié)果出現(xiàn)內(nèi)部不連貫現(xiàn)象。SSFormer和CaraNet減少了分割結(jié)果內(nèi)部不連貫情況，但分割結(jié)果邊緣不平滑、出現(xiàn)偽影。U-Net和PraNet建模全局信息能力不足，存在大量漏檢錯檢的現(xiàn)象，易將背景錯分成前景。由于結(jié)直腸息肉病灶區(qū)域與正常組織對比度低，如圖7第4列和圖8第9列所示，U-Net，PraNet和MSRAFormer把病灶區(qū)域較深的區(qū)域當(dāng)作正常組織，把正常組織較淺的區(qū)域錯認(rèn)為病灶部分，誤檢現(xiàn)象十分嚴(yán)重。同時，由于結(jié)直腸息肉的復(fù)雜特性，病灶區(qū)域常常被淹沒在腸黏膜中，病灶區(qū)域變化大常常成為分割的難點，如圖7第7列和圖8第2列所示，EUNet，Polyp-PVT和CaraNet不能高效定位病灶區(qū)域，導(dǎo)致正常組織與病灶邊緣分割粗糙，出現(xiàn)偽影。相比之下，本文方法通過Transformer編碼器對全局上下文信息進行高效建模，以有效應(yīng)對結(jié)直腸息肉病灶區(qū)域尺度變化大的特點，利用混合注意力機制高顯病灶區(qū)域，減少背景干擾因素的影響，采用多尺度預(yù)測模塊細(xì)化邊緣信息，減少分割結(jié)果邊緣不光滑、偽影現(xiàn)象。綜合對比分割結(jié)果，本文方法不管是在視覺效果上還是在分割精度上均更勝一籌。

圖7 Kvasir和CVC-ClinicDB數(shù)據(jù)集上不同網(wǎng)絡(luò)分割結(jié)果Fig.7 Segmentation results of different networks on Kvasir and CVC-ClinicDB datasets

圖8 CVC-ColonDB和ETIS數(shù)據(jù)集上不同網(wǎng)絡(luò)分割結(jié)果Fig.8 Segmentation results of different networks on CVC-ColonDB and ETIS datasets

3.4 消融實驗

為了探究本文方法各模塊對整體模型分割性能的影響，在Kvasir和CVC-ColonDB數(shù)據(jù)集上進行消融研究。M1在分層Transformer編碼器的基礎(chǔ)上加入多尺度密集并行解碼模塊，M2是在M1的基礎(chǔ)上添加空間注意力橋模塊，M3是在M2的基礎(chǔ)上添加通道注意力橋模塊，M4是在M3的基礎(chǔ)上添加多尺度預(yù)測模塊，即本文所提方法。消融結(jié)果如表4所示，最優(yōu)指標(biāo)加粗表示。混合通道注意力機制能有效建立通道信息之間的聯(lián)系，抑制背景噪聲的影響，提升網(wǎng)絡(luò)的相似性系數(shù)和平均交并比。多尺度預(yù)測模塊對多尺度特征進一步挖掘邊緣細(xì)節(jié)信息，糾正預(yù)測分類結(jié)果，提升網(wǎng)絡(luò)像素精度和F2得分，消融實驗進一步驗證了各模塊對整體模型的貢獻(xiàn)。

表4 各模塊在Kvasir和CVC-ColonDB數(shù)據(jù)集上消融結(jié)果Tab.4 Ablation results of each module on the Kvasir and CVC-ColonDB datasets

4 結(jié) 論

本文提出跨尺度跨維度的自適應(yīng)Transformer網(wǎng)絡(luò)應(yīng)用于結(jié)直腸息肉分割，有效地改善了結(jié)直腸息肉分割時邊緣細(xì)節(jié)信息丟失和病灶區(qū)域誤分割等問題。使用Transformer編碼器提取結(jié)直腸息肉圖像病灶特征，通過在網(wǎng)絡(luò)跳躍連接處引入混合注意力機制，以減少通道維度冗余和增強模型的空間感知能力。同時設(shè)計一種新的多尺度密集并行解碼模塊，充分融合不同尺度的特征信息。最后利用多尺度預(yù)測模塊激活病灶區(qū)域邊界的特征響應(yīng)，進一步優(yōu)化分割結(jié)果。在CVC-ClinicDB和Kvasir-SEG數(shù)據(jù)集的Dice相似性系數(shù)分別為0.942和0.932，相比于基于Transformer結(jié)構(gòu)的SSFormer分別提高了3.6%和1.4%，分割性能優(yōu)于現(xiàn)有算法，對結(jié)直腸息肉的診斷具有一定的臨床應(yīng)用價值。為驗證該方法的泛化性和普適性，在CVC-ColonDB和ETIS數(shù)據(jù)集上進行了驗證，實驗結(jié)果表明本方法在未知數(shù)據(jù)集上適應(yīng)能力較強。