基于多尺度視覺信息和非局部目標挖掘的腫瘤分割

摘 要：從計算機斷層掃描（CT）中準確分割各種臨床病變是腫瘤學成像的關鍵任務。然而，現有分割框架均是針對某種特定類型疾病設計的，且對于精確分割視覺上不顯著的小范圍腫瘤仍然極具挑戰性。為此，通過模仿臨床醫生的診斷行為，提出基于多尺度視覺信息和非局部目標挖掘的非顯著小腫瘤分割框架。該框架首先結合尺度空間理論提取1.0×、0.5×、1.5×尺度下的差異化特征。然后，使用尺度融合模塊分層融合特定尺度的特征映射，得到既全面又準確的腫瘤表征。得到的特征通過全局定位模塊捕獲通道和空間位置的遠程語義依賴關系，從全局角度定位腫瘤，得到初始預測結果。分層聚焦模塊基于前景和背景特征進行上下文探索，逐層聚焦錯誤區域，并利用逐元素加法、減法消除這些錯誤。通過逐層細化粗糙的預測結果，最終實現更為精細的非顯著小腫瘤分割。在小腸間質瘤數據集（SISD）和胰腺腫瘤數據集（PTD）的實驗表明，該框架在6個標準度量下均優于現有的10個先進方法。所提框架在SISD和PID數據集上分別達到58.37%和57.64%（Dice），比之前最優秀的結果分別提高7.38百分點和4.07百分點。

關鍵詞：腫瘤分割；目標挖掘；多尺度融合；注意力機制；醫學圖像處理

中圖分類號：TP391"" 文獻標志碼：A

文章編號：1001-3695（2024）12-047-3873-08

doi： 10.19734/j.issn.1001-3695.2024.01.0063

Tumor segmentation based on multi-scale visual information and non-local target mining

Qiu Dandan1， Ren Shumin1， Zhang Qian1， Ju Jianguo1， Tu Huijuan2

（1.School of Information Science amp; Technology，" Northwest University，" Xi’an 710016， China; 2. Dept. of Radiology， Kunshan Hospital of Chinese Medicine， Suzhou Jiangsu 215300，" China）

Abstract：To accurately segment various clinical lesions from computed tomography （CT） images is a critical task for the oncology imaging. However， researchers design existing segmentation frameworks for lesions of a specific disease， as well as segmenting visually inconspicuous and small-scale tumors remains a challenging problem. Thus， this paper imitated the diagnostic behavior of clinicians and proposed a non-significant small tumor segmentation framework based on multi-scale visual information and non-local target mining. This framework firstly combined scale space theory to extract differentiated features at 1.0×， 0.5×， and 1.5× scales ， and then applied scale fusion module to hierarchically fuse feature maps of specific scales for obtaining a comprehensive and accurate tumor characterization. The obtained features captured the long-range semantic dependencies of channels and spatial locations through global localization module， locate tumors from a global perspective， obtaining initial prediction results. Layer focusing module performed context exploration based on foreground and background features， focused on error areas layer by layer， and used element-by-element addition and subtraction to eliminate these errors. By gradually refining the initial prediction results， framework finally achieved more refined tumor segmentation results. Empi-rical experiments on the small intestinal stromal tumor dataset （SISD） and the pancreatic tumor dataset （PTD） show that the proposed framework outperforms 10 existing state-of-the-art methods in 6 standard metrics. The proposed framework achieves 58.37% and 57.64% （Dice） on the SISD and PID respectively， which are 7.38 and 4.07percentage points higher than the previous best results.

Key words：tumor segmentation; target mining; multi-scale fusion; attention mechanism; medical image processing

0 引言

根據美國癌癥協會估計，2023年美國將新增1 958 310例的癌癥病例，更嚴重的是有609 820例癌癥死亡病例[1]。癌癥已經是世界范圍內公認的一個主要健康問題，也是人口死亡的第二大原因[2]。在醫學影像中準確標注出腫瘤位置，是定性評估腫瘤、設計手術方案以及進行活檢指導等工作的重要前提。在目前臨床實踐中，標注工作主要由專業的放射科醫生進行。隨著癌癥的發病率逐年增加，這項工作既耗時又費力，極大地加重醫生繁瑣的臨床工作量。此外，由于不同專家的主觀因素，觀察結果往往存在一定偏差，不利于腫瘤的早期診斷與評估。所以，利用計算機輔助診斷技術（computer aided diagnosis technology， CAD）來輔助醫生自動地快速檢測腫瘤區域并提高診斷準確性，已經引起越來越多的關注。隨著計算機視覺在醫學領域的快速發展，針對肺、肝臟、心臟、腦等視覺明顯、位置形狀固定的病變區域的分割任務已經有大量研究成果[3～9]。但這些方法直接用于非顯著小腫瘤分割任務效果并不理想。主要原因是：a）如圖1（a）所示，腫瘤占比小，在形狀、位置上具有高度多樣性，是網絡學習中很容易忽略小目標，甚至太深的網絡會將小目標誤判為背景；b）如圖1（b）所示，腫瘤與背景相似度高、邊緣不清晰，在視覺上有高度不顯著性，容易出現假陽性和假陰性的問題。

近年來，部分研究人員為了實現非顯著小腫瘤高精度分割，進行了一些嘗試，其主要工作可以歸納為以下三個方面：a）文獻[10～12]通過多尺度特征提取、引入額外深監督信息等方法解決小目標腫瘤易受背景環境干擾、導致分割精度低的問題；b）文獻[13～15]通過VIT過濾、圖像預處理、改進損失函數等方法在一定程度上抑制不相關信息的干擾，解決分割結果中存在的假陽性、假陰性問題；c）文獻[16～18]利用注意力機制、數據增強等半自動或自動方法解決位置和形狀多樣的腫瘤分割問題?？偟膩碚f，這些腫瘤分割方法的確在分割非顯著小目標上獲得性能提升，但是大多數是專門針對某一病變類型設計的，而且在解決非顯著小目標問題中仍然存在紋理、外觀等細節特征容易丟失以及干擾信息過濾不全面的問題。

為了解決上述問題，本文提出一種新穎的臨床啟發腫瘤分割框架CDI-NSTSEG，顯著提高非顯著小腫瘤的分割效果。臨床啟發是通過觀察醫生的診斷行為所獲得的，包括初步篩查、定位、細化和分割四個過程。具體而言，模仿臨床中初步篩查過程，首先設計以U-Net[19]為backbone的三重特征提取網絡來分別提取1.0×、0.5×、1.5×尺度的腫瘤特征（如圖2所示）。1.5×尺度的特征映射可以使框架對局部特征了解更為清晰，0.5×尺度的特征映射有助于框架學習到更加完整的全局特征。然后，利用尺度融合網絡中的尺度融合模塊（scale fusion module， SFM）分層聚合特定尺度的特征映射，得到既全面又準確的腫瘤特征表示，并送入逐層目標挖掘網絡中。通過分層融合不同尺度的差異化特征，可以使框架充分學習更為全面、可區分的小腫瘤判斷特點，從而在復雜背景中實現準確定位。逐層目標挖掘網絡包括全局定位模塊（global location module， GLM）和分層聚焦模塊（layered focusing module，LFM）?？蚣茉谧罡邔犹卣魃蠎肎LM定位腫瘤的大致位置，最后利用多個LFM逐層發現并消除初始腫瘤分割結果中的假陽性、假陰性區域，逐步細化腫瘤分割結果。本文的主要貢獻概括如下：

a）受臨床診斷的啟發，本文提出一種新的非顯著小腫瘤分割框架。該框架通過模仿醫生的行為過程，準確可靠地捕捉復雜背景中的腫瘤。

b）本文設計尺度融合模塊統一不同尺度的特征信息，并基于注意感知機制分層對這些差異化信息進行融合，在增強特征表征的同時得到更加全面、準確的腫瘤判斷特點，從而解決小腫瘤定位不準確的問題。

c）本文設計全局定位模塊和分層聚焦模塊來進一步挖掘腫瘤、背景之間微妙的語義特征，逐層聚焦干擾區域、消除干擾信息，逐步細化特征，實現更精確的腫瘤分割結果。

1 相關工作

基于機器學習、計算機視覺的算法迅速發展，計算機輔助診斷技術（CAD）也隨之被廣泛應用。醫學圖像分割一直是計算機輔助診斷技術的關鍵任務。最著名的醫學圖像分割方法之一是U-Net。U-Net包括通過跳躍連接的編碼器和解碼器組件，但這種傳統方法很難激發出理解圖像結構的最佳效果。尺度空間理論是解決這一問題有效和健全的框架之一。其思想廣泛應用于醫學圖像分割，包括圖像金字塔和特征金字塔，進而延伸出很多工作。例如，趙廣文等人[3]在編碼器與解碼器中引入尺度感知金字塔融合模塊，加強網絡對上下文信息的提取能力，改善分割圖像邊緣模糊的問題。宋雨薈[4]結合混合金字塔池化網絡和擴張殘差網絡得到一種新的心臟結構分割框架。通過混合金字塔池化網絡聚合局部信息與全局信息，有效彌補擴張殘差網絡在特征提取方面的不足。雖然這些加入的尺度空間理論方法取得比傳統方法更好的效果，但它們大多數利用倒金字塔狀特征提取結構，導致特征表征容易丟失很多紋理和外觀細節，造成分割結果定位不準確。一些研究者嘗試引入注意力機制，通過對貢獻度不同的輸入特征進行強化或抑制，幫助網絡有效地聚焦在目標上，緩解目標定位不準確的問題。例如，張登峰[20]提出一種雙注意力U-Net的腦腫瘤醫學圖像分割方法DF-Rep U-Net，通過對通道注意力的特征通道和空間注意力的空間像素進行加權融合，使網絡更加關注有用像素的信息。王宇昕等人[21]提出一種基于多層融合注意力的乳腺腫瘤圖像分割方法。在U-Net的跳躍連接部分利用注意力對深層和淺層特征進行增強，然后將增強后的特征分層進行融合，重點關注腫瘤區域，避免錯誤分割。這些工作實現更好的醫學圖像分割結果，但都是被設計用于分割視覺上明顯的大器官（例如肺、肝臟、心臟、腦等）或形狀規則、位置固定的病變區域，對于一些形狀位置差異大、變異性強且非顯著的小腫瘤，上述方法并不能實現高精度分割。

近年來，研究者們開始研究非顯著小腫瘤的分割。因為胰腺腫瘤是最常見的非顯著小腫瘤并且有公開數據集，所以本文針對胰腺腫瘤分割任務進行相關工作總結。Dmitriev等人[16]提出一種半自動分割方法來實現胰腺腫瘤邊緣的精準分割，網絡首先通過人工指定邊界與前景、背景得到粗略的分割結果，再通過隨機行走算法對粗分割結果進行細化。然而，這種網絡在進行小尺寸胰腺腫瘤分割時很容易出現錯誤。針對這一問題，李自強[10]在卷積神經網絡的基礎上進行改進，設計了PGD-U-Net。PGD-U-Net利用可變形卷積來建模腫瘤的空間幾何變換，利用空洞卷積提供更大的感受野，并通過coord conv和coord pool顯式地編碼腫瘤的位置信息。李嘉銘等人[11]基于胰腺和胰腺腫瘤的高度相關性，在胰腺腫瘤分割網絡中引入額外的深度監督，在胰腺分割的幫助下改善胰腺腫瘤的分割。雖然上述方法在小尺度胰腺腫瘤準確定位方面取得了一定效果，但都沒有考慮到胰腺腫瘤周圍復雜的背景干擾，導致分割結果中假陽性、假陰性很高。為了消除不相關信息對腫瘤分割的強烈干擾，Gai等人[13]設計全局語義特征提取模塊，從多個堆疊殘差塊中提取特征信息，再利用ViT模塊過濾掉特征中的背景信息，只留下語義信息。Khdhir等人[14]利用混合高斯濾波和中值濾波對醫學圖像進行預處理，減少噪聲引起的網絡性能下降。 Yang等人[15]設計邊界感知輪廓損失函數，在預測圖中消除模糊、噪聲干擾。以上工作的確在一定程度上抑制不相關信息干擾，但它們主要聚焦背景特征，重點消除假陰性干擾，而忽略了前景特征，導致假陽性干擾仍然很多?？傊?，目前領域存在的問題主要為紋理、外觀等細節特征容易丟失以及干擾信息過濾不全面。為了同時降低假陽性與假陰性干擾，本文精心設計全局定位模塊（LFM）和分層聚焦模塊（GLM）。首先利用LFM分割腫瘤的大致位置；然后利用GLM分別聚焦前景注意特征和背景注意特征，逐層發現并去除初始分割結果中的假陽性、假陰性區域；除此之外，本文還設計尺度融合模塊（SFM）來幫助框架提取腫瘤既全面又準確的判斷特點與特征表征。

2 方法

在醫學圖像分割中，雖然針對某種固定類型的非顯著小腫瘤的研究已經有很多，然而一個高效的腫瘤分割算法應該能夠在實踐中處理各種腫瘤。為此，本文提出一種基于多尺度視覺信息和非局部目標挖掘的腫瘤分割框架，整體架構如圖3所示。該框架包含三重特征提取網絡、尺度融合網絡、逐層目標挖掘網絡。具體來說，首先通過三重特征提取網絡分別提取1.0×、0.5×、1.5×尺度上的特征，并將其提供給尺度融合網絡。1.5×尺度可以使框架學習到更加清晰的局部特征，0.5×尺度有助于框架學習到更加完整的全局特征。為了整合豐富尺度的差異化信息，本文基于注意感知機制設計了尺度融合模塊（SFM）。SFM將1.5×尺度和0.5×尺度的特征圖信息聚合到1.0×尺度上，從而得到既全面又準確的腫瘤判斷特征。通過SFM，本文框架充分感知腫瘤與易混淆區域，從而使小目標腫瘤定位更加準確。逐層目標挖掘網絡主要包括全局定位模塊（GLM）和分層聚焦模塊（LFM）。其中，GLM由通道注意力和空間注意力組成，從全局的角度對腫瘤進行定位。而LFM在不同層次上，基于前景和背景注意特征進行上下文探索，使框架聚焦歧義區域，發現假陽性、假陰性干擾，并利用逐元素加法、減法消除錯誤信息，逐步細化分割結果。具體細節將在下面進行詳細描述。

2.1 三重特征提取網絡

在深度學習領域，VGG[22]、ResNet[23]，以及U-Net[19]是常用的特征提取網絡。訓練數據有限的情況下，U-Net最適合應用于醫學圖像分割任務，并且對GPU性能的要求最低。因此，本文利用U-Net架構作為三重特征提取網絡的backbone，來提取深度特征。為了得到更緊湊的特征并且優化計算，本文框架在backbone的每層輸出后級聯一個信道壓縮模塊（channel compression module， CHM）。三重特征提取網絡采用1.0×、0.5×和1.5×三個尺度執行特征提取[24]，具體的對比分析實驗參見3.5.2節。通過三重特征提取網絡后，得到三組分別對應三個尺度的64通道特征映射，即{fki}5i=1，k∈{1.0，0.5，1.5}。然后，將這些特征依次送入尺度融合網絡和逐層目標挖掘網絡進行后續融合、細化處理。

2.2 尺度融合網絡

文獻[3，4]使用的倒金字塔狀特征提取結構會丟失很多紋理、細節信息，導致本就容易受背景環境干擾的小目標腫瘤無法準確定位。為解決這一問題，本文設計尺度融合模塊（SFM），與倒金字塔狀特征提取結構不同，本文在多尺度的基礎上探索層間特征的組合策略來增強特征表示。具體來說，通過三重特征提取網絡得到三個尺度的特征映射，每一個特征映射包含特征提取模塊五個層的輸出，然后利用SFM分別對特定層特征進行篩選，最終將1.5×和0.5×尺度的特定層特征聚合到1.0×尺度的特定層特征上。

尺度融合網絡包括5個SFM，其結構如圖4所示。首先，調整f 0.5i和f 1.5i的大小，使其與f 1.0i的尺度保持一致。f 0.5i、f 1.5i和f 1.0i分別表示0.5×、1.5×、1.0×尺度的特征。對于f 0.5i，采用最大池化和平均池化的混合結構進行下采樣，目的是在低尺度特征中保留對腫瘤的有效性和多樣性響應。對于f 1.5i，直接通過雙線性插值進行上采樣。然后，將經過轉換后的三個尺度特征分別輸入到注意力生成器中，利用卷積操作計算出三通道特征圖。再經過softmax歸一化操作，得到每個尺度對應的注意力Ak（k∈{1.0，0.5，1.5}）作為各個尺度的權重。整個過程的數學表達式為

Ai=softmax（CBR（［BL（fi1.5），fi1.0，MA（fi0.5）］，α））fi=Ai1.5·BL（fi1.5）+Ai1.0·fi1.0+Ai0.5·MA（fi0.5）（1）

其中：CBR（·）表示注意力生成器中堆疊的conv-BN-ReLU層；α表示這些層的參數；BL（·）和MA（·）分別表示雙線性插值操作和混合池化操作。這些設計的目的是從多個尺度上同步考慮腫瘤與背景之間的差異關系，通過有選擇性地聚合特定尺度的信息來增強特征表征，使框架充分感知腫瘤與易混淆區域，既全面又準確地提取到腫瘤的判斷特征，從而實現腫瘤的準確定位。

2.3 逐層目標挖掘網絡

盡管在2.2節中通過分層融合不同縮放尺度上特征圖的方式，可以增強腫瘤的特征表征，并得到高級特征表達。但由于腫瘤的高度不顯著性，如果將得到的高級特征圖直接進行分割，會產生大量假陽性和欠分割的區域。為了解決這一問題，本文精心設計全局定位模塊（GLM）和分層聚焦模塊（LFM），詳細結構如圖5所示。與臨床檢查和診斷一致，首先在最深層特征上應用GLM對腫瘤進行大致定位，然后逐層利用LFM發現并去除錯誤區域，降低腫瘤分割結果的假陽性和假陰性。

2.3.2 分層聚焦模塊（LFM）

通過GLM得到的腫瘤初始分割結果中會存在假陽性、假陰性預測。為此，本文精心設計分層聚焦模塊（LFM），利用上下文推理發現并消除這些誤判區域。與文獻[13～15]不同，本文側重于分別從前景、背景發現干擾信息，而拒絕不加區分地進行。具體來說，本文對所有預測出的前景（或背景）進行上下文探索，目的是發現與真實前景（或背景）不同的假陽性（假陰性）區域，再通過逐元素減法消除錯誤的背景（假陽性干擾）和逐元素加法補充缺失的前景（假陰性干擾）。LFM需要當前級特征和上級特征兩個方面的輸入，輸出細化后的特征，進而得到更準確的腫瘤分割結果。

如圖5所示，LFM首先輸入上級特征，通過大小為7×7，padding為3的卷積得到上級腫瘤分割結果圖，并對該分割結果進行上采樣和sigmoid歸一化操作。將歸一化圖與取反歸一化圖與當前級特征fci分別相乘，得到前景特征fba和背景特征ffa，分別送入兩個并行的上下文探索單元（context exploration unit， CE）中進行上下文推理，得到假陽性區域ffnd和假陰性區域ffpd。CE結構如圖5所示。CE主要由四個分支組成，每個分支都包含一個3×3的卷積用來縮減通道，一個ki×ki的卷積用來提取局部特征，以及一個3×3的膨脹卷積用來感知上下文信息。每個卷積層后面都連接一個BN操作和一個ReLU非線性激活操作。為了可以獲得更大的感受野，將第i（i∈{1，2，3}）個分支的輸出送入到第i+1個分支中。然后，在通道維度上疊加四個分支的輸出，并通過3×3卷積進行融合。通過以上設計，CE可以在較大范圍內感知上下文信息，從而更加有效地進行上下文推理并發現干擾區域。然后，分別通過逐元素加法、逐元素減法去除干擾。該過程的數學表達式為

fup=BL（CBR（fhl））fr=BR（fup－δffpd）f′r=BR（fr+γffnd）（6）

其中：fhl表示輸入上級特征；BL（·）表示雙線性插值操作；CBR（·）表示Conv-BN-ReLU層；BR（·）表示BN-ReLU層；fr′表示輸出精細特征；δ和γ都是比例系數。最后，在精細特征fr′上進行卷積操作，獲得最終的腫瘤分割結果。本文使用真實標注圖來監督生成的腫瘤分割結果，引導CE發現特定形式的干擾區域，強迫框架得到更高精度的分割結果fr′，整個過程以一種隱式的方式實現假陽性、假陰性的發現和去除。

2.4 損失函數

整個訓練過程中，腫瘤分割框架共有GLM和LFM兩部分輸出。對于GLM，本文使用二值交叉熵損失（binary cross entropy loss， BCE）和交并比損失（intersection-over-union loss， IoU）組合，即lGLM=lBCE+lIoU，引導GLM探索腫瘤的初始位置。對于LFM，本文希望它能夠進一步約束誤判區域，這種區域通常位于腫瘤邊界。因此，本文結合加權BCE損失（WBCE）和加權IoU損失（WIoU），即lLFM=lWBCE+lWIoU ，迫使LFM給予誤判可能性高的區域更多關注。總的來說，框架的總體損失函數為

l=μlGLM+β∑4i=22（4－i）liLFM（7）

其中：liLFM代表腫瘤分割框架第i級LFM輸出的損失；μ和β為平衡系數。

3 實驗

3.1 數據集和評價指標

3.1.1 數據集

小腸間質瘤和胰腺腫瘤是非顯著小腫瘤的典型代表，本文分別在小腸間質瘤數據集和胰腺腫瘤數據集上進行綜合評估來測試本文框架的分割性能。小腸間質瘤數據集（small intestinal stromal tumors dataset， SISD）由合作醫院提供，包括41個病人，共372張平掃期CT圖像，空間分辨率為512×512像素，每個病人切片數量為5～15，所有間質瘤數據都由經驗豐富的放射科醫生準確地手動標記。本文對31個病人的296張CT圖像進行翻轉、旋轉、調節亮度、高斯模糊的數據增強操作，最終得到2 167張圖像用于訓練，剩下10個病人的76張CT圖像用于測試。胰腺腫瘤數據集（pancreatic tumor dataset，PTD）來自醫學分割十項運動挑戰賽[25]，包括281個病人，每個病人切片數量為4～25，采用NIFTI格式，空間分辨率為512×512像素。本文將NIFTI格式轉換為PNG格式，得到2 537張有標注的CT圖像，其中隨機選取1 957張用于訓練，剩下580張用于測試。

3.1.2 評價指標

基于以下六個標準度量來定量評估本文框架的性能：Srensen-Dice系數 （srensen-dice coefficient，Dice）、準確度（accuracy，ACC）、特異度（specificity，SPE）、F1分數（F1 score， F1）、structure measure（SM）、enhanced-alignment measure（EM）。Dice廣泛應用于醫學圖像分割任務中，常用于評估真實標注和預測之間的相似性，其定義為Dice=2TP2TP+FP+FN，其中TP代表真陽性，FP代表假陽性，FN代表假陰性，TN代表真陰性。ACC表示所有樣本中被預測正確的比例，其定義為：ACC=TP+TNTP+FP+FN+TN。SPE表示陰性樣本中被預測正確的比例，其定義為SPE=TNFP+TN。F1主要用來衡量框架的準確率（P）和召回率（R），其定義為F1=2PRP+R。其中召回率表示陽性樣本中被預測正確的比例，定義為R=TPTP+FN，準確率表示所有被預測為陽性的樣本中實際為陽性的比例，定義為P=TPTP+FP。SM著重評估腫瘤分割結果的全局結構信息，預測出的腫瘤結構越全面，SM值越高，其定義為Sm=αSo+（1－α）Sr，其中系數α∈［0，1］，So和Sr分別表示目標感知的結構相似度與區域感知的結構相似度，關于So和Sr的具體計算可以參考文獻[26]。在實驗中設置α=0.5。為了評估腫瘤分割結果的整體和局部精度，本文還引入EM指標，它可以同時考慮像素級誤差與圖像級誤差，關于EM的具體介紹見文獻[27]。

3.2 實驗細節

本文框架由PyTorch 1.12.0實現，并在NVIDIA GeForce RTX 2080 GPU上進行訓練。本文使用U-Net作為分割網絡的backbone。在訓練過程中，本文采用初始學習率為1E-4，學習動量為0.9，權重衰減為1E-7的Adam優化器對網絡權值進行優化。本文將batch_size設置為4，epoch設置為160。本文不使用任何進一步增強輸出的后處理操作。式（6）中δ和γ為初始化為1的自適應可學習參數。在損失函數部分，μ和β分別設置為1/3和2/3。通過以上設置，框架準確定位小目標的同時，實現非顯著腫瘤的更精準分割。

3.3 與其他先進方法在SISD上進行比較

為了驗證本文框架在小腸間質瘤分割任務上的有效性和優越性，本節設置11組實驗，分別與傳統分割方法U-Net[19]、Attention U-Net[28]、DenseUNet[29]，非顯著目標分割方法SINet[30]、SINet-V2[31]、ZoomNet[24]、FSPNet[32]以及現有腫瘤分割方法PraNet[33]、SCRN[34]、U-Shiftformer[35]進行比較。表1顯示詳細的對比結果。在6個評價指標下，本文框架均獲得比其他分割方法更好的分割結果。具體來說，與傳統分割方法U-Net相比，本文方法在Dice值上提升9.75百分點。與專門用于腫瘤分割的方法相比，本文在Dice值上的提升幅度為8.5～35.11百分點，并且在ACC、F1、SM、EM等指標上均有大幅顯著提高。與目前最好的非顯著目標分割方法SINet-V2相比，本文Dice值提高7.38百分點，SM值和EM值分別提高17.33百分點和8.09百分點。為了更加直觀地對比本文框架在分割效果上的優越性，圖6可視化呈現了本文框架和SOTA的預測結果，其中綠、紅、黃分別表示預測區域、標注區域和重疊區域（參見電子版）。圖6（a）（b）分別為5個病例的原圖和真實標注，其他列分別為U-Net、PraNet、SINet-V2和本文框架的分割結果。結果表明，U-Net在部分預測結果中對腫瘤定位不準確，這是由于腫瘤在CT圖像中整體占比小，導致U-Net沒有學習到足夠的有效特征，從而對小目標腫瘤不敏感。相比于U-Net，PraNet可以更加準確地定位到小目標腫瘤，但其分割結果出現明顯的假陽性和假陰性，這是由于腫瘤與背景相似度高，并且在視覺上極度不顯著，導致網絡很容易被復雜的干擾信息混淆，從而無法精準地分割出腫瘤。SINet-V2相比于其他方法分割效果最好，但仍然在圖6第4行中存在假陰性、在第5行中存在假陽性。相比之下，本文分割結果非常接近于小腸間質瘤的真實標注，細節更加精細，進一步驗證了本文框架的有效性。腫瘤定位準確證明了SFM可以提供全面、清晰的圖像表征。分割精度高證明GLM和LFM可以有效地抑制假陽性干擾，同時補充欠分割的假陰性區域。

3.4 與其他先進方法在PTD上進行比較

為了證明方法的通用性，本文再次在胰腺腫瘤數據集上進行定量評估，如表2所示。本文框架的分割結果在6個評價指標上均優于其他先進的分割方法。其中Dice值比傳統分割網絡U-Net高出8.51百分點，比目前最好的腫瘤分割方法PraNet高出5.64百分點，比效果最好的非顯著目標分割方法SINetV2高出4.07百分點。本節進一步可視化不同方法在胰腺腫瘤數據集的預測結果，可視化結果如圖7所示。本文框架相比于U-Net，對胰腺腫瘤定位更加準確。相比于PraNet和SINetV2，分割結果中假陽性、假陰性更低。很明顯，本文方法在胰腺腫瘤分割任務上也實現了更精細的分割邊界和更高的分割精度。再次證明SFM、GLM和LFM在學習背景和前景特征時的有效性。

3.5 消融實驗

在本節，在小腸間質瘤數據集上對整個框架的設計進行全面的消融研究，來驗證每個模塊的有效性。所有實驗都基于Dice、F1、SM、EM四個指標。每個實驗均使用相同的設置。

3.5.1 各個模塊的影響

在本文分割框架中，首先利用尺度融合模塊學習既清晰又全面的圖像表征，然后利用全局定位模塊在全局的角度對腫瘤進行定位，最后分層聚焦模塊在不同層次上細化腫瘤的分割結果。為了驗證不同模塊的有效性，如表3所示，本節對這些模塊進行多組實驗。U表示使用傳統的U-Net進行小腸間質瘤的分割。S表示在框架中加入SFM，G表示在框架中加入GLM，L表示在框架中加入LFM。對比U和S的實驗結果，發現S的性能要明顯優于U。這是由于SFM通過整合豐富的尺度特征，幫助框架在復雜背景中提取關鍵的腫瘤信息，從而完成小目標腫瘤的準確定位。S-G在4個評價指標上均高于S，這證明GLM可以捕獲更細致的全局特征，有利于非顯著腫瘤的準確分割。在所有方法中，將三個模塊融合的S-G-L實現最好的實驗結果。這要歸因于，LFM基于前景注意特征和背景注意特征分別進行上下文探索，逐層發現并去除假陽性和假陰性干擾，得到更精細的腫瘤分割結果。這些實驗結果清晰地反映SFM、GLM和LFM的有效性以及設計的合理性。

3.5.2 尺度策略的影響

為了證明本文在尺度融合模塊中使用的尺度策略（0.5、1、1.5）可以獲得最優秀的特征表征。如表4所示，本節在只改變尺度策略的情況下進行多組實驗。1、1、1的尺度策略表示提取并融合3個1.0×的尺度特征。由實驗結果可得，1、1、1的尺度策略效果最差。這是由于多次融合單一尺度特征，導致框架忽略數據結構信息的模糊性，從而造成性能下降。0.5、1、1.5的尺度策略效果最好，在Dice和EM值上均有大幅提升。這是因為腫瘤的紋理、外觀特征非常重要，相比于其他尺度策略，0.5、1、1.5的尺度策略可以使框架更加充分地感知腫瘤的整體與細節，從而對小目標腫瘤定位更加準確。

3.5.3 注意力機制的影響

為了證明本文在全局定位模塊中使用的非局部注意力的確能獲得更大的感受野，本節對使用GLM與不使用GLM的腫瘤分割效果進行可視化，如圖8所示，綠、紅、黃分別表示預測區域、標注區域和重疊區域（見電子版）。很明顯，使用GLM的框架可以更好地聚焦于目標整體，有助于分割出更完整的腫瘤。此外，本節還與其他主流的注意力機制SE、ECA、CAM、SAM進行對比，對比結果如表5所示。本文所使用的注意力機制在四個指標上均一致地高于其他方法。這是由于SE、ECA、CAM僅考慮通道維度上的注意力，無法捕捉空間維度上的注意力，所以不適用于強調邊緣的非顯著目標分割，而SAM在捕捉全局上下文依賴關系方面存在一定限制。相比于其他注意力機制，本文所使用的非局部注意力可以同時獲取通道和空間維度的長范圍依賴關系，從全局角度增強最深層次特征的語義表示，從而實現非顯著腫瘤的高精度分割。

3.5.4 干擾線索的影響

本節定量地分析在分層聚焦模塊中僅引入背景干擾、僅引入前景干擾、引入背景+前景干擾對框架性能的影響。實驗結果如表6所示，同時考慮兩種類型干擾比只考慮一種類型干擾的分割效果更好。這是由于不加區分地對輸入特征中的干擾信息進行探索會大大增加目標挖掘的難度，從而阻礙錯誤區域的進一步發現與去除。

4 結束語

本文通過模仿醫生的診斷行為，提出基于多尺度視覺信息和非局部目標挖掘的非顯著小腫瘤分割框架。針對小尺度腫瘤難以準確定位的問題，本文設計SFM，通過分層地聚合多尺度特征，得到清晰、完整的腫瘤表征。針對非顯著腫瘤的預測結果中常常出現假陽性、假陰性的問題，本文設計GLM和LFM，首先由GLM在全局范圍內對腫瘤進行粗分割，然后由LFM基于前景特征與背景特征分別進行上下文探索，逐層細化粗分割結果。本文在小腸間質瘤和胰腺腫瘤數據集上進行大量實驗，實驗結果驗證了本文方法在非顯著小腫瘤分割任務上的有效性和通用性。本文方法為醫學圖像界非顯著小目標分割提供新的理論和技術。未來將繼續深入探索目標挖掘在醫學圖像領域應用的潛力。

參考文獻：

[1]Miller K D， Nogueira L， Devasia T，et al.Cancer treatment and survivorship statistics 2022[J].CA： A Cancer Journal For Clinicians， 2022， 72（5）： 409-436.

[2]朱玉蘭， 鄭曉， 陳陸俊. 胰腺癌免疫治療研究進展[J].臨床腫瘤學雜志， 2023， 28（6）： 549-554. （Zhu Yulan， Zheng Xiao， Chen Lujun. Research progress in immunotherapy for pancreatic cancer[J].Journal of Clinical Oncology， 2023， 28（6）： 549-554.）

[3]趙廣文， 王陽， 楊晨. 基于注意力與金字塔融合的醫學圖像分割仿真[J].計算機仿真， 2022， 39（2）： 184-190. （Zhao Guangwen， Wang Yang， Yang Chen. Medical image segmentation simulation based on attention and pyramid fusion[J].Computer Simulation， 2022， 39（2）： 184-190.）

[4]宋雨薈. 基于深度集成網絡的心臟結構分割方法研究[D]. 合肥： 安徽大學， 2021. （Song Yuhui. Research on cardiac structure segmentation method based on deep ensemble network [D]. Hefei： Anhui University， 2021.）

[5]夏棟， 張義， 巫彤寧， 等. 深度學習在肝臟腫瘤CT圖像分割中的應用[J].北京生物醫學工程， 2023， 42（3）： 308-314. （Xia Dong， Zhang Yi， Wu Tongning， et al.Application of deep learning in liver tumor CT image segmentation[J].Beijing Biomedical Engineering， 2023， 42（3）： 308-314.）

[6]曾安， 陳旭宙， 姬玉柱， 等. 基于自注意力和三維卷積的心臟多類分割方法[J].廣東工業大學學報， 2023， 40（6）： 168-175. （Zeng An， Chen Xuzhou， Ji Yuzhu， et al.Multi-class segmentation method of heart based on self-attention and three-dimensional convolution[J].Journal of Guangdong University of Technology， 2023， 40（6）： 168-175.）

[7]袁春誠. 基于全卷積神經網絡的嬰幼兒腦MR圖像分割算法研究[D]. 重慶： 重慶郵電大學， 2022. （Yuan Chuncheng. Research on infant brain MR image segmentation algorithm based on fully convo-lutional neural network[D]. Chongqing： Chongqing University of Posts and Telecommunications， 2022.）

[8]陳英， 鄭鋮， 易珍， 等. 肝臟及腫瘤圖像分割方法綜述[J].計算機應用研究， 2022， 39（3）： 641-650. （Chen Ying， Zheng Cheng， Yi Zhen， et al.Review of liver and tumor image segmentation methods[J].Application Research of Computers， 2022， 39（3）： 641-650.）

[9]陳江霞. 基于卷積和自注意力的心臟MRI分割算法研究[D]. 重慶： 重慶理工大學， 2023. （Chen Jiangxia. Research on cardiac MRI segmentation algorithm based on convolution and self-attention[D]. Chongqing： Chongqing University of Technology， 2023.）

[10]李自強. 基于卷積神經網絡的胰腺腫瘤分割研究[D]. 南京： 東南大學， 2021. （Li Ziqiang. Research on pancreatic tumor segmentation based on convolutional neural network[D]. Nanjing： Southeast University， 2021.）

[11]李嘉銘， 折嬌， 任書敏， 等. 基于多階段空間視覺線索和主動定位偏移的胰腺分割框架[J].陜西科技大學學報， 2023， 41（6）： 193-220. （Li Jiaming， Zhe Jiao， Ren Shumin， et al.Pancreas segmentation framework based on multi-stage spatial visual cues and active positioning offset[J].Journal of Shaanxi University of Science and Technology， 2023， 41（6）： 193-220.）

[12]潘聲雪. CT圖像中胰腺腫瘤的自動分割方法研究[D]. 蘇州： 蘇州大學， 2023. （Pan Shengxue. Research on automatic segmentation method of pancreatic tumors in CT images[D]. Suzhou： Soochow University， 2023.）

[13]Gai Di， Zhang Jiqian， Xiao Yusong，et al.GL-SegNet： global-local representation lear-ning net for medical image segmentation[J].Frontiers in Neuroscience， 2023， 17： 1153356.

[14]Khdhir R， Belghith A， Othmen S. Pancreaticcancer segmentation and classification in CT imaging using antlion optimization and deep lear-ning mechanism[J].International Journal of Advanced Computer Science and Applications， 2023， 14（3）： 50-61.

[15]Yang Minqiang， Zhang Yuhong， Chen Haoning，et al.AX-U-Net： a deep learning framework for image segmentation to assist pancreatic tumor diagnosis[J].Frontiers in Oncology， 2022， 12： 894970.

[16]Dmitriev K， Gutenko I， Nadeem S，et al.Pancreas and cyst segmentation [C]// Styner M A， Angelini E D. Medical Imaging 2016： Image Processing. [S.l.]： SPIE， 2016： 97842C.

[17]Wei Zihan， Chen Yizhou， Guan Qiu，et al.Pancreatic image augmentation based on local region texture synthesis for tumor segmentation[C]// Proc of International Conference on Artificial Neural Networks. Cham： Springer， 2022： 419-431.

[18]Peng Yanjun， Hu Xiqing， Hao Xiaobo，et al.Spider-Net： high-resolution multi-scale attention network with full-attention decoder for tumor segmentation in kidney， liver and pancreas[J].Biomedical Signal Processing and Control， 2024， 93： 106163.

[19]Ronneberger O， Fischer P， Brox T. U-Net： convolutional networks for biomedical image segmentation[C]// Proc of Medical Image Computing and Computer Assisted Intervention Society. Cham： Springer， 2015： 234-241.

[20]張登峰. 基于深度學習的腦腫瘤醫學圖像分割方法研究[D]. 杭州： 杭州電子科技大學， 2023. （Zhang Dengfeng. Research on brain tumor medical image segmentation method based on deep lear-ning[D]. Hangzhou： Hangzhou University of Electronic Science and Technology， 2023.）

[21]王宇昕， 付曉薇， 趙思宇， 等. 基于多層融合注意力的乳腺腫瘤圖像分割方法[J].計算機技術與發展， 2023， 33（7）： 139-145. （Wang Yuxin， Fu Xiaowei， Zhao Siyu， et al.Breast tumor image segmentation method based on multi-layer fusion attention[J].Compu-ter Technology and Development， 2023， 33（7）： 139-145.）

[22]Simonyan K， Zisserman A. Very deep convolutional networks for large-scale image recognition [EB/OL]. （2015-04-10）. https：//arxiv.org/abs/1409.1556.

[23]He Kaiming， Zhang Xiangyu， Ren Shaoqing，et al.Deep residual learning for image recognition[C]// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2016： 770-778.

[24]Pang Youwei， Zhao Xiaoqi， Xiang T Z， et al. Zoom in and out： a mixed-scale triplet network for camouflaged object detection[C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Re-cognition. Piscataway， NJ： IEEE Press， 2022： 2150-2160.

[25]Simpson A L， Antonelli M， Bakas S， et al. A large annotated medical image dataset for the development and evaluation of segmentation algorithms [EB/OL]. （2019-02-25）. https：//arxiv.org/abs/1902.09063.

[26]Fan Dengping， Cheng Mingming， Liu Yun，et al.Structure-measure： a new way to evaluate foreground maps [C]// Proc of IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE Press， 2017： 4558-4567.

[27]Fan Dengping， Gong Cheng， Cao Yang，et al.Enhanced-alignment measure for binary foreground map evaluation[C]// Proc of the 27th International Joint Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2018： 698-704.

[28]Oktay O， Schlemper J， Folgoc L L， et al. Attention U-Net： learning where to look for the pancreas[EB/OL]. （2018-05-20）. https：//arxiv.org/abs/1804.03999.

[29]Huang Gao， Liu Zhuang， Van Der Maaten L，et al.Densely connected convolutional networks[C]// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2017： 4700-4708.

[30]Fan Dengping， Ji Gepeng， Sun Guolei，et al.Camouflaged object detection[C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2020： 2774-2784.

[31]Fan Dengping， Ji Gepeng， Cheng Mingming，et al.Concealed object detection[J].IEEE Trans on Pattern Analysis and Machine Intelligence， 2021， 44（10）： 6024-6042.

[32]Huang Zhou， Dai Hang， Xiang Tianzhu，et al.Feature shrinkage pyra-mid for camouflaged object detection with transformers[C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2023： 5557-5566.

[33]Fan Dengping， Ji Gepeng， Zhou Tao，et al.PraNet： parallel reverse attention network for polyp segmentation[C]// Proc the 23rd International Conference on Medical Image Computing and Computer-Assisted Intervention. Berlin： Springer-Verlag， 2020： 263-273.

[34]Wu Zhe， Su Li， Huang Qingming. Stacked cross refinement network for edge-aware salient object detection[C]// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway， NJ： IEEE Press， 2019： 7264-7273.

[35]Lin Chihwei， Chen Zhongsheng. U-Shiftformer：brain tumor segmentation using a shifted attention mechanism[C]// Proc of IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway， NJ： IEEE Press， 2023： 1-5.