全局與局部注意力機制的胃部腫瘤分割算法

徐凱成，方志軍，蔡清萍，衛子然，高永彬，姜曉燕

1.上海工程技術大學電子電氣工程學院，上海201600；2.上海長征醫院,上海200003

前言

胃癌作為全球范圍內致死率最高的癌癥之一［1］。胃癌的術前分期對治療策略的制定起著至關重要的作用［2］。上消化道內視鏡檢查（胃鏡）是胃癌檢測的金標準，但由于其本身是一種侵入性檢查，不僅對操作醫師的技術要求較高，且患者需要承受一定的痛苦［3］。通過CT 診斷胃癌是一種高效無痛的方法，也成為未來醫學工程重點發展的胃癌診斷技術手段［4］。然而由于專家資源分布不均衡，在CT 上實現精準的術前分期難度很高，事實上即使是由多位專家共同完成診斷，其結果仍然會存在很強的主觀性。基于深度學習的方法由于其出色的自學習能力成為醫學圖像分析的主要選擇之一，在減少專家重復性工作的同時也提供了更加客觀的參考。

分割作為計算機視覺的基本任務之一，被廣泛地應用于各種領域。在醫學影像中，通過對病灶及器官組織區域的提取可以獲得許多有價值的信息，如尺寸、位置等，這些信息對最后診斷提供了很大的幫助。醫學影像分割在諸多醫學影像應用中起著至關重要的作用，其基本原理是通過灰度、顏色、紋理、亮度和對比度來識別病變或器官區域所對應的像素或體素［5-6］。與傳統自然圖像相比，醫學影像分割的難點主要有數據量少，圖像質量低（對比度、模糊、噪音、偽影和失真），不同樣本間器官組織差別較大等［7-8］。

近幾年，由于U-Net網絡在醫學影像分割任務中的出色表現［9］，被許多學者選擇為基礎框架，并以此展開進一步研究。對于醫學影像來說，復雜的背景信息會導致提取的特征中包含多余噪聲，而現有的一些分割算法并沒有針對編碼過程中提取的粗糙特征進行精細篩選［10-11］，這增加了解碼模塊還原對象的難度。因此，使用合適的方法來獲取上下文信息并實現特征的篩選十分關鍵。Fu 等［12］嘗試獲取全局依賴來豐富局部特征，這類方法太過于依賴全局信息而忽略了局部信息的自身價值；Gu 等［13］采用了不同感受野的尺寸來獲取更多的上下文信息，該類型的方法雖然提升了感受野，但是這些信息仍然是局部的，即信息來源為一部分周圍像素。

針對胃部腫瘤較難精確分割的問題，本文提出了一種基于注意力機制的2D分割網絡GLat-Net來實現上腹部CT影像胃部腫瘤區域的分割。并引入一種注意力機制模塊，分別從全局和局部兩個角度來突出有價值信息和抑制無用信息；同時采用權值模塊決定解碼過程中通道上的權值，通過對通道上的特征進行篩選來提升分割的效果。相較于已有的方法，其主要優勢在于同時采用了全局與局部視角，以共同監督互相約束的方式來對粗糙特征進行精細篩選，從而有效的提高了胃部腫瘤分割的準確率。本文所提出的方法應用到上海長征醫院臨床上腹部CT影像數據分析中，結果表明GLat-Net可以精確地提取胃部腫瘤，相較于其他前沿分割方法有著更好的表現。

1 分割方法

本文提出運用GLat-Net 網絡結構作為分割網絡，主要由編碼、GL-Attention 模塊和解碼3 部分構成，如圖1所示。本文采用ResNet-34 作為模型的backbone來對輸入進行特征提取，為了獲取更豐富的上下文信息，使用全局-局部注意力機制，結合全局和局部兩個角度來提取更豐富的特征。在編碼過程中，本文采用了加權模塊來學習通道之間的相關性并給通道賦予權值，進一步提升分割表現。

圖1 GLat-Net結構示意圖Fig.1 GLat-Net architecture

1.1 編碼

由于數據量少的限制，為了降低欠擬合和過擬合的風險，本文選擇了ResNet-34 作為網絡的主體。與傳統的U-Net結構（每個編碼模塊包含兩個卷積層和一個池化層）相比，ResNet-34的跳躍連接在抑制梯度消失現象上具有更好的表現，并且在訓練中提升了網絡的收斂能力［14］。

1.2 全局-局部注意力機制

由于受到容積效應的影響，腫瘤在CT 上呈現的密度會與實際密度存在偏差。胃部腫瘤的分割主要面臨以下幾個困難：腫瘤形狀的多樣性，不同分期下腫瘤尺寸的差異性以及組織紋理的模糊性。如圖2所示，紅色標注區域為腫瘤位置。因此，為了能更好地提取出腫瘤，需要增加對腫瘤周圍區域的關注。Li等［15］提出，全局視角雖然能提供有價值的上下文信息，但是圖像中并不是所有對象都對物體定位起著積極作用，而物體周邊的局部信息能對特殊區域內的推理提供線索。因此，對于醫學影像這類具有復雜背景的數據而言，合理利用局部信息是十分必要的。基于此，本文提出一種全局-局部注意力機制，從全局和局部兩個角度突出有效信息，抑制干擾信息，提升腫瘤提取的準確性。

圖2 不同數據樣本間的多樣性Fig.2 Diversity of different data samples

在圖3所示的GL-Attention 結構中，分別設置了全局和局部雙路徑來實現特征的共同篩選。本文按水平與垂直兩個方向來獲取有價值的全局上下文信息，首先將輸入張量x的行元素輸入到雙向長短期記憶網絡（biLSTM）中，得到與x尺寸一致的張量x'，隨后將x'的列元素也以同樣方式輸入到biLSTM中并得到張量x''，通過兩個雙向的biLSTM 使得感受野能夠覆蓋整個輸入圖，該張量中每個元素代表全局視角下的原輸入x對應位置的權值。類似地，為了獲取局部上下文信息，在局部路徑上采用了金字塔池化層［16］，池化核尺寸分別設置為：2×2、3×3 和5×5，多尺寸的池化核提供了不同大小的感受野，這使得網絡能夠適應目標物體尺寸上的差異。采用雙線性插值來統一經金字塔池化后得到特征圖像尺寸，將不同池化層的輸出張量拼接后，通過1×1卷積得到與輸入張量x通道數一致的局部特征圖像，該張量中每個元素分別代表局部視角下的原輸入x對應位置的權值。將全局特征圖像和局部特征圖像進行逐元素相乘經過softmax函數后得到最終的注意力圖a：

其中，R(x)和P(x)分別代表兩次的biLSTM 和金字塔池化，σ為softmax函數。效果如圖4所示。將注意力圖a與輸入特征x相乘后便得到篩選后的特征，最后，將輸入張量x與篩選后的特征進行相加。

圖3 GL-Attention結構圖Fig.3 GL-Attention architecture

圖4 GL-Attention效果的可視化Fig.4 Visualization of GL-Attention

1.3 解碼權重模塊

在解碼過程中，網絡會根據在編碼中得到的高級特征進行圖像還原，值得注意的是，并不是所有高級特征都有助于提升分割精度。為了能學習它們之間的相關性以及不同通道間的貢獻，本文采用了一種權重模塊來獲取各個通道的權值，實現通道上的特征篩選［17］。

如圖5所示，首先通過全局平均池化層對輸入張量t∈RW×H×l做逐通道的統計，統計結果u∈R1×1×l中的每個元素um(m=1,2,…,l)可以用來描述對應通道上的整個圖像。根據統計結果u，采用兩個1×1 的卷積與ReLU 和Sigmoid 函數來獲取通道權重A∈R1×1×l，通道權重A中每個元素am(m=1,2,…,l)代表著通道m的權值。值得注意的是，為了減少計算消耗，第一個1×1卷積層的輸出張量通道數被壓縮為l/r，l為原通道數，r為壓縮率，第二個1×1 卷積層將壓縮后的通道還原為l。將生成的權重A與原輸入張量t對應相乘得到篩選后的結果t'。具體計算過程如下所示：

其中，?為卷積運算，v，w1和w2分別為對應特征的權重矩陣，R和S 分別代表ReLU 函數和Sigmoid 函數，通過實驗證明，當解碼權重塊應用于d2，d3和d4的側輸出時效果最為明顯，其中，dn(n=1,2,3,4)分別代表第n個解碼模塊。由于不同解碼權重模塊的輸出尺寸不同，為了使輸出張量間能夠進行累加運算，采用了插值策略（用U表示）來統一t'的尺寸，計算過程如下所示：

圖5 解碼權重模塊說明Fig.5 Illustration of weight module in decoder module

1.4 loss函數

由于腫瘤的尺寸在不同分期階段所呈現出的尺寸差異較大。當背景的像素個數遠遠大于腫瘤的像素個數時，正負樣本之間的差距會嚴重失衡。標準交叉熵損失函數并不適用于這種情況。為了解決此類問題，采用了對于類別不均衡數據中表現更好的dice coefficient loss函數［18-19］，定義如下：

其中，N和C分別代表像素和類別的總數，p(c,i)∈［0,1］是預測為c類的概率。相似地，g(c,i)∈{0,1}是第c類的標簽代表不同類的權重。

整體loss函數定義如下：

其中，Lreg代表L2 正則化函數來防止網絡在訓練過程中出現過擬合，λ是正則化系數，w是權重系數向量。

2 實驗與分析

2.1 實驗數據

本實驗為了討論GLat-Net應用于胃部腫瘤分割在臨床診斷上的有效性，采用了上海長征醫院臨床中440組包含不同分期的上腹部CT數據，圖像尺寸為512×512，其中，390組將作為訓練集，50組作為測試集。

2.2 實驗設置

本次實驗使用Pytorch 庫來搭建網絡模型，操作系統為Ubuntu 16.04，顯卡為11G 的NVIDIA GeForce GTX 1080 Ti。

在訓練中，總迭代次數total_iter為150，初始學習率base_lr 設置為0.000 2，采用了poly 學習率衰減策略來調整學習率，更新公式為：

其中，power 設置為0.9，實驗采用Adam 算法對網絡進行優化。

2.3 實驗結果分析

為了驗證本文所提出的GLat-Net 的有效性，通過計算交并比(IoU)和準確率(Acc)，將其與當前前沿的分割算法U-Net［10］、Dense U-Net［20］、CE-Net［13］和Attention U-Net［21］進行對比，對比參數IoU 和Acc，見公式（10）和（11）：

其中，TP，FN，FP，TN 分別代表真陽性，假陰性，假陽性以及真陰性像素的數量。經計算，獲得胃部腫瘤分割效果對比如表1所示。

從量化結果可以看到，對于U-Net、Dense U-Net、CE-Net 和Attention U-Net，CE-Net 在腫瘤分割任務上表現更為出色，其在IoU 和Acc 兩個指標上分別達到了79.80%和99.47%，而本文提出的GLat-Net 達到了80.74%和99.53%。相較于傳統的U-Net，CE-Net在IoU 上提升了0.41%，而GLat-Net 提升了1.35%。由此可以得出GLat-Net 輸出的分割結果與標注有更高的重合率，在原圖中更多的像素被準確地分類。ROC曲線對比如圖6所示。

表1 胃部腫瘤分割的量化結果（%）Tab.1 Quantitative results of gastric tumor segmentation(%)

分割的可視化結果如圖7所示，胃部腫瘤的位置被用不同的顏色標出，圖7a為CT 原圖。作為參考標準，圖7b 中，原圖中腫瘤的正確位置被用紅色標出。圖7c～e 分別為U-Net、Attention U-Net 以及CE-Net 的分割可視化結果，分別用綠色、藍色、青色標記，本實驗分割結果圖7f 由黃色標出。相較于對比的分割算法，GLat-Net 在腫瘤的提取方面取得了更好的效果。通過對比可視化結果中紅色方框標出的區域，發現在U-Net、Attention U-Net 和CE-Net 的結果中存在著間斷的現象，且在輪廓上存在較明顯的誤差，但是GLat-Net生成的結果中并不存在這類問題，腫瘤區域的像素在GL-Attention 的全局局部共同約束下增強了腫瘤區域像素間的相關性，有效地抑制了間斷現象的發生，且在輪廓上也有更好的表現。

圖6 ROC曲線對比Fig.6 Comparison of ROC curve

圖7 胃部腫瘤分割結果Fig.7 Results of gastric tumor segmentation

2.4 消融實驗

訓練曲線圖如圖8 所指示，相較于U-Net，ResNet-34的曲線收斂地更快。

在表2中，給出了權重模塊在不同解碼模塊上的表現，根據實驗結果可以證明，當解碼權重模塊被應用在第2、3、4 層解碼層時效果最佳。為了評估網絡中各個部分的表現，每個模塊都分別單獨進行了實驗，來驗證本文所提出的GLat-Net的有效性。如表3所示，基準模型是以ResNet-34 為主體，由編碼和解碼兩部分組成的U 型結構網絡，單獨進行實驗后，得到IoU 和Acc 結果分別為79.37%和99.45%。添加了本文提出的GL-Attention 模塊后，IoU 和Acc 的量化結果分別為80.44%和99.52%，解碼權重模塊單獨作用時，IoU 和Acc 中的量化結果分別為80.59% 和99.52%。綜上可見，本文所提出的方法有效地提升了胃腫瘤分割的準確度。

圖8 U-Net和Res-Net 34訓練曲線圖Fig.8 Training curves of U-Net and Res-Net 34

表2 解碼權重模塊的表現對比（%）Tab.2 Performance comparison of decoder module with or without weight module(%)

表3 消融實驗量化結果（%）Tab.3 Quantitative results of ablation experiment(%)

3 總結

通過CT實現胃部腫瘤醫學影像的分割和快速診斷成為術前的重要依據。本文提出了一種基于注意力機制的分割模型GLat-Net的胃部腫瘤區域提取方法。該方法結合全局和局部兩個視角來提取上下文信息，并根據這些信息來突出有效特征和抑制無用特征，降低了CT影像上腫瘤不確定性特征的干擾；同時采用了解碼權重模塊來學習通道間的相關性，通過對通道賦予權重提升了分割效果。實驗證明該方法能夠在胃部腫瘤分割任務上得到準確的分割結果，與前沿分割網絡CE-Net相比，該方法在交并比上提升了0.94%。