CG-Net改進的結直腸癌病灶分割算法

李蘭蘭，胡益煌，王大彪，徐 斌，李 娟

(1.福州大學 物理與信息工程學院 福建省媒體信息智能處理與無線傳輸重點實驗室，福建 福州 350108；2.福州大學 石油化工學院，福建 福州 350108；3.中山大學附屬第六醫院 內鏡外科 廣東省結直腸盆底疾病研究重點實驗室，廣東 廣州 510655)

0 引 言

對于結直腸癌的病灶分割已經成為重要的研究問題[1-3]。U-Net是一種最為常用的醫學分割網絡模型，具有編碼器-解碼器的結構[4]。為了進一步提高U-Net的性能，許多學者對U-Net進行改進。例如，Guo等[5]將VGG模塊作為U-Net的編碼器，在結直腸息肉分割任務中獲得了較高的分割精度；Abedalla等[6]將在ImageNet上預訓練過的ResNet作為編碼器部分，在胸部X射線圖像氣胸分割問題中取得了很好的效果；Li等[7]基于DenseNet模型設計編碼器，提高了肝臟和肝腫瘤分割的精度；Oktay等[8]在U-Net框架下添加門注意力模塊，旨在選擇出對當前任務更關鍵的特征，在腹部CT多標簽分割問題中得到了很好的應用。

上述方法設計了不同的網絡結構用于醫學圖像分割，然而這些網絡算法存在著一些局限性：①門注意力機制在取得較好分割效果的同時，模型參數量也在大幅上漲，耗費的硬件資源和時間較多；②VGGNet、ResNet和DenseNet雖然模型越來越復雜，特征的提取能力越來越強，但是局限于提取更優秀的深層特征和淺層特征[9]，不能夠充分學習圖像的全局特征和局部特征，從而導致不能很好分割病灶區域。

基于上述問題，本文改進了語境引導網絡(context guided network，CG-Net)，在網絡中引入深度可分離卷積，使得整體改進的模型在輕量性和高性能之間取得平衡。在編碼模塊中加入高效金字塔通道注意力(efficient pyramid channel attention，EPCA)模塊學習多尺度全局特征，并采用殘差思想與語境引導塊提取的局部特征相結合，學習豐富高級和低級語義特征。

1 基于改進CG-Net的結直腸癌病灶區域分割

1.1 CG-Net簡介

基于輕量化語義分割的思想下，Wu等[10]提出了一種新穎的語境引導網絡，它是一種輕量級、高效的語義切分網絡。它的上下文引導(context guided，CG)塊，首先是一個1×1的卷積，而后并行卷積。一個并行卷積是3×3的卷積用于提取局部特征，另一個并行卷積是3×3的空洞卷積用于提取局部上下文特征，最后將特征在通道上進行整合加權用于優化全局上下文特征，能夠同時學習局部特征和周圍上下文的聯合特征，并進一步優化聯合特征與全局上下文特征。CG-Net經過精心設計，所采用的3×3卷積是基于深度卷積，能夠減少參數數量并節省內存占用。在參數數目相同的情況下，CG-Net的性能能夠明顯優于現有的分割網絡。

1.2 改進算法

改進算法基于CG-Net，在CG塊中加入EPCA模塊，提高多尺度全局特征的表達性。引入深度可分離卷積，在模型參數量和性能間取得一個平衡，并采用殘差思想與CG塊提取的局部特征結合，學習低層和高層特征，從而組合成本文提出的高效金字塔語境引導(efficient pyramid context guided，EPCG)塊，將本文提出的網絡稱為EPCG-Net。算法流程如圖1所示。

圖1 算法流程

改進算法主要步驟包括：

(1)數據處理：對獲得的MRI圖像進行預處理和數據增強操作。

(2)網絡搭建與訓練：神經網絡基于CG-Net，在CG塊中加入EPCA模塊，采用殘差思想與語境引導塊提取的局部特征結合，進行訓練。

(3)預測分割：輸入測試數據，讀取訓練時保存好的模型權重并執行預測。將預測結果與Label進行對比評價。

1.2.1 EPCG模塊

借鑒CG-Net網絡的思路，提出EPCG模塊。在該模塊中首先采用1×1的卷積操作，然后將卷積操作后的向量分別送入3×3的卷積和3×3的空洞深度可分離卷積，接著將普通卷積和空洞深度可分離卷積的兩個張量進行通道疊加，隨后對合并的張量進行BatchNorm批歸一化，在歸一化輸出后加入PReLU激活函數。3×3的普通卷積用于提取局部特征，3×3的空洞卷積用于提取局部上下文特征，隨著空洞率提高，提取的上下文特征范圍會逐漸提高，利用深度可分離卷積減少深度卷積引起的性能下降，參數量又不會增加太多，取得參數量和性能的一個平衡；通過PReLU函數激活使網絡具有非線性映射學習能力。將激活后的張量通過EPCA模塊，最后為了緩解梯度消失，增強網絡性能，采用殘差的思想，將處理后的張量與初始輸入張量進行相加。EPCG模塊如圖2所示。

圖2 EPCG模塊

通道注意力機制允許網絡有選擇地對每個通道的重要性進行加權，能夠幫助網絡更好的學習需要的特征。設X∈RC×H×W表示輸入特征圖，其中C、H、W分別表示其通道數、高度和寬度。SE塊由兩部分組成：壓縮和激勵，分別用于編碼全局信息和自適應地重新分配通道關系權重。通過使用全局平均池化來生成通道級描述，該全局平均池化將全局空間信息嵌入到通道描述中。全局平均池化運算符可以通過以下公式表示

(1)

SE模塊中第c個通道的關注權重可以表示為

wc=σ(W1δ(W0(gc)))

(2)

圖3 SEWeight模塊

在高效金字塔拆分注意力(efficient pyramid split attention，EPSA)模塊中[12]，輸入特征先將通道進行平均劃分，然后把切分好的特征張量送入分組卷積。但是這會導致提取不同尺度特征所包含信息量不足，不能充分發揮注意力機制的效果。因此引出EPCA注意力模塊，首先進入分組卷積模塊(GConv Module)將輸入張量并行進行不同尺度的組卷積操作得到多尺度特征Fi(i=0，1，2，3)， 旨在提取不同尺度的特征，每個尺度的卷積組數根據卷積核大小按式(7)關系遞增，以減少不同尺度卷積帶來的參數量，提高網絡效率。而后將多尺度特征在通道上重新連接得到重構特征張量F。 通過SEWeight模塊提取多尺度特征張量的通道關注度權重來構建跨維交互，利用Softmax運算重新校準相應通道的關注權重得到AttWeight， 從而建立了通道依賴關系，將逐元素乘積的運算應用于重新校準的權重和對應的特征映射。最后得到更豐富的多尺度特征信息的重構特征圖作為輸出output。 EPCA模塊如圖4所示，其算法流程如算法1所示。Fi、F、AttWeight、output之間的關系如以下公式所示

圖4 EPCA模塊

F=Cat([F1，…，Fi])i=1，2，3，4

(3)

(4)

AttWeight=([AttWeight1，…，AttWeighti])i=0，1，2，3

(5)

output=F?AttWeight

(6)

算法1：EPCA算法流程

Input：輸入張量數據Input

Output：輸入張量數據Output

(1)通過Gconv Module得到多尺度特征張量F

(2)fori=1,2,3,4do

(3) 將Fi通過式(4)計算得到通道重構關注權重AttWeighti

(4)endfor

(5)合并得到AttWeight

(6)Output=F?AttWeight

(7)returnOutput

圖5 GConv模塊

(7)

其中，G為分組的組數，K為對應的卷積核大小。

1.2.2 EPCG-Net網絡

表1 網絡詳細體系結構

圖6 整體網絡結構

2 實 驗

為了驗證改進模型的性能，通過中山大學附屬第六醫院提供的腹部MRI圖像數據來對改進模型進行驗證比較。本文所使用的網絡模型基于Python3.8語言環境和PyTorch 1.8版本深度學習平臺，在AMD(R)R7-4800H CPU@2.90 GHz，16 G內存，顯卡為NVIDIA RTX 2060電腦上運行，通過Adam優化器訓練模型，學習速率固定為0.001，epoch為 150。

2.1 數據集與預處理

(8)

其中，σ是高斯標準差，LoG(x，y) 是高斯拉普拉斯濾波器濾波后的像素點。

如圖7是經過高斯拉普拉斯濾波處理前后的圖像對比。

圖7 預處理前后對比

2.2 性能評價指標和損失函數

本文以中山大學附屬第六醫院經驗豐富的醫生提供的病灶區域分割結果作為金標準，分別從以下指標做出評價：準確率(Accuracy，Acc)、靈敏度(Sensitivity，Sen)、特異度(Specificity，Spe)、Dice[13]系數和mIoU[14]系數。這些評價指標有以下公式表達

(9)

(10)

(11)

(12)

(13)

其中，TP、TN、FP、FN分別表示真陽性、真陰性、假陽性和假陰性的像素點或數量，k+1表示類別個數，下標i表示對應類別。

對于網絡模型大小的評價指標有浮點運算數(FLOPs)和模型參數(Parameters)。對于FLOPs來說，有以下公式：

對于卷積層

FLOPs=H×W×(Cin×K2)×Cout

(14)

其中，H和W對應輸入特征的高度和寬度，Cin和Cout對應輸入和輸出通道，K代表卷積核大小。

對于全連接層

FLOPs=Cin×Cout

(15)

其中，Cin和Cout對應全連接函數輸入和輸出通道大小。

在本文中，FLOPs是基于256×256×3的網絡輸入圖像尺寸來計算的。

本文擬采用兩種類型的損失函數進行組合，分別為二元交叉熵損失函數(binary cross entropy loss，BCELoss)和Dice損失函數(DiceLoss)[15]。兩個損失函數定義如下所示

(16)

(17)

由于DiceLoss屬于復雜損失函數，雖然可以提高分割的性能，但是極容易造成網絡訓練出現梯度消失的問題。因此本文采用對兩個損失函數進行加權的方法組合，定義如下

(18)

實驗中，α取0.9。

由于模型訓練時采用批處理操作，因此實際訓練中使用的損失函數形式為

(19)

其中，N代表每批圖像的數量。

2.3 實驗結果

為了探究第二部分EPCG塊數量M和第三部分EPCG塊數量N對分割結果的影響，我們利用不同M和N的組合，在指標方面定性分析網絡的性能。一般來說，深層網絡的性能要好于淺層網絡，但代價是增加了計算成本和模型規模；與此同時過深的網絡容易出現學習退化現象，導致性能下降。實驗結果見表2，我們可以發現，當固定N時，分割精度并不隨著M的增加而增加或者出現了小幅下降。例如，N=12，將M從3改為6，Acc下降0.3個百分點，Sen下降4個百分點。因此，我們將M數量設置為3。此外，通過設置不同的N，我們在精度和模型大小之間進行了折衷。當M=3，N=9時，我們的方法在腹部數據集上獲得了0.819的最高Dice和0.790的最高mIoU。

表2 具有不同M、N的網絡性能

2.4 消融實驗

在中山大學附屬六院提供的腹部數據集上進行消融實驗，介于以上實驗結果，將EPCG塊的數量M定為3，N定

為9。定量分析結果見表3。我們分別對EPCG塊中的EPCA注意力機制、EPCG塊中的空洞卷積部分、EPCG塊中的深度可分離卷積部分、EPCG塊殘差相連和模塊部分二和部分三之間的殘差連接進行消融實驗。消融實驗分別為：①為一個基礎網絡模型；②在網絡模塊中加上EPCA注意力機制；③在網絡的模塊中加入空洞卷積；④將空洞卷積進一步修改為深度可分離卷積；⑤網絡模塊里加入殘差連接；⑥在模塊之間加入殘差連接，即最終的EPCG-Net。由表格數據可以看出實驗①～⑥的性能隨著模塊的加入而提升，實驗⑥的Dice、mIoU、Acc和Sen在消融實驗中取得了0.819、0.790、0.887和0.774的最優值。

表3 消融實驗

綜合上述分析，EPCG-Net網絡中的各模塊均對性能的提升有一定貢獻。

2.5 比較實驗

為了進一步驗證EPCG-Net的有效性，我們將EPCG-Net與目前經典分割網絡U-Net及其變體進行性能對比。同樣是在中山大學附屬六院提供的腹部數據集上進行，為了方便比較，我們對網絡進行了定量分析和定性分析。表4給出了實驗的評價指標結果，可以看到EPCG-Net取得了與AttU-Net相當的性能，但是模型參數量和浮點數大小卻遠遠小于AttU-Net；與基礎U-Net相比，EPCG-Net的模型參數量和浮點數大小也大幅減小。與U-Net、ResU-Net和DenseU-Net相比，Dice分別提高了6.9%、3.9%和0.3%，mIoU分別提高了7.8%、4.2%和0.6%。在Acc、Sen和Spe這3個指標上，EPCG-Net與其余網絡相比也具有較大的優勢。同時可以看到，當EPCG-Net取M3N21的時候，由于網絡復雜度變高、深度出現了過深的情況導致網絡性能出現了下降。

表4 與其它網絡在腹部數據集上的分割結果

在數據集上的損失函數收斂情況如圖8所示，可以看出EPCG-Net(M3N9)的損失函數收斂速度較快，且收斂的過程中波動幅度明顯低于所比較的網絡，對比其它網絡最終收斂的損失值也低一些。通過損失函數的表現可以看出改進的網絡具有良好的性能。

圖8 損失函數收斂結果

在數據集上的定性分割結果如圖9所示，可以看到CG-Net因為缺失多尺度金字塔注意力機制等結構在分割上出現了一定漏判，而U-Net及其變體出現了一定程度的誤判。同樣可以看出EPCG-Net取M3N21的時候由于網絡復雜度過大等原因在分割視覺效果上也出現了下降。定性分割結果與定量指標結果指向一致，EPCG-Net的分割結果能較好地描述真實的金標準。

圖9 在腹部測試集上的定性結果

綜上所述，EPCG-Net能夠取得較為優異的分割效果，而且能夠在模型輕量化和性能之間取得一個較好的平衡。

2.6 實驗分析

本文提出了EPCG-Net算法，以解決分割網絡參數量過大的問題以及模型輕量化導致的性能下降問題。在輕量化分割CG-Net網絡的啟發下，對CG-Net深度輕量化神經網絡進行改進，在編碼塊加入EPCA注意力模塊，以此來學習豐富全局特征，采用殘差思想將注意力模塊與編碼塊結合提出EPCG模塊，幫助網絡學習全局和局部特征信息。改進設計的網絡應用于結直腸癌MRI圖像病灶分割，實現了較好的分割性能和輕量化，具有一定的臨床實際應用潛力。從表4定量分析可以看出，相比于原CG-Net網絡在病灶分割性能上有一定提升，由此驗證EPCG-Net的改進方法是有效的。U-Net網絡在編碼層和解碼層之間加入了跳躍連接，從而達到因采樣卷積造成的特征損失而進行特征補充的作用，但是簡單的跳躍連接不能夠很好結合深層和淺層特征，因此EPCG-Net引入殘差連接提高模型的學習能力，在Dice和mIoU上分別比U-Net有較大提高。雖然ResU-Net加入了殘差塊以及DenseU-Net引入了密集連接相對提高了性能，但是模型的參數量也隨之提高，EPCG-Net由于引入了深度可分離卷積和分組卷積使得模型參數量大幅減少。隨著注意力機制在深度學習的快速發展，基于門注意力機制的AttU-Net開始出現，門注意力機制使得模型在訓練時會學會抑制不相關的區域，注重有用的顯著特征，性能得到顯著提升，但是隨之而來的模型參數量也明顯提高。EPCG-Net憑借改進高效金字塔注意力機制不僅能夠學習豐富的多尺度特征通道信息也極大程度減小了參數量。和AttU-Net相比，網絡性能略有提升，但是模型參數量和浮點數大小有了大幅度下降。以上結果驗證，EPCG-Net在性能和輕量化之間取得了一個較好的平衡。消融實驗結果表明(見表3)，實驗②的性能提升驗證了EPCA的有效性，說明EPCA的多尺度特征學習能夠學習分割目標的尺度變化。實驗⑤和⑥驗證了殘差連接是有效的。已有研究結果表明，分割細節修復是更困難的任務[16]。綜上所述，由殘差連接構成的模塊主要學習分割目標的尺度變化和分割細節是性能提升的主要原因。在對數據集和網絡進行定性分析可以看出(如圖6所示)，EPCG-Net在對病灶的分割程度上有著較好的視覺效果，在小病灶和病灶細節上，改進網絡有著不俗的表現。這是因為EPCG塊中的高效金字塔通道注意力機制能提取多尺度的特征和通道之間緊密的聯系，由EPCG塊到模塊部分的殘差連接使得網絡學習能力有一定的增強。AttU-Net雖然也有著良好的視覺分割效果，但是模型參數量和浮點數大小卻大幅增加。CG-Net運用了SE注意力模塊，能夠一定程度學習到特征間關系，但是容易出現漏判的情況。綜合來看，提出的EPCG-Net在定性上也取得了不錯的成績。

3 結束語

針對分割模型參數量過大以及輕量級網絡導致的性能下降問題，提出了一種基于CG-Net改進的輕量級分割網絡算法。為了更好發掘空間信息，網絡先進行了特征的初步提取；在二、三部分中，EPCG塊的空洞卷積采用了深度可分離卷積來減少跨通道的計算成本和避免網絡性能的過度下降；注意力機制采用了分組卷積從而節省了大量的內存空間；同時二、三部分的首層輸入是通過組合前一部分的首尾塊，使得特征得到了重用激勵并減少了梯度消失的情況。在中山大學附屬第六醫院的數據集上進行實驗，結果表明提出的改進網絡在性能和輕量性上取得了良好的平衡。