融合雙注意力機制的多尺度胰腺分割方法

張國棟，唐曉藝，鞠蓉暉，宮照煊+

(1.沈陽航空航天大學 計算機學院，遼寧 沈陽 110136；2.東北大學 醫學影像智能計算教育部重點實驗室，遼寧 沈陽 110819；3.遼寧省人民醫院 放射科，遼寧 沈陽 110067)

0 引 言

近年來胰腺癌發病率在全球范圍內呈上升趨勢，患者確診后的5年生存率僅為8%[1]。因此，胰腺的準確分割是早期診斷胰腺癌的重要參考，為胰腺癌手術提供輔助依據。胰腺在計算機斷層掃描(computer tomography，CT)影像中灰度值差異較小，個體形狀差異較大，使得分割精度較低。隨著深度學習技術的不斷發展，卷積神經網絡被廣泛應用于胰腺分割中。O Ronneberger等[2]提出U-Net網絡模型，較少受到圖像灰度值差異以及噪聲影響，具有良好的泛化能力，適用于解決胰腺分割[3]。Oktay O等[4]提出了Attention U-Net網絡模型，使用注意力機制門實現自動學習關注不同形狀和大小的分割區域。Lu等[5]使用卷積注意力模塊對空間注意力及通道注意力進行加權，環形殘差模塊替代U-Net的卷積塊。但網絡深度導致計算量增加，精確度無法進一步提升。因此，Giddwani等[6]針對此問題提出多尺度融合策略以捕捉胰腺的深層信息。上述方法均采用對稱的編碼-解碼結構，針對胰腺這類目標區域小的器官，通過下采樣獲得的語義特征較小，上采樣與底層特征融合時跳躍較大，致使底層特征損失，邊界提取效果不佳。因此，本文提出融合雙注意力機制的多尺度U型(dilated attention U-Net，DAU-Net)網絡。網絡由一個編碼器及兩個相同結構解碼器組成，提高對淺層語義特征的利用。將傳統卷積替換為膨脹卷積，利用金字塔結構從多尺度上下文獲取胰腺的空間特征。將不同尺度特征圖輸入到CBAM模塊[7](convolutional block attention module)中，對提取的特征區域分別從通道及空間兩個獨立維度加權進行監督處理，可有效捕捉胰腺邊界細節信息，取得更好的分割效果。

1 方 法

本文提出了一種融合雙注意力機制的多尺度U型網絡結構，稱為DAU-Net對胰腺組織進行特征提取。針對胰腺邊界不規則導致精確度不高的問題，通過將傳統卷積替換為膨脹卷積與現有的雙注意力機制進行融合，提出了一種新的金字塔注意力特征融合模塊。

1.1 DAU-Net網絡模型

傳統U-Net網絡體系結構在進行分割時僅關注分割區域信息，對分割圖像的邊界特征提取不足。本文提出了一種融合雙注意力機制的多尺度U型網絡結構DAU-Net對胰腺特征進行準確提取。DAU-Net網絡是在傳統U-Net網絡基礎上進行改進，由一個編碼器及兩個相同結構解碼器組成，具有兩條路徑。左邊路徑稱為收縮路徑，用于下采樣，即特征提取過程；右邊路徑稱為擴張路徑，用于上采樣，即特征重構過程。下采樣提取的特征與兩個上采樣對應尺度的特征跳躍連接，兩個上采樣對應尺度的特征也需通過跳躍連接實現相同尺度的特征融合，通過高級語義指導低級語義實現特征融合。金字塔注意力特征融合模塊替代U-Net網絡底層兩個卷積核大小為3×3的卷積模塊，經下采樣輸出的特征圖經過金字塔注意力融合模塊特征提取，進行上采樣操作得到胰腺分割圖像。金字塔注意力特征融合模塊由空洞空間金字塔池化及CBAM模塊構成。編碼器——解碼器結構的卷積神經網絡在醫學圖像分割中具有突出表現，但由于受到連續卷積操作和池化操作影響，造成圖像分辨率降低而導致層級間信息損失，上采樣后無法恢復到原先分辨率造成圖像分割不精確。針對此問題，提出將網絡底層兩個卷積核大小為3×3的傳統卷積替換為膨脹卷積，下采樣之后使用擴張率為6、12、18的金字塔結構并行采樣，增大感受野，獲得多尺度特征圖。為克服傳統U-Net網絡對胰腺區域邊界提取不充分的問題，本文算法將輸出的多尺度特征圖分別輸入到雙注意力模塊中獲得通道及空間維度注意力向量加權以提取胰腺邊界信息，經過上采樣恢復分辨率，最后將胰腺分割結果進行輸出，網絡結構如圖1所示。

圖1 DAU-Net網絡結構

1.2 注意力機制

注意力機制在圖像處理中應用廣泛[8-12]，其在腹部CT影像分割中專注于提取精確的胰腺特征，把注意力集中到對任務有用的目標區域，抑制輸入圖像的背景信息以及其它組織信息，達到自動學習提取胰腺的作用。

U-Net網絡結構采用編碼-解碼方式在醫學分割中的有效性已被證實，通過跳躍連接將上采樣與下采樣的信息在通道上進行特征融合，解決上采樣過程中信息提取不足的問題。但針對胰腺這種小器官而言，連續的下采樣操作導致分辨率降低造成邊界信息損失。因此，為了增強特征圖對特征區域的分割能力，減少背景及相似器官組織對胰腺影響，引入注意力機制提高特征提取能力。將注意力機制同時運用在通道和空間兩個獨立維度中，給定一個中間特征，沿著空間和通道軸依次判斷注意力權重，與輸入特征圖相乘對特征區域進行自適應調整以實現注意力機制。CBAM模塊流程如圖2所示。

圖2 卷積塊注意力模塊

通道注意力在通道維度抑制圖像中不相關區域信息，空間注意力使網絡關注胰腺目標空間特征，通道和空間兩種獨立維度相互協作，其工作過程如下：

(1)通道注意力：利用特征圖之間的通道間關系，生成通道注意力圖。利用壓縮空間維度即平均池化操作及最大池化操作使注意力在通道軸起到關注目標特征的作用，通道注意力流程如圖3所示。

圖3 通道注意力

(1)

(2)空間注意力：空間注意力利用特征間內部空間關系生成空間注意力特征圖，是對通道注意力的補充，空間注意力流程如圖4所示。

圖4 空間注意力

(2)

1.3 金字塔注意力特征融合模塊

CBAM模塊是用于前饋網絡的注意力模塊，給定中間特征圖結合通道和空間兩種獨立維度實現注意力機制，達到自適應特征優化的作用。但雙注意力機制僅能獲取局部信息，需要捕獲不同尺度的空間信息豐富特征空間，提高網絡對不同尺度目標的分割性能。在標準卷積神經網絡中，可通過增加網絡層數提取高級信息，使用連續卷積和池化操作增加輸出感受野的大小。但伴隨著下采樣的增多，特征圖分辨率降低，造成特征圖丟失大量層級間信息，對上采樣恢復原始分辨率造成影響。因此，為了獲取多尺度空間信息同時緩解特征圖分辨率與感受野大小之間的矛盾，本文將傳統卷積替換為膨脹卷積解決此類問題。空洞卷積與普通卷積區別在于不增加卷積核參數的情況下，可通過使用不同的填充和擴張率擴大感受野。

本文使用的金字塔注意力特征融合模塊受到空間金字塔池化(pyramid scene parseing，PSP)模塊[13]以及空洞空間金字塔池化(atrous spatial pyramid pooling，ASPP)模塊[14，15]啟發。空間金字塔池化模塊以并行連接聚合的方式提取多尺度信息，但存在參數量過大的問題，對實驗設備要求過高。空洞空間金字塔池化模塊通過不同擴張率的特征圖級聯方式獲取多尺度信息，由于下采樣特征圖小，感受野過大會導致提取到圖像中的無關特征，且隨著擴張率的增大，空洞卷積變得無效，逐漸失去建模能力。因此，為達到更好的分割效果，本文通過調整空洞卷積擴張率，在所提出的結構中刪除擴張率為24的擴張卷積，采用擴張率為6、12、18的擴張卷積。改進后的金字塔池化結構對給定的輸入采用空洞卷積中3個不同擴張率金字塔并行采樣，多個比例捕捉圖像上下文信息，用于多尺度提取特征，起到增大感受野的作用，減少信息損失。

使用改進的空洞空間金字塔池化結構與通道和空間串行的雙注意力機制相融合，提出了一個新的金字塔注意力特征融合模塊充當收縮路徑與擴張路徑的連接層，替代U-Net網絡結構底部的兩個3×3卷積模塊，用于多尺度上下文提取特征。將下采樣得到的特征圖送入改進的空洞空間金字塔池化結構中，使用6、12、18的擴張率，每個擴張卷積塊中包含3×3的卷積，卷積后跟著ReLU-BN(batch normalization，BN)層并行采樣，BN層增加了訓練的穩定性。不同擴張率支路所得到的目標尺寸特征圖分別輸入到CBAM模塊中，通過通道維度和空間維度，自動學習和關注不同大小的胰腺區域，捕獲不同尺度的空間信息，提高邊界提取能力。其后進行concat連接，通過全局池化后輸入到卷積核為1×1的卷積中降低通道數，最終輸入上采樣中。金字塔注意力特征融合模塊如圖5所示。

圖5 金字塔注意力特征融合模塊

2 實驗結果與分析

2.1 實驗數據

本文實驗對比數據均采用第二屆圖像計算與數字醫學國際研討會(ISICDM 2018)胰腺數據集，其中包含64例病人的腹部對比增強的三維CT影像(門靜脈造影注射后60 s)。每例影像數據都包含金標準，為經驗豐富的影像科醫生手動勾畫。

影像空間分辨率為512×512，掃描設備為西門子64排CT，掃描管電壓120 KV，采用標準胰腺掃描方案，受試者仰臥位躺于掃描床上。共采集平掃、動脈期、靜脈期3組數據。因胰腺分割在臨床中普遍采用靜脈期影像，因此本文實驗所使用的數據僅選取了數據集中的靜脈期影像。

2.2 實驗細節

本文所有實驗使用的硬件環境均為Intel E52620V4的CPU處理器；GPU版本是NVIDIA Geforce GTX TiTAN XP 12 G；算法在Pytorch框架完成，采用Python實現，Matlab進行可視化。

所有實驗梯度優化均使用Adam優化器進行訓練，設置初始學習率為0.0001，迭代次數為50次，批大小設置為4，訓練一次模型需要花費8小時。

2.3 評價指標

在醫學影像分割中，評價標準主要采用Dice相似系數(dice similarity coefficient，Dice)[16]，Dice相似系數通常被用來衡量目標區域和分割區域的相似度，結果值的范圍在0～1之間，Dice系數越趨近于1代表分割結果越接近手動勾畫的金標準結果。其中，S、G分別表示預測圖像素集合與標簽圖像素集合，Dice計算公式如式(3)所示

(3)

2.4 實驗結果

為了驗證本文所設計的方法在胰腺分割任務上的準確性，使用本文提出的方法(DAU-Net)與其它各個先進方法在ISICDM 2018數據集中進行分割準確率實驗對比。本文使用標準的U-Net網絡、Attention U-Net網絡以及DeepLabv3網絡[17]作為主要對比分割模型進行實驗驗證。U-Net網絡作為醫學經典分割模型在腹部組織中具有良好的分割效果，較少受到圖像灰度值差異以及噪聲影響，并可通過學習少量帶有標記的數據得到良好的泛化能力，具有較強的穩定性，因此將作為基礎對比標準。Attention U-Net網絡在U-Net網絡基礎上通過使用注意力機制門提升網絡性能，且Attention U-Net網絡是針對胰腺所提出，與本文分割目標相同，因此作為對比實驗模型。DeepLabv3網絡通過使用空洞空間金字塔池化模塊實現分割，與本文所使用的金字塔注意力特征融合模塊結構類似，因此將作為對比實驗模型。

4種模型實驗對比結果見表1。本文所提出的DAU-Net網絡的分割準確度顯著高于其它網絡，平均Dice值最高，達到0.8535。對比U-Net網絡，本文方法在Dice上提升5.51%。U-Net網絡作為經典的基準模型，具有良好的穩定性，計算量及訓練時長小，但對于胰腺這種小器官而言，特征提取不足，實驗準確率最低；對比Attention U-Net網絡，本文方法在Dice上提升3.22%。Attention U-Net網絡分割結果與U-Net網絡相比有所提高，平均Dice值為0.8213，通過在基礎U-Net網絡上加入注意力機制，對特征進行加權，準確關注到目標分割區域，但此注意力機制僅單一維度，缺少多尺度空間信息；對比DeepLabv3網絡，本文方法在Dice上提升3.24%，DeepLabv3網絡的平均Dice值達到0.8211，通過使用空洞空間金字塔池化結構獲得多尺度上下文信息，但分割精度仍然不高。

表1 4種模型實驗對比

為了更加直觀對比各個方法的分割效果，使用ISICDM 2018數據集中53號病例第60張切片的影像進行分割結果對比，分割對比效果如圖6所示。通過對比圖可以看出，圖6(d)U-Net網絡和圖6(e)Attention U-Net網絡與金標準圖像對比均出現了欠分割的現象，缺失大量胰腺區域特征，無法準確收斂至胰腺邊界。圖6(f)DeepLabv3網絡對比金標準圖像出現了過分割的現象，雖然得到較為完整的胰腺組織，但由于右上方區域灰度值與胰腺灰度值差異較小，錯誤的將其它器官組織作為胰腺區域進行分割處理，且分割結果受到噪聲影響，分割效果不佳。導致欠分割與過分割問題出現的主要原因是腹部影像中灰度值差異較小，胰腺個體形狀受邊緣灰度信息的影響存在較大差異，并且由于胰腺較軟，易受到周圍器官擠壓，導致邊界不規則，網絡無法準確提取胰腺的邊界特征信息，造成分割精度不高。在4種網絡結構中，本文提出的DAU-Net能夠更好提取胰腺邊界信息，分割效果平滑，結果更接近于金標準。

圖6 本文方法與其它方法的胰腺分割結果對比

三維分割效果如圖7所示。使用ISICDM 2018數據集中56號病例切片影像應用本文方法(DAU-Net)、U-Net網絡、Attention U-Net網絡、DeepLabv3網絡模型繪制的三維胰腺分割結果對比圖中可以看出DAU-Net網絡與其它3種先進方法相比，所得到的分割結果更接近于圖7(a)三維金標準圖像，分割結果受噪聲影響小，邊緣提取較其它網絡更加精確。

圖7 本文方法與其它方法三維胰腺分割結果對比

2.5 金字塔注意力特征融合模塊有效性分析

為了驗證金字塔注意力特征融合模塊的有效性，本文選取40號病例第59張切片以及第79張切片作為對比實驗，對比結果如圖8所示。從圖中可以看出，在相同的網絡結構下使用金字塔注意力特征融合模塊后的分割結果更加接近于金標準，平均Dice值與不加模塊相比提高2.54%。由圖8(b)可以看出，沒有使用金字塔注意力特征融合模塊的單張切片缺失了胰腺部分結構，而使用模塊后欠分割的現象有所改進，邊界提取更加準確。由圖8(e)可以看出，未使用金字塔注意力特征融合模塊的胰腺切片錯誤的將其它組織區域進行分割，目標區域分割效果不佳，而使用模塊后可減少更多的背景信息的干擾，關注學習目標區域的分割。因此，通過實驗驗證金字塔注意力特征融合模塊具有有效性。

圖8 加入模塊后分割結果對比

3 結束語

本文提出一種融合雙注意力機制的多尺度U型網絡用于胰腺CT影像分割。使用一個編碼器和雙解碼器結構加強高級語義特征對低級語義特征的指導，提高特征信息利用；針對邊界特征提取不完全的問題，提出金字塔注意力特征融合模塊，將傳統卷積替換為膨脹卷積，使用不同擴張率金字塔結構并行采樣，獲得的多尺度信息輸入雙注意力機制中，提升網絡的分割性能。實驗結果表明，本文提出的模型與其它先進模型相比能夠更精確地完成胰腺的分割任務。