結合雙注意力機制和級聯思想的肝腫瘤分割

王 巖，董方旭

(河南理工大學 計算機科學與技術學院，河南 焦作 454150)

E-mail：2360992792@qq.com

1 引 言

肝腫瘤是消化系統常見的惡性腫瘤，在全世界致死癌癥中排名第2，保守估計肝癌的發病死亡率為0.95[1].盡早的定位病灶區域并進行針對性的治療能夠極大的提高病人的存活率.在對肝瘤的早期診斷、規劃治療中，計算機斷層掃描(CT)圖像分析是主要的診斷工具之一.在臨床實踐中，常由經驗豐富的放射科醫生從CT圖像中手工分割出肝瘤區域.但這一過程耗時耗力，且分割結果會受到醫生的主觀因素影響，導致在很多情況下產生的結果相對不準確.為了減輕醫生負擔，研究人員在過去的幾年間提出了許多利用計算機輔助診斷的方法.盡管如此，但從CT圖像中精準的勾畫出肝腫瘤區域仍然存在一些困難，例如：肝臟和其他器官之間的界限模糊、對比度低，腫瘤位置、大小及形狀存在差異等.故此，發展一種可應用于臨床的肝腫瘤靶區勾畫算法有著切實的研究意義.

目前，圖像分割算法根據實現分割的技術進行分類，大致可分為傳統方法和基于深度學習的方法.傳統的方法依賴數學公式推導實現分割，如Foruzan等[2]提出了一種基于sigmoid邊緣模型的低對比圖像分割算法，首先運用支持向量機、分水嶺和分散數據近似算法獲取肝臟腫瘤粗略分割結果，然后采用 Sigmoid 邊界模型對分割結果進行細化.Wu 等[3]提出了一種基于改進的模糊 C 均值(FCM)和圖割的肝臟腫瘤半自動分割方法，首先根據人工選取的種子點提取肝臟腫瘤區域，然后利用提出的算法對分割結果進行優化.Li 等[4]提出了一種結合了圖像梯度、區域競爭和先驗信息的新的水平集方法模型，對肝腫瘤進行半自動分割，然后運用模糊聚類估計腫瘤的概率分布，提高分割的準確性.廖苗等[5]提出基于非線性增強和圖割的肝臟腫瘤自動分割，采用自適應分段非線性增強和迭代卷積操作提高肝組織與腫瘤組織的對比度；然后將增強結果和圖像邊界信息有效地融入圖割能量函數，實現肝臟腫瘤初步自動分割結果;最后采用三維形態學開操作對初步分割結果進行優化，提高分割精度.傳統方法一般需要人為干預，處理過程較為繁瑣，且由于傳統方法的處理速度及魯棒性，因此未能被廣泛應用.深度學習方法則是主要依靠深度學習結構(神經網絡)來實現分割，避免了繁瑣的公式推導，相較于傳統方法更加高效.Li等[6]提出了一種結合二維網絡和三維網絡的算法實現多重特征融合及優化，用于肝臟及腫瘤分割.Christ等[7]提出了一種級聯FCN的肝腫瘤分割模型，他們首先訓練了一個FCN來分割從腹部圖像中提取肝臟并使用分割的肝臟區域作為第2分割網絡的輸入，然后通過第2個FCN分離出病灶區域，并利用全連接條件隨機場對分割結果進行細化.Sun等[8]提出了多通道全卷積網絡用于肝臟腫瘤分割，它們在單個通道中對每個階段的數據進行網絡訓練，然后將高級特征層合并到不同的通道中實現多通道訓練策略.實驗結果表明，他們設計的網絡可以捕獲更全面的腫瘤特征并在一定程度上改善模型的表現.Chlebus 等[9]在對傳統Unet改進的基礎上，利用形狀約束模型(隨機森林)對分割結果進行后處理，得到了不錯的分割結果.Song等[10]提出了用于肝臟和腫瘤分割的瓶頸監督(BS)U-Net模型，他們對原始的U-Net，在編碼路徑中結合了密集模塊，初始模塊和膨脹卷積塊；其次，提出了瓶頸監管網絡，包含一個編碼U-Net和一個分割U-Net，要訓練瓶頸監管網絡，首先對編碼U-Net進行訓練，以獲取解剖信息(形狀和位置)標簽圖的編碼.隨后，利用解剖信息指導分割U-Net的訓練，以保留解剖特征目標對象.實驗結果表明，模型獲得了出色的分割性能，并且在控制形狀失真方面頁非常出色.

針對肝臟腫瘤CT圖像中，圖像對比度低，肝組織與其他組織界限模糊、病灶區域過小等問題，本文設計了一種融入了注意力機制和級聯式網絡思想的肝腫瘤分割網絡(Cascaded Dual Attention Neural Netwoek，CDA-Net)，將雙注意力機制(通道注意力和空間注意力)融入深度學習模型中進一步優化對小尺寸肝腫瘤的檢測，通過使用注意力機制，網絡可以有選擇的增強其中某些有用的特征，抑制無用的特征，從而提升模型表現；并在最后利用條件隨機場(CRF)[11]對最終的分割結果進行邊緣細化，從而提高對肝腫瘤的分割精度.

2 方 法

2.1 DA-Net模型及分割網絡框架

在原始Unet[12]網絡體系結構中，通過在編碼路徑的每一個卷積塊后融入雙注意力模塊，構成雙注意力分割網絡(Dual Attention Neural Networ，DA-Net).DA-Net體系結構通過雙注意力機制，聚焦組合空間和上下文信息來實現精準的逐像素預測.DA-Net體系結構，如圖1所示，是一個9層的端對端網絡，由兩部分組成：第1部分(左側)為編碼器網絡，第2部分(右側)為解碼器網絡，對稱構成編碼-解碼器結構.編碼器、解碼器都包含卷積塊，每個卷積塊都包含兩個卷積核大小為3×3的卷積層，在每個卷積層后都有一個BN(Batch Normalization)層和一個Relu激活層，BN層有助于加速網絡收斂速度，提升訓練的穩定效果.僅在編碼器的每個卷積塊后結合注意力模塊.

圖1 DA-Net體系結構圖Fig.1 DA-Net architecture

在本文中，我們結合級聯式網絡思想，級聯兩個層次結構完全相同的DA-Net，構成肝臟腫瘤分割框架，如圖2所示.訓練第1個網絡從原始CT圖像中提取出肝臟區域(步驟1)，訓練第2個網絡從肝臟區域中分割出病變區域，并利用條件隨機場對分割結果進行邊緣細化，進一步提高分割的精度(步驟2).

圖2 分割網絡總體框架圖Fig.2 General frame diagram of segmentation network

級聯方法背后的動機是，已經表明，Unet和其他形式的卷積神經網絡可以學習所提供數據的分層表示[7].通過級聯兩個DA-Net，可以確保步驟1中DA-Net從整個腹部CT圖像中學習到專門用于檢測和分割肝臟的過濾器，而步驟2中的DA-Net用于從肝臟組織中分離病灶區域.此外，從步驟1中分離出肝臟區域有助于減少病變的假陽性.

2.2 注意力模塊

注意力機制本身符合生物的視覺感知機制，通過利用聚焦于局部信息的機制，使得生物可以選擇性地專注于顯著部分，即重點關注區域，從而獲得更好的視覺結構[13].而且隨著注意力機制近些年來在圖像[14-16]、自然語言處理等領域中大放異彩，它被大量的應用于深度神經網絡中來提升模型表現.

本文在肝腫瘤分割任務中，將Sanghyun等[17]提出的卷積塊注意模塊(Convolutional Block Attention Module，CBAM)進行改進，并嵌入到網絡的解編碼路徑中，構成多尺度(空間、通道)融合結構.卷積塊注意模塊，是一種結合了空間和通道的注意力機制模塊.相比于單獨的通道注意力模塊或空間注意力模塊，雙注意力模塊可以取得更好的效果.本文研究發現，在肝臟腫瘤分割任務中，比起原始CBAM模塊中將注意力模塊按照先通道注意力模塊，后空間注意力模塊進行串行排列的方式而言，將通道注意力模塊與空間注意力模塊并行排列的方式提供了更好的分割性能.對編碼路徑中的每一個卷積塊添加改進的CBAM模塊，在通道和空間維度上更加有效的去學習特征圖中的關鍵信息.改進的注意力模塊結構如圖3所示.

圖3 注意力模塊Fig.3 Attention module

根據特征圖中各個特征通道的重要程度，通道注意力機制通過對的每個通道的重要程度進行建模，來著重關注重要的通道，選擇性的對特征通道進行增強或抑制[18].

給定經初始卷積層生成的特征圖F∈RC×H×W作為輸入，其中C表示特征圖的通道數目，H和W分別代表特征圖的高和寬.首先，輸入的特征圖分別通過全局最大池化和全局平均池化聚合空間維度特征，獲得通道描述符Fc-max∈RC×1×1和Fc-avg∈RC×1×1.隨后，通道描述符分別經過共享的多層感知機(MLP)輸出，將輸出的特征進行逐元素加和來合并輸出通道注意力的權重圖MC∈RC×1×1.最后，將通道注意力權重圖與原始輸入特征圖逐像素相乘，從而得到通道注意力加權圖Fc-out∈RC×H×W.

MC=σ(W1δ(W0Fc-max)+W1δ(W0Fc-max))

(1)

Fc-out=F·MC

(2)

通道注意力模塊的結構如圖4所示.

圖4 通道注意力Fig.4 Channel attention

作為對通道注意力模塊的補充，將空間注意力模塊并行嵌入到多尺度特征融合結構中，形成雙注意力模塊.與通道注意力關注通道不同，空間注意力機制更注重特征圖中那些位置是有效信息.對于輸入特征圖F∈RC×H×W，做一個基于通道的全局最大池化和全局平均池化操作來聚合特征圖譜的通道信息，生成兩個二維映射：Fs-max∈R1×H×W，Fs-avg∈R1×H×W.然后，把它們基于通道進行拼接并經過卷積核為的卷積層卷積，生成二維空間注意力權重圖Ms∈R1×H×W.最后將原輸入特征圖與權重圖逐元素相乘，獲得空間注意力加權圖Fs-out∈RC×H×W.

Ms=σ(f7×7[Fs-max，Fs-avg])

(3)

Fs-out=F·MS

(4)

其中，σ表示Sigmoid激活函數；f表示卷積操作，7×7代表采用大小為7的卷積核，[]表示拼接操作.

圖5 空間注意力模塊Fig.5 Spatial attention module

空間注意力模塊的結構如圖5所示.

2.3 條件隨機場

在自動分割的結果中，腫瘤的邊緣部分會出現欠分割、過分割等現象.為了緩解該問題，本文利用全連接條件隨機場對腫瘤分割結果進行后處理，進行邊緣約束，優化分割結果.大量研究證實[19，20]，利用條件隨機場對分割結果進行后處理，可以獲得更加精確的分割結果，有助于提高模型的分割精度.

設X={X1，X2，…，XN}，I={I1，I2，…，IN}，均為隨機變量序列，n表示像素數量，Xi是像素i的分類標簽(背景區域或目標區域)，Ii是像素i的特征向量.在給定I的條件下，隨機變量序列X的條件概率分布P(X|I)構成條件隨機場，給出概率函數：

(5)

其中：E(X)代表了能量函數；X代表該像素點屬于背景區域/目標區域，Z(I)代表了歸一化因子[19，20].從式(5)可以看出，能量函數E(X)的值越小，最終得到結果就越好，給出能量函數：

E(X)=∑iψu(xi)+∑i

(6)

其中：ψu(xi)=-logP(xi)，代表了從模型輸出中獲得的一元勢函數，P(xi)表示像素i屬于背景(正常組織)/目標(肝腫瘤)區域的概率取值.ψp(xj)為二元勢函數：

(7)

其中：μ(xi，xj)代表特征函數，當xi≠xj時取值為1，否則為0；|pi-pj|代表像素i與j之間的空間距離；|Ii-Ij|表示它們在原圖中顏色強度差異；w代表線性組合權重，通過調整權重可以調節二元勢函數的值；權重w的有效范圍可通過調節θα，θβ，θγ的尺度來改變.

3 實驗結果及分析

3.1 數據集及數據預處理

實驗中所用的數據集來自于2017年MICCAI公開比賽Liver Tumor Segmentation Challenge(LiTS)，共包含131位病人數據，其中13套CT數據不包含腫瘤.為便于實驗對比，從剩余的118套CT數據中隨機抽取18套作為測試集，其余作為訓練集用于訓練.

圖6 圖像預處理Fig.6 Image preprocessing

由于原始醫學圖像中存在肝臟與周圍其他器官之間界限模糊，對比度低的問題，需要對圖像進行相應的處理，降低無關噪聲的干擾，增強對比度.首先，根據經驗，對所有CT圖像截出Hu值在[-50，190]的部分，即窗位為75，窗寬為250，去除其他器官的干擾.然后利用局部自適應直方圖均衡化，增強對比度.如圖6所示，左邊為原始圖像，右邊為經過處理后得到的圖像.由于醫學圖像的特殊性，可以看到經過處理的圖片與原圖具有很大的區別，器官的邊緣細節以及圖像的對比度更加鮮明.

經上述對圖像的處理，得到的訓練集包括5184張圖片，測試集包括1257張圖片.為了增加訓練數據集，本實驗采用隨機旋轉的方式進行數據增廣.

3.2 實驗設計及結果分析

為評估提出的肝腫瘤分割方法的效果，證實該方法對腫瘤分割的有效性，使用醫學圖像分割任務中常用的3個度量指標，分別是重合率Dice、體積重疊誤差(Volume Overlap Error，VOE)及相對體積誤差(RVD).定義如下標識符：代表的是ground truth的分割結果，即金標準；代表的是預測的分割結果.上述3個指標的定義如下：

1)重合率(Dice)，直觀上來說代表的是兩個個體相交的面積占總面積的比值，其取值范圍為[0，1]，完美分割值為1.預測結果越趨近于金標準時，Dice分數越高，代表分割結果越準確.計算公式如式(8)所示：

(8)

2)體積重疊誤差(VOE)，代表的是分割結果的體積與實際分割結果體積之間的誤差，該值越趨近于0，表示分割結果越精準.計算公式如式(9)所示：

(9)

3)相對體積差(RVD)，常用于代表判斷分割結果是否處于過分割或欠分割狀態，當RVD系數大于0時，代表過分割，反之代表欠分割.計算公式如式(10)所示：

(10)

實驗1.為研究注意力模塊對分割網絡的性能影響，比較使用不同的注意力模塊排列：先空間后通道(SC)，先通道后空間(CS)及二者并列(即本文提出的方法，用CDA-Net表示)，對分割結果的影響，進行對比實驗.實驗將級聯式Unet設定為基本網絡模型，作為基準線，在表1中用BS(Baseline)表示，通過將不同組合方式的空間/通道注意力模塊融入基本網絡模型中，顯著對比了注意力模塊各個組合方式對分割結果的影響.實驗結果如表1所示.

表1 不同模塊對性能的影響Table 1 Effect of different modules on Performance

可以看出，注意力模塊對分割結果均有提升.但綜合而言，將通道注意力模塊與空間注意力模塊并行排列的方法優于其他組合方式，對模型的分割效果提升最為顯著.

表2 不同方法性能對比Table 2 Compare the performance of different methods

實驗2.綜合評價肝腫瘤分割結果，在測試集上分別對文獻[7]，文獻[10]，文獻[12]，文獻[21]及本文提出的方法進行測試，并計算上述3個度量標準的平均值，分割結果對比如表2所示.實驗結果表明，本文提出的CDA-Net+CRF模型的分割性能相較于其他兩種方法有明顯提升.

直觀分割效果上，圖7隨機列出了兩張測試圖像的分割結果.圖7(a)為經過預處理后的原始CT圖，圖7(b)為專家手工分割結果，即金標準，圖7(c)為Proposed的分割結果.

圖7 腫瘤分割直觀效果圖Fig.7 Visual effect of tumor segmentation

從圖7中可以看出，本文提出的CDA-Net+CRF模型的分割結果圖像中檢測到了肝臟的病變區域.盡管存在過分割與欠分割的現象，但總體而言，分割效果與金標準較為相近，對于臨床應用及輔助醫生診斷病情都具有一定的參考價值，證明了算法的可行性，且由于實驗采用的數據集來自不同的病人，具有不同的病理特征，也證實本文提出的方法具有很強的魯棒性.

4 結束語

針對肝臟腫瘤CT圖像中，肝組織與其他組織界限模糊、病灶區域過小、病灶區域與正常組織對比度低等問題，本文提出了一種新的肝腫瘤分割框架，稱為級聯式雙注意網絡(CDA-Net)，結合了注意力機制優勢和級聯式思想優勢，雙注意力機制分別捕捉空間維度和通道維度上的視覺特征關聯，增強特征的表達能力，通過雙級聯網絡依次提取肝臟區域，病灶區域，有利于減少病變區域的假陽性，提升網絡分割效果.實驗結果表明，分割結果與金標準大體上接近，且分割效果優于其他兩種方法，提升了分割精度，并具有很強的魯棒性，證實了對肝腫瘤分割的有效性，為醫學圖像肝腫瘤的精確分割提供了一種行之有效的新途徑，具有一定的現實意義.