基于Attention-ResUNet的肝臟腫瘤分割算法＊

陳 哲，童基均，潘哲毅

(1.浙江理工大學信息科學與工程學院，浙江 杭州 310018；2.中國人民武裝警察部隊海警總隊醫(yī)院信息科)

0 引言

根據世界衛(wèi)生組織調查，2020 年全球新增肝癌例達90 余萬例，并導致83 余萬人死亡[1]。對于肝腫瘤的治療，肝腫瘤區(qū)域的分割算法為射頻消融技術提供了有效的輔助。通常，腫瘤分割靠經驗豐富的醫(yī)師觀察患者的CT 圖像，憑經驗來劃分腫瘤區(qū)域。由于人體器官的復雜性和人力資源的限制，因此，計算機輔助診斷成為一種較好的方法。

傳統(tǒng)的肝腫瘤區(qū)域檢測方法一般基于圖像形態(tài)學[2]，基于灰度、紋理、亮度、對比度等信息應用分類器進行分割[3]。這些方法通常包括基于圖像灰度值分布的閾值分割法、基于灰度相似性和空間鄰近性的區(qū)域生長法、基于目標區(qū)域邊緣的邊緣檢測、基于像素灰度的聚類算法。CT圖像中腫瘤與周圍器官對比度差，腫瘤區(qū)域相對較小，且腫瘤分布的位置和數量不規(guī)則，傳統(tǒng)算法難以實現(xiàn)肝臟腫瘤的精確分割。近年來，深度學習在醫(yī)學圖像分割等許多領域取得了顯著的成就，其中U-Net 以其在各類不同的生物醫(yī)學分割應用中的出色表現(xiàn)而聞名，并成為了后續(xù)眾醫(yī)學分割模型的基準網絡[4]。本文旨在以U-Net 為基準網絡，設計一個高效的分割網絡，對CT 圖像進行肝臟腫瘤區(qū)域的自動分割，以提高醫(yī)護人員的診療效率。

1 研究內容

本文針對現(xiàn)有深度學習方法存在的不足，提出的一種基于U-Net 的融合注意力機制的深度網絡Attention-ResUNet(AR-UNet)。主要內容如下：

⑴通過對CT 圖像進行限制對比度自適應直方圖均衡化(contrast limited adaptive histogram equalization，CLAHE)預處理，加強目標區(qū)域與背景區(qū)域的對比度。

⑵加強U-Net的編解碼結構的特征提取模塊，將殘差模塊中的恒等映射融入編解碼結構中，提升特征的傳遞。

⑶對特征提取模塊得到的上下文信息利用注意力機制模塊，對特征重新標定，加強有效特征的傳輸，使得跳躍連接傳輸的上下文信息更為高效。

2 本文方法

本文提出的方法包括圖像預處理以及利用ARUNet進行圖像分割兩個步驟，在預處理階段通過限制對比度自適應直方圖均衡化(Contrast Limited Adaptive Histogram Equalization，CLAHE)對CT 圖像進行目標區(qū)域對比度增強，然后通過本文提出的模型先對肝臟區(qū)域進行分割提取感興趣區(qū)域(regionofinterest，ROI)，最后對ROI區(qū)域進行腫瘤區(qū)域分割。

2.1 圖像預處理

為了增強肝臟區(qū)域以及肝臟腫瘤區(qū)域與其他無關背景區(qū)域的對比度，本文使用了CLAHE 對CT圖像來進一步增強。自適應直方圖均衡化(Adaptive Histogram Equalization，AHE)，是一種用于提高圖像對比的數字圖像處理技術[6]。它與普通直方圖均衡化(Histogram Equalization，HE)的不同之處在于通過領域區(qū)域計算出的變換函數來調整每個像素。直方圖均衡化推導如下式：

其中，nk表示離散形式的灰度圖灰度級別為rk的像素數量，Pr(rk)表示rk的概率密度，sk為像素rk經過變換函數T()變換后的灰度值。本文將灰度圖做歸一化處理以簡化計算，因此式⑵中0<=rk,sk<=1。再將求得的歸一化之后的灰度級sk逐一映射成8-bit灰度級別。

CLAHE的計算基于HE，通過計算多個直方圖，每個直方圖對應于圖像的不同部分，并利用這些直方圖重新校準圖像的灰度值。同時，CLAHE對圖像灰度圖對比度的限制，對子塊中統(tǒng)計的直方圖的閾值進行設置，將超過閾值的分布均勻分散到概率密度分布上。經CLAHE 預處理之后的CT 圖像如圖1 所示，CLAHE避免了過度放大圖像中概率密度函數值過大的區(qū)域，從而避免了將直方圖強烈地峰值化，導致無關的噪聲被放大。

圖1 經CLAHE預處理后樣本

2.2 Attention-ResUNe（t簡稱AR-UNet）網絡結構

在肝臟腫瘤分割任務中，U-Net編碼器、解碼器結構存在特征提取不足、特征提取模塊的結構過于冗余造成了過多的訓練參數，以及跳躍連接直接傳輸淺層卷積提取的特征與造成的圖像特征模糊等問題。對此本文對U-Net進行改進，提出了AR-UNet，進行肝臟腫瘤分割。

AR-UNet 其網絡結構如圖2 所示。本文修改了U-Net 的編碼器、解碼器結構。不同于其他將殘差模塊應用于跳躍連接階段的改進網絡，本文利用殘差網絡中恒等映射的優(yōu)點加強特征傳輸的優(yōu)點[7]，在U-Net的收縮、擴張路徑利用殘差單元取代了原始U-Net 的卷積操作。為了加強特征通道的權重和特征的上下文信息，使得模型聚焦于特征向量的有效信息，本文在每個殘差單元中融入混合注意力機制[8]。

圖2 Attention-ResUNet網絡架構

AR-UNet 重新設計U-Net 中的特征提取模塊，以提高模型的學習效率，同時保證通過跳躍連接的傳輸的特征更加細化。原始U-Net 收縮、擴張路徑的兩層卷積核的情況下，直接引入殘差塊會導致殘差映射退化成y=w1x+x，以及下層路徑中，過多的卷積核造成網絡結構的冗余。在原始U-Net 中編碼器最底層中，其卷積核的數量達到了1024個。

為了繼承U-Net設計思想，不論收縮、擴展路徑都是兩層卷積核的形式的特征提取模塊。在圖2 中，黑色矩形塊表示了加入注意力機制的殘差模塊。為了不使殘差映射退化，本文結合了殘差網絡中的瓶頸層設計思想替換每一層的卷積核。瓶頸層的設計如圖3所示，以圖2 Attention-ResUNet 網絡架構中編碼器第三層為例代表的操作。每一層通過的1×1 卷積對數據進行降維，再通過的3×3卷積進行特征提取。最后為了恢復特征通道數，再將特征經過stride為1的1×1卷積進行升維。在升維操作后，通過融合注意力機制來提高模型的表征能力。在瓶頸層的末端，通過串行執(zhí)行通道注意力模塊[9]以及空間注意力模塊[10]，使得模型能夠增強有效特征的通道同時聚焦于特征的有效空間信息。因此，本文以瓶頸層的設計代替了原始的特征提取模塊。輸入特征為上層特征經過下采樣得到的特征，并經過殘差函數F()的計算。

圖3 Attention-ResUNet瓶頸層結構

為了進一步細化特征F，提取的特征經過注意力機制模塊如圖4所示。

圖4 注意力機制模塊

經過通道注意力模塊將空間維度進行壓縮，得到特征通道權重的映射Mc，Mc計算如下：

其中，σ表示Sigmoid 激活函數。W0，W1為共享權重，本文W0,W1∈，r為縮放因子對特征進行壓縮，用于減小參數，簡化計算量。再經過點乘操作，對特征重新校準。求得的重新校準的特征可用式⑷計算：

經過通道注意力模塊提取后得到特征F'，再經過后續(xù)的空間注意力模塊，對模型的空間信息進行校準。空間注意力模塊通過對特征F'進行最大池化和平均池化操作，分別求得兩個特征如下：

最后利用空間注意力機制，空間注意力映射Ms可用式⑺計算：

其中，[;]表示連接操作，f7×7表示卷積核為7×7 的卷積操作。進而求得的空間映射Ms與F'累乘操作，得到經過通道校準以及聚焦空間信息的特征F''：

將特征F''與恒等映射累加，即為l層輸出特征。

本文通過改進U-Net 的特征提取模塊，來使網絡在肝臟腫瘤分割任務上取得更優(yōu)秀的表現(xiàn)。通過改進的瓶頸層來替代直連的卷積操作有以下優(yōu)點：

⑴引入的殘差結構，增強上下文信息的提取。

⑵可以減少訓練參數，改善U-Net 冗余結構，節(jié)約訓練時間。

⑶通過通道、空間注意力機制對特征重新校準，一方面可以使得模型聚焦于特征的有效通道以及熱點區(qū)域，另一方面特征經過注意力模塊處理后也避免了在跳躍連接時低分辨率的特征信息與深層抽象特征融合造成的特征模糊問題。

3 結果分析

3.1 實驗數據集

在LiTS 數據集上本文選取10 名患者(共3255 張圖像)的數據用于驗證，20患者(共8404張圖像)用于測試。其他101 名患者(共46979 人圖像)用于數據增強，然后用于訓練。在3D-IRCADb 數據集上在來自2 名患者的數據(共254 張圖像)用于驗證，2 名患者(共349張圖像)進行測試。16 名患者(共2269 張圖像)用于數據增強，然后用于訓練。

3.2 實驗環(huán)境與配置

AR-UNet 的優(yōu)化器選取Adam，初始學習率設置為1e-5，權重衰減系數設置為0.0001，β1 設置為0.9，β2設置為0.999。實驗平臺采用Ubuntu 16.04操作系統(tǒng)，搭載24GB 顯存的GeForce RTX 3090GPU 進行實驗評估，利用開源深度學習框架Tensorflow1.14.0實現(xiàn)。

3.3 AR-UNet實驗結果與分析

為了驗證本文方法的有效性，將AR-UNet實驗結果與其他主流分割方法得到的結果做對比，對比數據如表1、表2所示。

表2 LiTS數據集分割結果

從表中數據可知，對于肝臟腫瘤分割，在3DIRCADb數據集中，AR-UNet在VOE、ASD、MSD 三個評價指標中達到了38.2%，1.622mm 和5.847mm 的最優(yōu)性能。得益于AR-UNet高效的特征提取模塊，在肝臟腫瘤分布復雜、數量不定的樣本中，AR-UNet 具有接近專家真實標注結果的分割性能。

在LiTS數據集上對于Dice和MSD 的評價指標分別達到了83.7%和4.693mm最優(yōu)性能。由于本文提出的AR-UNet基于二維卷積操作實現(xiàn)，在一定程度上忽略了三維體素間的上下文信息聯(lián)系，因此對于RVD指標上相較于基于體素的三維卷積實現(xiàn)的深度神經網絡稍有差距。根據圖5 中的結果圖對比，本文方法可以有效地分割出肝臟區(qū)域中的腫瘤主要區(qū)域以及大部分細節(jié)復雜的邊緣區(qū)域。得益于AR-UNet中引入的殘差模塊以及注意力機制模塊，AR-UNet相較于其他分割網絡對于腫瘤的邊緣區(qū)域能夠實現(xiàn)有效的提取。

圖5 AR-UNet與其他分割網絡結果對比

4 結論

本文根據CT 圖像中肝臟腫瘤分割任務的特點，提出一種基于AR-UNet 網絡的分割網絡。首先對分割任務樣本集進行數據CLAHE 預處理，來增強目標區(qū)域與背景的對比度，然后利用本文方法對肝臟區(qū)域進行初分割，提取ROI，最后對利用AR-UNet 對ROI提取腫瘤區(qū)域。在不同數據集上的實驗結果表明，本文方法在肝臟腫瘤分割任務上表現(xiàn)優(yōu)秀，并且模型具有泛化能力。基于AR-UNet 網絡模型在腫瘤分布復雜的場景仍然有改進空間。為了進一步提高分割的準確率，本文的后續(xù)工作將關注空間體素以及對于模型結構的改進，進一步提高特征的利用，提升網絡分割性能。