基于Dual-Hard-Net網絡的結直腸息肉分割算法

高瑜曼, 高 琳, 何 晉

(1.成都信息工程大學電子工程學院,四川 成都 610225;2.成都信息工程大學區域鏈產業學院,四川 成都 610225)

0 引言

在人工智能和醫學大數據快速發展趨勢下,基于深度學習的醫學圖像分割在醫學輔助領域得到更普遍和深入的運用,有重要的應用前景和潛在發展趨勢。和自然圖像相比,醫學圖像存在分辨率高、數據量小、樣本大小不平衡等特點,因此基于不同醫學分割任務的多種圖像分割算法應運而生,解決不同分割領域的問題且得到了有效的應用。如Long J 等[1]構建FCN(完全卷積)網絡,通過由端到端、像素到像素訓練的卷積網絡進行語義分割。任意大小的圖像都可輸入到該網絡中,最后通過有效的推理和學習,產生相應大小的分割結果。并采用全卷積化的方式來解決逐像素的預測問題,使用跨層的跳躍連接結構,將淺層的紋理信息和深層次的語義信息進行融合,實現精準的分割任務。Ronneberger 等[2]提出一個對稱的U 型網絡,可融合多層多尺度特征,由一個收縮路徑獲取全局上下文信息以及一個對稱的擴張路徑進行局部精確定位組成。U-Net 網絡采用對稱編解碼結構,在編碼網絡部分對圖像進行卷積獲取上下文信息,在解碼網絡部分采用上采樣操作將圖像恢復到相應的尺寸大小,并通過跳躍連接將兩部分同樣分辨率大小的特征進行融合,最后恢復到原尺寸大小。Zhou等[3]提出了UNet++,是一個結合深度監督的編碼器網絡,編碼器和子網絡由嵌套及密集的跳躍長短連接構建聯系,短連接使模型能夠得到更有效的訓練,長連接可獲得上下文更多信息。它還整合了不同層次的特征提高精度,運用剪枝對網絡結構進行簡化并配合深度監督,在可接受的精度范圍內讓深度網絡參數量大幅度縮減。Fabian Isensee 等[4]提出nnunet,這是一種根據2D 和3D 的unet 進行改進的強大自我適應的框架。對包括不同的實體、圖像模式、圖像幾何和數據集大小進行自動適應,而無需手動調整數據集。Jha D[5]提出了新的DoubleUNet 框架,即兩個UNet 網絡疊加的結構,并使用金字塔池化來獲取上下文信息。Guan S[6]將密集連接機制引入到UNet 用于圖像重建,在降低網絡參量的同時提升了圖像重構的質量。MultiResUNet[7]網絡使用殘差路徑替代傳統UNet 中的跳躍連接,用多分辨率思路替代卷積層。Huang H[8]結合全尺度的跳躍連接和深度監督,把不同尺度的高級語義和低級語義的特征圖融合,提高了計算效率和分割精度。

基于以上分割模型,注意力塊可以根據不同的重要性有選擇地更改輸入或分配不同權重,得出每個像素在各個域中的特征重要性,從而重點關注圖像的關鍵信息,較顯著地提升分割的準確率。常見注意力機制有局部空間注意力、渠道注意力和混合注意力。Biparva M 等[9]提出一個網絡(ST-NET),將原始圖像的信息從一個空間轉換為另一個空間并保留關鍵信息。Oktay 等[10]提出了注意U-NET,注意力塊輸出一個門控信號,對不同空間位置的特征重要性加以控制。Roy A G 等[11]提出的SE-NET 使用3 個步驟在通道上實現注意力加權。首先是擠壓操作,全局平均池在輸入功能上執行以獲取通道特征映射；第二個是激發操作,先對通道的數量進行壓縮,然后將壓縮后的通道特征重建回到通道數；最后, 將Sigmoid 函數生成[0,1]的特征權重映射乘以原始輸入得到最終輸出。Li Xiang 等[12]提出SKNet,設置一組動態選擇的卷積,分Split、Fuse、Select 3 個步驟進行操作。空間注意力可以看作是一種自適應的空間區域選擇機制,而忽略了通道信息；而通道注意力直接匯總全局信息,同時忽略每個通道中的本地信息。因此,為將兩種注意力機制的優勢加以結合,Fu Jun 等[13]提出雙注意力網絡(DANet),在主干網絡上附加兩種注意力模塊,分別對空間維度和通道維度上的語義依賴關系進行建模,并對輸出進行融合。上面提到的注意力機制都提高了最終分割性能,但改善圖像分割性能最有效的是以渠道為中心的注意力機制。混合注意力機制可以同時利用空間和通道的優勢。

由于息肉圖像背景復雜且息肉很容易受其他正常區域干擾,使編碼器提取有效信息的能力有限；部分息肉圖像類別分布不均衡,息肉區域像素在圖像中比例較小,圖像數據少,網絡訓練較困難,導致出現漏檢,且分割精度不高等情況。針對以上問題,受U-Net 模型、DDANet 模型[14]、Residual 模型和注意力模型的啟發,本文提出一種改進的DHN( Dual-Hard-Net)網絡的結直腸息肉分割算法。主要包括以下幾個方面的內容:

(1)基于DDANet 網絡架構,通過編解碼的形式,在編碼部分運用hardnet 網絡對特征進行有效的多尺度提取,并結合一個由兩個并行解碼器共享的單個編碼器結構對多尺度特征加以充分利用和融合,解決了特征能力不夠,數據量少等問題。

(2)多支路形式,用不同尺寸大小卷積核的卷積層和空洞卷積層來提取具有不同感受野的特征,拓展網絡特征提取的寬度,最后,用1×1 的卷積來合并這些多尺度特征。

(3)在解碼網絡結構和殘差模塊中嵌入注意力機制模塊,捕獲多尺度特征進行融合的同時,根據其特征之間的相關性分配相關的系數,對息肉區域加以重點關注,解決了息肉像素占比小,關注度不高,無區別等問題,提高了分割精度。

1 基于DHN 網絡的分割算法

1.1 算法框架

本文提出的DHN(Dual-Hard-Net)結構如圖1 所示,網絡主要包括3 個部分: 編碼部分、解碼部分、注意力機制和殘差模塊。在編碼過程中,將訓練圖像輸入到模型中,經過由hardnet 網絡和卷積層以及池化層組成的編碼器結構,由卷積層分別輸出4 個不同尺度的特征圖,再分別輸入到解碼器中；在解碼過程中,上面第一個解碼器充當分割網絡,下面第二個解碼器充當自動編碼器網絡。自動編碼器網絡有助于加強編碼器網絡中的特征圖,被用作生成注意力圖以便和第一個解碼器的輸出相乘,然后將結果輸入到下一層的解碼器中。在最終的輸出中,預測圖像與輸入圖像尺寸相同。在解碼網絡結構和殘差模塊中嵌入注意力機制模塊,根據像素特征之間的相似關聯性,關注有效信息,忽略無關信息。將多分支和殘差模塊嵌入在編解碼網絡及各個卷積層之中,提取多尺度特征信息,拓展網絡寬度。

圖1 DHN 算法網絡框架

此網絡結構的特征為:采用并結合由兩個并行解碼器共享的單個編碼器和多個并行解碼器組成的編解碼體系結構, 編碼器中采用的harnet 網絡是對Densenet 的改進,在網絡中減少shortcut,增加計算速度,彌補準確性的丟失,且能提取多尺度特征從而提高準確率；其中第一個解碼器充當分割網絡,第二個解碼器充當自動編碼器網絡,第一個解碼器將編碼器輸出的3 個不同尺度的特征圖加以充分利用,且使用注意圖來改善特征圖的語義表示,關注特征的重要部分,再與融合的特征圖相乘,輸入到下一個解碼器。在下一個解碼器中對編碼器提取的淺層特征和上個解碼器的輸出重復進行同樣的操作,產生新的注意力圖和融合新的特征圖,能夠對重點區域加以再次篩選,最終和高分辨率特征圖相乘,輸出預測的分割mask 和重建的灰度圖像。

實驗表明,這種結構對多尺度特征的提取和利用及多次注意力機制的運用,有助于提高整個網絡的分割性能。

1.2 編碼網絡結構

編碼部分由主干網絡HardNet[15]、卷積層和池化層組成,結構如圖2 所示。主干網絡是一個低內存占用率的CNN 網絡,其中hard block 是對Densenet 網絡中的dense block 進行改進,減少短連接shortcuts 的連接數,增加了推理速度,還增加了主層的通道寬度[16]。因為增加通道的寬度可以讓每一層從不同方向、不同頻率的紋理特征獲取到更加豐富的特征,故可以恢復因為連接在修剪過程中下降的準確性,彌補準確率的丟失。用少量的1×1conv 層來增加計算密度,從而增加運行速度,且達到了比較高的準確率。最后由conv1×1 分別輸出不同尺度的特征圖,輸入解碼部分。

圖2 改進的Hard-Net 編碼器模塊

1.3 解碼網絡結構

在解碼器部分,借鑒雙解碼器注意網絡(DDANET),它是一種可以進行自動息肉細分的深度學習體系結構。具體結構為:有4 個decoder 塊,RGB 圖像輸入到encoder 塊,將其編碼成抽象的特征表示,然后下采樣,編碼的輸出分別對稱連到兩個解碼器中。第一個decoder s1 塊(分割支路)(圖3),有3 個RFB module 和一個聚合模塊,RFB 模塊是先對不同尺度的特征進行提取,然后再聚合為一個特征輸出。

圖3 分割支路的解碼模塊

第二個decodera2 塊(自動編碼器支路)(圖4),有4×4 的反卷積,將其空間擴大兩倍,然后用跳躍連接將編碼網絡的特征圖堆疊到解碼器中,跳躍連接增加特征代表性,能加快網絡收斂。兩個殘差塊在反向傳播中學習到必要的特征。緊接著一個1×1 卷積和sig 激活函數來產生一個注意力圖譜。然后這個圖譜乘以第一個解碼器(分割支路)的輸出,整體的輸出作為下個分割支路的解碼器的輸入,最后decoder 塊輸出通過1×1 卷積和sig 函數,第一個塊輸出分割掩碼,第二個輸出重建的灰度圖。采用的改進解碼部分的特點主要有兩點:

圖4 自動編碼器支路的解碼器模塊

(1)由多個并列的對稱結構的解碼器組成,其中第一個解碼器充當分割網絡,將編碼器輸出的3 個不同尺度的特征圖加以充分利用,且使用注意圖來改善特征圖的語義表示,重點關注特征的重要部分。第二個解碼器充當自動編碼器網絡。

(2)注意力機制的引入使多尺度特征圖在不同的區域有不同的權重系數,能夠更精確地關注目標區域。

1.4 相關模塊組成

多感受野特征提取模塊(receptive field block,RFB)(圖5),采用多支路形式,用不同尺寸大小卷積核的卷積層和空洞卷積層[17]來提取不同感受野的特征,最后用1×1 的卷積合并這些多尺度特征,得到最后的特征表達,能加強從主干中學習到的深層特征表達。

圖5 RFB 模塊

Residual 模塊(圖6)對常見的殘差模塊進行了改進,引入注意力SE(squeeze&excitation)模塊,該注意力模塊結合通道注意力,也可以引入其他的空間注意力和混合注意力模塊,其作用是關注不同特征和目標之間的關聯相似性,對不同特征進行區別對待,即分配不同的注意力系數,對有關聯的特征加以重點關注而忽略不重要的特征,可以節省資源。

圖6 改進的殘差模塊

而Aggregation block 部分(圖7)將經過RFB module 處理的多尺度特征圖先上采樣到同樣的尺寸,再與另外相應尺寸的輸入特征進行相乘,最終通過concat操作疊加所得到的特征圖,得到該模塊的輸出。

圖7 特征聚合模塊

1.5 損失函數

交叉熵損失函數不僅可以用在傳統的分類問題中,也可用在大多數語義分割場景中使用。本文采用的總體損失為兩種函數的混合損失函數,表達式為

通常IoU 的計算方式為在二分類情況下,使用二元交叉熵[18]BCE 公式為

其中,G(r,c)∈{0,1}是像素點(r,c)的ground truth標簽,S(r,c)是其為目標顯著類別的預測概率。其中IoU 代表交并比,BCE 代表二元交叉熵,使用加權值的方式來計算損失,可使整個模型重點關注圖像中物體的邊緣部分。先提取像素值周圍15 個像素值(上下左右各15 個),形成31×31 的矩陣,然后計算矩陣中數值的平均值,最后計算平均值與該像素值的差值,這樣可以得知該像素點與周圍像素點的差異,并根據該差異大小添加相應大小的權值來計算損失,從而使模型更加關注圖像的邊緣部分。由于只關注圖像中每個像素點與周圍的區別,且結果只與差異的大小有關,所以只需要取絕對值。

2 實驗結果及分析

2.1 數據集及評價指標

采用了Kvasir-SEG[19]息肉數據集,由1000 張息肉圖像和對應的標簽圖像組成,其中880 張圖像用于訓練集,120 張圖像用于測試集。息肉數據的病灶區域和背景信息較難區分,邊界不易分離,且病灶存在特征差異大、形狀大小各異等特性,故該數據集對于醫學分割任務具有較大的挑戰性。因此采用了隨機旋轉,水平和垂直翻轉等數據增強技術[20]。

分割性能的評價指標采用的是相似系數(Dice)和平均交并比(mIoU)。相似系數(Dice)通常用于計算兩個樣本之間的相似度,是一種描述集合相似度的度量函數,其范圍在[0,1],其中1 表示預測值和真值完全重合,0 表示預測值和實際值毫無重合部分,定義為

其定義中|X∩Y|表示X和Y之間的交集大小,|X|和|Y|分別表示X和Y中元素的個數。在分割任務中,|X|和|Y|則具體表示為分割的ground truth 和predict mask。由于分母對X和Y之間的共同元素存在重復計算,故將分子乘以2。

平均交并比(mIoU)可解釋為交集和并集的平均比值,利用分割區域重疊面積的比值測量真值和預測值之間的相關度。mIoU 值可用作衡量圖像分割精度的重要指標,可以看作是在每個類別上分別計算的IoU 值(即真的正樣本數/(真的正樣本數+假的正樣本數+假的負樣本數)),定義為

其中,TP(true positive),FP(false positive),TN(true negative),FN(false negative)分別表示真的正樣本,假的正樣本,真的負樣本,假的負樣本。整體實驗結果以mIoU 和Dice 作為主要評價指標,且其數值取值越大表明分割精度越高,實驗效果越好。

2.2 對比實驗

為檢驗本文算法在Kvasir-SEG、CVC-ClinicDB 數據集上的分割性能,在兩個數據集上分別和8 個經典算法進行了對比實驗,具體為UNet, ResUNet, ResUNet++, FCN8, DoubleUNet,PSPNet, Deeplabv3+[21],DDANet 算法。在Kvasir-SEG 息肉數據集上,采用Adam 優化器,將網絡模型與一些經典的醫學分割網絡以及基準網絡DDANet 做對比,實驗結果分別如表1 所示。

表1 各算法分割結果對比

從表1 中可以看出,本文算法在Kvasir SEG 數據集的測試中,相對于其他8 個經典的分割網絡來說,在指標mIoU 和mDice 上均得到了提升,分別為0.895 和0.859。綜合所有指標數據,實驗結果表明本文算法的分割效果較傳統分割網絡來說準確率更高,在醫學圖像分割任務中,將Dual-HardNet 網絡應用于腸道息肉圖像分割有一定的實用價值。

2.3 消融實驗

為驗證Decoder 結構對提升分割精度的有效性,本文構建只包含Decoders1 部分網絡和包含Decoders1+s2 的完整網絡,并分別在數據集上進行實驗,結果如表2 所示。從表中可以看出Decoder 結構對結果的影響,完整的Decoder 結構能夠提升mIoU 指標,從而驗證了提出的完整模型能夠對多尺度圖像的特征信息更加充分地學習和使用,使整體的分割精度得到提升。

表2 消融實驗結果

為驗證不同注意力模塊以及添加注意力模塊是否對分割準確率產生影響,且減少其他因素的影響,構建分別包含SE 或CBAM 注意力模塊和不包含注意力模塊的網絡,兩組實驗結果如表所示,第1 行和第2 行以及第3 行與最后一行分別表明引入注意力模塊有助于對準確率的提升,第4 行和第5 行分別表示引入不同的注意力模塊對網絡的影響,其中se 模塊效果最好。兩組實驗表明,在基礎網絡和多分支結構中添加注意力模塊,有益于增強模塊提取全局特征的能力,有區別對待不同的特征區域使分割精確度得到了提升,驗證了注意力機制的有效性。

2.4 分割結果

分割結果如圖8 所示,可以看出,DHN 算法所得到的分割預測結果相比于實際的標記圖,在整體的輪廓、位置和形狀上都十分接近和相似,從視覺上來看,輸入圖像的病變區域分割邊界更為平滑,形狀和位置更加吻合,對于局部的圖像信息也展現的較為詳細和清晰。和其他算法的分割結果圖比較可以看出,DHN算法分割效果較好,邊緣更清晰,且更加接近GT 圖,對醫療診斷起到更精確的輔助作用。

圖8 DHN 分割結果圖

對比實驗如圖9 所示,可以看出,DHN 算法在Kvasir SEG 數據集的測試中,相對于其它8 個經典的分割網絡來說,指標mIoU 和mDice 均得到了提升,分別為0.895和0.859。從消融實驗中可以看出,在基礎網絡和多分支結構中添加注意力模塊,有益于增強模塊提取全局特征的能力,有區別對待不同的特征區域使分割精確度得到了提升,驗證了注意力機制的有效性。改進的Decoder 結構有助于提升分割精確度,從而驗證了提出的完整模型能夠對多尺度圖像的特征信息更加充分的學習和使用,使整體的分割精度得到提升。綜合所有指標數據,實驗結果表明DHN 算法的分割效果較傳統分割網絡來說準確率更高,在醫學圖像分割任務中,將Dual-HardNet 網絡應用于腸道息肉圖像分割有一定的實用價值。

3 總結

提出一種基于注意力機制的醫學圖像分割模型,模型在傳統的編解碼結構上采用共享編碼器和并列的解碼器結構,結合多分支的結構特點提取并融合多尺度特征,引入注意力機制對特征分配相關權重。在兩個公開的醫學圖像數據集上進行實驗驗證,并與多個主流分割經典網絡進行了對比。實驗表明DHN 分割算法在分割的準確性和訓練的速率等方面都得到了較大的提升,分割的效果更好,且具有一定的通用性,對于以后的臨床診斷有一定的輔助應用價值。即使如此,實驗中依然存在許多需要改進的地方,如由于腸息肉分割存在背景和目標難以區別的特點；預測的器官邊界過于模糊,輪廓不清晰；由專業醫學人士標注的醫學圖像樣本量較匱乏,使模型進行訓練和驗證的樣本量較少,導致模型容易出現過擬合等問題。為此,以后將進一步對數據進行圖像預處理,使用圖像增強技術,最大化增加圖像樣本量進而使模型得到進一步的優化。