基于多尺度語義表征的醫學圖像分割網絡

王曉援, 王 雪

(1. 吉林農業科技學院 信息化管理中心, 吉林 吉林 132101； 2. 吉林大學 計算機科學與技術學院, 長春 130012)

傳統的醫學圖像分割方法需借助圖像的灰度、 紋理、 形狀等特征信息, 并利用先驗知識手工設計特征實現分割[1]. 但該方法在復雜醫學圖像分割中很難提取有效特征, 且這些特征僅適用于特定的分割任務, 泛化能力較弱. 近年來, 深度卷積神經網絡因其強大的特征自動學習能力, 在醫學圖像分割中取得了顯著的效果; 全卷積神經網絡(fully convolutional neural network, FCN)實現了圖像端到端的像素級語義分割[2]; 經典的U-Net網絡在生物醫學圖像分割中取得了較好的分割性能[3]； 編解碼網絡進一步提升了多種醫學圖像分割任務的分割性能. 例如, 基于骨干網絡的改進： 循環神經網絡(recurrent neural network, RNN)[4]、 生成對抗網絡(generative adversarial networks, GAN)[5]和級聯網絡[6]； 基于網絡模塊的改進： Inception模塊、 稠密連接模塊、 注意力模塊以及多尺度模塊等[7-10]. 盡管上述方法在不同醫學圖像分割中不同程度地提升了分割性能, 但由于醫學圖像自身的復雜性, 如病灶區域紋理復雜、 邊界模糊、 與周圍組織的對比度低、 噪聲干擾等, 因此現有網絡在復雜特征提取中存在一定的局限性.

針對復雜場景下醫學圖像分割精度較低, 無法準確分割目標區域的問題, 本文提出一種基于多尺度語義表征的醫學圖像分割網絡, 以實現多種復雜場景下的醫學圖像分割. 該網絡通過引入多尺度上下文感知模塊, 捕獲空間和通道多個尺度的上下文信息； 通過特征差異模塊突出不同層間語義特征的差異性, 減少特征融合帶來的信息冗余； 通過邊界編碼模塊和混合注意力模塊進一步增強邊界特征學習和網絡語義表征能力. 實驗結果表明, 該方法在結腸鏡息肉和皮膚病灶分割中有效提升了多種復雜場景下的分割性能.

1 多尺度語義表征網絡

本文提出的多尺度語義表征網絡(multi-scale semantic representation network, MSR-Net)由多尺度上下文感知模塊(multi-scale context-aware module, MCM)、 特征差異模塊(feature difference module, FDM)、 邊界編碼模塊(boundary encoding module, BEM)和混合注意力模塊(hybrid attention module, HAM)組成. 編碼器采用預訓練的ResNet-34逐層提取圖像的語義特征信息； 解碼器的每層與編碼層對應, 采用兩個連續的卷積、 正則化和非線性激活操作逐層恢復編碼層提取的高級語義特征. 網絡訓練過程采用深度監督的方式, 分別計算每層解碼層生成的預測圖與其對應的具有相同分辨率的下采樣標簽圖像(ground truth, GT)的損失. MSR-Net的整體框架如圖1所示.

圖1 多尺度語義表征網絡整體框架

1.1 多尺度上下文感知模塊

針對醫學圖像中病灶區域的形狀不規則、 尺度變化大、 強度不均勻等復雜特征, 本文在編碼的深層語義特征圖中, 構建多尺度上下文感知模塊(MCM), 分別從空間和通道多個尺度學習目標區域的上下文信息, 提高網絡的語義表征能力. MCM模塊的組成結構如圖2所示, 其中Add表示特征圖相加操作, Mul表示像素級的乘操作.

圖2 MCM模塊結構

MCM模塊由感受野模塊(receptive field block, RFB)[11]和注意力細化模塊(attention refinement module, ARM)[12]組成. RFB模塊包含4個分支, 其思想來源于Inception結構, 采用并行卷積操作, 分別以不同的感受野提取深層語義特征圖中的空間上下文信息. 為降低網絡的計算量, 本文在編碼的第3,4,5層引入MCM模塊, 同時采用Atrous卷積, 以不同的擴張率擴大特征學習的感受野. 為提取到的多尺度空間上下文分配權重信息, ARM模塊進一步在特征圖通道上增強網絡對不同尺度上下文的表征能力.

1.2 特征差異模塊

為解決下采樣過程中丟失部分空間細節信息, 影響最終分割精度的問題, 典型的基于編碼-解碼網絡的方法在解碼層采取特征圖拼接或像素級的加操作融合編解碼層的特征. 但上述操作易產生信息冗余, 減弱了不同層語義信息間的差異, 在一定程度上影響了目標區域的準確定位. 基于此, 受文獻[13]啟發, 本文提出特征差異模塊, 通過計算相鄰層間的特征差異, 突出不同層間語義特征的差異性, 減少特征信息冗余. 特征差異的計算公式為

(1)

1.3 混合注意力模塊

在解碼器中, 本文采用混合注意力模塊HAM融合來自特征差異模塊(FDM)和邊界編碼模塊(BEM)的特征信息, 并通過壓縮-激勵(squeeze-and-excitation)[14]操作自適應地為其分配不同的權重, 學習各模塊匯聚的上下文信息, 增強網絡對不同層間特征差異和邊界信息的語義表征能力. 混合注意力模塊結構如圖3所示. 其中邊界編碼模塊BEM采用文獻[15]中局部上下文注意力(LCA)模塊的結構, 通過計算解碼層預測結果圖中模糊分類的像素點集合, 生成邊界處模糊分類的概率圖, 并與對應解碼層的特征圖進行融合, 得到邊界信息增強的特征圖. BEM可有效增強網絡對病灶區域邊界的特征學習能力.

圖3 混合注意力模塊結構

2 實驗結果與分析

本文實驗基于PyTorch框架, 訓練、 驗證和測試均在操作系統為Ubuntu 16.04 LTS 64, 內存為64 GB的Intel Xeon CPU E5-2620 v4服務器上進行, 顯卡采用NVIDIA GeForce GTX 1080 Ti獨立顯卡.

2.1 數據集及評價指標

實驗采用兩個公共的醫學圖像分割數據集： 結腸鏡息肉分割數據集和皮膚病變分割數據集. 其中: 結腸鏡息肉分割數據集選用Kvasir-SEG[16]; 皮膚病變分割數據集來自皮膚鏡檢查圖像ISIC 2018[17]. 兩個數據集都分別包含原圖像及與其對應的手工標簽圖像. 兩個數據集的信息列于表1.

表1 醫學圖像分割數據集信息

為驗證MSR-Net的分割性能, 本文采用的客觀評價指標包括： Dice系數、 均交并比(mIoU)、 準確率(accuracy, Acc)、 召回率(recall, Rec)和精確率(precision, Prec).

2.2 網絡參數設置

(2)

2.3 實驗對比分析

為驗證本文提出的MSR-Net在結腸鏡息肉分割數據集Kvasir_SEG上的分割性能, 將MSR-Net分別與U-Net[3],MCSA-Net[7],ACSNet[15],CA-Net[18],FANet[19]進行定量對比分析. 按文獻[7]中劃分數據集的方法, 將數據集以60%,20%,20%的比例隨機劃分為訓練集、 驗證集和測試集. 圖像在輸入網絡模型前, 將尺寸統一調整為320×320. 不同方法各評價指標的對比結果列于表2. 由表2可見, MSR-Net的各評價指標值均優于其他網絡, 與其他網絡中的最優結果相比, Dice系數、 均交并比mIoU、 準確率Acc、 召回率Rec和精確率Prec分別提高了1.94%,1.44%,0.33%,0.72%和1.27%.

表2 不同方法在數據集Kvasir_SEG上的定量對比結果

為從視覺上直觀地進行對比分析, 不同方法對息肉的可視化分割結果如圖4所示. 由圖4可見： 結腸鏡下的息肉紋理復雜, 與周圍黏膜組織對比度較低, 邊界不清晰, 增加了分割的難度; 其他網絡在部分分割場景下不同程度存在欠分割的現象, 如圖4中第1,4行的部分分割結果所示; 受圖像亮度不均和對比度低的影響, 其他網絡存在誤分割區域, 如圖4中第2～4行的分割結果所示. 實驗結果表明, 本文提出的MSR-Net的分割結果更接近于手工標注的GT圖像, 優于其他網絡.

圖4 不同方法在數據集Kvasir_SEG上的息肉分割結果

為驗證MSR-Net在皮膚病變分割數據集ISIC 2018上的分割性能, 將MSR-Net分別與上述對比網絡模型在該數據集上進行定量對比分析. 按文獻[7]劃分數據集的方法, 將數據集隨機劃分為訓練集、 驗證集和測試集. 其中, 1 815張圖像用于訓練、 259張圖像用于驗證、 520張圖像用于測試. 圖像在輸入網絡模型前, 將尺寸統一調整為512×512. 不同方法各評價指標的對比結果列于表3. 由表3可見, MSR-Net在Dice系數、 均交并比mIoU和準確率Acc指標上都取得了最優結果, 與其他網絡中的最優結果相比, 分別提高了1.65%,0.96%和0.11%. 在召回率Rec和精確率Prec上也都取得了較好的結果. 實驗結果表明, 本文網絡在皮膚病變分割中也取得了最優的分割性能.

表3 不同方法在數據集ISIC 2018上的定量對比結果

不同方法在皮膚病變分割的可視化對比結果如圖5所示. 針對皮膚病變區域顏色、 紋理、 形狀和大小多變、 邊界模糊、 背景毛發遮擋以及周圍組織相近顏色的干擾等多種復雜場景, 其他網絡均不同程度存在漏分割和誤分割現象, 而MSR-Net能有效避免復雜背景干擾, 準確地定位病灶區域的邊界, 在不同尺度的病灶區域分割中, 均取得了最優結果.

圖5 不同方法在數據集ISIC 2018上的皮膚病變分割結果

綜上所述, 為提高多種復雜場景下的醫學圖像分割精度, 結合醫學圖像自身的復雜特征, 本文提出了一種基于多尺度語義表征的醫學圖像分割網絡. 該網絡能從多個尺度提取復雜組織和病灶區域的上下文信息, 捕獲不同層間的特征差異, 并增強目標區域的邊界信息, 有效避免了相似背景信息的干擾, 增強了網絡對復雜特征的語義感知能力. 實驗結果表明, MSR-Net具有較強的魯棒性, 獲得了更高的分割精度.