多尺度融合的MRI腦腫瘤圖像分割方法

趙惟玉，丁 然，李 陽，高秀敏

（上海理工大學光電信息與計算機工程學院，上海 200093）

0 引言

腦腫瘤是大腦中細胞非正常生長的病癥，是由于顱腦內部組織出現癌變而導致的高危害疾病。腦腫瘤分割通過識別與正常組織異常的區域來分割腫瘤區域位置和范圍［1］。目前腦腫瘤診斷十分依賴于醫學影像技術，包括計算機斷層掃描（Computer Tomography，CT）成像技術、正電子發射型計算機斷層顯像（Positron Emission Computed Tomography，PET）技術與核磁共振成像（Magnetic Resonance Imaging，MRI）技術［2］。其中，核磁共振成像在醫學上被廣泛應用于腦腫瘤診斷，具有分辨率高、軟組織對比度強及非侵入性等特點［3］。過去腦腫瘤圖像輪廓分割一般靠手工完成，是一項十分復雜且容易出錯的工作［4-5］。基于深度學習的自動分割方法能夠主動提取學習圖像特征，快速分割有用的圖像信息。醫學圖像分割作為強大的人工智能技術，被期望應用于臨床環境中腦腫瘤特征的定量判斷，因此成為當下醫學圖像分割領域的研究熱點［6-10，12］。

深度學習起源于人工神經網絡研究，是模擬人腦神經元認知過程的一種抽象計算模型。Amin 等［11］提出一種深度神經網絡（Deep Neural Networks，DNN），將圖像分割成多個圖片，然后計算每個圖片的中心像素標簽并提供給DNN，以改善分割與分類效果。在過去幾年里，卷積神經網絡（Convolutional Neural Network，CNN）已主導了腦腫瘤分割領域。Havaei 等［12］提出一種級聯模型，采用兩階段的訓練方式，在分割效果上取得了很大進步；Zhao 等［13］提出多尺度卷積，相較于傳統網絡，其不再將圖像在單一尺度上進行卷積；Ronneberger 等［14］對全卷積神經網絡（Fully Convolutional Network，FCN）框架進行改進，在醫學影像分析中采用U-net 模型，能夠將高層語義信息與淺層特征進行融合，使結果更加精準。U-Net 模型的學習能力十分強大，因而在醫學圖像分割領域得到了廣泛應用［15-20］。

本文提出一種改進的U-Net 腦腫瘤輪廓分割網絡，結合殘差網絡與一種用于增強上下文信息的模塊，并融合空洞空間卷積池化金字塔模塊，對腦部膠質瘤的MRI 圖像進行分割檢測，有效提高了分割精度。本文主要有以下貢獻：

（1）將Resnet［21］的殘差映射方式與U-Net 的下采樣過程進行融合，作為圖像處理收縮路徑的主干網絡，從而有效解決了網絡訓練中梯度爆炸和梯度消失的退化現象，并將淺層特征信息的傳播跨越通道直接與高層網絡進行融合。

（2）采用一種增強上下文信息的模塊，將該模塊放在四次下采樣之后，通過多個卷積增強圖像內部的每個像素特征，從而增強上下文信息。在增加網絡感受野的同時，減少了計算量。

（3）模型加入空洞空間卷積池化金字塔，并融合多尺度信息。

2 腦腫瘤分割模型

2.1 模型總體設計

本文提出一種分割網絡模型（見圖1），其是一種基于U-Net 的全卷積神經網絡，整體結構分為收縮路徑和擴張路徑。在收縮路徑中采用跳躍連接，利用殘差進行恒等變換，將上層提取的特征信息跳躍傳遞給下層網絡。同時，在收縮路徑與擴張路徑之間加入一種上下文增強模塊（Context enhancement block，CE block）［22］和空洞空間卷積池化金字塔（Atrous Spatial Pyramid Pooling，ASPP）［23］。CE block 承載著增強上下文信息的功能，ASPP block 將經過CE blocks 增強后的圖像特征用大小不等的采樣率進行空洞卷積，即利用不同膨脹因子的空洞卷積融合多尺度信息。經過CE block 和ASPP block 后可增強對不同尺度分割目標的感知能力，顯著提高分割精度。然后，在擴張路徑中采用Decoder block 恢復圖像收縮過程中的特征。為彌補在圖像收縮時由于連續卷積而造成的信息損失，將擴張路徑中每一層解碼操作之后提取的特征信息與收縮路徑中對應下采樣提取的特征信息進行跳躍連接，作為下一層解碼操作的輸入，逐步恢復特征圖尺寸。

2.2 ResNet結構

收縮路徑融合了ResNet block，采用shortcut connection。ResNet block 結構如圖2 所示，由兩層3×3 的卷積層以及跳躍連接構成。其將主干網絡上每一層輸入與輸出進行矩陣相加作為新的輸出，讓網絡學習輸入與新輸出之間的誤差，使得網絡即使沒有學習到新信息依然可以維持恒等變換。ResNet 網絡沒有引進多余的參數，不會增加計算量，在網絡深度增加時可減輕退化問題，保證訓練精度。

2.3 信息增強模塊

2.3.1 上下文增強模塊

上下文增強模塊由3×3 卷積、3×3 膨脹卷積（Dilated convolution，DL conv）和5×5 深度可分離卷積（Depth separable convolution，DS conv）組合而成。3×3 膨脹卷積在保留內部數據的情況下，包含了更大范圍的信息，擁有更大的感受野，意味著能夠包含更多上下文信息。5×5 深度可分離卷積首先針對通道進行卷積運算，產生與輸入通道數相同的特征矩陣，然后將特征矩陣進行逐點卷積，生成新的特征圖，可在不損失訓練準確度的同時，減少計算量。上下文增強模塊如圖3 所示，將壓縮后的特征信息作為CE block 的輸入，經過3×3 卷積、3×3 膨脹卷積和5×5 深度可分離卷積之后進行信息融合，然后通過Relu 增強模型的非線性，將輸出后的特征信息與CE block 的輸入進行跳躍連接，并將融合之后的特征信息作為CE block 的輸出，多尺度地增強上下文信息。

Fig.3 Context enhancement block圖3 上下文增強模塊

2.3.2 空洞空間卷積池化金字塔

空洞空間卷積池化金字塔是由不同膨脹率的膨脹卷積組成的，其利用多個膨脹卷積對圖像特征進行運算，以多個比例捕捉圖像上下文。如圖4 所示，本文使用采樣率分別為6、12、18、24 的4 個3×3 膨脹卷積構造新的特征圖。ASPP 能夠解決隨著圖片變形而導致的信息變形問題，從而保障圖像檢測精度。

Fig.4 Atrous spatial convolution pooling pyramid圖4 空洞空間卷積池化金字塔

2.4 解碼器

解碼器（Decoder block）能夠有效提高解碼性能。在擴張路徑中一般采用反卷積和upscaling 兩種操作來恢復圖像尺寸，而反卷積能夠通過映射恢復圖像的有用信息。如圖5 所示，Decoder block 包含兩個1×1 卷積和一個3×3 反卷積，能夠較好地恢復圖片中的高分辨率特征。

3 實驗結果與分析

該網絡模型在PyCharm 平臺上完成訓練與測試，其硬件配置為NVIDIA GTX 1080Ti GPU，內存為16GB，軟件配置為Ubuntu 18.04.3 的64 位操作系統，訓練環境為Py-Torch-GPU 1.4.0，Python 版本為3.6.2。

Fig.5 Decoder block圖5 解碼器模塊

3.1 評價指標

在二分類實驗研究報告中，通常會根據實驗結果中總樣本對照預測結果與真實結果的不同分為：真陽（True Positive，TP）、假陰（False Negative，FN）、假陽（False Positive，FP）、真陰（True Negative，TN）4類，如表1所示。

Table 1 Classification problem prediction results表1 分類問題預測結果

正確率（Accuracy，ACC）為樣本總數中正例與負例被正確預測之和所占比率：

準確率（Precision，Pre）為預測的正類樣本中，正例被正確預測的比率：

真陽率（True Positive Rate，TPR）為正例被正確預測的數量與實際數據集中正樣本總數量的比值：

假陽率（False Positive Rate，FPR）為負例被正確預測的數量與實際數據集中負樣本總數量的比值：

受試者工作特征（Receiver Operating Characteristic，ROC）曲線是一種被廣泛應用的實驗結果分析方法，可用來評價檢測與分類結果。ROC 曲線圖橫坐標為1-特異度，縱坐標為敏感度（Sensitivity，Sen）。在數值上，1-特異度的值與假陽率相等，敏感度數值與真陽率相等。選取不同的階段點，根據預測樣本為正類的概率得到對應的橫縱坐標值。

ROC 曲線圖本身無法直接衡量模型效果，一般用ROC曲線下面積（Area Under Curve，AUC）作為一種可定量評價指標。AUC 數值與模型預測效果對應關系如表2所示。

Table 2 Correspondence between AUC values and model prediction effects表2 AUC數值與模型預測效果對應關系

本文選用ACC、AUC 和Sen 作為模型性能評價指標進行后續討論。

3.2 實驗結果與分析

本文采用從癌癥影像檔案（TCIA）下載的數據集（https：//wiki.cancerimagingarchive.net/display/Public/TCGALGG），其中包含由國家癌癥研究所贊助的癌癥基因組圖譜（TCGA）患者的醫學影像數據。具體數據為110 名TCGA 患者低級別膠質瘤的液體衰減反轉恢復（FLAIR）序列和基因組聚類，選擇900 張圖像作為訓練集，90 張圖像作為測試集。本文實驗通過編程運行得出結果，每個實驗除網絡結構不一樣外，其他參數保持一致，包括數據集和數據增強方式。訓練部分迭代300 次，學習率為0.001，batchsize 為8。其中，損失函數采用交叉熵損失函數，優化器為Adam。

將本文提出的基于U-net的改進網絡與傳統的U-net、ResU-net 進行比較。在U-Net 結構中，每個編碼器塊包含兩個卷積層和一個最大池層。ResU-net 在特征編碼器模塊中，將編碼器替換為預訓練的ResNet-34［22］，保留了前4 個沒有平均池化層和全連接層的特征提取模塊。ResUnet 增加了快捷機制，可避免梯度消失，加速網絡收斂。分割結果如圖6所示。

Fig.6 Experimental result圖6 實驗結果

圖中第一列為腦部膠質瘤原，其余從左到右分別為U-net、ResU-net 和本文模型分割結果，最后一列是數據集中的已標注腦腫瘤輪廓。U-net、ResU-net 的分割結果存在缺損現象，效果不夠理想。本文模型能夠精確定位腦腫瘤輪廓，噪聲較小，效果更佳。

實驗結果定量評價如表3 所示，相較于U-net、ResUnet，本文提出的基于U-net 的改進網絡能夠獲得更好的分割效果，ACC、AUC 和Sen 值都得到提升，獲得了更好的模型性能。

Table 3 Quantitative evaluation of experimental results表3 實驗結果定量評價

4 結語

腦腫瘤的自動圖像分割對于臨床診斷具有十分重要的意義，本文基于U-net網絡對其進行改進，在模型下采樣過程中結合殘差網絡，跳躍連接上下層信息，加入一種用于增強上下文信息的CE 模塊和ASPP 模塊以增強模型感知能力。在TCIA 提供的數據集上進行實驗，實驗結果證明，本文模型具有更好的分割性能，定量評價指標ACC 達到0.957 2，AUC 達到0.839 2，Sen 達到0.979 4，能夠更好地分割腦瘤邊界，并提高了腦腫瘤圖像分割效率。但在本文實驗中，沒有區分低級別膠質瘤與高級別膠質瘤，因此根據腦膠質瘤種類進行分割將是下一步的研究重點。本文提出的網絡能夠融合多尺度信息，可被應用于更多生物醫學圖像分割中，對于輔助復雜的醫療診斷具有積極意義。