多尺度融合的MRI腦腫瘤圖像分割方法

趙惟玉，丁 然，李 陽，高秀敏

（上海理工大學光電信息與計算機工程學院，上海 200093）

0 引言

腦腫瘤是大腦中細胞非正常生長的病癥，是由于顱腦內(nèi)部組織出現(xiàn)癌變而導致的高危害疾病。腦腫瘤分割通過識別與正常組織異常的區(qū)域來分割腫瘤區(qū)域位置和范圍［1］。目前腦腫瘤診斷十分依賴于醫(yī)學影像技術，包括計算機斷層掃描（Computer Tomography，CT）成像技術、正電子發(fā)射型計算機斷層顯像（Positron Emission Computed Tomography，PET）技術與核磁共振成像（Magnetic Resonance Imaging，MRI）技術［2］。其中，核磁共振成像在醫(yī)學上被廣泛應用于腦腫瘤診斷，具有分辨率高、軟組織對比度強及非侵入性等特點［3］。過去腦腫瘤圖像輪廓分割一般靠手工完成，是一項十分復雜且容易出錯的工作［4-5］。基于深度學習的自動分割方法能夠主動提取學習圖像特征，快速分割有用的圖像信息。醫(yī)學圖像分割作為強大的人工智能技術，被期望應用于臨床環(huán)境中腦腫瘤特征的定量判斷，因此成為當下醫(yī)學圖像分割領域的研究熱點［6-10，12］。

深度學習起源于人工神經(jīng)網(wǎng)絡研究，是模擬人腦神經(jīng)元認知過程的一種抽象計算模型。Amin 等［11］提出一種深度神經(jīng)網(wǎng)絡（Deep Neural Networks，DNN），將圖像分割成多個圖片，然后計算每個圖片的中心像素標簽并提供給DNN，以改善分割與分類效果。在過去幾年里，卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）已主導了腦腫瘤分割領域。Havaei 等［12］提出一種級聯(lián)模型，采用兩階段的訓練方式，在分割效果上取得了很大進步；Zhao 等［13］提出多尺度卷積，相較于傳統(tǒng)網(wǎng)絡，其不再將圖像在單一尺度上進行卷積；Ronneberger 等［14］對全卷積神經(jīng)網(wǎng)絡（Fully Convolutional Network，F(xiàn)CN）框架進行改進，在醫(yī)學影像分析中采用U-net 模型，能夠?qū)⒏邔诱Z義信息與淺層特征進行融合，使結(jié)果更加精準。U-Net 模型的學習能力十分強大，因而在醫(yī)學圖像分割領域得到了廣泛應用［15-20］。

本文提出一種改進的U-Net 腦腫瘤輪廓分割網(wǎng)絡，結(jié)合殘差網(wǎng)絡與一種用于增強上下文信息的模塊，并融合空洞空間卷積池化金字塔模塊，對腦部膠質(zhì)瘤的MRI 圖像進行分割檢測，有效提高了分割精度。本文主要有以下貢獻：

（1）將Resnet［21］的殘差映射方式與U-Net 的下采樣過程進行融合，作為圖像處理收縮路徑的主干網(wǎng)絡，從而有效解決了網(wǎng)絡訓練中梯度爆炸和梯度消失的退化現(xiàn)象，并將淺層特征信息的傳播跨越通道直接與高層網(wǎng)絡進行融合。

（2）采用一種增強上下文信息的模塊，將該模塊放在四次下采樣之后，通過多個卷積增強圖像內(nèi)部的每個像素特征，從而增強上下文信息。在增加網(wǎng)絡感受野的同時，減少了計算量。

（3）模型加入空洞空間卷積池化金字塔，并融合多尺度信息。

2 腦腫瘤分割模型

2.1 模型總體設計

本文提出一種分割網(wǎng)絡模型（見圖1），其是一種基于U-Net 的全卷積神經(jīng)網(wǎng)絡，整體結(jié)構(gòu)分為收縮路徑和擴張路徑。在收縮路徑中采用跳躍連接，利用殘差進行恒等變換，將上層提取的特征信息跳躍傳遞給下層網(wǎng)絡。同時，在收縮路徑與擴張路徑之間加入一種上下文增強模塊（Context enhancement block，CE block）［22］和空洞空間卷積池化金字塔（Atrous Spatial Pyramid Pooling，ASPP）［23］。CE block 承載著增強上下文信息的功能，ASPP block 將經(jīng)過CE blocks 增強后的圖像特征用大小不等的采樣率進行空洞卷積，即利用不同膨脹因子的空洞卷積融合多尺度信息。經(jīng)過CE block 和ASPP block 后可增強對不同尺度分割目標的感知能力，顯著提高分割精度。然后，在擴張路徑中采用Decoder block 恢復圖像收縮過程中的特征。為彌補在圖像收縮時由于連續(xù)卷積而造成的信息損失，將擴張路徑中每一層解碼操作之后提取的特征信息與收縮路徑中對應下采樣提取的特征信息進行跳躍連接，作為下一層解碼操作的輸入，逐步恢復特征圖尺寸。

2.2 ResNet結(jié)構(gòu)

收縮路徑融合了ResNet block，采用shortcut connection。ResNet block 結(jié)構(gòu)如圖2 所示，由兩層3×3 的卷積層以及跳躍連接構(gòu)成。其將主干網(wǎng)絡上每一層輸入與輸出進行矩陣相加作為新的輸出，讓網(wǎng)絡學習輸入與新輸出之間的誤差，使得網(wǎng)絡即使沒有學習到新信息依然可以維持恒等變換。ResNet 網(wǎng)絡沒有引進多余的參數(shù)，不會增加計算量，在網(wǎng)絡深度增加時可減輕退化問題，保證訓練精度。

2.3 信息增強模塊

2.3.1 上下文增強模塊

上下文增強模塊由3×3 卷積、3×3 膨脹卷積（Dilated convolution，DL conv）和5×5 深度可分離卷積（Depth separable convolution，DS conv）組合而成。3×3 膨脹卷積在保留內(nèi)部數(shù)據(jù)的情況下，包含了更大范圍的信息，擁有更大的感受野，意味著能夠包含更多上下文信息。5×5 深度可分離卷積首先針對通道進行卷積運算，產(chǎn)生與輸入通道數(shù)相同的特征矩陣，然后將特征矩陣進行逐點卷積，生成新的特征圖，可在不損失訓練準確度的同時，減少計算量。上下文增強模塊如圖3 所示，將壓縮后的特征信息作為CE block 的輸入，經(jīng)過3×3 卷積、3×3 膨脹卷積和5×5 深度可分離卷積之后進行信息融合，然后通過Relu 增強模型的非線性，將輸出后的特征信息與CE block 的輸入進行跳躍連接，并將融合之后的特征信息作為CE block 的輸出，多尺度地增強上下文信息。

Fig.3 Context enhancement block圖3 上下文增強模塊

2.3.2 空洞空間卷積池化金字塔

空洞空間卷積池化金字塔是由不同膨脹率的膨脹卷積組成的，其利用多個膨脹卷積對圖像特征進行運算，以多個比例捕捉圖像上下文。如圖4 所示，本文使用采樣率分別為6、12、18、24 的4 個3×3 膨脹卷積構(gòu)造新的特征圖。ASPP 能夠解決隨著圖片變形而導致的信息變形問題，從而保障圖像檢測精度。

Fig.4 Atrous spatial convolution pooling pyramid圖4 空洞空間卷積池化金字塔

2.4 解碼器

解碼器（Decoder block）能夠有效提高解碼性能。在擴張路徑中一般采用反卷積和upscaling 兩種操作來恢復圖像尺寸，而反卷積能夠通過映射恢復圖像的有用信息。如圖5 所示，Decoder block 包含兩個1×1 卷積和一個3×3 反卷積，能夠較好地恢復圖片中的高分辨率特征。

3 實驗結(jié)果與分析

該網(wǎng)絡模型在PyCharm 平臺上完成訓練與測試，其硬件配置為NVIDIA GTX 1080Ti GPU，內(nèi)存為16GB，軟件配置為Ubuntu 18.04.3 的64 位操作系統(tǒng)，訓練環(huán)境為Py-Torch-GPU 1.4.0，Python 版本為3.6.2。

Fig.5 Decoder block圖5 解碼器模塊

3.1 評價指標

在二分類實驗研究報告中，通常會根據(jù)實驗結(jié)果中總樣本對照預測結(jié)果與真實結(jié)果的不同分為：真陽（True Positive，TP）、假陰（False Negative，F(xiàn)N）、假陽（False Positive，F(xiàn)P）、真陰（True Negative，TN）4類，如表1所示。

Table 1 Classification problem prediction results表1 分類問題預測結(jié)果

正確率（Accuracy，ACC）為樣本總數(shù)中正例與負例被正確預測之和所占比率：

準確率（Precision，Pre）為預測的正類樣本中，正例被正確預測的比率：

真陽率（True Positive Rate，TPR）為正例被正確預測的數(shù)量與實際數(shù)據(jù)集中正樣本總數(shù)量的比值：

假陽率（False Positive Rate，F(xiàn)PR）為負例被正確預測的數(shù)量與實際數(shù)據(jù)集中負樣本總數(shù)量的比值：

受試者工作特征（Receiver Operating Characteristic，ROC）曲線是一種被廣泛應用的實驗結(jié)果分析方法，可用來評價檢測與分類結(jié)果。ROC 曲線圖橫坐標為1-特異度，縱坐標為敏感度（Sensitivity，Sen）。在數(shù)值上，1-特異度的值與假陽率相等，敏感度數(shù)值與真陽率相等。選取不同的階段點，根據(jù)預測樣本為正類的概率得到對應的橫縱坐標值。

ROC 曲線圖本身無法直接衡量模型效果，一般用ROC曲線下面積（Area Under Curve，AUC）作為一種可定量評價指標。AUC 數(shù)值與模型預測效果對應關系如表2所示。

Table 2 Correspondence between AUC values and model prediction effects表2 AUC數(shù)值與模型預測效果對應關系

本文選用ACC、AUC 和Sen 作為模型性能評價指標進行后續(xù)討論。

3.2 實驗結(jié)果與分析

本文采用從癌癥影像檔案（TCIA）下載的數(shù)據(jù)集（https：//wiki.cancerimagingarchive.net/display/Public/TCGALGG），其中包含由國家癌癥研究所贊助的癌癥基因組圖譜（TCGA）患者的醫(yī)學影像數(shù)據(jù)。具體數(shù)據(jù)為110 名TCGA 患者低級別膠質(zhì)瘤的液體衰減反轉(zhuǎn)恢復（FLAIR）序列和基因組聚類，選擇900 張圖像作為訓練集，90 張圖像作為測試集。本文實驗通過編程運行得出結(jié)果，每個實驗除網(wǎng)絡結(jié)構(gòu)不一樣外，其他參數(shù)保持一致，包括數(shù)據(jù)集和數(shù)據(jù)增強方式。訓練部分迭代300 次，學習率為0.001，batchsize 為8。其中，損失函數(shù)采用交叉熵損失函數(shù)，優(yōu)化器為Adam。

將本文提出的基于U-net的改進網(wǎng)絡與傳統(tǒng)的U-net、ResU-net 進行比較。在U-Net 結(jié)構(gòu)中，每個編碼器塊包含兩個卷積層和一個最大池層。ResU-net 在特征編碼器模塊中，將編碼器替換為預訓練的ResNet-34［22］，保留了前4 個沒有平均池化層和全連接層的特征提取模塊。ResUnet 增加了快捷機制，可避免梯度消失，加速網(wǎng)絡收斂。分割結(jié)果如圖6所示。

Fig.6 Experimental result圖6 實驗結(jié)果

圖中第一列為腦部膠質(zhì)瘤原，其余從左到右分別為U-net、ResU-net 和本文模型分割結(jié)果，最后一列是數(shù)據(jù)集中的已標注腦腫瘤輪廓。U-net、ResU-net 的分割結(jié)果存在缺損現(xiàn)象，效果不夠理想。本文模型能夠精確定位腦腫瘤輪廓，噪聲較小，效果更佳。

實驗結(jié)果定量評價如表3 所示，相較于U-net、ResUnet，本文提出的基于U-net 的改進網(wǎng)絡能夠獲得更好的分割效果，ACC、AUC 和Sen 值都得到提升，獲得了更好的模型性能。

Table 3 Quantitative evaluation of experimental results表3 實驗結(jié)果定量評價

4 結(jié)語

腦腫瘤的自動圖像分割對于臨床診斷具有十分重要的意義，本文基于U-net網(wǎng)絡對其進行改進，在模型下采樣過程中結(jié)合殘差網(wǎng)絡，跳躍連接上下層信息，加入一種用于增強上下文信息的CE 模塊和ASPP 模塊以增強模型感知能力。在TCIA 提供的數(shù)據(jù)集上進行實驗，實驗結(jié)果證明，本文模型具有更好的分割性能，定量評價指標ACC 達到0.957 2，AUC 達到0.839 2，Sen 達到0.979 4，能夠更好地分割腦瘤邊界，并提高了腦腫瘤圖像分割效率。但在本文實驗中，沒有區(qū)分低級別膠質(zhì)瘤與高級別膠質(zhì)瘤，因此根據(jù)腦膠質(zhì)瘤種類進行分割將是下一步的研究重點。本文提出的網(wǎng)絡能夠融合多尺度信息，可被應用于更多生物醫(yī)學圖像分割中，對于輔助復雜的醫(yī)療診斷具有積極意義。