基于卷積神經網絡的腦腫瘤分割方法綜述

梁芳烜，楊 鋒，2，盧麗云，尹夢曉，2

1.廣西大學 計算機與電子信息學院，南寧 530004

2.廣西多媒體通信與網絡技術重點實驗室，南寧 530004

腦組織是人體的核心器官之一，對人類健康起著至關重要的作用，而腦腫瘤嚴重影響了生命安全。腦腫瘤分為原發性和繼發性，即原本生長在顱內的腫瘤和由其他部位轉移到腦組織的腫瘤。其中，神經膠質瘤是最常見的原發性腫瘤，共分為4個等級；1和2級為低級膠質瘤（Low Grade Gliomas，LGG）；3 和4 級為高級膠質瘤（High Grade Gliomas，HGG），約占所有腦腫瘤的70%～80%[1]。現有很多治療方案，如手術切除、放療、化療和免疫治療等，手術治療是目前最有效的治療方法。然而，腦瘤部位和正常組織沒有明顯的界限，切除不完全，則復發很快，而切除掉正常的腦組織，會對人體造成二次損傷，導致準確切除腦腫瘤的難度非常大。影響腦瘤切除準確度的因素大致分為兩類，成像技術和分割方法。醫學成像技術有利于醫生獲取患者腦組織信息，從而評估并制定合適的手術和治療方案。自X-射線[2]被發現后，計算機斷層掃描（Computer Tomographs，CT）、核磁共振成像（Magnetic Resonance Imaging，MRI）、正電子發射斷層掃描（Positron Emission Tomography，PET）和單光子發射計算機斷層掃描（Single-Photo Emission Computed Tomography，SPECT）等成像技術迅猛發展，促進了腦圖像處理的發展。對比CT、PET和SPECT 掃描，MRI 利用磁場和無線電波成像，避免人體暴露于電離輻射，是一種無損傷成像方式，且成像中軟組織對比度高。因此，MRI 較適用于腦成像[3]。MRI 可產生不同序列的圖像，不同模態的信息相互補充，提高腫瘤及其分區的診斷正確率和分割準確性[4]。神經膠質瘤診斷包含四種模態的MRI圖像，分別為用于區分腫瘤與周邊組織的T1、清晰顯示腦組織結構的T1c、區分整體腫瘤和正常組織的T2和顯示腫瘤周圍水腫和正常組織差異的Flair。

目前，大部分大腦分割還是依賴人工分割，然而，該方式耗時耗力，且受個人經驗影響。因此，尋找一種精確的自動的腦腫瘤分割方法，減輕醫生工作量，避免主觀意見，非常具有研究價值。隨著深度學習技術在自然圖像分類、檢測和分割研究的普及，將其應用于醫學圖像分割，實現自動學習特征并分割特定組織，有望解決自動分割問題。然而，由于腦組織邊界模糊，腦腫瘤位置、形狀和大小具有高可變性，以及成像噪聲、類不平衡和數據集大小有限等因素，使得基于深度學習技術的腦圖像分割研究面臨巨大的挑戰。

隨著深度學習在醫學圖像分割方面的應用逐漸增多，出現了眾多的相關綜述[5-8]。綜述[5-6]涉及非醫學圖像分割；李鏘等人[7]研究了監督和非監督分類相關方法；Tiwari 等人[8]綜述了腦腫瘤的分割和分類兩部分內容，未能詳細闡釋分割類方法。不同于上述綜述，本文僅針對基于卷積神經網絡的腦圖像分割方法進行綜述，詳細梳理了近幾年的相關論文。論文介紹了腦圖像分割的研究背景、意義和難點，并簡單描述了它的發展歷程；然后，詳細描述了腦圖像分割中主流的卷積神經網絡及其改進方案，簡介了腦分割實驗中常用的數據集和性能評價指標；最后，分析和比較2017 至2019 年的BraTs 挑戰賽中排名靠前的算法性能，并討論深度學習方法應用于腦圖像分割面臨的挑戰和未來的發展趨勢。

1 腦腫瘤分割方法發展概述

2006年，Hinton等[9]首次提出多隱層的“深度學習”，區別淺層學習，加入了多層隱藏層訓練，掀起了深度學習熱潮。在此基礎上，AlexNet[10]、VGG[11]、GoogLeNet[12]、ResNet[13]、DenseNet[14]等深而寬的網絡結構相繼被提出，從而學習到更深層次的數據特征。隨著設備計算能力的提高和大數據發展，深度學習在圖像處理、自然語言、自動駕駛和視頻處理等領域取得了很大的發展。因其在圖像處理的應用效果好，且可自動提取特征，利用卷積神經網絡實現腦腫瘤自動分割成為熱點研究項目。

根據有無標注的訓練樣本，腦腫瘤分割方法可分為無監督學習和監督學習。基于無監督學習的腦腫瘤分割方法有閾值[15-16]、區域[17]和活動輪廓模型[18]，以及聚類方法，如k-means 聚類[19]、貝葉斯模糊聚類[20-21]、模糊C-均值聚類[22]、超像素聚類[23]等。對于監督學習，早期方法一般有支持向量機[24-25]、隨機森林[26-27]。然而，上述方法需要較多人工干涉，如閾值設置、種子點選擇、能量函數設計和聚類規則制定，以及早期監督學習方法中特征劃定。相較而言，卷積神經網絡方法可以從訓練數據中自動獲取特征，并可以獲得先進的分割結果。文獻[28]使用兩階段級聯U-Net實現粗到精分割，奪得2019年腦腫瘤挑戰賽冠軍。文獻[29]對標簽不確定損失建模，并利用DenseNet 和注意力機制改進卷積神經網絡，能夠獲得較好的效果。文獻[30]在U-Net內部嵌入不同深度的U-Net集，并重新設計跳連接使得編碼器部分可以結合不同尺度語義信息。

2 腦腫瘤分割方法

相對來說，基于卷積神經網絡的腦腫瘤分割方法雖然需要標注的腦圖像，但能夠獲得較好的分割結果，且可以自動學習圖像特征。因此，綜述重點討論這類方法，并根據腦腫瘤分割難點，從數據和結構優化兩個角度具體介紹主流的方法。腦腫瘤分割困難主要有兩方面因素，數據有限和類不平衡，以及腫瘤的高可變性。針對數據問題，現有方案有數據增強、級聯和損失函數設計等方法；而對腫瘤結構易變問題，則采取多任務方法，將分割任務分為多個子任務，或使用多視圖和多尺度等方法，增加訓練和預測階段的特征信息。

2.1 數據優化

基于卷積神經網絡的腦腫瘤分割方法需要大量的已標注數據進行訓練，從而學習圖像特征，獲得準確的分割。然而，目前公開的高質量標注的腦腫瘤數據比較少，且數據集中各類的數量往往不平衡，極大地限制了卷積神經網絡在醫學上的應用。因此，解決數據集大小有限和類不平衡問題，有助于顯著改善分割精度，解決方案如表1所示。對于數據大小受限的問題，較常用的方法是在原有數據的基礎上，擴充數據量，如旋轉、翻轉、縮放和添加隨機雜色等方案，提高訓練過程，減輕過擬合，但可能會受到數據質量的影響[31-37]。針對數據集類不平衡問題，可以采用級聯方法，實現從粗到細的分割，降低類間不平衡[28，32，35，38-40]。然而，級聯方法將導致計算量和內存消耗變大。為了解決這類問題，可以設計合適的損失函數解決數據類不平衡[31，33，35，41-45]。Isensee等人[31]采用多類骰子損失函數解決類不平衡。隨后，又加入了交叉熵損失函數互補，進一步減輕不平衡的情況[33]。Brosch等人[41]使用敏感性和特異性的均方誤差加權和作為損失函數，更好地平滑梯度。Jesson 等人[42]提出多尺度損失函數，對全卷積網絡的每個分辨率給出預測，將高與低分辨率輸出相結合，以對圖像域和標簽域中的上下文建模。Sudre等人[43]評估了加權交叉熵函數、靈敏度函數、骰子損失函數和骰子重疊損失重新平衡類的表現。Fidon 等人[44]根據概率標簽空間上的Wasserstein距離，提出了用于多類分割的語義信息概括的Dice 分數。Li 等人[35]和McKinley 等人[45]采用焦點損失函數解決類失衡問題。但是，損失函數需要根據具體的網絡和任務進行設計，不能實現通用。

2.2 結構優化

卷積神經網絡是經典的深度學習方法，根據相應的任務，已有眾多的改進。對于腦腫瘤分割，根據其位置、形狀和大小的高可變性特點，網絡結構應盡可能利用圖像中的特征信息。因此，基于卷積神經網絡的腦腫瘤分割的結構可大致分為三類，分別為多任務、多視圖以及多尺度方法，如表2所示。

表1 數據優化

表2 結構優化

2.2.1 基于多任務的卷積神經網絡分割方法

腦腫瘤分割有多個分割區域，如完整腫瘤、腫瘤核心、增強腫瘤，可將其分為多個子任務進行訓練，簡化多類分割的復雜度，提高小類分割效果，從而整體提高分割精度。按照分割區域，通常可以將其分為三個子任務進行分割。如圖1，Wang 等人[32，40]和Yogananda 等人[46]將多類分割問題轉化為三個二進制分割問題，然后分別利用三類網絡對完整腫瘤、腫瘤核心和增強腫瘤核心進行分割，解決了類不平衡，提高了分割精度。然而，這會導致模型復雜度加深，計算和存儲開銷大，并且忽略模型間的相關性。為了解決上述問題，Zhou等人[39，47]提出了一個多任務深度模型，將腦腫瘤分割任務分解為3個不同但相關的任務，并采用基于課程學習的培訓策略，一起訓練3 個任務以利用其潛在的相關性，如圖2。子任務間共同訓練，共享參數，大大節省了計算和內存消耗，但可能引入不相關參數，導致子模型性能下降。此外，根據腦腫瘤軟組織邊界模糊的特點，可將腦腫瘤分割分為腫瘤區域和腫瘤邊緣兩類任務，相互補充，可同時取得較好的分割結果和計算效率，不足之處在于難以分割類數量較少的區域[48]。

圖1 多任務網絡

圖2 多任務共享網絡

2.2.2 基于多視圖的卷積神經網絡分割方法

腦腫瘤分割中引入多視圖信息，即軸向、矢狀和冠狀三類視圖，如圖3，從不同切片角度獲取圖像特征，從而更精確地分割腦腫瘤區域。Wang等人[40]采用多視圖融合，即3 個正交視圖中的網絡集合，然后配合各向異性接受場，充分利用3D上下文信息訓練各層網絡，從而獲得更高的分割精度。相對2D卷積，使用多層3D卷積具有較大的計算成本和內存存儲。為此，Zhao等人[49]分別獲取了軸向，冠狀和矢狀視圖中的2D 圖像補丁和切片，并訓練3 種全卷積神經網絡分割模型，之后使用基于投票的融合策略將其組合以分割腦腫瘤。然而，2D卷積不能充分利用腦圖像的空間信息，而3D 卷積卻面臨高昂的計算成本和存儲需求。Chen 等人[50]提出了可分離3D 卷積的3D U-Net 結構，將每個3D 卷積以平行方式分為3 個分支，每個分支分別采用軸向，矢狀和冠狀視圖訓練，在不增加計算負擔的情況下，充分利用3D體積信息，但未能完全發揮3D卷積的性能。

圖3 軸向、冠狀和矢狀視圖

2.2.3 基于多尺度的卷積神經網絡分割方法

多尺度是對信號的不同粒度的采樣，通常不同的尺度具有不同的特征，采用多尺度特征融合網絡可以增加圖像訓練或預測過程中的特征信息，提高分割精度。根據其使用階段，可分為多尺度特征融合網絡[29，34，38，41，44，49，51-59]、多尺度預測融合網絡[31，36，40，43，46，52-53，59-63]和多尺度特征/預測融合網絡[52-53]。其中，多尺度特征融合網絡可分為并行多分支網絡[38，51-57]和串行結構[29，34，41，44，49，58-59]，均是在不同的感受野下進行特征提取。并行多分支網絡可以采用并行卷積路徑進行多尺度處理，有效地合并本地信息和上下文信息[38，51-53]，如圖4；也可以在同一層中并行不同張率的擴展卷積獲取不同尺度的特征，更加靈活地平衡計算量和模型性能[54-57]，如圖5。然而，并行網絡會占用較大的計算資源和存儲空間，資源受限的情況下，應采用串行結構。串行結構可將不同層級的特征進行融合，有效解決腦腫瘤邊緣不清晰的缺陷，但獲取的信息有限，如圖6。相比于多尺度特征融合，多尺度預測的功能類似，都是將高低級特征合并，從而提高分割精度，如圖7。而其不同點在于，計算效率較高。

圖4 基于并行路徑的多尺度特征融合

圖5 基于并行擴展卷積的多尺度特征融合

圖6 基于串行路徑的多尺度特征融合

圖7 多尺度預測融合

3 常用的腦圖像數據集和評價指標

具有準確標注的腦圖像數據集不僅可以提升網絡的性能，而且可以驗證提出算法的有效性。然而，醫學數據的標注難度遠大于自然圖像，需要經驗豐富，專業知識高的專家進行標注，甚至同時需要多個專家進行標注，最大程度降低主觀因素影響。因此，制作具有準確標記的醫學圖像數據集非常耗費時間和精力。此外，評價算法的優劣，需要相同的評價指標。下面將對常用的腦圖像數據集和性能評價指標進行總結，表3展示了所述數據集概況。

3.1 數據集

（1）BraTs

BraTs 數據集主要為多模態腦腫瘤分割挑戰賽提供數據集。其提供4 類尺寸為240×240×155 的MRI 序列，分別是T1、T1c、T2 和FLAIR，以及3 類標簽：增強腫瘤，腫瘤周圍水腫、壞死和非增強的腫瘤核心。其大致分為三部分，即BraTs12-13[64]、BraTs14-16 和BraTs17-19[65-66]。其中，在BraTS17-19期間的數據仍然采用BraTS12-13 中由臨床專家手動標注的圖像，而BraTS14-16 使用的數據已被刪除。此外，自2017 年起，數據集與之前大不相同，標注并添加了所有神經膠質瘤子區域的所有術前TCGA/TCIA掃描，即膠質母細胞瘤（TCGA-GBM，n=135）和低級膠質瘤（TCGALGG，n=108）。

（2）ADNI

ADNI 數據集[67]提供阿爾茨海默氏病神經影像，用于發現和追蹤阿爾茨海默氏病（Alzheimer’s Disease，AD）。目前，已開發ADNI-1、ADNI-GO、ADNI-2 和ADNI-3 這4 個階段，其中腦成像常采用MRI 和PET 掃描。ADNI-1 包括400 名輕度認知障礙（Mild Cognitive Impairment，MCI）受試者，200名患有早期AD受試者和200 名老年對照受試者。ADNI-GO 階段評估了現有的ADNI-1 隊列以及200 名早期輕度認知障礙（Early Mild Cognitive Impairment，EMCI）受試者。在ADNI-1和ADNI-GO的基礎上，ADNI-2加入了150名老年人對照組，100 名EMCI 受試者，150 名晚期輕度認知障礙受試者，以及150 例輕度AD 患者。同時，添加了107 名“重要記憶關注”受試者，解決健康對照與MCI 間的差距。ADNI-3 添加了AD 的關鍵指標tau 蛋白纏結掃描（tau PET），并增加了數百名MCI受試者，輕度AD受試者和老年人對照。

（3）OASIS

OASIS數據集[68]提供大腦神經影像數據集，可用于研究和分析AD 病癥。至今，已提供了3 個階段的數據集，分別為OASIS-1、OASIS-2 和OASIS-3。OASIS-1是一系列MRI 橫斷面數據集，包括416 名年齡在18 至96歲之間的受試者的橫斷面集合。對于每個對象，包括在單個成像會話中獲得的3個或4個單獨的T1-W MRI掃描。OASIS-2 是由150 例年齡在60 至96 歲之間的受試者組成的MRI 縱斷面數據集，共進行373 次掃描，對于每次掃描，獲得3 或4 個單獨的T1-W MRI 掃描。OASIS-3 提供MRI 和PET 成像，匯總了1 098 例相關臨床數據，年齡跨度為42 歲到95 歲，共包含2 000 多個結構和不同序列的MR圖像。

表3 腦圖像數據集

（4）ISLES

ISLES數據集主要為缺血性中風損傷分割挑戰賽，即MICCAI會議期間舉辦的挑戰賽之一，其目的是尋求一種定位不可逆轉損傷的腦組織區域和范圍的重復性良好且準確性高的數據分析技術，支持臨床醫生的決策過程，如決定使用或反對溶栓治療，提供數據集。截止2018年，ISLES挑戰賽共歷經四屆，分別為2015年亞急性缺血性腦中風損傷分割和急性中風預后/半影評估，2016年損傷和臨床結果預測，2017年急性腦MRI成像病變結果預測，2018 年CT 灌注數據進行分割。其中，除了2018 年加入了CT 腦成像，其余階段皆為MRI掃描。

（5）IBSR數據集

IBSR 數據集是互聯網大腦分割存儲庫，其提供了人工引導的專家分割標準和MRI數據，旨在評估和開發腦圖像分割技術，并診斷多類病癥種，如AD、多動癥、自閉癥等。IBSR 數據集由20 種帶標簽的皮質結構和32種非皮質結構的MRI 圖像組成。其中，每個MRI 尺寸大小為256×256×128，并具有不同的體素間距：0.84 mm×0.84 mm×1.5 mm，0.94 mm×0.94 mm×1.5 mm和1.0 mm×1.0 mm×1.5 mm。

3.2 評價指標

（1）Dice相似系數和Jaccard相似系數

Dice 相似系數（DSC）[69]和Jaccard 系數主要用于計算不同樣本的相似度，是集合間的相似度度量函數，系數越大，分割效果越好，其計算表達式如下所示：Vseg代表預測的分割體積，Vgt代表真實的分割體積，以下公式中相同符號的含義一樣。

（2）體積重疊誤差和相對體積差異

體積重疊誤差（Volumetric Overlap Error，VOE）指預測分割體積和真實分割體積的誤差，誤差越小，分割結果越精準。相對體積差異（Relative Volume Difference，RVD）則是用于判斷過分割或欠分割，它們的公式表示如下：

（3）Hausdorff距離和平均對稱表面距離

Hausdorff距離取兩個點集間的最大最小距離，平均對稱表面距離（Average Symmetrical Surface Distance，ASSD）則取點集間最小距離之和的平均距離。使用Hausdorff或ASSD距離作為相似度測量時，盡可能最小化其距離。它們的定義如下：

d(a,b)為a、b兩點間的歐幾里得距離。

4 BraTs17-19挑戰賽算法性能分析

BraTs挑戰賽主要為參賽者提供統一的數據集和評價指標，評估腦部MRI圖像中腫瘤分割方法的優劣。表4主要從參考文獻、年份、網絡結構、數據解決方法、結構優化和Dice系數等因素，展示了2017年至2019年BraTs挑戰賽中排名靠前的競賽方法。分析表4 可知，對于BraTs17 挑戰賽，文獻[52]集成DeepMedic[51]、3D FCN（Fully Convolutional Networks）和3D U-Net多個網絡，并采用多尺度輸入和預測優化訓練，最后集成它們的預測，獲得WT 和TC 中Dice 分數最高，競賽第一名。區別于上述方法，文獻[40]將任務分為3 個級聯子任務網絡，將前一網絡的輸出作為輸入，實現粗到細的分割，并采用多視圖和多尺度優化輸出，獲得ET 分割Dice 分數最佳，競賽第二名。類似文獻[52]思路，文獻[39]和[58]集成多類模型，文獻[39]采用多任務共享結構優化訓練，文獻[58]使用多尺度預測優化輸出，均在競賽中取得較好的結果。然而，集成網絡內存占用高，計算代價大。文獻[70]不使用集成網絡，提出非對稱U-Net 結構，增加解碼器分支，重建輸入圖像以正則化共享編碼器。借鑒文獻[70]，文獻[28]采用級聯UNet，使用U-Net獲得粗分割，然后輸入非對稱編碼網絡獲得精分割。文獻[70]和文獻[28]分別取得TC 和WT分割Dice 分數最佳，競賽第一。不同于結構優化，文獻[31]和[33]注重網絡訓練，采用數據增強和損失函數提高訓練，旨在獲得健壯的網絡。尤其是文獻[33]采用其他機構數據和訓練策略，如區域訓練，優化訓練，獲得ET分割Dice分數最優，競賽第二。文獻[45]和[49]利用標簽不確定損失對標簽噪聲和不確定性建模，優化網絡訓練，有效提高分割性能，分別取得了BraTs18和BraTs19挑戰賽第三名，WT 分割Dice 分數最優。綜上，多尺度處理、損失設計和數據擴充常被用來優化訓練過程，并能有效提高分割性能，進一步提高網絡性能可以考慮如何設計優化方法組合。

表4 BraTS17-19競賽方法對比

5 結束語

本文對近幾年基于卷積神經網絡的腦腫瘤分割方法進行了梳理，首先根據數據和結構優化兩方面分析了主流的方法，然后介紹了常見的數據集和評價指標，并對BraTs17-19 挑戰賽中排名靠前的算法性能進行分析。根據上述面臨的挑戰和已有的解決方案，可獲得基于卷積神經網絡的腦腫瘤分割方法的趨勢如下：

通過增強數據、級聯和損失函數設計，可解決數據集有限及類不平衡的問題，降低過擬合，從而加強網絡訓練或預測。具有準確標記的數據不僅影響網絡訓練的性能，還影響算法有效性的驗證。然而，現有的符合要求的數據集仍然很少，且不同機構或儀器產生的數據有差異，導致可供有效訓練的數據非常有限。最直接的方法是擴充數據，但結果受到生成數據的質量影響嚴重，尋求一種生成近似原始數據的數據增強方法非常具有研究價值。此外，也可以設計網絡的級聯實現和合適的損失函數解決數據類不平衡，降低過擬合，從而提高分割精度。

除了可以解決數據類不平衡，損失函數還可以根據具體網絡進行設計，提高分割準確度。例如，交叉熵損失可彌補Dice損失存在的缺陷，提高其表現能力；標簽不確定損失可對網絡的標簽和噪聲建模，改善網絡性能；壓縮損失函數可有利于約束腫瘤形狀等等。然而，損失函數的設計沒有固定的改進方式，設計難度比較大，如何改進損失函數是未來需要研究的范疇。

通過采用多任務、多視圖和多尺度方法，增加網絡捕獲的圖像信息，可以有效提高網絡的性能。多任務方法可根據分割區域類別劃分多類任務，或根據區域和邊緣分為兩類任務，具體子任務設計視具體分割任務進行設計。此外，單獨訓練每類子任務，會導致網絡復雜，參數較多，設計子任務共享網絡參數，可以有效降低模型復雜度，加快訓練過程。多視圖訓練能夠獲得圖像的全方位信息，可以單獨訓練軸向、冠狀或矢狀三類切面的子網絡，或對其統一訓練。相比多任務和多視圖，網絡中多尺度方法比較常用。多尺度方法可設計多尺度特征融合、多尺度預測融合或多尺度特征/預測融合，如何選擇則視具體分割網絡確定。