腦腫瘤分割算法研究

張士強(qiáng) 石 磊 程曉東

(內(nèi)蒙古大學(xué)電子信息工程學(xué)院，呼和浩特 010021)

引言

神經(jīng)膠質(zhì)瘤是最常見的原發(fā)性腫瘤，屬于中樞神經(jīng)系統(tǒng)腫瘤，并且由不同的子區(qū)域構(gòu)成[1]。 神經(jīng)膠質(zhì)瘤的生長(zhǎng)特性是對(duì)周圍組織的浸潤(rùn)性生長(zhǎng)，從腦組織內(nèi)部向外呈指狀深入破壞腦組織。 過(guò)去的20年，隨著醫(yī)學(xué)影像診斷技術(shù)及顯微神經(jīng)外科手術(shù)的技術(shù)的應(yīng)用與進(jìn)步，人們?cè)谏窠?jīng)膠質(zhì)瘤的診斷和治療方面取得了突破性的進(jìn)展[2]。 CT 與核磁共振成像技術(shù)在膠質(zhì)瘤診斷中占有重要的地位，核磁共振圖像相比CT 成像更準(zhǔn)確，影像更為清楚。 分子生物學(xué)概念的引入，幫助人們從神經(jīng)膠質(zhì)瘤的發(fā)病機(jī)制到不斷更新的臨床治療手段做了大量的工作[3]。 在膠質(zhì)瘤的臨床治療中，精準(zhǔn)的對(duì)膠質(zhì)瘤及周圍組織進(jìn)行分割，能夠有效的提高膠質(zhì)瘤的治療效果，幫助神經(jīng)膠質(zhì)瘤患者的生命能夠更好的延續(xù)下去，是所有神經(jīng)外科醫(yī)生的共同愿望。

圖像分割作為計(jì)算機(jī)視覺領(lǐng)域中的一個(gè)重要分支，很多研究人員提出了很多分割算法。 Long等[4]基于傳統(tǒng)的CNN 提出來(lái)的全卷積網(wǎng)絡(luò)(FCN)，實(shí)現(xiàn)了像素級(jí)的分類，并使用反卷積進(jìn)行上采樣，同時(shí)引入了跳躍連接來(lái)改善上采樣粗糙的像素定位，形成了一種端到端的圖像分割網(wǎng)絡(luò)。Ronneberge 等[5]提出的UNet 網(wǎng)絡(luò)，為醫(yī)學(xué)圖像分割打開了大門。 UNet 網(wǎng)絡(luò)采用了新的特征融合方式，將特征在相同的通道中進(jìn)行融合，這使得UNet 網(wǎng)絡(luò)適用于超大圖像的分割。 醫(yī)學(xué)圖像本身具有邊界模糊，梯度復(fù)雜，包含較多的高分辨率信息的特點(diǎn)，分割的目標(biāo)在醫(yī)學(xué)圖像中的分布具有規(guī)律性，通過(guò)低分辨率的信息就可以分辨圖像中的語(yǔ)義，而UNet的下采樣是一個(gè)從高分辨率(淺層特征)到低分辨率(深層特征)的過(guò)程，深層特征用于定位，淺層特征用于精準(zhǔn)分割，因此UNet 網(wǎng)絡(luò)在醫(yī)學(xué)圖像分割領(lǐng)域的表現(xiàn)十分出色。 在UNet 的基礎(chǔ)上，周縱葦?shù)萚6]提出了UNet＋＋圖像分割網(wǎng)絡(luò)，UNet＋＋網(wǎng)絡(luò)設(shè)計(jì)了全新密集的，嵌套的跳躍連接方式，同時(shí)引入了深度監(jiān)督這一概念，結(jié)果表明相比于UNet 及wide UNet 取得了3.9 及3.4 點(diǎn)的IoU 增益。 黃惠民等[7]提出的UNet3＋網(wǎng)絡(luò)，使得U 形網(wǎng)絡(luò)得到更好的發(fā)展，相比于UNet＋＋網(wǎng)絡(luò)，UNet3＋重新設(shè)計(jì)了編碼器和解碼器之間的相互連接以及解碼器之間的內(nèi)部連接方式，以從全尺度捕獲細(xì)粒度的細(xì)節(jié)和粗粒度的語(yǔ)義[8]。 UNet3＋還加入了更全面的深度監(jiān)督，但UNet3＋網(wǎng)絡(luò)仍然存在不足，UNet3＋不能夠從多尺度圖像中探索足夠的信息。

通過(guò)對(duì)UNet＋＋的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行研究，改進(jìn)了UNet＋＋的網(wǎng)絡(luò)結(jié)構(gòu)，保留了UNet＋＋中密集式的跳躍連接，這可以保證改進(jìn)后的網(wǎng)絡(luò)能夠從大尺度的醫(yī)學(xué)圖像中獲取更多的語(yǔ)義信息，同時(shí)引入了更全面的深度監(jiān)督。 結(jié)果表明，相比于現(xiàn)有的分割網(wǎng)絡(luò)，改進(jìn)后的網(wǎng)絡(luò)在神經(jīng)膠質(zhì)瘤分割任務(wù)中表現(xiàn)出更好的分割性能，這對(duì)于臨床中神經(jīng)膠質(zhì)瘤的診斷能夠提供很大的幫助。

1 材料和方法

1.1 實(shí)驗(yàn)數(shù)據(jù)

BraTS 2018 數(shù)據(jù)集與BraTS 2019 數(shù)據(jù)集是公開的神經(jīng)膠質(zhì)瘤數(shù)據(jù)集，腦腫瘤分割比賽是MICCAI所有比賽中參與人數(shù)最多，歷史最為悠久的比賽，是一個(gè)很好的了解前沿分割算法平臺(tái)[9]。 BraTS 訓(xùn)練數(shù)據(jù)集劃分為HGG(高級(jí)別膠質(zhì)瘤)和LGG(低級(jí)別膠質(zhì)瘤)兩部分。 BraTS 2018 包含285 例病人，其中HGG(高級(jí)別膠質(zhì)瘤)包含210 個(gè)病例，LGG(低級(jí)別膠質(zhì)瘤)包含75 個(gè)病例[10]。 相比于BraTS 2018 數(shù)據(jù)集，BraTS 2019 數(shù)據(jù)集在其基礎(chǔ)上，新增了50 個(gè)病例，共335 個(gè)病例，其中HGG(高級(jí)別膠質(zhì)瘤)新增了49 例，LGG(低級(jí)別膠質(zhì)瘤)新增了1例。 此次研究將BraTS 2018 數(shù)據(jù)集作為訓(xùn)練集，BraTS 2019 數(shù)據(jù)集中新增的病例作為此次研究的測(cè)試集，每張圖像的分辨率為240 像素×240 像素×155像素。 所有成像數(shù)據(jù)均由1 ～4 位評(píng)估者手動(dòng)分割，其注釋也由經(jīng)驗(yàn)豐富的神經(jīng)放射科醫(yī)生批準(zhǔn)。 所有提供的數(shù)據(jù)經(jīng)過(guò)預(yù)處理后均被分發(fā)到同一解剖模板中，且通過(guò)相同的分辨率(1 mm3)與顱骨剖離[11]。 每個(gè)病例數(shù)據(jù)集包括4 種模態(tài)數(shù)據(jù)及1 張分割標(biāo)簽數(shù)據(jù)，都以NIFTI 格式存儲(chǔ)。 4 種模態(tài)數(shù)據(jù)分別是:T1、T2、FLAIR、T1CE 圖像。 分割的內(nèi)容包括3 個(gè)部分:整個(gè)腫瘤(whole tumor，WT):增強(qiáng)腫瘤(enhancing tumor，ET)；腫瘤核心(tumor core，TC)。 本研究將在上述兩個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，驗(yàn)證改進(jìn)后的網(wǎng)絡(luò)在該數(shù)據(jù)集的效果是否優(yōu)于之前的網(wǎng)絡(luò)。

1.2 數(shù)據(jù)處理

從數(shù)據(jù)集的特點(diǎn)來(lái)看，此次研究所使用的數(shù)據(jù)集具有4 個(gè)模態(tài)，需要分割的內(nèi)容共包括3 個(gè)標(biāo)簽，因此該數(shù)據(jù)集是一個(gè)多模態(tài)多標(biāo)簽的數(shù)據(jù)集。 對(duì)于醫(yī)學(xué)圖像分割任務(wù)而言，單一的模態(tài)不足以保證腫瘤信息的完整性，而多模態(tài)的圖像能夠有效地互補(bǔ)，可以顯著的提升分割的準(zhǔn)確性，但這也大大增加了分割的難度。 為了有效地驗(yàn)證網(wǎng)絡(luò)在該數(shù)據(jù)集中的性能表現(xiàn)，針對(duì)這樣一個(gè)多模態(tài)多標(biāo)簽的數(shù)據(jù)集，結(jié)合了以下預(yù)處理方案。

標(biāo)準(zhǔn)化。 不同模態(tài)圖像由于成像原理的不同，每一種模態(tài)圖像的特征各有各的特點(diǎn)，最大的區(qū)別是圖像對(duì)比度的不同。 為了后續(xù)將4 種模態(tài)的圖像進(jìn)行融合，生成訓(xùn)練數(shù)據(jù)，需要對(duì)數(shù)據(jù)集中的不同模態(tài)圖像實(shí)行標(biāo)準(zhǔn)化，通過(guò)對(duì)離群值的界定從而實(shí)現(xiàn)了異常值的修正，這樣的修改可以得到更理想的數(shù)據(jù)集。

裁剪。 研究的主要任務(wù)是從多模態(tài)的圖像中分割具有多標(biāo)簽的神經(jīng)膠質(zhì)瘤，而黑色的圖像背景對(duì)于神經(jīng)外科醫(yī)生來(lái)說(shuō)會(huì)被直接忽略掉，醫(yī)生的目光會(huì)全都聚焦在大腦組織區(qū)域，取包含膠質(zhì)瘤的區(qū)域?yàn)镽OI，大小為170×170×155。

切片。 數(shù)據(jù)集中的所有醫(yī)學(xué)圖像都是以NIFTI格式存儲(chǔ)的三維數(shù)據(jù)，只有將這些三維數(shù)據(jù)切片成2D 數(shù)據(jù)，才能適應(yīng)2D 網(wǎng)絡(luò)[12]。 每張三維圖像均包含155 張2D 切片，將切片后的4 種模態(tài)數(shù)據(jù)經(jīng)過(guò)圖像增強(qiáng)處理后再組合成多通道的圖像，同時(shí)為了提高數(shù)據(jù)的均衡性，將切片后的圖像中不含有腦組織區(qū)域的圖像去除，最后組合成numpy 文件，組合后的圖像的維度為(170，170，4)[13]。

圖像增強(qiáng)。 UNet 的作者在細(xì)胞分割比賽中，就使用了大量的圖像增強(qiáng)技術(shù)[14]。 圖像增強(qiáng)的主要目的是突出圖像中的目標(biāo)，這并不會(huì)增加圖像信息，但可以使目標(biāo)更容易被識(shí)別[15]。 根據(jù)醫(yī)學(xué)圖像的特點(diǎn)，從數(shù)據(jù)集中圖像的灰度圖可以了解到，圖像的灰度級(jí)主要分布在[150，240]之間，為增強(qiáng)圖像對(duì)比度，對(duì)組合后的圖像進(jìn)行分段線性變換，經(jīng)過(guò)多次的測(cè)試，將主要的灰度級(jí)拉伸到[120，250]，其計(jì)算公式為

式中，I為輸入圖像，O為輸出圖像，經(jīng)過(guò)對(duì)比度拉伸后的圖像比原圖能夠更加清晰的看到更多的細(xì)節(jié)。

1.3 改進(jìn)的UNet＋＋網(wǎng)絡(luò)

隨著U 形網(wǎng)絡(luò)結(jié)構(gòu)在醫(yī)學(xué)圖像分割中應(yīng)用越來(lái)越廣泛，很多專家學(xué)者在此基礎(chǔ)上提出了新的網(wǎng)絡(luò)，UNet ＋＋作為其中的一員，發(fā)表于2018年MICCAI 國(guó)際會(huì)議。 UNet＋＋提出了一種嵌套，密集式的跳躍連接方式。 在本研究中，改進(jìn)后的網(wǎng)絡(luò)仍然保留了這一體系結(jié)構(gòu)，這種密集式的體系結(jié)構(gòu)可以有效的縮小編碼器和解碼器之間的語(yǔ)義縫隙，當(dāng)編碼器網(wǎng)絡(luò)的高分辨率特征映射在逐漸增大時(shí)，該結(jié)構(gòu)可以更有效地捕獲前景對(duì)象的細(xì)粒度細(xì)節(jié)與解碼器網(wǎng)絡(luò)中相應(yīng)的語(yǔ)義的特征映射融合，從而得到更好的分割結(jié)果[16]。

編碼器與解碼器結(jié)合的網(wǎng)絡(luò)結(jié)構(gòu)很早就被提出來(lái)，當(dāng)時(shí)的主要任務(wù)是用來(lái)壓縮圖像和去噪。 下采樣(down-sampling)的過(guò)程，可以增大輸入圖像的魯棒性，降低過(guò)擬合的概率以及增加感受野的大小。 上采樣(up-sampling)的過(guò)程就是將提取到的抽象的圖像特征進(jìn)行解碼，再將解碼后的特征整合為圖像，得到分割結(jié)果[17]。 每一次下采樣后的節(jié)點(diǎn)，還要再經(jīng)過(guò)上采樣與之前通道數(shù)相同的節(jié)點(diǎn)以短連接和跳躍連接的方式進(jìn)行特征疊加，這種結(jié)構(gòu)的優(yōu)勢(shì)是可以抓取不同層次的圖像特征，再進(jìn)行特征整合疊加，加入到更淺的UNet 結(jié)構(gòu)中，但這種架構(gòu)只能在相同通道數(shù)之間進(jìn)行融合，并未利用多尺度的信息。 改進(jìn)后的網(wǎng)絡(luò)在解碼器階段不光融合了同尺度的語(yǔ)義，還融合了來(lái)自解碼器上采樣部分的多尺度語(yǔ)義信息，改進(jìn)后的全尺度特征連接方式將融合全尺度下的細(xì)粒度信息及粗粒度信息[18]。圖1 說(shuō)明了改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)。

圖1 改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)。 網(wǎng)絡(luò)結(jié)構(gòu)中間部分就是跳躍式的連接方式。 改進(jìn)后的網(wǎng)絡(luò)在解碼器階段設(shè)計(jì)了新的跳躍路徑，并且為了加快網(wǎng)絡(luò)的收斂速度，引入了深度監(jiān)督Fig.1 Improved network structure diagram.The middle part of the network structure is the jumping connection mode.The improved network designs a new hop path in the decoder stage， and in order to speed up the convergence of the network， deep supervision is introduced

以x1.3為例具體介紹改進(jìn)后的架構(gòu)，如圖2 所示。x0.0節(jié)點(diǎn)為輸入圖像，經(jīng)過(guò)連續(xù)4 次最大池化下采樣，來(lái)傳遞淺層的語(yǔ)義信息，當(dāng)前池化后的節(jié)點(diǎn)進(jìn)行解碼上采樣，在與之前的節(jié)點(diǎn)進(jìn)行特征疊加。與UNet＋＋相同，x1.3節(jié)點(diǎn)與當(dāng)前通道數(shù)相同的節(jié)點(diǎn)進(jìn)行融合，除此之外，改進(jìn)后的結(jié)構(gòu)還將x1.3與x4.0，x3.1進(jìn)行跨通道的融合。 為了保證在融合時(shí)特征圖的分辨率一致，需要借助雙線性插值法對(duì)解碼上采樣中的x4.0與x3.1兩個(gè)節(jié)點(diǎn)進(jìn)行特征圖分辨率的放大，如圖所示，x4.0需要放大8 倍，x3.1需要放大4 倍，統(tǒng)一分辨率以后，就可以將淺層的精細(xì)信息與深層的語(yǔ)義進(jìn)行融合。 在改進(jìn)的網(wǎng)絡(luò)中，選取的特征融合方式依然采用了UNet 式的通道維度拼接融合，融合后的特征圖經(jīng)過(guò)BN 層與ReLU 層后，生成了節(jié)點(diǎn)x1.3。 在形式上，具體的全尺度特征融合路徑可以描述為:由xi，j表示的編碼器輸出特征映射堆棧計(jì)算為

圖2 以x1.3為例，改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Take x1.3 as an example， introduce the improved network structure in detail

式中，H表示特征融合機(jī)制，U表示上采樣操作，[]表示通道維度拼接。

1.4 深度監(jiān)督

為了使淺層網(wǎng)絡(luò)能夠得到有效地訓(xùn)練，以防神經(jīng)網(wǎng)絡(luò)訓(xùn)練梯度消失，加快收斂速度。 在改進(jìn)的網(wǎng)絡(luò)中，仍然加入了深度監(jiān)督(deep supervision)，從圖1 中可以看出，每個(gè)解碼器節(jié)點(diǎn)都有一個(gè)側(cè)輸出SUP，與GT(ground truth)進(jìn)行比較。 實(shí)現(xiàn)深度監(jiān)督的方法是將解碼器的最后一層送入一個(gè)普通的1×1卷積中，以此用來(lái)監(jiān)督每一層的輸出。 同時(shí)為了獲取良好的神經(jīng)網(wǎng)絡(luò)參數(shù)，網(wǎng)絡(luò)定型過(guò)程中需要進(jìn)行許多關(guān)于所用設(shè)置(超參數(shù))的決策，為了防止過(guò)擬合，引入了早停法，當(dāng)訓(xùn)練集上的loss 不再減小(即減小的程度小于某個(gè)閾值)次數(shù)超過(guò)規(guī)定數(shù)值時(shí)停止訓(xùn)練。

改進(jìn)的網(wǎng)絡(luò)中使用線性整流函數(shù)ReLU 作為激活函數(shù)，其公式如下:

式中，x表示來(lái)自上一層神經(jīng)網(wǎng)絡(luò)的輸入。

準(zhǔn)確度評(píng)判標(biāo)準(zhǔn)采用交并比IoU(intersection over union)。 損失函數(shù)為BCEWithLogitsLoss 函數(shù)，即二元交叉熵函數(shù)，它是將BCEloss 與Sigmoid 融合在一起，適用于多標(biāo)簽分類及分割任務(wù)，分別為

式中，c為分類任務(wù)中標(biāo)簽的數(shù)量，n為訓(xùn)練樣本批次的數(shù)量。

1.5 評(píng)估標(biāo)準(zhǔn)

此次研究在BraTS 2018 數(shù)據(jù)集基礎(chǔ)上，將預(yù)處理后的2D 數(shù)據(jù)進(jìn)行訓(xùn)練，將BraTS 2019 數(shù)據(jù)集中作為測(cè)試集的50 例病例做同樣的數(shù)據(jù)預(yù)處理操作。訓(xùn)練集中的數(shù)據(jù)包含18 923 個(gè)numpy 文件，每一個(gè)numpy 文件由4 種不同模態(tài)圖像組成，測(cè)試集包含3 219 個(gè)numpy 文件，訓(xùn)練集與測(cè)試集的數(shù)據(jù)比例為6 ∶1。 實(shí)驗(yàn)中，最大迭代次數(shù)(epoch)為50，批量訓(xùn)練樣本數(shù)目(batch_size)設(shè)置為10，早停(early stop)設(shè)置為20。 分割指標(biāo)采用4 種，分別為:Dice相似度系數(shù)(Dice similarity coefficient，DSC)，95%Hausdorff 表面距離(95%hausdorff surface distance)，靈敏度(Sensitivity)，陽(yáng)性預(yù)測(cè)值(positive predictive value，PPV)分別計(jì)算如下:

式中，TP(true positive)表示被判定為正樣本，事實(shí)上也是正樣本；TN(true negative)表示被判定為負(fù)樣本，事實(shí)上也是負(fù)樣本；FP(false positive)表示被判定為正樣本，但事實(shí)上是負(fù)樣本；FN(false negative)表示被判定為負(fù)樣本，但事實(shí)上是正樣本。 上述指標(biāo)將作為UNet，UNet＋＋，UNet3＋和改進(jìn)后的網(wǎng)絡(luò)在神經(jīng)膠質(zhì)瘤數(shù)據(jù)集的評(píng)判標(biāo)準(zhǔn)，來(lái)綜合評(píng)價(jià)網(wǎng)絡(luò)的分割性能。

針對(duì)研究中分割任務(wù)的多樣性與復(fù)雜性，提出兩套分割評(píng)價(jià)標(biāo)準(zhǔn)方案，第1 種方案是直接根據(jù)網(wǎng)絡(luò)分割出的2D 切片，與測(cè)試集中的2D 標(biāo)簽進(jìn)行對(duì)比進(jìn)行預(yù)測(cè)，具體方法是把所有的切片的指標(biāo)預(yù)測(cè)完以后，計(jì)算每個(gè)指標(biāo)的平均值，但切片數(shù)據(jù)集中難免會(huì)存在像素信息不完善的圖像，可能影響整體的指標(biāo)，從而降低每個(gè)指標(biāo)的平均值，無(wú)法對(duì)網(wǎng)絡(luò)的分割性能作出相對(duì)正確的判斷。 第2 種方案為了解決上一種方案存在的缺陷，提出將所有預(yù)測(cè)后的切片拼接為3D 圖像，接下來(lái)對(duì)3D 圖像進(jìn)行整體指標(biāo)均值計(jì)算，之前預(yù)處理的時(shí)候已經(jīng)將無(wú)病變的切片去處理掉，在拼接時(shí)，按照原切片的數(shù)量(155)補(bǔ)齊相應(yīng)的黑色背景區(qū)域即可。 網(wǎng)絡(luò)預(yù)測(cè)生成的數(shù)據(jù)都為3D 的NIFTI 圖像，可通過(guò)ITK-SNAP 查看重組后三維的分割圖像[19]。

2 結(jié)果

本研究在UNet，UNet＋＋，UNet3＋及改進(jìn)后的網(wǎng)絡(luò)的基礎(chǔ)上，對(duì)處理后的數(shù)據(jù)進(jìn)行分割測(cè)試，對(duì)于Dice 系數(shù)，95%Hausdorff 表面距離，Sensitivity，PPV這4 個(gè)指標(biāo)，分割性能越好的網(wǎng)絡(luò)，DSC，Sensitivity，PPV 指標(biāo)值越大，而HSD95 指標(biāo)越小。 表1 和表2分別描述了4 種神經(jīng)網(wǎng)絡(luò)在2D，3D 對(duì)比分割測(cè)試實(shí)驗(yàn)中得到的4 種評(píng)價(jià)指標(biāo)值。 無(wú)論在2D 對(duì)比分割實(shí)驗(yàn)，還是在3D 對(duì)比分割實(shí)驗(yàn)中，改進(jìn)后的網(wǎng)絡(luò)在整體上相比于其他3 種分割網(wǎng)絡(luò)有著更優(yōu)異的表現(xiàn)。 在這兩次對(duì)比分割實(shí)驗(yàn)中，3D 對(duì)比分割實(shí)驗(yàn)的指標(biāo)值相比于2D 對(duì)比分割實(shí)驗(yàn)的指標(biāo)值更高，改進(jìn)后的網(wǎng)絡(luò)4 種指標(biāo)中絕大部分的指標(biāo)值要優(yōu)于其他3 種分割網(wǎng)絡(luò)的指標(biāo)值。

表1 BraTS 2018 和BraTS 2019 數(shù)據(jù)集各種算法的實(shí)驗(yàn)對(duì)比結(jié)果(2D)Tab.1 Experimental comparison results of various algorithms in BraTS 2018 and BraTS 2019 Datasets (2D)

表2 BraTS 2018 和BraTS 2019 數(shù)據(jù)集各種算法的實(shí)驗(yàn)對(duì)比結(jié)果(3D)Tab.2 Experimental comparison results of various algorithms in BraTS 2018 and BraTS 2019 Datasets (3D)

具體分析表格中的4 種指標(biāo)，改進(jìn)后的網(wǎng)絡(luò)四種指標(biāo)值相對(duì)于其他3 種分割網(wǎng)絡(luò)，2D 對(duì)比分割實(shí)驗(yàn)結(jié)果中DSC 中的WT，ET，TC 平均提升了1.16%，3.5%，0.8%；Sensitivity 指標(biāo)中WT，ET，TC 平均提升了1.6%，1.8%，3.0%；PPV 指標(biāo)中WT，ET，TC平均提升了0.56%，1.10%，0.73%；HSD95 指標(biāo)中WT，ET，TC 平均縮短了0.041，0.268，0.743。 在此實(shí)驗(yàn)中，DSC 指標(biāo)中的TC，PPV 指標(biāo)中的WT，TC提升并不明顯。 在3D 對(duì)比分割實(shí)驗(yàn)中，改進(jìn)的網(wǎng)絡(luò)比起前3 種分割網(wǎng)絡(luò)的提升如下，DSC 指標(biāo)中的WT，ET，TC 分別提升了1.28%，3.50%，3.55%；Sensitivity 指標(biāo)中WT，ET， TC 分別提升了1.15%，0.89%，9.41%；PPV 指標(biāo)中WT，ET 平均提升了0.47%，1.60%， 但是TC 平均降低了0.023%；HSD95 指標(biāo)中WT，ET，TC 平均分別降低了0.034，0.094，0.100。 將兩次實(shí)驗(yàn)進(jìn)行對(duì)比，3D 對(duì)比分割實(shí)驗(yàn)相比于2D 對(duì)比分割實(shí)驗(yàn)DSC 指標(biāo)中WT，ET，TC 平均提升6.17%，2.40%，9.50%；Sensitivity 指標(biāo)中WT，TC 平均提升4.0%，3.4%，而ET 平均降低2.2%；PPV 中的指標(biāo)平均提升4.6%， 2.1%，11.7%，HSD95 指標(biāo)WT，TC，ET 平均降低2.60，1.26，2.54。 每一種網(wǎng)絡(luò)結(jié)構(gòu)均按照其原本的標(biāo)準(zhǔn)結(jié)構(gòu)進(jìn)行了復(fù)現(xiàn)，實(shí)驗(yàn)證明UNet，UNet＋＋，UNet3＋均能表現(xiàn)出良好的分割表現(xiàn)。 從縱向?qū)Ρ? 種網(wǎng)絡(luò)的分割性能，改進(jìn)后的網(wǎng)絡(luò)分割測(cè)試后的3 個(gè)標(biāo)簽中的4 種不同指標(biāo)(共計(jì)12 個(gè)指標(biāo)值)，在2D 對(duì)比實(shí)驗(yàn)中有8 項(xiàng)取得了最好的分割結(jié)果，在3D 對(duì)比分割實(shí)驗(yàn)中有6 項(xiàng)取得了最好的分割效果。 通過(guò)計(jì)算每一種指標(biāo)中3 個(gè)標(biāo)簽均值從橫向進(jìn)行對(duì)比改進(jìn)后的網(wǎng)絡(luò)，在4 個(gè)指標(biāo)，有3 個(gè)指標(biāo)的均值大于其他網(wǎng)絡(luò)的指標(biāo)平均值，在2D 對(duì)比實(shí)驗(yàn)中DSC 指標(biāo)的均值為83.70%，Sensitivity 為88.40%，HSD95 為1.73，PPV 的表現(xiàn)并不是最優(yōu)的，數(shù)值為84.96%；在另一個(gè)3D 對(duì)比實(shí)驗(yàn)中，DSC 指標(biāo)的均值為90.79%，Sensitivity 為91.23%，HSD95 為0.242，PPV 的表現(xiàn)同樣不是最好的，數(shù)值為91.06%。 實(shí)驗(yàn)結(jié)果表明，改進(jìn)的算法在整體上取得了更明顯的優(yōu)勢(shì)，引入更全面的深度監(jiān)督和多尺度特征融合能夠有效地提高網(wǎng)絡(luò)的分割能力。

圖3 與圖4 給出了4 種神經(jīng)網(wǎng)絡(luò)在神經(jīng)膠質(zhì)瘤數(shù)據(jù)集上兩次對(duì)比分割結(jié)果的視覺對(duì)照，在這兩次試驗(yàn)的視覺對(duì)比圖中，每個(gè)網(wǎng)絡(luò)相比原圖像都表現(xiàn)出了很好的分割性能。 在2D 對(duì)比分割實(shí)驗(yàn)中，改進(jìn)后的網(wǎng)絡(luò)的分割結(jié)果相比于其他網(wǎng)絡(luò)沒有明顯的碎片，3 個(gè)標(biāo)簽的分割結(jié)果與金標(biāo)準(zhǔn)的重疊度更高，在切片的方向上也沒有像其他3 種網(wǎng)絡(luò)的分割結(jié)果所出現(xiàn)明顯的缺損。 圖4 是將分割的3D 圖像導(dǎo)入到ITK-SNAP 軟件的顯示結(jié)果，從圖像中可以明顯觀察到神經(jīng)膠質(zhì)瘤的異質(zhì)性，改進(jìn)后的網(wǎng)絡(luò)沒有其他3 個(gè)網(wǎng)絡(luò)較多的碎塊，對(duì)ET 的分割沒有像UNet3＋那樣出現(xiàn)過(guò)多的缺損，對(duì)WT 的分割沒有出現(xiàn)UNet 和UNet＋＋那樣過(guò)多的碎塊。 從整體的視覺效果上來(lái)看，改進(jìn)后的網(wǎng)絡(luò)的分割結(jié)果相比其他3種網(wǎng)絡(luò)更接近金標(biāo)準(zhǔn)。

圖3 2D 對(duì)比實(shí)驗(yàn)中各神經(jīng)網(wǎng)絡(luò)的分割結(jié)果的視覺對(duì)照﹝每列從上到下為選取的4 張病例的分割結(jié)果。 分割圖像共含有4 個(gè)標(biāo)簽，標(biāo)記為0，1，2，4。 黑色—背景區(qū)域，標(biāo)記為標(biāo)簽0；紅色—非增強(qiáng)腫瘤(NET，nonenhancing tumor)，標(biāo)記為標(biāo)簽1；綠色—水腫區(qū)域(ED，peritumoral edema)，標(biāo)記為標(biāo)簽2；黃色—增強(qiáng)腫瘤(ET，enhancing tumor)，標(biāo)記為標(biāo)簽4。 按照數(shù)據(jù)集的規(guī)定，分割指標(biāo)中所敘述的WT 共包含NET，ED，ET 三個(gè)部分，TC 包含NET，ET 兩個(gè)部分，ET 即ET ﹞。 (a)UNet；(b)UNet＋＋；(c)UNet3＋；(d)改進(jìn)的網(wǎng)絡(luò)；(e)手動(dòng)分割(金標(biāo)準(zhǔn))；(f)待分割的原圖Fig.3 Visual comparison of the segmentation results of each neural network in the 2D comparison experiment﹝The segmentation results of the four selected cases are from top to bottom.The segmented image contains a total of four labels， marked as 0，1，2，4.Black-background area， marked as label 0；Red-non-enhancing tumor(NET，non-enhancing tumor)，marked as label 1； Green-edema area (ED， peritumoral edema)， marked as label 2；Yellow—enhancing tumor (ET)， labeled as label 4.According to the regulations of the data set， the WT described in the segmentation index includes three parts: NET， ED， and ET， and TC includes two parts:NET and ET， and ET is ET ﹞.(a)UNet segmentation result；(b)UNet＋＋segmentation result；(c)UNet3＋segmentation result；(d)Improved network segmentation result；(e) Manual segmentation(Gold standard)；(f)Original image to be divided

圖4 3D 對(duì)比實(shí)驗(yàn)中各神經(jīng)網(wǎng)絡(luò)的分割結(jié)果的視覺對(duì)照﹝從上到下為選取的4 張病例的分割結(jié)果。 分割圖像共含有4 個(gè)標(biāo)簽，標(biāo)記為0，1，2，4。 黑色—背景區(qū)域，標(biāo)記為標(biāo)簽0；紅色—非增強(qiáng)腫瘤(NET，non-enhancing tumor)，標(biāo)記為標(biāo)簽1；綠色—水腫區(qū)域(ED，peritumoral edema)，標(biāo)記為標(biāo)簽2；黃色—增強(qiáng)腫瘤(ET，enhancing tumor)，標(biāo)記為標(biāo)簽4。 按照數(shù)據(jù)集的規(guī)定，分割指標(biāo)中所敘述的WT 共包含NET，ED，ET 三個(gè)部分，TC 包含NET，ET 兩個(gè)部分，ET 即ET﹞。 (a)UNet 分割結(jié)果；(b)UNet＋＋分割結(jié)果；(c)UNet3＋分割結(jié)果；(d)改進(jìn)的網(wǎng)絡(luò)分割結(jié)果；(e) 手動(dòng)分割(金標(biāo)準(zhǔn))；(f)待分割的原圖。Fig.4 Visual comparison of the segmentation results of each neural network in the 3D comparison experiment.﹝The segmentation results of the four selected cases are from top to bottom.The segmented image contains a total of four labels， marked as 0，1，2，4.Black-background area， marked as label 0；Red-non-enhancing tumor(NET，non-enhancing tumor)，marked as label 1； Green-edema area (ED， peritumoral edema)， marked as label 2；Yellow—enhancing tumor (ET)， labeled as label 4.According to the regulations of the data set， the WT described in the segmentation index includes three parts: NET， ED， and ET， and TC includes two parts:NET and ET， and ET is ET ﹞.(a)UNet segmentation result；(b)UNet＋＋segmentation result；(c)UNet3＋segmentation result；(d)Improved network segmentation result；(e) Manual segmentation(Gold standard)；(f)Original image to be divided

圖5 依次給出了測(cè)試集IoU 曲線圖，測(cè)試集Loss 曲線圖，驗(yàn)證集IoU 曲線圖，驗(yàn)證集Loss 曲線圖。 可以看出，隨著迭代次數(shù)的增加，4 種神經(jīng)網(wǎng)絡(luò)的曲線趨近平穩(wěn)。 其中改進(jìn)后的網(wǎng)絡(luò)梯度下降更快，損失值和交并比在迭代次數(shù)達(dá)到最大時(shí)，在4 種網(wǎng)絡(luò)中的表現(xiàn)最好，這也為改進(jìn)后的網(wǎng)絡(luò)在之前的表1，表2 的兩次對(duì)比分割實(shí)驗(yàn)中的取得最好的指標(biāo)值以及在兩次對(duì)比分割實(shí)驗(yàn)結(jié)果的視覺對(duì)照中能夠?qū)崿F(xiàn)與金分割標(biāo)準(zhǔn)更高的重合度提供了證據(jù)。在(c)，(d)兩圖中可以明顯的看到UNet3＋的曲線出現(xiàn)了一次嚴(yán)重的震蕩，認(rèn)為出現(xiàn)震蕩的原因可能是當(dāng)模型剛好擬合數(shù)據(jù)集時(shí)，繼續(xù)強(qiáng)迫模型擬合過(guò)程中若存在不理想的標(biāo)簽數(shù)據(jù)就會(huì)破壞它的全局結(jié)構(gòu)；另一種原因可能是UNet3＋的分類引導(dǎo)模塊在分割測(cè)試時(shí)將包含腫瘤信息較少的圖像錯(cuò)誤的去除，這兩點(diǎn)原因都可能導(dǎo)致UNet3＋在BraTS 數(shù)據(jù)集上的分割性能表現(xiàn)較差。

圖5 4 種神經(jīng)網(wǎng)絡(luò)交并比與損失值對(duì)比。 (a)測(cè)試集IoU 曲線；(b) 測(cè)試集Loss 曲線；(c) 驗(yàn)證集IoU 曲線；(b) 驗(yàn)證集曲線Fig.5 Contrast graph of IoU and loss value of 4 kinds of neural networks.(a) IoU graph showing the test set；(b) Loss graph showing the test set；(c) IoU graph showing the validation set；(d) Loss graph showing the validation set

為了實(shí)驗(yàn)的公平性，網(wǎng)絡(luò)參數(shù)設(shè)置經(jīng)過(guò)反復(fù)的測(cè)試，同時(shí)兼顧過(guò)擬合與欠擬合，利用早停法尋求最佳的epoch。 在實(shí)驗(yàn)環(huán)境的限制下，同時(shí)保證梯度下降的速度，學(xué)習(xí)率初始值設(shè)置為0.003。 本研究在基于Python 3.6 的pytorch 1.7 框架下進(jìn)行神經(jīng)網(wǎng)絡(luò)的搭建，實(shí)驗(yàn)環(huán)境是單塊顯存空間為12 GB的NIVIDA GTX1080TI GPU。

3 討論

在腦腫瘤分割挑戰(zhàn)賽歷年的最優(yōu)研究方法中，如Zikic 等[20]提出一種采用AlexNet 網(wǎng)絡(luò)4 輸入通道的2D 腦腫瘤分割網(wǎng)絡(luò)，這種單網(wǎng)絡(luò)的分割結(jié)構(gòu)的訓(xùn)練速度更快。 Pereira 等[21]使用了經(jīng)典的VGGNet 網(wǎng)絡(luò)，通過(guò)使用更小的卷積核進(jìn)一步減少網(wǎng)絡(luò)訓(xùn)練的參數(shù)量，但同時(shí)保持了較高水準(zhǔn)的分割性能，但是不論是AlexNet 還是VGGNet 網(wǎng)絡(luò)，仍然是單網(wǎng)絡(luò)分割方法，無(wú)法有效的捕捉多模態(tài)數(shù)據(jù)集中復(fù)雜的上下文特征，AlexNet 方法在BraTS 2013數(shù)據(jù)集中的DSC 指標(biāo)為分別為WT:0.84，ET:0.69，TC:0.74。 Havaei 等[22]構(gòu)建了一種雙路徑的2D CNN 多網(wǎng)絡(luò)腦腫瘤分割方法，雙路徑包括局部和全部?jī)刹糠?，該網(wǎng)絡(luò)增加了圖像特征表達(dá)能力，雙路徑可以保證網(wǎng)絡(luò)可以獲得全局和局部的信息，該方法在BraTS 2013 數(shù)據(jù)集中的DSC 指標(biāo)分別為WT:0.88，ET:0.77，TC:0.83。 Soltaninejad 等[23]將卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)算法進(jìn)行結(jié)合，利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，使用傳統(tǒng)算法中的RF 濾波器進(jìn)行圖像分割，該方法能夠有效降低分割誤報(bào)，在BraTS 2015 數(shù)據(jù)集中DSC 指標(biāo)分別為WT:0.88，ET:0.73，TC:0.80。 基于卷積神經(jīng)網(wǎng)絡(luò)的腦腫瘤分割方法使得深度網(wǎng)絡(luò)得到充分的訓(xùn)練，但是依然存在預(yù)測(cè)標(biāo)簽時(shí)分割效率低，空間連續(xù)性差和訓(xùn)練過(guò)程復(fù)雜等問(wèn)題[24]。

本研究基于UNet＋＋全卷積網(wǎng)絡(luò)的腦腫瘤分割方法使用端對(duì)端方式實(shí)現(xiàn)了語(yǔ)義級(jí)的密集預(yù)測(cè)，避免了使用圖像塊方式帶來(lái)的重復(fù)存儲(chǔ)和卷積計(jì)算問(wèn)題，在獲得有效分割精度同時(shí)也明顯提高了腦腫瘤分割的效率，并且保留跳躍式的尺度融合方法保證可以從大圖像中獲取更多的像素信息，在BraTS 2018 和BraTS 2019 數(shù)據(jù)集上獲得了先進(jìn)的性能。通過(guò)表1 和表2 這兩次對(duì)比分割實(shí)驗(yàn)中的分割指標(biāo)可以看出，改進(jìn)后的網(wǎng)絡(luò)在4 個(gè)分割指標(biāo)上的提升都是真實(shí)且明確有效的。 在兩次對(duì)比分割實(shí)驗(yàn)中，PPV 的指標(biāo)均值都不是最優(yōu)的，排在第2 位，且改進(jìn)的網(wǎng)絡(luò)的指標(biāo)值在表1 中有4 項(xiàng)指標(biāo)值非最高，在表2 中有6 項(xiàng)指標(biāo)值非最高，但是這些分割指標(biāo)均值仍然高于其他部分分割網(wǎng)絡(luò)的同指標(biāo)均值，且通過(guò)圖3，圖4 可以清晰地看到，改進(jìn)的網(wǎng)絡(luò)在BRATS 的腦膠質(zhì)瘤3 個(gè)標(biāo)簽WT，ET，TC 上，分割區(qū)域和標(biāo)準(zhǔn)標(biāo)注的目標(biāo)區(qū)域在空間中有著更好的重合度；通過(guò)指標(biāo)DSC，Sensitivity，HSD95 的對(duì)比，也明確了引入多尺度特征融合方案的合理性。 從圖4的3D 視覺對(duì)比中可以看出，由于感受野相對(duì)較小，改進(jìn)的網(wǎng)絡(luò)傾向于將綠色水腫區(qū)域和增強(qiáng)腫瘤核心誤認(rèn)為是大腦周圍組織，相比于手動(dòng)分割標(biāo)準(zhǔn)，分割的結(jié)果出現(xiàn)了缺損，這與表1，表2 中PPV 的WT，ET 指標(biāo)較低一致。 改進(jìn)的網(wǎng)絡(luò)相比于UNet，UNet＋＋，的視覺對(duì)照，UNet 與UNet＋＋的分割結(jié)果出現(xiàn)了較多的碎塊和空洞，同樣過(guò)多的缺口和缺損在改進(jìn)的網(wǎng)絡(luò)中并沒有出現(xiàn)，改進(jìn)后的網(wǎng)絡(luò)同時(shí)兼顧大尺度圖像輸入與輸出，在結(jié)果中減輕了前述的缺損，其分割結(jié)果相比前兩者在區(qū)域輪廓中體現(xiàn)出更好的刻畫。

本研究中仍然存在一些不足。 首先，要確定一個(gè)病灶一般情況下是需要通過(guò)復(fù)雜的整合判斷得到的，單一圖像的標(biāo)注可能未必正當(dāng)，不同模態(tài)的醫(yī)學(xué)圖像包含的信息側(cè)重點(diǎn)不同，這可以保證訓(xùn)練出更強(qiáng)大的網(wǎng)絡(luò)，顯著提高分割精度，但也使得整個(gè)樣本集顯得十分龐大，會(huì)直接導(dǎo)致訓(xùn)練速度緩慢[25]。 其次，雖然改進(jìn)后的網(wǎng)絡(luò)融入了全尺度特征融合機(jī)制，但這是以網(wǎng)絡(luò)訓(xùn)練參數(shù)為代價(jià)的，更多通道數(shù)的加入，使訓(xùn)練得到的維度特征很大，此時(shí)如果訓(xùn)練集的樣本數(shù)量較少，將會(huì)產(chǎn)生嚴(yán)重的過(guò)擬合現(xiàn)象，而這兩種情況無(wú)疑都會(huì)加大網(wǎng)絡(luò)的訓(xùn)練難度。 希望在今后的工作中，既要高效的設(shè)計(jì)訓(xùn)練模型，還是要結(jié)合數(shù)據(jù)特點(diǎn)(如待分割對(duì)象的尺寸范圍、2D 還是3D 等)進(jìn)行網(wǎng)絡(luò)設(shè)計(jì)，設(shè)計(jì)更加合理的圖像預(yù)處理操作進(jìn)而增強(qiáng)目標(biāo)特征，采用更好的特征提取模塊，以此來(lái)代替中間復(fù)雜的跳躍式的連接結(jié)構(gòu)，在減少神經(jīng)網(wǎng)絡(luò)參數(shù)的同時(shí)保證分割精度的提升。

4 結(jié)論

為了進(jìn)一步提升腦腫瘤分割的準(zhǔn)確性，本研究在UNet＋＋分割網(wǎng)絡(luò)的基礎(chǔ)上，對(duì)其進(jìn)行了改進(jìn)，保留UNet＋＋原有的跳躍式的連接方式，引入了多尺度的跳躍連接，形成了全尺度的分割網(wǎng)絡(luò)，充分利用來(lái)自編碼器與解碼器不同層次的語(yǔ)義特征，最后在解碼器階段引入了深度監(jiān)督，使得網(wǎng)絡(luò)能夠得到更充分的訓(xùn)練。 本研究在BraTS 2018 與BraTS 2019 公開的神經(jīng)膠質(zhì)瘤數(shù)據(jù)集上進(jìn)行測(cè)試，同時(shí)與UNet，UNet ＋＋，UNet3＋的分割性能進(jìn)行對(duì)比，改進(jìn)的網(wǎng)絡(luò)在4 種分割指標(biāo)上取得了最好的結(jié)果，這充分證明了改進(jìn)方案的正確性。 在臨床應(yīng)用中對(duì)腦腫瘤結(jié)構(gòu)精準(zhǔn)的分割將有助于準(zhǔn)確測(cè)量相關(guān)疾病診斷的關(guān)鍵指標(biāo)，幫助神經(jīng)外科醫(yī)生做出決定性的考量。