多尺度特征融合全卷積神經網絡腦腫瘤MR圖像分割

席歡歡，賀 松，黃 旭，張 碩，張 慧

(1貴州大學 大數據與信息工程學院，貴陽550025；2貴州大學 醫學院，貴陽550025)

0 引 言

腦腫瘤（又稱為顱內腫瘤），常發病于中樞神經系統。據統計，2015年中國新發惡性腫瘤患者高達392.9萬例，發病率為285.83／10萬，惡性腫瘤死亡病例為233.8萬，死亡率為170.5／10萬。其中，惡性腦腫瘤患者占新發病例的2.7%，占死亡病例的2.4%，是國內目前發病率和死亡率較高的惡性腫瘤之一［1］。核磁共振成像（MRI）技術可以生成高質量的顱內影像，并且具有很強的軟組織分辨能力，是輔助腦腫瘤診斷與治療的重要技術手段。中國每年可以產生大量的醫學影像數據，這其中就包括腦腫瘤影像；腦腫瘤影像雖然可以為疾病的診斷與治療提供支撐，但需要閱片醫師有著豐富的經驗。由于中國醫療資源的緊缺以及分布不均衡，因此，利用現有技術手段精準定位與分割腦腫瘤病變組織，可以有效減少醫師工作量和提高患者治愈機會。近年來，為了提高腦腫瘤檢測和分割的精準度，利用計算機技術自動分割腦腫瘤MR圖像病變區域，成為當前研究熱點之一。由于MR圖像的復雜特性，要精準分離正常組織與病變組織十分困難，因此高效的病變區域特征提取方法顯得尤為重要。

傳統的腦腫瘤MR圖像分割方法，如閾值法、像素分類法、模型法等，因分割邊界不清晰、精度過低、魯棒性差等原因，逐漸被其它算法所替代，或者成為其它分割算法的一部分。近幾年，基于卷積神經網絡的分割方法已經逐漸實現了腦腫瘤MR圖像的自動分割。Pereira等人［2］使用強歸一化對MR圖像進行預處理，并搭建以3*3小卷積核為主的卷積神經網絡，以此來降低過擬合現象的影響和減少參數權值數量；Jonathan等人［3］提出的全卷積神經網絡，將以往神經網絡常用的全連接層全部替換為卷積層，使之可以接受任意尺寸的輸入，從而解決了語義級的圖像分割問題；Myronenko等人［4］提出一個編碼器-解碼器架構，并且為網絡添加變分自動編碼器分支，以重建原始輸入圖像與特征聚類結果的優化，為編碼器輸出結果增加額外的導向與正則化，該算法獲得了Brats2018挑戰賽的第一名；顧軍華等人［5］提出一種多尺度特征融合網絡，引入SEResNet模塊，有效解決特征提取不全面、信息丟失等問題，以此達到肺結節良惡性分類，在LIDC-IDRI（肺圖像聯合數據庫）上取得了很好的準確率。

現有方法中，大多雖然對腦腫瘤MR圖像分割取得了很好的結果，但有的算法模型可能隨著網絡層數的增加，導致無法提取圖像一些淺層的原始特征，造成分割結果的邊界模糊、不夠精確；而過多的網絡層數也導致訓練參數量過大，訓練費時費力和出現梯度消失問題，若層數過少，淺層的特征無法表達出來［6］。

針對上述問題，本文提出一種多尺度特征融合全卷積神經網絡（MFF-FCN）模型，來實現腦腫瘤MR圖像的分割。該網絡主要完成以下工作:

（1）為了更好的利用MR圖像的特征信息，采用多通道輸入，對不同通道輸入的圖像采用大小不同的卷積核，以此達到提取不同尺度特征信息的目的。將提取到的不同尺度的特征信息進行融合，可以有效降低因網絡層數增多等造成的特征提取不全、信息丟失等問題。

（2）由于全卷積神經網絡（FCN）可以實現任意尺寸圖像的輸入，并且利用反卷積將最后一層的特征圖進行上采樣實現同樣尺寸的輸出，該算法主要應用全卷積神經網絡，并將其它輸入通道的卷積結果融合后添加到主線網絡，以實現監督的作用，加強特征信息的提取。

本文算法在國際醫學圖像計算和計算機輔助干預協會（MICCAI）的BraTS2018數據集上進行了實驗。實驗結果表明，相比一些算法，MFF-FCN網絡在特征提取和分割精度上都有較好的表現。

1 網絡模型與算法理論

本文提出的MFF-FCN網絡模型，旨在獲得更多層次的特征信息以及更全面的細節特征。該網絡模型主要采用多個輸入通道的網絡架構，對于不同輸入通道使用大小不同的三種卷積核，每個輸入通道主要使用全卷積神經網絡（FCN）來進行特征提取，最終將得到的MR圖像卷積結果進行融合。采用跳躍連接，將不同輸入通道的某層卷積輸出結果作為其它通道卷積的輸入，以此加強特征信息的提取。為了獲得更加精準的分割結果，將多個通道的不同卷積層的結果融合，作為最終的結果。本文提出的多尺度特征融合腦腫瘤MR圖像分割模型如圖1所示。

圖1 MFF-FCN網絡模型結構圖Fig.1 Structure diagram of MFF-FCN network model

1.1 多尺度特征提取

卷積神經網絡的提出可以追溯到上世紀末期。1998年，LeCun等人提出的LeNet［7］，是現代卷積神經網絡的雛形，因其局部感受野、權值共享、下采樣等優點，使卷積神經網絡成為當時的研究熱點，之后各種各樣的變種卷積網絡層出不窮。通用的深度學習網絡模型大多采用單通路結構，這種單通路結構有著難以兼顧對局部特征與全局特征學習的缺點［8］。在卷積神經網絡中，卷積核的尺寸大小決定了感受野的大小。當卷積核尺寸越大，感受野就越大，過大的卷積核容易提取圖像的全局信息，有助于分割尺寸較大的目標。但過大的卷積核，也會導致學習的參數增多，并且目標的局部信息容易丟失；反之，當卷積核過小時，會使網絡忽略輸入圖像的全局信息，易使分割區域的邊界不夠清晰等。因此，為了加強圖像全局與局部特征信息的提取，本文采用3條通路的網絡架構，對于不同的輸入通路采用不同尺寸的卷積核，其依次為3×3、5×5、7×7。這樣不同的卷積核會提取不同層次的特征信息，如圖1前半部分所示。多尺度的特征提取可以學習不同感受野的尺度特征，從而有效提取腦腫瘤MR圖像的病變區域邊緣信息等細節；另一方面，也可以作為監督，將不同通道的多尺度特征提取過程的卷積結果作為其它通道卷積的輸入，這樣可避免因網絡層數增多導致的過擬合現象，以及信息丟失等問題，有助于特征的提取。

文獻［9］中研究表明，在第三次卷積后，進行第四次卷積，網路模型的Dice（相似系數）沒有發生太大的變化，但卷積層數的增加，反而導致了更多的訓練時間和更慢的收斂速度，并且網絡參數也會增多。因此，在本文提出的MFF-FCN網絡模型中，為了加強特征信息的提取，減少不必要的參數以及模型訓練時間，其中2條通路只進行3次卷積操作；之后網絡模型使用跳躍結構，將不同通路的卷積結果進行融合，并將融合后的結果作為其它通路的卷積輸入和最終結果的一部分。融合方法詳見1.3節。

1.2 改進的全卷積神經網絡(FCN)

1998年LeCun等人提出LeNet，2012年Alex Krizhevsky、Ilya Sutskever和Geoffrey E.Hinton等人提出了一種非常重要的卷積神經網絡模型AlexNet［10］，獲得了ILSVRC圖像分類的冠軍。通常，卷積神經網絡都是由卷積層、池化層、全連接層組成。然而，2015年，Long等人［3］提出的全卷積神經網 絡（Fully Convolutional Network，FCN）卻 將AlexNet網絡的全連接層改為卷積層，還引入包含上采樣層和反卷積層等其它具有空間平移不變形式的層，實現端對端的像素分類。

傳統的全卷積神經網絡模型是將卷積神經網絡中的全連接層改為卷積層，使輸入與輸出尺寸保持一致。

但是，傳統的全卷積神經網絡也存在存儲開銷大、大量冗余計算、感受野被限制等缺點。FCN可以接受任意尺寸圖像的輸入，為使網絡的輸出和輸入尺寸保持一致，利用反卷積對特征圖進行上采樣恢復到原圖大小，并且采用跳躍結構（skip architecture），可以融合多層的卷積結果，使得分類的預測結果更為精確。FCN雖然通過全卷積、跳躍結構等方式提高了圖像分類的預測準確率，仍然存在一些問題:一是得到的結果不夠精確，8倍上采樣的結果雖然比32倍上采樣的結果好一些，結果依然存在比較模糊和平滑，對圖像中的細節不夠敏感；二是沒有考慮像素之間的關聯性，缺乏空間一致性。因此，為了提高腦腫瘤MR圖像的分割精準度，邢波濤等人［11］將腦腫瘤3種模態的MR圖像，經灰度歸一化后，利用灰度圖像融合技術得到的融合圖像進行預處理，將預處理得到的圖像經過改進的全卷積神經網絡進行粗分割，最后融合全鏈接條件，隨機細化粗分割結果中的腦腫瘤邊界。該結果在BraTS2015數據集上取得了很好的驗證，平均相似系數（Dice）達到了91.29%；Zhou等人［12］為了克服深度卷積神經網絡在腦腫瘤全自動分割中存在的2個問題，（一是為克服重復的池化（pooling）和步幅（striding），采用3D單步稀疏卷積來替代傳統卷積中的池化（pooling）和步幅（striding），作為特征學習的主要方式，二是為克服多尺度病灶處理能力薄弱造成的空間信息丟失問題。）提出了一個3D稀疏卷積特征金字塔，添加到卷積網絡的末端。該結構可以結合上下文的特征，提高模型的分辨能力，最后利用3D全連接條件隨機處理網絡的輸出，得到外觀和空間上結構的一致性，該算法在BraTS2013、2015、2018數據集上進行了驗證；Shen等人［9］提出一種改進的全卷積神經網絡（FCN），該網絡主要由一個下采樣路徑和3個上采樣路徑構成，通過連接每個上采樣路徑的層次特征來提取多層次的上下文信息，同時提出了利用對稱差分圖像實現對稱驅動的FCN，該算法在BraTS2013數據集上取得了很好的效果。

本文所用的卷積網絡則是在FCN的基礎上進行了一定的改進。在FCN網絡的主體結構中，卷積層的結構參數為3×3的卷積（conv）核、步長（stride）為1、填充（pad）為1；池化層的結構參數為2×2的池化（pool）核、填充（pad）為0、步長（stride）為2。本文的網絡模型主要存在3個通路:第一通路的網絡結構參數與傳統的FCN相同；第二通路的卷積層采用大小為5×5的卷積核；第三通路的卷積層采用大小為7×7的卷積核。因為3個通路使用大小不同的卷積核，在邊緣填充Pad不變的情況下，卷積塊的輸出尺寸就會不同。為了方便最后網絡的特征融合以及結果顯示等，本文以3×3卷積核通路的卷積塊輸出尺寸為基準，在第二、三通路中使用不同大小的填充（pad）和步長（stride），使得每一次卷積、池化的輸出與第一通路的卷積、池化保持一致。MFFFCN網絡模型的具體結構參數見表1。其中，Layer為每一層的名字；Conv表示卷積層；Pool表示池化層；Kernal表示卷積核或者池化核的尺寸；Stride表示卷積運算過程中滑動窗口的步長；Pad表示卷積計算前后對輸入矩陣進行邊緣填充的大小。在原FCN網絡中，共有放大8倍、16倍、32倍上采樣的預測結果。本文所提出的MFF-FCN網絡中，為與最終輸出的分割結果進行對比，第一通路即原FCN網絡只輸出8倍上采樣的結果。但僅僅使用尺寸大小不一的卷積核來加強特征信息的提取，效果還不夠明顯；尺寸較大的卷積核可以提取輸入圖像的全局信息，但對于圖像的局部信息就很容易丟失，導致分割結果不夠精準；而尺寸較小的卷積核可以提取輸入圖像的局部信息，但對圖像的全局信息不夠敏感，容易造成分割輪廓邊界模糊。為了補充3個通路因卷積核大小不一所造成的特征信息缺失，MFF-FCN網絡模型使用跳躍結構（skip architecture），加強不同通路所缺失的特征信息。將第二、三通路的第三次卷積輸出結果進行融合后，與第一通路第三次卷積輸出融合，作為第一通路第四次卷積的輸入；同時，第二、三通路第三次卷積融合的結果也是模型最終結果的輸入之一。并且，第二、三通路的輸入輸出尺寸都與第一通路保持一致，這樣有助于減少計算量、特征融合以及最后的分割結果。最后的腦腫瘤MR圖像分割結果輸出也是采用跳躍結構。使用反卷積、上采樣使得輸出達到相互融合的尺寸，并且得到類似FCN網絡幾種不同的分割結果，并將結果經過裁剪統一尺寸。

表1 MFF-FCN網絡模型結構參數Tab.1 Structural parameters of MFF-FCN network model

1.3 特征融合

在計算機視覺研究領域，特征融合是常用的方法之一，尤其是在圖像分割方面，融合不同尺度的特征是提高分割效果的一種重要手段。底層特征分辨率更高，包含更多的位置、細節信息，但是由于經過的卷積少，其語義性更低，噪聲更多；而高層特征具有更強的語義信息，物體輪廓更分明，但是分辨率較低，對細節的感知能力較差。因此，利用一定的方法將兩者進行融合，有利于改善和提高分割模型的性能。

在全卷積神經網絡中，本文融合多層卷積的結果取得的預測結果是最好的。在卷積過程中使用的跳躍結構以及為得到最終的分割結果，都是用add特征融合方法；在通道數不變的情況下，add方法使描述圖像特征的信息量增加了，計算量更小。其計算方式如下:

式中，Z表示單通道輸出結果；i表示通道數；X、Y表示2個通道的輸入；K表示系數。其中K的取值范圍為［0，1］，K值大小代表不同通道的輸入特征在特征融合過程中所占的權重有所區別，K值越大代表該部分特征所占權重越大，一般在分割的邊緣區域K值越大。

1.4 反卷積(上采樣)

為了使最終輸出結果與輸入保持相同尺寸，本文使用FCN網絡中提出的反卷積（即上采樣），對最后卷積的輸出進行放大，維度計算方法如下:

式中，nout表示反卷積輸出的尺寸大小；nin表示反卷積的輸入尺寸大小；s表示步長（stride）；k表示卷積核尺寸大小；p表示填充（padding）。

2 實驗結果與分析

2.1 實驗環境與數據集

本文提出的MFF-FCN網絡模型是基于Pytorch的深度學習框架，實驗所用硬件配置為Intel Core i7-9700KF＠3.60 GHz八核CPU，以及NVIDIA GeForce RTX 2070 SUPER GPU；系統環境為Windows 10專業版64位操作系統。實驗數據來自國際醫學圖像計算和計算機輔助干預協會（MICCAI）BraTS2018挑戰賽的訓練集，而BraTs2019訓練集則在BraTS2018訓練集的基礎上增加了50例。因此，本文將BraTs2019訓練集增加的50例作為網絡模型的測試集，避免了拆分BraTS2018訓練集造成的數據過少。試驗中訓練集共有285例腦腫瘤患者的MR影像，其中210例為HGG（高級別神經膠質瘤）患者MR影像，75例為LGG（低級別神經膠質瘤）患者MR影像；測試集共有50例腦腫瘤患者MR圖像，其中49例為HGG患者，1例為LGG患者。每一例腦腫瘤患者都有FLAIR、T1、T2和T1C 4種模態的MR圖像，并且都已配準，并且每一例腦腫瘤患者的MR圖像都包含已經分割好的真實標簽。數據集中數據類型為XX.nii.gz，分別對應flair、t1、t2、t1ce、seg，其中seg是分割圖像。

2.2 評價標準

按照常規腦腫瘤MR圖像分割標準，需將圖像分 割 為 全 腫 瘤（whole tumor，WT）、增 強 腫 瘤（enhance tumor，ET）、腫瘤核心（tumor core，TC）。對于每種腫瘤區域，將采用相似系數（Dice Similarity Coefficient，DSC）、靈敏度（Sensitivity）以及陽性預測值（Positive Predictive Value，PPV）3種指標來評價腦腫瘤MR圖像分割結果。其中，相似系數用來描述模型分割結果與標簽分割結果之間的重疊（相似）程度，即:

靈敏度描述的是模型分割后，正確腫瘤點占真值腫瘤點的比例，即:

陽性預測值描述的是模型分割后，正確腫瘤點占分割結果為腫瘤點的比例，即:

式（5）中，P表示模型分割結果，T表示腦腫瘤分割的真實標簽。

2.3 預處理

考慮到腦腫瘤MR圖像的特殊性，卷積神經網絡僅通過單一模態圖像提取的特征，不足以精確分割腦腫瘤不同病變組織，并且BraTs數據集中MR圖像4個序列分別代表不同的模態，對比度存在差異。因此，本文利用Z-Score來對每個模態的圖像進行歸一化處理，即對不同模態的圖像標準化為零均值和單位標準差，對每個MR圖像進行裁剪，并拋除沒有病灶的切片，以減少背景對單幅圖像最終分割結果的影響，降低數據背景區域造成的無效計算，最終將4個不同模態合并成4個通道，可以使MFFFCN網絡模型學習到不同模態的特征。

2.4 模型訓練與調參

2.4.1 模型訓練

在模型訓練中，使用VGG-19對模型進行初始化。考慮到Sigmoid等激活函數容易造成梯度消失，MFF-FCN網絡模型選擇ReLU作為激活函數，并采用常規的損失函數SoftMax計算損失；同時，在網絡模型中加入模型訓練時，學習率的選取對網絡模型的性能有著至關重要的作用。MFF-FCN模型綜合考慮訓練時長和收斂情況等因素，選取并比較了不同學習率下模型收斂情況。當學習率為0.000 03時，模型訓練時的損失變化情況如圖2所示。此時，模型的訓練時長以及損失程度達到最佳。

圖2 MFF-FCN最優模型訓練損失程度Fig.2 Degree of training loss in the optimal MFF-FCN mode

2.4.2 調參

Adam優化在權值和偏值更新中，傳統的梯度下降算法需要遍歷所有的訓練樣本，當訓練樣本很大時，需要耗費巨大的計算資源和時間；而隨機梯度下降算法（SGD）則是計算單個訓練樣本的損失來近似平均損失，大大加快了模型參數的更新效率和訓練速度。本文在比較幾種優化算法的基礎上，選用小批量隨機梯度下降法和Adam［13］優化算法，來對網絡模型進行優化。模型中batch＿size大小為18，基準學習率為3e-5，權重衰減系數0.000 1，最佳迭代次數為180次。

2.5 結果分析

為了驗證本文所提算法的性能，MFF-FCN給出2種輸出結果:原始FCN融合多尺度特征信息的輸出結果FCN-8s，以及改進的FCN模型MFF-FCN模型的輸出結果。同時，為了更充分對比模型的分割性能，將文獻［2，9，15］等提出的方法在Dice、Sensitivity、PPV等指標上進行比較，具體結果見表2。從表2中可見:

表2 不同算法的分割性能評估Tab.2 Segmentation performance evaluation of different algorithms

（1）就相似系數（Dice）指標來看，MFF-FCN網絡模型對全腫瘤（WT）的分割效果比改進的FCN-8s算法有一定的提升；盡管最終結果比其它算法效果低，但MFF-FCN網絡模型對增強腫瘤（ET）和核心腫瘤（TC）的分割效果更優。圖3為各算法Dice對比折線圖。

圖3 各算法Dice對比折線圖Fig.3 DICE comparison line chart of each algorithm

（2）從靈敏度（Sensitivity）指標來看，MFF-FCN網絡模型對全腫瘤（WT）以及增強腫瘤（ET）的分割效果相比其它算法好，但對核心腫瘤（TC）的分割效果卻低于改進的FCN-8s算法。圖4為各算法Sensitivity對比折線圖。

圖4 各算法Sensitivity對比折線圖Fig.4 Broken line diagram of Sensitivity comparison among algorithms

（3）就陽性預測值（PPV）指標來看，MFF-FCN網絡模型相比改進的FCN-8s算法對全腫瘤（WT）以及增強腫瘤（ET）的分割效果都有一定的提升，并且優于其它文獻提出的算法；但對核心腫瘤（TC）的分割效果卻不盡人意。圖5為各算法PPV對比折線圖。

圖5 各算法PPV對比折線圖Fig.5 PPV comparison line diagram of each algorithm

為對本文所提算法的分割性能有直觀的感受，選取5例腦腫瘤患者的MR圖像，將本文算法的分割結果與專家分割結果進行展示對比，結果如圖6所示。從圖6可以看出，MFF-FCN網絡模型的分割結果和專家分割結果相比還是有一定的差距，雖然MFFFCN網絡融合了多尺度的特征信息，在分割各組織邊緣有了很大的改進，準確率等有一定的提升，但是在不同病變區域分割結果還是存在一定的混淆。

圖6 5例腦腫瘤MR圖像MFF-FCN網絡模型及專家分割結果Fig.6 MFF-FCN network model and expert segmentation results of MR images of five cases of brain tumors

綜上所述，經過不同分割算法性能指標結果的比較展示，驗證了本文所提算法在不同病變區域都具有一定的效果，尤其是對不同組織邊緣區域的分割，表現更優。

3 結束語

針對傳統分割算法特征信息提取不全、準確率過低等情況，提出一種多尺度特征融合全卷積神經網絡的腦腫瘤MR圖像分割算法，在FCN的基礎上，引入卷積核大小不同的卷積通路以及跳躍連接，融合多尺度的特征信息，已達到更佳的分割效果。實驗結果表明，本文算法能夠在節省資源和時間的基礎上，提升算法的分割性能；相比其它算法，在不同病變組織區域以及邊緣分割上有更出色的變現。但是該算法存在分割結果混淆、分割不夠精確以及個別圖像分割效果更差等情況，這些都將是接下來工作的重點，并進一步完善。