融合多模態(tài)多尺度磁共振成像的腦膠質(zhì)瘤分割?

裴玉瑤 王常青 吳 茜

（1.安徽醫(yī)科大學(xué)生物醫(yī)學(xué)工程學(xué)院 合肥 230032）（2.安徽醫(yī)科大學(xué)人文醫(yī)學(xué)學(xué)院 合肥 230032）

1 引言

腦膠質(zhì)瘤是成人中常見的顱內(nèi)原發(fā)性腫瘤之一，具有高患病率和死亡率，表現(xiàn)為不均勻的壞死腫塊，周圍有不規(guī)則的強(qiáng)化及血管源性水腫［1］。世界衛(wèi)生組織根據(jù)其生長特性和浸潤程度分為兩類：高級別膠質(zhì)瘤（high grade gliomas，HGG）和低級別膠質(zhì)瘤（low grade gliomas，LGG）［2～3］。MRI（magnetic resonance imaging，MRI）是目前最流行的無創(chuàng)、無輻射成像技術(shù)，提供顱內(nèi)多方位軟組織的成像信息［4］。常見的MRI 四種模態(tài)有：T1 圖像、T1 增強(qiáng)圖像（T1ce）、T2 圖像以及液體衰減反轉(zhuǎn)恢復(fù)序列（Flair）。四種不同模態(tài)顯示不同的腫瘤生物學(xué)特征，多種模態(tài)結(jié)合為精準(zhǔn)分割腦膠質(zhì)瘤提供不同的解剖和功能信息［5］。精準(zhǔn)分割腦膠質(zhì)瘤幫助醫(yī)生確定腫瘤部位，避免術(shù)中健康組織的損傷，并對術(shù)后放射治療起重要作用［6］。然而人工手動分割過程繁瑣，且易受專業(yè)知識和自身主觀因素影響［7］。相比之下，自動分割不僅節(jié)省了時間和成本，而且提高了定量分析的客觀性［8］。由于腦膠質(zhì)瘤結(jié)構(gòu)具有多變性、邊界模糊與周圍組織差異小，使得醫(yī)生難以確定其邊界及小目標(biāo)病變區(qū)域，從而影響手術(shù)質(zhì)量和預(yù)后效果［9］。因此，需要設(shè)計(jì)一種精準(zhǔn)分割腦膠質(zhì)瘤小目標(biāo)區(qū)域的自動分割模型，為臨床醫(yī)生對腦膠質(zhì)瘤早期診斷和治療提供定量幫助。

早期基于卷積神經(jīng)網(wǎng)絡(luò)的模型是利用小尺度圖像塊分類進(jìn)行腦腫瘤分割，但占用內(nèi)存較大且難以保持特征圖的空間連續(xù)性，導(dǎo)致分割準(zhǔn)確率不高［10］。在FCN［11］基礎(chǔ)上，Ronneberger 等［12］提出具有對稱編解碼結(jié)構(gòu)的U-Net網(wǎng)絡(luò)，解決了醫(yī)學(xué)圖像分割領(lǐng)域因數(shù)據(jù)量少而影響分割準(zhǔn)確率的問題，迅速成為主流框架。目前，腦腫瘤分割的網(wǎng)絡(luò)結(jié)構(gòu)大致分為兩類：編解碼結(jié)構(gòu)和網(wǎng)絡(luò)級聯(lián)結(jié)構(gòu)。大部分研究者基于端到端的編解碼結(jié)構(gòu)進(jìn)行腦腫瘤分割，如Yang 等［13］在卷積層中加入1×1 卷積整合圖像特征，實(shí)現(xiàn)跨通道信息整合，從而提升腦腫瘤的分割效率。通過簡單的線性跳躍連接不能充分獲取圖像的語義和空間信息，因此AboElenein 等［14］將Inception 塊和Residual 塊集成并密集嵌套到U-Net跳躍路徑中，從而獲取更多腦腫瘤特征信息。Liu等［15］利用卷積空間和特征交互圖來獲取高維及區(qū)別性特征，從而提升模型聚合上下文特征的能力。Zhou 等［16］采用多任務(wù)學(xué)習(xí)輕量級深度模型，實(shí)現(xiàn)膠質(zhì)瘤亞區(qū)的精細(xì)化分割。單一的編解碼結(jié)構(gòu)存在特征映射分辨率逐層下降的問題，因此網(wǎng)絡(luò)級聯(lián)結(jié)構(gòu)被應(yīng)用于腦腫瘤分割的研究。如Ji 等［17］用全局標(biāo)簽和涂鴉標(biāo)簽分別訓(xùn)練網(wǎng)絡(luò)，將兩個網(wǎng)絡(luò)級聯(lián)用于腦腫瘤分割。Li等［18］通過2D 網(wǎng)絡(luò)對感興趣區(qū)域（ROI）定位，之后使用3D網(wǎng)絡(luò)結(jié)合ROI進(jìn)行分割腦腫瘤，從而提高了分割效率。余等［19］采用與Jiang 等［20］相似的級聯(lián)架構(gòu)，并在解碼器上添加了SE（squeeze-and-excitation）-殘差模塊，使用變分自編碼器將提取潛在信息特征用于總體生命周期的預(yù)測。由于訓(xùn)練多個網(wǎng)絡(luò)會帶來一定的計(jì)算負(fù)擔(dān)，因此本文選擇基于編解碼結(jié)構(gòu)來實(shí)現(xiàn)快速精準(zhǔn)分割腦膠質(zhì)瘤。

目前許多網(wǎng)絡(luò)在腦膠質(zhì)瘤小目標(biāo)區(qū)域及邊界的分割精度并不理想。針對這一問題，本文提出了一種融合多模態(tài)多尺度磁共振成像腦膠質(zhì)瘤精準(zhǔn)分割模型。首先，該模型使用多模態(tài)特征提取模塊對多模態(tài)腦膠質(zhì)瘤圖像進(jìn)行特征提取，提升特征利用率的同時緩解了梯度消失問題。其次，加入多尺度特征融合模塊來獲取多尺度的全局上下文信息，緩解在特征提取過程中重復(fù)卷積和池化帶來的特征映射分辨率損失問題。最后，將binary cross entropy（BCE）loss 和dice loss 兩個損失函數(shù)加權(quán)混合，解決分割任務(wù)中的類不平衡問題，同時提升網(wǎng)絡(luò)模型的分割效果。

2 本文方法

2.1 模型分割過程

本文模型的分割整體過程如圖1，主要包括以下四個部分：1）數(shù)據(jù)預(yù)處理：將數(shù)據(jù)進(jìn)行剪裁、歸一化處理、切片等操作；2）搭建網(wǎng)絡(luò)：基于多模態(tài)特征提取、多尺度特征融合模塊搭建分割網(wǎng)絡(luò)；3）網(wǎng)絡(luò)訓(xùn)練：選擇合適的超參數(shù)來訓(xùn)練網(wǎng)絡(luò)；4）預(yù)測結(jié)果：使用測試數(shù)據(jù)集來預(yù)測分割結(jié)果。

圖1 分割模型的流程圖

2.2 模型結(jié)構(gòu)

由于腦膠質(zhì)瘤不同亞區(qū)形態(tài)結(jié)構(gòu)復(fù)雜，網(wǎng)絡(luò)對小尺度腦膠質(zhì)瘤區(qū)域的特征識別能力差，從而影響小目標(biāo)膠質(zhì)瘤的分割精度。為此，本文將多模態(tài)特征提取模塊和多尺度特征融合模塊同時嵌入到U-Net 網(wǎng)絡(luò)，提出了一種多模態(tài)特征提取、多尺度特征融合機(jī)制腦腫瘤自動分割模型，如圖2 所示。該模型由編碼路徑、解碼路徑和跳躍連接組成，輸入大小為160×160×4。其編碼路徑包括多模態(tài)特征提取模塊和多尺度融合模塊，多模態(tài)特征提取模塊主要通過殘差模塊來提升網(wǎng)絡(luò)對多模態(tài)圖像的特征提取能力。殘差模塊結(jié)構(gòu)如圖3所示，每個殘差塊包含兩個3×3 卷積，用于提取多模態(tài)腦膠質(zhì)瘤MRI 圖像特征信息。為加速模型收斂和緩解梯度消失，每個卷積單元后都結(jié)合了歸一化（BN）和激活函數(shù)（Relu）操作。使用1×1 卷積來完成圖像通道數(shù)的轉(zhuǎn)換，實(shí)現(xiàn)使用逐像素相加進(jìn)行特征融合。為提升網(wǎng)絡(luò)對不同大小的腦腫瘤區(qū)域的特征識別能力，添加多尺度特征融合模塊，有針對性地學(xué)習(xí)不同尺度的子區(qū)域特征，以捕獲多尺度上下文語義信息特征。而其解碼路徑使用四個多模態(tài)特征提取模塊和上采樣來還原圖像的位置和空間等細(xì)節(jié)信息，通過上采樣操作使得特征圖的通道數(shù)量減半，特征圖像翻倍。最后使用1×1 卷積保持輸出通道數(shù)量與腦膠質(zhì)瘤亞區(qū)類別數(shù)量一致性，輸出大小為160×160×3。

圖2 模型框架圖

圖3 殘差模塊

2.3 多尺度特征融合模塊

為緩解連續(xù)卷積和池化造成的邊緣細(xì)節(jié)損失問題，在編碼路徑中融合了多尺度特征融合（multi-scale feature fusion，MFF）模塊，結(jié)構(gòu)如圖4所示。多尺度特征融合模塊將特征圖分成四個不同尺度的金字塔層，有助于網(wǎng)絡(luò)學(xué)習(xí)多模態(tài)不同尺度的特征，提升網(wǎng)絡(luò)對小目標(biāo)腦腫瘤區(qū)域的特征識別能力。該模型將子區(qū)的池化大小分別設(shè)置為1×1、2×2、4×4 和8×8，以適應(yīng)腦腫瘤圖像的復(fù)雜特征分布，保留不同比例尺度的空間和語義信息。為進(jìn)一步細(xì)化腦膠質(zhì)瘤亞區(qū)的邊界，使用雙線性插值法將不同尺度的特征圖上采樣，并與原始圖像串聯(lián)融合。最后，經(jīng)過卷積操作和Relu 激活函數(shù)，與原始圖像逐像素相乘完成特征信息聚合，改善腫瘤亞區(qū)的過分割和欠分割問題。

圖4 多尺度特征融合模塊

2.4 加權(quán)混合損失函數(shù)

BraTS 數(shù)據(jù)中98.46%為大腦的健康組織，而水腫、增強(qiáng)腫瘤及壞死和非增強(qiáng)腫瘤分別為1.02%、0.29%、0.23%。其中腦腫瘤只占整體區(qū)域的1.44%，遠(yuǎn)小于健康腦組織區(qū)域，而且腦膠質(zhì)瘤的各亞區(qū)所占比例也存在很大差異。因此，本實(shí)驗(yàn)采用binary cross entropy（BCE）loss和dice loss加權(quán)混合損失函數(shù)，以減輕類不平衡給網(wǎng)絡(luò)性能帶來的不良影響，具體計(jì)算公式如式（1）～式（3）。

其中，N為像素個數(shù)，Pi為真實(shí)值，Gi為預(yù)測值。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)

本實(shí)驗(yàn)采用MICCAI腦腫瘤分割挑戰(zhàn)賽的數(shù)據(jù)集［21～22］，大小為155×240×240。每個數(shù)據(jù)包含T1、T2、T1ce、Flair 和標(biāo)簽圖像，其中標(biāo)簽分為四類，即健康組織（標(biāo)簽0）、壞死和非增強(qiáng)腫瘤（標(biāo)簽1）、水腫（標(biāo)簽2）和增強(qiáng)腫瘤（標(biāo)簽4）。該實(shí)驗(yàn)的訓(xùn)練集為BraTS 2018，其中包含210 個HGG 患者和75 個LGG 患者，按照4∶1 分成訓(xùn)練集和驗(yàn)證集。將BraTS 2019 數(shù)據(jù)集中不同于訓(xùn)練集和驗(yàn)證集的50個數(shù)據(jù)作為測試集。分割任務(wù)是精準(zhǔn)分割腦膠質(zhì)瘤三個亞區(qū)即整個腫瘤（whole tumor，WT）、腫瘤核（tumor core，TC）和 增 強(qiáng) 腫 瘤（enhancing tumor，ET）。其中，WT 是指所有腫瘤（標(biāo)簽1、2 和4），TC是指所有壞疽（標(biāo)簽1、4），ET 是指增強(qiáng)腫瘤（標(biāo)簽4）。

3.2 數(shù)據(jù)預(yù)處理

由于MRI 各模態(tài)序列的強(qiáng)度不均勻性可能造成分割精度下降，因此去除每個MRI 圖像序列1%的最低和最高強(qiáng)度值，采用z-score 方式對各個模態(tài)歸一化處理，即使用每個圖像序列減去平均值后除以其標(biāo)準(zhǔn)差，公式如式（4）。之后對腦腫瘤MRI數(shù)據(jù)進(jìn)行裁剪，去除一些無關(guān)的背景區(qū)域，裁剪為160×160。最后對圖像數(shù)據(jù)進(jìn)行切片處理，去除無病灶區(qū)域，并將不同模態(tài)MRI 圖像進(jìn)行融合。

其中，X為原始圖像，μ表示圖像的平均值，σ為圖像的標(biāo)準(zhǔn)差，X'為歸一化的圖像。

3.3 評價指標(biāo)

本實(shí)驗(yàn)采用不同評價指標(biāo)對分割結(jié)果進(jìn)行多維評估，分別為Dice 系數(shù)（Dice similarity coefficient）、靈敏度（Sensitivity）、Hausdorff距離（Hausdorffdistance）。其中Dice 系數(shù)是計(jì)算預(yù)測值和真實(shí)值的相似度，公式如式（5），靈敏度是計(jì)算所有陽性樣例中預(yù)測為真陽性的比例，公式如式（6），Hausdorff距離是衡量兩個點(diǎn)之間的距離，公式如式（7）。Dice系數(shù)與靈敏度越高，表示模型性能越好，而預(yù)測值和真實(shí)值之間Hausdorff距離越小越好。

其中，TP（true positive）為真陽性，即正確預(yù)測為腦腫瘤。FP（false positive）為假陽性，即錯誤預(yù)測為腦腫瘤。FN（false negative）為假陰性，即錯誤預(yù)測為健康組織。x 和y 分別為真實(shí)的腫瘤區(qū)域X 和預(yù)測的腫瘤區(qū)域Y 上的點(diǎn)，d( )x,y是計(jì)算x 和y 兩點(diǎn)的距離。

4 結(jié)果與分析

4.1 消融實(shí)驗(yàn)

為了驗(yàn)證模型各模塊的有效性，本實(shí)驗(yàn)在BraTS 2019 數(shù)據(jù)集上進(jìn)行測試，平均指標(biāo)結(jié)果如表1 所示。相比于U-Net，添加多模態(tài)特征提取模塊的MFE-U-Net在整個腫瘤區(qū)域的Dice 系數(shù)、Sensitivity分別提升了1.3%、0.8%，Hausdorff距離也降到2.555，說明該模塊能夠增強(qiáng)網(wǎng)絡(luò)對特征信息的復(fù)用性，提升整個腫瘤區(qū)域的分割效果。本文提出的模型在不同腦腫瘤亞區(qū)的分割精度都有所提升，與U-Net 相比，Dice 系數(shù)分別增加了1.7%、2.4%和0.9%，Hausdorff 距離也分別降到2.543、1.583 和1.526；與MFE-U-Net 相比，在整個腫瘤、核心腫瘤和增強(qiáng)腫瘤的Dice 系數(shù)仍有0.4%、1.6%和0.9%的提升，從而證明多尺度特征融合模塊可以學(xué)習(xí)不同尺度的語義信息特征，提升網(wǎng)絡(luò)對小目標(biāo)腦腫瘤區(qū)域的特征提取能力。

表1 BraTS 2019數(shù)據(jù)集消融實(shí)驗(yàn)

為了從更直觀的角度對提出的模型進(jìn)行評估，隨機(jī)選取一些切片，將不同模型的分割結(jié)果及其可視化效果進(jìn)行了主觀比較，如圖5所示。從圖中可以直觀地看出，U-Net 模型在腦膠質(zhì)瘤各亞區(qū)都存在欠分割和過分割的現(xiàn)象，導(dǎo)致其邊界分割不準(zhǔn)確，MFE-U-Net 模型在水腫區(qū)域也存在過分割現(xiàn)象，如圖5 方框區(qū)域所示。相比之下，本文提出的模型在增強(qiáng)腫瘤和核心腫瘤區(qū)域的分割結(jié)果明顯優(yōu)于U-Net 與MFE-U-Net 模型，且在邊界細(xì)節(jié)上實(shí)現(xiàn)了較為精準(zhǔn)的分割效果，與真實(shí)結(jié)果更加接近。

圖5 不同模型的可視化結(jié)果

4.2 與其他先進(jìn)模型的比較

為了進(jìn)一步驗(yàn)證模型的有效性，將該模型與其他先進(jìn)的模型進(jìn)行比較，如表2所示。文獻(xiàn)［23］采用多路徑輸入，在整個腫瘤、核心腫瘤、增強(qiáng)腫瘤的Dice分別為79.1%、81.6%和79.3%。文獻(xiàn)［24］提出一種損失函數(shù)，改善小型腫瘤模糊邊界的分割結(jié)果，在增強(qiáng)腫瘤Dice 達(dá)到了80.5%，僅次于本文提出的模型。文獻(xiàn)［25］將殘差模塊和注意力門結(jié)合，在整個腫瘤的Dice 為87%。文獻(xiàn)［26］使用交叉殘差特征模塊來學(xué)習(xí)兩分支互補(bǔ)特征，在整個腫瘤區(qū)域的Dice 達(dá)到87.6%。文獻(xiàn)［27］提出一種高精度輕量級腦腫瘤分割模型，在整個腫瘤區(qū)域的Dice取得最優(yōu)為87.9%，在核心腫瘤和增強(qiáng)腫瘤的Dice 分別為84.6%、80.0%。與其他模型相比，本文提出的模型在核心腫瘤和增強(qiáng)腫瘤小目標(biāo)區(qū)域取得最優(yōu)的Dice系數(shù)分別為86.9%、87.8%，從而證明本文提出的模型可以顯著提升腦膠質(zhì)瘤小目標(biāo)區(qū)域分割的性能。

表2 與其他先進(jìn)模型的比較

5 結(jié)語

針對醫(yī)學(xué)上腦膠質(zhì)瘤小目標(biāo)區(qū)域分割精度低的問題，本文提出了一種融合多模態(tài)多尺度的腦膠質(zhì)瘤自動分割模型。該模型有效利用多模態(tài)、多尺度腦膠質(zhì)瘤的互補(bǔ)特征信息，以保留更多的邊界細(xì)節(jié)信息，從而提升網(wǎng)絡(luò)對不均勻大小的腦膠質(zhì)瘤的特征識別能力，實(shí)現(xiàn)小目標(biāo)區(qū)域及其邊界的精準(zhǔn)分割。為了證明該模型的有效性，在BraTS 2019數(shù)據(jù)集上進(jìn)行定量化評估，實(shí)驗(yàn)結(jié)果表明，該模型在核心腫瘤和增強(qiáng)腫瘤小目標(biāo)病變區(qū)域的分割精度有顯著提升，有利于臨床上對小目標(biāo)腦膠質(zhì)瘤的識別和治療。