融合多模態多尺度磁共振成像的腦膠質瘤分割?

裴玉瑤 王常青 吳 茜

（1.安徽醫科大學生物醫學工程學院 合肥 230032）（2.安徽醫科大學人文醫學學院 合肥 230032）

1 引言

腦膠質瘤是成人中常見的顱內原發性腫瘤之一，具有高患病率和死亡率，表現為不均勻的壞死腫塊，周圍有不規則的強化及血管源性水腫［1］。世界衛生組織根據其生長特性和浸潤程度分為兩類：高級別膠質瘤（high grade gliomas，HGG）和低級別膠質瘤（low grade gliomas，LGG）［2～3］。MRI（magnetic resonance imaging，MRI）是目前最流行的無創、無輻射成像技術，提供顱內多方位軟組織的成像信息［4］。常見的MRI 四種模態有：T1 圖像、T1 增強圖像（T1ce）、T2 圖像以及液體衰減反轉恢復序列（Flair）。四種不同模態顯示不同的腫瘤生物學特征，多種模態結合為精準分割腦膠質瘤提供不同的解剖和功能信息［5］。精準分割腦膠質瘤幫助醫生確定腫瘤部位，避免術中健康組織的損傷，并對術后放射治療起重要作用［6］。然而人工手動分割過程繁瑣，且易受專業知識和自身主觀因素影響［7］。相比之下，自動分割不僅節省了時間和成本，而且提高了定量分析的客觀性［8］。由于腦膠質瘤結構具有多變性、邊界模糊與周圍組織差異小，使得醫生難以確定其邊界及小目標病變區域，從而影響手術質量和預后效果［9］。因此，需要設計一種精準分割腦膠質瘤小目標區域的自動分割模型，為臨床醫生對腦膠質瘤早期診斷和治療提供定量幫助。

早期基于卷積神經網絡的模型是利用小尺度圖像塊分類進行腦腫瘤分割，但占用內存較大且難以保持特征圖的空間連續性，導致分割準確率不高［10］。在FCN［11］基礎上，Ronneberger 等［12］提出具有對稱編解碼結構的U-Net網絡，解決了醫學圖像分割領域因數據量少而影響分割準確率的問題，迅速成為主流框架。目前，腦腫瘤分割的網絡結構大致分為兩類：編解碼結構和網絡級聯結構。大部分研究者基于端到端的編解碼結構進行腦腫瘤分割，如Yang 等［13］在卷積層中加入1×1 卷積整合圖像特征，實現跨通道信息整合，從而提升腦腫瘤的分割效率。通過簡單的線性跳躍連接不能充分獲取圖像的語義和空間信息，因此AboElenein 等［14］將Inception 塊和Residual 塊集成并密集嵌套到U-Net跳躍路徑中，從而獲取更多腦腫瘤特征信息。Liu等［15］利用卷積空間和特征交互圖來獲取高維及區別性特征，從而提升模型聚合上下文特征的能力。Zhou 等［16］采用多任務學習輕量級深度模型，實現膠質瘤亞區的精細化分割。單一的編解碼結構存在特征映射分辨率逐層下降的問題，因此網絡級聯結構被應用于腦腫瘤分割的研究。如Ji 等［17］用全局標簽和涂鴉標簽分別訓練網絡，將兩個網絡級聯用于腦腫瘤分割。Li等［18］通過2D 網絡對感興趣區域（ROI）定位，之后使用3D網絡結合ROI進行分割腦腫瘤，從而提高了分割效率。余等［19］采用與Jiang 等［20］相似的級聯架構，并在解碼器上添加了SE（squeeze-and-excitation）-殘差模塊，使用變分自編碼器將提取潛在信息特征用于總體生命周期的預測。由于訓練多個網絡會帶來一定的計算負擔，因此本文選擇基于編解碼結構來實現快速精準分割腦膠質瘤。

目前許多網絡在腦膠質瘤小目標區域及邊界的分割精度并不理想。針對這一問題，本文提出了一種融合多模態多尺度磁共振成像腦膠質瘤精準分割模型。首先，該模型使用多模態特征提取模塊對多模態腦膠質瘤圖像進行特征提取，提升特征利用率的同時緩解了梯度消失問題。其次，加入多尺度特征融合模塊來獲取多尺度的全局上下文信息，緩解在特征提取過程中重復卷積和池化帶來的特征映射分辨率損失問題。最后，將binary cross entropy（BCE）loss 和dice loss 兩個損失函數加權混合，解決分割任務中的類不平衡問題，同時提升網絡模型的分割效果。

2 本文方法

2.1 模型分割過程

本文模型的分割整體過程如圖1，主要包括以下四個部分：1）數據預處理：將數據進行剪裁、歸一化處理、切片等操作；2）搭建網絡：基于多模態特征提取、多尺度特征融合模塊搭建分割網絡；3）網絡訓練：選擇合適的超參數來訓練網絡；4）預測結果：使用測試數據集來預測分割結果。

圖1 分割模型的流程圖

2.2 模型結構

由于腦膠質瘤不同亞區形態結構復雜，網絡對小尺度腦膠質瘤區域的特征識別能力差，從而影響小目標膠質瘤的分割精度。為此，本文將多模態特征提取模塊和多尺度特征融合模塊同時嵌入到U-Net 網絡，提出了一種多模態特征提取、多尺度特征融合機制腦腫瘤自動分割模型，如圖2 所示。該模型由編碼路徑、解碼路徑和跳躍連接組成，輸入大小為160×160×4。其編碼路徑包括多模態特征提取模塊和多尺度融合模塊，多模態特征提取模塊主要通過殘差模塊來提升網絡對多模態圖像的特征提取能力。殘差模塊結構如圖3所示，每個殘差塊包含兩個3×3 卷積，用于提取多模態腦膠質瘤MRI 圖像特征信息。為加速模型收斂和緩解梯度消失，每個卷積單元后都結合了歸一化（BN）和激活函數（Relu）操作。使用1×1 卷積來完成圖像通道數的轉換，實現使用逐像素相加進行特征融合。為提升網絡對不同大小的腦腫瘤區域的特征識別能力，添加多尺度特征融合模塊，有針對性地學習不同尺度的子區域特征，以捕獲多尺度上下文語義信息特征。而其解碼路徑使用四個多模態特征提取模塊和上采樣來還原圖像的位置和空間等細節信息，通過上采樣操作使得特征圖的通道數量減半，特征圖像翻倍。最后使用1×1 卷積保持輸出通道數量與腦膠質瘤亞區類別數量一致性，輸出大小為160×160×3。

圖2 模型框架圖

圖3 殘差模塊

2.3 多尺度特征融合模塊

為緩解連續卷積和池化造成的邊緣細節損失問題，在編碼路徑中融合了多尺度特征融合（multi-scale feature fusion，MFF）模塊，結構如圖4所示。多尺度特征融合模塊將特征圖分成四個不同尺度的金字塔層，有助于網絡學習多模態不同尺度的特征，提升網絡對小目標腦腫瘤區域的特征識別能力。該模型將子區的池化大小分別設置為1×1、2×2、4×4 和8×8，以適應腦腫瘤圖像的復雜特征分布，保留不同比例尺度的空間和語義信息。為進一步細化腦膠質瘤亞區的邊界，使用雙線性插值法將不同尺度的特征圖上采樣，并與原始圖像串聯融合。最后，經過卷積操作和Relu 激活函數，與原始圖像逐像素相乘完成特征信息聚合，改善腫瘤亞區的過分割和欠分割問題。

圖4 多尺度特征融合模塊

2.4 加權混合損失函數

BraTS 數據中98.46%為大腦的健康組織，而水腫、增強腫瘤及壞死和非增強腫瘤分別為1.02%、0.29%、0.23%。其中腦腫瘤只占整體區域的1.44%，遠小于健康腦組織區域，而且腦膠質瘤的各亞區所占比例也存在很大差異。因此，本實驗采用binary cross entropy（BCE）loss和dice loss加權混合損失函數，以減輕類不平衡給網絡性能帶來的不良影響，具體計算公式如式（1）～式（3）。

其中，N為像素個數，Pi為真實值，Gi為預測值。

3 實驗

3.1 實驗數據

本實驗采用MICCAI腦腫瘤分割挑戰賽的數據集［21～22］，大小為155×240×240。每個數據包含T1、T2、T1ce、Flair 和標簽圖像，其中標簽分為四類，即健康組織（標簽0）、壞死和非增強腫瘤（標簽1）、水腫（標簽2）和增強腫瘤（標簽4）。該實驗的訓練集為BraTS 2018，其中包含210 個HGG 患者和75 個LGG 患者，按照4∶1 分成訓練集和驗證集。將BraTS 2019 數據集中不同于訓練集和驗證集的50個數據作為測試集。分割任務是精準分割腦膠質瘤三個亞區即整個腫瘤（whole tumor，WT）、腫瘤核（tumor core，TC）和 增 強 腫 瘤（enhancing tumor，ET）。其中，WT 是指所有腫瘤（標簽1、2 和4），TC是指所有壞疽（標簽1、4），ET 是指增強腫瘤（標簽4）。

3.2 數據預處理

由于MRI 各模態序列的強度不均勻性可能造成分割精度下降，因此去除每個MRI 圖像序列1%的最低和最高強度值，采用z-score 方式對各個模態歸一化處理，即使用每個圖像序列減去平均值后除以其標準差，公式如式（4）。之后對腦腫瘤MRI數據進行裁剪，去除一些無關的背景區域，裁剪為160×160。最后對圖像數據進行切片處理，去除無病灶區域，并將不同模態MRI 圖像進行融合。

其中，X為原始圖像，μ表示圖像的平均值，σ為圖像的標準差，X'為歸一化的圖像。

3.3 評價指標

本實驗采用不同評價指標對分割結果進行多維評估，分別為Dice 系數（Dice similarity coefficient）、靈敏度（Sensitivity）、Hausdorff距離（Hausdorffdistance）。其中Dice 系數是計算預測值和真實值的相似度，公式如式（5），靈敏度是計算所有陽性樣例中預測為真陽性的比例，公式如式（6），Hausdorff距離是衡量兩個點之間的距離，公式如式（7）。Dice系數與靈敏度越高，表示模型性能越好，而預測值和真實值之間Hausdorff距離越小越好。

其中，TP（true positive）為真陽性，即正確預測為腦腫瘤。FP（false positive）為假陽性，即錯誤預測為腦腫瘤。FN（false negative）為假陰性，即錯誤預測為健康組織。x 和y 分別為真實的腫瘤區域X 和預測的腫瘤區域Y 上的點，d( )x,y是計算x 和y 兩點的距離。

4 結果與分析

4.1 消融實驗

為了驗證模型各模塊的有效性，本實驗在BraTS 2019 數據集上進行測試，平均指標結果如表1 所示。相比于U-Net，添加多模態特征提取模塊的MFE-U-Net在整個腫瘤區域的Dice 系數、Sensitivity分別提升了1.3%、0.8%，Hausdorff距離也降到2.555，說明該模塊能夠增強網絡對特征信息的復用性，提升整個腫瘤區域的分割效果。本文提出的模型在不同腦腫瘤亞區的分割精度都有所提升，與U-Net 相比，Dice 系數分別增加了1.7%、2.4%和0.9%，Hausdorff 距離也分別降到2.543、1.583 和1.526；與MFE-U-Net 相比，在整個腫瘤、核心腫瘤和增強腫瘤的Dice 系數仍有0.4%、1.6%和0.9%的提升，從而證明多尺度特征融合模塊可以學習不同尺度的語義信息特征，提升網絡對小目標腦腫瘤區域的特征提取能力。

表1 BraTS 2019數據集消融實驗

為了從更直觀的角度對提出的模型進行評估，隨機選取一些切片，將不同模型的分割結果及其可視化效果進行了主觀比較，如圖5所示。從圖中可以直觀地看出，U-Net 模型在腦膠質瘤各亞區都存在欠分割和過分割的現象，導致其邊界分割不準確，MFE-U-Net 模型在水腫區域也存在過分割現象，如圖5 方框區域所示。相比之下，本文提出的模型在增強腫瘤和核心腫瘤區域的分割結果明顯優于U-Net 與MFE-U-Net 模型，且在邊界細節上實現了較為精準的分割效果，與真實結果更加接近。

圖5 不同模型的可視化結果

4.2 與其他先進模型的比較

為了進一步驗證模型的有效性，將該模型與其他先進的模型進行比較，如表2所示。文獻［23］采用多路徑輸入，在整個腫瘤、核心腫瘤、增強腫瘤的Dice分別為79.1%、81.6%和79.3%。文獻［24］提出一種損失函數，改善小型腫瘤模糊邊界的分割結果，在增強腫瘤Dice 達到了80.5%，僅次于本文提出的模型。文獻［25］將殘差模塊和注意力門結合，在整個腫瘤的Dice 為87%。文獻［26］使用交叉殘差特征模塊來學習兩分支互補特征，在整個腫瘤區域的Dice 達到87.6%。文獻［27］提出一種高精度輕量級腦腫瘤分割模型，在整個腫瘤區域的Dice取得最優為87.9%，在核心腫瘤和增強腫瘤的Dice 分別為84.6%、80.0%。與其他模型相比，本文提出的模型在核心腫瘤和增強腫瘤小目標區域取得最優的Dice系數分別為86.9%、87.8%，從而證明本文提出的模型可以顯著提升腦膠質瘤小目標區域分割的性能。

表2 與其他先進模型的比較

5 結語

針對醫學上腦膠質瘤小目標區域分割精度低的問題，本文提出了一種融合多模態多尺度的腦膠質瘤自動分割模型。該模型有效利用多模態、多尺度腦膠質瘤的互補特征信息，以保留更多的邊界細節信息，從而提升網絡對不均勻大小的腦膠質瘤的特征識別能力，實現小目標區域及其邊界的精準分割。為了證明該模型的有效性，在BraTS 2019數據集上進行定量化評估，實驗結果表明，該模型在核心腫瘤和增強腫瘤小目標病變區域的分割精度有顯著提升，有利于臨床上對小目標腦膠質瘤的識別和治療。