融合密集連接與多尺度卷積的腦腫瘤MRI圖像分割算法

楊述斌，王 鋒，董春林

（武漢工程大學 電氣信息學院，湖北 武漢 430205）

0 引 言

腦腫瘤是在人腦中不正常生長的細胞，有較高的發病率和病死率，嚴重危害著人類的健康。膠質瘤作是最常見的腦部腫瘤之一，可分為高級別膠質瘤（High-Grade Glioma，HGG）與低級別膠質瘤（Low-Grade Glioma，LGG）兩種。HGG的生存率低，術后效果差，但如果在LGG階段進行及時的治療，可取得較好的術后效果[1]。核磁共振成像（Magnetic Resonance Imaging，MRI）是目前廣泛應用于腦腫瘤檢測的非侵入式成像技術，主要產生四個模態的圖像[2]，醫生結合多個模態的圖像來確定患者腫瘤的位置和區域范圍，從而制定相應的手術方案。然而，一次MRI會產生大量的圖片，對于圖片的分割，傳統的分割方法主要依賴專家的手工標注，這不僅費時費力，而且易受主觀的影響，分割精度的偏差勢必會影響后續的治療，給患者帶來額外的痛苦。因此，提出一個精確的腦腫瘤分割算法來給醫生提供參考，具有十分重要的意義。

1998年，LECUN等[3]首次將卷積神經網絡應用到圖像分類，與傳統方法相比，基于深度學習的方法具有自主適應特定任務的特點，可以高效地完成任務。近年來，卷積神經網絡在圖像分割領域具有突出的表現。LONG等[4]將全卷積網絡用于語義分割，主要是將卷積神經網絡末尾的全連接層替換為卷積層，實現了較為準確的分割。其后，DONG等[5]提出一種基于U-Net的2D腦腫瘤分割網絡，提高了腦腫瘤分割的精度。ZHANG等人[6]為了防止層數過深導致梯度消失、梯度爆炸的情況，將殘差模塊融入到U-Net模型中，主要將傳統的卷積塊替換為殘差結構，取得了較好的分割效果。MCKINLEY等[7]通過加入擴張卷積的方法來擴大感受野，從而獲得大量的全局信息，提高定位精度來優化分割性能。牟海維等[8]人使用密集連接結構與U-Net進行融合，將密集連接應用于跳躍連接上，可以更好地彌補下采樣的損失。

基于上述分析，本文提出了一種改進的U-Net算法來對腫瘤整體（Whole Tumor，WT）、腫瘤核心（Tumor Core，TC）和增強腫瘤（Enhancing Tumor，ET）區域進行分割。在原始框架上引入密集連接機制、空洞卷積、多尺度卷積來優化算法對于病灶的定位能力。

1 U型算法的構建

在腦部MRI圖像中，病灶不規則且大小不一，這給分割帶來一定的影響。為了提高算法對于腦腫瘤的分割精度，本文基于傳統的U-Net框架[9]進行改進。首先，針對傳統編碼中上下文聯系不密切的問題，利用密集連接機制將各通道的特征進行融合卷積，增強上下文間的聯系；其次，由于傳統卷積在編碼和解碼連接處定位不準確，利用空洞卷積可以在不增加參數量的情況下提高算法定位精度；最后，為防止在解碼環節中特征提取不夠全面，將傳統的卷積塊替換為多尺度融合卷積，防止過大或者過小病灶的丟失。

1.1 算法結構

本文提出的算法結構如圖1所示。該算法保留了U-Net傳統的編碼、跳躍連接和解碼結構。在編碼環節，首先將尺寸為4×160×160的圖片進行兩次卷積以及一次最大池化，變成64×80×80，經過四次相同操作后變為512×10×10。本文在原始結構中引入了密集連接機制，將每層的輸入由原始輸入變為之前所有層的結合，提高特征的重復利用率，減少參數的流失。在編碼和解碼相連處，對編碼環節得到的512×10×10的特征先將通道擴大為1 024后引入空洞卷積，最終變為1 024×10×10。空洞卷積可以增大卷積的感受野，提高定位精度。在解碼環節，首先把1 024×10×10的特征進行上采樣后與對應的編碼層的特征進行拼接，后經過兩次多尺度卷積變為512×20×20，重復四次操作之后變為64×180×180。本算法將傳統的3×3卷積替換為多尺度卷積，充分提取跳躍連接傳入的特征，避免參數丟失造成算法的退化，最后將解碼傳入的特征進行通道數為3的卷積操作，進行三個病灶區域的劃分。

圖1 網絡整體結構圖

1.2 密集編碼部分

傳統的U-Net架構只是簡單地將輸入的特征進行兩次3×3卷積后利用最大池化操作傳遞到下一層，過程比較單一。隨著層數的加深，網絡會逐漸丟失淺層的細節信息。為加強上下層間的聯系，保留更多的信息，本文在原始U-Net算法的基礎上，在編碼環節采用密集連接機制的思想[10]融合不同層數的特征，結構如圖2所示。

圖2 編碼密集連接結構

傳統的密集連接是將輸出特征與之前特征進行拼接，最終的通道數會隨著深度的加深而越來越大。為了降低后續的參數量，本文將原始密集連接的拼接改為特征融合，并且由于不同層數的圖片尺寸和通道數不同，因此在特征融合之前使用1×1卷積以及最大池化進行參數匹配，使網絡在保持參數量的情況下對特征進行復用，最大限度地減少參數的丟失，提高分割精度。

1.3 空洞連接卷積

原始算法將編碼環節提取到的特征直接經過兩個卷積模塊，模塊操作為先3×3卷積，后經過BN和ReLU后傳遞給解碼環節。由于編碼環節提取到的特征參數十分巨大，在比較小的感受野容易丟失部分位置信息，以至于削弱算法對于病灶的定位能力，因此，擴大算法的感受野是很有必要的。目前，增大感受野的方法主要有擴大卷積核以及增加層數兩種方法。然而，增加層數容易導致算法參數量的增大。空洞卷積可以在不增加參數量的前提下增加卷積的感受野[11]。

由于經過編碼環節后的特征大小為512×10× 10，并且過于擴大卷積的感受野易導致算法定位能力的退化，因此本文采用空洞系數為1的空洞卷積，在保證參數量的情況下提高算法對于病灶的定位能力。

1.4 多尺度解碼部分

為避免因層數太深而導致特征的丟失，傳統的U-Net算法提出跳躍連接的思想，將淺層特征與深層特征進行拼接，然后利用兩個3×3卷積提取特征信息。但是傳統的卷積容易導致部分參數的丟失，而多尺度的信息對于醫學圖像分割是十分重要的。為了充分提取拼接后的多尺度特征，本文將傳統卷積替換為多尺度混合卷積塊，利用不同大小的卷積可以提取不同尺度的特點[12]，避免過大或者過小參數的流失，如圖3所示。首先為了減少參數量，將輸入的特征首先經過1×1的卷積來降低通道數，其后經過1×1，3×3，5×5的混合卷積來提取多尺度的特征，避免某些過大或過小特征的流失。并且3×3最大池化可以增強一些有用特征，減少無關特征，最大限度地減少參數的丟失，提高模型的分割精度。

圖3 多尺度卷積塊

2 實驗結果及分析

2.1 實驗數據及預處理

實驗數據為BraTs2019腦腫瘤分割競賽數據集，其中包含335例患者的MRI的腦部影像，其中高級別腦腫瘤患者259例，低級別腦腫瘤患者76例，圖像尺寸為240×240×155，其對應的金標準由多位專家聯合標注。比賽要求[13]是在病灶圖像中分割出浮腫區域（ED）、增強腫瘤區域（ET）以及壞疽區域（NET），分別將其標記為綠色、黃色和紅色，并將這三個區域合并為三個嵌套的區域進行評估，主要包括腫瘤整體（WT=ED+ET+NET）、腫瘤核心（TC=ET+NET）以及增強腫瘤（ET=ET）。

為提高模型的分割性能，增強模型的魯棒性，首先對數據進行預處理。原始圖片中腦部周圍存在大量的黑邊，這不僅會給模型訓練帶來額外的功耗，并且對分割精度也造成一定的影響。因此將腦部周圍黑邊進行裁剪，刪除一些腦部占比非常小的圖片。由于三維圖片數量少并且三維卷積參數量過大，因此將剪切后的圖片進行切片后得到的四模態的數據進行合并處理。最終每一張圖片的尺寸大小為4×160×160，劃分成訓練集18 923例，測試集3 219例。

2.2 實驗配置

本文實驗環境CPU為Intel i5-12400F，GPU為NVIDIA RTX 3060 12 GB，內存16 GB，操作系統 為Windows10，深度學習框架為Pytorch1.8+CUDA11.1，使用自適應估計優化方法（Adam），訓練批次設置為100，批次大小為16，學習率為0.000 1。在此環境下進行訓練。

2.3 實驗結果與分析

為了驗證本文改進算法的性能，將FCN8、U-Net、Dense-UNet與改進算法進行對比，結果如表1所示。由表1可以看出，FCN8作為一種基礎算法，其提取特征的能力較差，以至于分割結果也較差；U-Net在FCN的基礎上引入了跳躍連接，融合淺層和深層的特征，能夠提取更多的信息，因此其分割結果略有提升；Dense-UNet將傳統的跳躍連接改成了密集跳躍連接，可以更好地融合淺層特征與深層特征，無論是Dice系數還是Hausdorff距離都是比傳統的算法更優。本文密集連接用于編碼環節，對特征進行重用，相較于Dense-UNet，本文算法存在不同程度的優化，特別是在ET的分割上，本文的Dice系數提升了0.04，可見本文算法具有很好的分割效果。

表1 四種模型的腫瘤分割結果

為了更加清晰地表達，圖4、圖5為不同算法的預測結果相較于基準（Ground Truth，GT）的對比。對于圖4這種簡單的分割，每個算法都可以大致地分割出病灶區域，只是在細節上略有差別，主要表現為紅色壞疽區域分割不完全以及綠色浮腫區域多分割，但本文算法在三個區域的分割上都更加精細。針對圖5這種難度較大的圖像，各種算法的分割結果的差距就十分巨大。例如FCN8算法，針對紅色壞疽區域可以說幾乎錯分割，連在圖4分割效果很好的Dense-UNet算法以及改進的算法也表現得較差。但本文算法分割結果相對于其他模型雖然分割得不夠完全，但是幾乎不存在錯分割的情況。相比之下，本文算法的分割結果與GT圖像更加 接近。

圖4 不同算法對MRI圖像（簡單）的分割結果對比

圖5 不同算法對MRI圖像（難度較大）的分割結果對比

3 結 語

本文針對上下層聯系匱乏、特征欠提取等問題，提出了一種改進的腦腫瘤MRI圖像分割算法，主要在原始算法中引入密集連接機制、多尺度卷積以及空洞卷積來增強上下文的聯系并且提高算法提取特征的能力。在BraTs2019數據集上進行驗證，本算法在腫瘤整體區域、核心區域、增強區域的Dice分割指數達到0.853 2，0.872 1，0.796 0，Hausdorff距離分別為2.608 9，1.585 2，2.741 6。相較于原始網絡，本文模型在Dice系數上提高了0.03，0.02，0.06，在Hausdorff距離上縮小0.1，0.2，0.2。實驗結果表明，本算法所使用的模型可以較好地提取特征，有效避免參數丟失，實現較高的分割精度。