融合共享Net的跨模態腦腫瘤分割方法

摘" 要： 為了增強腦腫瘤圖像分割算法的泛化能力，提出一種融合共享Net的跨模態分割框架。該框架包括風格轉換、跨域訓練和自適應判別三個階段。首先，采用貝塞爾曲線進行域變換，從多種與源域灰度不同的圖像去模擬不可見的目標域；其次，構建基于輕量級尺度注意力模塊的共享Net模型，將多種風格的灰度圖像輸入到共享Net中來學習不同域的權重信息；最后，在模型推理時，通過自適應判別器來自適應選擇最佳分割結果。仿真結果表明，所提共享Net算法能實現有效泛化的同時，在分割性能和計算效率上均優于當前最先進的方法。

關鍵詞： U?Net； 醫學圖像分割； 腦腫瘤； 跨模態； 域泛化； 貝塞爾曲線

中圖分類號： TN911.73?34； TP391.41； R739.41" " " " " " 文獻標識碼： A" " " " "文章編號： 1004?373X（2024）17?0047?06

Cross?modal brain tumor segmentation method based on fusion shared Net

LI Zhigang1， 2， ZHANG Yirong1， 2

（1. College of Artificial Intelligence， North China University of Science and Technology， Tangshan 063210， China;

2. Hebei Key Laboratory of Industrial Intelligent Perception， Tangshan 063210， China）

Abstract： A cross?modal segmentation framework based on shared Net is proposed to enhance the generalization ability of the brain tumor image segmentation algorithm. The framework consists of three stages， including style conversion， cross?domain training and adaptive discrimination. The Bézier curve is used for the domain variation， and the invisible target domain is simulated based on a variety of images whose grayscales are different from the source domain. A shared Net model based on the lightweight scale attention module is constructed， and multiple styles of gray images are input into the shared Net to learn the weight information of different domains. The optimal segmentation results are selected adaptively by an adaptive discriminator during model inference. Simulation results show that the proposed shared Net algorithm can achieve effective generalization， which is superior to the most advanced methods in segmentation performance and computational efficiency.

Keywords： U?Net; medical image segmentation; brain tumor; cross?mode; domain generalization; Bézier curve

0" 引" 言

人腦是人體最重要的部位，它制約著人類生產活動的方式。腦腫瘤是危害腦部健康的一大殺手。膠質瘤是成年人中最常見的原發性腦腫瘤，可能起源于神經膠質細胞并攻擊周圍其他細胞組織[1]。盡管神經膠質瘤的研究取得了相當大的進展，但對于患者的診斷效率依然很差，及早發現及早治療是預防腫瘤晚期危及生命的最好手段。由于醫生的手動分割依賴主觀能動性強，病灶區域邊界模糊不清、多變不可測。所以精準的自動化分割應運而生?，F有的影像學檢查手段主要包括：磁共振成像（Magnetic Resonance Imaging， MRI）、電子計算機斷層掃描（Computed Tomography， CT）、X線等。目前的自動分割算法主要在某一種成像模式提高精度，卻忽視了模型本身的泛化性能。比如使用MRI圖像訓練某一模型，當把模型應用到CT圖像上卻表現極差。因此，實現跨模態的腦腫瘤自動分割對輔助醫生手術治療、提高醫療水平、促進醫學研究進展具有重要意義。

近年來，隨著人工智能技術的發展，卷積神經網絡（Convolutional Neural Network， CNN）等深度學習模型在醫學圖像分割領域得到了廣泛關注[2]。文獻[3]首次提出全卷積神經網絡（Fully Convolutional Network， FCN）對自然圖像進行分割。受FCN的啟發，文獻[4]提出了包括編碼器解碼器結構的U?Net對生物醫學圖像進行分割。具體地，U?Net結構主要由四部分組成：4個下采樣模塊構成的編碼器、4個上采樣模塊構成的解碼器、拼接模塊和中間橋模塊[5]?，F如今，U?Net模型已經成為了醫學圖像分割使用最多的模型。為了提高U?Net模型的分割效率，許多研究者都對U?Net模型進行了改進創新以適應不同場景的需求。文獻[6]提出了基于注意力機制和跳躍連接加權的Res?UNet網絡，以提高模型在嘈雜背景下的變化和處理細小血管、視盤區域辨別等能力。為了改善現有CNN可解釋性差的現狀，文獻[7]通過聯合空間注意模塊、通道注意模塊和尺度注意模塊提出了CA?Net網絡，實驗表明該網絡取得了比U?Net更好的分割精度。文獻[8]提出了名為U?Net++的用于語義和實例分割的神經網絡。該網絡通過有效集合不同深度的U?Net來減少未知網絡深度并采用跳躍連接結構以聚合不同的語義特征，還結合了新的剪枝方案來加快推理速度。以上方法雖然提高了某一成像模式內的精度和速度，但忽視了對于不同成像模式的泛化性能。

現階段，一些研究嘗試采用域泛化技術來提高跨模態的分割性能。文獻[5]在U?Net的基礎上加入了多尺度特征融合模塊和注意力拼接模塊來增強編碼器特征的判別能力并減少編碼器和解碼器兩者間的語義特征差距。文獻[9]使用了一種新型的正則化函數對域泛化概念進行編碼。文獻[10]提出了一種新型的無監督域適應模型，為每一個域都分配出了一個單獨的BN層，從而使得模型能夠獨自學習每個域的特定信息。為了將有標簽的合成數據集上學到的知識轉移到沒有任何注釋的圖像中，文獻[11]使用對抗性訓練策略來調整源域和目標域之間的分布特征來保持不同域之間語義特征的一致性，從而解決了語義分割任務的無監督域適應問題。然而，以上方法取得的泛化性能仍不能令人滿意。

基于此，本文提出了一種共享Net方法，實現了跨模態網絡共享。本文的主要貢獻有：

1） 使用貝塞爾曲線（Bézier Curve，又稱貝茲曲線或貝濟埃曲線）[12?13]變換出不同的灰度圖像來模擬未知領域圖像以預測不可見目標域的分割。

2） 為了改善以往U?Net解碼器上采樣的信息丟失問題，提出了基于尺度注意力機制的輕量級模塊（Light Scale?attention?based module， LA）。特別的是，該模塊將普通的卷積換成深度可分離卷積以提高訓練效率。

3） 共享Net：加入LA模塊的U?Net模型。訓練集可以一起輸入共享Net，并分別計算存儲他們的參數，在實際應用中可以根據不同的任務需求來增加路徑選擇。

4） 在測試階段使用自適應判別器，網絡可以根據不同的源域，自適應地選擇最合適的分割結果。

1" 共享Net

1.1" 共享Net網絡架構

本節主要介紹了共享Net網絡結構，如圖1所示。醫學圖像大多為灰度圖像，換句話說，各種醫學圖像最大的不同就在于他們的灰度值不同。所以實驗可以選用T1、T1ce、T2、Flair中任一源域利用貝塞爾曲線去模擬可能出現的灰度值。訓練集首先通過風格轉換模塊將某一源域圖像生成不同風格的灰度圖像。該模塊將生成的這些圖像分為兩類：一類為與原圖風格相似的圖像，稱為源相似域；另一類與原圖風格相差較大的稱為源不相似域。在實際的任務中也可以根據不同的任務需求將風格轉換為更多類；其次把風格轉換后的所有域一同輸入共享Net并訓練模型，經過共享Net后，對不同風格的數據存儲了不同的權重信息；在最后的測試階段，本文開發了一個路徑自適應選擇模塊，可以根據不同風格的測試圖片通過自適應判別器選擇合適的路徑，以獲得最佳的分割結果。

1.2" 風格轉換模塊

在風格轉換模塊中使用貝塞爾曲線模擬不可見的目標域。貝塞爾曲線可以用公式定義為：

[B（t）=i=0nniPi（1-t）n-iti，" "n=3， t∈[0，1]] （1）

式中：[B（t）]表示曲線上某點的坐標，[t]為曲線上任意一點，取值為0～1；[n]的取值為3。所以三階貝塞爾曲線就有4個操縱點，分別是：[P0]、[P1]、[P2]、[P3]，其中[P1]和[P2]是控制點，[P0]和[P3]分別為起點和終點。首先設置[P0（-1，-1）]、[P3（1，1）]得到一個遞增函數，相反，就又得到了一個遞減函數；其次將[P0]的值賦給[P1]，[P3]的值賦給[P2]，這樣就得到了兩個線性函數曲線，一個遞增一個遞減。又隨機生成了兩個控制點，再通過翻轉，得到四條曲線。最后共得到了六條線性函數曲線：三條遞增函數曲線和三條遞減函數曲線。在醫學灰度圖像中，單調遞增函數對圖像的變動較小，所以稱三條遞增曲線的圖像為源相似域。相反，另外三條單調遞減函數變換的圖像稱之為源不相似域。這樣六類不同風格的圖像就可以達到僅使用少量數據就能提高整體模型的泛化能力的目的。

1.3" U?Net+LA模塊

經過風格轉換后的圖片將它們一同輸入到共享Net中，如圖2所示，共享Net是基于U?Net所編寫的。在U?Net原基礎上添加了LA模塊，該模塊可以自動學習不同尺度特征圖像的特征權重，用于整個網絡的尾部。圖2中將解碼器四個模塊上的不同尺度特征圖經過尺寸調整后拼接在了一起，經過LA模塊，最后通過1×1的卷積得到分割結果。

LA模塊流程圖如圖3所示。

設輸入特征圖input為[α]，由于U?Net模型的解碼器4個模塊的尺度大小不同，為了統一尺度，本文使用了雙線性插值對特征圖進行重新采樣，并且用1×1的卷積核將特征圖壓縮為4個通道。然后分別將特征圖進行全局最大池化和全局平均池化去獲得逐通道的全局信息，并且引入了多層感知（Multiple Layer Perception， MLP）來獲得逐通道注意系數。隨后將兩條路徑的權重進行相加運算，經過Sigmoid激活函數后得到了[β]。為了獲得多尺度逐像素權重信息，加入了空間注意模塊，其中包含：輸入特征圖通過一個3×3的卷積運算、BN層和ReLU激活函數、一個1×1的卷積運算、BN層和ReLU激活函數，再通過Sigmoid激活函數得到輸出結果[γ]，[α]、[β]、[γ]相乘后再將結果和[α]×[β]相加，獲得空間尺度的特征信息，其中每個卷積層都有4個通道的輸出。最后將通過空間注意模塊的輸出特征圖[α]×[β]×[γ]與原始輸入到LA模塊的特征圖[α]進行加操作。該模塊是具有殘差鏈接的尺度注意模塊，將多個尺度模塊上的權重信息進行重新采樣再運算，提高了整體模型的運算精度。所以，最終的輸出結果為：

[output=α×β×γ+α×β+α] （2）

為了達到高效訓練的目的，將模塊中的所有卷積層替換為深度可分離卷積[14]。深度可分離卷積主要分為逐通道卷積和逐點卷積兩部分。替換后的卷積層在損失一小點精度的前提下大大降低了模型的運算成本和參數數量，使得模型更具輕量化。

2" 實驗結果與分析

2.1" 數據集和實驗細節

本文使用數據集BraTS2018進行實驗，該數據集包括4個模態的MRI圖像，尺寸為240×240×155。如圖4所示，從左到右分別是T1加權像、T1ce像、T2加權像、Flair液體衰減反轉恢復序列。實驗中，本文選用T2為源域進行模型的訓練，利用T2模態變換曲線模擬T1、T1ce、Flair三個模態可能出現的灰度值。為了加快訓練速度，將數據保存為.npy格式，.npy文件是numpy專用的二進制格式文件，數據以原始未壓縮的格式保存，在加快速率的同時不會丟失關鍵信息。

BraTS2018上的整個腫瘤區域、核心區域和增強腫瘤區域被合并成了一個標簽進行訓練。經過風格轉換后的數據集數量如表1所示，源相似域中的[S]、[S1]、[S2]指代風格轉換模塊中的三個遞增函數，源不相似域中的[S3]、[S4]、[S5]指代風格轉換模塊中的三個遞減函數。本實驗選用T2作為源域進行訓練，隨后在T1、T1ce、Flair三個模態上進行測試。

為了驗證共享Net模型的有效性，本文選用Dice系數和豪斯多夫距離（Hausdorff Distance， HD）兩個指標。Dice系數是一種集合相似度度量函數，其值越高越好。HD距離是用來計算兩個集合之間的距離，值越小，代表兩個集合的相似度越高。其中Dice的計算公式為：

[Dice=2×TP2×TP+FP+FN] （3）

式中：TP為真正例；FP為假正例；FN為假負例。若給定歐氏空間中的兩點集[A={a1，a2，…，an}]和集合[B={b1，b2，…，bm}]，HD距離的公式表示為：

[H（A，B）=maxh（A，B），h（B，A）] （4）

式中[h（A，B）=maxa∈Aminb∈Ba-b]。

所有實驗都是在一個高性能Linux服務器（Intel[?] Xeon[?] Gold 6248R CPU@3.00 GHz，GeForece RTX 3090 GPU）上執行?；赑yTorch寫的深度學習框架，batchsize為64，最大迭代次數為100次，初始學習率為0.004。

2.2" 結果分析

圖5展示了使用共享Net在另外三個模態上的測試結果。本文選用了病灶區域不規則、分割難度較大的圖像來展示分割結果。不難發現，共享Net在跨模態域泛化實驗中與真實值有著高度的相關性。

2.3" 對比實驗

本文收集了六種最新提出的域泛化（Domain Generalization， DG）SOTA方法與共享Net的對比實驗。這六種方法為： IBN?Net[15]、DSON[16]、MLDG[17]、DoFE[18]、Fed?DG[19]、DN?Net[12]。其中兩種歸一化方法為IBN?Net和DSON；兩種基于元學習的方法為MLDG和Fed?DG；一種域不變的特征學習方法為DoFE；一種雙重歸一化的跨模態方法為DN?Net。此外還使用“DeepAll”（指在聚合源域上直接訓練，在目標域上進行測試）作為實驗的基線標準。

表2展示了共享Net與兩種歸一化方法的實驗對比結果。顯然，共享Net在BraTS2018數據集上的測試指標優于上述兩種方法。雖然IBN?Net模型和DSON模型在某些領域取得了具有競爭力的預測結果，但由于IBN?Net模型在特定場景下的適用性使得其并不適用于腦腫瘤MRI圖像分割，進而表現不佳；DSON模型通常需要大量的訓練數據來進行有效的機器學習，然而由于醫學圖像的特殊性，獲得大量標注準確的醫學影像數據集是很困難的。綜合上述數據和分析，共享Net在跨模態腦腫瘤圖像分割任務上相比于歸一化方法是具有競爭力的。

表3中定量化評估了共享Net與兩種元學習方法的性能。由于MLDG對任務之間的相關性要求較高，而Fed?DG模型受限于仿真場景中的數據來源，使其不適用于腦腫瘤MRI場景下的跨模態圖像分割任務，共享Net依然表現更優。

雖然DoFE模型在某些領域中的自適應任務中表現良好，但是DoFE模型通常假設目標域和源域具有一定的相似性。換句話說，DoFE模型通常在目標域和源域相似度較高的場景中表現良好。在測試集上，T2模態與其余三個模態并不相似，故而DoFE表現不佳。通過表4特征學習方法與共享Net的性能比較可以發現，相比于T1、T1ce域，DoFE模型在Flair域上與共享Net表現相差不大，這是因為T2域與Flair域有一定的相似度。

表5和表6集中展示了共享Net與目前最先進的腦腫瘤MRI跨模態分割算法的定量比較。在表5中，雖然共享Net在T1域和T1ce域上稍有遜色，但是從表6中不難發現在訓練時間上共享Net表現更佳。這是因為共享Net共享了整個改進的U?Net模型，盡管訓練集分為兩類，需要分別訓練，但整個網絡相比之下減少了參數量，故而降低了訓練時間。DN?Net為每一個訓練集的類別都分配了一個BN層，導致網絡負荷較大，所以共享Net是更高效的，在訓練時間減少的情況下提升了分割性能。

基于如上實驗結果和分析，共享Net在MRI腦腫瘤跨模態域泛化分割任務中顯著優于其他方案。在Flair模態上，共享Net比次優模型DeepAll的Dice系數高出2.62%、HD距離低0.53 mm，在T1ce模態上共享Net比表現最好的DN?Net方法Dice系數高出2.96%、HD距離僅高出1.99 mm，在T1模態上共享Net比結果最好的DN?Net方法的Dice系數低19.78%、但HD距離卻比DN?Net低出2.13 mm。特別地，共享Net在Flair上取得了最好的分割結果。這主要歸因于T2與Flair區亮度接近、相似度較高，共享Net就可以輕松地將T2模態上學習的特征信息泛化到Flair模態上。綜上分析，本實驗的預先設想是可以通過實踐來檢驗的，在實際的應用中可以根據具體的不同灰度分布值分成不同的類別進行領域泛化的實際應用，也就是說在訓練階段共享Net也可以細分為更多的灰度類來模擬更多可能出現的不同醫學影像圖片來進一步提高模型的泛化能力。

3" 結" 語

腦腫瘤自動分割模型的泛化能力是否達標是模型能否實際部署到應用中的關鍵技術指標。本文針對在醫學領域實現跨模態域泛化上的技術難題，提出一種共享Net模型，應用于具有多種不同灰度值的醫學影像圖片。考慮到只使用單一的U?Net模型精度上可能不太理想，本文引入了Scale?Attention模塊，考慮到Scale?Attention模塊參數量較大，又將模塊內所有的卷積替換成了深度可分離卷積，這樣不僅能夠在一定程度上使得整個模型更加的輕量化，也能為醫生提供相對較精準的分割結果。共享Net具有可以在實際中應用的潛力，比如在MRI數據集上訓練好的模型可以直接應用到CT圖像上，無需再訓練。在實際應用中也可以將訓練集細分為更多類，輕松地拓展成多任務形式來提高模型的泛化性能，共享Net可以根據自適應判別器選擇最合適的結果。

注：本文通訊作者為張藝榮。

參考文獻

[1] MENZE B H， JAKAB A， BAUER S， et al. The multimodal brain tumor image segmentation benchmark （BRATS） [J]. IEEE transactions on medical imaging， 2015， 34（10）： 1993?2024.

[2] 蕭力芮，王曉東，姚宇，等.基于多任務學習的肝臟腫瘤自動分割方法[J].計算機應用，2021，41（z2）：357?361.

[3] LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2015： 3431?3440.

[4] RONNEBERGER O， FISCHER P， BROX T. U?Net： Convolutional networks for biomedical image segmentation [C]// 18th International Conference on Medical Image Computing and Computer?assisted Intervention. Heidelberg， Germany： Springer， 2015： 234?241.

[5] 孫家闊，張榮，郭立君，等.多尺度特征融合與加性注意力指導腦腫瘤MR圖像分割[J].中國圖象圖形學報，2023，28（4）：1157?1172.

[6] XIAO X， LIAN S， LUO Z M， et al. Weighted Res?UNet for high?quality retina vessel segmentation [C]// 2018 9th International Conference on Information Technology in Medicine and Education （ITME）. [S.l.： s.n.]， 2018： 327?331.

[7] GU R， WANG G T， SONG T， et al. CA?Net： Comprehensive attention convolutional neural networks for explainable medical image segmentation [J]. IEEE transactions on medical imaging， 2021， 40（2）： 699?711.

[8] ZHOU Z W， SIDDIQUEE M M R， TAJBAKHSH N， et al. UNet++： Redesigning skip connections to exploit multiscale features in image segmentation [J]. IEEE transactions on medical imaging， 2020， 39（6）： 1856?1867.

[9] BALAJI Y， SANKARANARAYANAN S， CHELLAPPA R. MetaReg： Towards domain generalization using meta?regularization [C]// Advances in Neural Information Processing Systems 31： Annual Conference on Neural Information Processing Systems 2018. [S.l.： s.n.]， 2018： 1006?1016.

[10] CHANG W G， YOU T， SEO S， et al. Domain?specific batch normalization for unsupervised domain adaptation [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2019： 7354?7362.

[11] CHANG W L， WANG H P， PENG W H， et al. All about structure： Adapting structural information across domains for boos?ting semantic segmentation [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2019： 1900?1909.

[12] ZHOU Z Q， QI L， YANG X， et al. Generalizable cross?modality medical image segmentation via style augmentation and dual normalization [C]// 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New York： IEEE， 2022： 20824?20833.

[13] MORTENSON M E. Mathematics for computer graphics applications [M]. 2nd ed. New York， USA： Industrial Press Inc.， 1999.

[14] CHOLLET F. Xception： Deep learning with depthwise separable convolutions [C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. New York： IEEE， 2017： 1800?1807.

[15] PAN X G， LUO P， SHI J P， et al. Two at once： Enhancing learning and generalization capacities via IBN?NET [C]// European Conference on Computer Vision. Heidelberg， Germany： Springer， 2018： 484?500.

[16] SEO S， SUH Y， KIM D， et al. Learning to optimize domain specific normalization for domain generalization [C]// Proceedings of 16th European Conference on Computer Vision. Heidelberg， Germany： Springer， 2020： 68?83.

[17] LI D， YANG Y X， SONG Y Z， et al. Learning to generalize： Meta?learning for domain generalization [C]// Proceedings of Thirty?second AAAI Conference on Artificial Intelligence. [S.l.]： AAAI， 2018： 3490?3497.

[18] WANG S J， YU L Q， LI K， et al. DoFE： Domain?oriented feature embedding for generalizable fundus image segmentation on unseen datasets [J]. IEEE transactions on medical imaging， 2020， 39（12）： 4237?4248.

[19] LIU Q D， CHEN C， QIN J， et al. FedDG： Federated domain generalization on medical image segmentation via episodic learning in continuous frequency space [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2021： 1013?1023.