基于域對齊的深度學習方法在急性缺血性卒中的CT/MRI影像分割上的應用

摘要：目的" 基于平掃CT提出一種域對齊方法來顯著提高急性缺血性卒中（AIS）的早期快速診斷能力。方法" 回顧性分析南方醫科大學第三附屬醫院神經內科和神經外科2020年1月～2022年12月收治的入院后3 d內同時接受平掃頭顱CT和MRI/DWI、ADC以及T2-Flair序列掃描的AIS患者，構建了一個由318例AIS病例組成的成對CT/MRI影像數據集，分別對每一組配對的教師-學生影像特征進行歸一化；再以8∶2的比例隨機分為訓練集和驗證集。設計一種新的生成性對抗性網絡來對齊特征層上的跨模式輸入，將細節豐富的MRI圖像中的語義知識傳遞到CT圖像中進行AIS分割，開發了一種新的域適應算法（Our DA）。結果" 與目前性能表現較優異的醫學影像分割模型nnUNet相比，Our DA明顯優于nnU-Net，每一層驗證集之間的分割精度提升約15%。結論" 本研究構建的Our DA模型基于MRI/DWI序列的影像特征并遷移到平掃頭顱CT上，對平掃頭顱CT上的AIS病灶具有較高的自動分割性能，有助于早期自動識別AIS病灶。

關鍵詞：急性缺血性卒中；平掃頭顱CT；區域對齊；深度學習；自動分割；nnU型網絡結構

Application of domain-alignment deep learning methods in CT/MRI image segmentation for acute ischemic stroke

LIAO Lianlian1， 2， WEN Ge1， HU Zhaoting2

1Department of Radiology， Nanfang Hospital， Southern Medical University， Guangzhou 510515， China; 2Health Management Center， the Third Affiliated Hospital of Southern Medical University， Guangzhou 510630， China

Abstract： Objective To propose a domain alignment method based on plain scan CT to improve the early and quick diagnosis of acute ischemic stroke （AIS）. Methods AIS patients admitted to the Department of Neurology and Neurosurgery of Southern Medical University from January 2020 to December 2022 who received non-contrast head CT， MRI/DWI， ADC and T2-Flair sequence scanning within 3 d after admission were retrospectively analyzed， and a paired CT/MRI image dataset consisting of 318 AIS patients was constructed. The teacher-student image features of each pair were normalized respectively. Then， the training set and the verification set were randomly divided in a ratio of 8∶2. A new generative adversarial network was designed to align cross-mode inputs on the feature layer and transfer semantic knowledge from detailed MRI to CT images for AIS segmentation. A new domain alignment （DA） algorithm （Our DA） was developed. Results Compared with nnUNet， the most powerful medical image segmentation model at present， Our DA was significantly better than nnU-Net， and the segmentation accuracy between each layer verification set was improved by about 15%. Conclusion Our DA model constructed in this study is based on the image features of MRI/DWI sequences and migrated to non-contrast head CT， which has high automatic segmentation performance for AIS lesions on non-contrast head CT， and conducive to early automatic identification of AIS lesions.

Keywords： acute ischemic stroke; non-contrast head CT; domain alignment; deep learning; automatic segmentation; nnU-Net

急性缺血性卒中（AIS）是由于腦血管阻塞導致腦部供血不足，一部分腦組織因氧氣和養分供應不足而損傷或死亡的病癥，病死率很高［1-2］ ，全世界每年有1500萬人罹患中風，其中AIS占87%［3-5］ 。CT和MRI是評估和診斷急性缺血性卒中的首選方法。與非增強CT掃描圖像相比，CT血管造影的ASPECTS評分不僅與基線腦卒中嚴重程度有更好的相關性，而且能更好地預測最終梗死范［6］ 。而MRI血管造影對AIS的早期識別率則優于CT血管造影，因其在腦梗死發生6 h內就能發現病灶［7-8］ 。但CT血管造影和MRI血管造影都比常規的非增強CT和MRI的擴散加權成像（DWI）序列掃描更費時，也更消耗醫療資源，故不是AIS患者入院后的常規掃描方法；且這些傳統的影像診斷方法無法自動準確地識別微小病變。因此，亟需開發一種有效的機器學習方法來盡可能在早期快速自動識別AIS。

近年來，深度學習在醫學影像領域表現出了優異的性能。其中nnU-Net被廣泛應用于心臟、肺、腎臟、肝臟及腦腫瘤的自動分割［9］，超越了大多數現有的語義分割方法。既往已有關于急性、亞急性期或慢性期缺血性卒中自動分割的研究［10-18］，包括CT灌注成像、MRI/DWI成像以及利用新的分割模型R2U-Net早期分割識別平掃頭顱CT（NCHCT）的AIS病等，而一旦將深度學習應用于AIS的NCHCT圖像上，模型性能都會明顯下降，這種圖像紋理較原始、粗糙，信噪比和對比度較差。深度學習模型在面對來自不同設備的醫學圖像時，性能可能會受到影響，而基于域對齊（DA）的方法正好適用于跨模態或跨中心的圖像分割。本研究旨在開發一種新的基于MRI/DWI圖像特征并遷移到NCHCT圖像上的深度學習算法，以提高NCHCT掃描上AIS的分割精度。

1" 資料與方法

1.1" 一般資料

回顧性分析2020年1月～2022年12月南方醫科大學第三附屬醫院神經內科和神經外科收治的AIS患者，構建了一個由318例AIS病例組成的成對CT/MRI影像數據集，分別對每一組配對的教師-學生影像特征進行歸一化后，由3位具有5年以上頭部影像診斷經驗的神經放射科醫生獨立評估腫瘤，確定病灶個數和區域，通過PACS系統導出CT和MRI圖像。

納入標準：患者入院后均在72 h內同時接受NCHCT和MRI/DWI、ADC以及T2-Flair序列掃描。排除標準：發病至接受檢查的時間超過72 h；合并嚴重心、腦、肝、腎功能障礙或器質性病變；既往腦卒中后遺癥明顯，入院mRS評分≥2分；既往或合并有腦出血、腦腫瘤或顱腦手術者；圖像偽影明顯者。初始候選病例數為480例，按照納入和排除標準篩選后，最終納入318例患者。本研究已通過南方醫科大學第三附屬醫院倫理委員會批準（審批編號：2020-倫申-004）。

1.2" 圖像采集

采用多層螺旋CT（東芝），掃描參數：120 kVp，170 mAs，層厚3或7 mm。收集的MRI（3-T Signa Excite，飛利浦）包括6.5 mm層厚的DWI、ADC和T2-Flair序列。

1.3" 圖像分割

將從PACS系統以DICOM格式導出的影像圖片進行匿名編號。采用ITK-SNAP4.0.1軟件，分別由3位神經放射科醫生根據統一校準后的CT、DWI、ADC和T2-Flair圖像手動逐層勾畫ROI，并將圖片保存為nii格式。對于CT、ADC和T2-Flair圖像上邊界不清楚的病灶，同時參考DWI圖像。對于多個病灶者，同時對多個病灶進行勾畫。3位神經放射科醫生的標注ROI面積及個數差異均無統計學意義。本研究最終選擇了最優序列DWI來訓練教師模型。

1.4" 圖像分割模型的構建

1.4.1" DA" "本研究提出了一種新的跨模態的DA方法。利用DA方法在特征分布級別上將源域與目標域對齊，以提高AIS在NCHCT掃描上的分割精度（圖1）。

生成性對抗性網絡利用生成器G產生偽特征來愚弄鑒別器D進行區分［19］ 。在本研究的損失函數中，使用交叉熵Lce和骰子損失LD來監督教師和學生進行AIS分割。損失函數如公式（1）所示。其中Pdata是真實數據，Pz是假數據。

（1）

本研究采用文獻［20］ 類似的對抗性學習來訓練鑒別器，使CT特征與MRI特征對齊（Our DA）。它利用教師模型來學習AIS的MRI掃描輸入分割，而另一個學生模型（即Our DA）的目的是實現對同一患者的CT掃描輸入的分割（圖2）。利用輸入的核磁共振圖像對教師模型進行預訓練，從而從核磁共振圖像中提取非常詳細的特征來高精度地分割人工智能，其Dice評分為75%。一旦教師模型收斂好后，參數被固定以生成高質量的MRI特征Xp，以從學生模型中提取的較差特征Xa與CT圖像輸入對準。學生抽取器致力于從輸入的CT圖像中提取CT特征Xa，用于AIS分割。

如觀察到的CT特征Xa并不顯著，并且不能準確地從MRI圖像中分割AIS病變，則不考慮MRI特征Xp。對抗性學習可以解決上述問題，并在CT特征較差的情況下提高準確率，引入了通過利用圖2中黃色部分所示的鑒別器D，將較差的CT特征Xa與豐富的MRI特征Xp對齊。鑒別器D的目的是區分對齊的CT特征Xa和MRI特征Xp，將MRI特征標記為真實樣本，將CT特征標記為偽樣本，以訓練識別器。本研究采用與原始GaN相同的訓練方式[4]，對鑒別器D和學生抽取器進行交替優化。本研究定義對抗性損失函數La來監督學生抽取器將其CT特征Xa與來自教師抽取器的MRI特征Xp對齊，其中CE定義交叉熵誤差，YMRI表示實數標簽，實際上為BatchSize×1。

La =CE（D（Xa），YMRI=-log（D（Xa））YMRI ." " " " " " （2）

1.4.2" 實驗流程" "通過PyTorch軟件，使用ADAM優化器為每個模型訓練500個歷元，并在單個NVIDIA V100圖形處理器上將學習速率設置為10?3，權值衰減10?8。將數據集按8：2的比例隨機分為訓練集和驗證集，分別用于訓練和評估。訓練批次為16次。采用隨機翻轉和輪換的方法進行數據增強。此外，對所有實驗應用5折交叉驗證，隨機生成5次驗證集。

數據處理和分析：利用教師和學生抽取器分別從原始MRI圖和CT圖像的上下文語義中提取40×40像素大小的ROI生成高級語義特征，用于區域對齊和后續分割。然后，在每個抽取器上附加一個卷積層以預測最終的AIS預測。在教師模型的前期培訓階段，通過MRI輸入對整個教師模型進行優化。鑒別器D包含2個卷積和2個全連接層，用于區分CT特征Xa和MRI特征Xp（圖2）。

2" 結果

與目前性能表現較優異的醫學分割模型nnU-Net相比較，結果顯示Our DA優于nnU-Net，在五折驗證集中的分割精度提升約15%（表1）。

3" 討論

近年來，越來越多的深度學習方法被應用與醫學影像分割，包括各時期缺血性卒中在多種影像上的圖像分割［10-18］。nnU-Net是其中一個最常用于醫學圖像分割的深度學習框架，它基于UNet架構通過自動化設計流程來適應不同的數據集，泛化性能比UNet更強，數據適應性也更好［21-23］。研究顯示，nnU-Net在通用醫學影像分割任務中取得了領域最優模型的水平［9］。盡管其泛化能力強，但在極端情況下（如數據分布差異極大）性能可能下降。隨機森林和R2U-Net也被用于早期分割識別NCHCT的AIS病等，分割精度約50%［10］；然而其采用的DWI圖像是在NCHCT掃描后1周內獲得，因而模型性能的可靠性有待進一步驗證。本研究納入的病例嚴格限制在入院后72 h內同時行NCHCT和DWI/MRI檢查；另外，本研究設計的結構域適應方法（即DA）是一種使得模型能夠在源域（訓練時的數據分布）到目標域（實際應用時的數據分布）之間進行有效轉換的技術，當面對不同中心、不同成像設備獲取的數據時，結構域適應可以通過減少域間差異來提高模型的泛化能力，這是nnU-Net作為一個自動化工具可能無法完全實現的。總的來說，DA技術在提高模型跨域泛化能力、減少標注數據依賴、增強模型的抗噪聲性能和適應性方面可能比nnU-Net更為優越［24-26］。基于上述優點，DA在醫療領域的的用途也比較廣泛，例如跨設備和跨中心數據分析的稀有疾病診斷（如COVID-19［27］）和心臟亞結構分割、腹部多器官分割［28］等。一項Deep Coral研究首次提出了通過限制2個區域之間的距離來對齊源與目標區域的對準損失［24］。近期有研究設計了更先進的領域對齊方法，通過將白光特征與NBI特征域對齊（w/o DA），將DA方法用于息肉分類［25］。實現特征轉移最直觀的方法是匹配來自學生和教師網絡的輸出或特征分布，有研究證明了DA在生物學特征上的有效性，例如在跨設備和跨中心數據集上進行了廣泛的息肉和前列腺分割實驗［26］。然而目前還沒有研究將DA應用于AIS的NCHCT圖像分割。本研究首次將DA應用于AIS患者配對的MRI/NCHCT圖像上。

本研究基于2D ResUNet［29］構建網絡架構。Res-UNet結合了兩種強大的網絡架構：UNet和ResNet［30］。UNet是一種特別為圖像分割任務設計的卷積神經網絡，由一條收縮路徑和一條對稱的擴展路徑組成，有效地捕獲圖像中的上下文信息并允許精確的定位，被廣泛應用于心臟、肺、腦組織中的醫學圖像分割［31］。ResNet是一種通過引入“殘差學習”來解決深度卷積神經網絡中的退化問題的網絡架構。Res-UNet將這兩種架構的優勢結合起來，通過在UNet的基礎上引入殘差連接，進一步提高了網絡的學習能力和泛化性能。這種結合方式使得Res-UNet在處理深層網絡時能夠保持較好的梯度流動，有助于提高分割任務的準確性和效率，特別是在醫學圖像分割等復雜任務中，例如肝腫瘤分割、COVID-19肺部感染分割和視網膜血管檢測等任務中［30， 32］。

本研究的主要局限性：本研究為單中心研究，許多患者由于未在入院后3 d內同時行常規CT和MRI掃描及合并嚴重基礎疾病或出血病灶等被排除，故可能存在對患者的選擇性偏倚；本研究未排除腔隙性梗死病灶，可能導致模型分割的敏感度降低；僅納入318組病例，可能由于樣本量較小導致模型的泛化能力欠缺。在本研究中，分割模型在五折交叉驗證的精確度低于教師模型，對于NCHCT的分割精度仍不能令人滿意（低于MRI教師模型的約45%）。在檢查結構域對齊的有效性和改進過程中，本研究刪除了對齊損失函數La。對齊損失的消除直接導致分割精度的嚴重下降（從0.51降至0.33），這也恰恰證明了DA能夠有效地將非對比度特征與MRI域對齊，最終提高AIS分割的準確率。在后續的研究中，應聯合多中心病例，加大樣本量及僅納入病灶顯著的病例，開發新的分割算法來同時改善病灶的分割精確度和敏感度，爭取更進一步幫助臨床醫生在急性期甚至超急性期識別AIS，節省中風患者緊迫的臨床決策時間，改善患者的預后。

綜上，本研究設計了一個具有對抗性損失的師生模型，將領域特征從NCHCT特征向更豐富、更具代表性的DWI/MRI特征轉移和對齊。主要貢獻如下：提出了一種新的僅通過粗略紋理上的非增強CT圖像進行準確、快速的AIS分割模型Our DA，具有較好的分割性能，與nnU-Net模型相比，分割精度提高了15%；與應用于腸道息肉分類的域對齊方法w/o Da相比，提高了約18%。提供了一個新收集的AIS配對數據集，包括318組配對的NCHCT和DWI/MRI圖像。這也是首個基于深度學習結構域對齊的方法應用在AIS的非增強CT圖像上進行分割上的研究。

參考文獻：

［1］" "Barman A， Inam ME， Lee SM， et al. Determining ischemic stroke from CT?angiography imaging using symmetry-sensitive convolutional networks［C］ //2019 IEEE 16th International Symposium on Biomedical Imaging （ISBI 2019）. Venice， Italy. IEEE， 2019： 1873-7.

［2］" "Johnson W， Onuma O， Owolabi M， et al. Stroke： a global response is needed［J］. Bull World Health Organ， 2016， 94（9）： 634-634A.

［3］" "Virani SS， Alonso A， Aparicio HJ， et al. Heart disease and stroke statistics-2021 update： a report from the American heart association［J］. Circulation， 2021， 143（8）： e254-e743.

［4］" "WGBD 2015 Mortality and Causes of Death Collaborators. Global， regional， and national life expectancy， all-cause mortality， and cause-specific mortality for 249 causes of death， 1980-2015： a systematic analysis for the Global Burden of Disease Study 2015［J］. Lancet， 2016， 388（10053）： 1459-544.

［5］" "中華醫學會神經病學分會， 中華醫學會神經病學分會腦血管病學組. 中國腦血管病一級預防指南2019［J］. 中華神經科雜志， 2019， 52（9）： 684-709.

［6］" "Bhatia R， Bal SS， Shobha N， et al. CT angiographic source images predict outcome and final infarct volume better than noncontrast CT in proximal vascular occlusions［J］. Stroke， 2011， 42（6）： 1575-80.

［7］" "盧思言， 王艷爽， 江順濱， 等. FLAIR序列血管高信號征3種評分法與DWI-ASPECTS相關性研究及影響因素分析［J］. 放射學實踐， 2021， 36（6）： 722-7.

［8］" "章躍武， 朱希松， 吳渭賢， 等. MR擴散加權成像對急性腦梗死的診斷價值［J］. 放射學實踐， 2004， 19（10）： 706-8.

［9］" "Isensee F， Jaeger PF， Kohl SAA， et al. nnU-Net： a self-configuring method for deep learning-based biomedical image segmentation［J］. Nat Methods， 2021， 18（2）： 203-11.

［10］Lin SY， Chiang PL， Chen PW， et al. Toward automated segmentation for acute ischemic stroke using non-contrast computed tomography［J］. Int J Comput Assist Radiol Surg， 2022， 17（4）： 661-71.

［11］ Qiu W， Kuang H， Teleg E， et al. Machine learning for detecting early infarction in acute stroke with non-contrast-enhanced CT［J］. Radiology， 2020， 294（3）： 638-44.

［12］ Rekik I， Allassonnière S， Carpenter TK， et al. Medical image analysis methods in MR/CT-imaged acute-subacute ischemic stroke lesion： Segmentation， prediction and insights into dynamic evolution simulation models. A critical appraisal［J］. Neuroimage Clin， 2012， 1（1）： 164-78.

［13］ Wardlaw JM， Mielke O. Early signs of brain infarction at CT： observer reliability and outcome after thrombolytic treatment-systematic review［J］. Radiology， 2005， 235（2）： 444-53.

［14］ Patel A， van Ginneken B， Meijer FJA， et al. Robust cranial cavity segmentation in CT and CT perfusion images of trauma and suspected stroke patients［J］. Med Image Anal， 2017， 36： 216-28.

［15］ Melingi SB， Vijayalakshmi V. A hybrid approach for sub-acute ischemic stroke lesion segmentation using random decision forest and gravitational search algorithm［J］. Curr Med Imag Former Curr Med Imag Rev， 2019， 15（2）： 170-83.

［16］ Lee SA， Jang JW， Park SW， et al. Indirect volume estimation for acute ischemic stroke from diffusion weighted image using slice image segmentation［J］. J Pers Med， 2022， 12（4）： 521.

［17］ Doyle S， Forbes F， Jaillard A， et al. Sub-acute and chronic ischemic stroke lesion MRI segmentation［C］//International MICCAI Brainlesion Workshop. Cham： Springer， 2018： 111-122.

［18］ Kuang H， Tan X， Wang J， et al. Segmenting ischemic penumbra and infarct core simultaneously on non-contrast CT of patients with acute ischemic stroke using novel convolutional neural network［J］. Biomedicines， 2024， 12（3）： 580.

［19］" Goodfellow I， Pouget-Abadie J. Generative adversarial nets［J］. Adv Neural Inf Process Syst， 2014， 27： 76-88.

［20］ Zhang ZY， Li Y， Shin BS. C2-GAN： content-consistent generative adversarial networks for unsupervised domain adaptation in medical image segmentation［J］. Med Phys， 2022， 49（10）： 6491-504.

［21］ El-Hariri H， Souto Maior Neto LA， Cimflova P， et al. Evaluating nnU-Net for early ischemic change segmentation on non-contrast computed tomography in patients with Acute Ischemic Stroke［J］. Comput Biol Med， 2022， 141： 105033.

［22］ Zhang GB， Yang ZY， Huo B， et al. Multiorgan segmentation from partially labeled datasets with conditional nnU?Net［J］. Comput Biol Med， 2021， 136： 104658.

［23］ Peng Y， Xu YD， Wang MZ， et al. The nnU-Net based method for automatic segmenting fetal brain tissues［J］. Health Inf Sci Syst， 2023， 11（1）： 17.

［24］" Sun BC， Saenko K. Deep CORAL： correlation alignment for deep domain adaptation［C］//European Conference on Computer Vision. Cham： Springer， 2016： 443-450.

［25］ Wang Q， Che H， Ding WZ， et al. Colorectal polyp classification from white-light colonoscopy images via domain alignment［C］//International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham： Springer， 2021： 24-32.

［26］" Yang C， Guo XQ， Chen Z， et al. Source free domain adaptation for medical image segmentation with Fourier style mining［J］. Med Image Anal， 2022， 79： 102457.

［27］" Yang D， Xu ZY， Li WQ， et al. Federated semi-supervised learning for COVID region segmentation in chest CT using multi-national data from China， Italy， Japan［J］. Med Image Anal， 2021， 70： 101992.

［28］ Chen C， Dou Q， Chen H， et al. Unsupervised bidirectional cross-modality adaptation via deeply synergistic image and feature alignment for medical image segmentation［J］. IEEE Trans Med Imag， 2020， 39（7）： 2494-505.

［29］ Xu WD， Liu H， Wang XD， et al. Liver Segmentation in CT based on ResUNet with 3D Probabilistic and Geometric Post Process［C］. 2019 IEEE 4th International Conference on Signal and Image Processing （ICSIP）. Wuxi， China. IEEE， 2019： 685-9.

［30］ Pang SC， Du AN， Orgun MA， et al. Beyond CNNs： exploiting further inherent symmetries in medical image segmentation［J］. IEEE Trans Cybern， 2023， 53（11）： 6776-87.

［31］Das N， Das S. Attention-UNet architectures with pretrained backbones for multi-class cardiac MR image segmentation［J］. Curr Probl Cardiol， 2024， 49（1）： 102129.

［32］" Qin CB， Wu YJ， Liao WB， et al. Improved U-Net3+ with stage residual for brain tumor segmentation［J］. BMC Med Imag， 2022， 22（1）： 14.

（編輯：郎" 朗）

基金項目：國家自然科學基金（82172012）；廣東省自然科學基金（2021A1515012253）

Supported by National Natural Science Foundation of China （82172012）

作者簡介：廖蓮蓮，在讀碩士研究生，住院醫師，E-mail： 1832686358@qq.com

通信作者：文" 戈，博士，主任醫師，E-mail： wenge@smu.edu.cn