基于級聯3D U-Net的CT和MR視交叉自動分割方法

沈鎮炯，彭昭，孟祥銀，汪志，2，徐榭，3，裴曦，4

1.中國科學技術大學核醫學物理研究所，安徽合肥230025；2.安徽醫科大學第一附屬醫院腫瘤放療科，安徽合肥230022；3.中國科學技術大學附屬第一醫院放療科，安徽合肥230001；4.安徽慧軟科技有限公司，安徽合肥230088

前言

放療要求確保腫瘤靶區接受足夠的處方劑量照射的同時，避免靶區周邊危及器官正常組織受到過多的損傷［1-2］。因此，精準可靠的危及器官分割是制定放療計劃的一個必備條件。傳統的手工分割非常耗時，而且準確性受醫生個體經驗所限［3-4］。因此，近年來基于多圖譜和深度學習的自動分割方法逐漸受到了更多的關注，其中基于深度學習的方法在圖像分割領域取得了更好的成果［5-7］。在醫學圖像分割領域，絕大多數的深度學習分割算法都基于卷積神經網絡（CNN）［8］和U-Net［9］。Zhou 等［10］為解決3D 圖像內存制約計算性能的問題，提出先以一個點提取感興趣區域（ROI）進行分割后，再進行更精確的ROI提取，反復迭代至收斂。Han等［11］則使用粗分割結果提取肝臟的ROI。Isensee 等［12］提出級聯U-Net 用于心臟、肝臟等器官的分割。Sun 等［13］將級聯模型應用于眼睛及周邊器官的分割，提出先定位后分割的方法可以提高小體積危及器官的分割性能。但是，他們都沒有將級聯模型應用于視交叉的分割。在垂體腺瘤和視神經膠質瘤的放射治療中，視交叉的定位對于評估視交叉受壓情況和預后的視覺恢復非常重要［14-15］。Bekes 等［16］提出的依據CT 圖像的半自動分割算法在眼球和晶體上表現很好，但是分割視交叉的效果不佳，準確度只有眼球的65%。MICCAI2015頭頸自動分割挑戰賽中視交叉分割的最優DSC 結果僅為0.57［17］。對于視交叉這類軟組織危及器官，磁共振圖像（MRI）比CT 具備更好的圖像對比度，因此針對病人個體同時采集CT 和MRI，有可能進一步提高分割的精準度［18］。因此，采用多模態圖像逐漸廣泛應用于醫學圖像分割領域［18-20］。Noble等［18］基于多圖譜和模型的方法分割CT 和配準的MRI中的視交叉，但是需要手動調整參數。基于此，本文擬通過改進的級聯3D U-Net網絡研究利用多模態數據提高自動分割視交叉的精度。

1 資料與方法

1.1 實驗數據及預處理

實驗使用的數據來自2019年8月至2020年8月于安徽醫科大學第一附屬醫院已接受放療的60例頭頸癌患者，同一患者的CT 及MRI采集的時間間隔均不超過3 個月，其中MRI包含T1、T2兩種成像模態。患者均采取熱塑面膜固定，CT 圖像的分辨率從（2.500×0.488×0.488）mm3至（5.000×0.976×0.976）mm3不等，MRI的分辨率從（4.000×0.687×0.687）mm3至（7.000×0.532×0.532）mm3不等。主管醫生在Eclipse計劃系統（Varian, USA）中僅依據CT 圖像手工分割患者視交叉，并交由上級資深醫生審核修改。此外，該主管醫生使用MIM Maestro 軟件（Ver 6.8.7）將MRI形變配準到CT 圖像上，然后結合配準后的MRI在CT上重新手工分割視交叉，如圖1所示，并交由上級資深醫生審核修改。將CT 圖像及配準后的MRI重新采樣到統一分辨率（1.250×0.800×0.800）mm3，預裁剪為256×256×80 大小的3D 圖像。這些預處理可減少計算量，減少由于成像掃描參數不同引起的差異，加速級聯3D U-Net網絡的收斂。

圖1 彈性配準后的CT與MRI（T1、T2）圖像及視交叉手工分割結果Fig.1 CT and MRI(T1,T2)images after elastic registration and manual segmentation of the optic chiasm

1.2 自動勾畫模型

本文提出一種級聯3D U-Net模型，具體如圖2所示。該級聯3D U-Net 由兩部分組成，第一部分為基礎的3D U-Net 網絡模型，包括一個捕獲上下文信息的收縮路徑和一個支持精確本地化的對稱擴展路徑，每一個路徑均包含5 個卷積塊，每個卷積塊包含兩個3×3 卷積層和一個Leaky ReLU 激活函數，下采樣過程使用一個步長為2 的3×3 卷積層和一個Leaky ReLU 激活函數來代替原始的最大池化層，來提升網絡性能［21］。第二部分為改進的3D D-S U-Net，在基礎的3D U-Net 模型上添加深度監督機制。Lee 等［22］提出的深度監督網絡（DSN），在基礎的CNN 的隱藏層中引入了分類器（SVM 或Softmax）來提高分類網絡的性能。Zeng 等［23］將深度監督機制應用于3D UNet，提出深度監督3D U-net-like 網絡，并用于3D 磁共振圖像中股骨頭的分割，提高網絡訓練效率。Zeng 等［23］將深度監督3D U-net-like 網絡在擴展路徑中引入了低、中、高3 個不同級別的深度監督，每一層深度監督中均包含一個解卷積塊和分支分類器。本網絡在此基礎上改進了3D D-S U-Net，在低級別（24×24×4）深度監督中，經過卷積和上采樣操作，得到與中級別（48×48×8）隱藏層相同分辨率的圖像并與其疊加，再一次經過卷積和上采樣操作，得到與高級別（96×96×16）隱藏層相同分辨率的圖像并與其疊加，通過分類器（Softmax）輸出分割結果。

圖2 級聯3D U-Net模型結構Fig.2 Cascaded 3D U-Net model structure

1.3 訓練方法

模型以256×256×80 大小的預處理3D 圖像作為原始輸入，實現視交叉ROI的提取，并重新自動裁剪為96×96×16大小的3D 圖像，作為第二部分網絡的輸入，最終輸出結果至大小為512×512×Sz 的原始臨床圖像中，其中Sz為原始臨床圖像的層數。

模型訓練過程中，將CT 圖像像素值約束為-160～240 HU，T1圖像像素值約束為200～800，T2圖像像素值約束為200～1 700。模型采用Pytorch 框架，以DSC Loss 作為損失函數，訓練迭代次數采用早停法（Early Stopping），當損失函數連續30 個迭代期不減少時停止訓練。模型采用Adam 優化器，學習率為0.000 2，Batch 的大小為1。在單個NVIDIA GTX 1070TI（8 GB）上，訓練消耗顯存約為7 GB，訓練耗時約20 h。

1.4 評價標準

本研究以醫生手工分割的視交叉輪廓為“金標準”，使用形狀相似性系數（Dice Similarity Coefficient,DSC）評價網絡自動分割的視交叉輪廓的準確性，該值為0～1，數值越大表示自動分割與手工分割越相似，表明預測精度越高，DSC 計算公式如下所示，其中A為醫生手工分割的視交叉區域，B為自動分割的視交叉區域，公式如下所示：

2 結果

2.1 自動分割精度

級聯3D U-Net的一階段分割結果得到視交叉的三維中心，據此獲得像素為96×96×16 大小的外擴輪廓，如圖3a～圖3c 所示。依據外擴輪廓，對原始圖像進行定位裁剪，減少背景類的信息［24］。將自動定位裁剪后的圖像輸入二階段的分割網絡后，得到自動分割的最終結果，如圖3d～圖3f所示。以隨機選取的15 例患者作為測試集，一階段分割的五折交叉驗證DSC 系數及標準差為0.564±0.159，最終分割的五折交叉驗證結果為0.645±0.085，經過定位裁剪后，DSC系數得到了約0.08 的提升，說明一定程度上減少背景類的占比可以提升網絡模型的自動分割精度。本實驗還嘗試將定位裁剪像素大小調整為64×64×16，發現結果并沒有提升，這可能是因為ROI太小，雖然背景類占比更少，但同時也減少了有用的圖像特征信息。

圖3 級聯3D U-Net的定位和分割結果Fig.3 Positioning and segmentation of cascaded 3D U-Net

圖4中展示了測試集中某一例病例的視交叉分割情況，圖4a 和圖4b 分別是正反兩個視角下的分割對比情況，其中手工分割結果用藍色表示，自動分割結果用粉色表示，二者交叉重合的部分用紅色表示。通過觀察圖4中手工分割和自動分割的情況，我們發現自動分割結果能夠較為準確地包含完整的視交叉區域，對于視交叉核心區域分割非常準確，只有在視交叉延伸至視神經及視束的邊界區域稍有誤差。

圖4 自動分割與手工分割結果對比Fig.4 Comparison between automatic segmentation and manual segmentation

由于目前尚無文獻同時利用CT 和配準的MRI數據用于視交叉的自動分割研究，我們對比了本研究中的級聯3D U-Net 方法與其他采用CT 數據分割方法的DSC 值。Ren 等［25］采用交錯式的3D-CNN，其視交叉的平均DSC 結果為0.580±0.170，田娟秀等［26］采用基于3D 深度殘差FCN 的SV-Net，其視交叉的平均DSC 結果為0.583±0.286，這兩個方法均采用了MICCAI2015 頭頸自動分割挑戰賽的數據［17］，共包含48例CT，其中15例患者作為測試。本研究提出的級聯3D U-Net 自動分割模型，其視交叉的平均DSC結果為0.645±0.085，通過對比發現，本研究提出的模型在視交叉自動分割領域取得了更好的結果。

同時，本研究進行不同模態數據的實驗對比，其中采用多模態數據（包含CT、MRI的T1和T2模態）的自動分割結果為0.645±0.085，采用單模態數據（僅CT 圖像）的結果為0.552±0.096。通過對比發現，在視交叉的自動分割中，采用多模態數據相比單模態CT數據能得到更好的分割結果。

本實驗采用多種數據增強方法來擴充數據，將圖像進行添加高斯噪聲、隨機翻轉、彈性形變（Elastic deformation）［27］，最終分割DSC 結果得到0.03 的提升。

2.2 自動分割效率

測試集中15 例患者的視交叉自動分割耗時約42 s，平均每例患者的視交叉自動分割僅需2.8 s，可以大大提升臨床手工分割的效率。

3 討論及總結

本研究不需要借助其他器官的分割算法用于輔助定位，直接針對視交叉進行二級分割，所需手工分割標簽更少，臨床應用更加簡單。相比CT圖像，MRI具備更高的空間分辨率和軟組織對比度，臨床上MRI已經被用于檢查視交叉及相關病變情況，利用MRI的信息進行自動分割視交叉逐漸成為一種有效趨勢，Sun等［15］在研究中進行基于MRI的視交叉分割實驗，取得較好的結果，但是他們借助了垂體瘤患者的垂體位置信息進行輔助，而且最終分割未應用于CT。在基于深度學習的視交叉自動分割的相關工作中，本研究首次結合CT 和MRI進行自動分割，發現相比僅采用CT 圖像進行自動分割，采用多模態數據的策略更好，得到更高的分割精度。

在本研究中發現，常規頭頸放療中使用的MRI層厚通常為6～7 mm，視交叉的可見層數少，邊界難以界定，是目前結合MRI進行視交叉自動分割的一個難點，未來結合深度學習技術，針對層厚較大的MRI進行重采樣，重建成層厚較小，信息更豐富的圖像，是一種可考慮的數據增強方式。

綜上所述，本研究提出一種新的基于級聯3D U-Net 的多模態視交叉自動分割方法，首次結合CT 和MRI應用于視交叉的自動分割，比通常僅采用CT 圖像進行自動分割的方法，在平均DSC 評估上高出約0.093，取得更好的精度，該方法可以作為臨床中醫生手工分割視交叉的輔助手段。未來將本方法拓展至其他視神經、晶體及海馬等腦部小體積危及器官的通用性研究中，并集成至中國科學技術大學核醫學物理研究所團隊研發的一款危及器官自動勾畫軟件——DeepViewer 系統中［28］，從而提高放療計劃制定的工作效率。