基于3D 深度卷積神經網絡依據MRI 生成偽CT 的研究

營影超,付東山,王偉

（天津醫科大學腫瘤醫院放療科，國家腫瘤臨床醫學研究中心，天津市“腫瘤防治”重點實驗室，天津市惡性腫瘤臨床醫學研究中心，天津300060）

計算機斷層掃描（computed tomography， CT）成像作為放射治療的主要基準圖像，可以準確的顯示患者的輪廓信息，但是CT 的低軟組織對比度、電離輻射使其在臨床上的應用受到一定限制。隨著磁共振成像（magnetic resonance imaging，MRI）在放療領域起著越來越重要的作用，將MRI 單獨用于放射治療逐漸成為研究重點［1］。MRI 較CT 具有無電離輻射、軟組織對比度高等優勢，并能提供區分不同組織或器官的多種序列圖像。由于MRI 與電子密度（electron density，ED）無關，因此不能直接用于劑量計算和基于X 線的患者擺位驗證［2］。

為了解決該問題，研究人員提出了多種預測方法。容積密度分配的方法通過手動或半自動分割技術分割各組織，對其分配不同的ED 獲得合成CT（synthetic CT， sCT）或偽CT（pseudo CT， pCT）［3-4］。該方法簡單粗糙，工作量較大，且預測精度不佳。基于圖譜的方法對匹配的MRI 和CT 圖譜庫采用可變形配準方法生成pCT，但是對于特殊解剖結構的患者（如組織缺失或外科植入物），該方法會受到限制［5-8］。基于體素和基于圖譜混合的方法，將體素強度和可變形配準過程的幾何信息共同用于pCT的生成。雖然額外的強度信息有效的減小了配準誤差，但是配準過程中依然需要注意解剖結構的影響［9］。隨著計算機技術的不斷提高，深度學習得到快速發展。Han 等［10］提出了采用深度卷積神經網絡（deep convolutional neural network， DCNN）基于MRI 重建pCT 的方法，較前述方法均有較大改進。但是由于缺乏圖像的上下層信息，在骨骼和空氣的轉換上仍有較大誤差，需進一步改善。

本文采用3D DCNN 模型，在2D 模型的基礎上結合上下層圖像的信息，通過編碼和解碼兩部分訓練模型。編碼部分主要通過卷積和池化處理獲取圖像特征，解碼部分的上采樣和卷積處理主要將圖像從粗分辨率恢復為細分辨率，并恢復圖像的大小，從而獲取重建圖像。通過13 個病例的分析，比較2D DCNN、3D DCNN 兩種算法的平均絕對誤差（mean absolute error，MAE）、均方根誤差（root mean squared error，RMSE）和結構相似度（structural similarity index，SSIM）。

1 資料與方法

1.1 數據的獲取和預處理 本文所采用的數據來源于華山醫院射波刀治療中心，共采集20例患者頭部的CT 和MRI，其中MRI 的體素大小有0.625×0.625×3 mm3、0.4688×0.4688×3 mm3等，掃描范圍有512×512×38、512×512×48、512×512×50 等。CT 的體素大小有0.468×0.468×3 mm3、0.488×0.488×1 mm3、0.549×0.549×1 mm3等，CT 的掃描范圍有512×512×220、512×512×240、512×512×217 等，通過篩選，去除層數過少的患者，其中13 個患者的圖像可用，由于模型輸入需保證為2n，所以將所用數據進行切片統一處理，選用MRI 數據中的32 個切片，即512×512×32。

每個患者的CT 與MRI 需經過偏置場校準［11］和剛性配準處理，確保兩者在同一解剖位置。為了獲取更好的pCT，還需進行掩模處理，將MR 圖像的頭部區域從背景區域中分離，采用大津閾值法［12］獲取初步提取區域，隨后采用形態學閉運算填充各個部位的間隙，獲得最大連通區域，圖1 a、b 為原始MRI和掩模圖像。

在放射治療過程中，患者通常使用頭架進行位置固定，但是在進行CT 掃描時，頭架會在CT 圖像中顯示出來，為了避免其對模型造成影響，筆者根據MRI 提取的掩模區域，去除CT 中的頭架，圖1 c、d為原始CT 圖像和去除頭架后的原始CT 圖像。

圖1 圖像數據預處理Fig 1 Image data pre-processing

由于圖像過大，網絡模型需要訓練的參數過多，電腦顯存受到限制，所以又對數據做了進一步處理。首先將圖像進行裁剪，提取最小感興趣區域，再將其進行歸一化處理，然后把圖像大小改為256×256×32。

1.2 3 D 深度卷積神經網絡算法(DCNN) 3D DCNN算法流程圖如圖2 所示。

圖2 DCNN 算法流程圖Fig 2 Flowchart of DCNN algorithm

DCNN 模型主要由卷積層、池化層組成。卷積層主要由多個特征面組成，每個特征面通過3×3×3 卷積核與上一層的局部區域相連，通過卷積操作進行特征提取，隨著網絡深度的增加，所提取的特征從簡單向復雜方向轉變。隨后將卷積所得結果傳遞給不飽和非線性Relu 函數：

其中x 為輸入，f（x）為輸出。對于Relu 而言，若輸入大于0，則輸出與輸入相等，否則輸出為0，可以過濾掉極其不明顯的特征，不僅改善了模型的泛化能力，而且進一步克服梯度消失問題，也加快了收斂速度［13］。卷積層之后為池化層，它同樣由多個特征面組成，每個特征面唯一對應卷積層的一個特征面，從而該層的特征面個數不會發生改變。池化層可以被認為有二次提取特征的作用，通過降低特征面的分辨率來獲得具有空間不變性的特征［13］，上采樣層的作用主要是通過插值方法逐步恢復圖像的細節和大小，進一步通過卷積處理獲得最終預測結果，采用MAE 作為損失函數：

其中Yi為真實CT 圖像，P 為預測圖像，xi為對應的MRI 圖像，θ 為網絡學習參數對所得誤差應用Adam 隨機優化函數進行反向傳播，進一步對參數優化處理［14］。

1.3 DCNN 模型 本文采用19 層卷積層、池化層和上采樣層交織的端到端的神經網絡架構，如圖3所示，淺綠色塊表示MRI 輸入，紅色塊表示最大池化層，藍色塊表示卷積層，白色塊表示下采樣層中的卷積層，黃色塊表示上采樣層，紫色塊表示pCT輸出，特征圖的數量在方塊上面標注。編碼器由多個3×3×3 卷積核進行特征提取，采用局部連接和權值共享加深網絡有效的降低網絡復雜度，減少訓練參數的數目。隨后通過最大池化層對特征進行二次提取，并將特征圖的大小減小1 倍，起到減少計算量和內存消耗的作用。解碼器通過上采樣層逐步恢復圖像的細節和大小，聯合處理將編碼器的特征圖與解碼器的特征圖結合，使網絡更容易重建圖像的細節。

網絡還應用批標準化（batch normalization，BN）對每個卷積層的輸出進行標準化處理，保證網絡的輸入輸出具有相同的統計分布，減少網絡中內部協變量偏移，避免深層網絡梯度消失或梯度爆炸，同時加快了模型的收斂速度，減少了參數初始化的要求［15］。在實驗中初始學習率設為0.001，最大迭代次數設為6000 次。本研究是基于Keras 框架進行網絡搭建，實現模型的訓練與評估，使用NVIDIA Quadro P5000 進行GPU 加速。

2 結果

本文采用留一交叉驗證（leave-one-out cross validation，LOOCV）的方法訓練模型。選擇13 份樣本中的12 份作為訓練集，訓練模型，剩下1 份樣本作為測試集，測試模型的準確性。此過程的模型訓練和驗證重復13 次。在本次實驗中，3D DCNN 模型訓練時間大約為9 h，預測時間大約為2 s，2D DCNN 模型訓練時間約為5 h，預測時間大約為18 s。3D DCNN 模型訓練時間較長，但預測時間短。

2.1 pCT 與原始CT 的定性比較 對2D DCNN、3D DCNN 兩種方法預測pCT 與原始CT 進行定性比較。首先，取其中1 次實驗結果作為例子，比較pCT與原始CT 的圖像質量，如圖4、圖5、圖6 所示，第1列為原始CT，第2 列為pCTs，其中第1 行為3D DCNN的結果，第2 行為2D DCNN 的結果；第3 列為pCT和原始CT 的差異圖，其中第1 行為3D DCNN 的結果，第2 行為2D DCNN 的結果。

2.2 pCT 與原始CT 的定量比較 采用MAE、RMSE 和SSIM 對2D DCNN 和3D DCNN 結果進行定量比較，驗證pCT 的準確性，進一步評價pCT 和原始CT 的一致性。MAE、RMSE 和SSIM 的數學表達式為：

圖3 3D DCNN 框架Fig 3 Architecture of 3D DCNN model

圖4 pCT 與CT 的目視定性比較(橫斷面)Fig 4 Visual qualitative comparison of pCT and CT(cross section)

圖5 pCT 與CT 的目視定性比較(冠狀面)Fig 5 Visual qualitative comparison of pCT and CT(coronal plane)

圖6 pCT 與CT 的目視定性比較(矢狀面)Fig 6 Visual qualitative comparison of pCT and CT(sagittal plane)

其中N 為像素的個數，CTi和pCTi分別是原始CT 與pCT 的像素值。

其中μCT為CT 的平均值，μpCT為pCT 的平均值，為CT 的的方差為pCT 的方差，σCTpCT為CT和pCT 的協方差。C1=（k1L）2，C2=（k2L）2為常數，L 為像素值的動態范圍，k1為0.01，k2為0.03。

表1 列出了13例患者兩種算法的MAE、RMSE和SSIM。其中3D DCNN 預測結果的MAE 都小于2D DCNN 預測結果的MAE；3D DCNN 的RMSE 都小于2D DCNN 的RMSE；除此之外，3D DCNN 的SSIM 都大于2D DCNN 的SSIM，表明3D DCNN 算法得到的pCT 的準確性更高。

表1 兩種算法的MAE、RMSE 和SSIM 比較Tab 1 Comparison of MAE,RMSE and SSIM between two algorithms

3 討論

本文提出的基于3D DCNN 的算法結合圖像層與層之間的信息，既分析了單張圖像的空間特征，還結合了該層圖像的上下層圖像的特征，相比于2D DCNN 可以獲得更準確、更全面的圖像信息，從而得到精確的結果。基于13例患者的CT 和MRI數據，將2D DCNN、3D DCNN 兩種方法的預測結果進行對照比較，本文提出的3D DCNN 算法的平均MAE 為86 HU，小于2D DCNN 的136 HU，3D DCNN的平均RMSE 為184HU，也小于2DDCNN 的262HU，除此之外，3D DCNN 算法的平均SSIM 為0.89，高于2D DCNN 算法的0.81。因此3D DCNN 算法的精度要高于2D DCNN 算法，所獲得預測圖像更接近于真實圖像。

容積密度分配的方法使用手動或半自動分割技術，人工工作量大［3-4］。而基于圖譜法對配準精度要求較高，而且有時會因為配準困難造成sCT 顱骨和硬腦膜區域出現較大誤差［10，16］。雖然基于體素和基于圖譜的混合方法提高了pCT 的預測精度，但是復雜度明顯提高。對于2D DCNN 算法，依次對一張張圖像進行處理，雖然其運行速度相比于3D DCNN快，但是在骨骼、軟組織和空氣的誤轉換仍有較大誤差，而3D DCNN 將圖像上下層結合，共同用于訓練，利用了圖像層與層之間特征的相關性，不僅提高了預測精度，而且明顯解決了誤轉換問題。

通過有限的臨床數據驗證，表明3D DCNN 算法的精確性和魯棒性優于2D DCNN 算法，結果顯示生成的pCT 圖像質量滿足MRI 單獨用于放射治療的要求。本研究下一步工作將該算法結合臨床實踐，用于劑量分布計算和基于X 線圖像引導的患者擺位驗證，進一步驗證該方法的臨床應用可行性，還可以將該pCT 生成方法從頭部延伸至其他解剖部位。