基于深度學習單投影的CT斷層成像三維重建

張新陽，賀鵬博，劉新國，戴中穎，馬圓圓，申國盛，張暉，陳衛強，李強

1.中國科學院近代物理研究所，甘肅蘭州730000；2.中國科學院重離子束輻射生物醫學重點實驗室，甘肅蘭州730000；3.甘肅省重離子束輻射醫學應用基礎重點實驗室，甘肅蘭州730000；4.中國科學院大學核科學與技術學院，北京100049

前言

計算機斷層掃描（Computed Tomography,CT）以高空間分辨率對患者或物體進行三維（3D）成像的能力在生命科學領域有著廣泛的應用。而傳統CT 成像需要通過密集掃描獲得大量的投影數據，導致重建時間增加，重建速度跟不上掃描速度；另一方面，密集掃描也給患者帶來了額外的輻射劑量。隨著人們生活水平的提高，輻射對健康的損害逐漸引起人們的注意。此外，在斷層成像的許多應用中，成像速度至關重要。于是減少CT 掃描次數，降低CT 的輻射劑量成為科研人員關注的焦點。近年來，很多研究都在尋找減少采集數據量的同時又不降低圖像質量的方法，通過壓縮感知［1-6］和最大后驗［7］等技術對稀疏采樣的圖像重建進行廣泛的研究。這些方法在重建反演過程中引入正則化項，以促使在重建圖像中出現原本的特征［8］。如果不能降低對成像質量的要求，這些方法并不能解決在大幅度減少成像對象所受輻射劑量的同時進行實時成像，而且它們的稀疏性通常是有限的。通過機器學習技術，從大量的數據當中提取出先驗知識來提高成像速度和質量是最近的熱門研究課題。近年來有很多基于機器學習的圖像重建的研究［9-12］，但是最具有代表性的是Henzler 等［13］基于深度學習的卷積神經網絡利用2D放射影像重建出了3D 圖像，以及Shen 等［14］和Lei等［15］利用深度學習和數據驅動的圖像重建過程方法，將稀疏采樣壓縮到了單個投影視圖的極限，實現了通過深度學習方法基于特定患者的單視圖斷層成像。但是在臨床上，如果對每一個患者都進行數據增強并重復訓練適用于每個患者的模型，時間將會大大增加。

基于以上考慮，本研究利用卷積神經網絡首次實現了適用于不同患者的深度學習CT 重建方法。這種方法普適性更強，對于不同例數的患者，只需要在治療前利用他們的CT 圖像進行數據增強并統一訓練，就可以得到適用于每個患者的神經網絡模型。相比于重復訓練使用該方法使每個患者特定的模型節約70%的時間，在保持重建圖像質量的同時大大提高了效率。

1 材料與方法

1.1 網絡模型

深度神經網絡因其學習復雜關系的能力以及通過特征提取和表征學習將現有知識納入推理模型的能力而備受關注［16-18］。這種方法在很多學科都有廣泛的應用，如自動駕駛、自然語言處理、計算機視覺和生物醫學。而深度殘差網絡（如ResNet［19］）在許多競賽中表現出良好的性能，它可以加速模型訓練，并在很大程度上避免了由于增加網絡層數后在反向傳播時出現的梯度消失或梯度爆炸現象。目前還沒有研究實現適用于不同患者的深度神經網絡模型及方法。本研究以Shen 等［14］研究為基礎，對其模型進行改進，在生成網絡的部分反卷積殘差塊加入快捷路徑，并嘗試適用于不同患者的基于深度學習重建方法。本研究采用的網絡模型如圖1所示，整個網絡架構分為3 部分，分別為表征網絡、轉換模塊和生成網絡。

圖1 深度學習網絡架構Fig.1 Architecture of deep learning network

表征網絡由5 個二維卷積殘差塊組成，以便從2D 投影圖像中提取層次語義特征。每個2D 卷積塊由2D 卷積層、2D 批處理歸一化層、ReLU 層、2D 卷積層、2D 批處理歸一化層和ReLU 層按順序組成，可以從2D 圖像中提取出特征信息。第一卷積層使用3×3的卷積核和2×2 的滑動步長執行卷積操作將特征圖的空間大小下采樣一半。為了保持高維特征信息的稀疏性，增加濾波器的數量將特征映射的通道數增加一倍。隨后經過批標準化層［20］后通過ReLU 層將特征信息向后饋送。第二卷積層使用3×3 的卷積核和1×1的滑動步長保持特征圖的形狀大小。另外，在應用第二個ReLU 層之前，使用額外的快捷路徑將第一個卷積層的輸入相加獲得最終輸出。通過建立身份映射的快捷路徑，鼓勵第二卷積層學習殘差特征表示。

轉換模塊在表征網絡后，通過卷積和反卷積連接表征網絡和生成網絡，并關聯2D 和3D 特征表示。將表征網絡的輸出進行整形，跨維度的變換特征表示以便于后續生成3D體積。模型中為了更好地通過該模塊進行特征信息的轉移，刪除了轉換模塊中的批標準化層。

生成網絡由3D 反卷積層、3D 批歸一化層、ReLU層、3D 反卷積層、3D 批歸一化層和ReLU 層的3D 反卷積塊組成。第一個反卷積層使用4×4×4 的卷積核和2×2×2 的滑動步長將特征圖的空間大小上采樣2倍。第二個反卷積層使用3×3×3 的卷積核和1×1×1的滑動步長保持特征圖的形狀大小。每個反卷積層之后是3D 批歸一化層和ReLU 層，生成網絡主要由4個反卷積塊組成，第二和第三反卷積塊使用額外的快捷路徑將第一個反卷積層的輸入相加獲得最終輸出。在生成網絡的末端，有一個由3D卷積層和2D卷積層（卷積核大小為1）組成的輸出變換模塊，用于輸出3D 圖像。輸出變換模塊中的批歸一化層被移除，并且最后的卷積層后邊去掉了ReLU 層。生成網絡基于從表征網絡學習到的特征信息生成具有細微結構的3D CT圖像。

1.2 材料及數據增強方法

本研究采用3 例肺癌患者的4D CT 圖像數據，數據來自上海市質子重離子醫院。使用Plastimatch 軟件將患者的CT 圖像生成對應的數字重建放射影像（DRR），并使用一個Nvidia Titan RTX 圖形處理器（Graphics Processing Unit,GPU）訓練模型。

由于實際情況限制，我們并不是實際獲取了大量的2D X射線圖像和對應的相同時刻的CT圖像進行監督訓練，而是利用患者的CT圖像模擬生成的DRR與其對應的CT圖像進行訓練。在訓練深度學習模型時，由于數據有限需要進行數據增強。本研究純粹從深度學習的數據增強角度出發，對CT數據進行平移、變形以及大角度旋轉，最終產生了類似于傳統CT重建的多角度投影數據域。在研究中，單例患者時，將其10個時相的4D CT數據按照上述數據增強策略擴充為2 940個CT，并用Plastimatch軟件生成對應的DRR，每一個CT及其對應生成的DRR就是一個數據樣本，最終共產生2 940個數據樣本，將所有數據樣本隨機打亂后按照6：2：2的比例劃分為1 764個訓練樣本、588個驗證樣本和588個測試樣本。研究范圍是3例患者時，按照上述方法最終共產生8 820個數據樣本，其中包括5 292個訓練樣本、1 764個驗證樣本以及1 764個測試樣本。

1.3 數據預處理

在將數據樣本輸入網絡之前對其進行預處理。與其它利用深度學習方法對圖像重建的研究［11］類似，由于GPU 內存限制以及計算效率的影響，對CT圖像進行下采樣處理，將CT 圖像的大小由512×512調整為128×128。所有的數據樣本都被調整為相同的大小，將2D DRR 圖像的大小調整為128×128。單例患者時，將其CT 圖像僅進行下采樣處理，不改變層數，最終得到127×128×128 的CT 斷層圖像。研究3例患者時，將3例患者的CT斷層圖像大小統一調整為123×128×128。具體地說就是將其余兩例患者的CT 圖像從最上邊分別減少對應層數與CT 圖像層數最少的患者相同，這種方法在保證將3例患者的數據順利輸入網絡訓練的同時還可以確保3 例患者的CT圖像中的關鍵信息沒有減少。此外，為了使模型在訓練時更好的收斂，將2D DRR 圖像和CT 圖像的像素強度歸一化到［0,1］。對輸入2D DRR 圖像進行標準差歸一化，計算3類樣本中所有數據的平均值和標準差，然后用輸入2D DRR 圖像減去對應樣本域的平均值，然后除以標準差，使其像素強度的統計分布更接近標準高斯分布,得到最終輸入網絡的2D 圖像數據。

1.4 訓練策略

輸入圖像X 為2D DRR 圖像，訓練深度網絡模型用來預測CT 圖像Ypred,使預測圖像Ypred盡可能接近真實圖像Ytruth。將成本函數定義為預測值與真實值之間的均方誤差，并通過隨機梯度下降迭代優化模型。基于PyTorch 庫構建網絡，并用Adam 優化器最小化損失函數，通過反向傳播迭代更新網絡參數。單例患者時，學習率設置為0.000 03，由于內存限制使用大小為1 的小批量進行訓練。訓練周期為100次，每個訓練周期結束后將模型在驗證機上進行驗證，最后將驗證損失最小的模型參數當作最終的模型參數。對3 例患者進行研究時，學習率設置為0.000 03，每次向網絡輸入的批量為1。模型共訓練30 次，在每個訓練周期結束后，將模型在驗證集上進行驗證，以便監控模型的性能并避免模型在訓練集上發生過擬合。如果連續6 個訓練周期內驗證損失沒有下降就將學習率自動調整為原來的二分之一，最后將驗證集上表現最好也就是驗證損失最小的模型參數當作最后的模型參數。在模型訓練過程中，網絡模型學習從2D DRR 圖像到CT 圖像的映射函數。本研究單例患者訓練時間大約需要43 h，3 例患者訓練時間大約為52 h。在測試過程中，單例患者和3例患者的一個測試樣本的3D重建時間約為0.5 s。

1.5 結果評價指標

將最終的模型部署在測試數據集上，使用定性和定量的評估指標分析重建結果并評估模型的性能。使用平均絕對誤差（Mean Absolute Error,MAE）、均方根誤差（Root Mean Square Error, RMSE）、結構相似性（Structural Similarity,SSIM）和峰值信噪比（Peak Signal Noise Ratio,PSNR）4種不同的度量標準來衡量預測的CT圖像的質量。如表1所示，計算所有測試樣本的平均值得到4種度量標準。在機器學習中，通常使用MAE、均方誤差（MSE）估計預測圖像和真實圖像之間的差別，取MSE的平方根得到RMSE。MAE、MSE是Ypred和Ytruth之間的L1范數、L2范數誤差。SSIM是通過滑窗的方法計算兩幅圖像的結構相似性，是衡量兩幅圖像相似度的常用指標。PSNR是影響圖像質量的最大信號功率和噪聲功率之間的比率，被廣泛用于衡量圖像重建的質量。

表1 單例患者和3例患者的重建結果Tab.1 Reconstruction results for a patient and 3 patients

2 結果

圖2是單例患者和3例患者訓練過程中訓練樣本和驗證樣本的損失曲線，可以看到模型很好地擬合了訓練數據，并且在訓練集以外的數據中也表現很好。

圖2 訓練損失和驗證損失曲線Fig.2 Training loss and validation loss curves

表1是各項評估指標在測試樣本上的平均值，表中第一行數據是用Shen 等［14］模型得出的結果，第二行和第三行是使用本研究改進后的模型以及數據增強方法得出的結果。從表中可以清楚地看出，本研究所提出的模型和數據增強方法在單獨訓練單例患者模型中可以得到更好的模型參數。此外，對于不同患者，同樣可以得到比較好的模型參數，除了均方根誤差略高于單例患者時的結果，其余3個指標都比單例患者時的結果更好。

為了評估該方法的性能，將研究中最終得到的網絡模型部署在測試數據集上。圖3展示了單例患者以及適用于不同患者的CT圖像重建結果以及真實CT圖像與預測CT圖像之間的差異圖像。結果表明，本研究提出的方法可以對3例不同的患者進行較好的CT圖像重建，說明深度學習重建CT圖像方法具有很大的潛力，進一步證實了本研究方法的可行性。

圖3 CT重建結果Fig.3 CT reconstruction results

3 討論

許多不同的3D 體積可以產生對應的2D 放射影像，然而將這一過程進行反轉是非常具有挑戰性的。為了減少重建過程中數據采集量和成像劑量并提高重建速度，本研究提出一種基于深度學習的CT 單視圖斷層成像3D 重建方法。不同于傳統的CT 重建方法，本研究利用深度學習，僅使用單個視圖就能在短時間內完成CT 重建。與現有的深度學習方法相比，本研究將重建對象由1例患者推廣為多例患者，實現了針對不同例數患者的CT 單視圖斷層成像3D 重建，而不必再對每例患者單獨進行重復的數據增強及模型訓練，節省約70%的訓練時間。

本研究中的方法證實了通過深度學習構建一個普適于更多患者的網絡模型的可行性，有望簡化臨床上的CT 成像設備，并可以為目前放射治療中圖像引導遇到的問題提供潛在的解決方案。未來我們還會對本研究的神經網絡模型做進一步的優化，并使用更多例數的小批量患者數據得到普適性進一步提高的模型。