基于神經網絡學習的錐形束CT圖像超分辨率重建算法

鄧春燕，陸佳揚，黃寶添

汕頭大學醫學院附屬腫瘤醫院放療科，廣東汕頭515000

前言

近年來，圖像引導放射治療（Image Guided Radiation Therapy, IGRT）和自適應放療（Adaptive Radiation Therapy,ART）受到了廣泛的關注，錐形束CT（Cone‐Beam CT, CBCT）由于其具有較好的實時性、較高的靈敏度以及方便使用等優點，被廣泛地應用于IGRT 和ART 中［1‐3］。然而，由于CBCT 采用的是錐形X 射線束與平板探測器通過低劑量掃描進行成像的，以及其采用的重建算法選取等原因，采集到的CBCT 圖像的成像質量相比常規CT 圖像要差，且包含了大量的噪聲，這對醫生的診斷影響較大，在一定程度上影響了CBCT 在放療中的應用［2,4‐6］。為了去除CBCT 圖像中的噪聲問題，劉巖海［7］提出一種基于非局部均值（Non‐Local Means, NLM）方法對CBCT圖像進行降噪處理，處理后可以獲得效果質量較好的CBCT圖像，但是由于使用NLM 算法，會不可避免地導致圖像部分結構信息發生丟失，為了提高CBCT圖像質量并克服NLM降噪產生的圖像結構信息丟失這個問題，本文提出一種基于神經網絡學習的超分辨率重建（Super‐Resolution Convolutional Neural Network,SRCNN）算法對CBCT 圖像進行處理，以提高CBCT的圖像質量。

本文主要分為兩個步驟：第一步，采用NLM方法對圖像進行降噪處理，以消除CBCT成像中產生的噪聲問題；第二步，分別采用SRCNN 方法和雙三次插值重建（Bicubic Interpolation, BIC）方法對圖像進行超分辨重建，以消除第一步中NLM 處理中導致的圖像邊緣模糊問題，同時恢復出圖像原有的細節信息。

1 SRCNN算法

SRCNN是計算機視覺的一個經典應用，旨在從一個低分辨率（Low Resolution,LR）圖像中恢復出具有更多細節信息的高分辨率（High Resolution,HR）圖像［8‐9］，期望通過軟件的處理，來克服依靠硬件來采集HR圖像的局限性，可以消除重建中產生的退化問題，具有較好的恢復效果［10］。當前的SRCNN方法主要有兩種：（1）基于重構的方法，這種方法通過結合圖像的信息，可以很好地復原待處理圖像的一些細節信息［11‐12］；（2）基于學習的方法，這種方法通過學習訓練集中的HR和LR圖像之間的關系來復原測試集中的圖像分辨率［12‐13］。基于學習的方法相比于基于重構等其他的超分辨率重建技術可以獲得更好的視覺效果［10］。其中，Dong等［8］在2016年提出了一種端到端映射的SRCNN方法已被有效地應用在LR和HR之間的映射，恢復出效果較好的高分辨率圖像。SRCNN是一個從LR圖像到HR圖像的端到端映射的方法，其實現步驟如下：（1）特征塊提?。簭腖R圖像中提取塊，然后將這些特征塊用高維向量來表示，這些向量包含了一組特征圖；（2）非線性映射：將步驟（1）中的每個高維向量通過非線性映射，得到另一組高維向量，每一個向量在概念上都是高分辨率圖像塊的表示，這些向量包含了另一組特征圖；（3）重建：將步驟（2）中得到的高分辨率塊重建生成最終的高分辨率圖像。

圖1為SRCNN 算法的框架圖，其中網絡形式為：（Conv1+ReLU1）→（Conv2+ReLU2）→（Conv3），其中第一層卷積的卷積核尺寸為f1×f1，卷積核數目為n1；第二層卷積的卷積核尺寸為f2 ×f2，卷積核數目為n2；第三層卷積的卷積核尺寸為f3×f3，卷積核數目為n3。n3 取值為1，則最終輸出1 張特征圖像即為重建的HR圖像。

圖1 SRCNN算法的框架圖Fig.1 Framework of super-resolution convolutional neural network(SRCNN)algorithm

2 結果

本實驗數據來自Ⅴarian Medical Systems TrueBeamSN1093 加速器所采集的真實CBCT 圖像，包括頭頸部、盆腔、胸部數據，分為A、B、C、D、E 5組，其中各組數據，頭頸部包含89 幅圖像，盆腔包含81幅圖像，胸部包含81幅圖像。

2.1 數據訓練

采用公開數據庫ILSⅤRC 2013 ImageNet 共395 909 幅圖像數據來訓練模型，NLM 過程所采用的參數參考文獻［7］，其中鄰域窗的大小取5×5，搜索窗的大小取11×11，濾波核取0.000 9。

2.2 視覺評價

如圖2～圖4所示，分別顯示的是頭部、盆腔和肺部數據的處理結果。從圖中可以看出，經過NLM 處理的圖像能顯著去除原始CBCT圖像中包含的噪聲，但是圖像的邊緣細節比較模糊。SCRNN和BIC處理之后所得圖像的視覺效果較原始圖像和NLM處理后的圖像更佳，圖像的邊緣細節更清晰。

2.3 量化評價

2.3.1 峰值信噪比（Peak Single to Noise Ratio,PSNR）

PSNR 是目前常用的圖像質量量化評價的重要指標之一，是衡量圖像噪聲水平和圖像失真的一種全參考評價標準［14］。其計算公式如下：

圖2 頭部CBCT圖像的NLM、SRCNN和BIC處理結果Fig.2 Results of head CBCT image processed with non-local means(NLM),SRCNN and bicubic interpolation(BIC)

圖3 盆腔CBCT圖像的NLM、SRCNN和BIC處理結果Fig.3 Results of pelvic CBCT image processed with NLM,SRCNN and BIC

其中，I1為原始圖像，I2為與I1大小相同的重建圖像，P為圖像中像素點的最大灰度值，w和h分別為圖像的長與寬。PSNR 單位為分貝（dB），用于表示圖像的超分辨率時，PSNR 計算值越大，表示重建后圖像失真越少，則相應的超分辨率算法越好。

圖4 胸部CBCT圖像的NLM、SRCNN和BIC處理結果Fig.4 Results of thoracic CBCT image processed with NLM,SRCNN and BIC

如表1和圖5所示，SRCNN 重建方法相比于BIC方法有更高的PSNR 值，表明用SRCNN 方法重建后圖像的失真度比BIC方法的失真度低，能夠重建出效果更好的CBCT 圖像。而對盆腔部圖像的處理結果相比于對頭頸部圖像的處理結果有更高的PSNR 值，這是因為相比于頭頸部和胸部，盆腔部幾乎全是實體組織，包含的空腔組織較少，組織間差異較小。

2.3.2 結構相似度（Structural Similarity,SSIM）SSIM是Wang等在2004年提出的一種評價標準，現已在超分辨重建中得到了廣泛的應用，是一種穩定的全參考算法［14‐17］。SSIM定義如下：

其中，μx、σx、μy、σy分別是圖像信號x和y的亮度均值及亮度的平均值和標準差，σxy為x和y的亮度協方差；C1=(k1L)2，C2=(k2L)2，是用來維持穩定的常數；L是像素值的動態范圍。SSIM 取值區間是［0,1］，SSIM 值越大，說明兩張圖像的結構越相似［14,18］，即SRCNN 的效果越好。如表1所示，SRCNN 重建方法和BIC 方法均有較高的SSIM 值，對所有部位，這兩種方法的SSIM 值均達到0.9 以上，說明用超分辨重建方法能較好地恢復CBCT圖像是結構信息。

2.3.3 特征相似度（Feature Similarity,FSIM）FSIM是2011年由Zhang等提出的一種圖像評價方法。其從圖像的底層特征出發，提取圖像的梯度信息以及相位一致性信息作為評價的兩個特征，算法包括兩個步驟：（1）計算局部相似圖（提取局部相似圖、梯度幅值和相位一致性）；（2）根據步驟（1）中提取的特征構造基本特征相似性的評價模型［14,19］。FSIM定義為：

表1 頭頸部CBCT圖像NLM、SRCNN和BIC方法的PSNR結果，SRCNN和BIC方法的SSIM和FSIM結果Tab.1 Peak single-to-noise ratio(PSNR)of head and neck CBCT image processed with NLM,SRCNN and BIC,and structural similarity(SSIM)and feature similarity(FSIM)after being processed with SRCNN or BIC

圖5 各部位CBCT圖像NLM、SRCNN和BIC方法的PSNR結果，SRCNN和BIC方法的SSIM和FSIM結果Fig.5 PSNR of CBCT images processed with NLM,SRCNN and BIC,and SSIM and FSIM after being processed with CRCNN and BIC

其中，PC1(x)、G1(x)、PC2(x)、G2(x)分別為從原始圖像和重建圖像中獲取的相位一致性信息與梯度幅值信息。α、β為相位一致性特征PC 與梯度幅值特征GM 的重要性參數。FSIM 值越大，表示重建圖像與參考圖像越相似［14］。

如表1和圖5所示，SRCNN重建方法和BIC方法有相似的FSIM值。對頭頸部和胸部、盆腔部，重建的FSIM值有輕微差異，但是差別不大，如表1～表3所示，A、B、C、D、E為對應5組頭頸部、盆腔部、胸部數據。

表2 盆腔部CBCT圖像NLM、SRCNN和BIC方法的PSNR結果，SRCNN和BIC方法的SSIM和FSIM結果Tab.2 PSNR of pelvic CBCT image processed with NLM,SRCNN and BIC,and SSIM and FSIM after being processed with SRCNN or BIC

3 總結

CBCT圖像分辨率的提高，有助于圖像的后續處理，對精確放射治療有著重要的意義［20］。本文先采用NLM算法對CBCT圖像進行降噪處理，有效地去除了CBCT圖像采集過程中引入的噪聲。然后采用SRCNN方法對CBCT圖像進行SRCNN，實驗結果表明，SRCNN方法不但恢復了NLM過程造成的一些邊緣細節丟失的問題，還提高了原始圖像本身的邊緣細節信息。

表3 胸部CBCT圖像NLM、SRCNN和BIC方法的PSNR結果，SRCNN和BIC方法的SSIM和FSIM結果Tab.3 PSNR of thoracic CBCT image processed with NLM,SRCNN and BIC,and SSIM and FSIM after being processed with SRCNN or BIC