卷積神經網絡重建欠采的磁共振圖像

王一達，宋陽，謝海濱，童睿，李建奇，楊光

作者單位：華東師范大學物理與材料科學學院，上海市磁共振重點實驗室，上海200062

磁共振成像中減少K空間數據的采集是一種 常見的加速成像的方法，例如部分采集[1](截斷)、等間隔欠采的敏感度編碼(sensitivity encoding，SENSE)[2]、通用自校準部分并行采集(gene ralized autocalibrating partially parallel acquisitions，GRAPPA)[3]等方法以及基于隨機欠采的壓縮感知(compressed sensing，CS)[4]等方法。這些欠采的K空間數據重建得到圖像后，都會伴隨特定的圖像偽影。例如，截斷K空間數據會導致圖像模糊，并在高對比度邊緣出現信號震蕩現象，即吉布斯偽影[5]；偽隨機欠采K空間則會在圖像域引入非相干偽影[4]。MR圖像上的偽影可能會模仿病變或者覆蓋原有的組織結構，影響臨床診斷。針對不同欠采帶來的偽影，也有對應的算法用于處理圖像。例如，Hamming窗函數和Tukey窗函數常常被用來抑制MR圖像上的吉布斯偽影，但會導致圖像模糊[6]；CS算法可以重建出清晰的偽隨機欠采的MR圖像[4]，但高質量的CS重建往往需要消耗大量的時間。有些研究將CS與并行成像技術SENSE[7-8]和GRAPPA[9]相結合，進一步加速數據采集。

近些年來卷積神經網絡(convolutional neural network，CNN)在計算機視覺領域取得了令人矚目的成果。醫學影像領域中，CNN也取得了廣泛的應用，包括圖像分割[10]、病變檢測[11]、圖像超分辨和圖像降噪[12]。受到CNN上述成果的啟發，本研究將欠采的MR圖像和作為金標準的MR圖像輸入CNN中進行訓練，自動學習到高階的圖像特征和偽影信息，利用得到的網絡可以從欠采的K空間數據重建出高質量的MR圖像。

1 材料與方法

1.1 實驗數據

實驗數據使用60位志愿者全采集的T1加權腦部MR圖像，采自西門子3.0 T Prisma磁共振系統。掃描序列為快速梯度回波序列，未使用并行采集加速等加速采集技術，FOV=240 mm×240 mm；翻轉角=8°；層厚=0.9 mm；TE=2.32 ms；TR=2300 ms；采樣矩陣=256×256×192。實驗前隨機選取15位自愿者的腦部數據作為測試集；其他45位的腦部數據作為訓練集。在橫斷面、矢狀位和冠狀位3種方位分別提取大小為256×256的2D圖像當作數據樣本，對原始數據中大小不為256×256的圖像進行周圍填零操作。其中訓練數據提取約2萬張圖像，測試集數據提取6750張圖像，MR圖像在輸入網絡之前沒有進行相應預處理。

對所有2D圖像進行傅里葉變換得到K空間數據，分別模擬低頻中央采樣和偽隨機采樣兩種欠采策略。設定橫斷面、矢狀面、冠狀面的相位編碼方向分別為L-R、A-P、L-R，采樣率為30%，其中隨機欠采策略的中央連續采樣為10%，周圍高頻隨機采集為20%[4]。

1.2 數據擴增

由于訓練數據過少會引起過擬合現象，本實驗對訓練集中的圖像進行兩種數據擴增操作：(1)以1度為步長，10度以內的旋轉；(2)以0.02為步長，形變系數在0.2以內的拉伸。數據擴增之后，訓練集中共有約100萬張2D MR圖像。

1.3 訓練網絡

本實驗對中央連續采樣和非均勻偽隨機欠采兩種方式獲得欠采數據的重建進行了研究。算法流程圖如圖1所示，訓練過程中欠采圖像和全采金標準圖像成對輸入CNN中進行訓練，學習從欠采填零重建圖像到全采圖像的非線性映射。針對兩種欠采模式用各自的欠采數據分別訓練兩個網絡。測試過程中，向訓練好的模型中輸入欠采填零重建的圖像，然后將CNN輸出圖像的K空間與欠采的K空間進行合并保真，反傅里葉變換得到最終的MR圖像。

實驗中使用如圖1所示的UNet[13]結構來重建MR圖像。網絡結構由編碼和反編碼兩條路徑組成，分別包含4個下采和上采階段。在編碼路徑中，每個階段包含兩個卷積層，每個卷積層后都有歸一化層和激活函數，從輸入圖像中提取抽象特征；使用最大池化操作來減小特征圖的大小和增大視野域。在反編碼路徑中，反卷積操作用來增大特征圖的大小直到與輸入圖像大小相同。為了利用在編碼路徑中由于下采丟失的圖像信息和改善重建質量，本研究連接兩個路徑中的特征圖，然后對組合而成的特征圖進行卷積。在最后兩層中，將高度抽象的特征圖映射到圖像域，與輸入圖像相加，重建出清晰的MR圖像。

在網絡中，所有的卷積和反卷積操作的卷積核大小為3×3，步長分別為1和2，并且適當填0，保持特征圖尺寸相同。激活函數為ReLU函數[14]。特征圖的數量在編碼的每個階段成倍增加，在反編碼的每個階段成倍減少，與特征圖的尺寸變化相反。

CNN進行訓練時，需要通過反復迭代優化網絡參數。在每次迭代中，從訓練數據中隨機挑選樣本輸入網絡，通過反向傳播算法[15]更新權重Θ={W1,b1,W2,b2,W3,b3}。本文使用歐幾里得損失函數作為能量函數，公式如下：

其中n是訓練樣本的數量，Xi是輸入的欠采MR圖像，ui是對應的金標準圖像，F代表網絡結構。

實驗中使用均值為0，標準偏差為0.001的高斯分布隨機初始化每一層的卷積核的權重，偏置全部初始化為0。本文的網絡是基于TensorFlow平臺，具有兩塊NVidia TITAN XP顯卡的工作站上實現的。本實驗使用ADAM優化算法(β1=0.9，β2=0.999，ε= 10-8)訓練網絡，每批次輸入32個訓練樣本。初始的學習速率設置為0.001，實驗迭代50000次，訓練用時約20 h。

1.4 保真

圖1 算法流程圖(A)和UNet網絡結構(B)Fig. 1 Algorithm flow chart (A)and UNet network architecture (B).

考慮到重建圖像的K空間數據與原始采集數據的一致性，本研究利用采集的K空間數據對CNN輸出的圖像進行保真處理。具體做法是：將CNN輸出圖像進行傅立葉變換后得到K空間數據，然后用采集的原始K空間數據替換掉該數據中相應的部分，合并后的K空間反傅里葉變換即可獲得最終的圖像。

圖2 不同方法重建出的中央采樣MR圖像。A：測試集中矢狀位全采集圖像(金標準)；B：中央連續采樣填零重建的圖像；C：Tukey窗函數處理的圖像；D：本文算法重建的結果；E：采樣率為30%的欠采模板；F～H分別為B～D與全采圖像的5倍差圖(絕對值)Fig. 2 Reconstructed center-sampled MR images by different methods. Top row denotes the fully sampled MR image (A), and images reconstructed by zero-filling (B), Tukey window (C) and CNN (D), respectively. Bottom row: denotes the sampling mask with sampling rate of 30% (E), and F—H are the absolute difference images (×5) from B—D to the fully sampled MR image, respectively.

圖3 不同方法重建偽隨機欠采數據的結果。A：全采集冠狀位圖像(金標準)；B：偽隨機采樣后填零重建的圖像；C：壓縮感知重建圖像；D：本文算法重建圖像；E：偽隨機采樣模板，采樣率為30%，其中中央連續采樣為10%；F～H分別為B～D與全采集圖像的5倍差圖(絕對值)Fig. 3 MR images reconstructed from pseudo-random sampled data. Top row denotes the fully sampled MR image (A) and the images reconstructed by zero-filling (B), CS (C) and CNN (D), respectively. Bottom row: (E) shows the sampling mask used (sampling rate 30%, center 10%); F—H are the absolute difference images (×5) from B—D to the fully sampled MR image, respectively.

1.5 量化評估

為了定量評價CNN重建欠采MR圖像的效果，本實驗利用測試集中的金標準圖像分別計算不同方法重建圖像的峰值信噪比(peak signal to noise ratio，PSNR)[16]、結構相似度(structural similarity，SSIM)[16]和高頻誤差范數(high frequency error norm，HFEN)[17]，并進行統計分析。其中PSNR從像素角度整體評價重建圖像；HFEN利用高頻信息從組織邊緣和細節處進行評價；SSIM從結構相似性方面對圖像進行評價。

為了與本文的算法進行對比，實驗中使用Tukey窗函數重建中央連續采樣數據，參數r設為0.65；使用分裂布雷格曼壓縮感知算法重建偽隨機欠采數據[18]，所有參數均為默認參數。

2 結果

2.1 重建圖像結果

對于中央連續采樣的數據，筆者將本文方法的結果與填零重建、窗函數的結果進行了比較，結果如圖2所示。圖2A為測試集中的全采金標準矢狀位圖像，使用圖2E的采樣模板(采樣率為30%)對K空間進行采集。從圖2中可以看出，填零重建的圖像(圖2B及其與金標準圖像的差圖2F)中丟失了許多結構細節信息，并引入了吉布斯偽影；窗函數重建(圖2C及其差圖2G)可以抑制吉布斯偽影，但會導致圖像模糊；而CNN方法(圖2D及其差圖2H)可以有效地抑制吉布斯偽影，同時在保留了圖像邊緣和結構信息方面也有較好的表現。

表1 不同方法重建中央連續采樣MR圖像的PSNR、SSIM和HFENTab. 1 PSNR, SSIM and HFEN of reconstructed central sampled MR images with different methods

表2 不同方法重建偽隨機欠采MR圖像的PSNR、SSIM和HFENTab. 2 PSNR, SSIM and HFEN of reconstructed pseudorandom sampled MR images with different methods

圖4 不同欠采模式對本文算法的影響。A：全采集的金標準橫斷位圖像；B：本文算法對中央連續采樣數據重建的結果；C：本文算法對偽隨機采樣數據重建的結果。右下角為細節放大圖塊，細節區域在圖A中用方框標出Fig. 4 The influence of different sampling schemes to CNN reconstruction. A: Fully sampled MR image; B: Center-sampled MR image reconstructed by the proposed method; C: Pseudo-random sampled MR images reconstructed by the proposed method. The lower right corner shows the region of interest which is marked in (A).

對于偽隨機欠采數據的重建，筆者將本文方法與填零重建、CS重建的結果進行了比較，結果如圖3所示。圖3A為測試集中的全采金標準冠狀位圖像，使用圖3E的采樣模板(總采樣率為30%，其中中央連續采樣10%)對K空間數據進行采集。從圖3中可以看出，由于使用偽隨機采樣方式，填零重建圖像(圖3B及其差圖3F)中有較明顯的非相干偽影；CS (圖3C及其差圖3G)和CNN方法(圖3D及其差圖3H)都可以有效地抑制非相干偽影，恢復出主要的結構信息，重建出清晰的磁共振圖像。在視覺效果上，本文方法與壓縮感知方法重建的效果相近。

為了比較不同欠采模式對CNN重建算法的影響，本研究比較了中央連續采樣和偽隨機欠采的重建結果，結果如圖4所示。從圖4中可以看出，兩種欠采模式下，CNN重建的圖像都沒有明顯的偽影，但偽隨機欠采的圖像比中央連續采樣的圖像細節更加豐富。這一點也符合預期，因為偽隨機欠采的方式保留了部分高頻信息，因此最終的重建圖像中也包含了更多的高頻信息。

2.2 量化評估結果

利用測試集中的6750張金標準圖像重復進行實驗。統計不同方法重建中央欠采和偽隨機欠采MR圖像的PSNR、SSIM和HFEN，結果分別如表1、2所示。從表1、2中可以看出，CNN重建出圖像的PSNR、SSIM明顯高于簡單的填零重建圖像，說明重建誤差較小，重建出的圖像與金標準圖像結構相似度較高；HFEN明顯低于填零重建圖像，說明本實驗可以較好地重建出高頻信息。對于中央連續采樣的MR圖像，CNN重建出圖像的評價參數都優于加窗函數重建出的圖像；對于偽隨機欠采的MR圖像，CNN重建出圖像的PSNR、SSIM優于CS重建出的圖像，但是HFEN略高。CNN重建出的偽隨機采樣MR圖像的評價參數都優于重建中央連續采樣的MR圖像，說明偽隨機采樣模式更適合CNN重建出高質量的MR圖像。

3 討論

為了縮短磁共振的掃描時間，人們提出了欠采K空間數據的方法，然而這些方法往往會導致圖像中出現偽影，有些偽影形似病灶，有些偽影會掩蓋病灶，為醫生的臨床診斷帶來困擾。CNN是具有多個隱含層的復雜結構模型，本實驗通過將大量欠采的帶有偽影和對應不帶偽影的全采集圖像輸入CNN中進行訓練，得到能夠重建出高質量MR圖像的網絡。

3.1 與傳統Unet對比

本實驗使用改進的UNet結構，網絡最后一層將提取出的抽象特征與輸入圖像相加。隨著網絡的加深，雖然提取的特征越來越具有代表性，下采操作不可避免地丟失了原始數據信息，而且網絡只提取偽影特征的難度遠遠小于重建整幅圖像的難度。在訓練過程中，網絡不斷地學習偽影圖像和金標準圖像之間的差異，直至能量函數收斂。

3.2 與其他工作對比

從實驗結果中可以看出，無論是中央連續采樣還是偽隨機采樣模式，CNN重建出的圖像都可以在抑制偽影的同時保留組織結構的細節信息。

實際成像過程中，通常使用對于截斷的K空間數據加窗函數來抑制吉布斯偽影，然而濾波操作不可避免地損失了高頻數據，導致圖像丟失細節信息，重建圖像非常模糊。本文方法重建出的截斷的K空間數據，在抑制圖像上偽影的同時恢復出腦部許多細節信息，重建出清晰的組織結構。

CS算法根據MR圖像在頻域的稀疏性，采集少量K空間數據重建出高分辨率圖像，可以有效減少掃描時間。本文重建的結果在視覺效果上與經典的CS相當，統計結果上略有優勢，重建圖像誤差較小，結構相似性也較好。CS算法的對算法參數較為敏感，計算過程中的迭代次數是由殘差容限和決定上限等超參數決定的，這些參數的設置往往取決于先驗知識，需要人們手動調參。相比之下，使用CNN進行欠采圖像的重建過程中，并不需要進行手工的參數調整。

CNN方法的另一個優勢是重建時間，本研究使用基于分裂布雷格曼CS算法[18]重建偽隨機采樣數據，該算法是速度比較快的壓縮感知算法，但重建256×256×192的MR圖像需要104 s。而CNN方法雖然訓練時間較長，但是使用CNN進行重建時，重建256×256×192的MR圖像只需要3 s。需要指出的是，很多壓縮感知的工作給出了效果更好的重建結果，但往往需要更長的計算時間，在一定程度上影響了這些方法的應用[19]。本文的方法和并行重建可以同時應用，進一步加快成像速度，提高成像質量。

3.3 不同采樣模式的對比

從圖4中可以看出在采樣率相同的情況下，CNN重建出的偽隨機采樣MR圖像更加銳利，細節部分更加清晰。表1和表2中的統計結果也顯示出，CNN重建出的偽隨機采樣MR圖像質量更高。由于中央采樣模式只采集K空間中央部分，完全拋棄周圍的高頻數據，從而導致CNN難以恢復圖像的細節信息。然而偽隨機采樣模式會隨機欠采周圍高頻部分的數據，所以輸入網絡的圖像中既包含低頻數據又具有部分細節信息，CNN比較容易學習到圖像的結構和細節特征，從而輸出高質量的MR圖像。

3.4 未來研究

本研究工作可以從以下幾個方面進行拓展：(1)本文工作只使用了T1W圖像，后續可收集更多的不同磁共振模態圖像的樣本對網絡進行訓練，提高網絡的泛化能力；(2)本文的欠采率固定為30%，后續可增加不同采樣率的MR圖像進行訓練，擴展CNN重建欠采圖像的范圍；(3)改進神經網絡，使用3D的卷積核提取MR圖像的特征，重建3D MR圖像。

綜上所述，本研究針對磁共振成像中的欠采，提出了利用CNN進行欠采圖像與全采集圖像之間的非線性映射關系，達到抑制偽影、快速重建高質量MR圖像的目的。結果表明，該方法在有效抑制偽影的同時保留了圖像細節信息，提高了圖像視覺效果，CNN在MR圖像應用中具有很大的潛力。