基于深度學習重建常規頭部2D T1WI超分辨率圖像質量

劉高平，曲太平，許 強，張其銳，李秀麗，張志強，盧光明*

[1.南京大學醫學院附屬金陵醫院(東部戰區總醫院)放射診斷科，江蘇 南京 210002；2.深睿醫療人工智能研究院，北京 100080]

MR結構成像、尤其高分辨率腦MR結構成像量化觀察腦形態已成為腦發育、衰老和疾病等腦科學研究的最重要工具之一[1-3]；但由于掃描過程耗時較長等原因，目前高分辨率MR結構像主要用于科學研究，而臨床診斷多采用厚層MR結構圖像。利用超分辨率重建技術能將低分辨率圖像重建為高分辨率圖像，插值算法為其最基礎的算法，但無法增加圖像信息，導致重建圖像的細節常較模糊[4-5]。近年來，人工智能深度學習(deep learning,DL)技術在醫學影像領域廣泛應用[6-8]，基于DL的超分辨率重建技術已在醫學圖像超分辨率重建方面取得較好效果[9-10]，但上述研究均未同時采用在臨床環境中獲取的低分辨率和高分辨率圖像，且未深入評估重建圖像的定量化分析能力。U-net模型在圖像分割方面應用廣泛[11]，在其基礎上通過更改解碼器大小、交換卷積層與合并層順序及保留邊緣信息等獲得的改良U-net(modified U-net,M U-net)超分辨率模型可用于預測圖像灰度，且在CT圖像相關研究中表現優異[12]。本研究以用于腦形態學研究的高分辨率薄層3D T1WI為對照，評價基于DL的M U-net模型常規厚層2D-T1WI超分辨率重建圖像質量及其在腦形態學定量分析中的價值。

1 資料與方法

1.1 一般資料 提取2009年5月—2017年12月南京大學醫學院附屬金陵醫院730例頭部MRI,包含常規臨床診斷2D T1WI和高分辨率3D T1WI，均無肉眼可見結構異常；按7∶3比例將其分為訓練集(n=500)與測試集(n=230)。

1.2 儀器與方法 采用Siemens Magnetom Trio Tim 3.0T MR掃描儀及8通道頭部線圈采集頭部圖像。軸位2D T1W：快速自旋回波序列，TR 350 ms，TE 2.46 ms，FOV 256 mm×256 mm，矩陣320×320，NEX 2，層厚4 mm，層間距0.4 mm，共掃描30層；3D T1W：矢狀位三維磁化準備快速梯度回波序列，TR 2 300 ms，TE 2.98 ms，FOV 256 mm×256 mm，矩陣256×256，NEX 1，層厚1 mm，層間距0，共掃描176層；同時采集T2WI、T2-液體衰減反轉恢復序列圖像、彌散加權成像和磁敏感加權成像以輔助診斷。

1.3 超分辨率重建圖像 應用基于DL的M U-net模型對2D T1WI進行超分辨率重建。首先進行預處理：①將2D T1WI配準到蒙特利爾神經學研究所(Montreal Neurological Institute,MNI)標準空間作為源圖像；②將3D T1WI配準到源圖像，以獲得目標圖像；③應用配對源圖像和目標圖像作為訓練數據，針對MNI空間中的每個冠狀切片提取4個有重疊的、體素大小為128×128的配對圖像塊，用于訓練M U-net模型。之后將M U-net模型基于源圖像塊合成高分辨率圖像塊，再合成高分辨率薄層圖像(圖1)。

應用ANTS(https://github.com/ANTsX)工具箱，以線性插值算法將測試集2D T1WI重建為高分辨率薄層圖像(圖1)。以3D T1WI為真實對照，采用Matlab R2018b軟件計算峰值信噪比(peak signal-to-noise ratio,PSNR)，評價重建圖像的準確性；計算結構相似度(structural similarity,SSIM)，從亮度、對比度和結構各方面比較重建圖像與真實對照圖像之間的相似性，并獲得重建圖像及真實圖像的全腦灰度分布直方圖。

圖1 訓練及測試基于DL M U-net超分辨率重建模型的流程

1.4 基于體素的形態學定量分析(voxel-based morphometry，VBM) 應用cat12軟件(http://www.neuro.uni-jena.de/cat12-html/)行VBM，并計算相對灰質體積。先以12個參數仿射非線性變換將每例圖像變換到標準MNI空間，重采樣為1.5 mm×1.5 mm×1.5 mm，之后將圖像分割為灰質、白質和腦脊液，并以8 mm全高半寬高斯核對所獲相對灰質體積圖像行進一步平滑。根據解剖自動化標記(anatomical automatic labeling,AAL)腦圖譜將相對灰質體積圖像劃分為122個ROI，AAL中ROI編號及對應ROI信息見cat12官網。

1.5 基于皮層的形態學定量分析(surface-based morphometry,SBM) 應用FreeSurfer 5.3軟件(http://surfer.nmr.mgh.harvard.edu/)行SBM，并計算皮層厚度。對每例圖像進行自動分割，獲得皮層表面3D重建圖像；創建灰質/白質分界面和灰質/腦脊液分界面，以每個頂點的皮層厚度為灰質/白質分界面與灰質/腦脊液分界面的最短距離。根據DKT腦圖譜[13]將皮層厚度圖像劃分為62個ROI，ROI信息見FreeSurfer官網；其中1，3，5，…，61為按順序排列的左側大腦半球皮層ROI，2，4，6，…，62為右側大腦半球皮層ROI。

1.6 統計學分析 采用SPSS 25.0統計分析軟件。以±s表示計量資料。采用配對t檢驗比較2組重建圖像間PSNR及SSIM的差異。以組內相關系數(intra-class correlation coefficient,ICC)評估測試集各超分辨率重建圖像與真實對照圖像在不同ROI水平和體素/頂點水平下的相對灰質體積和皮層厚度結果的一致性，ICC<0.4表示一致性較低，0.4≤ICC<0.8表示一致性尚可，ICC≥0.8為一致性較高。以雷達圖展示各ROI水平下相對灰質體積/皮層厚度的ICC，圖中每個坐標編號對應AAL或DKT腦圖譜中的1個ROI。以兩樣本t檢驗比較各重建圖像ROI水平下相對灰質體積與皮層厚度的ICC檢驗結果的差異。采用Matlab R2018b軟件將體素水平相對灰質體積的ICC檢驗結果轉換至MNI空間，并以MRIcron軟件(https://www.nitrc.org/projects/mricron/)將其疊加于標準模板進行展示；以SurfStat工具包(https://math.mcgill.ca/keith/surfstat/)將頂點水平皮層厚度的ICC檢驗結果轉換至皮層空間，并輸出為圖像展示。P<0.05為差異有統計學意義。

2 結果

2.1 重建圖像質量 目視分析灰度圖像發現，相比插值重建圖像，M U-net重建圖像所示灰質、白質及腦脊液邊界更清晰，且相對灰質體積圖像和皮層厚度圖像，其分布模式更接近真實對照(圖2A)。灰度圖像全腦灰度分布直方圖顯示，M U-net重建圖像的分布模式更接近真實對照(圖2B)。與插值重建圖像相比，M U-net模型重建圖像的PSNR及SSIM更高(t=4.43、21.81，P均<0.01，圖2C)。

圖2 測試集頭部重建圖像及其質量 A.M U-net模型及插值重建頭部灰度圖像、相對灰質體積圖像及皮層厚度圖像與真實對照比較；B.M U-net模型及插值重建灰度圖像全腦灰度分布直方圖；C.M U-net模型與插值重建圖像的PSNR和SSIM比較 (*：P<0.05)

2.2 VBM一致性 M U-net模型重建圖像與真實對照所示ROI水平相對灰質體積一致性較高(ICC≥0.8)的ROI數目(78個)多于插值重建圖像(3個)；其在小腦區域的一致性最低(ICC為0.68±0.14)，而在大腦皮質區域，尤其在額葉(ICC為0.93±0.04)及運動區(ICC為0.94±0.02)的一致性較高(圖3)。M U-net模型重建圖像與真實對照所示體素水平相對灰質體積的整體一致性的ICC為0.81±0.16，70.24%的體素與真實對照一致性較高；插值重建圖像與真實對照的整體一致性低于M U-net重建圖像 (ICC為0.59±0.16)，僅4.09%的體素一致性較高(圖3)。

2.3 SBM一致性 插值重建圖像與真實對照所示ROI水平皮層厚度的一致性均較低(ICC均<0.4)，而M U-net模型重建圖像與真實對照間的整體一致性尚可(ICC為0.50±0.14，圖3)。插值重建圖像與真實對照對于頂點水平皮層厚度的整體一致性較低(ICC為0.10±0.09)，而M U-net模型重建圖像與真實對照的整體一致性的ICC為0.45±0.14，在63.90%的區域一致性尚可(圖3)。2組重建圖像與真實對照均無皮層厚度一致性較高區域。

圖3 M U-net模型及插值重建圖像形態學定量分析的一致性 A、B.分別為ROI水平相對灰質體積(A)及皮層厚度(B)的ICC檢驗結果；C、D.分別為體素水平相對灰質體積(C)及頂點水平皮層厚度(D)的ICC檢驗結果(色帶為ICC)

2.4 VBM與SBM結果比較 對于M U-net模型及插值重建圖像，ROI水平相對灰質體積的ICC檢驗結果均高于皮層厚度(t=13.00、22.48，P均<0.01)。

3 討論

超分辨率重建圖像的算法分為基于插值、基于重構和基于學習算法[14]。基于插值的重建算法包括最鄰近插值、線性插值及樣條插值等，簡單、快速，但無法引入額外的有效信息，重建圖像常較模糊。基于重構算法包括迭代反投影法、凸集投影法和最大后驗概率法等，可在一定程度上改善插值法圖像邊緣模糊問題，但因依賴降質模型，對配準算法及先驗知識要求較高[14]。基于學習的重建算法通過學習低分辨率圖像與對應高分辨率圖像間的映射關系進行重建，早期采用稀疏化表達、低秩、典型相關分析及隨機森林等機器學習方法[14]；隨著深度卷積神經網絡的發展，可利用端到端的學習方式實現從低分辨率圖像到高分辨率圖像的映射，重建效果更佳。

既往超分辨率醫學圖像研究多采用模擬低分辨率圖像。PHAM等[15]采用高斯模糊及下采樣技術，從高分辨率MRI生成低分辨率圖像；CHEN等[16]模擬低分辨率MRI采集流程，從高分辨率MRI生成低分辨率圖像；均證明基于DL的超分辨率重建算法對于模擬數據可獲得良好重建效果。本研究分析相同受試者單次頭部常規MR 2D T1WI和3D T1WI，評價以M U-net模型為代表的DL超分辨率算法重建圖像質量及其在腦形態學定量分析中的表現；目視分析結果顯示M U-net模型重建圖像質量高于傳統插值重建圖像，且前者 PSNR及SSIM高于后者，VBM及SBM結果顯示前者與真實對照的一致性均高于后者，與既往相關研究[15-17]結果相符；定量分析結果顯示，M U-net模型重建圖像在VBM中的準確性高于SBM，推測原因可能在于灰質體積和皮層厚度分析方法或工具包處理過程(如分割和空間變換)存在差異。本研究發現，VBM中，M U-net模型重建不同腦區圖像與真實對照的一致性存在差異，在大腦皮質區域、尤其額葉及運動區域的效果較好，而在小腦區域表現不佳，可能與其解剖學特性有關：大腦皮質區域灰質與鄰近組織(包括腦白質、腦膜和腦脊液等)的對比度高，而小腦灰質分布模式精細，鄰近組織結構復雜，可能影響超分辨率重建、尤其基于DL的超分辨率算法的性能。以上結果提示，以M U-net模型為代表的DL超分辨率重建技術能較準確地輔助VBM定量分析大腦皮質區域，尤其額葉和運動區。

綜上所述，基于DL的M U-net模型超分辨率重建能有效提高常規頭部2D T1WI質量，有助于對臨床常規厚層2D T1WI進行形態學分析,尤其以額葉、運動區為代表區域的VBM形態學分析。但本研究采用無結構異常的腦MRI為測試集，未能評估重建圖像用于診斷疾病的效能，有待進一步觀察。