基于深度學習的欠采樣磁共振圖像重建研究綜述

程 航, 蔡 昕, 姜小平, 楊 光, 賈守強,聶生東

(1.上海理工大學健康科學與工程學院, 上海 200093;2.上海康達卡勒幅醫療科技有限公司, 上海 200444;3.華東師范大學物理與電子科學學院, 上海 200062;4.山東第一醫科大學附屬濟南人民醫院影像科, 山東 濟南 271100)

1 引言(Introduction)

磁共振成像(Magnetic Resonance Imaging, MRI)能夠提供對比度豐富、分辨率高的圖像,并且具有無創、無電離輻射等特點,被廣泛應用于臨床診斷中。受物理因素的限制,MRI掃描時間較長,因此需對該過程進行加速。常用的加速策略有兩種:①并行成像(Parallel Image, PI)[1],使用多組線圈同時采集信號;②壓縮感知(Compressed Sensing, CS)[2],只采集部分數據點,從而減少采樣時間。通常,PI在不嚴重損失圖像質量的情況下,加速因子為2或3,而CS能以更大的加速因子降采k空間(傅里葉空間)的信號。因此,基于CS降采樣的MRI(CS-MRI)重建技術成為近年來磁共振(Magnetic Resonance,MR)圖像重建方法領域的熱點研究內容之一。

隨著深度學習技術在圖像處理領域大放異彩,為MR重建提供了新的工具,主流重建方法大致分為兩類:模型驅動(Model-Driven)與數據驅動(Data-Driven)。模型驅動是以特定的優化方程為基礎,通過數學推導,使優化方程變形為適合組成深度網絡的形式,并結合人工神經網絡(Artificial Neural Network, ANN)形成的一類重建方法。數據驅動則是完全使用ANN,如卷積神經網絡(Convolutional Neural Network, CNN[3])、對抗生成網絡(Generative Adversarial Network, GAN[4])等進行重建的一類方法。本文主要介紹基于模型驅動與數據驅動的欠采樣磁共振成像重建算法,闡述它們各自的特點、發展情況及應用場景,并對MR圖像重建技術未來的發展方向進行展望。

2 數據驅動的重建方法(Data-driven reconstru-ction method)

隨著深度學習將各類ANN引入人們的視野,基于數據驅動,也稱端到端(End-to-End, E2E)[5]的重建方法應運而生。數據驅動方法主要流程如圖1所示:首先,對MR圖像進行預處理,如灰度標準化等;其次,構建適用特定任務的神經網絡,使用訓練集進行網絡訓練,使用驗證集與測試集評估網絡的性能;最后,對網絡的輸出進行后處理,提升結果圖像的質量。

圖1 基于數據驅動的MR圖像重建流程圖Fig.1 Flowchart of data-driven-based MR image reconstruction

2.1 基于CNN的重建方法

CNN通過多層卷積操作提取圖像中的信息,將信息整合得到最后的輸出。WANG等[3]使用一個3層的CNN重建降采樣的MR圖像,該網絡采用k空間填零重建后的圖像作為預訓練的CNN輸入,最終生成全采樣圖像。然而,這樣的訓練方法存在數據不穩定的問題,即輸出的數據可能因為輸入數據的微小變動而發生大幅度改變,這不符合實際情況。為此,深度級聯神經網絡(Deep Cascade CNN)[6-7]提出一種新的操作:數據一致性(Data Consistency, DC),該操作能有效防止網絡由于過擬合等因素導致重建結果對應的k空間與真實k空間在數值上的不連續問題。針對Cartesian采樣的DC操作較為成熟,而針對non-Cartesian采樣的DC操作還存在諸多挑戰。為此,CHEN等[8]提出4種不同的用于non-Cartesian采樣的DC操作,并以U形網絡[9](U-Net)為重建網絡進行了測試。結果顯示,相比不使用DC的重建圖像(NRMSE=0.169),使用conjugate gradient DC能獲得誤差最小的重建圖像(NRMSE=0.117)。GAN等[10]在使用CNN重建的基礎上,在網絡中加入另一個獨立的CNN用于圖像配準,以降低掃描過程中患者的運動對圖像質量的損害。

U-Net[9]的編碼-解碼連接方式能提升深層卷積核的視野,為深層網絡提供更多上下文信息用于推斷。此外,U-Net中的跳躍連接使編碼特征與解碼特征融合,充分利用數據的全局特征,提高了重建圖像的質量。王一達等[11]使用基礎U-Net作為網絡,并利用數據擴增技術獲得包含100萬張2D MR圖像的訓練集,最終重建圖像的SSIM達到0.93。EO等[12]提出KIKI-net用于圖像域與k空間的雙域卷積,彌補了以往單域重建工作中,對另一域數據利用不充分的缺陷。張登強等[13]提出的雙域并行編解碼網絡(DPC-Net),使用2個U-Net進行雙域重建。相較于KIKI-net,DPC-Net中用于重建k空間的U-Net會將每一層特征圖經過逆傅里葉變換后與用于重建圖像域U-Net的對應層特征圖相加,實現了雙域間的特征融合。

殘差(Residual)結構由卷積層與殘差連接組合而成,殘差連接將卷積層的輸入與輸出相加,能有效提高網絡的抗干擾能力。DUAN等[14]將殘差結構與密集連接思想結合的網絡模塊(Residual Dense Block, RDB)進行級聯,設計出用于重建肺形態學測量的擴散加權磁共振成像(DW-MRI)的新網絡,并從統計學的角度證明,金標準圖像與重建圖像之間沒有顯著性差異。WU等[15]提出的T-Net,將殘差結構與層級化的網絡結構結合。層級結構提高了特征圖的稀疏性并擴大了感受野,而殘差結構補償了層級結構運算中的細節損失。

2.2 基于GAN的重建方法

YANG等[4]使用U-Net代替CNN作為GAN的生成器,以獲得更豐富的重建細節。同時,使用VGG作為特征提取器,以生成器生成的圖像與真實圖像之間為輸入,將輸出作為判別器損失函數值的一部分。BELOV等[16]利用GAN與CNN結合進行了一系列實驗。他們將輸入圖像的長和寬各縮小一倍,對縮小圖像的k空間進行降采樣,并使用超分辨率GAN(SRGAN[17])與U-Net的不同組合形式,對圖像進行重建與提升分辨率。結果發現,先使用SRGAN提升分辨率,再使用U-Net去偽影,對圖像質量的提升效果最好。LIU等[18]將注意力機制引入以U-Net作為GAN的生成器,使網絡依據數據自適應地選取更有價值的信息。LV等[19]在生成器中融合了正則化操作,并在圖像域與k空間都運用增加了pixel-wise的混合損失函數。LI等[20]在以U-Net為生成器的GAN中加入了基于空間與通道的注意力機制。空間注意力機制先獲取該層所有特征圖的均值特征圖,在均值特征圖中學習應關注的特征,便于準確定位有效信息。基于通道的注意力機制獲取通道維的全局平均池化,便于重建圖像的細節部分。

綜上,基于數據驅動的重建方法,利用不同類型的ANN對MR圖像進行重建。這些方法的性能主要取決于網絡自身結構與訓練數據量。網絡自身結構旨在整合網絡各層次特征,提升重建效果,如上述的跳躍連接及殘差連接。數據量越大,意味著可學習的樣本越多,網絡的性能就越穩定,泛化能力也越強。此外,基于GAN的重建方法,設置判別器損失函數也十分重要。不同的損失函數具有不同的特性,例如l2損失能夠保存圖像的主要結構;l1損失能丟棄一些低強度噪聲,提升分辨率[21]。因此,選擇適用于特定任務的一個或多個損失函數組合能夠提升網絡的性能表現。然而,數據驅動方法也存在如下不足:①訓練數據都是有偏差的,導致模型也存在偏差,難以泛化;②數據驅動加重了ANN的“黑箱”特性,網絡具體獲取了哪些特征更難判斷。

3 模型驅動的重建方法(Model-driven recons-truction method)

模型驅動的重建方法,也稱優化展開(Unrolled Optimiza-tion, UO),是傳統重建算法與ANN和深度學習思想結合的方法。傳統重建算法存在耗時長、精度低等缺陷且難以在高降采率圖像上獲得較好的重建結果。模型驅動方法可避免復雜的人為操作,如正則函數、稀疏函數的選擇等,并且對于輸入與輸出之間強大的非線性映射能力,更適用于處理復雜的醫學圖像。模型驅動方法有3個關鍵因素:數學模型、優化方法和深度網絡。數學模型是UO的基石,從理論上建立輸入數據到輸出數據之間的映射關系。優化方法是網絡內參數更新的具體過程,如梯度下降法(Gradient Descent, GD)、交替乘子法(Alternating Direction Method of Multiplier, ADMM)等。深度網絡是優化方法展開的結果。UO使用帶有自由參數的網絡模塊代替傳統優化方法中的方程,再將這些網絡模塊組合成一個完整的重建步驟。通過重建步驟間的級聯操作形成深度網絡。這樣的網絡具有清晰的數學結構,因此可以根據先驗知識,對網絡中的特定部分進行修改。模型驅動方法的主要流程如圖2所示。

圖2 基于模型驅動的MR圖像重建流程圖Fig.2 Flowchart of model-driven-based MR image reconstruction

3.1 單輸入單輸出型重建模型

單輸入單輸出(Single In Single Out, SISO)的重建模型所需的輸入數據為單線圈的MR圖像。獲取這類圖像通常需要將多線圈的k空間數據做傅里葉逆變換得到每個通道對應的圖像域數據,再進行通道合并獲得。這樣處理的優勢在于輸入輸出數據簡單、直觀,劣勢在于丟失了線圈之間的信息。

受ADMM的啟發,YANG等[22]以ADMM為優化方法,設計出Generic-ADMM-CSNet(簡稱ADMM-CSNet)。ADMM-CSNet讓稀疏變換和輸入數據解耦,使網絡能夠對MR圖像外的自然圖像進行處理。此外,ADMM-CSNet能夠處理復數格式的輸入數據。本文使用磁場強度為3 T的MRI掃描儀獲取的腦部數據與胸部數據作為測試集證明ADMM-CSNet的重建圖像質量更高。但是,ADMM-CSNet存在只處理單線圈數據,而不能處理多線圈數據的缺陷。

迭代閾值收縮網絡(ISTA-Net[23])是以迭代閾值收縮算法(Iterative Shrinkage Thresholding Algorithm, ISTA)為優化方法,創新地使用了一個能在訓練過程中顯式地學習稀疏變換的CNN模塊。ISTA-Net+[23]將殘差結構與ISTA-Net融合,增強了原網絡的穩定性。此外,ISTA-Net+在不同層之間進行參數共享,在完全共享參數的條件下,網絡參數比完全不共享參數低一個數量級,而PSNR僅降低0.83。ISTA-Net++[24]提出動態展開策略(Dynamic Unfolding Strategy, DUS),將采樣率也作為輸入數據的一部分,通過網絡內的卷積層獲取輸入的降采樣圖像與降采樣率之間的關系,實現了同一網絡重建不同降采樣率的圖像。

3.2 多輸入多輸出型重建模型

在實際采樣過程中,往往采用多線圈進行采樣,而線圈之間的信號存在一定冗余,有效利用這些冗余信號能夠讓我們以更大的加速因子進行降采。多輸入多輸出(Multi In Multi Out, MIMO)的重建模型以不同線圈信號作為輸入,彌補了SISO中損失的線圈間特征。

HAMMERNIK等[25]以梯度下降法(Gradient Descent,GD)作為優化方法,設計出能用于重建多通道數據的變分網絡(Variational Net, VN)。VN中通過傳統方法計算得到的敏感度圖,需要使用k空間的ACS(Auto Calibration Signal),即全采的低頻信號。這導致k空間中心區域采集的信號增多,采樣時間加長。為此,SRIRAM等[26]提出了一種改進的VN:端到端的變分網絡(End-to-End VarNet)。他們使用一個獨立的U-Net從訓練過程中學習敏感度圖,使網絡只需獲取少量ACS數據,也能準確計算出敏感度圖,從而提高了降采率。AGGARWAL等[27]提供了結合了深度學習先驗信息的模型驅動方法的系統性設計過程。此外,重建步驟間的權重共享能使收斂性與網絡復雜度解耦,避免在網絡中增加重建步驟時,同步增加網絡參數量導致過擬合。AGGARWAL等[28]提出的基于模型的聯合深度學習方法(J-MoDL)將采樣矩陣作為可學習的參數,與重建過程一起訓練,并指出網絡可能會由于優化問題的高度非凸性而陷入局部最小值,而SGD能有效地找到較優解。

綜上,基于優化展開的方法將傳統優化方法與CNN結合,使網絡依據訓練數據學習傳統方法中需要人為設定的函數,減輕人為交互的負擔與不確定性。對部分優化展開方法的總結如表1所示。基于優化展開方法存在如下問題:①大部分工作針對實數圖像開展。直接從MR儀器上獲取的數據通常為多通道的復數數據,實數數據只保留了原始復數數據的幅值信息,損失了相位信息。②這類算法都依托于特定的優化方法,導致對重建方法的改進會受到原有方程形式的限制,改進空間有限。③基于二維與三維網絡的工作較多,而基于四維網絡的工作較少。KüSTNER等[29]在三維重建網絡的基礎上,增加時間維度,實現對高維數據的重建。由于增加了一個維度的信息,數據的冗余度增大,因此可以使用更高的降采率,進一步縮短了采樣的時間,更容易滿足實時重建對速度的要求。

表 1 5種優化展開方法總結Tab.1 Summary of five unrolled optimization methods

4 挑戰與未來工作(Challenges and prospects for future work)

隨著MR數據集的擴充與高性能網絡架構的提出,基于深度學習的重建算法顯現出比傳統方法更大的潛力,但仍存在值得深入研究的問題。

(1)網絡設計。UO的優勢在于具有清晰的數學結構,能使網絡迅速收斂,并達到較高的重建效果;缺點在于網絡體積較大,學習能力較弱。E2E則與此相反,它的網絡體積小,訓練速度快,學習能力的強弱與所使用的網絡緊密相關;但這類網絡必須要經過長時間的迭代才能達到一定的精度,未來如果能在此基礎上加入一些先驗知識,就能在保持網絡學習能力的同時,減少網絡的訓練時間。如今,越來越多的實驗將二者的特性更為緊密地結合在一起,因此混合式重建模型將更具潛力。

(2)并行成像的壓縮感知混合(PI-CS)。隨著網絡與硬件技術的不斷發展,研究人員可以使用性能更強的網絡在更大的數據集上更快地訓練所需的模型。對于單一的CS或PI任務而言,已有很多工作能夠實現在4倍、8倍乃至更高的加速因子下完成MRI重建任務。為了實現更高速的采樣,就需要在單次掃描中創造更多的信息冗余,而PI正好能滿足要求。已有文獻對PI+CS這樣的混合加速模式進行探索[25-26,30],因此PI-CS的降采樣模式勢必會成為未來的研究熱點。

(3)多模態。在MRI重建領域另一個值得關注的點是多模態或多對比度重建。使用特定序列進行成像,能在一次掃描中獲得多種對比度的輸出,使圖像中信息的集中度不同,為重建帶來更豐富的信息[31]。目前的重建工作大多在單一對比度的數據上表現良好,但缺少在其他對比度數據集上的泛化能力。解決該問題的通常做法是遷移學習,將已訓練好的模型在新數據集上再次訓練,但會增加時間成本。對模型使用多模態數據進行訓練能增強模型泛化能力,使模型預先適應不同模態的圖像,節省使用遷移學習所帶來的額外開銷。此外,ISAT-Net++提出的DUS,將不同的CS采樣率作為網絡的一項輸入,使最終訓練完成的網絡可以適應不同CS采樣率的MR圖像,相似的方法也可以用來訓練能適應不同模態圖像的模型。

5 結論(Conclusion)

本文主要介紹了深度學習技術在磁共振圖像重建領域中的兩種具體應用,即模型驅動與數據驅動。無論是模型驅動還是數據驅動,都越來越緊密地同深度學習結合起來,以實現更高的采樣倍率以及更優的重建效果,但仍有問題亟待解決。未來,應繼續深入挖掘深度學習的優勢,并將這些優勢同MR圖像重建任務結合起來,進一步提升重建圖像質量,為MR圖像降采樣技術實現更好的臨床應用而不斷努力。