基于深度學習技術的磁共振成像研究進展

羅伶俐，王遠軍

上海理工大學醫學影像工程研究所，上海200093

前言

磁共振（Magnetic Resonace,MRI）成像是具有高空間分辨率，成像過程無電離輻射的一種無創性診斷工具，在臨床醫學影像診斷中具有重要作用。但因掃描時間過長，對于需獲取瞬間信息的組織器官，會由于器官運動而產生運動偽影，因此動態MR成像的時間分辨率很差［1］。因此，為減少MRI掃描時間而對k空間進行欠采樣，但由稀疏數據重建的圖像易產生混疊偽影，對此有兩種解決方法：一種是平行成像（Parallel Imaging,PI）［2］，主要利用多通道接收線圈的靈敏度編碼，與全采樣條件下成像圖像像素之間的映射關系來消除混疊偽影；另一種是基于壓縮感知（Compressed Sensing,CS）原理的圖像重建算法［3］，利用信號在變換域中的稀疏性，通過非線性重建算法來消除偽影。

但隨著大數據時代的到來及計算機硬件的飛速發展，近年來人們開始重視深度學習的作用，深度學習在計算機視覺和圖像處理等領域均獲得了巨大成功。而在醫學成像領域也引起了廣大學者的重視。近年來許多學者將人工神經網絡（Artificial Neural Network,ANN）應用到MR快速成像中。本文著重介紹深度學習在MR成像中的幾種不同應用方式，對該成像方法做出回顧性總結，并對其在未來的應用做出展望。

1 深度學習在MR成像中的應用

1.1 基于圖像域學習的MR成像方法

基于圖像域學習的MR 成像方法主要通過學習偽影圖像與去偽影圖像之間的映射關系來消除圖像中的偽影。其中較為典型的是基于多層感知器（Multilayer Perceptron,MLP）的MR 快速并行成像方法［4‐5］，該模型基本結構見圖1［6］。Golkov 等［4］設計的MLP 結構中減少了所需的擴散加權圖像的數量，以適應擴散MR 成像的q 空間模型。Kim 等［5］則減少MLP 結構所需的相位循環圖像的數量，以去除帶狀偽影。Kwon 等［6］則在PI的基礎上將MLP 結構進一步應用到各類數據采樣模式下，以評估該模型在不同采樣模式下的適用性。

圖1 基于MLP結構的MR成像方法Fig.1 Magnetic resonance imaging based on multilayer perceptron structure

MLP應用于MR快速成像呈現了巨大優勢：由于訓練后的參數模型比手動設定的特征或全局變換能更有效地擬合訓練數據，因此可從高度欠采樣的k空間數據中恢復圖像。此外，不同于傳統迭代算法，基于MLP的訓練網絡無需利用先驗信息多次迭代以保真數據，只包括內積運算和最大化運算，因此成像速度很快。 同時在沒有自動校正數據（Auto‐Calibration Signal,ACS）的采樣模式下，該方法仍能有效消除噪聲，快速成像。

除了以上方法，Wang 等［7］設計的卷積神經網絡（Convolutional Neural Networks,CNN）旨在抑制由二維偽隨機采樣產生的類噪聲混疊偽影。Chaudhari等［8］設計了一個20層的CNN，在實現精準生物標記而提高圖像信噪比的同時可實現亞毫米級的高分辨率。Schlemper等［9］為更好地評估ANN在成像應用中產生的偏差，引入貝葉斯深度學習，以對ANN能否生成理想圖像進行建模。Lee等［10］則將殘差學習引入到MR快速成像中。可見目前基于圖像學習的MR成像方法有很大的研究進展。但非線性重建算法的通病在于重建圖像易產生結構相關偽影。另一方面，此類方法不能處理意外情況下未經訓練的數據（例如改變成像視野和輸入圖像的大小）。因此基于深度學習方法的大部分模型有待進一步提高以應對潛在變化的輸入數據。

1.2 基于k空間數據學習的MR成像方法

基于k空間數據學習的成像方法主要通過ANN對欠采樣k空間數據進行插值后，再進行成像。目前就傳統重建算法而言，k空間數據插值最前沿的方法之一是基于零化濾波的低序漢克爾矩陣方法（Annihilating Filter‐based Low Rank Hankel Matrix Approach,ALOHA）［11‐12］。其基本思想是：若圖像域的底層信號是稀疏的，且可被表示為有限更新率（Finite Rate of Innovations,FRI）為s的信號，則由其k空間數據?構建的漢克爾矩陣Hd(?)（d表示該矩陣束大小,d＜s）是低秩的。若?中的數據丟失，則可通過帶有丟失數據的低秩漢克爾矩陣來恢復數據［13］。

但該方法的計算量太大，且漢克爾矩陣的存儲占用了很大的內存空間。為解決這些問題，Han等［14］在此基礎上引入了深度學習方法，提出了DeepALOHA 網絡：將欠采樣k空間數據?作為輸入數據，用白化濾波器?將輸入數據轉變為FRI信號，即，后由CNN 來填補k空間中缺失的數據，再除以原來的權重，即，得到插值后的k空間數據結構?，經傅里葉逆變換后可得到理想圖像。同時為應對非線性采樣的情況，對輸入數據進行了重柵格化的預處理。該模型結構見圖2［14］。

圖2 DeepALOHA網絡模型Fig.2 DeepALOHA network model

該網絡經有效訓練后，在不同的采樣模式下均能進行高效的成像。且相比同條件下基于圖像域學習的MR成像方法，基于頻域學習的成像方法生成的圖像質量更高，與原圖的偏差更小。Cha等［15］在此基礎上，將深度學習方法進一步引入到MR血管造影并行成像中，采用了能夠有效維持圖像細節的緊框架U‐net（Tight‐frame U‐net）用于對欠采樣k空間數據進行插值校正［16］。該方法在有效提升圖像空間分辨率和時間分辨率的同時，大大縮短了成像速度。由此可見，基于k空間數據學習的成像方法相較常見的并行成像技術（如GRAPPA、SENSE 等）提升了計算效率，為MR快速成像提供了一種新的思路。

1.3 保障圖像域與對應頻域數據一致性的成像方法

基于圖像域學習的MR 成像方法更傾向于圖像去噪，未能充分利用到頻域數據，因此導致網絡生成的圖像無法與原始頻域數據聯系起來。為保證頻域數據與圖像域數據的聯系，Schlemper 等［17］將數據一致層（Data Consistency Layer,DCL）引入到了基于級聯網絡（Cascaded Network）學習的MR 成像方法中。此類方法在利用ANN 提升圖像質量后，將圖像域中改善后的信息回饋給原始的k空間數據，后再進行最終圖像。

1.3.1 數據一致層對于訓練參數為θ的神經網絡fc，輸入值為帶偽影圖像xu，輸出值為期望圖像xt，其關系可表示為xt=fc（xu|θ）。兩幅圖像對應的頻域數據可表示為：yt=Fxt，yu=Fxu，F 表示傅里葉變換，對k空間數據的修正如下：

其中，Ω 為采樣掩膜，在無噪聲環境下（即λ→∞），用原始k空間中的數據表示yrec中已采樣的數據，即將不屬于采樣掩膜Ω 下的頻域數據填補進k空間。之后可對作傅里葉逆變換后可重建圖像。

1.3.2 DCL的應用Schlemper 等［17］參考字典學習（Dictionary Learning, DL）的成像模型結構［14］，提出了一種級聯網絡結構，即交替地連接CNN與DCL，結構見圖3［18］。相比基于CS 理論的MR 成像算法中較前沿的字典學習方法（DLMRI），CNN 中的大部分參數可通過訓練進行調節，自由度大于DL 中的參數，因此可在提高計算效率的同時學習到更精準的數據轉換方式，從而進一步提高圖像精度。

在此基礎上，Schlemper等［19］將基于CNN和DCL的級聯網絡進一步應用到MR動態成像中，并取得了不錯的快速成像結果。Knoll等［20］對該級聯網絡中的DCL 層進一步修改，并用U‐Nets 替代了CNN 以消除由CNN 帶來的圖像偽影，該方法被用于距掃描的CT稀疏角度成像算法中，保障了圖像數據與頻域數據的緊密聯系，且更好地保存了圖像整體結構。Dedmari 等［21］則引入了DenseNet，結合DCL 進行快速MR成像，結果顯示該方法在無需大量訓練的情況下，對不同欠采樣率的情況呈現了很好的魯棒性。可見DCL 有效保障了不同數據之間轉換關系，預防了因單獨處理圖像域數據而造成數據轉換關系脫節的情況，進一步提升了重建圖像的質量。

1.4 基于流形逼近的自動轉換MR成像方法

MR成像問題主要在于解決頻域數據和時域數據之間的轉換問題。通常對于線性采樣的MRI而言，實現數據域轉換的常見方法是傅里葉變換。而對于非線性采樣的MRI成像而言，單憑傅里葉變換進行成像是遠遠不夠的，由于多重因素決定了重建圖像的精度，需利用迭代算法結合先驗信息進行圖像重建，但誤差依舊很大。若找到頻域數據與圖像域數據之間精準的映射關系能大大簡化MR圖像重建過程。為此，一種基于深度學習的端對端成像方法應運而生。Zhu等［22］提出了一種基于流形逼近的自動轉換（Automated Transform by Manifold Approximation,AUTOMAP）成像方法，該方法無需其他先驗信息，主要通過監督學習的方式，在進行大量訓練的基礎上學習頻域數據與圖像域數據間的映射關系。

實現AUTOMAP 的深度神經網絡主體結構見圖4［22］，主要由全連接層，卷積層和反卷積層構成。其中全連接層用于估計頻域數據與圖像域數據之間的流形映射關系，卷積層用于提取圖像中的高級信息，反卷積層則用于將提取到的特征進行可視化，輸出最終圖像。同時流形學習的引入更有效率地處理高維空間中的數據分布：將輸入數據x在進行訓練之前映射到流形X上，該網絡在學習輸入流形X與輸出流形Y之間的映射關系后，將輸出流形Y映射到歐氏空間中以顯示圖像y。

基于AUTOMAP 的MR 成像方法相較傳統的迭代重建算法，能更有效地去除圖像偽影，且對噪聲更魯棒。Knoll等［23］將該方法引用到了生成式對抗網絡中以消除MR心臟成像中的運動偽影，結果表明該網絡的表現遠遠優于傳統的圖像重建去噪方法。但由于網絡中的多層全連接層導致待訓練參數量很大，從而占用了大量內存。為解決這個問題，Oh 等［24］嘗試用循環神經網絡（RNN）來替代AUTOMAP 深度網絡中的全連接層以大大減少待訓練的參數量，同時RNN 能在不使系統過載的情況下，將前序信息反映到下一時間步的輸出結果中，加強了深度神經網絡中前后序信息的緊密聯系，也保證了圖像重建精度。

AUTOMAP的提出為MR成像的不同數據域轉換問題提供了新的思路：即無需相關數據域轉換的知識，就可將任意編碼環境下的數據（如用于CT成像的欠采樣投影，用于MR成像的欠采樣k空間數據等）進行轉換以重建圖像。因此該方法可被廣泛應用于各類醫學設備的成像算法中（如CT、超聲成像、PET等）。

2 總結與展望

本文簡要介紹了4 種基于深度學習的MR 快速成像方法，這4 種方法大體上可分為兩類：一類是利用ANN對頻域數據或圖像域數據進行數據校正或去噪去偽影的操作，即ANN 的輸入輸出數據均為同一數據域上的數據，后經傅里葉變換實現MR 快速成像；另一類則是摒棄了常用的傅里葉變換，通過流形學習的方式學習頻域數據與圖像域數據之間的精準映射關系，即AUTOMAP。

以上方法的共同點均在于：相比傳統圖像重建算法，基于深度學習的成像方法進一步提升了圖像重建精度及重建效率。但對于同一類情況下的數據分布，ANN 訓練周期較長，且不善于處理未經訓練的意外數據，如改變采樣方式或視野大小等參數情況。目前雖然基于深度學習的成像方法取得了很大進展，但要走向實際的臨床應用中，仍面臨著很多問題。隨著計算機的硬件發展及算法性能的優化，基于深度學習成像方法是未來磁共振，乃至各類醫學影像設備快速重建算法的重要發展趨勢。