基于深度學習的醫學圖像配準研究進展

周 勤，王遠軍

（上海理工大學 醫療器械與食品學院，上海 200093）

圖像配準是基于圖像相似性度量標準，尋求將一幅或多幅圖像映射到目標圖像上的空間變換，使得參考圖像和目標圖像達到空間上的對應關系。通常情況下，需要映射變換的圖像稱為浮動圖像，在配準過程中保持不變的圖像稱為固定圖像或者參考圖像。當從不同時間、不同角度或使用不同傳感器分析獲得的圖像時，需要進行配準[1]。醫學圖像配準在臨床上有很多應用，如圖像引導、圖像融合、腫瘤生長監測等。

在深度學習技術興起之前，已經有很多傳統的配準方法，但深度學習的出現極大地影響圖像配準研究的熱點[2]。自從AlexNet在2012年ImageNet挑戰賽[3]中獲得成功以來，深度學習使許多計算機視覺任務的最新性能得以實現，例如：目標檢測、特征提取、分割、圖像分類、圖像去噪和圖像重建。最初，深度學習技術主要用于增強迭代、基于強度的醫學圖像配準，但配準速度較慢，對快速配準算法的需求推動基于端到端深度學習的監督配準方法的發展。由于監督學習獲取真實形變場比較困難，促使許多學者開發用于端到端的無監督配準框架。目前，無監督配準框架中的最大挑戰是圖像相似性量化，近來基于信息論的相似性度量、弱監督框架和生成對抗性網絡（generative adversarial networks，GAN）框架等的研究都是用來解決圖像相似性量化的策略[4]。

本文根據使用的深度學習技術進行分類，總結常用的醫學圖像配準框架及評價指標、常用的數據集和開源工具，分析深度學習技術在醫學圖像領域中存在的問題，并進行展望。

1 配準方法的分類

通過調研分析，近幾年的相關文獻主要分為2種[5]：a. 使用深度學習網絡來估計兩幅圖像的相似性度量，以驅動迭代優化；b. 使用深度學習網絡直接估計變換參數。前者深度學習技術主要用于增強迭代，配準速度慢且耗時長；后者利用深度學習的端到端網絡進行配準，速度快。因此，對后者的調研分析比較多，根據所選用的深度學習框架，將配準方法分為監督學習、弱監督學習和無監督學習3大類。

1.1 監督學習的配準方法

監督學習的配準方式是要事先得到金標準，即形變場。這個形變場可以是剛性配準的3個參數，也可以是變形配準的位移場。然后神經網絡訓練出一個模型，輸入待配準的兩張圖像，輸出這個形變場。在神經網絡訓練的過程中，目標函數反向傳播，從而更新各層的參數。訓練時的損失函數常常是金標準和模型輸出的形變場的均方誤差（mean squared error，MSE）。在測試階段，對配準圖像對進行采樣并輸入網絡，利用預測的形變場對移動圖像進行插值，即得配準圖像。人工生成形變場有3種方式：a.利用傳統的經典配準方法進行配準，得到的形變場作為標簽；b.對原始圖像進行模擬變形，將原始圖像作為固定圖像，變形圖像作為移動圖像，模擬形變場作為標簽；c.基于模型變換，圖像變換是圖像配準的前提，根據變換性質可分為剛體變換和非剛體變換。下面從剛性配準和非剛性配準兩方面介紹近幾年出現的一些成果。

1.1.1 剛性配準

Miao等[6]是第一個使用卷積神經網絡（convolutional neural networks，CNN）來估計剛性變換參數的團隊。他們用CNN估計3D CT與2D X線脊柱圖像剛性配準的變換矩陣，提出將6個變換參數分為3組的層次回歸方法。實驗結果表明，該方法的性能優于互相關、互信息和基于梯度相關的迭代配準方法。Chee等[7]使用CNN估計用于3D腦磁共振（magnetic resonance，MR）圖像的變換參數，該方法用仿射配準網絡估計值和標準仿射變換之間的MSE來訓練網絡。在單模和多模情況下，它們都能優于基于迭代MI的配準。與前面兩種使用隨機生成的形變場不同的是，Zheng等[8]提出將成對區域適應模塊集成到預先訓練的CNN中，該自適應模塊可以使用少量成對的真實數據和合成數據進行訓練，將訓練后的模塊接入網絡，將真實的特征轉移到網絡中，使其接近于合成的特征。由于網絡是在合成數據上訓練的，所以網絡在合成數據上表現良好。Sloan等[9]用CNN回歸剛性變換參數，對T1和T2加權腦MR圖像進行配準，研究了單模和多模配準。

1.1.2 非剛性配準

Yang等[10]首先提出直接基于圖像外觀的變形模型逐塊預測來實現腦MR圖像的快速配準。該方法用深度編解碼網絡將圖像像素的初始動量值作為網絡輸入，對這些值進行演化來獲得估計的形變場。實驗結果表明，該方法能夠對基于數值優化的配準結果進行準確且快速的預測。此外，Yang等[11]利用變換參數的變分高斯分布的低秩Hessian近似量化3D T1和T2加權腦MR圖像變形配準相關的不確定性。該方法在真實數據和合成數據上都得到了驗證。Sokooti等[12]提出用多尺度CNN來估計形變場的方法，實驗表明，該方法性能優于基于B樣條的配準。與使用隨機變化或手工構建來生成形變場的方法不同，Ito等[13]提出使用CNN學習形變場生成的合理變形，通過在ADNI數據集上進行實驗得出，結果優于基于迭代MI的方法。

1.2 弱監督學習的配準方法

監督配準方法需要真實的形變場作為金標準，而真實形變場的獲取比較困難。弱監督方法的提出，減輕了對金標準的依賴性。弱監督利用相應解剖結構的分段重疊來設計損失函數，即采用標簽的相似性度量作為目標函數，反向迭代更新網絡的權重。弱監督學習的配準成果，相對前兩種方法成果比較少，多使用基于相似性測度的配準和非剛性配準。Hu等[14]沒有使用人工生成的形變場，而是使用標簽相似性來訓練網絡，進行3D MRI和超聲圖像配準。同樣地，Hering等[15]結合分割標簽和圖像相似性的互補信息訓練網絡。實驗結果表明，該方法Dice分數高于僅使用圖像相似性損失和分割標簽損失。不同于以上方法，Liu等[16]使用表示學習來學習具有置信水平概率圖的特征描述符，并使用監督合成變換和無監督描述符結合的圖像相似性損失來訓練網絡。

無約束的形變場估計會導致浮動圖像的扭曲，從而產生不真實的器官外觀，一種常用的方法是將估計形變場的L2范數加入損失函數。另一個有價值的貢獻是將GANs用于弱監督估計變換。Lei等[17]使用鑒別器來判斷扭曲的圖像對于原始圖像是否足夠逼真。Fu等[18]使用了類似的想法，并表明，在3D-CT肺DIR中包括對抗損失可以提高配準精度。上述基于GAN的方法試圖從圖像或變換外觀的角度引入正則化。不同的是，Hu等[19]使用GAN框架來產生逼真的變形。Hu團隊主要想法是通過引入判別器對局部形變場進行約束，代替形變場的正則項。總體框架是通過生成器生成仿射變換的形變場和局部形變場，通過傳統的方法生成一個真實的局部形變，然后判別器判別預測的局部形變場和仿真生成的形變場。Fan等[20]研究使用GAN網絡區分對齊和未對齊的圖像對。但是，GANs本身存在著難以訓練的缺點，因為訓練GANs需要達到納什均衡，目前還沒有很好達到納什均衡的技術。此外，GANs在配準上的應用方法不一樣，各個方法也有自己的缺點，如訓練不穩定、梯度消失和模式崩潰等問題。

1.3 無監督學習的配準方法

盡管監督和弱監督學習的圖像配準取得很大成果，但標簽的獲取很難，沒有標簽，又很難定義適當的損失函數，這促使許多學者開始探索無監督學習的方法。2015年，Jaderberg等[21]提出一種空間變壓器網絡（spatial transformer networks，STN），它可以對網絡內的數據進行空間操作。因為STN可以在訓練過程中計算圖像的相似性損失，使無監督學習的圖像配準技術成為可能。一種典型的變形無監督變換估計網絡具體做法是以圖像對作為輸入，直接輸出預測的隨機位移矢量場（displacement vector field，DVF）。STN利用該網絡對運動圖像進行扭曲，生成扭曲圖像；然后計算扭曲圖像與固定圖像的相似性損失，DVF平滑度約束通常用于對預測的DVF進行正則化。以下分類介紹這方面出現的文獻。通過調研發現，無監督學習的配準方法多用于非剛性配準。基于圖像相似性的無監督圖像配準方法不需要標簽，然而在多模配準應用中，圖像相似度的量化仍然是一個挑戰。因此，基于圖像相似性的無監督學習的配準多用于單模配準。鑒于許多臨床應用中經常需要多模配準，研究者們開始研究無監督學習來學習特征表示以確定最佳空間對齊方式[4]，并取得一些成果。下面分類介紹這兩方面的文獻。

1.3.1 基于灰度相似性度量的配準

配準的關鍵是選擇合適的相似性度量[22]，常見的做法是估計給定圖像對之間的相似性度量，將其作為代價函數進行反向更新迭代。Balakrishnan等[23]提出一種基于CNN的無監督配準方法，他們使用了一種類似于U-Net的架構，并將其命名為VoxelMorph。后來，他們擴展了該方法來利用訓練數據中的輔助分段。結果表明，分割損失有助于提高Dice分數，性能可與ANT和NifTYG相比，但比ANT快150倍，比NifTYG快40倍。類似地，Qin等[24]也使用心臟MRI分割信息作為心臟MRI配準的補充信息。他們發現通過配準CNN學習的特征也可以用于分割。預測的DVF用于運動圖像的掩模變形以生成固定圖像的掩模。他們訓練了一個聯合分割和配準模型，并證明了在分割和配準任務中，聯合模式可以比單獨的模型產生更好的結果。Zhang等[25]提出了一種基于CNN端到端的配準模型。他們研究了變換的微分同胚映射，并提出使用逆一致正則化項來約束來自相應逆映射的兩個變換之間的差異。損失函數由圖像相似性損失、變換平滑性損失、逆一致損失和反折疊損失組成。在Dice、靈敏度和平均表面距離方面，他們的方法優于Demons和Syn。不同于上述2種方法，Jiang等[26]提出了一種基于CNN的多尺度配準框架。他們級聯3個CNN模型，使用圖像塊來訓練網絡，以優化圖像相似性損失和DVF平滑度損失。他們的工作表明，在標準人工神經網絡數據集上訓練的網絡可以推廣到不同的人工神經網絡數據集。

1.3.2 基于特征的配準

基于特征的配準利用CNN學習圖像特征表示，并用學習到的特征表示來訓練網絡以確定最優變換。Yoo等[27]使用卷積自動編碼器提取單模結構特征，并將其輸入到STN中進行最終的可變形配準，他們發現這種基于特征的相似性度量優于基于灰度的相似性度量[28]。Liu等[29]提出了一種基于張量的方法，該方法使用主成分分析網絡[30]進行單模和多模配準，在吸氣-呼氣兩對胸部CT容積和多模腦MR圖像的實驗上得到驗證。與前面兩種方法不同，Kori等[31]使用預先訓練的網絡，對二維T1和T2加權腦MR圖像進行特征提取和仿射變換參數回歸，對圖像進行二值化，然后把運動圖像和固定圖像之間的Dice得分作為代價函數。

1.4 存在的問題

在監督學習配準中，真實的形變場在網絡訓練中發揮重要作用，但使用人工生成的形變場也存在一些問題，包括：生成的變換可能無法反映真實的生理運動；生成的變換可能無法捕捉實際圖像配準場景的大范圍變化。為解決這些問題，常使用各種轉換生成模型[13]和進行適當的數據擴充[12]。弱監督配準技術可以對多模態配準進行相似性量化，而且弱監督變換估計方法減輕對手工標注的依賴性，但仍需要手動標注數據（如金標準或分段）。同監督變換估計相比，無監督的方法有效地緩解了數據集不足的問題。然而在無監督變換估計的情況下對多模圖像配準比單模圖像配準要困難得多，因為使用手工標注的相似性度量來量化兩個圖像之間的相似性是很困難的。近年來，利用無監督學習來學習特征表示以確定最佳轉換，引起了研究界的極大興趣。

1.5 常用基于深度學習的配準框架及評價指標

深度學習是用多層的神經網絡來學習數據的表示[27]，屬于機器學習中的一類。近年來，深度學習被廣泛用于圖像處理。通過分析近幾年深度學習對圖像配準上的應用，總結4種常用的基于深度學習的配準框架，具體如下：

a. CNN是一種前饋神經網絡，具有局部連接、權重共享以及空間或時間上的次采樣特性。這些特性使得卷積神經網絡具有一定程度上的平移、縮放和扭曲不變性[32]。在網絡的每一層中，許多卷積濾波器在前一層的特征映射上“滑動”，輸出是另一組特征映射。由這些卷積得到的特征映射被疊加并輸入到網絡的下一層，并允許對圖像進行分層特征提取。此外，這些操作可以逐塊執行，對許多圖像配準任務有用[33]。

b. RNN用于處理和預測序列，適合處理時間信號。利用RNN的內部狀態來模擬和記憶先前處理過的信息，因此RNN的輸出即依賴它的即時輸入，又依賴它以前的輸入歷史。長短期記憶（LSTM）是一種用于圖像處理任務的RNN。

c. 堆疊自動編碼器（staked auto-encoders，SAE）是網絡隱藏層學習輸入數據的隱含特征并重構為輸出。在醫學圖像配準的文獻中，該網絡僅用于提供圖像中最重要的、最有鑒別能力的特征，以作為替代配準方法的補充，而不是使用手工制作的特征[10]。

d. GANs由生成器和判別器兩個相互競爭的神經網絡組成。生成器將數據從一個域映射到另一個域。判別器的任務是區分來自所述域的真實數據和由生成器生成的數據。訓練GANs的目標是收斂到一個可微的納什均衡[34]，此時生成的數據和實際數據是不可區分的。在醫學圖像配準中，GANs通常用于正則化或將多模態配準轉換為單模態配準。方法是用判別器來代替傳統的相似性度量，多用于多模態配準。需要指出的是，對于單模態而言，還是手工設計的相似性測度更好，深度學習學到的只是一種補充。

一直以來圖像配準的評價指標沒有金標準，由于不同類型圖像差別很大，而且研究的重點也各有不同，所以配準效果很難用一個評價指標界定，通常需要多個評價指標來評定。通過調研發現，Dice和靶點定位誤差（target registration error，TRE）是最常用的評價指標，公式見表1。

表1 常用的評價指標Tab.1 Common evaluation indicators

1.6 常用的開源數據和開源工具

醫學圖像配準任務是復雜的，配準的部位不同選用的數據集也不同。通過查閱文獻，發現近年來，基于深度學習的醫學圖像配準多用來實現腦部和肺部的配準，對用于圖像配準和評估研究的常用腦部和肺部數據集進行歸納總結，結果見表2。其中，DIRLAB是4D CT胸部圖像配準研究中引用最多的公共數據集之一，該數據集經常用于4D CT肺部配準的基準測試。與肺部圖像配準相比，腦圖像配準在數據庫中有更廣泛的選擇，LPBA40和IBSR18是較為常用的兩個。

表2 常用的數據集Tab.2 Common data sets

隨著計算機技術的發展，已經有很多開源工具可用于構建圖像配準的網絡，如：ITK、ANTs、Elastix、SimpleElastix和3D slicer等。近年來，已有不少學者將自己基于深度學習的醫學圖像配準研究成果公開分享到GitHub上，這些工作加快了醫學圖像配準的發展。目前GitHub已經有許多公共的存儲庫可用于構建本文中描述的網絡，如Voxelmorph[23],RegNet3D[12],Weakly-supervised CNN[14]等。

2 挑戰與對策

通過對醫學圖像配準中應用深度學習方法的研究，研究者們碰到了一些常見的挑戰，其中一些常見的挑戰和解決方案如下所述。

2.1 缺少已知轉化的訓練數據集

將監督學習技術應用到圖像配準之中，經常會因為缺少已知轉化的訓練數據集而導致圖像配準效果不好。在深度學習中，常用以下4種方法解決這類問題:

a. 數據擴充技術。簡單的數據擴充技術即圖像的幾何變換可直接應用于圖像領域，如圖像的旋轉、翻轉、尺度變換、隨機摳取、噪聲擾動和顏色變換。根據近些年學者在樣本增強技術方面的探索，Chen等[35]總結了6種復雜的樣本增強技術，具體如下：（a）在弱監督環境下，利用大量未標記數據的信息學習標記樣本[36]；（b）從已有的訓練模型中自適應地學習樣本[37]；（c）借用相關類別的實例或語義詞匯擴充樣本的量[38]；（d）通過扭曲現有的訓練實例來合成新的標記訓練數據[39]；（e）使用GANs在原有數據集的基礎上生成新的數據[40]；（f）根據期望值或強度，利用屬性引導增強（attribute-guided augmentation）技術合成樣本[41]。

b. 遷移學習。在少量數據集上訓練較復雜的網絡容易過擬合，可通過遷移學習的策略解決，通常做法[42]為：對應樣本量較少，可以先用Imagenet等數據集預訓練CNN，將預訓練的CNN參數作為網絡的初始值，然后用自己的數據集對CNN中可學習的參數根據任務調優。在數據量較少的情況下，可以從框架的開源數據庫中下載相關的預訓練模型。Cao等[43]使用CNN直接回歸單模可變形的配準參數，他們團隊通過遷移學習的方法增加樣本量，該項研究表明，遷移學習能減少因數據缺少而帶來的影響。

c. 正則化。數據量較小會導致模型過擬合，在損失函數后面加上正則項，可以抑制過擬合問題的產生。Srivastava等[44]提出dropout技術，通過在訓練過程中隨機地從每一層中剔除一些輸入，以減少過度擬合的影響。

d. 無監督預訓練。用Auto-Encoder和受限玻爾茲曼機（restricted Boltzmann machine）的卷積形式實現無監督預訓練，最后加上分類層作監督的微調。在這種情況下，預訓練是一種正則化機制，有助于在泛化性能方面找到更好的訓練誤差。無監督的預訓練在后來的監督訓練中起著主要的規范化作用。Wang等[37]在無監督預訓練的工作表明，預先訓練的網絡是獨一無二的，因為無監督的部分純粹用于初始化，而且當進行監督的訓練時，它的有益效果似乎不會減弱。

2.2 多模醫學圖像配準

將深度學習技術用于多模圖像配準大致可分為兩類：基于圖像強度相似性度量的方法和基于特征的方法。前者利用增強學習對圖像的灰度空間進行多模態圖像配準，最大化像素強度之間的相似度來確定兩幅圖像之間的對齊程度；后者提取圖像的顯著不變特征，并利用這些特征之間的相關性來確定最佳對齊方式。基于深度學習的醫學圖像配準主要困難在于圖像在不同的物理原理和環境下具有很大的差異，缺乏魯棒的相似性測度且特征提取較難。針對圖像相似性的量化和特征提取問題，已有許多學者在這方面作了探索，如Hu等[14]提出了使用標簽相似性來訓練他們的網絡，進行多模態醫學影像配準，主要是用標簽的相似性測度來代替圖像之間的相似性測度，因為多模態圖像之間的相似性測度不好設計，但是標簽之間的相似性測度就好設計一些；Wu等[45]將CNN與獨立子空間分析相結合，利用學習到的圖像特征來代替HAMMER配準模型中的手工特征；Kori等[31]使用CNN網絡對圖像進行特征提取來實現多模圖像配準。Liu等[46]使用10層的CNN進行圖像合成，不使用GAN將多模配準轉換為單模配準。然后，他們使用基于SSD相似性度量來配準大腦模型和IXI數據集。實驗結果表明，他們的算法性能優于基于MI的圖像配準。但是，在多模配準應用中，圖像相似度的測度和特征提取仍然是一個挑戰。

3 結 論

總結了一種根據深度學習方法，把醫學圖像配準方法分3類：監督醫學圖像配準、弱監督醫學圖像配準、無監督醫學圖像配準。每一類方法都有優缺點。因為監督預測變換和無監督預測變換各有利弊，未來更多的研究將集中在監督和無監督相結合的基礎上。除此之外，弱監督和無監督的方法對人工標注的樣本依賴性較小，這方面的研究具有現實意義。由于GANs不僅可以引入額外的正則化，還可以進行圖像域轉換，實現多模態到單模態的圖像配準，因此基于GANs的方法逐漸成為學者研究的熱點。