基于深度學習分割掩膜的胸片圖像配準技術(shù)及其應用

劉遠明，王小義，郭琳，夏麗，權(quán)申文，錢令軍，李宏軍

1.深圳市智影醫(yī)療科技有限公司，廣東深圳 518000；2.青海省第四人民醫(yī)院，青海西寧 810007；3.首都醫(yī)科大學附屬北京佑安醫(yī)院，北京 100069

前言

可變形圖像配準是醫(yī)學圖像分析領(lǐng)域的一項重要技術(shù)［1］，在疾病診斷、疾病治療、術(shù)前術(shù)后比對等應用中有著至關(guān)重要的作用。醫(yī)學背景下，圖像配準被用于不同患者、不同時間、不同模態(tài)的兩個或多個圖像的對齊，這種對齊一般通過變形場實現(xiàn)，先使源圖像產(chǎn)生變形，然后使變形后的圖像與目標圖像對齊，配準過程中采用相似性度量源圖像與目標圖像的匹配程度。

目前深度學習在醫(yī)學圖像處理方面獲得了出色表現(xiàn)［2］，能夠幫助我們在完全不同的模式下進行圖像配準。深度卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks,CNN）應用于計算機視覺任務（如圖像分割和圖像分類）中的效果優(yōu)于之前的算法［3-5］。隨著圖像配準技術(shù)的發(fā)展，其在配準精度以及計算時間上的性能不斷得到優(yōu)化。Balakrishnan 等［1］提出了VoxelMorph 快速學習框架，給定新的掃描圖像對后，VoxelMorph 能夠直接評估并快速計算變形場，加快圖像配準的分析、處理流程。基于變形先驗模型的圖像配準方法可應用于低信噪比的同一模態(tài)圖像配準，適合用于常規(guī)配準方法無法實現(xiàn)精確配準的超聲及MRI 圖像［6］。為了解決當前基于深度學習的配準網(wǎng)絡需要不斷迭代的問題，Sokooti 等［7］提出采用大量人工生成的位移矢量場進行網(wǎng)絡訓練，最后得到一種一次完成非剛性配準的學習網(wǎng)絡RegNet。此外，其他學者在對不同配準對象實現(xiàn)高精度配準這一問題上提出了各自的研究路線，如利用標志點集優(yōu)化可變形圖像配準的空間精度以及采用人工合成的變形圖像對，來訓練深度學習網(wǎng)絡，從而對變形較大的圖像實現(xiàn)高準確度的配準［8-9］。在縮短圖像配準計算時間方面，Woods等［10］提出和驗證了基于體素強度匹配的自動圖像配準方法，通過平衡速度和準確性之間的關(guān)系，可讓MRI圖像配準的準確度達到75～150 μm，在準確度損失很小的前提下大大減少了配準時間。Ashburner等［11］提出了一種用于微形圖像配準的算法，采用恒定歐拉速度值，實現(xiàn)快速的矩陣變換和計算，從而提高配準速度。

基于Lucas 等［12］的研究成果，許多可變形圖像配準建模的研究陸續(xù)出現(xiàn)［13］，其中大部分圖像配準問題被視為優(yōu)化問題，一般可以表示為：

其中，f*表示圖像對（源圖像與目標圖像）的優(yōu)化對比，IM表示源圖像（移動），IF表示目標圖像（固定），f表示源圖像到目標圖像每一點進行空間轉(zhuǎn)換的位移量，χ表示一個規(guī)則網(wǎng)格中排列的N個點的集合，R表示正則化項，λ表示平衡因子，Sχ表示源圖像經(jīng)過空間轉(zhuǎn)換后生成圖像與目標圖像的相似度測量值。圖像配準的過程就是計算源圖像經(jīng)過空間轉(zhuǎn)換后與目標圖像產(chǎn)生最大相似度的優(yōu)化問題。這里采用均方誤差（Mean Square Error,MSE）來度量相似度［14-15］：

其中，SMSE表示均方誤差。典型的用于平滑轉(zhuǎn)換形變場的正則化項可以表示為：

其中，Rdiff表示源圖像與目標圖像空間變換的正則化。

準確分析兩張圖像的差異非常重要，現(xiàn)有的技術(shù)大多對變形場施加平滑約束，或?qū)⑾袼丶墦p失納入目標函數(shù)中，以增強結(jié)構(gòu)的合理性。然而，平滑的變形場不一定能產(chǎn)生真實客觀的結(jié)果，當兩張圖像器官相對位置距離太大時，普通平滑變形場產(chǎn)生的形變圖像會在結(jié)構(gòu)上失真，為了保護圖像的形態(tài)結(jié)構(gòu)，就需要對其做出合理的形變。客觀量化醫(yī)學圖像形變的合理性，并將其融于基于深度學習的配準模型訓練過程是一項復雜的任務，本研究針對這一問題采用深度學習掩膜來參與訓練，即先用掩膜對圖像進行預處理，然后基于掩膜圖像去訓練模型。本研究主要針對胸片進行配準模型的優(yōu)化，從而將其應用于胸片的減影分析。

1 材料和方法

1.1 圖像預處理

圖像預處理過程一般可以分為圖像去噪、圖像增強、圖像分割和圖像增廣。研究采用高斯濾波平滑以及自適應直方均衡化分別對圖像進行去噪和增強。進行圖像分割時，研究首先獲取了胸部X光片影像，然后對影像中的肺區(qū)進行標記，并用ResUNet 對標記后的圖像進行分割模型訓練以獲取掩膜［3,16-18］。ResUNet由UNet和ResNet組成，其中UNet部分包括4個編碼層和4個解碼層，在UNet的編碼層之前加一層ResNet 卷積層作為編碼層，在解碼層之后加一層ResNet卷積層作為解碼層。本研究中，3 位高年資影像科醫(yī)生對肺區(qū)進行平行標注，對醫(yī)生之間標注結(jié)果Dice 值≥98%的勾勒區(qū)域取平均值作為金標準，Dice 值＜98%的影像由3 位醫(yī)生進行討論，以討論后的結(jié)果作為金標準。一共標注406 例病例，年齡15～82歲，其中，男198例，女208例，正常樣本112例，異常樣本296 例；其中326 例作為肺區(qū)分割訓練集（20 例作為驗證集），80 例作為測試集。測試集在訓練后模型上的Dice 值為97.4%。最后在訓練數(shù)據(jù)上進行水平翻轉(zhuǎn)、旋轉(zhuǎn)、縮放、亮度變化等一系列操作以實現(xiàn)圖像增廣。

1.2 圖像配準網(wǎng)絡結(jié)構(gòu)

圖像配準網(wǎng)絡架構(gòu)遵循類似于UNet 的編碼-解碼器結(jié)構(gòu)［17］，如圖1所示，首先編碼器采用ResNet 網(wǎng)絡結(jié)構(gòu)對圖像進行特征提取，解碼器部分的每一個上采樣塊都引入了殘差連接。然后向該網(wǎng)絡輸入一對源圖像I 與目標圖像J，圖像I 和J 作為一個單一的多通道圖像被連接和反饋到網(wǎng)絡，最后經(jīng)過ResUNet網(wǎng)絡的一系列卷積和池化層處理后輸出一個預測的變形場φ。此外，網(wǎng)絡使用了一個類似于空間變形網(wǎng)絡的參數(shù)共享的可微變形模塊（Spatial Transformer Networks,STN）［19-20］，使用φ對源圖像I 進行變形，會產(chǎn)生一個扭曲的圖像φ·I。

在基于優(yōu)化策略的CNN 回歸配準方法中，可變形配準方法需要進行詳盡的迭代優(yōu)化，同時需要參數(shù)調(diào)整來估計圖像間的變形場［21］。因此，訓練開始時，網(wǎng)絡會產(chǎn)生一個隨機變形場φ，經(jīng)過訓練不斷調(diào)整參數(shù)，最后使源圖像經(jīng)過扭曲后產(chǎn)生的圖像與目標圖像相似度最大，本文采用歸一化互相關(guān)性（Normailzed Correlation Coefficient,NCC）作為損失函數(shù)來指導網(wǎng)絡學習，同時還引入了一個簡單的正則化項R(φ)，該正則化項通過計算變形場的總變化量得到，其作用在于防止平滑變形場過擬合。與此同時，用掩膜限制肺區(qū)，用Dice loss 計算目標掩膜與變形后的掩膜差異。本研究將損失函數(shù)定義為：

1.3 圖像配準網(wǎng)絡訓練細節(jié)

本研究中配準模型共使用500 個患者在不同時期拍攝的圖像對，所有數(shù)據(jù)均由青海省各地方醫(yī)院提供并進行脫敏處理，研究首先將圖像縮放到統(tǒng)一尺寸512×512，然后將數(shù)據(jù)集按照8：1：1 的比例隨機分為訓練集，驗證集和測試集。訓練過程采用深度學習框架Pytorch 以及優(yōu)化器Adam，學習率為10-3，輸入網(wǎng)絡的批次為16，公式（4）中的γ與λ分別設置為10-2和1。該模型在NVIDIA GPU GTX 2080ti 16 GB內(nèi)存上訓練和測試，共進行200次迭代。

1.4 評估指標

圖像配準基于圖像間相似性最大化原理來實現(xiàn)。配準后需要對其性能進行評估，不同類型的圖像使用不同的評估標準，目前沒有一個絕對的金標準可以評估圖像配準的質(zhì)量。醫(yī)學圖像配準質(zhì)量評估有兩種經(jīng)典方法：一種是單模圖像配準常用的NCC，一種是多模圖像配準常用的互信息（Mutual Information,MI）［7,22-24］。本研究采用NCC。

其中，SNCC表示歸一化互相關(guān)性損失函數(shù)，E表示期望值（均值），Var表示相應圖像的方差，χ表示圖像N個點的集合。本研究首先與兩個傳統(tǒng)配準模型進行對比，并引入了兩個常用于評價分割精度的指標來評估模型的對齊效果，一個是平均表面距離（Average Symmetric Surface Distance,ASSD），一個是豪斯多夫距離（Hausdorff Distance,HD）。此外，本研究還與一個基于深度學習的胸片配準模型進行了比較［25］。

2 結(jié)果與討論

2.1 圖像預處理與配準網(wǎng)絡訓練結(jié)果

研究共設置4組實驗來訓練網(wǎng)絡模型，以尋找最佳的方式進行X 射線胸片的配準，如圖2所示，圖2a表示原始圖像訓練，圖2b 表示原始圖像截取肺部區(qū)域圖像訓練，圖2c 表示原始圖像加肺區(qū)分割掩膜訓練，圖2d 表示肺區(qū)圖像加肺區(qū)分割掩膜訓練。實驗在保持網(wǎng)絡其它參數(shù)不變的情況下進行對比訓練。

訓練過程中MSE 損失值變化如圖3所示，根據(jù)網(wǎng)絡訓練情況以及相似性測量標準，研究發(fā)現(xiàn)肺區(qū)圖像加肺區(qū)分割掩膜訓練的模型損失值更低，因此采用掩膜截取的肺區(qū)圖像來訓練網(wǎng)絡會得到一個最佳的實驗結(jié)果，這個結(jié)果也成為了本文模型的基準。

2.2 模型比較

為了評價本研究所提出模型的配準性能，研究一方面采用了兩種傳統(tǒng)的配準方法Opencv ORB 和SimpleElastix［13］進行胸片配準以作為對照，另一方面還與一個基于深度學習的胸片配準模型進行了對比。兩種傳統(tǒng)模型之前均未用于胸片配準，因此研究將訓練產(chǎn)生的模型與兩個傳統(tǒng)模型同時進行胸片配準。實驗結(jié)果如表1所示，3個模型中，本研究提出的模型在配準后固定圖像與浮動圖像的相似性最大。Fang等［25］采用基于深度學習的模型進行訓練測試，根據(jù)局部互相關(guān)（Local Cross-Correlation,LCC）得到的相似度為0.350 3，本研究根據(jù)LCC得到的相似度為0.437 1。

表1 配準模型比較Table 1 Comparison of registration methods

2.3 配準應用于胸片的對比減影

將本文提出的配準模型用于胸片的對比減影分析，如圖4所示，減影圖像可以清晰地反映出兩個胸片的不同之處，讓醫(yī)生可以直觀分析病灶變化的趨勢。本文通過獲取兩張圖像的絕對差值對圖像進行減影，然后對配準后的兩張圖像做病灶分割，通過病灶面積的占比量化兩張圖像的差異值，從而有利于圖像配準在醫(yī)學領(lǐng)域的運用。

3 結(jié)論

本研究采用深度學習掩膜對原始胸片進行預處理，使用掩膜圖像訓練ResUNet 網(wǎng)絡，然后將它與其他已報道的配準模型進行比較。研究結(jié)果顯示深度學習掩膜結(jié)合深度學習圖像配準方法開發(fā)出的模型在胸片配準上具有良好的配準精度。提出的模型除

了可用于二維圖像配準，也能探究其在三維圖像上的應用效果，開發(fā)出基于掩膜的快速、精確的多模態(tài)下的圖像配準。