基于局部方差的醫學圖像配準模型

王金澤

（華北電力大學控制與計算機工程學院，北京，102206）

0 引言

傳統的醫學影像科室已經無法滿足患者的診療需求，基于醫學影像的病理分析、病灶的診斷是一個需要大量的閱片經驗支持的工作，由于不同醫生對于影像理解存在主觀差異性，并且缺乏定量的分析，導致在診斷時存在一定偏差。醫學圖像配準是數字醫學圖像智能分析處理的重要環節，指將兩幅或多幅圖像的相同解剖結構、區域進行變換，使之達到空間上的匹配，建立解剖結構一致性，為精確的圖像信息獲取以及深入的量化研究提供保障。基于深度學習的醫學圖像配準憑借其參數共享，效率高等優點成為了近年來的研究熱點。Guha等人提出配準框架VoxelMorph[1]，實現了體素到體素的無監督配準。Mok[2]等人受到傳統配準方法SyN[3]的啟發，提出一種對稱微分同胚圖像配準網絡SYM-Net，該網絡考慮參考圖像與浮動圖像之間的逆映射，保證了圖像的拓撲保持性與變換可逆性。

然而，基于深度學習的醫學圖像配準存在局部形變配準效果差、魯棒性差、抗噪聲能力弱等缺陷，通過分析發現造成此現象的原因是由于訓練樣本不均衡所導致。針對這個問題，本文參考目標檢測領域的樣本均衡機制，以圖像的局部方差作為樣本難易程度的評價指標，對無監督配準模型中的損失函數進行改進，以體素塊為單位對困難樣本施加權重，加強對于局部形變的學習能力，從而提升深度學習配準模型的精度。

1 相關理論

■1.1 深度學習配準模型Voxelmorph

傳統的醫學圖像配準通過迭代優化的方法尋找變換參數，實現由浮動圖像到參考圖像的變形，然而由于傳統圖像配準具有參數不共享的缺點，使得配準效率低、速度慢。基于深度學習的醫學圖像配準通過大量的數據在網絡訓練階段得到公共的變換參數，利用公共參數進行配準大幅增加了配準的速度。Voxelmorph是當下熱門的無監督學習配準模型，其配準流程如圖1所示，將單通道的參考圖像F和浮動圖像M合并輸入到U-Net[4]卷積神經網絡中，通過卷積神經網絡中的參數θ學習出兩幅圖像之間的體素塊映射，即密集變形場φ，隨后，將密集變形場φ輸入到空間變換網絡STN[5]中來對浮動圖像M進行采樣，得到變形后的浮動圖像M?φ。Voxelmorph的通過訓練網絡尋找最優參數為Voxelmorph的損失函數，在訓練過程中不斷更新參數θ直至達到最優。

圖1 Voxelmorph配準流程

■1.2 樣本均衡機制

對于深度學習而言，數據集的質量直接影響到模型的學習程度，然而大多數算法在設計過程中都假設訓練樣本的分布情況是均勻的，因此將這些算法應用到實際數據中時，常常會遇到訓練樣本不均衡導致模型泛化性差的問題，該現象在單階段目標檢測領域尤為明顯， Li[6]等人將其總結為訓練樣本難易程度不均衡，大量的簡單樣本會主導梯度會使得模型識別精度降低，針對此問題，Li等人在經典的交叉熵損失函數(CE Loss)上進行改進，提出Focal Loss，其核心思想為對樣本建立難易指標，并根據難易指標設置權重因子，減小簡單樣本對于總Loss的貢獻，以達到樣本均衡的目的。

■1.3 局部方差

局部方差[7](Local Variance，LV)是醫學圖像領域經典的評估方法，能夠體現圖像的結構信息，單幅圖像的局部方差的計算過程如公式(1)所示：

2 基于局部方差加權的損失函數FMSE-LV

基于無監督學習的醫學圖像配準存在大部分樣本形變較為簡單、易學習，而復雜形變樣本數量少的特點，使得模型在處理復雜性變時往往效果不理想。因此本文參考Focal Loss的思路，對所有訓練樣本以難易為標準建立評價指標，并設計權重因子來為困難樣本添加權重。無監督配準模型的損失函數由圖像相似性測度以及變形場平滑性約束組成，其中相似性測度損失函數常用經典的均方誤差LMSE懲罰變形后圖像與參考圖像間的相似度，LMSE如公式(2)所示。

LMSE能夠指導模型在訓練中更新參考圖像與浮動圖像之間的灰度差異，從而使得其相似性測度達到最高，是較為廣泛使用的一種損失函數。然而，單個體素塊的灰度差異由于其不能夠體現結構信息，存在錯誤匹配，對噪聲敏感等缺陷，使得其無法正確反饋變形場的形變難度。考慮到局部方差具有體現空間鄰域性的特點，本文對原LV函數進行改進，改進成為適用于配準問題的局部方差函數RLV，如公式(3)所示：

從公式(4)可以看出，權重ω可以根據局部方差平滑地調節體素塊樣本對于總Loss的貢獻值，為困難樣本增加訓練權重，加強模型對于局部形變的學習能力。此外，融合了局部方差后的損失函數由于考慮了鄰域體素塊的灰度信息，使得在配準過程中體素塊錯誤匹配的幾率降低并且具有較好的抗噪聲能力。

3 實驗與分析

■3.1 數據集

本文選取公開數據集Mindboggle-101[9]中的80張3D腦部MRI圖像進行實驗，將全部圖像進行預處理操作，包括像素值以及亮度歸一化、體素間距統一等，并裁剪成160×192×160的尺寸，使用OASIS-30中的Atlas圖像作為參考圖像，其他圖像作為浮動圖像進行訓練，訓練數據和測試數據比例為0.75:0.25。

■3.2 實驗環境與參數設置

本文的實驗在Linux操作系統上進行，GPU使用NVIDIA/GeForce RTX 2080 Ti，內存為16GB，模型基于Pytorch框架編寫，所有實驗均使用Adam優化器，以3e-4學習率進行模型訓練， Batch_Size設為1，局部方差的鄰域窗口n大小設置為3，調節速率的因子σ設置為0.3，訓練次數為5000次，共訓練7小時。

■3.3 實驗結果

為了更好地驗證算法的有效性，本文從圖像相似性測度，標簽重疊度、變形場折疊程度三個方面進行評測，其中圖像相似性測度使用互相關系數(CC)，標簽重疊度使用經過專業手工標注的大腦皮質區域標記之間的Dice系數，Dice和CC越高，代表圖像配準結果越好。在變形場折疊度方面，使用雅克比行列式(Jac)中值為負數的體素塊比例作為評價指標，Jac為負數的體素塊數量越少，代表變形場越接近實際情況。分別將本文算法結果與傳統仿射配準和未添加權重的MSE作為損失函數的深度學習算法進行對比，結果如表1所示。

表1 不同配準方法結果對比

從表1可以看出，在標簽重疊度與相似性測度方面，本文算法在Dice與CC兩個評價指標上都有所提升，在變形場折疊程度方面，本文算法得到的變形場的Jac負值比例較MSE僅提升了0.005%，說明為MSE添加了權重因子后，對模型預測的變形場質量并沒有明顯的影響，圖2分別展示了測試集中某張病例的參考圖像、浮動圖像、MSE配準結果以及本文算法配準結果，可以看出，本文算法在局部細節(標注位置)的配準上更加接近于參考圖像。

圖2 配準結果對比

4 結論

本文通過對深度學習模型中的優化策略展開深入研究，將局部方差的空間鄰域性以樣本均衡機制加權的方式融入到MSE損失函數中，借助局部方差的結構信息引導權重配置，從而使所有訓練樣本的權重得到均衡分配，提升模型對于局部形變的學習能力，改善配準精度。然而由于在設置權重的過程中添加了超參數，使得模型在訓練時缺乏一定的靈活性，后續工作將考慮設計出能夠通過圖像內部信息自適應調節權重的方法。