醫學圖像合成方法研究進展

謝 凱，陸正大，李春迎，孫鴻飛，林 濤， 高留剛，眭建鋒，倪昕曄 *

(1.南京醫科大學附屬常州第二人民醫院放療科，江蘇 常州 213003；2.南京醫科大學醫學物理中心實驗室，江蘇 常州 213003；3.常州市醫學物理重點實驗室，江蘇 常州 213003)

隨著信息技術與計算機水平不斷發展，MRI、CT、US和PET等醫學影像學檢查方法在疾病診斷和治療中發揮重要作用。不同模態醫學圖像提供的信息可互為補充，臨床實踐中常需對多模態醫學圖像進行綜合分析；但由于存在輻射、價格昂貴或設備缺乏等原因，可能無法獲取某種特定圖像，此時通過圖像合成可滿足臨床需求。圖像合成指將某種變換作用于一組給定的輸入圖像，生成與真實圖像足夠接近的新圖像[1]。醫學圖像合成既可用于不同模態圖像之間，如將MRI合成CT圖像[2]，也可用于相同模態不同參數的圖像，如MR T1WI與T2WI之間、3T與7T MRI之間、錐形束CT(cone beam CT, CBCT)與CT之間；然而由源圖到靶圖的變換往往為高維非線性，導致醫學圖像合成并非易事[3]。

近年來，醫學圖像合成相關研究[4-5]多關注分析合成圖像與真實圖像的差異，以評價圖像合成方法的性能，但對于醫學圖像合成方法的分類尚無統一標準。本研究結合相關文獻將其主要分為4類：①基于地圖集配準方法；②基于強度變換方法；③基于學習方法；④基于深度學習方法；并針對其存在問題和發展方向進行綜述。

1 基于地圖集配準方法

地圖集配準方法由MILLER等[6]提出，通過聯合空間對齊模態m1與m2配準圖像集a1與a2(稱為地圖集)，之后設定模態m1的測試圖像b1，將a1形變配準到b1以獲得形變場，并將形變場作用于a2，獲得m2模態的合成圖像b2。BERKER等[7]提出將圖像合成作為一種分割任務處理，將MRI分割成不同組織類別(骨、空氣、軟組織和脂肪)，對每個類別分配1個已知的衰減值，得到重建的PET圖像。CATANA等[8]建議，在分割圖像基礎上，將帶有衰減圖(μ-map)的地圖集配準到測試集MRI上，再將相應地圖集的μ-map形變至其MR圖像上，作為預估μ-map。BURGOS等[9]采用多地圖集配準和強度融合對基于地圖集配準的方法進行擴展，基于MRI生成CT，再基于生成CT的μ-map重建合成PET圖像。CARDOSO等[10]結合概率分布描述，應用多個地圖集學習的生成模型完成MRI到CT合成、離群點分類及病變定位等任務。SUN等[11]以Elastix軟件獲得2次放射治療(簡稱放療)過程中采集的超聲聲像圖之間的形變場，之后將其作用于定位CT，得到合成CT圖像用于自適應放療。

基于地圖集配準分割方法操作簡單，結果明了，但對于配準精度和分割精度十分敏感，需手動操作才能得到較為準確的結果，故對大腦皮層等較精細區域可能出現較大偏差。另外，由于地圖集不能完全因病變種類和不同位置等，合成異常組織解剖結構時，亦可能存在偏差。

2 基于強度變換方法

在基于地圖集方法的基礎上，基于強度變換醫學圖像合成方法考慮了強度變換。HERTZMANNN等[12]采用圖像類比法作為強度變換進行圖像合成以獲得圖像B′，而B′相對圖像B的形式同于圖像A′對于A。假設地圖集圖像a1和a2以1個未知變換函數h關聯，即a2=h(a1)。給定1個源圖b1以合成b2時，理想情況下b2應等于h(b1)，通過patch映射patch實現合成b2。假設需要合成b1中的1個patch，且在a1中提取的patch集合中找到其最鄰近patch；選取對應a2中的patch，作為b2中對應位置的patch，此過程稱為patch匹配(patch-matching)。上述合成方法常封裝于1個多分辨率框架中，并試圖模擬變換函數h的作用。IGLESIAS等[13]應用此法基于質子密度加權MRI合成MR T1WI，發現合成另一種組織對比度的MRI可改善配準結果。

另一個強度變換方法是將圖像合成作為解決稀疏字典重建問題的方法，稱為字典學習方法。于地圖集圖像a1中提取眾多patch組成1個字典，將源圖b1中的1個patch描述為字典中眾多patch的稀疏線性組合，之后將地圖集圖像a2中相對應的patch按相同線性系數進行變換，得到靶圖b2中的patch。基于patch匹配方法和字典學習方法統稱為基于范例方法[13]，ROY等[14]稱之為MRI基于范例的對比合成(MR image example-based contrast synthesis, MIMECS)，將其用于MRI強度標準化、自動分割和配準改進。強度變換方法亦包括直方圖匹配法(histogram matching, HM)[15]和局部圖像相似性測試(local image similarity, LIS)[16]等。采用圖像類比法合成圖像過程中，使用合成的鄰近體素時，須為每個體素找到1個最鄰近的patch，而對該過程不能并行計算，圖像類比和MIMECS常需較長的運行時間。另外，基于強度變換方法存在一定局限性，如需大量數據推導映射函數h或構成字典；而MIMECS法不適用于合成FLAIR圖像等，限制了其應用。

3 基于學習方法

基于學習方法指在源圖與靶圖之間建立非線性映射[17-20]，主要包括隨機森林、字典學習、稀疏表示及主成分分析等方法，其中多數方法屬于機器學習范疇，目前基于學習方法用于超分辨率圖像重建的研究[17-18,20]較為多見。MANJON等[17]基于自相似性和圖像先驗，利用同一對象其他模態共面高分辨率圖像的信息，自低分辨率圖像中重建高分辨率MRI，結果優于經典插值方法。JOY等[18]采用隨機森林(random forest, RF)非線性回歸方法由低分辨率圖像合成高分辨率MRI，所獲圖像質量優于MANJON等[17]的結果，且提高了計算效率。HUYNH等[20]采用RF方法和非監督方法，將給定MRI分割成一組patch，以結構化RF方法獲得每個patch預測對應的CT patch，采用自動上下文模型(auto-context model, ACM)進一步優化預測結果，實現了基于MRI合成CT。基于學習方法往往先提取特征表示源圖像，后建立映射而生成目標圖像，故其性能取決于人工構造的特征及基于提取特征的源圖像的質量。

4 基于深度學習方法

近年來，深度學習在計算機視覺和圖像處理方面取得較大進展，并解決了手動選擇特征的難題，在醫學影像領域中發揮著巨大作用[21-22]。

DONG等[23]采用卷積神經網絡(convolutional neural networks, CNN)提高單幅圖像分辨率。KIM等[24]基于遞歸CNN，在不增加參數的前提下改進了超分辨率算法。LI等[25]設計了一種三維CNN模型，輸入MRI后得到預測PET圖像，并與真實PET圖像進行分類評估，結果優于K鄰近方法(K-nearest neighbor, KNN)和均值評估法。HUANG等[26]提出弱監督聯合卷積稀疏編碼以同時解決超分辨率和交叉模態圖像合成的問題，對整個圖像域而非圖像塊進行運算，保留了圖像的局部鄰域；將該法用于3D MRI超分辨率重建和跨模態圖像合成，結果優于MIMECS法和監督及非監督方法。CNN的潛在問題是易忽略預測目標圖像中的鄰域信息，尤其在輸入量較小情況下，而采用能保存結構信息的全卷積網絡合成圖像有助于解決該問題。

深度學習方法中，生成對抗網絡(generative adversarial networks, GAN)[27]是近年來用于復雜分布上無監督學習的最具前景的方法之一。原始GAN存在模型崩塌和梯度爆炸等固有缺陷，而條件生成對抗網絡(conditional GAN, CGAN)和深度卷積生成對抗網絡(deep convolutional GAN, DCGAN)等改良版GAN可在圖像合成方面發揮更大作用。

KAISER等[28]分別采用U-net網絡和pix2pix(pixel to pixel, pix2pix)網絡進行基于MRI合成CT。NIE等[3]將GAN結合自動上下文模型和全卷積神經網絡，以MRI合成CT、以3T MRI合成7T MRI，合成圖像質量均優于直方圖匹配法和局部圖像相似性測試等。

圖像合成通常在配準成對的圖像之間進行。針對缺乏配對圖像的問題，WOLTERINK等[29]提出基于循環生成式對抗網絡(cycle generative adversarial networks, CycleGAN)模型，用于由MRI合成CT，其中MRI與CT圖像無需配對訓練。JIN等[30]基于CycleGAN網絡結構，以配對和非配對數據提出MR-GAN模型，嘗試解決非配對訓練圖像內容不對齊問題，弱化配對訓練的嚴格配準要求、改善結果模糊，實現由CT合成MRI。目前仍有多項研究[31-33]基于深度學習方法進行醫學圖像合成，主要針對調整網絡結構、多通道多信息輸入、調整損失函數和三維擴展等方面。

5 小結

圖像合成可為解決臨床缺乏的模態圖像提供可行方案，但合成與原圖像完全相同的靶圖像是不可能的，將合成圖像用于診斷目的之前，應進行嚴格測試評估。為使合成模型得到廣泛應用，除生成高質量的合成圖像外，還考慮臨床實際中常出現的特殊條件(如數據丟失和數據未配對)具有魯棒性。

作為一種補充手段，圖像合成可為臨床研究提供路徑，但仍面臨著挑戰，如深度學習合成圖像方法在取得優異結果的同時面臨模型的可解釋性[34]，以及對數據量要求較高、卻缺乏統一的多中心大樣本[35]等問題，期待通過改進方法合成質量更好的醫學圖像。