基于NSCT的多模態醫學圖像融合算法的研究

徐磊，曹艷

南京醫科大學附屬南京醫院（南京市第一醫院） 核醫學科，江蘇 南京 210006

基于NSCT的多模態醫學圖像融合算法的研究

徐磊，曹艷

南京醫科大學附屬南京醫院（南京市第一醫院） 核醫學科，江蘇 南京 210006

目的提出一種新穎的非下采樣輪廓波變換算法，并將其用于多模態醫學圖像融合領域。方法第一步，采用非下采樣輪廓波變換將源圖像分解為高頻和低頻子圖像；第二步，低頻部分采用區域均值取大融合規則，能保留圖像的絕大部分信息，獲得更高的對比度和清晰度，高頻圖像采用取大區域方差取大融合原則，能有效地突出圖像細節信息；第三步，采用非下采樣輪廓波逆變換將融合子圖像進行重構運算，獲得最終的融合圖像。結果6組醫學圖像融合實驗表明，基于本文提出算法獲得的融合圖像質量最佳，且定量評價指標熵、平均值、標準差、邊緣強度分別較其他算法提升0～40%、3%～42%、1%～42%和0.4%～48%。結論基于本文提出的算法融合效果優越，具有較高普適性和實用性，是一種可行的、有效的醫學圖像融合算法。

非下采樣輪廓波變換；多模態圖像融合；融合規則；醫學影像

引言

隨著醫學影像設備學、計算機技術和生物醫學工程的迅速發展，醫學影像設備提供了多種模態的醫學圖像[1]。由于各模態影像設備成像原理不同，單一模態醫學圖像包含的信息有限，且不同模態圖像之間存在互補和冗余，其中MRI、CT、USG和MRA能提供高分辨率的解剖圖像，而PET、SPECT和fMRI提供低分辨率的功能圖像。怎樣將解剖與功能成像結合在一起以便獲得對同一目標更有用、更精確的信息，多模態醫學圖像融合技術是目前唯一一種能將多種圖像的相關互補信息結合在一幅圖像上的方法，被廣泛應用于臨床診斷、外科手術、放療等方面[2]。

多年來國內外在圖像融合領域的研究成果表明[3-4]，圖像融合技術可分為3類：像素級融合、特征級融合和決策級融合。由于像素級融合直接作用于圖像像素空間，容易實施，運算效率高，且能提供更豐富可靠的信息，是目前最常用的融合算法。最簡單的像素級融合算法是像素灰度平均法[5]，此法直接在圖像像素空間上進行融合，融合圖像對比度較差；主成分分析法（PCA）、獨立成分分析法（ICA）、IHS變換法等方法的融合性能有所提升，但均存在光譜退化的不足[6]；高斯金字塔、拉普拉斯金字塔、形態學金字塔等方法的融合效果受塊效應影響較大[7]；離散小波變換近階段開始興起，但融合過程容易產生奇異點，且捕捉各方向信息的能力有限[8]；輪廓波變換能給出圖像輪廓的漸近最優表示，但上下采用輪廓波變換具有移變性，且容易產生偽吉布斯現象[9]；非下采樣輪廓波變換（Non-Sampled Contourlet Transform，NSCT）繼承了輪廓波變換的優勢[10]，具有移不變性和冗余性，能有效地抑制偽吉布斯現象，使得NSCT方法成為一種高效可行的圖像融合算法。

本文主要研究像素級水平上的圖像融合，方法是基于非下采樣輪廓波變換的改進算法，構建了低頻區域均值取大、高頻區域方差取大相結合的融合規則，并對融合圖像進行一致性檢驗。

1 方法

1.1 非下采樣輪廓波變換理論

NSCT早由Cunha提出，是一種基于輪廓波變換的理論，在幾何變換和圖像處理方面均取得很好的效果[11]。由于在拉普拉斯金字塔和方向濾波器組中使用上采樣和下采樣，輪廓波變換不可避免帶有移變性，然而非下采樣輪廓波變換具有移不變、多尺度和多方向等性質，主要由非下采樣金字塔濾波器組（Non-Subsampled Pyramid Filter Bank，NSPFB）和非下采樣方向濾波器組（Non-Subsampled Directional Filter Bank，NSDFB）組成（圖1）。圖1很好地解釋了非下采樣輪廓波變換的分解，其中NSCT的多尺度特性由兩個非下采樣金字塔濾波器組保證，一次NSCT分解可獲得一個低頻子圖像和一個高頻子圖像，然后在NSPFB分解水平上，低頻部分可以進一步分解捕捉圖像的奇異點，分解層數為L時，可獲得一幅低頻子圖像和L幅高頻子圖像，高低頻子帶圖像尺寸均與源圖像大小相同[12-13]。

圖1 基于NSCT的圖像分解

非下采樣方向濾波器組保證了NSCT的多方向性，可以提供圖像更多的方向信息，且可以避免使用濾波器中上采樣和下采樣的操作。NSDFB可對高頻子圖像進行k層分解，得到與源圖像尺寸相同的2k個方向子圖像。

1.2 非下采樣輪廓波變換的圖像融合過程

NSCT是一種快速多尺度的圖像融合方法，有著特征區域、多分辨率分解、邊緣檢測、能量壓縮等優勢[14]。基于NSCT的圖像融合過程，見圖2。

圖2 基于NSCT的圖像融合過程

具體圖像融合的一般過程如下：① 選擇高度配準的圖像作為源圖像；② 采用NSCT進行源圖像分解，獲得各尺度和方向的高低頻子帶系數；③ 采用高低頻融合規則對高低頻子圖像進行融合處理；④ 將融合后的子圖像進行NSCT逆變換即得融合圖像。

2 本文提出的融合算法

本文提出的NSCT融合流程，見圖3。以CT與MRI融合為例，多模態醫學圖像在融合之前需要進行預處理，主要包括圖像配準、圖像尺寸調整和濾波。

不同模態醫學圖像描述的目標對象在空間上并不一一對應，圖像配準可校準同一目標的空間位置[15]；不同設備采集的圖像尺寸大小并不相同，需要采用插值法歸一化圖像尺寸大小[16]；由于中值濾波器能降低多種噪聲，且保存圖像邊緣，因此采用中值濾波器對源圖像進行濾波處理。

圖3 以CT和MRI融合為例展示本文提出的融合算法流程

2.1 低頻系數融合規則

低頻子帶系數代表圖像的主體信息，本文采用鄰域平均值取大獲得融合低頻系數，可以有效地提高融合圖像對比度和亮度。首先計算各低頻子圖像3×3鄰域內灰度平均值，然后取較大值作為低頻融合系數。如公式(1)和(2)所示，μ(p)表示子圖像中以（m，n）為中心的鄰域低頻系數平均值，，，分別表示源圖像A、B和融合圖像F在K層NSCT分解的系數。

2.2 高頻系數融合規則

融合圖像中應包含源圖像中所有的有用信息，這些有用信息表現為圖像的邊緣、線條和邊界，由高頻子帶系數表示。由于NSCT分解后的3個高頻具有一定的方向性，分為代表水平、垂直和對角線方向的細節部分，在同一分解尺度上，3個高頻子帶中對應位置的系數大小不等，圖像的細節部分主要集中在方向大的高頻系數上。因此，本文采用區域方差取大的融合規則，既能考慮鄰域內像素之間的關聯性，也最大限度的保留源圖像的細節部分，保證圖像的清晰度。公式如下：

2.3 圖像的一致性檢驗

圖像一致性檢驗是基于圖像區域“多數”原則進行的[17]。當融合子圖像某一區域內某個數像素來自子圖像A ，而其領域內大多數像素卻來自子圖像B，則將該像素點的系數應用子圖像B來替換相應位置的系數。

2.4 圖像融合評價體系

本文綜合使用定性分析和定量分析評價融合圖像的質量[18]。其中定性分析主要基于圖像的視覺效果，參考標準為圖像清晰度、對比度、亮度等。定量分析主要基于圖像評價指標，不同文獻采用的評價指標存在不足或冗余。本文將評價指標分為4類：基于信息量的評價、基于圖像對比度的評價、基于圖像平均灰度的評價、基于圖像邊緣強度的評價，選取每個類別中最具代表性的指標作為定量評價標準，分別為圖像平均灰度、標準差、熵、邊緣相似性測度，評價指標值越大，說明圖像融合效果越好。

3 實驗結果與分析

為了驗證本文提出算法的可行性、普適性和實用性，選用CT、MRI、PET等醫學圖像，分成6組進行測試，每組包括兩幅圖像：① 腦部MRI-T1加權圖像和MRA圖像；② 腦部MRA-GAD圖像與腦部CT圖像；③ 腦部MRI圖像和腦部PET圖像；④ MRI圖像和CT圖像；⑤ CT圖像和PET圖像；⑥ 脊柱CT圖像和MRI圖像。5組圖像經配準和尺寸調整后，大小均為256×256，具有256個灰階，所用融合算法均在Matlab 2010a開發環境下仿真實現。將本文提出的融合算法與像素平均法[19]、基于取大規則的傳統離散小波變換法[20]、NSCT-1[21]和NSCT-2[22]進行比較，融合結果，見圖4。

3.1 定性分析

6組圖像的融合結果，見圖 4。圖 a3～a7，b3～b7、c3～c7、d3～d7、e3～e7、f3～f7 分別對應像素平均法、離散小波變換法、NSCT-1、NSCT-2和本文提出算法的融合結果。從視覺效果看，基于本文提出算法的融合圖像a7對比度最優；b7圖像分辨率最高，且很好的突出腦部CT的細節部分；c7保留了大部分的PET圖像信息，突出MRI圖像目標區域；d7圖像中邊界清晰，突出了CT和MRI的細節部分；e7完整結合了PET和CT圖像信息，其中PET提示有無功能病變，CT提供衰減校正和定位，圖像中小細節部分更加清晰；f7種骨骼圖像亮度最高，完美結合CT和MRI的脊柱信息。表明本文融合算法的可行性、穩健性與優越性。

3.2 客觀定量評價

不同算法所得融合圖像的熵，平均值，標準差和邊緣相似性測度，見圖5～8所示。可以看出，基于像素平均法獲得的熵在6組融合圖像中均最小；基于離散小波變換獲得的熵值有所提升，但熵值仍然較小；基于NSCT-1和NSCT-2方法的熵值高于前兩種方法；基于本文融合算法所得的熵，在6組融合圖像中均獲得最大值，較其他4種方法提升了0～40%，表明基于本文算法的融合圖像信息量最大，融合效果最優。

同理，基于像素平均法獲得的平均值、標準差和邊緣相似性測度在6組融合圖像中均最小；基于離散小波變換獲得的3個指標均優于像素平均法，但低于NSCT和本文提出的算法；基于NSCT-1和NSCT-2方法的優于前兩種融合算法，但兩者之間不具備可比性，這是由于在某些組融合圖像中NSCT-1優于NSCT-2；基于本文融合算法所得的平均值、標準差和邊緣相似性測度，在6組融合圖像中均獲得最大值，較其他4種方法分別提升了3%～42%、1%～42%和0.4%～48%，表明基于本文算法適用于CT，MRI和PET任意組合的融合，融合圖像邊緣強度、對比度、清晰度均最優。

4 結論

多模態醫學圖像融合技術是一種強有力的圖像處理工具，對臨床疾病診斷至關重要。本文提出了一種基于NSCT的圖像融合改進算法，其中高低頻融合規則克服了傳統規則的局限性，其中區域均值取大能更好地保留低頻信息，高頻方向系數區域方差取大可突出圖像邊緣細節；對于不同模態圖像融合，本文提出的算法均能獲得高質量的融合圖像。定性和定量分析同時驗證了本文提出算法優于現存的其他融合方法，具有很強的普適性和穩健性，是一種可行的、有效的圖像融合算法，具有較強的臨床應用價值。

圖4 不同融合算法所得的融合圖像

圖5 不同融合算法所得的熵比較

圖6 不同融合算法所得的平均值比較

圖7 不同融合算法所得的邊緣相似性測度比較

圖8 不同融合算法所得的標準差比較

[1] 高峰,李梅,仇振釗.一種多模態醫學圖像數據融合方法與應用[J].中國醫療設備,2013,28(5):164-167.

[2] 靳珍怡,王遠軍.基于非下采樣輪廓波變換的多模態醫學圖像融合[J].中國醫學物理學雜志,2016,(5):445-450.

[3] 楊勇,童松,黃淑英.快速離散Curvelet變換域的圖像融合[J].中國圖象圖形學報,2015,20(2):219-228.

[4] 趙春暉,郭蘊霆.一種快速的基于稀疏表示和非下采樣輪廓波變換的圖像融合算法[J].電子與信息學報,2016,38(7):1773-1780.

[5] Adali T,Levin-Schwartz Y,Calhoun VD.Multimodal data fusion using source separation: application to medical imaging[J].Proc IEEE,2015,103(9):1494-1506.

[6] Xu P,Davoine F,Bordes JB,et al.Multimodal information fusion for urban scene understanding[J].Mach Vision Appl,2016,27(3):331-349.

[7] 靳珍怡,王遠軍.基于非下采樣輪廓波變換的多模態醫學圖像融合[J].中國醫學物理學雜志,2016,(5):445-450.

[8] Da CA,Zhou J,Do MN.The nonsubsampled contourlet transform: theory, design, and applications[J].IEEE T ImageProcessing,2006,15(10):3089-101.

[9] Liu Z,Yin H,Chai Y,et al.A novel approach for multimodal medical image fusion[J].Expert Syst Appl,2014,41(16):7425-7435.

[10] Yang Y,Tong S,Huang S,et al.Log-Gabor Energy Based Multimodal Medical Image Fusion in NSCT Domain[J].Comput Math Methods Med,2014,2014(2):1-11.

[11] Yang L,Guo BL,Ni W.Multimodality medical image fusion based on multiscale geometric analysis of contourlet transform[J].Neurocomputing,2008,72(1):203-211.

[12] James AP,Dasarathy BV.Medical image fusion: a survey of the state of the art[J].Inform Fusion,2014,19(3):4-19.

[13] Das S,Kundu MK.Corrections to “a neuro-fuzzy approach for medical image fusion”[J].IEEE T Bio-Med Eng,2015,62(4):1226-1226.

[14] Zhang B,Zhang C,Wu J,et al.A medical image fusion method based on energy classification of BEMD components[J].Optik,2014,125(1):146-153.

[15] 張鑫,陳偉斌.Contourlet變換系數加權的醫學圖像融合[J].中國圖象圖形學報,2014,19(1):133-140.

[16] 周生龍,張濤,蒯多杰,等.基于方向區域的NSCT圖像融合算法[J].激光與紅外,2013,43(2):204-207.

[17] 李棟,王敬東,李鵬.基于NSCT變換和小波變換相結合的圖像融合算法研究[J].光電子技術,2011,31(2):87-92.

[18] 王杰雄,齊向陽,李欣偉,等.基于邊緣和局部能量的NSCT變換遙感圖像融合[J].中國科學院大學學報,2009,26(5):657-662.

[19] 高清河,剛晶,王和禹,等.基于小波變換的多模態醫學圖像的融合及性能評價[J].生物醫學工程研究,2014,33(4):259-263.

[20] 徐磊,崔璨,張華偉,等.基于離散小波變換的多模態醫學圖像融合改進算法的研究[J].重慶醫學,2016,45(21):2885-2889.

[21] Qu XB,Yan JW,Xiao HZ,et al.Image fusion algorithm based on spatial frequency-motivated pulse coupled neural networks in nonsubsampled contourlet transform domain[J].Acta Automatica Sinica,2008,34(12):1508-1514.

[22] Bhatnagar G,Wu QMJ,Liu Z.Directive contrast based multimodal medical image fusion in NSCT domain[J].IEEE T Multimedia,2013,15(5):1014-1024.

A Novel Method for Multimodal Medical Image Fusion Based on Non-Subsampled Contourlet Transform

XU Lei, CAO Yan
Department of Nuclear Medicine, Nanjing First Hospital, Nanjing Medical University, Nanjing Jiangsu 210006, China

ObjectiveIn this paper, a novel method for the fusion of multimodal medical images is proposed based on nonsubsampled contourlet transform (NSCT).MethodsFirstly, the source medical images were initially transformed by NSCT followed by fusing low and high frequency sub-bands. Secondly, the low frequency components of NSCT were fused by the maximum local mean scheme and high frequency components were fused by the maximum local variance scheme. Thirdly, the use of variance enhanced the fusion scheme by preserving the edges in the images. These combinations significantly preserved more details in the source images and improved the quality of the fused images. Finally, the fused image was reconstructed by inverse non-subsampled contourlet transform.ResultsThe efficiency of the suggested technique was carried out by fusion experiments on 6 different multimodality medical image pairs, visually and quantitatively experimental results indicated that the percentage improvement in entropy, mean, standard deviation and edge strength in proposed method were 0～40%, 3%～42%, 1%～42%, and 0.4%～48%compared to conventional methods for 6 pairs of medical images.ConclusionThe proposed method can obtain more efficient and accurate fusion results. It can provide better robustness, superiority and become a feasible image fusion algorithm.

non subsampled contourlet transform; multimodal medical image fusion; fusion rule; medical imaging

TP391

A

10.3969/j.issn.1674-1633.2017.12.015

1674-1633(2017)012-0063-05

2016-11-15

2016-12-23

國家自然科學基金（81271604）。

曹艷，副主任技師，主要研究方向為核醫學技術。

通訊作者郵箱：yancao97918@126.com

本文編輯 王靜