基于離散小波變換的多模態醫學圖像融合改進算法的研究*

徐　磊，崔　璨，張華偉，孟慶樂，楊　瑞，田書暢，蔣紅兵△

(南京醫科大學附屬南京醫院/南京市第一醫院：1.醫療設備處；2.核醫學科，江蘇南京 210006)

?

基于離散小波變換的多模態醫學圖像融合改進算法的研究*

徐磊1，崔璨2，張華偉1，孟慶樂2，楊瑞2，田書暢1，蔣紅兵1△

(南京醫科大學附屬南京醫院/南京市第一醫院：1.醫療設備處；2.核醫學科，江蘇南京 210006)

目的提出一種改進的離散小波變換算法，并將其用于多模態醫學圖像融合。方法將源圖像經過離散小波變換分解為高頻和低頻子圖像；高頻部分采用方向絕對值取大，能有效地保存圖像的細節信息，低頻部分使用區域能量比融合規則，保存了圖像的絕大部分信息；用離散小波逆變換將融合子圖像重構成融合圖像。結果由3組醫學圖像融合效果比較可知，該算法在主觀視覺效果和客觀評價指標方面均優于現存的其他算法。結論該醫學圖像融合算法快速準確，在噪聲環境和臨床實例中均表現優越，可以獲得較高質量的融合圖像，具有較高的臨床應用價值。

離散小波變換；多模態；圖像融合；融合規則

隨著醫學影像技術、計算機技術及生物醫學工程技術的發展，醫學影像設備為臨床診斷、治療提供了多種模態的醫學圖像，如CT、磁共振成像(MRI)、單光子發射計算體層攝影術(SPECT)、正電子發射計算機體層攝影(PET)、超聲圖像等。由于各種模態的成像原理不同，不同模態圖像之間存在互補與冗余[1]。例如，CT成像可以定位腫瘤病灶，MRI成像可以獲得非常清晰的軟組織圖像，然而任意一種成像模態不可能在一幅圖像中同時包含全面互補的信息。醫學圖像融合可以將不同模態圖像的相關互補信息融合在一起，被廣泛應用于非侵入性診斷、圖像引導照射、放療計劃等方面。

按照圖像融合處理的不同階段，圖像融合處理通常分為3個層次：像素級融合、特征級融合、決策級融合[2]。目前大多數的圖像融合算法都是基于像素級的，因為像素級融合直接作用于圖像像素，能提供比特征級融合和決策級融合更豐富可靠的信息，有利于圖像的進一步分析、處理與理解。根據多年來國內外在圖像融合領域的研究成果[3-5]，像素級圖像融合方法大致可分為兩類：基于空間域的融合算法和基于變換域的融合算法。空間域融合方法直接在圖像的像素灰度空間上進行融合，主要包括加權平均法、主分量分析法、統計模型、人工神經網絡方法等，空間域融合的最大缺點是空間失真和不能提供圖像頻率信息，由于醫學圖像灰度分布不均，且對比度較差，圖像易失真和受到噪聲的影響，然而基于頻率域的融合算法可以克服空間域融合算法的局限性。

基于頻率域的融合算法有金字塔變換、離散小波變換、輪廓波變換、曲波變換等。金字塔變換存在塊狀模糊效應、沒有方向性信息和較低的信噪比等缺點。一些高級的小波變換如輪廓波變換、曲波變換聲稱融合效果較離散小波變換好，但計算較復雜，且需要較大的計算內存。離散小波變換由于具有多分辨率、變尺度、快速運算及與人視覺的空間頻率多通道相吻合等特性，被廣泛應用于圖像處理領域，并且成為圖像融合領域的重要算法[6-8]。本文主要研究像素級離散小波變換的醫學圖像融合算法，提出低頻區域能量比取大、高頻方向系數絕對值取大相結合的融合規則，并對融合圖像進行一致性檢驗，現報道如下。

1　材料與方法

1.1材料為了驗證本文提出算法的普適性、抗干擾性和實用性，選取3組不同的醫學圖像進行測試，每組包括兩幅源圖像：(1)腦部CT圖像和MRI圖像；(2) 帶有5%高斯噪聲的腦部CT圖像與MRI圖像；(3) MR-T1加權的腦部圖像和MR-T2加權的腦部圖像。3組圖像尺寸均為256×256，具有256個灰階。

1.2方法

1.2.1離散小波變換基本理論對于一個給定信號F(x)的離散小波變換可看成是用尺度函數?(x)和小波函數ψ(x)對其進行分解與重構。其中，信號分解由尺度系數l(k)和小波系數h(k)進行，信號F(x)在任意尺度J上進行小波分解可表示為[9]：

(1)

C(j,k)和D(j,k)是在尺度J上的尺度系數和小波系數，可由公式(4)和(5)計算[10]。

(2)

(3)

信號重構由尺度系數l(k)和小波系數h(k)共同完成，由公式(4)給出[11]。

(4)

信號的向前與向后分解提供在不同尺度上進行多尺度信號分解的依據，小波分解提供水平、垂直、對角3個空間方向的信息，分解后的信號由以下尺度函數和小波函數來表示[12]。

(5)

基于離散小波變換的二維圖像分解過程如圖1所示，可以看出二維離散小波變換可提供不同層次上的多分辨率分解。圖1A代表3層離散小波分解，圖1B給出 Lena圖像的2層小波分解。

1.2.2離散小波變換的圖像融合過程離散小波變換是一種快速多尺度的圖像融合方法，有著特征區域、多分辨率分解、邊緣檢測、解相關、能量壓縮等優勢。離散小波變換的圖像融合過程，見圖2。具體圖像融合的一般過程：(1)選擇已配準的圖像作為源圖像；(2)選取合適的小波基函數和分解層數對圖像進行離散小波變換；(3)采用高低頻融合規則對高低頻子圖像進行融合處理；(4)：將融合后的子圖像進行小波逆變換即得融合圖像，并對融合圖像質量進行評價。

A：3層離散小波變換分解；B：Lena圖像的2層分解。

圖1二維圖像的離散小波變換分解

圖2　　基于離散小波變換的圖像融合過程

1.2.3低頻系數融合規則由于醫學圖像的能量主要集中在低頻部分，且圖像的有用特征是基于區域而不是由一個像素點來體現，因此低頻系數融合規則采用區域能量比，該方法可以有效地提高圖像對比度和亮度，突出圖像感興趣區域。區域能量定義為[13]：

(6)

圖像的區域能量比P,也稱相似性測度，反映圖像之間的相似性，表示為：

(7)

用相似性測度P對圖像的頻域特性進行度量，當P接近1時，認為兩區域具有某種相似性，否則認為兩區域差異較大。設定相似度閾值,根據P與T的大小關系決定融合規則。表示融合后圖像的低頻系數。

(8)

1.2.4高頻系數融合規則對于高頻系數，融合規則采用基于頻帶方向絕對值取大。由于小波分解后的3個高頻具有一定的方向性，分別代表水平、垂直和對角線方向的細節部分，在同一尺度上，3個高頻子圖像中對應位置的小波系數大小不等，圖像的細節部分主要集中在小波系數較大的方向上，圖像融合時就選用該方向上的小波系數。公式如下：

(9)

1.2.5小波基函數的選擇與一致性檢驗小波基函數是源圖像分解的工具，目前常用的小波基函數有：Haar小波基、Daubechies(DbN)小波基、Coiflet小波基、Symlets小波基等，相關文獻報道表明Db3小波基函數的分解效果最優[14-16]，故選取該函數作為小波基。一致性檢驗是基于圖像區域“多數”原則進行的。具體做法為：在融合子圖像中，若某一分解系數來自子圖像A，而它的領域中大多數系數卻來自子圖像B，則將該點的系數用子圖像 相應位置的系數替換。

1.3圖像融合評價體系目前評價融合圖像質量的方法主要分為兩類：主觀視覺評價和客觀指標評價[17-18]。主觀評價主要是基于人眼目測的方法，圖像質量評價參考標準為圖像對比度、清晰度、亮度等指標。客觀評價指標數目繁多，不同文獻選用的評價指標差異很大，存在評價指標冗余或不足的現象。本文將客觀評價指標分為5類：基于信息量的評價、基于統計量的評價、基于相關性的評價、基于梯度值的評價和基于信噪比的評價，從每個類別中選取具有代表性的評價指標作為客觀評價標準，分別為交叉熵、標準差、相關系數、平均梯度和峰值信噪比。其中交叉熵值越小，說明圖像融合效果越好；標準差、相關系數、平均梯度和峰值信噪比在一定范圍內，數值越大，說明融合圖像質量越好。

2　結　　果

2.1醫學圖像融合結果將本文提出的融合算法與現有的典型算法進行比較，3組醫學圖像融合結果，見圖3～5。定量評價結果見表1、2和圖6。

a：腦部CT圖像；b：腦部MRI圖像；c～g：本文提出算法分解層數2～6層的結果；h：主分量分析法；i：高斯變換法；j：拉普拉斯變換法；k：輪廓波變換法；l：非下采樣輪廓變換法。

圖3 第1組醫學圖像的融合結果

a：含5%高斯噪聲的腦部CT圖像；b：含5%高斯噪聲的腦部MRI圖像；c：本文提出的算法；d：主分量分析法；e：高斯變換法；f：拉普拉斯變換法；g：輪廓波變換法；h：非下采樣輪廓波變換法。

圖4含噪聲的多模態醫學圖像融合結果

a：MR-T1加權圖像；b：MR-T1加權圖像；c～h：圖像融合方法：c為本文提出的算法，d為主分量分析法，e為高斯變換法，f為拉普拉斯變換法，g為輪廓波變換法，h為非下采樣輪廓波變換法。

圖5腫瘤患者的腦部圖像

2.2主觀視覺評價3組圖像的融合結果分別見圖3～5，圖3c～l、4c～h、5c～h分別對應本文提出的算法與主分量分析法、高斯金字塔變換法、拉普拉斯金字塔變換法、輪廓波變換法及非下采樣輪廓波變換法的融合結果，從視覺效果看，基于本文提出算法的融合圖像具有較高的視覺分辨率、對比度和清晰度，圖像質量較佳，表明本文融合算法的可行性與優越性。

2.3客觀定量評價

2.3.1常規的醫學圖像融合結果定量分析第1組醫學圖像融合結果的客觀指標，見表1，使用本文提出的融合方法時，可以得出3點結論：(1)分解層數較低時，融合圖像評價指標接近于其他方法；(2)當分解層數為6時，標準差、相關系數和平均梯度均最大，交叉熵值接近非下采樣輪廓波變換得到的值。(3)當分解層數大于3時，融合圖像評價指標變化微弱。

表1　　第1組醫學圖像融合結果定量評價比較

2.3.2噪聲環境下的醫學圖像融合第2組醫學圖像各用5%的高斯噪聲腐蝕，離散小波分解層數選為3。交叉熵、標準差、相關系數和平均梯度不能充分評價噪聲環境下圖像融合效果，本文引入峰值信噪比以便更科學地評價融合圖像質量。本文所用方法的融合圖像峰值信噪比值最高，說明在噪聲環境下本文提出的融合算法依然有效，見圖6。

圖6　　在噪聲環境下的不同融合方法所得的峰值信噪比

2.3.3臨床應用實例第3組是一個腦部腫瘤診斷的臨床實例圖像，見圖5a、b。本文提出的圖像融合方法提供比其他方法更高的腫瘤對比度和清晰度，如圖5中紅色箭頭所示。基于本文提出算法所得的融合圖像評價指標中標準差、相關系數、平均梯度值均最大，交叉熵值接近于表中最小值，見表2。

表2　　臨床醫學圖像融合結果的定量評價比較

3　結　　論

多模態醫學圖像融合在臨床應用中至關重要，但是獲得高質量的融合圖像依然具有挑戰。本文提出了一種基于離散小波變換的圖像融合改進算法，主要創新點如下：(1)提出一種新穎的高低頻融合規則，克服了傳統融合規則的局限性，其中區域能量比方法能更好地保存低頻能量，高頻方向系數絕對值取大可突出細節信息；(2)使用離散小波變換法進行圖像融合時，如果選取合理的融合規則，即使分解層數較低時，依然可以得到較好的融合效果；(3)不管在噪聲環境下，還是在臨床實例應用中，本文提出的算法均表現出良好的融合效果。

主觀視覺評價和客觀定量比較同時證明了本文提出算法的有效性，不僅可以減少圖像信息丟失，還很好地突出了細節紋理部分，減少了圖像偽影，提供高對比度的視覺效果。在以后的工作中，將會聯合使用Matlab和C++設計并開發出一個醫學圖像融合平臺，減少響應時間，并推廣到3D醫學圖像融合。

綜上所述，理論分析和實驗結果證實，本文提出的算法快速有效，抗干擾性強，具有較高的臨床應用價值。

[1]高峰，李梅，仇振釗，等．一種多模態醫學圖像數據融合方法與應用[J]．中國醫療設備，2013，28(5)：164-167．

[2]張彬，鄭永果，馬芳，等．基于小波變換的多模態醫學圖像融合算法[J]．重慶醫學，2011，40(7)：652-654．

[3]張鑫,陳偉斌.Contourlet變換系數加權的醫學圖像融合[J].中國圖象圖形學報,2014,19(1):133-140.

[4]Bedi SS，Khandelwal R．Comprehensive and comparative study of image fusion techniques[J]．Int J Soft Computing and Engineering，2013，37(1)：4242-4248．

[5]Pradhan PS，King RL，Younan NH，et al．Estimation of the number of decomposition levels for a wavelet-based multiresolution multisensor image fusion[J].IEEE Trans Geosci Remote Sens，2006，44(12)：3674-3686．

[6]Singh R，Srivastava R，Prakash O，et al．Multimodal medical image fusion in dual tree complex wavelet transform domain using maximum and average fusion rules[J]．J Med Imag Health In，2012，2(2)：168-173．

[7]Yang Y，Park DS，Huang S，et al．Fusion of CT and MR images using an improved wavelet based method[J]．J X-Ray Sci Technol，2010，18(2)：157-170．

[8]Singh R，Khare A．Multiscale medical image fusion in wavelet domain[J]．Scientific World J，2013(2013)：521034．

[9]郭雷，程塨，趙天云，等.基于小波變換和鄰域特征的多聚焦圖像融合算法[J].西北工業大學學報，2011，29(3)：454-459.

[10]胡俊峰，唐鶴云，錢建生，等.基于小波變換醫學圖像融合算法的對比分析[J].中國生物醫學工程學報，2011，30(2)：196-205.

[11]朱健，石躍祥.基于小波變換的一種改進融合規則的圖像融合[J].計算機工程與應用，2011，47(11)：185-186.

[12]Zhang X，Li X，Feng Y．A new image fusion performance measure using Riesz transforms[J]．Optik-Int J Light Electron Optics，2014：125(3)：1427-1433．

[13]James AP，Dasarathy BV．Medical image fusion: a survey of the state of the art [J]．Inform Fusion，2014，19(3)：4-19．

[14]唐艷秋，張星祥，李新娥，等.基于人眼視覺灰度識別特性的圖像動態范圍小波變換處理方法[J].液晶與顯示，2012，27(3)：385-390.

[15]余汪洋，陳祥光，董守龍，等.基于小波變換的圖像融合算法研究[J].北京理工大學學報，2014，12(34)：1262-1266.

[16]李俊峰，姜曉麗，戴文戰.基于提升小波變換的醫學圖像融合[J].中國圖象圖形學報，2014，11(19)：1639-1648.

[17]張建勛，牛文賓，張凱文，等.一種改進的基于小波變換的圖像融合算法[J].重慶理工大學學報(自然科學)，2012，26(1)：61-65.

[18]高清河，剛晶，王和禹，等.基于小波變換的多模態醫學圖像的融合及性能評價[J].生物醫學工程研究，2014，4(33)：259-263.

Study on improved algorithm for multimodal medical image fusion based on discrete wavelet transform*

XuLei1，CuiCan2，ZhangHuawei1，MengQingle2，YangRui2，TianShuchang1，JiangHongbing1△

(1.DepartmentofMedicalEquipments; 2.DepartmentofNuclearMedicine,AffiliatedNanjingHospital,NanjingMedicalUniversity/NanjingMunicipalFirstHospital,Nanjing,Jiangsu210006,China)

ObjectiveTo propose an improved discrete wavelet transform (DWT) and to apply it in multimodal medical image fusion.MethodsFirstly,the source medical images were initially transformed into the high frequency and low frequency images by DWT; then the high frequency part adopted the big direction absolute values,which effectively preserved the detailed information of image,while the low frequency part used the fusion rule of local energy ratio for preserving the most of image information; finally,the discrete wavelet reverse transform was used for reconstructing the fusion sub-images into fusion image.ResultsBy comparing the fusion images by 3 groups of medical images,this proposed algorithm was superior to other existing algorithms in the aspects of subjective visual effect and objective evaluation indicators.ConclusionThe proposed algorithm of medical image fusion is rapid and accurate,has excellent performance in the noise environment and clinical examples,can obtain the high quality fusion image and has higher clinical application value.

discrete wavelet transform；multimodal；image fusion；fusion rule

南京市醫學科技發展資金“青年工程”人才培養專項經費資助項目(QRX11033)。作者簡介：徐磊(1990-)，在讀碩士，主要從事生物醫學工程研究。△

，E-mail:cmdjhb@126.com。

TP391.41

A

1671-8348(2016)21-2885-05

2016-01-09

2016-03-27)

·論著·doi:10.3969/j.issn.1671-8348.2016.21.002