李金,張靜,梁洪
哈爾濱工程大學自動化學院生物醫學工程研究所,哈爾濱150001
基于小波變換的醫學圖像融合技術研究
李金,張靜,梁洪
哈爾濱工程大學自動化學院生物醫學工程研究所,哈爾濱150001
醫學圖像融合是現代醫學領域重要的研究方向之一。為了對病情做出準確全面的診斷及治療,往往將來自不同醫學圖像的信息進行研究和分析,醫學圖像融合技術就是將多幅源圖像信息融合到一幅圖像中,以期獲取更全面、清晰以及更豐富的圖像信息。本文采用來自哈佛大學腦圖像集中已配準好的CT和MRI、CT和PET兩組對象,運用多種算法進行融合,重點研究基于小波變換的圖像融合算法,將待融合的圖像分解成高低頻信息,然后通過特定的融合規則融合圖像分解后的子信息,最后,通過逆變換得到最終的融合結果。本文通過評價標準證明了小波算法優于其他算法,此算法處理后的圖像能得到良好的視覺效果和理想指標,在臨床上具有重要的診斷參考價值。
小波變換;融合規則;醫學圖像;圖像融合
自1895年倫琴發現X射線以來,醫學影像學作為一門新興學科,在臨床上的應用非常廣泛,為準確診斷病情起到不可替代的作用。興起于20世紀90年代初期的圖像融合技術,是將相同傳感器或不同傳感器得到的有關同一場景的圖像信息加以綜合,這種技術有效的融合了圖像間的冗余和互補信息。醫學成像技術大致可以分為解剖成像和功能成像兩大類。解剖成像顯示的是人體內部的組織結構,其如X射線、CT(計算機斷層)、MRI(核磁共振)、DSA(數字減影血管造影)等[1]。其中,CT圖像具有較高的分辨率并且能完整的提供人體內部的解剖形態信息,但是無法提供其功能信息;功能成像反映的是人體的新陳代謝活動的信息,其包括SPECT(單光子發射計算機斷層成像)、PET(正電子發射斷層成像)、fMRI(功能磁共振成像)等。其中PET空間分辨率較差,卻提供了臟器的新陳代謝信息[2]。因此,單一模態的醫學圖像不能顯示病人病變的所有信息,利用其優勢摒棄劣勢將單一模態的圖像轉換成多模態融合圖像,整合這些功能和解剖信息,多模態醫學圖像融合技術應時而生。融合圖像集結了兩幅甚至多幅單一模態的有利信息,將其優點綜合起來,豐富了診斷信息[3]。醫學圖像融合技術能夠改善圖像的質量,從而為臨床診斷、目標跟蹤等研究提供了更豐富的信息。圖像融合算法有多種,本文主要研究基于小波圖像融合算法[4]。
小波變換是上世紀后期發展起來的一種新興理論,是數學發展史上一項重要成果。素有“數學顯微鏡”之稱的小波分析具有較高的分辨率,可以聚焦到對象的任何細節[5]。
近年來,醫學影像的研究領域涌現出很多新的方法,其中基于多尺度分解的小波變換圖像融合算法是傳統算法的拓展。小波變換具有良好的尺度變換特征、方向特征以及時頻域部分化特征,因此廣泛應用于計算機視覺、分形分析、模式識別等研究領域[6]。然而小波與其他變換相比,融合策略對結果的質量評價十分重要,因此,本文以配準好的MRI和CT圖像為原素材,基于醫學圖像融合能較多獲得圖像的解剖結構和功能代謝信息,很好保留了單一圖像的紋理和邊緣特征。采用小波變換的圖像融合算法,通過對低頻信息中Tenengrad函數使用Sobel算子獲取垂直和水平方向的梯度大小,從而保留了更多低頻能量和源圖像(CT和MRI)的邊緣信息[7][8];通過高頻信息融合很好的觀測出紋理信息。本文CT和PET已配準好的圖像進行加權平均、PCA算法以及HIS算法進行融合。融合結果與小波算法進行比較,得出小波算法能夠更好的處理圖像。
1.1 二維圖像的小波分解
1989年Mallat在塔式分解算法啟發下,將計算機視覺領域的尺度分析思想引入小波分析,研究了小波變換的離散化情況,并提出了相應的Mallat算法[9]。該算法解決細節的相關性,為以后的小波重構以及塔式算法提供了框架模式,其Mallat算法公式表示為:

其中φ為尺度,為ψ小波函數,式(1)為雙尺度方程。
將腦部圖像分解成多層信息的子圖像,每一層子圖像都具有高低頻子信息,小波分解的層數越高圖像的尺寸大小是呈遞減的[10]。圖1為小波圖像分解框架示意圖。圖2為腦部圖像的二層和三層分解圖。

圖 1 腦部圖像分解示意圖

圖 2 二層和三層小波分解圖像
1.2 高低頻系數的融合規則
多分辨率分解圖像的低頻信息包含了圖像的絕大部分能量,并是信號的主要輪廓,能對病灶的位置起到關鍵性作用,高頻部分表示圖像輸出的細節,本文采用加權平均算子的方法可以抑制部分圖像信息的丟失,優化圖像的質量[11][12],通過下面公式進行計算:
A(j ,k)=(A1(j,k)+K°A2(j,k)°α-A1(j,k)-K°A2(j,k)°β(2)
其中A(j,k)為低頻分量。
設HAk和 HBk分別為源圖像經過提升小波變換后得到的各個高頻分量,融合后的結果為HFk(K=HL,LH,HH)[13]。選取區域的大小為M*N(M、N取基數,M且≥3,N≥3)。

其中HA1和HB1是小波變換的細節信息,M,N 為小波選取的基數。
通過式(3)到式(6)計算出兩幅圖像各個高頻分量的區域匹配度:

通過選擇一個閾值T,如果Mk(i,j)≥T,則:

當Mk(i,j)<T時,則:

其中(K=HL,LH,HH),VAk和 VBk為 小波變換的高頻分量。
1.3 連續和離散小波變換
小波變換是一種多尺度分析,傅里葉變換是在頻域上的分析,小波變換是傅里葉變換(小波函數的可容許條件)的改進和發展。設φ(t)為一可積函數,其中尺度因子為α,平移因子為φα,τ(t)。對φ(t)進行平移伸縮,得到連續小波變換后的基函數。則有:

其中,連續小波函數經過伸縮尺度α和變換因數τ,φ(t)為函數平方可積函數。
由于連續小波中尺度參數和平移參數的不確定性,產生大量冗余信息,因此,將連續小波中尺度參數α和τ平移參數按冪級數進行離散得到離散小波函數為:

其中,位移間隔2mTs。
若采用TS在時間軸上進行歸一化處理,式(13)可以表示為φm,n(t)=2-m2φ(2-mt-n),則滿足下式:

函數簇滿足框架的上限和下限:

通過hilbert函數族對離散小波進行逆變換:

當A=B時,

其中A,B為0 ~∞的兩個常數,分別為該框架的上限和下限,為WT?離散小波變換。
1.4 基于小波變換的融合原理
利用上式分別對兩幅圖像進行多尺度的分解,選用融合算子作為融合規則,對低頻子圖像,取兩個較相近的像素點的平均值作為融合值,對于高頻子帶,選用3*3的子窗口計算小波分量,小波分解大概步驟可以分三步,分解、融合、重構[14]。本文基于小波變換的圖像融合算法原理見圖3。

圖 3 基于小波變換的圖像融合原理圖
圖像融合的評價標準主要分為兩部分,主觀評價和客觀評價[14]。主觀評價主要是人眼對圖像的感知,對醫學圖像而言,醫生經過臨床經驗的積累可以判斷圖像質量的好壞,但是由于每個人對圖像的感知都有一定的差異,我們有必要采用客觀評價通過計算機技術來來評價圖像的質量[15]。
(1)熵
熵包括信息熵、交叉熵以及偏差熵,它反映了兩幅甚至是多幅圖像間的差異,以及圖像信息的豐富程度。值越大,圖像質量越好。

其中,Pa={Pa1,Pa2,...Pai,...Pan},Pai表 示的是灰度值等于i的像素數和源圖像a總像素。
(2)均值和標準差
均值反映的是圖像像素值的大小,標準差是利用均值間接計算得到的,它是用來衡量圖像像素值的分布。標準差越大則像素灰度離散的特征也就越明顯:
均值:

其中,a(i,j)為圖像在(i,j)處的像素灰度值,M,N分別為圖像的行數和列數。
標準差:

(3)互信息
互信息為兩幅圖像相關性的量度,值越大,融合圖像相關度越好。

其中,PFA(f,a)表示兩幅圖像同一位置像素在原始圖像中灰度值為?,PF(f)PA(a)為兩幅圖像的概率密度。
則總的互信息量為:

(4)平均梯度:
平均梯度反映的是細節和紋理的特征,值越大越好。

其中,ΔxG2(x,y)和ΔyG2(x,y)表示像素點(i,j)沿X和Y方向一階差分值。
(5)相關系數
相關系數反映的是融合圖像和原圖像之間的相關程度,越接近1越好。

其中,a(i,j)為圖像在(i,j)處的像素灰度值。
(6)空間頻率
空間頻率反映的是融合圖像的活躍度,越大越好,其定義:

其中,RF為空間行頻率,CF為空間列頻率。

(7)信噪比
信噪比越大,說明融合圖像質量越好。

其中,R(i,j)和F(i,j)為兩幅原圖像的像素值。
圖4 (a)、(b)為CT和MRI圖像,(c)、(d)、(e)、(f)、(g)為加權融合算法、梯度融合算法、對比度融合算法、lap融合算法、最大值融合算法結果,(h)為小波算法結果。圖5 (a)、(b)為CT和PET圖像,(c)、(d)、(e)分別為加權平均算法融合、PCA融合算法、HIS融合算法結果,(f)為小波算法融合結果。通過表1可以看出圖4 (h)的熵值較大,互信息較大,相關系數更接近1,扭曲程度較小;通過表2可以看出圖5 (f)熵值較大,標準差相對較大,以及扭曲程度小。圖4 (h)和圖5 (f)給出了良好的視覺效果和理想指標。因此本文結果證明基于小波算法處理圖像優于其他算法,在臨床診斷中具有重要的參考價值。

圖4 CT和MRI圖像融合算法結果

圖5 CT和PET圖像融合算法結

表1 CT和MRI圖像融合結果的客觀性能評價

表2 CT和PET圖像融合結果的客觀性能評價
(References)
[1] 宋惠寧. 異機圖像融合在臨床應用中的價值[J]. 醫療設備信息, 2004, 19(5): 49-50.
[2] 劉鋒, 曾凡, 黃昊. 基于局域網的臨床手術示教系統的構建[J]. 重慶醫學, 2009, 38(21): 2656.
[3] 張明慧, 盧振泰, 陳武凡. 基于高維互信息量的圖像配準[J]. 計算機工程與設計, 2007, 34(18): 4420-4421,4468.
[4] 武杰, 聶生東, 汪紅志. 基于局部特征的醫學圖像融合方法[J]. 中國醫學影像技術, 2009, 20(3): 496-498.
[5] 郭敏, 馬遠良, 朱霆. 基于小波變換的醫學超聲圖像去噪及增強方法[J]. 中國醫學影像技術,2006, 22(9):1435-1437.
[6] 蘇小英. 小波變換在醫學圖像去噪中的應用研究[J]. 數學醫藥學雜志, 2011, 24(2): 223-225.
[7] 王林艷, 陶玲, 王惠南. CT與MRI圖像融合的評價方法研究[J]. 生物醫學工程研究, 2006, 43(4):247-250.
[8] 連靜, 王珂. 基于邊緣的小波圖像融合算法[J]. 通信學報, 2007, 28(8): 18-23.
[9] 文明, 彭志平, 柏瑋. PET/CT融合圖像在體部轉移性腫瘤中的診斷價值——與CT、SPECT或PET的比較研究[J]. 重慶醫科大學學報, 2006, 32(5): 742-745.
[10] Da Cunha A L, Zhou J P, Do M. N The non-sub sampled contourlet transform: theory, design and application[J]. IEEE Transactions on Image Processing, 2006, 15(10):3089-3101.
[11] 謝加兵, 徐祝軍, 汪正宇. 圖像融合技術在骨科的應用進展[J]. 安徽醫藥, 2012, 16(8): 1163-1165.
[12] 高峰, 李梅, 仇振釗. 一種多模態醫學圖像數據融合方法與應用[J]. 中國醫療設備, 2013, 28(5): 164-167.
[13] 乜大偉. 小波變換在醫學圖像處理中的應用[J]. 中國現代醫生, 2014, 52(24): 49-51.
[14] 劉海濤, 石躍祥, 康蘊. 基于小波分析的圖像融合新方法[J]. 計算機工程與應用, 2013, 49(6): 205-207.
[15] 彭東, 徐可為, 王榮輝. SPECT/CT融合顯像診斷腫瘤骨轉移的臨床價值[J]. 廣西醫學, 2014, 36(8): 1153-1155.
《中華骨與關節外科雜志》稿約

《中華骨與關節外科雜志》為國家衛生和計劃生育委員會主管、中國醫學科學院主辦、北京協和醫院骨科和中國協和醫科大學出版社承辦的國家級醫學專業學術性期刊。本刊已加入《中國學術期刊(光盤版)》及“萬方數據資源系統(ChinaInfo)數字化期刊群”。本刊旨在反映我國骨與關節外科工作的最新進展,促進國內外醫學學術交流。主要欄目有臨床論著、基礎研究、經驗交流、綜述、病例報道、國內外骨科醫學學術動態以及會議紀要等。
1.文稿應具有先進性、科學性、邏輯性。應主題明確、重點突出、簡明通順、數據可靠、結論明確。
2.論著一般不超過 7000字(含摘要、圖表及參考文獻),綜述及講座不超過 8000字,病例報道以 2000~3000字為宜。中文文題 20個漢字以內為宜。臨床論著、基礎研究應附結構式中、英文摘要,包括背景、目的、方法、結果、結論(500字以內),其中“背景”為 2012年投稿新增內容,為簡要的研究背景介紹,并給出 3~7個關鍵詞。
3.文稿內容排列順序依次(論著類)為:中文文題、作者、作者單位所在地及郵編、中文摘要、關鍵詞;英文文題、作者(國內作者名稱用漢語拼音拼寫,姓前名后,中間空格,姓氏首字母大寫,復姓應連寫,名字首字母大寫。如LIN Chengxuan,OUYANG Xiu)、作者單位、單位所在地、郵編、摘要、關鍵詞;正文;參考文獻。
4.參考文獻:請盡量選用近 5年發表的文獻,按文內引用的先后順序用阿拉伯數字排列于文末,于文內引用處依次以右上角碼加方括號標注。
5.科技名詞術語,以全國科學技術名詞審定委員會審定公布、科學出版社出版的《醫學名詞》和相關學科名詞為準。
6.圖、表:力求少而精,正文和圖表內容盡量避免不必要的重復。
7.計量單位:按照《中華人民共和國國家標準(GB3100~3102-93)》書寫。一個組合單位代號只可用一條斜線。
8.數字:作為量詞的計數、計量(包括正負數、分數、小數、百分比等)和年、月、日時間均用阿拉伯數字。
9.專業名詞、術語原則上應寫全稱,對一些已通用且文中反復出現的簡稱或略語,應在首次出現時用全稱及括號注明簡稱。
編輯部地址:北京市東城區東單三條9號,《中華骨與關節外科雜志》編輯部
郵 政 編 碼:100730
電 話: 010-65281306
投 稿 網 址: www.cjbjs.com;
Research of medical image fusion technology based on wavelet transformation
LI Jin, ZHANG Jing, LIANG Hong
Institute of Biomedical Engineering, College of Automation, Harbin Engineering University, Harbin 150001
Medical image fusion is the important research direction in the field of modern medicine. In order to make an accurate diagnosis and treatment to illness, many medical images' information should be analyzed. Medical image fusion technology is that mixes many source images' information into one image to obtain more comprehensive, clear and abundant image registration information. In the paper, with the two groups of CT and MRI, CT and PET of brain image by Harvard University, using a variety of fusion algorithm, focusing on researching the image fusion algorithm of wavelet transform. Firstly, we decompose the fused image into high frequency information, and then fuse the sub-information after decomposition through the specific fusion rules. Finally,obtain the final fused result by inverse transformation. By the subjective and objective evaluation, this algorithm is proved superior to the traditional algorithm, and it has the vital significance in clinical medicine.
wavelet transform; fusion rule; medical image; image fusion
TN911.73
A
10.11966/j.issn.2095-994X.2015.01.03.16
2015-07-02;
2015-08-28
國家重大科學儀器設備開發專項(2012YQ04014010); 黑龍江省自然科學基金(F201241)
李金,工學博士,教授,主要研究方向為醫學圖像處理等,電子信箱:lijin@hrbeu.edu.cn;張靜,研究生,主要研究方向為醫學圖像處理等,電子信箱:zhangjing0411@heu.edu.cn;梁洪(通信作者),工學博士,主要研究方向為醫學圖像處理等,電子信箱:lh@hrbeu.edu.cn
引用格式:李金,張靜,梁洪.基于小波變換的醫學圖像融合技術研究[J].世界復合醫學,2015,1(3):277-282