基于NSST 和高斯混合模型的醫學圖像融合算法

劉帥奇，李會雅，張 濤，胡紹海，孫 偉

(1.河北大學 電子信息工程學院，河北 保定071002;2.河北省數字醫療工程重點實驗室，河北 保定071002;3.石家莊市中醫院，河北 石家莊050600;4.北京交通大學 信息所，北京100044)

圖像融合技術可以克服單一傳感器圖像的局限性和差異性，獲取更為全面和準確的場景描述，提高圖像的清晰度和可理解性［1］。醫學臨床上需要將不同成像設備所獲得的圖像信息綜合地呈現在一幅圖像上，即利用圖像融合技術將不同成像設備所獲得的圖像進行融合，為醫生的診斷提供更加可靠準確的病情信息，以便醫生制定更為科學和完善的治療方案［2］。

像素級的醫學圖像融合算法是目前的研究熱點，學者們提出了很多醫學圖像融合算法。像素級圖像融合算法可以分為兩大類:一類是基于空域的融合算法，例如，文獻［3］和文獻［4］提出的基于主成分分析的融合算法和基于向導濾波的融合算法;另一類是基于變換域的融合算法，例如，文獻［5］提出的基于小波變換的醫學圖像融合算法，文獻［6］提出的基于輪廓波變換的圖像融合算法，文獻［7］提出的基于非下采樣輪廓波變換的融合算法，文獻［8］提出的基于Ripplet 的圖像融合算法和文獻［9］提出的基于Shearlet 與PCNN 的圖像融合算法等。

雖然變換域融合算法取得了很好的效果，但是在醫學圖像融合的過程中這些算法容易引起圖像扭曲和人造紋理。并且，上述的算法很少應用到MRI 與PET 或者SPECT 圖像的融合等彩色醫學圖像融合中。因此本文針對醫學彩色圖像像素級融合進行研究，提出一種基于NSST 和高斯混合模型的醫學彩色圖像融合算法。

1 基礎理論

1.1 非下采樣剪切波變換

NSST 的離散化包括尺度分解和方向分解兩部分［10－11］。一般通過非下采樣拉普拉斯濾波器進行尺度分解，通過剪切濾波器進行方向分解。NSST 在進行圖像分解和重構的過程中不需要下采樣和上采樣環節，因此分解得到子帶圖像與源圖像大小相同，這也保證了變換不會產生頻率混疊現象且具有平移不變性。因此，利用NSST 進行圖像分解易于分析各子帶之間的對應關系，有效減少配準誤差的不利影響，提升融合效果。

1.2 HSI 模型

HSI 模型反映了人的視覺系統感知彩色的方式，以色調H(Hue)、飽和度S(Saturation)和強度I(Intensity)3 種基本特征量來表征顏色。HSI 顏色模型與RGB 顏色模型是彩色圖像的兩種描述方法，它們之間可以通過如式(1)相互轉換。

HSI 模型具備強度分量與圖像彩色信息無關，色調、飽和度分量與人感受顏色的方式緊密相聯的兩大特點。與RGB顏色模型相比，HSI 顏色模型更為恰當地反映了人類視覺系統對于亮度的敏感度強的特性。因而本文采用HSI 模型進行醫學彩色圖像融合算法的研究。

1.3 高斯混合模型

醫學圖像融合技術同樣面臨的核心問題之一為如何選取有效的圖像信息作為融合圖像的信息。為了定量地評價圖像的有效性，關鍵在于如何描述圖像NSST 域系數的統計特征。高斯混合模型具有更好的統計性質，因此本文采用雙成分高斯混合模型進行系數估計，其模型可表示為

其中:w 為分布變量(這里指NSST 系數);α 為混合系數，每個成分產生一個均值為0，標準差分別為σ1(i，j)和σ2(i，j)的高斯分布，一般假定σ1(i，j)小于σ2(i，j)，模型的這些參數可通過最大似然估計法獲得。

2 基于NSST 和高斯混合模型的醫學圖像融合

2.1 融合步驟

設經過配準的待融合PET(或SPECT)彩色圖像和MRI圖像分別為P 和M，則本文圖像融合框架如圖2 所示。

圖2 本文算法融合框架

融合步驟為:

1)將PET(或SPECT)彩色圖像P 轉換到HSI 顏色空間，分別提取色調分量圖像PH、飽和度分量圖像PS和強度分量圖像PI。

2)分別對強度I 分量圖像PI和MRI 圖像M 進行NSST分解，得到多尺度分解系數和，其中分別表示強度分量圖像l 尺度k 方向上(i，j)像素處的低頻子帶系數和高頻子帶系數和(i，j)分別表示MRI 圖像l 尺度k 方向上(i，j)像素處的低頻子帶系數和高頻子帶系數。

3)利用不同的融合規則融合低頻或高頻子帶系數，從而獲得融合后的系數，其中和分別表示融合后的強度分量圖像PIF在l 尺度k方向上的低頻和高頻子帶系數。

4)利用NSST 逆變換重構得到融合后的強度分量圖像PIF。

5)將色調H 分量圖像PH、飽和度S 分量圖像PS和融合后的強度分量圖像PIF混合得到融合后的HSI 圖像，再將其轉換到RGB 顏色空間，即可得到融合后的MRI－PET(或MRISPECT)彩色圖像。

2.2 融合規則

圖像的融合規則非常重要，尤其在變換域中高低頻的融合規則就更為重要。本文對NSST 的高低頻系數分別采用不同的融合規則進行融合。

1)對于低頻系數，為避免降低融合圖像的對比度，采用基于區域系數SML 加權的融合規則。

(1)計算NSST 域低頻系數在3×3 鄰域的SML 清晰度。

(2)計算系數權重。

其中，矩陣I 在點(i，j)處的SML 表示為

其中，ML 表示為

(3)計算融合圖像的低頻系數。

2)對于高頻系數的融合主要存在兩個問題:高斯混合模型中的參數估計和高頻系數的選擇。首先通過EM 算法［12－13］來估計高斯混合模型中的參數，然后再利用估計出的參數選擇高頻子帶系數。EM 算法是個迭代算法，主要通過期望步和極大化步兩步完成，然后一直迭代直到收斂為止。參數估計如式(7)～(9)所示。

其中，上標n 和n+1 表示迭代指標，Ω(i，j)表示以w(i，j)為中心的5×5 的正方形窗口，|Ω(i，j)|表示該窗口中元素的數量，且

上述迭代過程應滿足的收斂條件如式(12)所示。

其中，τ 為用戶自定義的收斂閾值，在本文中τ=10－4。

由于清晰圖像的邊緣信息豐富，故清晰圖像高頻系數的邊緣分布較寬，因此選擇邊緣分布較寬的NSST 域高頻系數作為融合圖像的高頻系數。通過高斯混合模型估計出各個像素點的標準差，對高頻系數進行融合如式(13)所示。

3 實驗結果對比與分析

為了驗證該算法在醫學彩色圖像融合中的有效性與可靠性，本文選取2 組醫學彩色圖像進行融合仿真實驗，并與基于平移不變的小波和PCNN(SIDWT－PCNN)［14］、基于CT 和PCNN(CT－PCNN)［15］、基于尖銳頻率局部化Contourlet 變換和改進拉普拉斯能量和(SFLCT－SML)［16］、基于NSCT 和SF 激勵的PCNN(NSCT－SFPCNN)［17］以及基于Shearlet 和改進PCNN(ST－PCNN)［18］的方法進行對比試驗。其中，2 組圖像均來自哈佛大學的腦圖像集(http://www.med.harvard.edu/AANLIB/home.html);第一組圖像為彩色PET 圖像與其對應的MRI 圖像，第二組圖像為彩色SPECT 圖像與其對應的MRI圖像;本文的NSST 分解參數均為2，3，3，4，算法參數與參考文獻中的相同。

由于對比實驗都是基于灰度圖像融合的方法，故對比實驗均與HSI 模型結合以進行彩色圖像融合。2 組待融合的醫學彩色圖像以及彩色圖像所對應的強度分量圖像如圖3 所示(彩圖，見121 頁)。

PET 醫學圖像與MRI 圖像采用不同的融合方法得到的融合后的彩色圖像如圖4 所示(彩圖，見121 頁)。

仔細觀察圖4 可以發現:融合結果(圖4a、4b)清晰度低;圖4c、4d 過多地引入了MRI 圖像的細節紋理，缺乏PET 圖像的顏色信息;圖4e、4f 的視覺效果比較接近，它們都將MRI 圖像的細節紋理信息和PET 圖像的顏色信息很好地融合到一起，但圖4f 中比圖4e 更好地保存了顏色信息顯著部分，清晰度高，紋理比較光滑，因此圖4f 優于其他5 種方法的融合圖像。

圖5 為SPECT 醫學圖像與MRI 圖像采用不同的融合方法得到的融合后的彩色圖像(彩圖，見121 頁)。仔細觀察圖5 可以發現:融合結果圖5a、5b、5c 和d 視覺效果相似，都過多地引入了MRI 圖像的細節紋理，缺乏SPECT 圖像的顏色信息;而圖5e、5f 的視覺效果比較接近，它們都很好地保存了顏色信息顯著部分，并將其與MRI 圖像的細節紋理信息融合在一起，但圖5f 中比圖5e 清晰度高，因此圖5f 優于其他5 種方法的融合圖像。

從主觀視覺效果來看，本文算法所得的彩色融合圖像更清晰、顏色信息顯著部分保留更豐富，細節紋理信息與顏色信息融合得更好。對融合效果的評價，除了定性分析外，還需要進行定量分析。目前常用的客觀評價指標有:熵(Entropy，EN)［19］、標準差(Standard deviation，STD)［19］、平均梯度(Average Gradient，AVG)［20］、互 信 息 (Mutual Information，MI)［20］、QAB/F度量［20］、空間頻率(Spatial Frequency，SF)［20］。表1 與表2 給出了上述6 種融合方法客觀評價指標的對比結果。由表1 可見，對于MRI 圖像與PET 圖像而言，本文算法的融合結果在6 種客觀評價指標上都是最優的。由表2 可見，對于MRI 圖像與SPECT 圖像而言，本文算法的融合結果在6 種客觀評價指標上都是最優的。

表1 PET 與MRI 圖像不同融合方法客觀評價指標對比

表2 SPECT 與MRI 圖像不同融合方法客觀評價指標對比

上述主客觀評價結果都表明，本文提出的醫學彩色圖像融合方法能夠很好地將MRI 的細節紋理信息與PET(或SPECT)圖像中的顏色信息融合到一起，用顏色差別來描述紋理，更加清晰直觀，便于醫生對病情做出正確診斷。因此綜合來看，本文所提的醫學彩色融合算法是一種效果良好的彩色圖像融合算法。

4 結論

本文根據醫學圖像的成像特點結合HSI 顏色模型和高斯混合模型，提出了基于NSST 和高斯混合模型的醫學彩色圖像融合算法，該算法采用基于區域系數SML 加權的低頻融合規則和高斯混合模型估計參數值取大的高頻融合規則。通過與基于SIDWT、基于CT、基于SFLCT、基于NSCT 和基于ST的圖像融合算法的對比實驗，驗證了算法的有效性與可靠性。本文算法的圖像融合效果較好，但其運算時間不是最優的。因此加快程序運行速度，使融合算法滿足實時性的要求，是接下來的研究方向之一。

［1］TAMILSELVAN K S，MURUGESAN G.Survey and analysis of various image fusion techniques for clinical CT and MRI images［J］.International Journal of Imaging Systems and Technology，2014，24(2):193－202.

［2］WANG L，LI B，TIAN L F. Multi－modal medical image fusion using the inter－scale and intra－scale dependencies between image shift－invariant shearlet coefficients［J］. Information Fusion，2014，19:20－28.

［3］PATIL U，MUDENGUDI U. Image fusion using hierarchical PCA［C］//Proc. 2011 International Conference on image Information Processing(ICIIP). Shimla，India:IEEE Press，2011:1－6.

［4］LI S T，KANG X D，HU J W. Image fusion with guided filtering［J］.IEEE Trans. Image Processing，2013，22(7):2864－2875.

［5］ZHANG X，ZHENG Y，PENG Y，et al. Research on multi－mode medical image fusion algorithm based on wavelet transform and the edge characteristics of images［C］//Proc. 2nd International Congress on Image and Signal Processing.Tianjin，China:IEEE Press，2009:1－4.

［6］LIU S Q，ZHAO J，GENG P，et al.Medical image fusion based on nonsubsampled direction complex wavelet transform［J］. International Journal of Applied Mathematics and Machine Learning，2014，1(1):21－34.

［7］DAS S，KUNDU M K. NSCT－based multimodal medical image fusion using pulse－coupled neural network and modified spatial frequency［J］. Medical and Biological Engineering and Computing，2012，50(10):1105－1114.

［8］DAS S，KUNDU M K. Ripplet based multimodality medical image fusion using pulse－coupled neural network and modified spatial frequency［C］// Proc. 2011 International Conference on Recent Trends in Information Systems (ReTIS). Kolkata:IEEE Press，2011:229－234.

［9］GENG P，WANG Z，ZHANG Z，et al. Image fusion by pulse couple neural network with shearlet［J］.Optical Engineering，2012，51(6):1－7.

［10］LIU S Q，HU S H，XIAO Y，et al.Bayesian shearlet shrinkage for SAR image de－noising via sparse representation［J］. Multidimensional Systems and Signal Processing，2014，25(4):683－701.

［11］LIM W Q. The discrete shearlets transform:A new directional transform and compactly supported shearlets frames［J］. IEEE Trans.Image Proc.，2010，19(5):1166－1180.

［12］岳佳，王士同.高斯混合模型聚類中EM 算法及初始化的研究［J］.微計算機信息，2006，22(11):244－247.

［13］史鵬飛.基于改進EM 算法的混合模型參數估計及聚類分析［D］.西安:西北大學，2009:23－38.

［14］LI W，ZHU X F.A new algorithm of multi－modality medical image fusion based on pulse－coupled neural networks［C］//Proc. International Conference on Advances in Natural Computation. Changsha，China:Springer，2005:995－1001.

［15］劉盛鵬，方勇.基于Contourlet 變換和IPCNN 的融合算法及其在可見光與紅外線圖像融合中的應用［J］. 紅外與毫米波學報，2007，26(3):217－221.

［16］屈小波，閆敬文，楊貴德.改進拉普拉斯能量和的尖銳頻率局部化Contourlet 域多聚焦圖像融合方法［J］. 光學精密工程，2009，17(5):1203－1212.

［17］DAS S，KUNDU M K.NSCT－based multimodal medical image fusion using pulse－coupled neural network and modified spatial frequency［J］.Medical and Biological Engineering and Computing，2012，50(10):1105－111.

［18］王朝暉，王佳琪，趙德功，等.基于Shearlet 與改進PCNN 的圖像融合［J］.激光與紅外，2012，42(2):213－216.

［19］MIAO Q G，SHI C，XU P F，et al.Multi－focus image fusion algorithm based on Shearlets［J］.Chinese Optics Letters，2011，9(4):1－5.

［20］劉帥奇.基于多尺度幾何變換的遙感圖像處理算法研究［D］.北京:北京交通大學，2014.