多模態醫學圖像融合的關鍵技術研究

賈紫婷

摘要：醫學圖像的融合以及圖像融合的關鍵技術正成為人們關注的焦點。文章介紹了醫學圖像融合的關鍵技術，包括：醫學圖像的分類和特點，圖像融合的基本流程，融合對象的選擇，融合方法的選擇以及融合結果的評價等，并對其未來發展進行展望。

關鍵詞：醫學;圖像融合;融合方法;結果評價

中圖分類號：TP391 文獻標識碼：A 文章編號：1006-8228（2020）07-04-03

0引言

醫學圖像按照功能劃分可以分為功能圖像和解剖圖像兩大類。功能圖像主要用來呈現人體的形態信息，如MRI、CT圖像等，解剖圖像是描述人體的功能和代謝信息，如PET、SPECT圖像等。這些圖像類型提供了多種模態的醫學圖像，不同模態的圖像具有不同的特性，功能圖像顯示的分辨率不強，但是它可以提供解剖圖像不能提供的臟器功能的代謝信息;而解剖圖像能夠很好的顯示臟器的解剖信息，并且分辨率較強，這一點又是功能圖像無法比擬的。

目前，多模態醫學圖像融合需要解決較多的技術難題，并且面臨著非常大的挑戰。首先，融合方法具有局限性，不能普遍適應于多種圖像融合，尚未形式一套完整的融合理論和統一的融合模型;其次，由于不同模態醫學圖像成像機制不同，導致不同的圖像具有不同的格式、大小、質量，所以，醫學圖像的預處理工作嚴格、繁瑣，非常需要提出性能穩定且融合效果較好的融合方法;最后，融合完成后，沒有統一的醫學圖像評價指標，醫生只能通過肉眼和自身的經驗去選擇不同算法融合后的圖像。在客觀評價方面的標準也是采用現成的評價指標，并沒有結合醫學圖像自身的特點形成合適的評價指標。針對以上醫學圖像融合技術中存在的問題，急需要研究出新的有效的融合方法和合適的評價指標來解決問題。

1醫學圖像融合基本流程

多模態醫學圖像融合通常分為四步：分別是圖像預處理、圖像配準、圖像融合、融合結果評價。融合流程圖如圖1所示。

圖像預處理主要是將輸入的源圖像進行噪聲濾除和幾何校正等操作。一般來說，功能圖像噪聲較大，只有對其進行濾波和增強操作，才能獲得使用者滿意的圖像。

圖像配準就是在兩幅圖像間建立一一對應關系，把實際物理空間中同一位置的點對應起來，忽略其在其他方面的差異。圖像配準包括基于區域的圖像配準和基于特征的圖像配準。

圖像配準是為圖像融合服務，最終融合后的圖像不僅能夠保留源圖像的顯著信息，而且可以增加不同源圖像的互補信息，使融合后的圖像能夠提供完整、準確的信息，從而消除單一源圖像的局限性。

目前融合結果評價主要分為主觀評價和客觀評價。

2醫學圖像融合的關鍵技術

多模態醫學圖像融合就是將不同模態的圖像信息整合匯總到一張圖像中，使融合后的圖像能夠包含更直觀、更綜合、更準確的信息。下面介紹融合過程中的三個關鍵技術。

2.1圖像融合對象的選擇

（1）CT圖像

CT即x線計算機斷層攝影，是Computed To-mography的縮寫。CT是Hounsfield1969年設計成功，于1972年公諸于世。與x線成像原理不同，CT是通過x線束對人體層面掃描，獲得信息，然后使用計算機處理，得到重建圖像。得到的重建圖像是斷面解剖圖像，在密度分辨力方面比x線圖像好。CT也大大促進了醫學影像學的發展。

（2）MRI圖像

MRI也就是磁共振成像，英文全稱是：MagneticResonance Imaging。最初這項技術被稱為核磁共振成像，1980年初NMR（核磁共振成像，NMR Imaging）一詞逐漸被大眾知曉。隨著大磁體的安裝，有人擔心NMR中的字母“N”代表的單詞“nuclear”容易使人們將核磁共振成像與核醫學聯系起來。因此，為了告訴大眾這項技術不會產生電離輻射，減少人們的擔心，研究者將“核磁共振成像術”省略了漢字“核”更名為“磁共振成像”英文縮寫為“MRI”。

（3）PET圖像

PET成像即正電子發射斷層顯像，是PositronEmission Tomography的縮寫。PET是核醫學領域比較先進的成像技術，也是當前唯一可以反映活體分子代謝的新型造影技術。該技術是某種物質用短壽命的放射性元素標記后注入人體，通過對該物質在代謝中的聚焦來判斷生命代謝活動的情況，將這種聚焦特點用圖像來反映就得到了PET圖像。PET圖像能顯示人體的代謝功能信息，但是分辨率較低，在細節信息顯示方面較差。

通常是將CT圖像與MRI圖像進行融合，將CT圖像和PET圖像進行融合從而揚長避短，分別發揮兩幅圖像的優勢彌補兩幅圖像的不足。

2.2醫學圖像融合方法的選擇

目前，多模態醫學圖像融合算法大致分為兩類，分別是基于變換域的融合算法和基于空間域的融合算法。

2.2.1基于變換域的醫學圖像融合算法

在變換域的多模態醫學圖像融合算法中，多尺度的醫學圖像融合是比較典型的算法，融合框架見圖2。這類算法主要包括三個關鍵技術：①圖像分解和重構方法的選擇;②針對不同融合需求的最佳圖像分解層數的選擇;③高、低頻分解系數融合規則的選擇。目前，眾多學者研究的多尺度變化主要有：金字塔變換、小波變換、輪廓波變換、非下采樣輪廓波變換、非下采樣剪切波變換。

2.2.2基于空間域的醫學圖像融合算法

空間域圖像融合算法對源圖像不需要做任何的變換，就能夠直接對像素進行操作。下面列出四種常用的基于空間域的醫學圖像融合算法。

（1）加權平均融合

加權平均融合分為兩種，直接加權平均融合和相關系數加權平均融合。直接加權平均融合法是最初最基礎的融合方法，其實質就是將一個高分辨的單光譜全色圖與一個低分辨多光譜圖在三個光譜帶上的像素疊加。相關系數加權平均融合算法是一種簡單、基礎、易于實現的圖像融合算法，算法的步驟是：首先對全色圖的平均灰度值求和，然后求平均，從而統計全色圖的平均灰度值，然后分別求全色圖與多光譜在整個光譜帶R，G，B下的相關系數，從而對像素進行加權平均融合。

（2）基于統計模型的方法

常見的用于圖像融合的統計模型有馬爾科夫隨機場（Markov Random Field，MRF）模型和貝葉斯（Bayes）模型。使用基于統計模型的方法來融合圖像時，融合過程就變成一個代價函數的求解過程，然后通過全局范圍內尋優來獲得最終融合圖像。

（3）i成分變換融合方法（PAC）

主成份分析法被廣泛的應用于各種圖像處理中，比如，圖像增強和數據壓縮和圖像融合等。主成份分析又稱K-L變換，是離散變換的簡稱。它可以有效地將一組原始的各個分量數據的信息集中在少數幾個分量上，主成分變換用于圖像融合，優勢是其不存在多光譜波段數量的限制，其缺點是變換后的像素改變了原始數據的物理特性。

（4）人工神經網絡模型

近期，人工神經網絡用于圖像處理優勢較多，是眾多學者研究的重點。人工神經網絡模型是模仿生物神經系統處理信息的方法被設計出來的，該模型被廣泛應用于圖像處理。目前，用于圖像融合的神經網絡有：PCNN、CNN等。

2.3融合結果評價

基于醫學圖像融合廣大學者已經提出了大量的融合算法。這些融合算法應用于圖像融合會取得不同的融合效果，這就需要設置評價方法來對這些算法進行評估。

目前，醫學圖像融合結果評價大致分為兩類，主觀評價和客觀評價。主觀評價是評判者直接用人眼對融合結果進行觀察從而得出結論，這種方法在某些特定的應用中是奏效的，而且該方法更簡單、直觀易于執行。主觀評價一般可以用來判斷融合結果中是否存在一些明顯問題，例如是否嚴格配準，是否丟失主要信息，是否存在邊緣模糊、馬賽克效應等。但主觀視覺評價主要依靠評判者自身來判斷，結果具有較強的主觀性和片面性，對同一融合結果，不同的人很可能給出不同的評價結果。因此，這個時候就需要客觀評價法，但是客觀評價標準在評價結果時也可能會出現一些偏差。所有，在對實際圖像融合結果的評價過程中，要采取主，客觀相結合的評價方法。

常用的圖像融合客觀評價標準包括：信息熵、空間頻率、平均梯度、標準偏差、互信息量等。

（1）信息熵（Entropy，EN）

信息熵能夠反映圖像富含信息量的多少，其定義如下：

（5）互信恩量（Mutual Information，MI）

互信息量可以度量兩個變量的相關性，它可以反映融合結果從源圖像中繼承信息的多少，繼承信息越多相關性越大。假定兩個隨機變量x、Y，其邊緣概率分布分別是px（X）、pY（y），聯合概率密度是pXY（x，y），則這兩個隨機變量間的互信息量可以表示為：

3結束語

本文主要詳細介紹了多模態醫學圖像融合的流程，分別是圖像預處理，圖像配準，圖像融合和融合結果評價。簡單概述了醫學圖像的分類和特點，并介紹了三種醫學圖像，CT圖像、MRI圖像、PET圖像?？偨Y了多模態醫學圖像融合的方法分別是基于變換域和基于空間域融合算法，并且詳細概括了五種融合結果評價指標。接下來，將深入一種融合算法進行研究，從而得到較好的融合算法。