基于非下采樣Shearlet變換耦合能量關聯度的醫學圖像融合算法

毛建芳

(陜西工業職業技術學院 美育部，陜西 咸陽 712000)

0 引言

隨著科技的飛速發展，圖像處理技術也被應用于越來越多的生活領域中，其中圖像處理技術在醫療診斷中的應用就是一個典型的代表。在現代醫療診斷技術中，科技為醫療診斷的方法賦予了先進了手段，通過儀器設備的檢查，醫生就可以根據儀器設備輸出的圖像，來為患者診斷病情等，使得醫療診斷過程更為準確和便捷，由此可見，數字圖像在醫療診斷中發揮了較為重要的作用[1-3]。由于在醫療診斷中，不同儀器設備生成的檢測圖像各有優缺點。為了彌補檢測圖像的缺點，促使診斷結果更為精準，就需要對不同儀器設備生成的檢測圖像進行融合，在保留原始圖像優點的情況下，通過醫學圖像融合方法，利用診斷圖像各自的優點，對圖像存在的缺點進行互補，以獲取能表達不同診斷特征的清晰圖像，為醫療診斷過程提供更多的參考信息[4-5]。由此可見，醫學圖像的融合具有一定的實際意義，是一個具備重要價值的研究方向。

在專家學者近年來的研究下，依據醫學圖像的特點，產出了種類多樣的醫學圖像融合方法。如Wei 等人[6]在最小二乘法的基礎上，利用金字塔變換和稀疏表示方法，來融合醫學圖像，該方法通過加權最小二乘法將醫學圖像分解為低頻層和高頻層。采用拉普拉斯金字塔和稀疏表示相結合的規則對低頻層進行融合。采用最大絕對融合規則對高頻層進行融合。雖然該方法實現了醫學圖像的融合，但由于最大絕對融合規則在融合關聯度較強的圖像時，易造成圖像信息的丟失，使得圖像存在塊現象。Ming等人[7]將神經網絡方法和圖像的能量信息相結合，設計了自適應脈沖耦合神經網絡的醫學圖像融合方法，該方法通過NSST變換獲取圖像的低頻與高頻內容后，將圖像的能量信息引入到參數自適應脈沖耦合神經網絡模型中，對圖像進行融合。該方法獲取的融合醫學圖像中，保留了大量的原始圖像信息，提高了融合圖像的可視效果，但由于該方法在使用圖像能量信息時，未考慮不同圖像能量間關聯度，使得融合圖像易出現細節丟失的現象。Devanna等人[8]利用角度一致性特征和圖像能量特征相結合，提出了基于角度一致性和能量特征維度下的醫學圖像融合方法，該方法采用非下采樣輪廓波變換分解圖像后，利用基于角度一致性的準則融合得到的低頻子圖像，以圖像的能量信息為依據，融合得到的高頻子圖像。雖然該方法融合的醫學圖像細節能力表達較好，但由于該方法以能量信息為依據融合高頻子圖時，忽略了不同高頻子圖間的關聯度，使得融合圖像易出現模糊現象。Wang等人[9]通過卷積稀疏和圖像分割的方法，來求取融合醫學圖像，首先采用平均濾波得到基本層，將原始圖像減去基本層得到細節層。然后為了保留融合后圖像的細節，通過卷積稀疏的方法對細節層圖像進行融合，得到融合后的細節層圖像，最后將底層圖像分割成多個圖像塊，利用密度峰值聚類對這些圖像塊進行聚類，得到若干簇，并對每一類簇進行訓練，得到一個子字典，對所有子字典進行融合，得到一個自適應字典。通過學習自適應字典對稀疏系數進行融合，重構得到融合后的底層圖像，進而形成最終的融合圖像。雖然該方法考慮了圖像塊之間的聚類特征，提高了融合圖像整體上的視覺效果，但由于該方法中對字典的依賴性較重，易出現因字典完備性不足而導致融合結果出現空間不連續現象。

為了改善醫學圖像的融合效果，本文在考慮圖像能量關聯度的情況下，設計了NSST變換聯合能量關聯度的醫學圖像融合算法。利用NSST變換獲取醫學圖像的不同子帶，并在區域能量函數的基礎上，利用圖像的能量信息構建能量關聯度函數，以區別不同圖像的間的關聯度，根據不同圖像間的關聯度結果，區別性的對低頻子帶進行融合。利用圖像的對角信息對現有空間頻率函數進行優化，構造多元空間頻率函數，度量圖像的清晰度信息。借助標準差函數，度量圖像的對比度信息。利用圖像的清晰度信息和對比度信息，作為高頻子帶的融合依據，進而求取融合圖像。實驗中采用主觀和客觀測試的方法，對所提方法融合圖像的視覺效果，以及融合圖像的客觀數據進行測試，以驗證所其有效性。

1 所提醫學圖像融合算法整體設計

所提醫學圖像融合算法的架構設計如圖1所示。從圖1可見看出，所提醫學圖像融合算法包含了NSST變換下的圖像分解和子帶融合規則設計兩個部分。

圖1 所提醫學圖像融合算法的過程

1)NSST變換下的圖像分解。對于輸入的醫學圖像，通過NSST變換，采用改進的Shearlet濾波器(ISF，improved shearlet transform)從多方向上分解圖像，和采用非下采樣金字塔(NSP，non-subsampled pyramid)從多尺度上分解圖像，以得出對輸入醫學圖像具有保真效果的低頻和高頻上的子帶。

2)子帶融合規則設計。在該部分需要設計低頻子帶和高頻子帶的融合規則。對于低頻子帶，本文借助了區域能量函數，計算了圖像的區域能量信息，構造了能量關聯度函數，測量不同圖像間的能量關聯度。根據圖像能量的關聯程度，對低頻子帶從加權融合和取大融合兩種方法中，制定適宜的融合規則，用以求取信息含量豐富，且流暢度較高的融合低頻子帶。對于高頻子帶，本文在傳統空間頻率函數的基礎上，加入圖像的對角信息，形成多元空間頻率函數，多方位的對圖像的清晰度進行測量。同時引入標準差函數，測量圖像的對比度。聯合測量的清晰度和對比度，進行不同高頻子帶的融合。

2 所提醫學圖像融合算法細節設計

2.1 NSST變換下的圖像分解

NSST變換是一種使用較為廣泛的圖像分解方法，其對圖像的方向變化和尺度變化以及平移變化都具有較好的適應性。通過NSST變換分解所得的不同子帶，能夠較為完整的保留源圖的信息，為獲取高質量的醫學融合圖像提供良好的基礎。NSST變換是對Shearlet變換的改進。NSST變換在Shearlet變換的基礎規避了下采樣操作，使得其在保持Shearlet變換具備的多尺度分解能力時，同時還能夠在多方向上對圖像分解，并適應圖像的平移性。從而使得NSST變換不僅具有更強的魯棒性，而且還使得NSST變換分解所得的子帶圖像含有更豐富的源圖內容[10-11]。

NSST變換依靠ISF和NSP來完成，ISF和NSP分別實現了對圖像在方向和尺度上的計算。NSST變換分解輸入圖像過程的示意圖如圖2所示。在圖2中ISF是笛卡爾坐標系下的Shearlet變換結果。Shearlet變換是在以膨脹矩陣A和剪切矩陣B為基礎的仿射函數MAB(φ)上計算而來[12]。

圖2 NSST變換分解輸入圖像過程的示意圖

l，d∈Z，b∈Z2}

(1)

式中，l、d和b各為圖像的尺度、方向和平移量，φ為仿射系統L2(R2)中的元素，且A和B為2×2矩陣。

若L2(R2)中還存在一個元素δ，可以使得下式成立時，仿射函數MAB(φ)即可被視為合成小波：

(2)

在式(2)成立的基礎上，再將A和B的矩陣值設置為下式時，仿射函數MAB(φ)即被視為Shearlet變換。

(3)

(4)

利用NSST變換對圖3(a)所示的MRI圖像，和圖3(b)所示的CT圖像進行分解所得的結果，分別如圖3(c)和圖3(d)所示。

圖3 NSST變換對輸入圖像的分解結果

2.2 圖像子帶的融合規則設計

圖像的低頻和高頻子帶分別代表了圖像的不同特征，這也就意味著，需要采用不同的融合規則來實現低頻子帶和高頻子帶的融合，以獲取更為優良的不同融合子帶。低頻子帶代表的是圖像的整體特征，其包含了圖像的亮度等主要內容。當低頻子帶反應的圖像特征越多越豐富時，其含有的能量信息也就越高。對此，本文將通過圖像的能量信息來融合低頻子帶。

圖像的能量信息可以通過區域能量函數來求取。對于圖像I(x，y)，其區域能量函數的表達式為[13]：

(5)

式中，M和N分別為I(x，y)中所選區域的行、列值，E(x，y)為圖像的能量值。

當下通過圖像的能量信息融合圖像時，主要從加權融合或取大融合兩種方法中，選擇一種方法來完成圖像的融合。這兩種方法各有利弊，當不同圖像間能量差異度較大時，則可認為圖像間的關聯度不大，此時若采用取大融合方法獲取融合低頻子帶，可使得圖像更為平滑。但此時若采用加權融合方法獲取融合低頻子帶，會使得圖像出現間斷現象。當不同圖像間能量差異度較小時，則可認為圖像間的關聯度較大，此時若采用加權融合方法獲取融合低頻子帶，可使得圖像包含更為豐富的信息內容，且不易出現間斷的現象。但此時若采用取大融合方法獲取融合低頻子帶，會出現圖像信息丟失的現象。

對此，本文將利用圖像的能量信息，構建能量關聯度函數，用以判斷不同圖像間的關聯度，并根據圖像間的關聯情況，選擇性的采用加權融合或取大融合的方法，融合低頻子帶。

采用式(5)分別計算出不同低頻子帶D1(x，y)和D2(x，y)的區域能量值E1(x，y)和E2(x，y)。在此，可借助E1(x，y)和E2(x，y)構造能量關聯度函數G，用以判別D1(x，y)和D2(x，y)的能量關聯度。通過E1(x，y)和E2(x，y)構造的能量關聯度函數G如下所示：

(6)

利用能量關聯度函數G來度量圖像間關聯度，并根據度量的關聯度情況，設計不同低頻子帶融合規則的過程為如下：

首先，設置關聯度閾值η，其代表了能量關聯的自小程度。利用式(6)求出不同低頻子帶D1(x，y)和D2(x，y)的能量關聯度G。

然后，將D1(x，y)和D2(x，y)的能量關聯度G與關聯度閾值η進行比較，以判別D1(x，y)和D2(x，y)的關聯度情況。若G≤η，則說明D1(x，y)和D2(x，y)的關聯度較低。此時為了保證圖像的平滑性，即可采用取大融合規則獲取融合低頻子帶D12(x，y)。采用取大融合規則，求取融合低頻子帶的過程如下：

(7)

最后，若G>η，則說明D1(x，y)和D2(x，y)的能量差異較小，D1(x，y)和D2(x，y)的關聯度較高。此時為了使得圖像包含更為豐富的信息內容，且不易出現間斷的現象，即可采用加權融合規則獲取融合低頻子帶D12(x，y)。采用加權融合規則，求取融合低頻子帶的過程如下：

D12(x，y)=D1(x，y)α1+D2(x，y)α2

(8)

式中，α1和α2為關于D1(x，y)和D2(x，y)能量關聯度G的自適應調節權重因子。α1和α2的表述如下：

(9)

α2=1-α1

(10)

通過以上根據能量關聯度設計的低頻子帶融合規則，即可求取融合低頻子帶D12(x，y)。

高頻子帶代表了圖像紋理等內容，主要體現的是圖像的清晰度。空間頻率函數從圖像行、列上灰度變化的活躍度，度量了圖像的清晰度信息。但由于空間頻率函數忽略了圖像的對角信息，從而使得其不能較為準確的描述圖像的清晰度信息。對此，本文在空間頻率函數的基礎上，融入圖像的對角信息，構造多元空間頻率函數，使得其能從圖像的行、列、對角的多元維度，來度量圖像的清晰度信息。同時為了能夠讓圖像的紋理等內容得到更好的凸顯，本文還引入了標準差函數，對圖像的對比度信息進行度量，將其與圖像的清晰度信息聯合，制定高頻子帶融合規則，以獲取清晰度和對比度都較好的融合高頻子帶。

圖像I(x，y)的空間頻率函數的表達式為[14]：

(11)

式中，H、L分別代表I(x，y)的行、列頻率，其表達式分別為：

(12)

(13)

從式(11)至式(13)可以看出，空間頻率函數只是從I(x，y)的行、列信息變化上度量了圖像的清晰度，而沒有考慮I(x，y)對角上的信息變化情況。為了更為準確的度量圖像的清晰度信息，需要將I(x，y)對角上的信息變化情況也考慮到清晰度信息的度量過程。對此，需要對式(11)進行改進。

與式(12)和式(13)類似，I(x，y)的對角頻率可表述為：

(14)

(15)

(16)

式(16)是對式(11)的改進，通過式(16)即可實現對圖像進行多元化的清晰度度量，更好的獲取圖像的清晰度信息。

標準差函數利用圖像的均值，度量了圖像的對比度信息，其表述為[15-16]：

(17)

圖像的對比度較好時，更能表達圖像的紋理等特征，從而更好地體現圖像的清晰度。因此，可采用式式(16)求取不同高頻子帶G1(x，y)和G2(x，y)的清晰度信息Q1(x，y)和Q2(x，y)，采用式(17)求取G1(x，y)和G2(x，y)的對比度信息U1(x，y)和U2(x，y)。聯合G1(x，y)和G2(x，y)的清晰度信息和對比度信息，制定高頻子帶的融合規則，獲取清晰度和對比度都較為突出的融合高頻子帶G12(x，y)：

(18)

式中，Ei(i=1，2)為聯合因子，其表述為：

Ei=Qi(x，y)+Ui(x，y)，i=1，2

(19)

將D12(x，y)和G12(x，y)通過逆NSST變換的重構，即可獲取融合結果。

所提方法對圖3所示MRI圖像和CT圖像的融合結果如圖4所示。觀察圖4可見，所提方法融合的圖像不僅沒有間斷現象，而且圖像的清晰度和對比度都較好，具有較為優良的視覺效果。

圖4 融合結果

3 實驗結果

在Intel i7-4790K處理器、8 GB內存的PC上，利用Matlab 2014軟件搭建仿真環境，對所提方法進行醫學圖像融合性能的測試。實驗中引入了文獻[17]、文獻[18]算法進行對照。采用了CT圖像和MRI圖像、MR-T1圖像和MR-T2圖像、MR圖像和SPECT圖像三組醫學圖像來進行主觀視覺實驗。另外，為了更為直觀的分析所提方法和文獻[17]、文獻[18]算法的融合效果，實驗中還進行了客觀數據實驗，從三種算法融合圖像對應的客觀數據值出發，來分析其融合效果。

3.1 主觀視覺實驗

利用所提算法和文獻[17]、文獻[18]算法分別對CT圖像和MRI圖像、MR-T1圖像和MR-T2圖像兩組醫學圖像進行了融合實驗。圖5顯示了三種算法對CT圖像和MRI圖像的融合結果。通過觀察圖5可見，圖5(c)所示文獻[17]算法對CT圖像和MRI圖像的融合結果中，圖像較為暗淡且MRI圖像的部分細節內容有所丟失，除此之外，圖5(c)中還存在塊現象。圖5(d)中圖像過亮，且CT圖像的內容較為模糊，另外圖5(c)中還存在MRI圖像細節內容丟失的現象。圖5(e)中CT圖像的內容清晰可見，圖像的亮度較為適中，且MRI圖像的內容也較為完整，沒有丟失細節內容的現象，同時圖5(e)中不存在塊現象和模糊現象。可見，所提算法對CT圖像和MRI圖像具有較好的融合效果。三種算法對MR-T1圖像和MR-T2圖像的融合結果如圖6所示。對比圖6可以發現，圖6(c)中整體亮度偏暗，圖像中存在間斷現象，且丟失了MR-T1圖像和MR-T2圖像的部分細節信息。圖6(d)中MR-T2圖像部分的內容對比度較差，且MR-T1圖像部分的內容存在局部模糊現象，同時還缺失了部分MR-T2圖像的內容。圖6(e)中亮度和對比度都較好，且包含了較為完整的MR-T1圖像和MR-T2圖像內容，圖像中不存在間斷和塊現象。三種算法對MR圖像和SPECT圖像的融合結果如圖7所示。觀察圖7可以發現，圖7(c)中整體較為模糊，且丟失了MR圖像的部分細節信息和SPECT圖像的部分腦部邊緣信息。圖7(d)中MR圖像的眼部邊緣存在局部模糊現象，同時還缺失了部分SPECT圖像的內容。圖7(e)中清晰度較高，且較為完整的保留了MR圖像和SPECT圖像的內容。由此說明，所提算法融合醫學圖像的清晰度和對比度都較為理想，圖像的紋理信息顯著，視覺效果佳。因為所提算法借助NSST變換取得了對源圖信息保真度較好的低頻和高頻子帶，同時所提算法還利用圖像的能量信息，構造了能量關聯度函數，從圖像能量關聯的情況出發，制定了適宜的低頻子帶融合規則，進而獲取了高質量的融合圖像。

圖5 三種算法對CT圖像和MRI圖像的融合結果

圖7 三種算法對MR圖像和SPECT圖像的融合結果

3.2 客觀數據實驗

為了更為直觀的驗證三種算法對醫學圖像的融合性能，從哈佛大學建立的The Whole Brain Atlas醫學圖像集中，任選10組醫學圖像作為樣本，利用三種算法對其進行融合。選用信息熵(information entropy，IE)和平均梯度(average gradient，AG)，作為三種算法對所選10組醫學圖像融合結果的數據評判指標，用以分析三種算法的融合特性。

IE和AG常被用來評判融合醫學圖像的質量，其中IE評判了融合醫學圖像所含信息量的大小，IE值越大，就判定融合醫學圖像的質量越好。AG評判了融合醫學圖像的清晰度，AG值越大，就判定融合醫學圖像的清晰度越好。圖像I(x，y)的IE和AG的計算過程如下。

(20)

(21)

式中，L為的灰度級，p(i)為灰度值i的頻率。M×N為I(x，y)I(x，y)的大小，ΔIk(k=x，y)為I(x，y)在k上的導數。

三種算法融合醫學圖像的IE和AG值如圖8所示。對比圖8中三種算法融合醫學圖像的IE和AG值可以發現，所提算法融合醫學圖像的IE和AG數據最為理想。取第5組融合醫學圖像觀察可見，文獻[17]、文獻[18]算法和所提算法融合醫學圖像的IE數據各為8.13、8.58和9.08。文獻[17]、文獻[18]算法和所提算法融合醫學圖像的AG數據各為13.49、13.98和14.33。說明所提算法融合的圖像不僅含有豐富的信息，而且圖像的清晰度較好。因為所提算法在圖像能量的基礎上，設計了能量關聯度函數，利用其判斷不同圖像的關聯度，并根據關聯結果構造加權和取大兩種規則，獲取了連續效果好，信息含量高的低頻子帶融合。同時，所提算法還在空間頻率函數的基礎上，聯合圖像的對角信息，構造了多元空間頻率函數，利用其和標準差函數分別計算了圖像的清晰度和對比度信息，進而構造了高頻子帶融合規則，獲取了高清晰度和對比度的高頻子帶的融合，從而提高了所提算法的融合性能。文獻[17]算法是一種通過自適應神經網絡模型和log-Gabor能量特征對醫學圖像融合的方法，該方法使用了NSST變換提取圖像的低頻和高頻分量，設計了基于局部可見性的自適應神經網絡模型和基于log-Gabor能量的規則分別用于低頻和高頻分量融合，進而獲取融合結果。由于局部可見性的自適應神經網絡模型沒有關注圖像的全局性，易使得融合圖像出現不連續現象，而且基于log-Gabor能量的融合規則，沒有考慮不同圖像能量的關聯性，易使得融合圖像出現細節內容丟失的現象，從而使得文獻[17]算法融合的醫學圖像效果較差。文獻[18]算法是一種基于小波變換和圖像顯著特征的醫學圖像融合方法，該方法在離散分數階小波變換的作用下對圖像進行分解，接著采用非下采樣方向濾波器組的對偶技術，提取圖像中的顯著元素，利用灰太狼優化算法對奇偶校驗算子進行優化，實現分解子圖的融合。由于離散分數階小波變換缺乏發散方向的適應性，分解圖像時不能較好保真源圖信息，而且灰太狼優化算法在融合子圖時，沒有考慮圖像的對比度特征，從而使得文獻[18]算法融合圖像的質量有所降低。

圖8 融合圖像的客觀數據結果

4 結束語

本文以圖像的能量信息和清晰度信息為依據，提出了一種新穎有效的醫學圖像融合方法。在NSST變換的基礎上，獲取了對源圖信息保真度較高的低頻和高頻子帶。通過圖像的能量信息，構造了能量關聯度函數，用以計算圖像間能量的關聯度，并以該關聯度信息，設計了加權融合和取大融合兩種低頻子帶融合規則，獲取了連貫性較好、信息豐富的融合低頻子帶。利用圖像的對角信息，將傳統空間頻率函數改進為多元空間頻率函數，更好的獲取了圖像的清晰度信息，借助標準差函數，獲取了圖像的對比度信息，并以清晰度和對比度信息為依據，構造了高頻子帶融合規則，獲取了細節突出的融合高頻子帶。實驗結果顯示，所提算法融合圖像的細節突出、對比度較好，視覺效果較為理想，且具有較好的IE和AG值。