局部密度峰聚類耦合字典學習的圖像融合算法

吳 亮，劉國英

(1.安陽師范學院 軟件學院，河南 安陽 455000；2.武漢大學 測繪遙感信息工程國家重點實驗室，湖北 武漢 430079)

0 引 言

圖像融合主要是通過特定的融合技術，把不同傳感器在相同場景獲得的多個圖像形成一個新圖像，以改善圖像視覺效果[1-3]。如張鑫等[4]提出了一種基于Contourlet變換的圖像融合方法，利用不同的融合準則對Contourlet系數融合，但其缺乏平移不變性，容易產生偽吉布斯現象，形成的融合圖像邊緣光滑性不足。M.Kim等[5]提出了基于k-均值聚類耦合PCA方法來訓練多個局部塊子詞典的多模態圖像融合，使學習字典變得緊湊，信息更加有效。然而，k-均值方法的簇數需要預先設定，很難取得最優的融合性能。吳一全等[6]提出了一種基于Shearlet變換和TV模型的醫學圖像融合，對Shearlet變換低頻進行區域方差融合，同時，對其高頻子帶，通過TV進行降噪處理，最后通過改進的Laplacian完成融合。

在字典學習過程中，字典中的系數可以自適應地學習輸入圖像，而無需先驗知識。其比現有的方法可以更好實現降噪、圖像融合和分類[7]。目前，基于稀疏表示字典學習方法被廣泛應用于圖像融合。Liu等[8]提出了一種結構化稀疏編碼方法來處理異構多模態信息融合，取得了理想的融合質量。然而，冗余字典在稀疏表示中會導致計算成本增加。因此，一個高效的字典學習在圖像處理中具有重要作用。

為了優化稀疏表示的圖像融合方法的性能，本文提出了基于局部密度峰聚類耦合字典學習的圖像融合算法。通過信息抽樣、局部密度峰聚類，構建一個完整的字典學習，對圖像塊進行信息采樣測量，并只將有用信息的圖像塊被選擇為字典學習的對象。基于局部密度峰的聚類方法可以在需要設置聚類數量的前提下，將圖像聚類成若干個簇類。通過利用該字典，可以更好地描述每個簇類的底層結構。基于K-SVD技術，構建字典學習機制，對每個圖像塊簇類完成訓練，輸出每個簇類的稀疏系數，再利用選擇最大值融合準則對稀疏系數融合，獲取融合圖像。最后，測試了所提融合算法的融合性能

1 聚類算法

聚類是通過樣本間的相似性，將樣本分成不同種族，同一種族中的元素相似度高，不同種族中的元素相似度低[9]。基于密度的聚類技術可較好發覺任意形狀，在參數設定合適時能有效發覺含噪聲的聚類[10]。但是在參數設定時具有一定的難度，無法使得最優的參數值。近鄰傳播聚類方法是對所有的對象作為網絡中的一個點，利用迭代變換對數據信息聯絡，搜索最優的代表集[11]。從而使得與最近的對象的相似度最高。AP具有良好的簇類效果，操作簡單，效率高。其不足之處是對任意形狀的聚類效果不佳。Rodriguez等[12]提出了一種基于密度峰聚類(density peaks clustering，DPC)方法。DPC能夠發覺不同形狀樣本的密度峰值，同時對樣本分配和異常點消除，可用于大量元素的聚類計算。但是DPC具有一些不足之處，主要表現為：沒有設定一致的密度衡量標準，其根據樣本容量使用不同的密度衡量標準。在容量較小時，截斷距離對聚類性能影響較大。在對象分配中，其通過當前對象與最近對象密度比較，容易形成連鎖錯誤反應，從而降低了聚類的準確度。特別是當對象間有重疊時，聚類性能大大降低。DPC的主要過程如下：

對于一個圖像塊i，計算其局部密度ρi，定義如下

(1)

式中：drij為塊i，j的Euclidean距離。drc為截止距離。如果(drij-drc)<0， 則λ(drij-drc)=0， 反之，則λ(drij-drc)=1。 基本上，ρi等于點drc接近點Xi的數量。該算法只對相對大小不同的圖像塊ρi和強大的drc的集合。對于塊i，到局部密度大于i的最近快j的距離δi，表示為

(2)

最小距離δi是來尋找聚類中心，δi是通過計算圖像塊i和其它高密度塊最小距離。具有最高密度的圖像塊δk和其它圖像塊的距離最大，如式(2)表示。

2 本文圖像融合算法設計

為了對圖像達到一個更好的融合效果，對圖像中的功能信息與解剖信息有效結合，本文引入一種新的字典學習方法。字典學習主要包括3部分：①信息采樣；②局部密度峰值聚類；③基于K-VSD的字典構建。圖1中顯示了提出的字典學習的流程，首先，通過信息采樣選擇圖像的信息區域。其次，利用提出的局部密度峰的聚類算法對圖像塊聚類。最后，根據K-VSD構建了新的字典學習方法。每個部分詳細描述如下。

圖1 本文圖像融合算法

2.1 信息采樣

對于多模態圖像，不同的圖像塊所攜帶的特征具有很大差別，每個圖像塊所表示的信息有限。因此，在字典學習中，利用所有的圖像塊可能會導致信息冗余，一般不能產生最佳的圖像融合結果[13]。為選擇有用信息圖像塊，提出了一種信息采樣方法。步驟如下：首先，通過式(3)構建矩陣T，其中包括每個圖像塊之間的Euclidean距離，表示如下

(3)

設圖像塊之間的最小距離為Di，定義如下

(4)

式中：Di是由計算圖像塊Si與其它殘留圖像塊Sk的最小距離。

對于每個圖像塊Si，設置一個截止閾值τ，定義如下

(5)

如果Di>τ，則Sj=Si，否則Si=0。然后，剔除所有的零圖像塊。因此，通過提出的信息采樣法，只選擇有用信息的圖像塊，提高了信息的有效表達，降低了冗余信息。

2.2 局域密度峰聚類

對于不同模態圖像，圖像塊具有不同的結構。因此，對于不同的圖像塊，需要將其分為不同的組，并通過不同的字典進行訓練[14]。為了將圖像塊按結構相似度劃分為特定的組，本文提出了一種局部密度峰聚類(local density peaks based clustering，LDPC)方法。該聚類算法的優點是圖像塊對起始點不敏感，聚類前不需要知道聚類的數目，能迅速尋找不同形狀元素的密度峰值，并有效對樣本分配和離群點消除。在DPC算法的基礎上，為了降低截斷距離對聚類性能的影響，對于樣本容量小的DPC，利用指數核[15]測量密度

(6)

因此，聚類中心的δ較大，具有較高的ρ。通過建立塊距離δ相對ρ的判斷圖，選取較大的ρ、δ作為聚類中心。對于其它對象j，通過與j的密度和距離進行判斷。

為了降低噪聲的干擾，在LDPC算法中規定了聚類邊界條件，即通過屬于該簇類但和其它簇類距離小于drc組成。設每個簇邊界條件中密度最大對象為ρm，對于大于ρm的為該簇類的核，那么其它對象為噪聲。

圖2展示基于圖像塊的局部密度峰聚類的工作原理。圖2(a)是輸入MRI圖像和圖2(b)為PET圖像。當局部密度ρi和距離δi通過計算可以構造局部密度圖。局部密度圖如圖2(c)所示。在圖2(c)中，垂直軸是局部密度ρi和水平軸的最小距離δi。結合密度聚類和距離的聚類，具有較大密度ρi和異常大的最小距離δi的圖像塊被定義為聚類中心。較大相對密度ρi和異常大的最小距離δi標記的方塊圖，如圖2(c)右上角。當聚類中心被選中時，其余的圖像塊根據聚類中心的距離進行分組。

圖2 局部密度峰聚類過程

2.3 基于K-SVD的字典學習

在局部密度峰的聚類過程中，圖像塊被分為不同組，為了有效地描述不同組中的圖像塊，通過K-SVD算法構建一個新的字典學習。K-SVD是最受歡迎的統計學習算法，可以最大限度地減少學習過程的重建誤差[16]。通過2.1部分描述的信息采樣方法得到輸入圖像塊，利用基于K-SVD的子字典訓練更加緊湊，但仍然含有圖像的信息成分。此外，由于每個聚類中的圖像塊的結構是相似的，子字典學習方案可以得到輸入圖像塊的更準確的結構描述。基于K-SVD的子字典學習表示如下：

就字典學習中，設計的目標函數滿足以下條件

(7)

式中：Y為信號；D為字典；X是系數矩陣。此處中X與Y是列對應的，即字典中通過Xi完成線性變換，獲得Y。構建一個字典需要通過稀疏表示和更新來完成。

對于稀疏表示，將字典D初始化，再將DX當作為D中的列和X中的行相乘。從而，完成DX的分片，表示為

(8)

在字典更新中，通過K次迭代進行更新。通過剝離K次目錄，式(7)會導致一個空洞。因此，需要計算新的di與xi修復空洞，使其完成收斂，表示如下

(9)

式中：E為誤差矩陣；將E進行SVD分解得到

E=U∧VT

(10)

式中：U,V分別為矢量；∧為對角矩陣。如果∧中元素按從大到小排布，那么E的能量也是從大到小排布。設U的開始列向量為di，V中開始列向量與∧的積為xi，從而進行了字典的目錄更新。

X為一個稀疏矩陣，根據以上方法獲得的X可能不符合稀疏條件。因此，只需要對xi的非0列求解。通過xi的非0元素建立新的矩陣Γ，因此，E與x可分解表示為

(11)

通過對E的SVD分解，得到了新字典的目錄。通過Γ相乘，消除了無用的向量。

本文提出的圖像融合框架如圖3所示。主要由字典學習，稀疏表示和系數融合部分組成，在稀疏表示中，圖像被劃分為若干個圖像塊，通過字典訓練進行稀疏表示。在系數融合階段，通過選擇最大值融合準則對稀疏系數融合，表示如下

(12)

式中：F-1SBk×l表示大小為k×l圖像塊的系數，通過最大值融合規則可較好保留源圖像的細節特征。

圖3 字典學習結構

3 實驗與分析

為了顯示所提字典學習的方法的有效性，利用常見的醫學圖像進行實驗，并分別與基于Contourlet融合方法[4]、基于k-均值的融合方法[5]，基于Shearlet的融合方法[6]進行對比。實驗環境為：Intel(R)I3,3.30 GHz，四核CPU，8 GB的RAM，WIN7操作系統，借助MATLAB7.0軟件進行仿真分析。

3.1 評價指標

為了對提出的融合方法進行定量分析，引入了圖像融合中流行的客觀評價指標：均方根誤差(root mean square error，RMSE)，相關系數(correlation coefficient，CC)，平均梯度(average gradient，AG)，邊緣強度(edge strength，ES)。分別表示如下：

均方根誤差(root mean square error，RMSE)衡量融合圖像與參考圖像間的差異[17]。RMSE越小，表示差異值越小，融合圖像質量越好，表示為

(13)

CC表示兩圖像相關關系的密切程度，CC越逼近1，表示圖像的接近度越好，定義如下[18]

(14)

AG主要反映圖像中細微特征差異，AG越大，說明圖像越清楚，其定義為[19]

(15)

式中： ΔIx(i,j) 與ΔIy(i,j) 分別為圖像x,y上的差分。

ES描述了輸入圖像與融合圖像邊緣信息的相對量[20]

(16)

式中：QXF(i,j)、QYF(i,j) 分別圖像X,Y的邊緣保持值，wX(i,j)、wY(i,j) 分別為QXF(i,j)、QYF(i,j) 的權重。ES的值越高，表示融合圖像邊緣質量越好。

3.2 實驗結果

CT圖像對骨組織成像清楚，但對病灶表示較模糊。MRI對軟組織成像清楚，顯示病變部位。PET表示新陳代謝功能，但無法對解剖信息表示。單一的圖像無法準確提供準確、完整的信息，通過將不同圖像融合，進行信息互補，提高醫學圖像在疾病診斷中的作用。為了驗證算法的融合性能，進行2組實驗：①CT與MRI融合；②MRI與PET融合。

圖4為CT與MRI融合實驗。圖4(a)、圖4(b)分別是CT、MRI圖像，圖4(c)～圖4(f)分別是基于Contourlet、基于k-均值、基于Shearlet的融合方法與本文算法的融合結果。依據圖4(f)中得出，提出的字典學習方法得到的CT與MRI融合圖像的細節豐富，清晰度良好，很好保留了源CT與MRI中的骨組織與軟組織，融合了CT與MRI中的有效信息。圖4(c)中對比度降低，部分細節特征丟失，并且出現了偽吉布斯現象。圖4(d)中得到的圖像清晰度不足，細節區域表現不佳。圖4(e)中得到的骨組織出現了弱化現象，分別如圖4中方框所示。

圖4 CT與MRI融合實驗結果

圖5是MRI與PET融合結果。圖5(a)為MRI圖，圖5(b)為PET圖，圖5(c)～圖5(f)分別為基于Contourlet、基于k-均值、基于Shearlet方法與本文方法的融合結果。圖5(f)為本文方法得到的融合圖像，從5(f)中可得出，本文算法有效結合了MRI與PET的有效信息，得到了圖像清晰度良好，較好呈現了解剖細節與功能信息。圖5(c)中邊緣連續性不佳，對源MRI與PET的表現不足。圖5(d)中產生了邊緣模糊，細節保護不足。圖5(e)中較好保持了MRI與PET中的有效信息，但在一些細節區域表現力還有待加強，不足之處如圖5中方框所示。

為了對融合算法進行定量評價，利用當前流行的評價指標RMSE，CC，AG，ES對CT與MRI和MRI與PET得到的融合圖像定量測量，結果見表1與表2。依據表1與表2中數據得出，與基于Contourlet、基于k-均值、基于Shearlet方法比較，本文算法在CT與MRI，MRI與PET融合圖像中的RMSE，CC，AG，ES均具有良好表現，同時也與圖4、圖5中的實驗結果相互印證。表明了提出基于字典學習的融合算法性能優異。能夠有效結合源圖像有用信息，獲得了細節豐富，邊緣清晰，光譜信息良好的融合圖像。

表1 CT與MRI圖像融合實驗結果對比

表2 MRI與PET圖像融合實驗結果對比

為了進一步測量融合算法的性能，以圖4(a)、圖4(b)中的CT與MRI為對象，通過PS加入不同大小高斯噪聲(噪聲大小從0到10，步長為1)，分別測量在不同噪聲下的RMSE，CC，AG，ES值，得到的結果如圖6所示。從圖6可得出，隨著噪聲的增加，RMSE的值逐漸增大，CC，AG，ES的值逐漸降低，說明融合性能受到噪聲干擾，曲線下降的越快，算法對噪聲越敏感。從圖6中得知，基于Contourlet、基于k-均值、基于Shearlet方法受噪聲影響較大，而提出的基于字典學習方法的抗噪聲性較強。

圖6 CT與MRI融合抗噪性測試

從圖4、圖5得到的實驗結果以及表1、表2的定量測量數據得知，提出的基于局部密度峰聚類耦合字典學習的圖像融合算法能夠有效完成CT與MRI融合，MRI與PET融合，保留了源圖像的骨組織信息、軟組織細節與功能信息，具有更清晰邊緣，符合視覺效果，能夠為疾病診斷提供全面、完整的依據。主要是本文為提高信息的有效表達，將圖像被劃分為若干個圖像塊，利用信息采樣法，選擇有用信息的圖像塊，降低冗余信息。并且設計了局部密度峰聚類方法，對具有相似結構信息的圖像塊分類，得到不同的圖像塊簇類。通過K-SVD構建字典學習，對每個簇類訓練，得到每個簇類的稀疏表示。為了得到融合圖像，通過最大值融合準則融合重構。由于本文通過圖像分塊與字典學習，大大降低了信息冗余，從而提高了計算效率。而基于Contourlet方法無平移不變性，易導致偽吉布斯，邊緣光滑性不足。

4 結束語

為了改善圖像的融合質量，本文通過構建新的完備字典，提出了一種圖像融合技術。首先，將輸入圖像被劃分為子塊，引入信息采樣法，從子塊中擇取有用信息的圖像塊；并定義了局部密度峰聚類方法，對具有相似結構信息的圖像塊進行分類，獲取不同的圖像塊簇類；同時，引入K-SVD技術，建立字典學習機制，對子塊簇類完成訓練，獲取每個簇類的稀疏系數；引入最大值融合準則，對子塊的稀疏系數進行融合，輸出重構圖像。測試數據顯示：與當前圖像融合技術相比，本文方法在RMSE，CC，AG，ES的定量評價中具有更大的優勢。