改進稀疏表示與積化能量和的多聚焦圖像融合*

張貴倉,王 靜，蘇金鳳

(西北師范大學數學與統計學院，甘肅 蘭州 730070)

1 引言

圖像融合的目的是將來自多個傳感器的圖像的冗余和互補信息集成到一幅新圖像中，更適合人類或機器感知[1]。其中，多聚焦圖像融合是圖像融合的重要分支,近幾十年來,多聚焦圖像融合一直是研究的熱點[2,3]。

到目前為止,根據不同的處理域可以將圖像融合算法分為:基于空間域的圖像融合算法和基于變換域的圖像融合算法[4]。基于空間域的圖像融合算法有方差、加權平均和空間頻率[5]等。雖然這些算法可以部分區分聚焦區域和離焦區域,但由于分辨能力有限,導致得到的融合圖像通常具有較高的空間失真和較低的信噪比[6 - 8]。基于變換域的非下采樣輪廓波變換NSCT(Non-Sampled Contourlet Transform)[9]在圖像融合中得到廣泛的應用,但它具有很高的計算復雜度,限制了其在實際場景中的應用。因此,近年來,Easley等[10]通過非下采樣金字塔濾波器NSPF(Nonsub-Sampled Pyramid Filters)和改進的剪切波濾波器組SFB(Shearlet Filte Banks)，提出了非下采樣剪切波變換NSST(Non-Sampled Shearlet Transform),不僅解決了傳統變換的所有問題，而且具有多尺度局部性、各向異性和計算復雜度低等優點[11 - 13]。

另一方面,好的融合算法還依賴于有效的融合策略。傳統的低頻子帶融合方法是取系數的加權平均值,這對圖像融合的對比度和分辨率有較大影響[11]。Liu等[12]成功地將結構張量和NSST應用于CT和MRI圖像的融合,但是他們使用簡單的平均融合規則融合了低頻子帶系數。同樣,處理高頻子帶系數最簡單且有效的方法之一是使用最大絕對值融合規則[13]。但是,源圖像之間的某些冗余信息很容易丟失,一些“偽影”被引入到融合圖像中。拉普拉斯能量和[14]與修正拉普拉斯能量和[15]常用于捕獲高頻子帶中的所有顯著特征。迄今為止,研究人員提出的多種合理的融合方法中,稀疏表示SR(Sparse Representation)在圖像融合領域中得到了廣泛的應用[16]。Yang等[17]提出基于SR的圖像融合框架,并使用最大值融合規則計算稀疏系數。Liu等[18]提出自適應的稀疏表示圖像融合,并用OMP(Orthogonal Matching Pursuit)算法計算稀疏系數。Liu等[19]提出基于卷積稀疏表示的融合框架,將源圖像通過卷積稀疏表示分解為基礎層和細節層，再分別對基礎層和細節層進行融合，得到融合圖像。Liu等[20]提出基于SR和NSCT的圖像融合算法,提高了融合圖像的亮度，但一些細節存在缺陷。楊勇等[21]提出基于NSST和SR的圖像融合算法,得到的融合圖像在亮度上有所改善,但存在虛假的邊緣信息。本文提出基于改進SR的融合規則,增強了圖像的清晰度。同時，為了增強圖像銳化的細節信息并改善圖像的亮度，本文提出積化能量和算法。

本文采用NSST變換將改進SR與積化能量和相結合，提出改進SR與積化能量和的多聚焦圖像融合算法。NSST用于分解多聚焦源圖像,以獲得低頻子帶系數和高頻子帶系數。對于低頻子帶系數,采用基于改進SR的融合算法獲得低頻融合系數;對于高頻子帶系數,提出積化能量和的融合算法,以獲得高頻融合系數。最后,使用NSST的逆變換獲得多聚焦融合圖像。該融合算法可以最大程度地提取重要顯著特征的細節信息。

2 相關研究

2.1 非下采樣剪切波變換

NSST分為2個步驟:第1步通過NSPF對多聚焦源圖像進行l級分解,獲得低頻子帶系數和高頻子帶系數；第2步通過SFB對圖像進行多尺度和多方向的分解[14]。實際上，用NSPF可得到粗糙的多尺度分解圖像，即對源圖像進行l級、k方向的分解,得到與源圖像大小相同的一個低頻子帶系數Ll和多個高頻子帶系數Hl,k,其中，Hl,k表示第l級、k方向的高頻子帶系數。圖1是2級NSST分解的示意圖。

Figure 1 NSST分解示意圖圖1 NSST decomposition

2.2 稀疏表示理論

SR模型基于以下假設:可將多個聚焦信號表示或近似為冗余字典中幾個原子的線性組合。給定一個冗余字典D∈Rn×T(n

(1)

3 圖像融合算法具體實現

3.1 基于改進稀疏表示的低頻系數融合規則

在多聚焦圖像融合中,場景圖中相同位置的圖像由于聚焦和成像機制的不同,聚焦圖像存在差異,導致每幅圖像包含的細節信息不同,如紋理、邊緣等[17]。傳統的低頻子帶融合方法有很多局限性,例如,絕對值解的系數取大法易丟失一些細節信息,等權值加權平均法在某些區域可能會引起融合圖像亮度的顯著下降,鄰域能量取大法容易引入一些噪聲[18]。因此,本文提出基于改進SR的低頻系數融合規則。

(2)

(3)

(4)

(5)

其中,D是局部自適應字典,ε是允許誤差。

(6)

(7)

(8)

稀疏系數融合V-E規則如式(9)所示：

(9)

(10)

(11)

3.2 基于積化能量和的高頻系數融合規則

圖像通常可以被視為二維分段平滑信號,而高頻分量中也包含許多能量與邊緣細節信息，在多聚焦圖像融合中，由于源圖像的成像機制不同，聚焦程度不同，導致生成的圖像不同。傳統的高頻融合規則基于拉普拉斯能量和，經常會帶來融合圖像能量損失,亮度也易急劇下降，從而導致視覺感知體驗下降。為了改善融合圖像亮度獲得具有豐富細節信息的融合圖像，本文提出了積化能量和的高頻子帶系數融合規則。

為提取高頻子帶系數的能量,本文定義了局部加權能量LWE(Local Weighted Energy)，如式(12)所示:

(12)

(13)

為了獲取更詳細的細節信息,本文定義了局部加權8鄰域修正拉普拉斯能量和WSML(locally Weighted eight neighborhood Modified Laplace energy Sum),如式(14)所示:

(14)

|2r(i,j)-r(i,j-1)-r(i,j+1)|+

(15)

高頻段的最終積化能量和定義為LWE和WSML的乘積，如式(16)所示：

(16)

3.3 融合算法步驟

本文使用NSST變換將改進SR與積化能量和相結合,以實現不同場景和焦距的多聚焦圖像融合。假設A和B是2幅已配準且具有不同聚焦源的輸入多聚焦圖像,F為最終的融合圖像。

具體的融合步驟可分為如下3步：

融合算法過程如圖2所示。

Figure 2 Process of multi-focus image fusion 圖2 多聚焦圖像融合過程

4 實驗結果與分析

為了驗證本文算法的可行性,本節選取5對嚴格配準且大小為256×256的圖像(如圖3所示)，利用Matlab(2016a)進行實驗,并與目前流行的5種多聚焦圖像融合算法進行比較,這5種算法分別是基于稀疏表示SR的圖像融合算法[17]、基于自適應稀疏表示ASR (Adaptive Sparse Representation)的圖像融合算法[18]、基于卷積稀疏表示CSR (Convolutional Sparse Representation)的圖像融合算法[19]、基于非下采樣輪廓波變換NSCT和稀疏表示SR的圖像融合算法[20]、基于非下采樣剪切波變換NSST和稀疏表示SR的圖像融合算法[21]。其中本文實驗參數設置如下:NSST分解級數l和方向數k設置為[3,3,4,4]；稀疏編碼中,塊大小是8×8，步長s=1。

Figure 3 Multi-focus image pairs in experiment圖3 實驗使用的多聚焦圖像對

由于在真實場景中沒有參考圖像,因此對融合圖像的質量進行定量評估并非易事。近年來,研究人員提出了多種圖像評估方案,但這些方案褒貶不一，無法確定哪一種評估方案最準確。因此，研究人員往往采用多種方案并行的方式對融合結果進行客觀評估，本文采用最常用且效果較好的5個指標來驗證本文算法的有效性，其分別為:互信息MI(Mutual Information)、邊緣強度QAB/F(Edge Strength)、平均梯度AG(Average Gradient)、峰值信噪比PSNR(Peak Signal-to-Noise Ratio)和結構相似度SSIM(Structural Similarity Idnex)。其中，MI可計算源圖像有多少信息移動到融合圖像中[16]；QAB/F可度量有多少邊緣信息從源圖像移動到圖像融合中[17]；AG反映了圖像對細節、紋理顯示的能力[18]；PSNR值的大小表示融合圖像的失真程度，值越大則效果越好[19]；SSIM可以權衡融合圖像與源圖像之間的結構相似性[21]。因此，上述5個評價指標的值越大，融合圖像越清晰，融合圖像的效果越好。

圖3是不同場景下的多聚焦圖像對(5對),圖像均是對部分區域進行聚焦,其他區域散焦。圖4展示了采用不同算法的融合圖像。其中，第1列為SR的融合結果，第2列為ASR的融合結果，第3列為CSR的融合結果，第4列為NSCT_SR的融合結果，第5列為NSST_SR的融合結果，第6列為本文算法的融合結果。6種算法都能得到最終融合的圖像，并得到有效的信息，仔細觀察可以發現：第1行第1～2列的2幅圖像沒有很好地將右聚焦源圖像的信息進行融合，導致融合后的圖像清晰度降低；第1行第3～5列的3幅圖像丟失了部分紋理信息，對比度下降；第1行第6列的圖像則很好地保留了圖像的細節及紋理等信息，同時提高了圖像的清晰度和對比度，融合效果較好。第2行第1～6列的6幅圖像，學生的頭部在場景中有輕微的運動，我們觀察能看到6種算法的融合圖像中學生頭部都會受到不希望出現的偽影的影響,但第2行第6列的圖像可以獲得很好的視覺效果。第3行第1～2列的2幅圖像中老虎的腳部發白，圖像的清晰度下降；第3行第3～5列的3幅圖像整幅圖像清晰度提高，卻丟失了部分紋理信息； 第3行第6列的融合圖像則提高了圖像的清晰度，較好地保留了紋理信息，融合效果比較理想。第4行第1～2列的2幅圖像的鬧鐘和書桌的邊緣出現了嚴重的虛影，融合效果較差；第4行第3～5列的3幅圖像均較好地保留了源圖像特征，但損失了部分細節信息；第4行第6列的融合圖像聚焦區域的邊緣處融合效果比較理想。第5行第1～6列的6幅圖像中，氣球在場景中有輕微的運動，融合圖像的清晰度越來越高；第5行第6列的融合圖像的清晰度最高，聚焦區域的邊緣處融合效果較好。

Figure 4 Fusion results multi-focus image pairs with different algorithms圖4 多聚焦圖像對采用不同算法的融合結果

表1列出了5對多聚焦圖像融合效果的客觀評價結果。從表1中結果可以發現，SR算法的AG和MI評價指標總是最低的，相反PSNR評價指標總是比較高，這意味著它對融合圖像中錯誤引入的噪聲具有魯棒性,但是可能會丟失一些細節信息；ASR和CSR算法的AG、QAB/F、MI和SSIM的值均優于SR算法的客觀評價指標，說明融合的圖像在清晰度、對比度上有較大提升，但細節和紋理等信息較模糊，圖像容易失真；NSST_SR算法和NSCT_SR算法幾乎可以得到較高的AG和MI，反而PSNR指標要相對低一些，這表明雖然這2種算法可以通過4級分解提取足夠的細節信息，但其對誤配準、誤聚焦具有較強的敏感度；本文在NSST_SR算法的基礎上，對高頻子帶系數提出了一種符合視覺效果的融合算法，對低頻子帶系數提出了改進的稀疏表示融合算法， 其AG、MI、PSNR、SSIM和QAB/F指標均優于其他算法的，這表明本文算法不僅擁有對比算法的優點，而且還能抑制噪聲，提高清晰度和對比度，較好地保留了圖像的細節及紋理信息，是針對多聚焦圖像的一種有效融合算法。

Table 1 Objective evaluation experimental results of image fusion

5 結束語

本文提出一種將改進SR與積化能量和相結合的多聚焦圖像融合算法。首先將NSST應用于已處理的源圖像,得到高頻子帶系數和低頻子帶系數。對低頻子帶系數提出了低頻融合規則,即采用滑動窗口對低頻圖像劃分,減少字典學習所需要的數據量,再利用基于改進SR的融合規則得到稀疏系數,最終獲得低頻融合系數,這使得低頻融合中的關鍵問題得以解決,即細節提取；另一方面,對于高頻子帶系數提出積化能量和的融合規則,以保證圖像的亮度與能量的保持。實驗分析表明，與經典算法相比，本文所提融合算法得到的結果可保留更多細節信息,具有更好的視覺效果，是一種有效的融合算法。