結合視覺顯著性的多聚焦圖像融合算法

趙 欣，曹 敏

（武漢工程大學 電氣信息學院 智能與車聯網實驗室，武漢430205）

圖像融合是圖像處理中的重要部分，是將不同方式或者不同傳感器下獲得的多幅圖像融合成為一幅圖像，使圖像能更加適合于人類視覺感知，或能便于在計算機上進一步處理與分析的融合圖像的處理方法。多聚焦圖片融合在圖像融合中十分重要，是在場景中對不同目標物分別進行聚焦成像，得到有關該場景目標物的多幅多聚焦圖像，然后采用某種算法提取各自的清晰區域，并將這些區域合并生成一幅該場景中所有景物都清晰的圖像。當前，圖像融合技術已經在軍事、數碼相機等方面應用廣泛[1]。

1 理論分析

1.1 頻率調諧FT 顯著性檢測

顯著性物體檢測模型側重于將圖像中受到視覺注意的物體完整地提取出來，其中以頻率調諧FT（frequency-tuned）模型的應用最為廣泛。FT 顯著性檢測算法由Achanta 等[2]人提出，使用FT 模型計算得到的顯著圖與原圖像分辨率一致。在此引入FT算法以提取多聚焦圖像的視覺顯著圖。

在FT 方法中，高斯差DoG（difference of Guassian）濾波器的差異基于高斯濾波器函數的空間分布，作為帶通濾波提取頻域中的顯著性。首先對輸入圖像采用高斯差分對圖像進行濾波。高斯差分公式為

設置高斯方差比例為1∶1.6，能夠更好地檢測物體的邊緣。組合多個DoG，即將所有的高斯差分結合在一起，就可以從不同的尺度空間中檢測圖像邊緣，從而檢測出圖像中的顯著性區域。對多聚焦圖像高斯濾波得到濾波后的圖像，計算顯著值得到顯著圖。像素的顯著性計算公式為

式中：Iwhc（x，y）為像素點的Lab 值；Iμ為圖像在Lab空間的均值。

1.2 非下采樣輪廓波變換NSCT

隨著在Contourlet 變換的廣泛應用，2005 年A.L.Cunha 等在輪廓波的基礎上提出了非下采樣輪廓波變換NSCT（non-undersampled contour wave transform）算法[3]。NSCT 不僅保有多尺度、局部特性和多方向性，還增加了平移不變性和更高的冗余度；由非下采樣金字塔NSP（nonsubsampled pyramid）和非下采樣方向濾波器組NSDFB（nonsubsampled directional filter bank）2 個部分組成[4]。

非下采樣金字塔分級結構經多級迭代方式完成，由一組低通和高通濾波器組組成[5]。非下采樣濾波器組的結構分為2 部分，一部分用扇形濾波器組和象限濾波器組將圖像分為4 個方向子帶，另一部分利用平行濾波器組迭代出不同方向的子帶。

NSCT 處理圖像時，如圖1 所示，首先采用非下采樣金字塔濾波器組NSPFB 對圖片進行多尺度的分解，獲得低頻子帶和高頻子帶，自由設定所需要分解出的層數，將有不同的高頻子帶出現； 再用NSDFB 對圖片進行高頻子帶分解，即可得到各尺度和方向的子帶系數。

圖1 NSCT 分解框架Fig.1 NSCT decomposition framework

1.3 本文算法

在此將非下采樣輪廓波變換與視覺顯著性相結合對融合規則進行了改進，實現不同聚焦源的圖像融合。假設，A 和B 為輸入的2 幅聚焦源不同的多聚焦圖像，F 為最終的融合圖像。本文算法的圖像融合流程如圖2 所示。

圖2 本文算法的圖像融合流程Fig.2 Flow chart of image fusion based on this algorithm

2 融合規則

融合規則作為圖像融合算法的關鍵之一，其對圖像的融合效果有非常大的影響。多聚焦圖片A 和B，經過NSCT 分解后，分為低頻子帶系數和高頻子帶，其各自包含的物理信息有著明顯的差異： 低頻子帶主要包含圖像的相似部分，即圖像的背景信息；高頻子帶則表征圖像的輪廓紋理細節部分。在此將針對低頻、高頻子帶各自的特點制定融合規則。

2.1 高頻系數融合規則

一般高通子帶系數反映了圖像邊緣或細節等。多聚焦圖像的像素值變化劇烈的點一般是聚焦區域內的點，因此高頻子帶圖像常使用系數絕對值取最大的融合準則，然而使用其融合圖像中的細節容易產生間斷。為了緩解這樣的情況，對于高頻系數的融合規則，將采用拉普拉斯能量和比較的方法[6]。拉普拉斯能量和能更好地表征圖像的邊沿特征信息，反映圖像的聚焦特性和清晰度。拉普拉斯能量和的數學表達為

式中：SML（x，y）為圖像中該點像素的清晰度信息。

比較高頻子帶拉普拉斯能量和[5]，確定高頻子帶系數為

2.2 低頻系數融合規則

低頻子帶系數表征了源圖像的背景信息，其融合效果對圖像輪廓有著決定性作用，并且影響著圖像的對比度[7]。低頻系數一般表示源圖像的近似分量，使用FT 算法檢測，背景會具有更高的顯著值。對顯著、非顯著性的區域分別采用以下相應融合規則：

——在顯著性區域采用自適應權重融合規則。

——非顯著性區域采用基于區域能量RE（regional energy）的融合規則。

3 試驗結果分析

為了驗證所提出的結合顯著性方法在多聚焦圖像融合的可行性，對3 組多聚焦圖像進行了融合試驗。將本文算法與NSCT 方法、SR[8]方法、NSCT 結合SR[8]的方法分別進行對比。圖3 和圖4 分別為時鐘、花、草圖像組的試驗結果。其中，每組的源圖像A為左聚焦圖像，源圖像B 為右聚焦圖像。

在此，使用互信息MI（mutual information），邊緣信息保持量Qabf，Piella 評價指標（Q0，Qw，Qe），結構相似度SSIM（structural similarity）和圖像清晰度FD（fusion definition）共7 項客觀評價指標，以評價各融合圖像的性能[9]。試驗中，圖片融合效果越好，相應的評價指標的值應越高。

圖3 多聚焦源圖像Fig.3 Multi-focus source images

圖4 各種融合方法的試驗結果Fig.4 Different fusion methods of experimental results

通過圖4 和表1 可見，本文算法的試驗結果評價指標中的Qe，Q0和FD 值都是最大的，說明其融合圖像在清晰度上優于其他方法；本文算法的時鐘和花2 組指標MI 的值比之其他方法更高，而草的MI 指標為第2 大，也說明在本文算法融合后的圖像獲得了源圖像較多的信息量；Qabf和SSIM 也取得了較好的結果，說明通過本文算法融合后的圖像留取了原圖更多的邊緣信息，并能較好地保留原圖的結構信息。

表1 圖像融合的客觀評價效果指標Tab.1 Objective evaluation of fusion results

4 結語

針對多聚焦圖象的特點，為了使最終的融合圖像包含更多的細節信息如紋理邊緣等，基于NSCT變換的多種良好特性，提出了通過結合顯著性的改進的多聚焦圖像融合算法。由試驗結果可以看出，本文算法較好地保留了源圖像的邊緣、細節和紋理等，在一定程度上提高了多焦點融合圖像的對比度和清晰度； 與以前的算法相比，融合效果得到了改善。