基于分水嶺算法的圖像融合質量評價方法

黃應清，齊 鷗，蔣曉瑜，劉中晅

(裝甲兵工程學院 a.兵器工程系；b.技術保障工程系；c.控制工程系，北京 100072)

1 概述

圖像融合技術在信息融合領域發揮著重要作用，被廣泛應用于隱匿武器檢查、夜間飛行、重要目標監視、醫學診斷、衛星遙感等領域[1]。融合圖像的質量是度量圖像融合效果的重要方面，研究融合圖像質量評價對融合方法的開發具有指導意義[2]。

過去，融合圖像的質量主要靠人眼主觀感覺[3]進行度量，但這種評價方式費時費力，且不能被集成到圖像融合系統中，不利于系統的開發[4]。盡管這種評價方式準確度很高，可是由于其實用性差，在實際生產中應用很少[5]。隨著機器視覺的發展，客觀融合圖像質量評估成為現實[6]。文獻[7]在評價中引入結構相似性度量(Structural Similarity Index Metric, SSIM)理論，提出基于 SSIM 的圖像融合質量評價方法。文獻[8]模擬人類視覺系統，提出一種自主式圖像融合質量評價方法。文獻[9]通過優化加權策略，提出基于質量因子的圖像融合客觀評價方法，但沒有一種評價方法包含對共有信息和互補信息的度量。文獻[10]指出共有信息和互補信息對融合圖像的質量起著重要作用，必須對其準確描述才能實現高精確度的圖像融合質量評價。

本文采用分水嶺算法對共有信息和互補信息進行分割，并構建共有信息/互補信息響應函數，以實現對圖像融合質量的高精確度評價。

2 SSIM理論簡介

SSIM理論由Zhou Wang于2003年提出，該理論假定人眼觀察圖像功能的實現源于人眼對圖像結構信息的處理。鑒于此，通過提取并處理圖像的結構，就能夠達到人眼對圖像的評價效果。SSIM包括3個分量：亮度比較，對比度比較和相關性比較。

為2幅結構待評估圖像的信號，則SSIM定義為：

其中，C1、C2和 C3為很小的常數，用于保持算法的穩定；SSIM(x, y)的值位于 0～1之間，值越小代表圖像x和y之間的相似性越大，反之越大。

3 共有信息和互補信息的分割

圖像融合綜合多種傳感器圖像或同一傳感器不同時刻圖像的信息，合成一幅包含所有傳感器重要信息的復合圖像，完成對目標場景的更好的描述。共有信息存在于多幅圖像中，只需保留一份即可；互補信息存在于單獨的圖像內，必須完全地保存該信息，才能實現對場景的全面描述。鑒于共有信息和互補信息性質不同，其對融合圖像質量的貢獻也不同，因此，在質量評價過程中必須加以區分。

3.1 共有信息和互補信息的確定

鑒于對人眼有意義的是圖像的結構信息，因此，對圖像結構信息互補性和共有性的區分也就是對圖像互補共有信息的區分。考慮到圖像信號的復雜性，采用大小為w的窗口依次從上至下、從左至右依次滑過圖像的每個像素，則圖像每一點的局部相似性為SSIM(x, y|w)。綜合考慮運算精度和速度因素，本文中w大小取 5×5。2幅圖像對應點的局部結構相似性構成一幅圖，記為結構相似性信息圖SSIMMAP，反映了2幅圖像之間對應區域的結構相似程度。

3.2 基于標記分水嶺的圖像分割

分水嶺算法是圖像分割中的一種重要算法，被廣泛應用于形態學圖像處理領域。分水嶺算法將圖像視為一幅3維地形圖，像素的灰度值為其高度。高的灰度值對應地理中的山峰，低的灰度值對應地理學中的盆地。在每一個盆地的底部打一個小孔，水從盆地底部流入盆地并逐漸上升，當盆地中的水將要溢出盆地邊緣時，構建堤壩防止盆地中水的溢出，所構建的堤壩即為分水嶺。分水嶺算法直接用于圖像分割容易引起過分割現象，導致分割結果可用性差。為了避免該現象，本文采用基于標記分水嶺的圖像分割方法，具體過程如下：

(1)采用橫向Sobel算子和縱向Sobel算子分別對圖像進行濾波，得到橫向梯度圖fx和縱向梯度圖fy，橫向梯度圖和縱向梯度圖求均方誤差得到SSIMMAP的梯度圖像f：

橫向和縱向Sobel算子分別如圖1和圖2所示。

圖1 橫向 Sobel算子

圖2 縱向 Sobel算子

(2)為降低噪聲對評價結果造成的影響，采用3×3線性平滑濾波器對梯度圖像f進行濾波；求取圖像內所有局部最小值點，為提高局部最小值點的質量，設定灰度值小于 75的局部最小值為有效局部最小值，并將其記為內部標記；對有效局部最小值點的圖像做分水嶺分割，得到在有效局部最小值作用下的分水嶺線，將其記為外部標記；對圖像f中外部標記和內部標記位置的像素值強制為-inf。

(3)對圖像進行分水嶺分割，得到包含內部標記的不同目標區域 R1,R2,…,RN和不包含內部標記的背景區域RN+1。包含內部標記的目標區域處于分水嶺盆地的底部，其整體結構相似性偏低，圖像對應部分之間結構差異較大，相同信息含量少，融合過程中主要體現為不同圖像之間不同信息的互補作用，因此，將這類區域記為互補信息區；相反，不包含內部標記的背景區域結構差異小，多數信息為不同融合源圖像所共有，融合過程中主要處理環節為冗余信息的去重，將這類區域記為共有信息區。

4 信息處理函數的構建

圖像融合的目的是綜合來自不同渠道的信息，合成一幅包含所有傳感器重要信息的復合圖像，完成對目標場景更好的描述。因此，在圖像融合中應盡可能的保全互補信息。而各個渠道的共有信息相同，只需保留一份即可。出于降低渠道因噪聲或扭曲的考慮，保留共有信息為各個渠道共有信息的平均值。構建信息處理函數如下：

其中，x, y為源圖像；f為融合圖像；R1,R2,…,RN,RN+1為目標區域和融合區域所對應的面積；Q(x, y, f)為融合圖像的質量；Q(x, y, f|Ri)為各個區域的融合圖像質量。

5 實驗結果與分析

本文采用標準融合圖像庫[11]中 Dune、Trees、UNcamp、faces、kayak、OCTEC、quad 這 7 種不同的場景的 IR和 CCD圖像作為源圖像，分別采用Average、PCA、SIDWT融合算法對7種場景的圖像進行融合，得到21幅融合圖像作為本實驗的數據。選取 40名年齡介于 20～40之間，具有正常視覺的人員作為質量評價專家，對獲取的 21幅融合圖像進行主觀質量評價。評價在一間密閉的暗室中進行，亮度約為0.6 lx，顯示器選擇ViewSonic VG510，經檢查無色差、壞點和畸變，顯示器分辨率設置為1 024×768；評價專家距屏幕的距離約為0.5 m，為保證效果，評價不限制時間，中途疲倦可以休息但不可走出暗室。

為驗證本方法的性能，選擇圖像質量評價經典的Piella方法和新型Zheng方法作為比較對象。本文采用視頻質量評價專家組給出的圖像質量評價方法優劣評判標準[12]進行有效性檢驗，該專家組提出的評判準則包括3個方面：

(1)準確性，主客觀評價數據差異是否大，本文采用MSE進行主客觀數據差異計算，MSE值越小意味著主客觀評價結果相差越小，準確性越高。

(2)單調性，客觀評價數據隨著主觀評價數據單調變化的程度，本文采用 Spearman秩相關系數衡量，Spearman值越大，意味著主客觀評價結果單調性越好。

(3)一致性，客觀評價數據和主觀評價數據的一致程度，本文采用Person線性相關來度量，Person值越大意味著主客觀評價結果一致性越高。

無干擾條件下主客觀評價實驗數據如表1所示，不同方法的性能比較如表2所示。

表1 無干擾條件下的評價實驗數據

表2 無干擾條件下的方法性能比較

可以看出，從準確度方面來說，Zheng的方法最高好，ISQP次之，Piella最差；從單調性方面來說，Spearman的最好，ISQP次之，Piella的最差；從一致性上來說，Zheng的最好，ISQP次之，Piella的最差。綜合來說，本文提出的ISQP和Zheng的方法均相對于Piella的經典方法有著較大的改進，但兩者性能相差不大。

圖像的獲取并非都理想，有時會存在大量的噪聲，為適應復雜多變的環境，向2幅融合圖像添加10%的白噪聲來驗證本文方法的穩定性，得到的評價實驗數據如表3所示，方法性能比較如表4所示。評價過程中，基于分水嶺的圖像分割比簡單的基于閾值分割的抗干擾性更強。可以預見，隨著圖像分割方法的進一步改進，圖像融合質量評價將會取得更好的效果。下一步研究將在圖像分割基礎上，結合視覺注意機制對圖像融合質量進行評價。

表3 有干擾條件下的評價實驗數據

表4 有干擾條件下的方法性能比較

可以看出，添加噪聲后，3種評價方法性能都有一定下降，其中 Zheng的方法下降得最多，ISQP方法次之，Piella方法最少。說明在觀察條件惡劣的情況下，Zheng的方法可靠性低。Zheng對融合圖像評價時采用的是閾值分割，造成有意義的圖像內容割裂，抗干擾能力差，而本文采用的標記分水嶺方法，具有一定的容錯能力，可以較好地適用于干擾條件下的質量評價。雖然3種方法中Piella的抗干擾能力最強，但是由于該方法本身性能基數小，難以形成高質量的評價標準。

6 結束語

本文通過對圖像融合方法的研究，提出一種基于標記分水嶺算法的圖像融合質量評價方法，實驗結果顯示，本文方法是一種有效的評價方法。在圖像質量

[1]劉松濤, 周曉東, 楊紹清.圖像融合系統研究現狀[J].電光與控制, 2007, 17(5): 14-18.

[2]狄紅衛, 劉顯峰.基于結構相似度的圖像融合質量評價[J].光子學報, 2006, 35(6): 766-771.

[3]胡良梅, 高 雋, 何柯峰.圖像融合質量評價方法的研究[J].電子學報, 2004, 32(12): 218-221.

[4]邢素霞, 高 雋, 何柯峰.圖像融合質量評價方法研究[J].微電子學與計算機, 2010, 27(6): 157-159.

[5]高紹姝, 金偉其, 王嶺雪, 等.圖像融合質量客觀評價方法[J].應用光學, 2011, 32(4): 671-677.

[6]石俊生, 金偉其, 王嶺雪.視覺評價彩色夜視融合圖像質量研究[J].紅外與毫米波學報, 2005, 24(3): 236-240.

[7]Piella G, Heijmans H.A New Quality Metric for Image Fusion[C]//Proc.of International Conference on Image Processing.Barcelona, Spain: [s.n.], 2003.

[8]Chen Yin, Blum R S.A New Automated Quality Assessment Algorithm for Image Fusion[J].Image and Vision Computing, 2009, 27(3): 121-132.

[9]鄭永安, 宋建社, 周文明, 等.基于圖像質量因子的圖像融合客觀評價方法[J].系統工程與電子技術, 2006,28(3): 464-466.

[10]Zheng Youzhi, Qin Zheng.Objective Image Fusion Quality Evaluation Using Structural Similarity[J].Tsinghua Science and Technology, 2009, 14(6): 703-709.

[11]Wang Zhou, Bovik A, Sheikh H R, et al.From Error Visibility to Structural Similarity[J].IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[12]周景超, 戴汝為, 肖柏華.圖像質量評價研究綜述[J].計算機科學, 2008, 35(7): 1-8.