一種基于視覺顯著性的圖像融合算法

胡 甚，張基宏，，柳 偉，張正瑞

(1.深圳大學 信息工程學院，廣東 深圳 518060；2.深圳信息職業技術學院 可視媒體處理與傳輸深圳市重點實驗室，廣東 深圳 518029)

一種基于視覺顯著性的圖像融合算法

胡 甚1，張基宏1，2，柳 偉2，張正瑞1

(1.深圳大學 信息工程學院，廣東 深圳 518060；2.深圳信息職業技術學院 可視媒體處理與傳輸深圳市重點實驗室，廣東 深圳 518029)

基于視覺顯著特征提出一種新的圖像融合算法。首先對源圖像進行小波分解，得到低頻系數和高頻系數；然后針對低頻系數提出一種基于視覺顯著性的融合規則，對高頻系數采用絕對值取大的融合規則；最后對融合后的低頻系數和高頻系數進行小波逆變換得到最終融合圖像。該方法能完好地將源圖像的細節融合在一起。仿真實驗表明，該算法在視覺效果上比傳統及改進方法更好，同時互信息、平均結構相似性、信息熵等傳統客觀評價指標有所提高。

圖像融合；顯著性；顯著特征；小波變換

圖像融合廣泛應用于圖像處理和計算機視覺領域，如特征提取、目標識別。通過圖像融合來自相同場景的不同圖像能被合成單一圖像[1]。融合圖像能提供此場景更豐富的信息，對人類和機器感知有很大作用。小波分析方法是一種多尺度、多分辨率的方法，其融合圖像在各分解層上分別進行，突出源圖像重要特征、細節及邊緣細節信息，因此能達到比較好的效果。源圖像經過一次小波分解得到1幅低頻子圖像和3幅高頻子圖像。對于低頻圖像，傳統的加權平均融合方法會降低圖像對比度，分解層數低時表現得更為明顯，本文將視覺顯著特征應用到低頻系數融合中，提出一種新的小波變換圖像融合算法。該方法符合人類的視覺特征，更加突出源圖像中的細節信息，可以獲得比傳統圖像融合算法及一些新方法更好的融合效果[2-6]。

1 視覺顯著模型

通過對人類視覺系統(HVS)的研究發現，在一個復雜的場景中，人類視覺系統能夠迅速將注意力專注于少數顯著的視覺對象上，該過程稱為視覺注意。Itti和Koch等人在文獻[7]中提出一種自底向上的視覺注意模型，本文將該模型進行改進，生成灰度圖像顯著圖，并將該模型與小波分析方法結合進行圖像融合。生成灰度圖像顯著圖的過程如下：以強度和方向作為輸入圖像的視覺特征，分別在不同的尺度上產生高斯金字塔，對高斯金字塔進行“中心—周圍差分”(Center-surround Difference)及歸一化，分別獲得強度、方向上的特征圖(Feature Map)；然后對特征圖進行跨尺度融合(Across-scale Combinations)及歸一化；最后生成對應于圖像強度和方向的特征顯著圖(Conspicuity Map)。該過程如圖1所示。

圖1 生成視覺顯著模型

1.1 獲取早期特征

用灰度圖像的像素值表示圖像強度I，將I創建高斯金字塔I(σ)，σ∈{0，…，8}，中心尺度c和周圍尺度s間進行中心—周圍差分“Θ”，由細尺度差值運算與逐點提取操作獲得[7]，從而得到特征圖

I(c，s)=|I(c)ΘI(s)|

(1)

式中：c∈ {2，3，4}；s=c+δ；δ∈{3，4}。

局部方向信息通過Gabor金字塔O(σ，θ)[6]，其中σ∈{0，…，8}代表尺度；θ∈{0°，45°，90°，135°}代表方向。經過中心周圍差分，獲得方向特征圖

O(c，s，θ)=|O(c，θ)ΘO(s，θ)|

(2)

式中：c∈{2，3，4}；s=c+δ；δ∈{3，4}。

總共獲得30幅特征圖：6張強度特征圖和24張方向特征圖。

1.2 合成視覺顯著圖

獲得視覺顯著圖的目的是為了表示圖像的空間顯著性分布，將強度和方向特征圖合成特征顯著圖，通過Itti模型中的歸一化算子N(·)，將強度和方向特征圖進行歸一化，該歸一化算子分成如下3步：

1)將特征圖值統一到固定范圍[0，M]。

2)計算除全局最大值[0，M]。外的各局部最大值的平均值m。

3)將整張圖乘以(M-m)2。

(3)

(4)

然后將兩個特征顯著圖線性合成視覺顯著圖，用S表示

(5)

式中：α與β為加權系數，圖像強度與方向分量權重不同，也會產生不同的融合效果，且滿足α+β=1，本文實驗中α=0.667，β=0.333。

視覺顯著圖在某處值越大，圖像在該位置越顯著，將該圖用于小波分析的圖像融合中，對圖像的細節信息有很好的增強效果。圖2a為兩組源圖像，圖2b是由上述顯著模型生成的視覺顯著圖。

圖2 兩組源圖像及其顯著圖

2 結合視覺顯著特性與小波變換的圖像融合

設A、B兩幅源圖像，本文提出的融合算法如圖3所示。

圖3 顯著性融合算法流程

具體步驟如下：

1)分別對圖像A、B進行N層小波分解，得到低頻分量和高頻分量。

2)對低頻分量采用本文提出的“顯著性融合”的融合規則，設SA(i，j)與SB(i，j)分別表示源圖像在位置(i，j)處的顯著性值，融合圖像低頻系數選擇源圖像顯著性值S較大對應位置的低頻系數。

3)高頻系數融合：因為源圖像經過小波分解后的高頻系數便是圖像的邊緣細節，因此高頻系數采用絕對值取大的方法進行融合。

4)將融合后的低頻系數與高頻系數進行小波反變換，從而得到最終的融合圖像。

3 實驗與討論

為證明本文所提出算法的有效性，對兩幅多聚焦圖像、CT與MRI圖像分別進行仿真實驗，并且與傳統方法及一些改進算法進行了比較。本文所用方法是對已有多尺度圖像融合算法的低頻融合規則的改進，所以將其與傳統A’trous小波、NSCT[2]和改進算法MUDW[8]這3種多尺度變換進行比較，如圖4所示。

圖4 多聚焦圖像不同方法融合圖像

通過客觀評價指標評價，本文選取常用的性能指標：互信息(MI)[3]、邊緣保持度(QAB/F)[4]、平均結構相似度(ASIM)[9]、信息熵(entropy)[3]，一般這些指標越大，融合圖像的質量越高，表1是以上幾種算法得到的客觀評價指標值。

表1 多聚焦圖像融合結果客觀評價指標比較

從圖4看出，由圖4e與圖4f指針處有明顯的偽跡，圖4g與圖4h雖然裸眼看不出有明顯不清晰的地方，但是由表1可看出本文方法在客觀評價指標QAB/F、ASIM、信息熵上優于MUDW方法。由此說明本文算法在視覺效果上與客觀評價指標上優于傳統算法及改進算法，融合圖像更清晰；MRI與CT圖的融合與多聚焦圖像融合類似，不再贅述。

4 結論

本文將視覺顯著圖應用到小波變換中，提出一種對低頻系數顯著性的融合方法，高頻分量采用系數絕對值取大的方法，取得了較理想的融合效果。該方法本文還應用于醫學圖像MRI與CT圖的融合，也取得了比較好的效果，由此證明了本文算法的廣泛實用性。

[1]GOSHTASBY A A，NIKOLOV S.Image fusion：advances in the state of the art[J]．Inf.Fusion，2007，8(2)：114-118.

[2]ZHANG Q，GUO B.Multifocus image fusion using the non-subsampled contourlet transform[J]．Signal Process，2009，92(7)：1334-1346.

[3]敬忠良，肖剛，李振華.圖像融合——理論與應用[M].北京：高等教育出版社，2007.

[4]XYDEAS C，PETROVIC V.Objective image fusion performance measure[J].Electronics Letters，2000，36(4)：308-309.

[5]LI Shutao，KANG Xudong，HU Jianwen.Image fusion with guided filtering[J]．IEEE Trans.Image Processing，2013，22(7)：2864-2865.

[6]LEVENTHAL A G.The neural basis of visual function：vision and visualdysfunction[M]Boca Raton，Fla.：CRC Press，1991.

[7]ITTI L，KOCH C，NIBURE.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Trans.Pattern Analysis and Machine Intelligence，1998，20(11)：1254-1259.

[8]鄧苗，張基宏，柳偉，等.基于形態非抽樣小波的實時圖像融合方法[J].計算機應用，2012，32(10)：2809-2813.

[9]ZHOU W，ALAN C B，HAMID R S，et al.Image quality assessment：from error visibility to structural similarity[J].IEEE Trans.Image Processing，2004，13(4)：1-14.

責任編輯：時 雯

Image Fusion Method Based on Visual Saliency

HU Shen1，ZHANG Jihong1，2，LIU Wei1， ZHANG Zhengrui1

(1.CollegeofInformationEngineering，ShenzhenUniversity，GuangdongShenzhen518060，China；2.ShenzhenKeyLaboratoryofVisualMediaProcessingandTransmission，ShenzhenInstituteofInformationTechnology，GuangdongShenzhen518029，China)

A new approach for image fusion is proposed based on visual saliency in this paper.Sourse images are decomposed by wavelet to get coefficients of low and high frequency，then the part of low frequency is fused using salient method proposed and the part of high frequency is fused by selecting large absolute wavelet coefficients.Fused image is got by wavelet inverse transformation.Details of source images is fused beautifully using this method.It proves that method proposed outperforms the traditional and improved method in visual effect and some assessment criteria are advanced，such as mutual information，average structural similarity，entropy and so on.

image fusion；saliency；salient feature；wavelet transformation

國家自然科學基金項目(61271420)；廣東省自然科學基金項目(S012020011034)

TN949.6

A

10.16280/j.videoe.2015.05.010

胡 甚(1988— )，碩士生，研究方向為圖像融合；

張基宏(1964— )，教授，博士生導師，研究方向為圖像處理與傳輸；

柳 偉(1973— )，博士，教授，研究方向為信號處理與模式識別；

張正瑞(1986— )，碩士生，研究方向為集成電路。

2014-03-10

【本文獻信息】胡甚，張基宏，柳偉，等.一種基于視覺顯著性的圖像融合算法[J].電視技術,2015，39(5).