一種多聚焦圖像融合的拉普拉斯金字塔方法

何乃瑩 李蕾 王傳恩

摘? 要： 機(jī)器視覺(jué)是機(jī)器人導(dǎo)航的基礎(chǔ)，雙目立體成像是機(jī)器視覺(jué)常用的方法。雙目立體成像中因?yàn)閷?duì)焦的問(wèn)題，生成的影像有著一定的區(qū)別，這種區(qū)別對(duì)立體成像有著嚴(yán)重的制約。提出一種針對(duì)多聚焦圖像的拉普拉斯金字塔融合方法，左右聚焦的圖像經(jīng)過(guò)多尺度分解，得到不同頻率域的圖像細(xì)節(jié);在對(duì)應(yīng)的尺度上進(jìn)行融合，得到一個(gè)融合后的多尺度圖像;再進(jìn)行拉普拉斯金字塔逆變換，得到融合圖像。該方法有效地解決了多聚焦圖像局部不清晰的問(wèn)題，有利于雙目視覺(jué)立體成像。

關(guān)鍵詞： 多聚焦圖像; 圖像融合; 拉普拉斯金字塔; 熵

中圖分類號(hào)：TP391? ? ? ? ? 文獻(xiàn)標(biāo)志碼：A? ? ?文章編號(hào)：1006-8228（2019）04-18-03

Abstract： Machine vision is the basis of robot navigation. Binocular stereoscopic imaging is a common method of machine vision. In binocular stereoscopic imaging， because of the problem of focusing， there are certain differences between the generated images. This distinction has serious constraints on stereoscopic imaging. A Laplacian Pyramid fusion method for multi focus image is proposed. After multi-scale decomposition of left-right focusing images， the details of images in different frequency domains can be obtained. Then， fusion can be carried out on corresponding scales to obtain a multi-scale image after fusion. Then， inverse transform of Laplacian Pyramid can be carried out to obtain the fused image. Thus， the problem of local indistinct image in multi focus image is solved by the method， which is beneficial to binocular stereo vision imaging.

Key words： multi focus image; image fusion; Laplacian Pyramid; entropy

0 引言

多聚焦圖像融合在機(jī)器視覺(jué)領(lǐng)域應(yīng)用非常多，是圖像處理中重要環(huán)節(jié)。多聚焦圖像是指多幅圖像（或兩幅圖像）在拍攝同一個(gè)場(chǎng)景的時(shí)候，由于焦距不同，產(chǎn)生了同一場(chǎng)景在不同的圖像里不同部分的模糊現(xiàn)象[1]。多聚焦圖像融合就是在保留圖像清晰部分的同時(shí)通過(guò)圖像處理解決圖像中的模糊部分。圖像經(jīng)過(guò)融合整體質(zhì)量得到提升，利用圖像的分析和后處理，這在圖像拼接、立體視覺(jué)效果等圖像處理領(lǐng)域都有著重要的作用[2-4]。

圖像的融合分為像素級(jí)融合、決策級(jí)融合、特征級(jí)融合，目前利用較多的還是像素級(jí)的融合，這是因?yàn)橄袼丶?jí)融合能夠提供較為可靠的模型，而且精度高、融合效果非常理想[2]。像素級(jí)的圖像融合方法可以分為幾大類：基于數(shù)理統(tǒng)計(jì)的方法（如加權(quán)平均、主成分分析）、基于圖像空域變化的方法（金字塔變化的方法）、基于空域和時(shí)域的方法（小波變換等）[5]-[8]。將兩幅或多幅焦距不同的圖像進(jìn)行合成融合，濾除單個(gè)圖像中的模糊部分，保留清晰部分[1]，合成質(zhì)量更好的圖像，這樣圖像的利用就會(huì)提高。

1 拉普拉斯金字塔變換方法

高斯金字塔分解是拉普拉斯金字塔分解的基礎(chǔ)。完成圖像高斯金字塔分解之后，還需要通過(guò)內(nèi)插上采樣和帶通濾波兩個(gè)步驟，就可以完成圖像拉普拉斯金字塔分解了。總結(jié)概括就是：低通濾波、降采樣、內(nèi)插上采樣、帶通濾波四個(gè)過(guò)程[9-10]。

1.1 建立圖像的高斯金字塔分解

設(shè)源圖像為G0，如果使用高斯金字塔進(jìn)行分解，那么G0就作為金字塔的底層，金字塔的第l層圖像Gl是[1，9]：

1.2 拉普拉斯金字塔分解與重構(gòu)圖像

為了內(nèi)插上采樣需要引入相應(yīng)的算子Expand，第l層圖像Gl內(nèi)插上采樣，即：Expand*Gl，得到放大后的圖像Gl*，這樣尺寸相同。

2 基于拉普拉斯金字塔的圖像融合方法

第一步：將兩幅原圖像融合，分別進(jìn)行相應(yīng)的金字塔分解。

第二步：將分解得到的圖像，針對(duì)高頻和低頻金字塔信息，分別按照設(shè)計(jì)的融合規(guī)則進(jìn)行融合，本文采用絕對(duì)值高頻絕對(duì)值最大原則，低頻采用均值原則。

第三步：利用得到的融合高低頻金字塔圖像信息，進(jìn)行金字塔重構(gòu)，得到融合圖像。

3 實(shí)驗(yàn)與分析

本文采用MATLAB軟件實(shí)現(xiàn)了拉普拉斯金字塔圖像融合算法，融合圖像來(lái)源于網(wǎng)絡(luò)上常用的多聚焦實(shí)驗(yàn)圖像，具有一定的代表性;圖像格式為tif格式，圖像大小為256*256像素，分別為左對(duì)焦、右對(duì)焦圖像;從圖像上直接觀察（圖2（a），圖2（b））兩幅圖像，因?yàn)榫劢共煌虼藞D像呈現(xiàn)的清晰度不同。

4 結(jié)束語(yǔ)

多聚焦圖像在人工智能與機(jī)器視覺(jué)中是非常普遍的現(xiàn)象，為了有效的融合圖像信息，本文提出一種基于拉普拉斯金字塔的多聚焦圖像融合方法，對(duì)比于其他幾種融合方法，得到的融合圖像質(zhì)量更好。PCA方法和平均法是簡(jiǎn)單的光譜信息的處理方法，沒(méi)有區(qū)分細(xì)節(jié)信息和背景信息，因此效果融合不好。而拉普拉斯金字塔方法是一種多尺度分解方法，將圖像的細(xì)節(jié)信息和背景信息區(qū)別開(kāi)，因此在融時(shí)候具有較高的針對(duì)性，因此融合效果更好。金字塔該方法在圖像處理、模式識(shí)別、立體像對(duì)成像識(shí)別、人工智能等方面，具有較高的參考意義。

參考文獻(xiàn)（References）：

[1] 涂超平，肖進(jìn)勝，杜康華，易本順.基于各向異性熱擴(kuò)散方程的多聚焦圖像融合算法[J].電子學(xué)報(bào)，2015.43（6）：1192-1199

[2] 潘永勝，冀小平.一種新的多特征融合圖像檢索方法[J].科學(xué)技術(shù)與工程，2014.14（15）：219-223

[3] 鄧?yán)冢罹愒坪疲?幾種小波融合方法在遙感影像融合中的應(yīng)用與比較.遙感應(yīng)用，2007.36（6）：23-27

[4] 牛穎超，周忠發(fā)，謝雅婷，崔亮.基于金字塔變換算法優(yōu)化的遙感圖像融合[J].激光與光電子學(xué)進(jìn)展，2017.54（1）：276-283

[5] 伊力哈木·亞爾買買提，謝麗蓉，孔軍.基于PCA變換與小波變換的遙感圖像融合方法[J].紅外與激光工程，2014.43（7）：2335-2340

[6] 朱明，孫繼剛，梁偉，郭立強(qiáng).四元數(shù)曲波變換多源多聚焦彩色圖像融合[J].光學(xué)精密工程，2013.21（10）：2671-2678

[7] 劉佳，段先華，孫慶國(guó).基于多小波的高分辨率與多光譜圖像融合[J].電子設(shè)計(jì)工程，2015.23（11）：82-86

[8] 閻昆，李心怡，王珺.結(jié)構(gòu)稀疏表示與細(xì)節(jié)注入的遙感圖像融合方法[J].電子設(shè)計(jì)工程，2018，26（06）：68-71，76

[9] 羅鴻斌.基于拉普拉斯高斯金字塔的圖像融合研究[J].自動(dòng)化與儀器儀表，2014.3：27-30

[10] 張闖，常建華，葛益嫻，孫冬嬌.多聚焦圖像的自適應(yīng)分塊融合方法[J].科學(xué)技術(shù)與工程，2013.13（21）：6124-6128

[11] 史敏紅，高媛，秦品樂(lè)，王麗芳.基于NSST域的改進(jìn)加權(quán)非負(fù)矩陣分解的圖像融合[J].科學(xué)技術(shù)與工程，2018.18（3）：268-273

[12] 夏文棟，陳德禮，任江濤，劉遠(yuǎn)峰.多分辨率分析耦合近似稀疏表示的圖像融合算法[J].科學(xué)技術(shù)與工程，2017.17（33）：297-303