一種多聚焦圖像融合的拉普拉斯金字塔方法

何乃瑩 李蕾 王傳恩

摘? 要： 機器視覺是機器人導航的基礎，雙目立體成像是機器視覺常用的方法。雙目立體成像中因為對焦的問題，生成的影像有著一定的區別，這種區別對立體成像有著嚴重的制約。提出一種針對多聚焦圖像的拉普拉斯金字塔融合方法，左右聚焦的圖像經過多尺度分解，得到不同頻率域的圖像細節;在對應的尺度上進行融合，得到一個融合后的多尺度圖像;再進行拉普拉斯金字塔逆變換，得到融合圖像。該方法有效地解決了多聚焦圖像局部不清晰的問題，有利于雙目視覺立體成像。

關鍵詞： 多聚焦圖像; 圖像融合; 拉普拉斯金字塔; 熵

中圖分類號：TP391? ? ? ? ? 文獻標志碼：A? ? ?文章編號：1006-8228（2019）04-18-03

Abstract： Machine vision is the basis of robot navigation. Binocular stereoscopic imaging is a common method of machine vision. In binocular stereoscopic imaging， because of the problem of focusing， there are certain differences between the generated images. This distinction has serious constraints on stereoscopic imaging. A Laplacian Pyramid fusion method for multi focus image is proposed. After multi-scale decomposition of left-right focusing images， the details of images in different frequency domains can be obtained. Then， fusion can be carried out on corresponding scales to obtain a multi-scale image after fusion. Then， inverse transform of Laplacian Pyramid can be carried out to obtain the fused image. Thus， the problem of local indistinct image in multi focus image is solved by the method， which is beneficial to binocular stereo vision imaging.

Key words： multi focus image; image fusion; Laplacian Pyramid; entropy

0 引言

多聚焦圖像融合在機器視覺領域應用非常多，是圖像處理中重要環節。多聚焦圖像是指多幅圖像（或兩幅圖像）在拍攝同一個場景的時候，由于焦距不同，產生了同一場景在不同的圖像里不同部分的模糊現象[1]。多聚焦圖像融合就是在保留圖像清晰部分的同時通過圖像處理解決圖像中的模糊部分。圖像經過融合整體質量得到提升，利用圖像的分析和后處理，這在圖像拼接、立體視覺效果等圖像處理領域都有著重要的作用[2-4]。

圖像的融合分為像素級融合、決策級融合、特征級融合，目前利用較多的還是像素級的融合，這是因為像素級融合能夠提供較為可靠的模型，而且精度高、融合效果非常理想[2]。像素級的圖像融合方法可以分為幾大類：基于數理統計的方法（如加權平均、主成分分析）、基于圖像空域變化的方法（金字塔變化的方法）、基于空域和時域的方法（小波變換等）[5]-[8]。將兩幅或多幅焦距不同的圖像進行合成融合，濾除單個圖像中的模糊部分，保留清晰部分[1]，合成質量更好的圖像，這樣圖像的利用就會提高。

1 拉普拉斯金字塔變換方法

高斯金字塔分解是拉普拉斯金字塔分解的基礎。完成圖像高斯金字塔分解之后，還需要通過內插上采樣和帶通濾波兩個步驟，就可以完成圖像拉普拉斯金字塔分解了。總結概括就是：低通濾波、降采樣、內插上采樣、帶通濾波四個過程[9-10]。

1.1 建立圖像的高斯金字塔分解

設源圖像為G0，如果使用高斯金字塔進行分解，那么G0就作為金字塔的底層，金字塔的第l層圖像Gl是[1，9]：

1.2 拉普拉斯金字塔分解與重構圖像

為了內插上采樣需要引入相應的算子Expand，第l層圖像Gl內插上采樣，即：Expand*Gl，得到放大后的圖像Gl*，這樣尺寸相同。

2 基于拉普拉斯金字塔的圖像融合方法

第一步：將兩幅原圖像融合，分別進行相應的金字塔分解。

第二步：將分解得到的圖像，針對高頻和低頻金字塔信息，分別按照設計的融合規則進行融合，本文采用絕對值高頻絕對值最大原則，低頻采用均值原則。

第三步：利用得到的融合高低頻金字塔圖像信息，進行金字塔重構，得到融合圖像。

3 實驗與分析

本文采用MATLAB軟件實現了拉普拉斯金字塔圖像融合算法，融合圖像來源于網絡上常用的多聚焦實驗圖像，具有一定的代表性;圖像格式為tif格式，圖像大小為256*256像素，分別為左對焦、右對焦圖像;從圖像上直接觀察（圖2（a），圖2（b））兩幅圖像，因為聚焦不同，因此圖像呈現的清晰度不同。

4 結束語

多聚焦圖像在人工智能與機器視覺中是非常普遍的現象，為了有效的融合圖像信息，本文提出一種基于拉普拉斯金字塔的多聚焦圖像融合方法，對比于其他幾種融合方法，得到的融合圖像質量更好。PCA方法和平均法是簡單的光譜信息的處理方法，沒有區分細節信息和背景信息，因此效果融合不好。而拉普拉斯金字塔方法是一種多尺度分解方法，將圖像的細節信息和背景信息區別開，因此在融時候具有較高的針對性，因此融合效果更好。金字塔該方法在圖像處理、模式識別、立體像對成像識別、人工智能等方面，具有較高的參考意義。

參考文獻（References）：

[1] 涂超平，肖進勝，杜康華，易本順.基于各向異性熱擴散方程的多聚焦圖像融合算法[J].電子學報，2015.43（6）：1192-1199

[2] 潘永勝，冀小平.一種新的多特征融合圖像檢索方法[J].科學技術與工程，2014.14（15）：219-223

[3] 鄧磊，李京，陳云浩，等.幾種小波融合方法在遙感影像融合中的應用與比較.遙感應用，2007.36（6）：23-27

[4] 牛穎超，周忠發，謝雅婷，崔亮.基于金字塔變換算法優化的遙感圖像融合[J].激光與光電子學進展，2017.54（1）：276-283

[5] 伊力哈木·亞爾買買提，謝麗蓉，孔軍.基于PCA變換與小波變換的遙感圖像融合方法[J].紅外與激光工程，2014.43（7）：2335-2340

[6] 朱明，孫繼剛，梁偉，郭立強.四元數曲波變換多源多聚焦彩色圖像融合[J].光學精密工程，2013.21（10）：2671-2678

[7] 劉佳，段先華，孫慶國.基于多小波的高分辨率與多光譜圖像融合[J].電子設計工程，2015.23（11）：82-86

[8] 閻昆，李心怡，王珺.結構稀疏表示與細節注入的遙感圖像融合方法[J].電子設計工程，2018，26（06）：68-71，76

[9] 羅鴻斌.基于拉普拉斯高斯金字塔的圖像融合研究[J].自動化與儀器儀表，2014.3：27-30

[10] 張闖，常建華，葛益嫻，孫冬嬌.多聚焦圖像的自適應分塊融合方法[J].科學技術與工程，2013.13（21）：6124-6128

[11] 史敏紅，高媛，秦品樂，王麗芳.基于NSST域的改進加權非負矩陣分解的圖像融合[J].科學技術與工程，2018.18（3）：268-273

[12] 夏文棟，陳德禮，任江濤，劉遠峰.多分辨率分析耦合近似稀疏表示的圖像融合算法[J].科學技術與工程，2017.17（33）：297-303