基于圖像摳圖技術(shù)的多聚焦圖像融合方法

張盛林 易本順 李衛(wèi)中 劉紅玉

摘要：針對多聚焦圖像融合容易出現(xiàn)信息丟失、塊效應(yīng)明顯等問題，提出了一種新的基于圖像摳圖技術(shù)的多聚焦圖像融合算法。首先，通過聚焦檢測獲得源圖像的聚焦信息，并根據(jù)所有源圖像的聚焦信息生成融合圖像的三分圖，即前景、背景和未知區(qū)域；然后，利用圖像摳圖技術(shù)，根據(jù)三分圖獲得每一幅源圖像的精確聚焦區(qū)域；最后，將這些聚焦區(qū)域結(jié)合起來構(gòu)成融合圖像的前景和背景，并根據(jù)摳圖算法得到的確定前景、背景對未知區(qū)域進行最優(yōu)融合，增強融合圖像前景、背景與未知區(qū)域相鄰像素之間的聯(lián)系，實現(xiàn)圖像融合。實驗結(jié)果表明，與傳統(tǒng)算法相比，所提算法在客觀評價方面能獲得更高的互信息量（MI）和邊緣保持度，在主觀評價方面能有效抑制塊明顯效應(yīng)，得到更優(yōu)的視覺效果。該算法可以應(yīng)用到目標識別、計算機視覺等領(lǐng)域，以期得到更優(yōu)的融合效果。

關(guān)鍵詞：

多聚焦圖像；聚焦信息；三分圖；圖像摳圖；圖像融合

中圖分類號： TP391.413 文獻標志碼：A

0引言

攝像機單一傳感器不能聚焦所有的目標，因此，在對同一場景中不同物體成像時，攝像機無法獲得場景中所有物體都清晰的圖像。多聚焦圖像融合技術(shù)能將多幅圖像融合成為一幅圖像，并提供更完整、更精確和可靠的信息，以便于人的觀察或機器的后續(xù)處理。多圖像融合算法在遙感圖像處理、機器視覺等領(lǐng)域中獲得了越來越多的應(yīng)用[1-2]。

目前，針對多聚焦圖像融合算法的研究，主要分為變換域融合和空間域融合兩大類。現(xiàn)有的變換域融合算法大多基于多尺度變換，包括以下3個步驟：首先，將源圖像經(jīng)過變換得到相應(yīng)的變換系數(shù)；然后，根據(jù)給定的融合規(guī)則合并變換系數(shù)；最后，對融合系數(shù)進行逆變換構(gòu)造，得到融合圖像。常用的變換域方法包括拉普拉斯金字塔（Laplacian Pyramid， LP）變換[3]、離散小波變換（Discrete Wavelet Transform， DWT）[4]、雙樹復(fù)小波變換（DualTree Complex WT， DTCWT）[5]、曲線波變換（Curvelet Transform）[6]、非下采樣輪廓波變換（NonsubSampled Contourlet Transform， NSCT）[7]、剪切波變換（Shearlet Transform）[8]和稀疏表示（Sparse Representation， SR）[9]等。因為變換域存在不同程度的分解，所以在融合過程中會因為融合系數(shù)的不同而存在信息丟失，導(dǎo)致融合圖像表達信息的不完整。而基于空間域的融合方法，是利用一定的方法找到源圖像各自的聚焦像素或區(qū)域，然后直接選取這些不同的像素或區(qū)域構(gòu)成融合圖像。常用的基于空間域的方法加權(quán)平均法（Average）、主成分分析法（Principal Component Analysis， PCA）、圖像形態(tài)學(xué)（Morphology， M）、清晰度評價函數(shù)等[10]，但是，在不同場景中，由于相機運動或物體運動，可能造成同一場景包含不同的內(nèi)容，致使不能準確判斷一個像素或區(qū)域是否模糊。此外，源圖像變得復(fù)雜時，傳統(tǒng)的基于像素或區(qū)域的方法不能得到非常準確的融合結(jié)果。

摳圖技術(shù)因電影工業(yè)的需求而產(chǎn)生，其目的是將前景從背景中分離出來，以便將分離出來的前景注入到新的背景中，生成期望的圖像或視頻，達到完美的視覺效果。從早期簡單的光學(xué)摳圖到如今利用計算機技術(shù)的數(shù)字摳圖，摳圖技術(shù)獲得了巨大發(fā)展和進步。目前，摳圖技術(shù)日趨成熟，可以從任何圖像或視頻中提取出任意形狀的前景對象[11]。

針對變換域融合存在信息丟失和空間域融合不能得到復(fù)雜圖像的準確融合結(jié)果的缺點，本文提出了一種新的基于圖像摳圖技術(shù)的多聚焦圖像融合算法。首先，通過聚焦檢測獲得源圖像的聚焦信息；然后，根據(jù)聚焦信息，利用摳圖技術(shù)獲得對應(yīng)源圖像的聚焦區(qū)域，增強了圖像的聚焦區(qū)域和相鄰像素之間的聯(lián)系，有效解決相同場景中包含不同內(nèi)容的多聚焦圖像融合問題；最后，將所有的聚焦區(qū)域進行融合，構(gòu)成融合圖像。此外，在圖像內(nèi)容變得復(fù)雜時，傳統(tǒng)的融合方法達不到性能最優(yōu)，而摳圖技術(shù)能夠準確地找到源圖像的前景輪廓，得到非常精確的融合結(jié)果。理論分析和實驗結(jié)果表明，與傳統(tǒng)的方法相比，本文算法的融合結(jié)果在融合圖像的細節(jié)、輪廓處更令人滿意。

1圖像摳圖

根據(jù)用戶需求，圖像摳圖技術(shù)把一幅圖像準確區(qū)分為前景部分和背景部分。在圖像摳圖模型中，觀察到的圖像I（x，y）可以被看作是前景F和背景B的組合：

C=αF+（1-α）B（1）

其中：α為不透明度，α為0或1時即為簡單的前景和背景的圖像分割[12]。摳圖技術(shù)的關(guān)鍵在于找到準確的α值，以將前景從背景中分離出來。由式（1）知，得到準確的融合圖像需要確定的前景和背景，因此，大多情況下，除了源圖像外，還需要用戶提供一個三分圖（trimap）。圖1為一幅圖像及其對應(yīng)的trimap，圖1（b）中原圖被分成3個區(qū)域：前景、背景和未知區(qū)域，其中：“樹”為前景F，灰色線條部分是未知區(qū)域，其余是背景B。

目前，常用的摳圖方法有基于采樣的貝葉斯摳圖（Bayes Matting）、基于傳播的泊松摳圖（Poisson Matting）和基于采樣傳播相結(jié)合魯棒摳圖（Robust Matting）[13]。貝葉斯摳圖是根據(jù)輸入的trimap，從前景邊界和背景邊界逐漸向未知區(qū)域進行顏色采樣，當前景樣本對和背景樣本對達到足夠量時，利用貝葉斯原理估計出未知區(qū)域中每一個像素點的前景顏色值、背景顏色值和透明度α值，最終完成摳圖；泊松摳圖是假設(shè)圖像的未知區(qū)域是平滑的，從邊界開始將未知區(qū)域的像素點劃分到前景區(qū)域和背景區(qū)域中，然后通過公式C=αF+（1-α）B進行梯度運算構(gòu)造偏微分方程求α值，之后迭代計算直至未知區(qū)域劃分完成；魯棒摳圖是根據(jù)輸入的trimap，稀疏采樣確定前景區(qū)域和背景區(qū)域的邊界樣本點，然后定義距離比率進行樣本估計，得到樣本對的初始α值，最后優(yōu)化α值完成摳圖。由基于采樣方法和基于傳播方法的原理可知，基于傳播的方法在梯度和連通性上要優(yōu)于基于采樣的方法，但在非平滑圖像上效果不佳。基于采樣和傳播相結(jié)合的方法克服了基于采樣和基于傳播的缺點，因此，無論是對于一般自然圖像還是復(fù)雜的前景圖像，魯棒摳圖的綜合性能都較為優(yōu)越，穩(wěn)定性更好[11]，所以，本文將通過魯棒摳圖算法計算融合圖像的α值。首先，在采樣階段，根據(jù)給定trimap對每一對的前景和背景進行采樣預(yù)估；然后通過選擇采樣預(yù)估系數(shù)判斷一對前景和背景能否作為樣本，并通過式（1）粗略估計初始的α值；最后，構(gòu)造最小化能量函數(shù)[14]求最優(yōu)解，相應(yīng)公式如下：

多聚焦圖像融合可看成是多幅圖像聚焦區(qū)域的組合，而摳圖技術(shù)即是根據(jù)給定的trimap提取圖像前景（聚焦區(qū)域）并將其融入到新的背景中。由于同一場景的多聚焦圖像的聚焦區(qū)域不同，如果將多聚焦圖像進行圖像區(qū)域分割成聚焦區(qū)域和散焦區(qū)域，那么所有源圖像的區(qū)域分割圖（以兩幅圖為例）可組成聯(lián)合區(qū)域分割圖，即包含不同圖像的聚焦區(qū)域以及聚焦區(qū)域之間的過渡區(qū)域，這樣就實現(xiàn)了trimap的自動生成，進而實現(xiàn)了摳圖技術(shù)在多聚焦融合的應(yīng)用。

2基于圖像摳圖的圖像融合

圖2所示為本文算法的圖像融合過程。首先，由聚焦檢測估計出每個源圖像的聚焦信息；然后，將所有圖像的聚焦信息組合得到相應(yīng)源圖像的trimap，即融合圖像的前景F、背景B和未知區(qū)域；最后，根據(jù)trimap，通過圖像摳圖技術(shù)，獲得相應(yīng)的源圖像精確聚焦區(qū)域，并將這些聚焦區(qū)域組合在一起形成融合圖像。

2.1聚焦檢測

2.2圖像區(qū)域分割

圖像區(qū)域分割即根據(jù)聚焦檢測獲得的聚焦信息構(gòu)建源圖像的trimap。具體步驟是：首先根據(jù)所有圖像的聚焦區(qū)域的灰度圖進行相似性檢測和聚焦比較；然后將灰度圖中的聚焦區(qū)域經(jīng)過處理，獲得確定的聚焦區(qū)域和散焦區(qū)域；最終將聚焦區(qū)域和散焦區(qū)域分別定義為源圖像的前景F和背景B，聚焦區(qū)域和散焦區(qū)域之間的過渡區(qū)域定義為未知區(qū)域，共同構(gòu)成源圖像的trimap。圖3為圖像分割過程的示意圖。

由以上的圖像區(qū)域分割過程可知，對于任何一幅多聚焦圖像，其圖像的trimap與另一幅圖像的trimap的前景和背景是相反的。以兩幅圖像為例，則T1的前景是T2的背景，T2的前景是T1的背景，但在實際摳圖過程中，因摳圖算法對trimap的定義不變（灰度亮區(qū)域代表前景，暗區(qū)域代表背景，灰色區(qū)域代表未知區(qū)域），所以在處理過程中不同源圖像需要與其對應(yīng)的trimap，而實際上融合圖像的trimap與源圖像的trimap相同，都是由聚焦區(qū)域及聚焦區(qū)域之間的過渡區(qū)域組成。

2.3圖像摳圖和融合

圖像融合技術(shù)的最后階段是結(jié)合所有源圖像的聚焦區(qū)域來構(gòu)建融合圖像。為了獲得每個源圖像的聚焦區(qū)域，取圖像區(qū)域分割階段獲得的trimap Tn作為輸入，用魯棒摳圖算法獲得源圖像的In融合參數(shù)α值。首先，對于未知區(qū)域的每個像素點，魯棒摳圖算法從確定聚焦區(qū)域和確定散焦區(qū)域的邊界處挑選出少量采樣點；然后，基于未知像素和確定區(qū)域與非確定區(qū)域采樣點之間的顏色相似性，估計未知像素的初始α值；最后，根據(jù)最小能量公式（式（2））計算出準確的α值。圖4為圖像摳圖和融合過程。

如圖4所示，α=0或1時，源圖像的點（x，y）是聚焦點或散焦點。如果α在（0，1）內(nèi)，則這些像素點是聚焦點和散焦點的混合點（如圖4（a）中的灰色區(qū)域所示）。因為混合像素的數(shù)量少，它們通常位于聚焦和散焦之間的過渡區(qū)域，所以不會降低融合圖像的全局性能。兩張源圖像中，源圖像I2的聚焦區(qū)域可以計算為1-α，因此，融合圖像可以計算為：

3實驗結(jié)果與分析

為了驗證本文算法的性能，進行了多組仿真實驗，并且從客觀測試指標數(shù)據(jù)和主觀視覺效果上與主成分分析法（PCA）、圖像形態(tài)學(xué)（M）、雙樹復(fù)小波變換（DTCWT）、非下采樣輪廓波變換（NSCT）進行對比。本文選用tree、book、clock三組分別聚焦前景和背景的圖進行多聚焦圖像的融合。

3.1客觀評價

對于各個方法的客觀評價，本文選取互信息量（Mutual Information， MI）[17]、邊緣保持度QXY/F[18]和空間結(jié)構(gòu)相似度（Structural Similarity Index Measurement， SSIM）[19]來評價實驗結(jié)果。MI可以衡量融合圖像包含源圖像的像素信息量；QXY/F可以衡量融合圖像包含源圖像的邊緣信息量；SSIM可衡量兩幅圖像結(jié)構(gòu)相似度的指標。3個指標值越大說明融合圖像越清晰，該方法融合性能越好。

由表1可以看出，由于直接提取了源圖像中清晰區(qū)域的像素點，保留了源圖像中較多的邊緣、輪廓等結(jié)構(gòu)化信息，本文算法的互信息MI和空間結(jié)構(gòu)相似度信息QXY/F都是所測算法中最高的。因為SSIM的測試結(jié)果與選取的參考圖像相關(guān)，所以本文算法存在部分性能偏差，但與對比算法中最大值相比，本文算法的值是可接受的。

3.2主觀評價

圖5為本文算法最終效果同其他算法主觀效果的對比。

由圖5可以看出，由于相機運動或存在運動目標而導(dǎo)致相同場景存在不同內(nèi)容的測試源圖像（tree），PCA算法、M算法、DTCWT算法、NSCT算法在教堂頂部和車輛部分存在重影和色彩偏淡情況，且M算法存在較嚴重模糊塊，本文算法圖像清晰，繼承了所有重要信息；對于標準測試源的彩色圖（book），M算法的邊緣有較明顯塊的效應(yīng)，PCA算法、DTCWT算法和NSCT算法都有不同程度的邊緣模糊，本文算法邊緣和輪廓清晰；對于標準測試源的灰度圖（clock），PCA算法整體清晰度下降，M算法和DTCWT存在明顯虛假邊緣，NSCT算法整體清晰度偏暗，本文算法無虛假邊緣，清晰度正常。

為了評估提出方法的時間效率，對測試圖片在幾種不同融合算法的耗時情況進行了分析比較。本文實驗在Matlab R2012a平臺上實現(xiàn)，計算機硬件參數(shù)是：core i32120、3.3GHz CPU+4GB RAM。幾種測試方法所耗的平均時間列于表2。由表2可見，本文方法耗時相對較長。

由以上結(jié)果可知，由于存在部分信息丟失的問題，傳統(tǒng)變換域融合和空間域融合得到的圖像與原圖像清晰度有較大的差異。本文算法利用摳圖技術(shù)，增強了相鄰像素之間的相關(guān)性，使得融合后的圖像的輪廓和邊緣都很清晰，主觀效果最佳。綜合評價來看，相比傳統(tǒng)算法，本文算法在主觀客觀指標和視覺效果上，都能獲得更優(yōu)的融合結(jié)果。

4結(jié)語

本文提出了一種新的基于圖像摳圖技術(shù)的多聚焦圖像融合方法。不同于以前的基于變換域和空間域融合方法，本文算法使用聚焦檢測將需要融合的聚焦區(qū)域通過圖像摳圖技術(shù)提取出來，然后結(jié)合所有的聚焦區(qū)域構(gòu)建融合圖像。由于能夠充分利用相鄰像素之間的相關(guān)性，與傳統(tǒng)的融合方法相比，本文算法能夠得到邊緣和輪廓清晰的融合圖像；同時客觀指標也有所提升。

雖然本文取得了較好的結(jié)果，但算法融合結(jié)果的準確性直接依賴于聚焦信息檢測的準確性，因此，性能更好、適用面更廣的（如X成像、紅外成像等）聚焦檢測算法是進一步研究的方向。

參考文獻：

[1]

張亞秋.多聚焦圖像融合算法研究[D].重慶：重慶大學(xué)，2014：8-9.（ZHANG Y Q. Research on multifocus image fusion [D]. Chongqing： Chongqing University， 2014： 8-9）

[2]

歐陽寧，鄒寧，張彤，等.基于非下采樣Shearlet變換與聚焦區(qū)域檢測的多聚焦圖像融合算法[J].計算機應(yīng)用，2015，35（2）：490-494.（OUYANG N， ZOU N， ZHANG T， et al. Multifocus image fusion algorithm based on nonsubsampled Shearlet transform and focused regions detection [J]. Journal of Computer Applications， 2015， 35（2）： 490-494.）

[3]

WANG W， CHANG F. A multifocus image fusion method based on Laplacian pyramid [J]. Journal of Computers， 2011， 6（12）： 2559-2566.

[4]

PAJARES G， DE LA CRUZ J M. A waveletbased image fusion tutorial [J]. Pattern Recognition， 2004， 37（9）： 1855-1872.

[5]

范艷玲，楊明.基于雙樹復(fù)小波變換的多聚焦圖像融合[J].核電子學(xué)與探測技術(shù)，2014，34（2）：204-207.（FAN Y L， YANG M. Multifocus image fusion based on dualtree complex wavelet transform [J]. Nuclear Electronics and Detection Technology， 2014， 34（2）： 204-207.）

[6]

馬苗，萬仁遠，尹義龍.基于相似性灰關(guān)聯(lián)的Curvelet域多聚焦圖像融合[J].電子學(xué)報，2012，40（10）：1984-1988.（MA M， WAN R Y， YIN Y L. Multifocus image fusion based on grey relation of similarity in curvelet domain [J]. Acta Electronica Sinica， 2012， 40（10）： 1984-1988.）

[7]

LI H， CHAI Y， LI Z. Multifocus image fusion based on nonsubsampled contourlet transform and focused regions detection [J]. Optik—International Journal for Light and Electron Optics， 2013， 124（1）： 40-51.

[8]

石智，張卓，岳彥剛.基于Shearlet變換的自適應(yīng)圖像融合算法[J].光子學(xué)報，2013，42（1）：115-120.（SHI Z， ZHANG Z， YUE Y G. Adaptive image fusion algorithm based on Sheartlet transform [J]. Acta Photonica Sinica， 2013， 42（1）： 115-120）

[9]

彭真明，景亮，何艷敏，等.基于多尺度稀疏字典的多聚焦圖像超分辨融合[J].光學(xué)精密工程，2014，22（1）：169-176.（PENG Z M， JING L， HE Y M， et al. Superresolution fusion multifocus image based on multiscale sparse dictionary [J]. Optics and Precision Engineering， 2014， 22（1）： 169-176.）

[10]

逄浩辰，朱明，郭立強.彩色圖像融合客觀評價指標[D].北京：中國科學(xué)院大學(xué)，2014：14-23.（PANG H C， ZHU M， GUO L Q. Objective color image fusion performance index [D]. Beijing： University of Chinese Academy of Sciences， 2014： 14-23.）

[11]

李卓婷.三種典型數(shù)字圖像摳圖方法的比較[D].廣州：華南理工大學(xué)，2013：49-51.（LI Z T. Applications of quaternion in skeleton skin technology [D]. Guangzhou： South China University of Technology， 2013： 49-51）

[12]

PORTER T， DUFF T. Compositing digital images [J]. ACM SIGGRAPH Computer Graphics， 1984， 18（3）： 253-259.

[13]

GRADY L. Random walks for image segmentation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2006， 28（11）： 1768-1783.

[14]

WANG J， COHEN M F. Optimized color sampling for robust matting [C]// CVPR07： Proceedings of the 2007 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2007： 1-8.

[15]

HUANG W， JING Z. Evaluation of focus measures in multifocus image fusion [J]. Pattern Recognition Letters， 2007， 28（4）： 493-500.

[16]

左雷，王煒，張鑫.基于像素鄰域SML的多焦距圖像融合方法[J].微計算機信息，2010，26（35）：221-222.（ZUO L， WANG W， ZHANG X. Enhanced multifocus image fusion based on sum modified Laplacian in pixel neighborhood [J]. Microcomputer Information， 2010， 26（35）： 221-222.）

[17]

QU G， ZHANG D， YAN P. Information measure for performance of image fusion [J]. Electronics Letters， 2002， 38（7）： 313-315.

[18]

PETROVI V， XYDEAS C. Objective evaluation of signallevel image fusion performance [J]. Optical Engineering， 2005， 44（8）： 0870031-0870038.

[19]

WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity [J]. IEEE Transactions on Image Processing， 2004， 13（4）： 600-612.