基于導(dǎo)向濾波的鬼影消除多曝光圖像融合

安世全，張 莉，瞿 中

(重慶郵電大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，重慶 400065)

0 引 言

普通數(shù)碼相機所捕獲圖像的動態(tài)范圍遠遠低于現(xiàn)實場景。為解決該問題，通過合并同一場景中不同曝光量的低動態(tài)范圍圖像序列[1,2]，實現(xiàn)高動態(tài)范圍成像。近年來，國內(nèi)外研究學(xué)者已提出了多種融合高動態(tài)范圍圖像的算法。Mertens等[3]提出將對比度、飽和度及良好曝光度作為權(quán)重值，結(jié)合拉普拉斯和高斯金字塔進行融合。Vanmali等[4]提出了一種低復(fù)雜度的融合算法，對源圖像序列加權(quán)相加。Li等[5]提出了利用空間一致性融合基礎(chǔ)層和細節(jié)層。Kinoshita等[6]提出了一種基于輸入多重曝光圖像的亮度分布自動確定程度的方法。

在現(xiàn)實場景通常是包含移動物體[7,8]。因此，如何生成動態(tài)場景的無鬼影高動態(tài)范圍圖像是近年來研究的熱點。Li等[9]提出遞歸濾波細化權(quán)重圖，并利用直方圖均衡化和中值濾波檢測運動物體。Liu等[10]提出密集尺度不變特征變換實現(xiàn)局部對比度提取和鬼影去除。Ma Kede等[11]提出圖像分塊思想實現(xiàn)多曝光圖像融合。Wang等[12]利用亮度線性地取決于曝光時間的理論實現(xiàn)檢測移動物體以進一步曝光融合。

為了有效地解決邊緣細節(jié)失真、運動物體的鬼影現(xiàn)象，首先通過差分圖像和最大類間方差作為預(yù)處理步驟；然后計算3個不同的質(zhì)量衡量因子估計權(quán)值；改進導(dǎo)向濾波，增加邊緣與非邊緣的差距，達到去噪效果；最后，利用加權(quán)平均和獲得融合圖像。

1 動態(tài)場景的鬼影消除

在本文研究中，假設(shè)圖像通過將相機放在三腳架上或使用一些注冊技術(shù)進行對齊[13，14]。傳統(tǒng)算法是選擇適度曝光的圖像選為參考圖像，并采用差分法評估運動像素點，可消除簡單運動場景中的鬼影現(xiàn)象。本文在消除簡單運動場景的鬼影現(xiàn)象的同時，對復(fù)雜場景同樣有效。

對于多曝光圖像序列為In(n=1,2,…,N，N為圖像的數(shù)目)，為消除曝光差異對檢測運動像素的影響，選擇參考圖像Iref，對待融合圖像進行直方圖匹配，如式(1)所示

(1)

(2)

并確保相鄰像素具有相似的權(quán)重，計算差分圖像Dn的類間方差最大值，排除異常值。對于每一幅差異圖像Dn，采用圖像分割被分割為兩類C1類、C2類，使得兩類像素的區(qū)分度達到最大，如式(3)、式(4)所示

(3)

(4)

當(dāng)差分圖像大于最優(yōu)分割閾值時，表示該像素處于運動狀態(tài)，否則，表示靜態(tài)。運動物體的檢測如式(5)所示

(5)

(6)

2 質(zhì)量衡量因子

圖像的細節(jié)信息主要體現(xiàn)在該圖像的結(jié)構(gòu)特征、對比度以及色彩飽和度方面。對于靜態(tài)場景中的多曝光圖像序列，通過提取圖像的局部對比度、適當(dāng)曝光度和色彩飽和度，構(gòu)造初始權(quán)值圖。

2.1 局部對比度

人類視覺系統(tǒng)對局部對比度信息的感知更加敏感。通過Scharr算子計算圖像的局部對比度。則局部對比度Cn(x,y) 如式(7)所示

(7)

其中，Gx(x,y)、Gy(x,y) 分別表示灰度圖像沿x、y方向的梯度信息。

2.2 適當(dāng)曝光度

圖像曝光度是決定圖像質(zhì)量的重要指標(biāo)。利用高斯模型對所有曝光像素點分配合理的權(quán)值，如式(8)所示

(8)

2.3 色彩飽和度

色彩飽和度是突出圖像細節(jié)的重要因素。本文通過計算每個像素點各個通道內(nèi)的標(biāo)準(zhǔn)差得到色彩飽和度Sn(x,y)，其式(9)如下所示

(9)

2.4 構(gòu)造初始權(quán)重圖

(10)

3 優(yōu)化導(dǎo)向濾波的圖像融合

3.1 傳統(tǒng)導(dǎo)向濾波

導(dǎo)向濾波是一種基于局部線性模型的邊緣保持濾波器[15]，計算時間與濾波器尺寸無關(guān)。為了輸出圖像與輸入圖像之間的差距最小，用最小二乘法擬合線性關(guān)系，式(11)如下所示

(11)

其中，ak和bk是以像素點k為中心的局部窗口ωk的線性變換系數(shù)，Pi是輸入圖像，Ii是導(dǎo)向圖像，ε是平滑系數(shù)。通過計算得到ak和bk，公式如下所示

(12)

(13)

(14)

3.2 初始權(quán)重圖細化

為減少噪聲對融合結(jié)果的影響，本文根據(jù)導(dǎo)向濾波對初始權(quán)重圖進行處理。在導(dǎo)向濾波中，ak決定最終圖像的邊緣保持程度。對于局部窗口，ak值隨著像素間的紋理差異而變化，而ε值是賦予固定的參數(shù)，使得像素點被疊加的平滑力度完全相同。雖然彌補了部分像素點的欠平滑問題，但也會導(dǎo)致過度平滑。當(dāng)邊緣像素點過度平滑時，就會發(fā)生光暈、梯度反轉(zhuǎn)現(xiàn)象。因此，在邊緣信息豐富的區(qū)域中，ak值較大，則需要較小的ε值，使得疊加平滑倍數(shù)小；在平滑區(qū)域中，ak值較小，則需要較大的ε值，使得疊加平滑倍數(shù)大。因此，本文設(shè)計了一個自適應(yīng)的加權(quán)函數(shù)，解決了不同局部窗口的紋理特性，式(15)如下所示

(15)

其中，β為區(qū)別邊緣的閾值，λ表示該圖像邊緣的限制因子。當(dāng)像素點的梯度信息大于β時，表示該像素點處于邊緣區(qū)域，否則表示處于平滑區(qū)域。改進的導(dǎo)向濾波使得邊緣與平滑的差異程度增加，避免在邊緣處模糊疊加，提高圖像質(zhì)量，具有較好的魯棒性。本文根據(jù)實驗取β=0.3，取λ=2，若λ>2時存在局部失真，若λ<2時仍有較少的光暈。將式(11)、式(12)優(yōu)化如式(16)、式(17)如下所示

(16)

(17)

根據(jù)改進的導(dǎo)向濾波細化初始權(quán)重圖，式(18)如下所示

(18)

(1)判斷像素 (x,y) 是否處于邊緣區(qū)域。

(2)當(dāng)像素 (x,y) 處于邊緣區(qū)域時，φ(x,y) 值變大，對邊緣紋理敏感，放大該像素的邊緣信息，正則項的值變小。

(3)當(dāng)像素 (x,y) 處于非邊緣區(qū)域時，φ(x,y) 值變小，對邊緣紋理不敏感，抑制該像素的邊緣信息，正則項的值變大。

3.3 加權(quán)融合

在獲得精確的權(quán)值圖后，可以從靜態(tài)圖像序列直接計算融合結(jié)果，得到最終的融合圖像F(x,y)，式(19)如下所示

(19)

4 實驗結(jié)果與分析

根據(jù)提出的算法使用各種曝光序列進行測試，其涵蓋不同類型的靜態(tài)場景和動態(tài)場景，并將本文算法與Mertens等、Vanmali等、Li等[5]、Li等[9]、Liu等、提出的算法進行比較。

4.1 靜態(tài)場景的測試與分析

在靜態(tài)場景中，本文算法與Mertens等、Vanmali等、Li等[5]3種算法進行了實驗對比。圖1(a)、圖2(a)分別為多曝光圖像序列Candle、Windows場景。圖1(b)-圖1(e)、圖2(b)-圖2(e)是Mertens等、Vanmali等、Li等[5]、本文算法的實驗結(jié)果呈現(xiàn)，并放大了局部區(qū)域。

根據(jù)實驗結(jié)果可知，Mertens等具有較好的色彩飽和度信息，但是局部對比度較低，導(dǎo)致細節(jié)不夠清晰(如圖1(b)火焰，圖2(b)的窗簾、放大區(qū)域的臺燈過亮而失去細節(jié))。Vanmali等提出的算法存在明顯的顏色退化、細節(jié)失真等現(xiàn)象(如圖1(c)的火焰周圍及玻璃杯，圖2(c)的墻壁菱角模糊)。Li等的算法采用傳統(tǒng)的導(dǎo)向濾波，存在嚴重的光暈、梯度反轉(zhuǎn)的現(xiàn)象(如圖1(d)的墻壁區(qū)域及桌子區(qū)域出現(xiàn)大量的光暈，圖2(d)的墻壁及窗戶簾子上出現(xiàn)大面積的光暈、放大區(qū)域的臺燈暗沉有光暈)。本文算法的實驗結(jié)果呈現(xiàn)了較豐富的細節(jié)信息和較鮮艷的色彩信息(如圖1(e)燃燒著火苗)，同時消除了光暈的現(xiàn)象。

圖1 Candle場景實驗結(jié)果對比

圖2 Windows場景實驗結(jié)果對比

4.2 動態(tài)場景的測試與分析

圖3(a)、圖4(a)、圖5(a)分別為多曝光圖像序列Arch、SculptureGarden、Horse場景。圖3(b)-圖3(e)、圖4(b)-圖4(e)是Mertens等、Li等[9]、Liu等、本文算法的實驗結(jié)果呈現(xiàn)，并放大了局部區(qū)域。圖5(b)-圖5(e)是 Mertens等、Li等[9]、Liu等、本文算法的融合圖像進行比較。

由實驗結(jié)果得出，Mertens等提出的算法雖具有較好的表現(xiàn)力，卻產(chǎn)生了嚴重大面積的鬼影(如圖3(b)、圖4(b)的行人，圖5(b)的馬頭)，并出現(xiàn)顏色失真(如圖4(b)的背景色彩飽和度不夠)。Li等提出的算法在很大程度上去除了鬼影現(xiàn)象，但是對于復(fù)雜的運動場景中仍包含一些微弱的鬼影(如圖4(c)的行人，圖5(c)的馬頭)，并且對比度不夠清晰(如圖3(c)的柱子、圖5(c)的墻壁色調(diào)偏暗)。Liu等提出的算法雖然具有良好的對比度，但是沒有將鬼影完全消除干凈(如圖3(d)遠處拱形區(qū)域出現(xiàn)模糊的人影，圖4(d)的行人，圖5(d)的馬頭)，色彩整體偏暗淡(如圖3(d)的吊燈部分區(qū)域、遠處草木區(qū)域及柱子區(qū)域，圖4(d)的天空，圖5(d)的墻壁)。本文提出的算法能有效去除鬼影，在避免光暈現(xiàn)象的同時保留較豐富的場景信息。

圖3 Arch場景實驗結(jié)果對比

圖4 SculptureGarden場景實驗結(jié)果對比

圖5 Horse場景實驗結(jié)果對比

4.3 客觀評價

本文采用邊緣相似性 (QAB/F)[16]、圖像清晰度，客觀地評估不同融合算法的性能。QAB/F是衡量兩幅圖像的邊緣特征相似性。當(dāng)圖像相似性越大時，QAB/F值越接近于1.0。圖像清晰度則是利用平均梯度進行描述，平均梯度與圖像清晰度呈正相關(guān)，平均梯度越大，細節(jié)越多。

本文評估了4組靜態(tài)場景和4組動態(tài)場景的圖像序列，分別通過計算QAB/F、圖像清晰度評價指標(biāo)將本文算法與靜態(tài)場景算法、動態(tài)場景算法進行比較，評價結(jié)果見表1、表2。從測試數(shù)據(jù)可知，與傳統(tǒng)算法對比，本文算法具有較好的客觀結(jié)果與圖像質(zhì)量(表1和表2中的粗體值代表每行的最佳值)。

表1 QAB/F的評價結(jié)果

表2 圖像清晰度的評價結(jié)果

4.4 運行效率

表3表示8組圖像3種關(guān)于動態(tài)場景算法的運行時間比較結(jié)果。該計算機的處理器為i5-3230M，主頻為2.60 GHz，內(nèi)存為4.0 GB。在比較結(jié)果可以得出，本文算法的運行時間均低于其它算法，運行效率高于其它算法(表3中的粗體值代表每行的最佳值)。

表3 運行時間比較

5 結(jié)束語

本文提出了一種基于導(dǎo)向濾波的無鬼影曝光融合算法，有效消除復(fù)雜場景中的鬼影現(xiàn)象，并減少光暈的同時保留細節(jié)。首先，通過參考圖像與其它圖像匹配，使能夠保留更多圖像細節(jié)，尤其對于曝光量有嚴重偏差的區(qū)域。其次，為了進一步抑制融合中異常值，利用最大類間方差進行運動檢測。然后，使用質(zhì)量衡量因子(局部對比度、適當(dāng)曝光度和色彩飽和度)來計算權(quán)重圖。最后，為了提高準(zhǔn)確性和消除導(dǎo)向濾波產(chǎn)生的光暈現(xiàn)象，使用改進的導(dǎo)向濾波對其細化，對區(qū)域的紋理差異實現(xiàn)自適應(yīng)。從主觀視覺與客觀評價進行分析，實驗結(jié)果表明本文算法無論在動態(tài)場景還是靜態(tài)場景均具有較好的效果。