基于加權(quán)灰度熵差的分區(qū)域曝光算法

胡曉彤 劉 楠 朱博文

(天津科技大學(xué)計(jì)算機(jī)科學(xué)與信息工程學(xué)院 天津 300457)

0 引 言

曝光算法是一種依據(jù)曝光控制參數(shù)對曝光時(shí)間進(jìn)行調(diào)整的算法，利用曝光算法可使不同場景下的圖像得到合適的曝光，有利于后續(xù)圖像分析。曝光算法在高清攝像機(jī)[1-3]、實(shí)時(shí)視頻記錄[4]、智能手機(jī)[5]、火焰圖形分析[6]、航空航天[7]、無人駕駛[8]、醫(yī)學(xué)[9]、圖像融合[10-14]等領(lǐng)域已得到了廣泛的使用。

目前，相關(guān)學(xué)者已對曝光算法展開了深入的研究。Goossen等[15]提出的灰度平均值法是根據(jù)圖像灰度平均值的大小調(diào)節(jié)曝光時(shí)間使圖像亮度適中的曝光算法。Rahman等[16]提出的信息熵法是根據(jù)圖像的信息熵計(jì)算曝光時(shí)間。甘玉泉等[17]提出的圖像分區(qū)法在不同類型場景下使用特定的調(diào)光來達(dá)到最佳曝光效果。戈志偉[18]提出的基于數(shù)值分析的調(diào)光方法是通過實(shí)驗(yàn)得到一組曝光參數(shù)與圖像亮度的關(guān)系，運(yùn)用數(shù)值分析尋找方程根，從而計(jì)算出最佳的曝光參數(shù)值。Shimizu等[19]提出的曝光算法引用HIST參數(shù)，使用模糊邏輯來計(jì)算曝光量。Su等[20]將亮度特性作為控制參數(shù)，將其建模為凹函數(shù)或凸函數(shù)，使用改進(jìn)割線算法計(jì)算最優(yōu)曝光參數(shù)。解靜等[7]提出的以能量分析為基礎(chǔ)，對目標(biāo)進(jìn)行加權(quán)統(tǒng)計(jì)，并采用最速查表法獲得最佳曝光時(shí)間的算法已成功應(yīng)用在空間照相機(jī)上。馬澤龍等[21]提出了一種基于圖像直方圖特征函數(shù)的自動(dòng)曝光方法，可在背景亮度變化快、變化范圍大的情況下實(shí)現(xiàn)高速相機(jī)的自動(dòng)曝光控制。

上述曝光算法在消費(fèi)級相機(jī)中已有較好的應(yīng)用，但在監(jiān)控場景下(如強(qiáng)烈側(cè)光或背光的環(huán)境)仍存在不能適應(yīng)背光或正面強(qiáng)光等復(fù)雜光照環(huán)境的缺陷。灰度平均值法[15]認(rèn)為圖像的平均灰度值為灰度級中位數(shù)時(shí)曝光效果最佳，但這會(huì)把原本過亮或過暗場景的亮度調(diào)整至灰度級中位數(shù)時(shí)的亮度，使圖像失去原有特點(diǎn)。信息熵法[16]使用圖像信息熵的最大值作為最終收斂結(jié)果，在一定程度上彌補(bǔ)了灰度平均值法的缺點(diǎn)，但其在強(qiáng)光條件下仍得不到合適的曝光。圖像分區(qū)法[17]按一定策略將圖像分為多個(gè)區(qū)域，使其對不同場景的處理更具有針對性，但當(dāng)對比度反差較大時(shí)也使用同一曝光參數(shù)，會(huì)使局部圖像無法得到符合其特征的曝光。

為解決上述問題，本文提出基于加權(quán)灰度熵差的分區(qū)域曝光算法(WDGE)。首先，估算曝光時(shí)間得到基準(zhǔn)圖像；再依據(jù)加權(quán)灰度熵差對該圖像進(jìn)行區(qū)域分割并計(jì)算出各子區(qū)域的最佳曝光時(shí)間；最后將各子區(qū)域拼接，實(shí)現(xiàn)分區(qū)域成像。

1 傳統(tǒng)曝光算法

傳統(tǒng)的曝光算法一般選取圖像的灰度平均值或信息熵作為曝光控制參數(shù)。

灰度平均值法是根據(jù)圖像灰度平均值的大小調(diào)節(jié)曝光時(shí)間使圖像亮度適中的曝光算法。灰度平均值計(jì)算公式如下:

(1)

式中：Gmean為圖像灰度平均值；G(i,j)為圖像第i行第j列像素的灰度值；l與c分別代表圖像像素陣列的總行數(shù)與總列數(shù)。灰度平均值法一般將灰度級的中位數(shù)所對應(yīng)的曝光時(shí)間作為最終結(jié)果，即圖像的灰度平均值越接近中位數(shù)，圖像細(xì)節(jié)描述得越清晰，曝光效果越好。灰度平均值與曝光時(shí)間映射關(guān)系如圖1所示。

圖1 灰度平均值與曝光時(shí)間映射關(guān)系

可以看出，灰度平均值隨曝光時(shí)間增大呈單調(diào)遞增趨勢。但在亮度較低或亮度較高的場景下，最終曝光結(jié)果都定位至灰度級的中位數(shù)所對應(yīng)的曝光時(shí)間則不能得到實(shí)際場景的曝光效果。

另一方面，熵作為圖像所具有的信息量的量度[22],信息熵越大，圖像質(zhì)量越好[23]。因此，信息熵法則利用圖像的信息熵(Entropy)作為反饋量來調(diào)節(jié)曝光時(shí)間，完成曝光評價(jià)。信息熵的計(jì)算公式如下：

(2)

式中：k表示圖像的灰度級數(shù)；Pi為各灰度級出現(xiàn)的概率。由式(2)可知，當(dāng)所有的灰度分布均勻時(shí)，信息熵最大。此時(shí)，各個(gè)灰度級出現(xiàn)概率相同，即：

(3)

此時(shí)對應(yīng)的最大信息熵為：

(4)

信息熵與曝光時(shí)間映射關(guān)系如圖2所示。

圖2 信息熵與曝光時(shí)間映射關(guān)系

2 加權(quán)灰度熵差

灰度平均值描述的是整幅圖像的灰度平均值，當(dāng)灰度平均值越接近中位數(shù)時(shí)，曝光效果越好；信息熵描述的是整幅圖像中各灰度值分布的概率，信息熵越大，曝光效果越好。因此，本文將灰度平均值與信息熵結(jié)合，提出一種新的曝光控制參數(shù)，該參數(shù)融合了灰度平均值與信息熵兩者的優(yōu)勢。

信息熵越大，曝光效果越好，故將信息熵單獨(dú)作為一項(xiàng)，即：

(5)

式中：UE為歸一化的信息熵；E為圖像信息熵；d為圖像深度。

灰度平均值越接近中位數(shù)時(shí)，曝光效果越好，故將灰度平均值與灰度級中位數(shù)的差值作為一項(xiàng)，即：

(6)

式中：UG為歸一化的灰度平均值與灰度級中位數(shù)差值；Gmean為灰度平均值；Gmedian為灰度級中位數(shù)；d為圖像深度。

融合UE和UG選取兩種方式進(jìn)行討論，分別是求和與作差，即：

US=α×UE+(1-α)×UG

(7)

UD=α×UE-(1-α)×UG

(8)

式中：US和UD分別為UE和UG求和與作差的結(jié)果；加入權(quán)重值α，對在不同場景下的UE和UG合理分配比重，從而得到最佳效果。

US和UD與曝光時(shí)間的映射關(guān)系分別如圖3和圖4所示。

圖3 US 與曝光時(shí)間映射關(guān)系

圖4 UD與曝光時(shí)間映射關(guān)系

由圖1和圖2可知，信息熵、灰度平均值與灰度級中位數(shù)的差值兩個(gè)參數(shù)與曝光時(shí)間的映射關(guān)系分別收斂于(0，Emax)、(0，Gmedian)，則兩項(xiàng)相減結(jié)果必定收斂。由圖3和圖4可知，UD相較于US，UD只存在一個(gè)極大值，可將極大值作為最終曝光結(jié)果。

綜上，選取UD作為新的曝光控制參數(shù)——加權(quán)灰度熵差，既滿足了信息熵越大、灰度平均值越接近中位數(shù)，曝光效果越好的規(guī)律，又保證了算法的自適應(yīng)性。最終，加權(quán)灰度熵差的計(jì)算公式為：

|Gmean-Gmedian|

(9)

求得加權(quán)灰度熵差與曝光時(shí)間映射關(guān)系后使用二分法遞歸求得最佳曝光時(shí)間Xn+1，公式如下：

(10)

X0、X1為給定的兩個(gè)初始曝光時(shí)間點(diǎn)。

與單獨(dú)使用灰度平均值或信息熵作為曝光控制參數(shù)的傳統(tǒng)方法相比，本文提出的加權(quán)灰度熵差融合了灰度平均值與信息熵，選取極大值作為最終結(jié)果在保證了算法自適應(yīng)性的同時(shí)，將圖像灰度均值與各灰度值出現(xiàn)的概率分布融合在一起，增強(qiáng)了對圖像的描述能力。

3 分區(qū)域曝光算法設(shè)計(jì)

在景物對比度差異較大的復(fù)雜場景下，使用統(tǒng)一的曝光時(shí)間，部分景物會(huì)出現(xiàn)過度曝光或欠缺曝光的情況。文獻(xiàn)[17]使用的分區(qū)曝光算法是將整幅圖像人為分成不同的區(qū)域，并對各個(gè)區(qū)域賦予不同權(quán)值，最終求得一個(gè)加權(quán)后統(tǒng)一的曝光結(jié)果。這種方法無法將圖像中所有細(xì)節(jié)都調(diào)整至相對于其子區(qū)域來說最佳的曝光效果。而本文提出的區(qū)域分割策略是將場景分為不同感光特性的多個(gè)子區(qū)域，然后計(jì)算每個(gè)區(qū)域的最佳曝光時(shí)間，從而使整幅圖像得到適宜的曝光，避免出現(xiàn)過度曝光或欠缺曝光的情況。

本文提出的基于加權(quán)灰度熵差的分區(qū)域曝光算法的基本思想如下：先對圖像進(jìn)行曝光時(shí)間估算，將其調(diào)整至一個(gè)相對合適的曝光時(shí)間。在此基礎(chǔ)上根據(jù)圖像的加權(quán)灰度熵差和預(yù)設(shè)閾值確定過曝光區(qū)域和欠曝光區(qū)域。然后，計(jì)算不同區(qū)域的加權(quán)灰度熵差值，再根據(jù)其與曝光時(shí)間的映射關(guān)系使用二分法求得曝光時(shí)間,最后將經(jīng)過曝光調(diào)整的過曝光區(qū)域和欠曝光區(qū)域與正常曝光的子區(qū)域拼接，從而得到最終的曝光圖像。

在成像過程中，曝光時(shí)間的初始值設(shè)置非常重要。在一些高反差的復(fù)雜場景下，初值的確定會(huì)影響最終成像效果。所以本文在區(qū)域分割前對圖像進(jìn)行曝光時(shí)間估算，即計(jì)算得到基準(zhǔn)曝光時(shí)間，把該曝光時(shí)間下的圖像作為基準(zhǔn)圖像。

首先要確立基準(zhǔn)圖像的加權(quán)灰度熵差，公式如下：

U=tm×um+tl×ul+th×uh

(11)

tm+tl+th=1

(12)

式中：U為基準(zhǔn)圖像的加權(quán)灰度熵差；um為原始圖像的加權(quán)灰度熵差；ul為低于um的區(qū)域的加權(quán)灰度熵差；uh為高于um的區(qū)域的加權(quán)灰度熵差；tm、tl、th為歸一化因子。為了使U在場景過亮和過暗時(shí)受到較小的影響，設(shè)置tm>tl且tm>th。再根據(jù)圖3，選取加權(quán)灰度熵差U所對應(yīng)的曝光時(shí)間作為基準(zhǔn)曝光時(shí)間，得到基準(zhǔn)圖像。

本文使用的基于加權(quán)灰度熵差的區(qū)域分割法具體方法如下：

(13)

式中：U*為當(dāng)前圖像區(qū)域的加權(quán)灰度熵差；Th為過曝光閾值；Tl為欠曝光閾值；Eh為過曝光區(qū)域；El為欠曝光區(qū)域；A為正常曝光區(qū)域。當(dāng)U*大于Th時(shí)，該像素屬于Eh；當(dāng)U*小于Tl時(shí)，該像素屬于El；當(dāng)U*大于Tl且小于Th時(shí)，該像素屬于A。

區(qū)域分割后，根據(jù)式(9)計(jì)算各個(gè)區(qū)域的加權(quán)灰度差，再根據(jù)式(10)及圖4計(jì)算求得曝光時(shí)間。最后將經(jīng)過曝光調(diào)整的各個(gè)區(qū)域拼接在一起得到曝光結(jié)果，拼接過程如圖5所示。

圖5 各區(qū)域圖像及拼接結(jié)果

特別地，為了排除噪聲等干擾因素，當(dāng)過曝光區(qū)域與欠曝光區(qū)域小于整幅圖像面積占比的20%時(shí)，不執(zhí)行區(qū)域分割策略。

4 實(shí)驗(yàn)結(jié)果與分析

本文選取三類不同的場景進(jìn)行實(shí)驗(yàn)。場景A是在較亮的室內(nèi)場景；場景B是有過曝光區(qū)域的室內(nèi)場景；場景C為有人的背光場景。實(shí)驗(yàn)電腦配置為CPU Intel(R)Core(TM)i5-3210 M 2.50 GHz，內(nèi)存4 GB。

4.1 圖像評價(jià)指標(biāo)

實(shí)驗(yàn)選取EAV、灰度方差和Tenengrad梯度作為評價(jià)指標(biāo)，評判曝光算法的成像效果。

EAV是王鴻南等[24]提出的圖像評價(jià)指標(biāo)，其計(jì)算公式為：

(14)

式中：m和n為圖像的長和寬；df為圖像在坐標(biāo)為(x,y)點(diǎn)的8鄰域各方向上的灰度變化幅度；dx為像素間的距離增量。即該方法是對圖像每點(diǎn)周圍的灰度擴(kuò)散程度的統(tǒng)計(jì)。

灰度方差的計(jì)算公式為：

(15)

Tenengrad梯度是采用Sobel算子分別提取水平和垂直方向的梯度值，其計(jì)算公式為：

(16)

(17)

(18)

式中：Ten為Tenengrad梯度值；m和n為圖像的長和寬；S(x,y)為該點(diǎn)處的梯度；g(x,y)為坐標(biāo)為(x,y)點(diǎn)的灰度值；Gx和Gy為兩卷積核。

4.2 α值的選取范圍

將式(9)中α值設(shè)置為0.3、0.4、0.5、0.6和0.7，分別計(jì)算三類不同場景下的圖像評價(jià)指標(biāo)，取其平均值作比較，結(jié)果如圖6-圖8所示。

圖6 不同α計(jì)算得到的圖像EAV值

圖7 不同α計(jì)算得到的圖像灰度方差

圖8 不同α計(jì)算得到的圖像Tenengrad梯度

由圖6-圖8可知，當(dāng)α取0.5～0.6時(shí)，圖像評價(jià)指標(biāo)最高，則認(rèn)為在此區(qū)間內(nèi)的α值可滿足大多數(shù)場景下的彩圖。

4.3 算法對比及分析

本文使用對比算法和基于加權(quán)灰度熵差的分區(qū)域曝光算法在三類場景下進(jìn)行實(shí)驗(yàn)。對比算法分別是:灰度平均值法[15](Grey-scale average Method, GAM)、信息熵法[16](Entropy Method, EM)、圖像分區(qū)法[17](Scene Analysis Method, SAM)和改進(jìn)割線法[20](Model-based Approach, MA)。

場景A是較亮的室內(nèi)環(huán)境，該場景下的效果比較如圖9所示。使用灰度平均值和信息熵作為曝光控制參數(shù)的曝光算法，在一定程度上均提升了曝光效果。而使用本文提出的算法在場景評估時(shí)，判定不需要區(qū)域分割，所以直接計(jì)算加權(quán)灰度熵差并選取最佳曝光時(shí)間。

圖9 場景A的各算法效果比較

表1為場景A下不同曝光算法后得到曝光結(jié)果的圖像評價(jià)指標(biāo)。此時(shí)，本文算法不執(zhí)行區(qū)域分割策略，計(jì)算整幅圖像的加權(quán)灰度熵差作為曝光控制參數(shù)。可以看出，相較于使用灰度平均值或信息熵作為曝光控制參數(shù)，加權(quán)灰度熵差作為曝光控制參數(shù)的三類圖像評價(jià)指標(biāo)均為最高，提升范圍由2.18%到27.74%。

表1 場景A下各算法所得結(jié)果的評價(jià)指標(biāo)

場景B下的效果比較如圖10所示，圖10(a)中窗外區(qū)域過度曝光導(dǎo)致窗外圖像模糊不清，且室內(nèi)區(qū)域亮度較暗，丟失了大部分圖像細(xì)節(jié)。圖10(b)與圖10(a)相比，窗外區(qū)域得到合適曝光，但室內(nèi)區(qū)域的曝光效果欠佳。圖10(c)、圖10(d)中窗外區(qū)域得到了合適的曝光，但室內(nèi)區(qū)域處于欠曝光狀態(tài)，丟失了大部分圖像細(xì)節(jié)。在圖10(e)中窗外區(qū)域得到合適曝光的同時(shí)，室內(nèi)區(qū)域的圖像信息也得到了很好地展現(xiàn)。因此在場景B中使用本文算法可使室內(nèi)、窗外區(qū)域均得到合適的曝光，顯著提升了圖像視覺質(zhì)量。

圖10 場景B的各算法效果比較

場景C背光區(qū)域亮度過高，其效果比較如圖11所示。圖11(a)與(c)均無法將背光區(qū)域調(diào)整至合適曝光的狀態(tài)以展現(xiàn)該區(qū)域的圖像細(xì)節(jié)。圖11(b)、(d)與(a)、(c)相比，背光區(qū)域的曝光效果得到改善，圖像細(xì)節(jié)得到了很好的展現(xiàn)，但其余區(qū)域曝光效果更差。圖11(e)將背光區(qū)域調(diào)整至合適曝光的同時(shí)，室內(nèi)區(qū)域及人物部分的效果也有提升。所以在場景C下使用本文提出的算法可使背光區(qū)域、室內(nèi)區(qū)域和人物區(qū)域均得到合適的曝光。

圖11 場景C的各算法效果比較

表2-表3分別為場景B、C下使用不同曝光算法后得到曝光結(jié)果的圖像評價(jià)指標(biāo)。在場景B、C下，使用本文提出的加權(quán)灰度熵差作為曝光控制參數(shù)，同時(shí)使用分區(qū)策略，三類圖像評價(jià)指標(biāo)同樣均為最高，雖然文獻(xiàn)[17]也使用了一定的分區(qū)策略，但最終結(jié)果沒有本文算法好。文獻(xiàn)[20]求得最佳曝光結(jié)果的圖像評價(jià)指標(biāo)也低于本文算法的曝光結(jié)果，本文算法相較三個(gè)對比算法提升了29.09%到131.86%，充分驗(yàn)證了使用該算法可得到較好的曝光效果。

表2 場景B下各算法所得結(jié)果的評價(jià)指標(biāo)

表3 場景C下各算法所得結(jié)果的評價(jià)指標(biāo)

5 結(jié) 語

針對傳統(tǒng)曝光算法無法較好地適應(yīng)復(fù)雜場景這一問題，本文提出了一種基于加權(quán)灰度熵差的分區(qū)域曝光算法。首先提出了一種新的曝光評價(jià)指標(biāo)——加權(quán)灰度熵差，由于其結(jié)合了灰度值與信息熵的優(yōu)勢，所以使其具有更強(qiáng)的場景描述能力；隨后，利用分區(qū)域曝光算法，通過曝光估算、分區(qū)曝光和圖像拼接等步驟，實(shí)現(xiàn)根據(jù)場景特征的分區(qū)域曝光。實(shí)驗(yàn)表明，使用本文提出的加權(quán)灰度熵差能準(zhǔn)確地找到與場景特征相匹配的最佳曝光時(shí)間，并增強(qiáng)整體場景及局部細(xì)節(jié)，提高了圖像品質(zhì)。