區(qū)域自適應(yīng)的非均勻光照?qǐng)D像增強(qiáng)

吳佳麗，干宗良

(1.南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003; 2.江蘇省圖像處理與圖像通信重點(diǎn)實(shí)驗(yàn)室(南京郵電大學(xué))，江蘇 南京 210003)

0 引 言

增強(qiáng)非均勻照明圖像需要同時(shí)處理多種因素，如自然性、對(duì)比度、偽影及噪聲等。近年來(lái)，最為典型的兩種傳統(tǒng)方法分別是直方圖均衡法(Histogram Equalization，HE)[1]和Retinex算法[2]。Zuiderveld提出限制對(duì)比度的自適應(yīng)直方圖均衡化(Contrast Limited Adaptive Histogram Equalization，CLAHE)[3]，該方法在一定程度上提高了噪聲魯棒性，但是在局部細(xì)節(jié)以及色彩自然度的增強(qiáng)上仍需改進(jìn)。此外，伽馬校正等非線性變換方法也能取得較好的增強(qiáng)效果。加權(quán)分布的自適應(yīng)伽馬校正(Adaptive Gamma Correction with Weighting Distribution，AGCWD)[4]通過(guò)圖像最大亮度值調(diào)整最終亮度。Chang Y等人[5]將伽馬校正與CLAHE相結(jié)合，提出新的裁剪閾值方式，同時(shí)在計(jì)算映射函數(shù)時(shí)引入雙伽馬校正來(lái)提升亮度。

Retinex理論繼Land等人[2]首次提出后，Jobson等人基于單尺度Retinex算法(Single Scale Retinex，SSR)[6]提出帶色彩恢復(fù)的多尺度Retinex算法(Multi-Scale Retinex with Color Restoration，MSRCR)[7]。Kimmel[8]將變分模型引入Retinex算法，利用梯度下降計(jì)算光照分量并結(jié)合伽馬校正來(lái)增強(qiáng)圖像，既增強(qiáng)了對(duì)比度又提升了細(xì)節(jié)。隨后，Ma[9]引入了一種新的全變分(Total Variation，TV)和非局部TV正則化噪聲抑制模型來(lái)進(jìn)行光照估計(jì)。Ahn等人[10]設(shè)計(jì)了一種高動(dòng)態(tài)范圍圖像自適應(yīng)局部色調(diào)映射的框架，增強(qiáng)圖像具有高動(dòng)態(tài)范圍和良好的整體外觀。蒲恬等人[11]調(diào)整并重組光照?qǐng)D像和反射圖像，有效保持自然度。Guo等人[12]利用結(jié)構(gòu)先驗(yàn)微調(diào)初始光照?qǐng)D，獲得了較好的增強(qiáng)效果。雖然這些方法在特定場(chǎng)景下能得到不錯(cuò)的視覺(jué)效果，但是Retinex模型假設(shè)圖像可分解為光照和反射率，在反射分量未知的前提下估計(jì)圖像光照分量是一個(gè)欠定問(wèn)題，且近似估計(jì)會(huì)致使圖像出現(xiàn)光暈偽影。因此，基于Retinex理論的非均勻光照?qǐng)D像增強(qiáng)算法[13-15]的關(guān)鍵是精心設(shè)計(jì)約束條件和參數(shù)以獲得更準(zhǔn)確、合理的光照分量估計(jì)。

基于上述分析，該文提出了一種基于Retinex理論的區(qū)域自適應(yīng)增強(qiáng)算法，能夠改善亮度并保留細(xì)節(jié)，提高圖像的對(duì)比度和自然性，且復(fù)雜度低，適應(yīng)性好。該算法對(duì)HSV空間的亮度通道V進(jìn)行校正[16-17]。該算法的具體步驟如下：

(1)在HSV空間分解原始圖像，對(duì)V通道進(jìn)行具有邊界保留的雙邊濾波，近似估計(jì)其光照分量。

(2)將圖像進(jìn)行均勻分塊，根據(jù)每個(gè)子塊的統(tǒng)計(jì)特征賦值光照調(diào)整因子β，分別把光照分量按不同比例返回到反射分量上，得到細(xì)節(jié)圖像。

(3)通過(guò)改進(jìn)的CLAHE算法增強(qiáng)圖像對(duì)比度。與傳統(tǒng)方法不同，該算法根據(jù)圖像塊的紋理自動(dòng)設(shè)置裁剪點(diǎn)以抑制噪聲，并引入伽馬校正來(lái)進(jìn)一步調(diào)整亮度，增強(qiáng)細(xì)節(jié)及對(duì)比度。

(4)合并三通道，轉(zhuǎn)換到RGB空間，獲得增強(qiáng)圖像。

1 基于Retinex的非均勻光照?qǐng)D像增強(qiáng)

針對(duì)復(fù)雜光照條件下采集到的非均勻光照?qǐng)D像，該文提出了一種區(qū)域自適應(yīng)的增強(qiáng)算法，具體算法流程如圖1所示。

圖1 算法流程

在不均勻的光照環(huán)境下采集到的圖像通常會(huì)出現(xiàn)色彩失真，全局噪聲大，自然度不高，細(xì)節(jié)紋理不清晰，對(duì)比度低等問(wèn)題。該文提出了一種新方法來(lái)增強(qiáng)此類圖像。該方法主要分為兩個(gè)部分：第1步是基于MSR[18]的細(xì)節(jié)圖像估計(jì)；第2步是在改進(jìn)的CLAHE中引入伽馬校正以增強(qiáng)對(duì)比度和調(diào)整亮度。

1.1 光照分量估計(jì)

對(duì)于不均勻照度的圖像，完全去除光照分量后總會(huì)導(dǎo)致不同程度的邊緣模糊和細(xì)節(jié)丟失。因此，通過(guò)設(shè)置光照調(diào)整因子β以亮度自適應(yīng)的方式返還部分照度分量到反射分量上，使實(shí)際去除的照度分量更接近真實(shí)環(huán)境光照。在對(duì)數(shù)域中表示為：

y)*V(x,y)]}

(1)

式中，β為光照調(diào)整因子，V為HSV顏色空間的V通道，R'為細(xì)節(jié)圖像。

經(jīng)典的中心/環(huán)繞Retinex算法是利用高斯濾波核對(duì)原始圖像進(jìn)行卷積得到照明圖，但是高斯平滑過(guò)程會(huì)導(dǎo)致處理后的圖像出現(xiàn)光暈、泛灰和細(xì)節(jié)丟失。針對(duì)這一問(wèn)題，文獻(xiàn)[19]提出，雙邊濾波器同時(shí)考慮空間鄰近度以及像素灰度差異性，因此，與高斯濾波相比，雙邊濾波能夠更好地平滑噪聲并保持圖像邊緣等細(xì)節(jié)內(nèi)容，同時(shí)有效減輕光暈并抑制泛灰。為了獲得準(zhǔn)確的照度估計(jì)，該文采用雙邊濾波的方式。

Fi(x,y)*V(x,y)=

(2)

(3)

(4)

式中，Ω是像素點(diǎn)(x,y)的鄰域，(m,n)是鄰域內(nèi)的所有點(diǎn)，σr和σs為平滑參數(shù)，Wσr(x,y,m,n)和Wσs(x,y,m,n)分別代表灰度差值和幾何距離。Xu等人[20]采用Canny算子確定對(duì)比度邊緣位置，受其啟發(fā)，此處將尺度參數(shù)調(diào)整為：

(5)

該文先利用Canny算子來(lái)檢測(cè)圖像中的強(qiáng)對(duì)比度邊緣，然后考慮該像素點(diǎn)所處鄰域中是否含有強(qiáng)邊緣，如果當(dāng)前像素點(diǎn)位于非強(qiáng)對(duì)比度邊緣區(qū)域，就仍保持原尺度參數(shù)濾波，否則選擇小尺度參數(shù)。根據(jù)實(shí)驗(yàn)仿真，Canny算子檢測(cè)閾值設(shè)為0.25，大中小三個(gè)尺度下的σs和σr分別設(shè)置為(100,2)，(20,0.8)，(2,0.08)。

1.2 光照調(diào)整因子設(shè)計(jì)

對(duì)于原始非均勻照度圖像，期望最終的增強(qiáng)圖像是亮度均勻且自然的，所以需要設(shè)計(jì)調(diào)整因子β來(lái)控制光照返還程度。圖2上下兩行分別顯示了不同β值得到的細(xì)節(jié)圖像和線性拉伸圖像。

圖2 不同β取值下的細(xì)節(jié)圖像及線性拉伸圖像

從圖2可以直觀看出，當(dāng)相同β作用于全局時(shí)，β越小，光照分量去除得越少，細(xì)節(jié)圖像動(dòng)態(tài)范圍壓縮程度越小，暗區(qū)域亮度提升越不明顯，隨著β值的增大，雖然暗區(qū)域變亮，但亮區(qū)域的亮度值變低，圖像整體對(duì)比度降低。因此，該文提出對(duì)圖像進(jìn)行均勻分塊處理，根據(jù)不同區(qū)域的照度分布，自適應(yīng)地選取不同的β值進(jìn)行增強(qiáng)。當(dāng)子塊的亮度均值大于原始圖像的平均亮度時(shí)，β取0.2，反之，取值方法為：

(6)

式中，σ2為子塊的方差，l為子塊的平均亮度。

1.3 改進(jìn)CLAHE及伽馬校正

光照分量和反射分量經(jīng)調(diào)整后，得到動(dòng)態(tài)范圍窄的細(xì)節(jié)圖像，為了拓寬其動(dòng)態(tài)范圍，提高對(duì)比度和亮度以得到更好的視覺(jué)效果。該文在CLAHE算法的基礎(chǔ)上，提出區(qū)域自適應(yīng)的對(duì)比度增強(qiáng)方法。

將細(xì)節(jié)圖像分成等尺寸的若干矩形塊，對(duì)各子塊的直方圖進(jìn)行裁剪并計(jì)算其對(duì)應(yīng)的pdf和CDF。區(qū)別于傳統(tǒng)的CLAHE算法，本算法根據(jù)變異系數(shù)和亮度最大值來(lái)自適應(yīng)地確定子塊的裁剪點(diǎn)，具體表達(dá)式為：

(7)

式中，M為每個(gè)子塊的像素?cái)?shù)，N為子塊的動(dòng)態(tài)范圍，lv為塊中CDF達(dá)到的目標(biāo)亮度值，σ為標(biāo)準(zhǔn)差，μ為均值，τ為無(wú)窮小量以避免分母為0，α和ε為權(quán)重系數(shù)，分別控制熵項(xiàng)和動(dòng)態(tài)范圍。對(duì)于紋理多，目標(biāo)亮度值大的區(qū)域，設(shè)置的裁剪點(diǎn)較大；對(duì)于紋理少，目標(biāo)亮度小的區(qū)域，設(shè)置較小的裁剪點(diǎn)。裁剪后各子塊的重映射為：

(8)

T(l)=cdf(l)×lmax

(9)

式中，l為像素灰度級(jí)，T(l)為重映射函數(shù)，lmax為子塊最大像素值，cdf(l)和pdf(l)分別為累積分布函數(shù)及概率密度函數(shù)。

直方圖經(jīng)剪裁后有效抑制了暗區(qū)域的噪聲，但是增強(qiáng)后圖像的動(dòng)態(tài)范圍仍然較低，且細(xì)節(jié)不夠清晰。因此，為了進(jìn)一步調(diào)整亮度，提高圖像對(duì)比度和細(xì)節(jié)，對(duì)映射函數(shù)進(jìn)行伽馬校正，設(shè)計(jì)增強(qiáng)系數(shù)E并得出新的映射函數(shù)表達(dá)式：

(10)

T*(l)=E×cdf(l)×lmax

(11)

式中，γ是約束參數(shù)。校正后，能夠在保持圖像自然度的同時(shí)，恢復(fù)出更多紋理細(xì)節(jié)信息，得到最終的增強(qiáng)圖像。為了防止塊效應(yīng)[3]，對(duì)周圍各上下文區(qū)域計(jì)算出的重新映射進(jìn)行雙線性插值，像素值從s映射為s'，計(jì)算方法如下：

s'=(1-y)·[(1-x)·ga(s)+x·gb(s)]+

y·[(1-x)·gc(s)+x·gd(s)]

(12)

式中，a、b、c和d分別為相關(guān)上下文區(qū)域的中心點(diǎn)像素，ga(s)，gb(s)，gc(s)和gd(s)分別為對(duì)應(yīng)區(qū)域的重映射，x和y為相對(duì)于點(diǎn)a的歸一化距離。

2 實(shí)驗(yàn)結(jié)果與分析

對(duì)56幅光照不均勻圖像進(jìn)行測(cè)試，如圖3所示。

圖3 測(cè)試圖像

為了有效評(píng)估提出的自適應(yīng)增強(qiáng)算法的性能，將其與包括近年來(lái)先進(jìn)的深度學(xué)習(xí)算法和傳統(tǒng)算法在內(nèi)的6種算法進(jìn)行對(duì)比分析，分別是深度Retinex分解的RetinexNet[21]、多分支的暗光增強(qiáng)MBLLEN[22]、結(jié)合CLAHE及雙伽馬校正的ACLAHE[5]、基于光照?qǐng)D估計(jì)的暗光增強(qiáng)LIME[12]、基于Retinex的亮度自適應(yīng)對(duì)比度增強(qiáng)RPCE[20]和顯示圖像結(jié)構(gòu)細(xì)節(jié)的增強(qiáng)方法BioEnh[23]。從主觀評(píng)價(jià)、客觀評(píng)價(jià)和運(yùn)行效率三方面進(jìn)行綜合評(píng)價(jià)。

2.1 主觀評(píng)價(jià)

為了研究算法的適應(yīng)性，此處選取3張具有代表性的圖像，涵蓋了非均勻光照?qǐng)D像的常見場(chǎng)景，例如夜間低照度以及復(fù)雜光照條件下的建筑、室內(nèi)場(chǎng)景等。圖4～圖6給出了各個(gè)算法的增強(qiáng)結(jié)果，主要從全局的對(duì)比度增強(qiáng)，暗區(qū)域的亮度提升，色彩保真以及自然度等角度進(jìn)行視覺(jué)評(píng)估與分析。

ACLAHE算法色彩恢復(fù)比較自然，也未出現(xiàn)失真，但是亮度改善程度有限，增強(qiáng)后的圖像存在整體亮度偏低的現(xiàn)象。RetinexNet算法處理后的圖像較原圖亮度提升明顯，但是出現(xiàn)邊緣過(guò)度增強(qiáng)，噪聲放大及色彩失真等問(wèn)題，如圖5(c)鹿角邊緣對(duì)比度過(guò)強(qiáng)，圖6(c)的椅子存在噪聲和偽影。MBLLEN算法在整體亮度增強(qiáng)方面有較好的效果，且增強(qiáng)結(jié)果的噪聲水平低，但是對(duì)于光線未照射到的過(guò)暗區(qū)域處理不佳，亮區(qū)域的細(xì)節(jié)信息保持情況不理想，如圖5(d)沒(méi)有恢復(fù)出長(zhǎng)頸鹿的斑紋，圖6(d)的柱子紋理不清晰。LIME算法對(duì)亮度的增強(qiáng)程度最大，因此出現(xiàn)對(duì)局部區(qū)域的過(guò)增強(qiáng)，同時(shí)也嚴(yán)重放大了噪聲。比如圖4(e)天空出現(xiàn)過(guò)曝現(xiàn)象，圖4(e)的白色柱子和圖5(e)的斑紋處有明顯的噪點(diǎn)。RPCE算法處理后的圖像色彩保真度較好，無(wú)明顯色差，但是由于對(duì)比度的過(guò)度拉伸導(dǎo)致低亮度區(qū)域細(xì)節(jié)信息丟失，圖4(f)的臺(tái)階紋理信息以及圖6(f)的墻面紋理都沒(méi)有得到恢復(fù)，圖5(f)的增強(qiáng)效果最差，無(wú)論是亮區(qū)域還是暗區(qū)域亮度和細(xì)節(jié)都沒(méi)有得到改善，幾乎和原始圖像保持一致。BioEnh算法在突出圖像的細(xì)節(jié)方面占優(yōu)勢(shì)，所以對(duì)陰影部分的信息提升更為明顯，但是由于該算法在細(xì)節(jié)結(jié)構(gòu)中添加了噪聲抑制模塊，造成局部接近飽和且細(xì)節(jié)密集的位置太過(guò)平滑。例如圖4(g)的柱子和階梯，圖6(g)墻面的紋理幾乎都被模糊掉。經(jīng)比較，文中算法在提升圖像對(duì)比度和保持圖像細(xì)節(jié)方面取得更好的平衡，并能夠保留圖像自然度。增強(qiáng)結(jié)果未出現(xiàn)明顯色彩偏差及光暈偽影，同時(shí)有效抑制噪聲，具有更佳的視覺(jué)效果。

圖4 Street增強(qiáng)結(jié)果

圖5 Giraffe增強(qiáng)結(jié)果

圖6 Building增強(qiáng)結(jié)果

2.2 客觀評(píng)價(jià)

客觀評(píng)價(jià)通常用于解釋圖像的一些重要特征。該文選取了無(wú)參考圖像的自然圖像質(zhì)量評(píng)價(jià)指標(biāo)(NIQE)[24]和基于色塊對(duì)比度的質(zhì)量指數(shù)(CPCQI)[25]對(duì)增強(qiáng)圖像分別從以下2個(gè)方面進(jìn)行評(píng)價(jià)：(1)圖像的自然度；(2)結(jié)果相對(duì)于原圖的色彩保真性。NIQE標(biāo)準(zhǔn)的取值范圍為[0,100]，圖像質(zhì)量與數(shù)值大小成反比，即數(shù)值越大，圖像自然度越低，反之越高；對(duì)于CPCQI，指標(biāo)超過(guò)1，表明圖像質(zhì)量得到增強(qiáng)，且值越大代表失真程度越低。表1為56張圖像經(jīng)過(guò)不同方法處理后得到的增強(qiáng)圖像的測(cè)評(píng)結(jié)果平均值，將最優(yōu)及次優(yōu)結(jié)果顯示為粗體。可以看出，ACLAHE算法的NIQE值為次優(yōu)，表示其增強(qiáng)圖像的自然性較佳，RPCE算法在CPCQI指標(biāo)下表現(xiàn)良好，說(shuō)明增強(qiáng)結(jié)果失真度較小，文中算法無(wú)論是自然度的保持還是感知保真程度均優(yōu)于其他對(duì)比算法。

表1 量化客觀評(píng)價(jià)指標(biāo)結(jié)果

2.3 運(yùn)行效率

RetinexNet和MBLLEN使用Python編寫，在GPU環(huán)境下運(yùn)行，其他方法使用Matlab編寫，在CPU環(huán)境下運(yùn)行。56張圖像一共運(yùn)行3次，然后計(jì)算平均運(yùn)行時(shí)間作為最終的結(jié)果。由表2可看出，最優(yōu)及次優(yōu)結(jié)果以粗體形式顯示，文中算法排名第3，優(yōu)于借助CPU運(yùn)行的其他4種算法。

表2 平均運(yùn)行時(shí)間 s

3 結(jié)束語(yǔ)

介紹了一種改進(jìn)的區(qū)域自適應(yīng)的非均勻照度圖像增強(qiáng)算法，該算法包括細(xì)節(jié)圖像估計(jì)和在改進(jìn)的CLAHE中引入伽馬校正以增強(qiáng)對(duì)比度兩個(gè)部分。通過(guò)雙邊濾波器來(lái)初步估計(jì)圖像的照度分量，然后設(shè)置光照調(diào)整因子調(diào)整光照去除比例，使細(xì)節(jié)圖像更真實(shí)地反映物體本質(zhì)屬性，最后采用區(qū)域自適應(yīng)的CLAHE算法與伽馬校正相結(jié)合的方法達(dá)到對(duì)比度和亮度增強(qiáng)的目的。不同場(chǎng)景的實(shí)驗(yàn)結(jié)果表明，該算法對(duì)非均勻圖像增強(qiáng)具有較好的普適性且算法性能穩(wěn)定，在改善圖像亮度的同時(shí)，有效保持了自然度及細(xì)節(jié)。