基于雙邊伽馬校正的保亮度圖像增強(qiáng)方法

胡 鈺 李甜甜 黃梁松 李玉霞

(山東科技大學(xué)電氣與自動(dòng)化工程學(xué)院 山東 青島 266590)

0 引 言

保亮度圖像增強(qiáng)方法在消費(fèi)電子產(chǎn)品中有著廣泛的用途，比如電視視頻信號(hào)為了避免視覺效果失真，在圖像增強(qiáng)過程中會(huì)盡量保持視頻序列的亮度不變。傳統(tǒng)的直方圖均衡化方法具有輸出圖像亮度與輸入圖像亮度無關(guān)的特點(diǎn)，使得經(jīng)過該方法增強(qiáng)后的圖像往往出現(xiàn)“過增強(qiáng)”或“偽影”現(xiàn)象，破壞了圖像固有的自然效果，相應(yīng)地限制了該方法在消費(fèi)電子產(chǎn)品中的應(yīng)用[1-8]。針對(duì)傳統(tǒng)直方圖均衡化方法(CHE)的如上缺點(diǎn)，近年來國際上不斷提出改進(jìn)方法[1-8]。1997年，Kim提出雙邊直方圖均衡化方法(BBHE)[8]；1999年，Wang提出等區(qū)域二元子圖直方圖均衡化方法(DISHE)[7]；2003年，Chen提出迭代均值分割直方圖均衡化方法(RMSHE)[6]和最小亮度差雙邊直方圖均衡化方法(MMBEBHE)[5]；2005年，Wang從變分的角度提出最大熵亮度保持直方圖均衡化方法(BPHEME)[3]；2007年，Menotti提出多直方圖均衡化方法(MHE)[1]。上述直方圖均衡化思想方法的共同點(diǎn)是通過尋找某種約束下的一個(gè)或多個(gè)直方圖分隔點(diǎn)來實(shí)現(xiàn)圖像的保亮度，借助直方圖均衡化方法固有的對(duì)比度拉伸特性來提高圖像對(duì)比度。基于直方圖均衡化思想[10-20]的圖像增強(qiáng)方法存在兩個(gè)局限性：其一，根據(jù)整幅圖像或局部圖像的灰度統(tǒng)計(jì)特性來調(diào)整圖像亮度，而忽視中心像素點(diǎn)與其鄰域像素點(diǎn)的空間相關(guān)性，因此容易導(dǎo)致圖像“過增強(qiáng)”現(xiàn)象；其二，該類方法是在空間域增強(qiáng)，在確定直方圖分割點(diǎn)后，難以在灰度級(jí)子圖內(nèi)利用直方圖均衡化同時(shí)增強(qiáng)對(duì)比度和保圖像亮度[9]。

傳統(tǒng)的伽馬校正通常會(huì)改變輸入圖像的亮度且難以同時(shí)在過暗和過亮區(qū)域同時(shí)取得良好的增強(qiáng)效果。本文設(shè)計(jì)的雙邊伽馬校正曲線，在空域能夠同時(shí)改善輸入圖像中的過暗區(qū)域和過亮區(qū)域視覺效果。多尺度圖像分解能夠使得圖像亮度和細(xì)節(jié)單獨(dú)處理，其中決定圖像的亮度信息主要集中在低頻，細(xì)節(jié)信息主要集中在高頻[21]。基于上述兩點(diǎn)，本文提出一種空域頻域相結(jié)合的保亮度圖像增強(qiáng)方法。首先在空域?qū)⑤斎氲膱D像進(jìn)行雙邊伽馬校正，然后對(duì)雙邊伽馬校正所生成的兩幅圖像進(jìn)行多尺度圖像融合[11]，其中在低頻子帶圖像采用加權(quán)平均融合規(guī)則以保圖像亮度，在高頻子帶圖像采用平均選擇融合規(guī)則以突出細(xì)節(jié)。

1 方法設(shè)計(jì)

1.1 系統(tǒng)框架

伽馬校正通常會(huì)改變輸入圖像的亮度[13]，而圖像融合方法則要求輸入多幅圖像[11]，因此伽馬校正或圖像融合方法很少用于保亮度的圖像增強(qiáng)。本文首先根據(jù)伽馬校正設(shè)計(jì)了雙邊伽馬校正曲線，然后將雙邊伽馬校正與多尺度圖像融合方法相結(jié)合用于保亮度圖像增強(qiáng)。圖1是本文方法的流程圖。

圖1 本文方法的流程圖

1.2 雙邊伽馬校正曲線設(shè)計(jì)

伽馬校正已經(jīng)廣泛地應(yīng)用于改善光照不均勻的退化圖像[12-13]，其簡化形式表示為：

g(u)=uγ

(1)

式中：u是灰度值，γ是伽馬值。鑒于不同γ的伽馬校正曲線對(duì)亮區(qū)域和暗區(qū)域的改善效果不同，本文設(shè)計(jì)了雙邊伽馬校正曲線。

1.2.1曲線段特性分析

圖2(a)表明，γ<1時(shí)，曲線OAB使得每個(gè)灰度級(jí)(除兩端點(diǎn))的亮度都得到了提升，有利于提高過暗區(qū)域的亮度；圖2(b)表明，γ>1時(shí)，曲線OAB使得(除兩端點(diǎn))每個(gè)灰度級(jí)的亮度都得到了衰減，有利于抑制過亮區(qū)域的亮度增加。

(a)(b)圖2 伽馬值γ對(duì)亮度和對(duì)比度的影響

文獻(xiàn)[14]給出了兩像素點(diǎn)間的對(duì)比度定義為:

(2)

式(2)直觀地表明在亮度差I(lǐng)i-Ij不變的情況下，背景亮度的增加使得圖像對(duì)比度下降，視覺效果變差。事實(shí)上在亮度差不變的條件下對(duì)過暗區(qū)域進(jìn)行亮度提高后，人眼通常會(huì)觀察到更多的細(xì)節(jié)信息，視覺效果反而得到提高，其原因可用人眼視覺系統(tǒng)的亮度閾值效應(yīng)曲線[15]給予解釋：在低灰度區(qū)間，灰度的增加將使得臨界可見偏差JND降低，因此在經(jīng)過背景亮度提高后的過暗區(qū)域人眼通常會(huì)觀察到更多的細(xì)節(jié)信息。

在圖2(a)中，點(diǎn)A是曲線斜率為1的點(diǎn)，其坐標(biāo)為(ua,g(ua))。假定圖像中過暗區(qū)域灰度值在[0,xa]內(nèi)，由于圖2(a)中曲線段OA的斜率大于1，所以曲線段OA提高了灰度值在[0,xa]內(nèi)過暗區(qū)域的亮度和梯度值，抑制了背景亮度提高引起的對(duì)比度衰減。此外，亮度閾值曲線影響，曲線段OA使得過暗區(qū)域更多的細(xì)節(jié)將被顯示。

在圖2(b)中，點(diǎn)A是曲線斜率等于1的點(diǎn)，其對(duì)應(yīng)坐標(biāo)記為(ua,g(ua))。圖2(b)中曲線段AB使得灰度值介于[ua,1]內(nèi)的過亮區(qū)域的亮度降低，另一方面該曲線段的斜率大于1使得相鄰像素間的亮度差I(lǐng)i-Ij提高，兩者共同提高了對(duì)比度。

上述分析表明，圖2(a)的曲線段OA適用于過暗區(qū)域的亮度提高和對(duì)比度增強(qiáng)，從而改善過暗區(qū)域的視覺效果；圖2(a)的曲線段AB顯然會(huì)使得灰度值在[ua,1]內(nèi)的區(qū)域亮度增加，同時(shí)削弱該區(qū)域的對(duì)比度，從而導(dǎo)致該區(qū)域的視覺效果惡化。圖2(b)的曲線段OA部分，顯然使得灰度值在[0,ua]內(nèi)的區(qū)域亮度降低，同時(shí)削弱其圖像對(duì)比度，從而造成該區(qū)域的視覺效果惡化；圖2(b)的曲線段AB抑制了灰度值分布在區(qū)間[ua,1]內(nèi)的過亮區(qū)域的亮度，提高了該區(qū)域的圖像對(duì)比度，從而改善了該區(qū)域的圖像視覺效果。表1是伽馬校正曲線段對(duì)不同亮度區(qū)域增強(qiáng)效果的總結(jié)。

表1 伽馬校正曲線段對(duì)亮度區(qū)域的改善效果

1.2.2伽馬值γ的確定

確定伽馬校正曲線的關(guān)鍵步驟是確定伽馬值γ。圖2中，點(diǎn)A是伽馬校正曲線斜率為1的點(diǎn)。不同的伽馬校正曲線對(duì)應(yīng)的點(diǎn)A位置不同；反之，給定點(diǎn)A的位置也就唯一地確定了伽馬校正曲線。因此可通點(diǎn)A來間接地確定伽馬校正曲線。根據(jù)式(1)求得導(dǎo)數(shù)為:

g′(u)=ruγ-1

(3)

令g′(u)u=u0=g′(u0)=1,則可導(dǎo)出u0關(guān)于γ的函數(shù)為:

(4)

該公式表明在已知u0條件下可求解出γ。

1.2.3參數(shù)值u0的確定

參數(shù)值u0的確定通過估計(jì)過暗區(qū)域和過亮區(qū)域的灰度值分布范圍來完成。若γ<1，理想的u0值使得[0,u0]盡可能地覆蓋過暗區(qū)域的灰度值范圍，且其取值盡可能小；若γ>1，理想的u0值使得[u0,1]盡可能地覆蓋過亮區(qū)域的灰度值分布范圍，且其取值盡可能大。本文給出兩種估計(jì)參數(shù)值u0的策略：

(1) 預(yù)先設(shè)定策略。由場景明暗區(qū)域的大致灰度區(qū)間分布預(yù)先設(shè)定參數(shù)值u0；

(2) 直方圖統(tǒng)計(jì)策略。根據(jù)圖像的灰度統(tǒng)計(jì)直方圖，找出過暗區(qū)域和過亮區(qū)域的灰度值分界點(diǎn)來確定參數(shù)值u0。

1.2.4設(shè)計(jì)流程

綜上所述，雙邊伽馬校正曲線的設(shè)計(jì)流程歸納為：首先在γ<1條件下，確定用于改善過暗區(qū)域的u0值；在γ>1條件下，確定用于改善過亮區(qū)域的u0值。然后根據(jù)式(4)確定出一組伽馬值(對(duì)應(yīng)兩條伽馬校正曲線)，最終生成同時(shí)改善圖像中過暗區(qū)域和過亮區(qū)域視覺效果的雙邊伽馬校正曲線。

1.3 雙邊伽馬校正后圖像的融合處理

表1表明雙邊伽馬校正所生成的兩幅圖像中視覺效果改善和視覺惡化均存在，且雙邊伽馬校正改變了輸入圖像的亮度。因此，優(yōu)化兩者視覺效果和保亮度需要對(duì)圖像進(jìn)行融合處理。在空域?qū)①ゑR校正所生成的兩幅圖像進(jìn)行加權(quán)平均圖像融合會(huì)造成圖像對(duì)比度下降，因此本文后端采用基于頻率思想的多尺度圖像融合處理方法。

多尺度圖像融合優(yōu)勢在于它將圖像分解到不同的頻率域，在不同的頻率域運(yùn)用不同的融合規(guī)則，使得融合圖像保留了輸入圖像在不同頻率域的顯著特征[11]。通常在多尺度分析中，圖像的低頻分量集中了圖像的絕大部分能量，低頻分量決定圖像亮度，高頻分量決定圖像細(xì)節(jié)[19]。因此本文方法首先利用多尺度分解實(shí)現(xiàn)雙邊伽馬校正后圖像的亮度和細(xì)節(jié)相分離，然后根據(jù)亮度和細(xì)節(jié)的優(yōu)化目標(biāo)設(shè)計(jì)不同的融合規(guī)則，具體如下：

假定fA表示輸入圖像，其圖像均值記為mA；fB和fC分別表示經(jīng)雙邊伽馬校正生成的兩幅校正圖像，其均值分別記為mB和mC。將fB和fC進(jìn)行N層多尺度分解成具有兩個(gè)多尺度圖像序列fNB和fNC：

fNX={fk,LXfk,HzX}k=1,2,…，N；X={B,C}

(5)

式中：fk,LX為第k層上的低頻子帶圖像，fk,HzX為第k層上第z方向上的高頻子帶圖像。

若多尺度分解方法是拉普拉斯塔形分解(每一層包含兩個(gè)子空間)，則式(5)可改寫為：

fNX={fk,LXfk,HX}k=1,2,…，N；X={B,C}

(6)

若多尺度分解方法是小波分解(每一層包含四個(gè)子空間)，則式(5)可改寫為:

fNX={fk,LLX,fk,LHX,fk,HLXfk,HHX}k=1,2,…,N；X={B,C}

(7)

由于本文方法與多尺度分解方法具有相同的基本思路，所以統(tǒng)一采用式(5)作為基本形式進(jìn)行闡述。

為了保持輸入圖像亮度，本文采用如下加權(quán)平價(jià)融合規(guī)則融合低頻子帶圖像fN,LB和fN,LC,記融合后的低頻子帶圖像fN,LF為：

fN,LF=α·fN,LB+β·fN,LC

(8)

為了突出圖像細(xì)節(jié)，本文采用Burt提出的平均選擇融合規(guī)則[16]融合高頻子帶圖像fk,HzB和fk,HzC。計(jì)算融合后高頻子帶圖像fk,HzF的步驟如下:

(9)

(10)

(11)

(12)

2 實(shí) 驗(yàn)

2.1 評(píng)價(jià)指標(biāo)

本文采用主觀視覺效果和客觀圖像質(zhì)量評(píng)價(jià)指標(biāo)來綜合評(píng)價(jià)保亮度圖像增強(qiáng)方法。本文采用亮度B、亮度差BD、平均局部標(biāo)準(zhǔn)差MLSD作為客觀評(píng)價(jià)指標(biāo)[1]，具體內(nèi)容如下：

亮度B在保亮度圖像增強(qiáng)方法中用圖像平均灰度值來表征[1,8]，因此亮度差BD也可以用輸出圖像和輸入圖像的平均灰度差絕對(duì)值來表征。若BD值越小，表明輸出圖像對(duì)應(yīng)的增強(qiáng)方法保亮度性能越優(yōu)，反之越差。

通常“過增強(qiáng)”圖像具有較大的MLSD值，因此在不發(fā)生“過增強(qiáng)”基礎(chǔ)上討論MLSD指標(biāo)才具有意義。在不發(fā)生“過增強(qiáng)”前提下，MLSD值越大表明其局部對(duì)比度越好，其中MLSD指標(biāo)定義為：

(13)

2.2 實(shí)驗(yàn)結(jié)果及分析

本文以四幅不同亮度的標(biāo)準(zhǔn)圖像[17]作為輸入圖像設(shè)計(jì)了兩組實(shí)驗(yàn)。實(shí)驗(yàn)中的四幅圖像分別被命名為Carnev、House、Barch和Flash，它們的平均灰度值分別為20.085、159.338、126.593、91.617。為了與其他算法進(jìn)行比較，我們采用了CHE、BBHE、DSIHE、MMBEBHE、RMSHE(r=2)、BPHEME等不同的算法以及我們提出的算法對(duì)圖像進(jìn)行增強(qiáng)。

在我們提出的圖像增強(qiáng)方法中，實(shí)驗(yàn)過程分為兩個(gè)步驟。第一步是雙伽馬矯正的過程，采用預(yù)先設(shè)定策略分別在r<1條件下，取u0=0.2；在r≥1條件下，取u0=0.5。第二步是多尺度圖像融合的過程，采用拉普拉斯金字塔分解[12]將雙伽馬校正后的圖像分解為三層，然后進(jìn)行融合，在高頻子帶圖像融合過程中，滑動(dòng)窗口的尺寸為3×3。

圖3-圖6反映了四組實(shí)驗(yàn)的結(jié)果，表2-表5中顯示B、BD和MLSD值，可作為評(píng)價(jià)圖像處理效果的評(píng)價(jià)標(biāo)準(zhǔn)。

分析結(jié)果如下：

1) 在過增強(qiáng)方面。我們可以通過視覺來判斷過增強(qiáng)，在圖3中BBHE、DSIHE、MMBEBHE和RMSHE四種增強(qiáng)方法均出現(xiàn)明顯的“過增強(qiáng)”現(xiàn)象；而基于HE方法所得到的圖像在圖4、圖5和圖6中都產(chǎn)生了圖像過度增強(qiáng)，因?yàn)閳D4-圖6比圖3的平均灰度值大，所以圖4、圖6的過增強(qiáng)不明顯。但是在圖3-圖6中本文方法均沒有出現(xiàn)“過增強(qiáng)”現(xiàn)象，表明本文方法能夠抑制“過增強(qiáng)”現(xiàn)象。

2) 在亮度保持方面。由于BD反映了兩幅圖像的亮度差異，因此BD是判斷圖像亮度保存效果的最直接標(biāo)準(zhǔn)。我們可以看到在表2、表3、表4、表5中BD值分別為0.119、0.011、0.020和0.290，遠(yuǎn)小于其他方法。實(shí)驗(yàn)結(jié)果表明，無論圖像的平均灰度值大小，該方法都具有良好穩(wěn)定的亮度保持性能。

3) 在“過增強(qiáng)”和 保亮度前提下分析MLSD。MLSD能夠反映局部區(qū)域?qū)Ρ榷鹊淖兓琈LSD值越大，越容易產(chǎn)生圖像的邊緣，因此MLSD值越大越好。我們可以從表2到表5中看到本方法的MLSD值分別為42.919、48.390、42.051和52.476，雖然這些值不全是每組中最大的值，但是它們是較大的值之一，實(shí)驗(yàn)表明，本文方法沒有發(fā)生“過增強(qiáng)”且有效保亮度，其指標(biāo)大約1.5倍于輸入圖像的MLSD指標(biāo)，表明本文方法能夠增強(qiáng)輸入圖像細(xì)節(jié)。

(a) 輸入圖像(b) CHE

(c) BBHE(d) DSIHE

(e) MMBEBHE(f) RMSHE(r=2)

(g) BPHEME(h) 本文方法圖3 輸入圖像名為“Carnev”的視覺效果對(duì)比

方法BBDMLSD輸入圖像20.08524.440CHE142.722122.63745.733BBHE47.16827.08349.498DSIHE65.93945.85464.138MMBEBHE45.29425.20941.563RMSHE(r=2)28.8498.76437.680BPHEME21.8601.77513.905本文方法19.9660.11942.919

(a) 輸入圖像(b) CHE

(c) BBHE(d) DSIHE

(e) MMBEBHE(f) RMSHE(r=2)

(g) BPHEME(h) 本文方法圖4 輸入圖像名為“House”的視覺效果對(duì)比

方法BBDMLSD輸入圖像159.33841.796CHE128.63530.70362.046BBHE151.8587.48063.478DSIHE148.76810.57064.232MMBEBHE160.3080.97051.185RMSHE(r=2)162.6623.32452.923BPHEME160.2230.88559.715本文方法159.3490.01148.390

(a) 輸入圖像(b) CHE

(c) BBHE(d) DSIHE

(e) MMBEBHE(f) RMSHE(r=2)

(g) BPHEME(h) 本文方法圖5 輸入圖像名為“Barch”的視覺效果對(duì)比

方法BBDMLSD輸入圖像126.59338.801CHE128.6432.05057.806BBHE146.16919.58055.667DSIHE137.02110.43057.615MMBEBHE127.6451.05057.847RMSHE(r=2)137.14510.55051.900BPHEME127.7961.20057.855本文方法126.6080.02042.051

(a) 輸入圖像(b) CHE

(c) BBHE(d) DSIHE

(e) MMBEBHE(f) RMSHE(r=2)

(g) BPHEME(h) 本文方法圖6 輸入圖像名為“Flash”的視覺效果對(duì)比

方法BBDMLSD輸入圖像91.61744.573CHE134.10542.49043.456BBHE117.26625.65046.826DSIHE116.63625.02046.649MMBEBHE102.22510.61054.971RMSHE(r=2)103.85012.23049.801BPHEME95.6474.03044.960本文方法91.3260.29052.476

3 結(jié) 語

保亮度圖像增強(qiáng)處理本質(zhì)上是一種在亮度不變約束下的圖像優(yōu)化過程，其優(yōu)化目標(biāo)是增強(qiáng)圖像對(duì)比度(突出細(xì)節(jié))，同時(shí)避免“過增強(qiáng)”現(xiàn)象。目前國際上的典型方法是借助于改進(jìn)直方圖均衡化思想進(jìn)行圖像增強(qiáng)，但直方圖均衡化思想的圖像增強(qiáng)方法存在其固有局限性。

本文方法與其他方法相比的優(yōu)點(diǎn)：與直方圖中“尖峰”處對(duì)應(yīng)的灰度變換曲線相比，雙邊伽馬曲線是相對(duì)平滑曲線，不易出現(xiàn)過度灰度拉升，避免了過增強(qiáng)現(xiàn)象。此外，雙邊伽馬曲線也為后端的圖像融合創(chuàng)造了條件，多尺度圖像融合從頻域上實(shí)現(xiàn)了亮度和細(xì)節(jié)分離，使得亮度和細(xì)節(jié)能夠分別融合處理。亮度信息主要集中在低頻，本文采用加權(quán)平均融合策略實(shí)現(xiàn)保亮度的目標(biāo)。細(xì)節(jié)突出(或?qū)Ρ榷仍鰪?qiáng))與相鄰像素亮度值密切相關(guān)，本文方法在融合高頻子帶圖像過程中通過在滑動(dòng)窗內(nèi)融合，因此充分考慮了像素間的空間相關(guān)性。