直方圖受限的窄動(dòng)態(tài)范圍彩色圖像細(xì)節(jié)增強(qiáng)

王海峰 章 怡 杜卓明

1(江蘇理工學(xué)院信息中心 江蘇 常州 213001)2(江蘇理工學(xué)院計(jì)算機(jī)工程學(xué)院 江蘇 常州 213001)

0 引 言

一些圖像(如水下圖像、遙感圖像和紅外圖像等)在采集時(shí)，由于受到天氣環(huán)境、場(chǎng)景、光照不均勻等因素的制約，使得得到的彩色圖像動(dòng)態(tài)范圍比較窄、對(duì)比度偏小，顯得局部細(xì)節(jié)不突出，層次感差等缺陷，從而無(wú)法滿足實(shí)際應(yīng)用[1-3]。因此，常常需要對(duì)彩色圖像進(jìn)行增強(qiáng)處理，主要是為了方便后續(xù)圖像處理與分析(如邊緣提取、模式與識(shí)別等)和顯示設(shè)備對(duì)視覺(jué)效果的改善。相對(duì)于灰度圖像，彩色圖像包含的信息更豐富，對(duì)后續(xù)圖像分析更有優(yōu)勢(shì)[4-6]。

在已提出的各種圖像增強(qiáng)技術(shù)中，基于全局直方圖均衡(GHE)的圖像增強(qiáng)技術(shù)由于其簡(jiǎn)單性和有效性而備受關(guān)注[7]。雖然GHE應(yīng)用較為廣泛，但是它仍然存在三種缺陷：過(guò)增強(qiáng)、不期望的偽影和細(xì)節(jié)信息容易丟失，于是，人們又提出了各種基于HE的圖像增強(qiáng)技術(shù)來(lái)克服這些缺點(diǎn)[8]。Kim通過(guò)灰度均值將原始直方圖分割成兩個(gè)子直方圖，提出一種亮度保持的雙直方圖均衡BBHE算法(Brightness preserving bi-histogram equalization)[9]。然后，Wang等用灰度中值代替均值，提出了二元子圖像直方圖均衡DSIHE(Dualistic sub-image histogram equalization)[10]。基于BBHE思想，研究者們又提出了許多類似的算法，如最小平均亮度誤差雙邊直方圖均衡MMBEBHE(Minimum mean brightness error bi-HE)[11]、遞歸均值分割的直方圖均衡RMSHE(Recursive mean-separate HE)[12]和修改直方圖的雙邊均衡BHEMHB(Bi-histogram Equalization using Modified Histogram Bins)等[13]。除了上述直方圖分割方法，還提出了諸如對(duì)比度受限的自適應(yīng)直方圖均衡CLAHE(Contrast limited adaptive histogram equalization)[14]與平臺(tái)受限的雙邊直方圖均衡BHEPL(Bi-histogram Equalization with a Plateau Limit)等直方圖剪切方法[15]。

上述直方圖均衡的相關(guān)方法可以改善正常范圍[0,255]的彩色圖像視覺(jué)效果，但對(duì)動(dòng)態(tài)范圍比較窄的圖像，如低照度的水下圖像(動(dòng)態(tài)范圍處于低段)、低對(duì)比度“蒙紗”圖像(動(dòng)態(tài)范圍處于中段)、曝光過(guò)度(動(dòng)態(tài)范圍處于高段)等容易出現(xiàn)過(guò)增強(qiáng)，增強(qiáng)的圖像視覺(jué)效果不明顯[16]。因此，本文提出了一種直方圖受限的窄動(dòng)態(tài)范圍的彩色圖像增強(qiáng)，在RGB空間直接對(duì)三分量進(jìn)行直方圖受限的增強(qiáng)。算法主要分為3個(gè)階段：首先，算法設(shè)定累積概率密度閾值CT，計(jì)算對(duì)應(yīng)的直方圖閾值HD，并通過(guò)直方圖閾值HD將輸入圖像直方圖分割成兩個(gè)子直方圖H1和H2；其次，對(duì)大于直方圖閾值的子直方圖H1，在[A,B]范圍內(nèi)進(jìn)行等間隔分布，進(jìn)而得到等間隔分布的直方圖H1-1；最后，對(duì)小于直方圖閾值的子直方圖H2進(jìn)行非線性映射至H1-1，從而得到增強(qiáng)的圖像。與現(xiàn)有的幾種基于直方圖的圖像增強(qiáng)算法相比，該算法不僅在視覺(jué)效果和圖像質(zhì)量評(píng)估指標(biāo)上都取得了很好的性能，而且為研究人員如何控制增強(qiáng)圖像的對(duì)比度提供了另一種途徑。

1 算法設(shè)計(jì)

1.1 設(shè)計(jì)原理

RGB色彩就是常說(shuō)的三原色，R代表Red(紅色)，G代表Green(綠色)，B代表Blue(藍(lán)色)。自然界中肉眼所能看到的任何色彩都可以由這三種色彩混合疊加而成，因此也稱為加色模式。在日常生活中，圖像顯示設(shè)備如電視機(jī)、計(jì)算機(jī)顯示屏、智能手機(jī)屏幕等都采用RGB模式。因此算法設(shè)計(jì)直接在RGB模式中處理，無(wú)需轉(zhuǎn)換顏色模型，算法設(shè)計(jì)框圖如圖1所示。

圖1 算法設(shè)計(jì)框圖

1.2 直方圖受限的對(duì)比度增強(qiáng)

一幅M×N灰度圖像I的直方圖、灰度概率密度函數(shù)、累積概率密度函數(shù)[17-19]分別定義為:

H(i)=nii=0,1,…,S-1

(1)

(2)

(3)

式中：i為灰度值，S為最大灰度級(jí)，8位灰度圖S=256。

使用最廣泛的對(duì)比度增強(qiáng)方法是基于直方圖均衡化的相關(guān)算法，這些算法在處理圖像時(shí)經(jīng)常會(huì)出現(xiàn)偽影及信息量的丟失。因此，我們希望能夠找到一種方法，在改善不同場(chǎng)景圖像(如動(dòng)態(tài)范圍比較窄的低對(duì)比度圖像)對(duì)比度的同時(shí)，能夠減少視覺(jué)偽影，提高輸出圖像中的信息含量，使得增強(qiáng)的圖像達(dá)到最佳視覺(jué)效果。算法主要分為直方圖分割、直方圖調(diào)整和直方圖映射三部分。

算法的初始階段是對(duì)輸入圖像直方圖的分割。設(shè)原始直方圖的累積概率分布閾值為CT，由式(1)和式(2)計(jì)算對(duì)應(yīng)的直方圖閾值HD,通過(guò)該直方圖閾值HD將輸入圖像直方圖分別分割成H1和H2兩個(gè)子直方圖，H2稱為受限制的直方圖，分割示意圖如圖2所示，分割表達(dá)式如下：

(4)

(a) 原始直方圖

(b) 分割后的直方圖H1

(c) 分割后的直方圖H2圖2 直方圖分割示意圖

算法的第二階段是對(duì)子直方圖H1做等間隔分布。設(shè)灰度值范圍為[a,b]，讓子直方圖H1在此灰度范圍等間隔分布，等間隔分布后的直方圖記為H1-1，直方圖等間隔分布定義為：

(5)

式中：y為子直方圖H1-1對(duì)應(yīng)的新灰度值，m是子直方圖H1不等于0的個(gè)數(shù)，j是個(gè)數(shù)變量； 8位灰度圖像中a=0，b=255；round()為取整函數(shù)。

算法的最后階段是將受限子直方圖H2映射至子直方圖H1-1中。設(shè)i是子直方圖H1的索引灰度值變量，q是受限子直方圖H2的索引灰度值，映射的原則是：(1) 依次從受限子直方圖H2中取出一直方圖(該直方圖所處位置的索引灰度值是q)，將索引灰度值q逐個(gè)與i值比較，選出最接近索引灰度值q的i值(即it)，數(shù)學(xué)表達(dá)式為式(6)；(2) 確定it在子直方圖H1的位置t(即it對(duì)應(yīng)的直方圖處于第t個(gè))；(3) 最后，在子直方圖H1-1中，找到第t個(gè)直方圖對(duì)應(yīng)的新索引灰度值yt(yt即為灰度值q需要映射后的新灰度值), 計(jì)算公式如式(7)，映射過(guò)程示意圖如圖3。

(6)

(7)

圖3 受限直方圖的映射過(guò)程示意圖

2 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)圖像小部分來(lái)自互聯(lián)網(wǎng)，大部分為相機(jī)拍攝，網(wǎng)絡(luò)圖片未用于商業(yè)目的，主要用于算法測(cè)試。實(shí)驗(yàn)環(huán)境：Windows7系統(tǒng)Intel Pentinum CPU G860，主頻3.0 GHz，內(nèi)存4 GB，算法語(yǔ)言MATLAB 2016b。

2.1 對(duì)比度可控性

為保證增強(qiáng)圖像不失真，參數(shù)CT的取值范圍一般為[0.9，1]，CT值越小，輸出圖像的對(duì)比度越大，反之對(duì)比度則越小。實(shí)驗(yàn)中用圖像的標(biāo)準(zhǔn)差衡量對(duì)比度指標(biāo)，標(biāo)準(zhǔn)差越大，說(shuō)明圖像明暗對(duì)比大，即圖像對(duì)比度則大，反之則相反。圖4是對(duì)100幅彩色圖像進(jìn)行測(cè)試對(duì)比度可控性，計(jì)算增強(qiáng)圖像的標(biāo)準(zhǔn)差均值隨參數(shù)CT變化情況：a=0、b=255，參數(shù)CT在[0.9，1]變化。

圖4 對(duì)比度可控性測(cè)試圖

2.2 算法比較

為檢驗(yàn)算法處理不同動(dòng)態(tài)范圍圖像的有效性，實(shí)驗(yàn)選取了3幅窄動(dòng)態(tài)范圍在低段(夜間圖像)、中段(水下圖像)和高段(大霧圖像)圖像，以及1幅全動(dòng)態(tài)范圍[0，255]的紅外圖像，動(dòng)態(tài)范圍如對(duì)應(yīng)直方圖所示。與本文算法相比較的算法為BBHE、MMBEBHE、BHEMHE、DSIHE、RMSHE與BHEPL6種算法，并采用標(biāo)準(zhǔn)差、信息熵和峰值信噪比3項(xiàng)客觀指標(biāo)評(píng)價(jià)實(shí)驗(yàn)結(jié)果，結(jié)果表中最大數(shù)值用粗斜體加以突出。

(1) 實(shí)驗(yàn)1：窄動(dòng)態(tài)范圍處于低段的夜間圖像如圖5所示。

(a)原圖(b) BBHE

(c) MMBEBHE(d) BHEMHE

(e) DSIHE(f) RMSHE

(g) BHEPL(h) 本文

(a′) 原圖(b′) BBHE

(c′) MMBEBHE(d′) BHEMHE

(e′) DSIHE(f′) RMSHE

(g′) BHEPL(h′) 本文圖5 增強(qiáng)效果與直方圖

表1標(biāo)準(zhǔn)差數(shù)據(jù)顯示7種算法都圖像都進(jìn)行了增強(qiáng)，其中增強(qiáng)效果比較明顯的為DSIHE(70.17)、BBHE(63.56)和本文算法(59.35)，其余算法則稍弱，這與人的視覺(jué)感覺(jué)一致。從暗區(qū)域細(xì)節(jié)的視覺(jué)效果來(lái)看，本文算法增強(qiáng)圖像的暗區(qū)域細(xì)節(jié)比其他任何一種算法處理得更清晰。表1中信息熵最大數(shù)值是本文算法(7.46)，進(jìn)一步表明本文算法增強(qiáng)的圖像細(xì)節(jié)信息與其他算法相比最豐富。

表1 實(shí)驗(yàn)1結(jié)果數(shù)據(jù)

(2) 實(shí)驗(yàn)2：窄動(dòng)態(tài)范圍處于中段的水下圖像如圖6所示。

(a) 原圖(b) BBHE

(c) MMBEBHE(d) BHEMHE

(e) DSIHE(f) RMSHE

(g) BHEPL(h) 本文

(a′) 原圖(b′) BBHE

(c′) MMBEBHE(d′) BHEMHE

(e′) DSIHE(f′) RMSHE

(g′) BHEPL(h′) 本文圖6 增強(qiáng)效果與直方圖

從圖6各種算法對(duì)水下圖像增強(qiáng)的視覺(jué)效果看，7種算法中，本文算法和BBHE算法增強(qiáng)的效果較好，其他算法增強(qiáng)效果稍差些。表2中本文算法信息熵值最大為7.77，說(shuō)明本文算法增強(qiáng)的圖像細(xì)節(jié)信息最多。

表2 實(shí)驗(yàn)2結(jié)果數(shù)據(jù)

(3) 實(shí)驗(yàn)3：窄動(dòng)態(tài)范圍處于高段的大霧圖像如圖7所示。

(c) MMBEBHE(d) BHEMHE

(e) DSIHE(f) RMSHE

(g) BHEPL(h) 本文

(a′) 原圖(b′) BBHE

(c′) MMBEBHE(d′) BHEMHE

(e′) DSIHE(f′) RMSHE

(g′) BHEPL(h′) 本文圖7 增強(qiáng)效果與直方圖

從圖7增強(qiáng)效果看，BBHE、BHEMHE、RMSHE、BHEPL和本文算法對(duì)原圖都起到了增強(qiáng)與去霧效果，DSIHE和MMBEBHE效果較差，且MMBEBHE有色斑。從圖像層次及去霧細(xì)節(jié)看，BBHE、BHEMHE、RMSHE、BHEPL及本文的5種算法中，本文去霧效果最優(yōu)、細(xì)節(jié)層次更豐富，例如河岸兩邊樹(shù)木與橋后面的樹(shù)木都清晰可見(jiàn)。從表3的信息熵?cái)?shù)值大小比較，本文信息熵最大(6.55)表明本文細(xì)節(jié)最豐富。

表3 實(shí)驗(yàn)3結(jié)果數(shù)據(jù)

(4) 實(shí)驗(yàn)4：正常動(dòng)態(tài)范圍的紅外圖像如圖8所示。

(c) MMBEBHE(d) BHEMHE

(e) DSIHE(f) RMSHE

(g) BHEPL(h) 本文

(a′) 原圖(b′) BBHE

(c′) MMBEBHE(d′) BHEMHE

(e′) DSIHE(f′) RMSHE

(g′) BHEPL(h′) 本文圖8 增強(qiáng)效果與直方圖

圖8為紅外焦平面探測(cè)器探測(cè)出的紅外圖像，從增強(qiáng)視覺(jué)效果看，BBHE、MMBEBHE、BHEMHE、DSIHE、 RMSHE與BHEPL增強(qiáng)的圖像在暗區(qū)域存在過(guò)增強(qiáng)，視覺(jué)感覺(jué)上出現(xiàn)明顯“發(fā)白”的塊效應(yīng)，例如圖像天空中出現(xiàn)發(fā)白現(xiàn)象。與前面6種算法相比，本文算法增強(qiáng)的紅外圖像，暗區(qū)域沒(méi)有出現(xiàn)過(guò)增強(qiáng)的塊效應(yīng)，視覺(jué)效果最好；表4的客觀指標(biāo)也顯示，本文算法的信息熵最大，信噪比排名第二，表明了本文算法增強(qiáng)的紅外圖像噪聲抑制較好、細(xì)節(jié)信息最豐富。

表4 實(shí)驗(yàn)4結(jié)果數(shù)據(jù)

綜上所述，不管圖像的動(dòng)態(tài)范圍處于何種位置，本文算法都能有效提高圖像對(duì)比度與清晰度，大大改善圖像視覺(jué)效果。從表5的60幅圖像增強(qiáng)結(jié)果數(shù)據(jù)看，七種算法中，本文算法的信息熵指標(biāo)始終保持第一，在增強(qiáng)圖像的同時(shí)又充分展現(xiàn)了本文算法優(yōu)越的細(xì)節(jié)信息保持性能。

表5 60幅圖像平均結(jié)果數(shù)據(jù)

3 結(jié) 語(yǔ)

本文提出了一種直方圖受限的窄動(dòng)態(tài)范圍的彩色圖像增強(qiáng)方法，無(wú)論彩色圖像的動(dòng)態(tài)范圍是在低段(如低照度圖像)、中段或高段(如曝光過(guò)亮圖像)，該方法都能夠自動(dòng)將窄動(dòng)態(tài)范圍的彩色圖像調(diào)節(jié)到最大動(dòng)態(tài)范圍[0,255]。算法能夠在提高圖像對(duì)比度的同時(shí)，不僅輸出圖像中的信息熵保持最大，而且達(dá)到了人眼視覺(jué)最佳觀看效果。本文算法的創(chuàng)新性主要是：通過(guò)圖像直方圖的累積概率分布閾值CT將原圖像直方圖分割成2個(gè)獨(dú)立的直方圖(圖2中的H1和H2)，再將H2(受限的直方圖)非線性映射至H1的均勻分布直方圖中。雖然該算法是基于直方圖的方法，但是和先前算法不同的是不需要作直方圖均衡。實(shí)驗(yàn)結(jié)果表明，使用該方法得到的增強(qiáng)圖像信息熵值最高，彩色圖像的細(xì)節(jié)最為豐富。同時(shí)，算法還可以根據(jù)用戶需求，選擇不同的參數(shù)CT調(diào)節(jié)輸出圖像的對(duì)比度大小與細(xì)節(jié)豐富程度，可應(yīng)用于視頻監(jiān)控、數(shù)字機(jī)頂盒等視頻處理設(shè)備。