基于L*a*b*顏色空間的高動(dòng)態(tài)范圍成像算法

趙金波,肖 照,白本督,范九倫

(1.西安郵電大學(xué) 通信與信息工程學(xué)院,西安 710061; 2.西北工業(yè)大學(xué) 軟件與微電子學(xué)院,西安 710072)

0 概述

動(dòng)態(tài)范圍是指可見(jiàn)光區(qū)域亮度的最大值與最小值的比值[1]。由此計(jì)算的動(dòng)態(tài)范圍數(shù)值通常都很大,為了方便起見(jiàn),可以用亮度最大值與最小值比值的對(duì)數(shù)值來(lái)表示動(dòng)態(tài)范圍。動(dòng)態(tài)范圍越大,圖像中包含的亮度層次越多,圖像細(xì)節(jié)越豐富[2-3]。自然場(chǎng)景有很寬廣的亮度范圍,如夜晚的星光亮度約為10-4cd/m2,陽(yáng)光直射下室外環(huán)境的亮度約為105cd/m2～109cd/m2[4]。傳統(tǒng)的數(shù)字成像設(shè)備,比如數(shù)碼單反相機(jī),只能記錄現(xiàn)實(shí)場(chǎng)景中有限的亮度、對(duì)比度信息,稱(chēng)之為低動(dòng)態(tài)范圍(Low Dynamic Range,LDR)成像設(shè)備,其所捕獲的圖像稱(chēng)為L(zhǎng)DR圖像。對(duì)于同時(shí)有高亮和昏暗區(qū)域的場(chǎng)景,利用傳統(tǒng)的低動(dòng)態(tài)范圍成像設(shè)備不能通過(guò)單次曝光來(lái)捕獲場(chǎng)景中的全部亮度信息。高動(dòng)態(tài)范圍(High Dynamic Range,HDR)圖像則是以線(xiàn)性的方式記錄實(shí)際場(chǎng)景中的亮度信息。相比普通LDR圖像,HDR圖像可以提供更多的場(chǎng)景亮度信息、良好的整體對(duì)比度和更清晰的圖像細(xì)節(jié),從而給人們更加逼真的視覺(jué)感受,在航天、醫(yī)學(xué)、攝影、機(jī)器視覺(jué)等領(lǐng)域有廣泛的應(yīng)用前景。

HDR圖像的獲取通常有2種方法:1)采用特殊的成像設(shè)備直接拍攝[5-7];2)采用多幅不同曝光量的LDR圖像進(jìn)行合成。前一種方法對(duì)成像設(shè)備要求較高,成本高昂。因此,大部分研究采用第二種圖像合成的方法來(lái)獲取HDR圖像[8-10]。目前,雖然基于多曝光的HDR圖像獲取技術(shù)在國(guó)際上已經(jīng)獲得很多研究者的關(guān)注,但是大多數(shù)研究都集中在如何解決多曝光圖像在像素層的合成問(wèn)題,而較少關(guān)注合成過(guò)程中顏色空間的選擇問(wèn)題。

文獻(xiàn)[11]提出利用最小平方誤差估計(jì)求取相機(jī)的響應(yīng)函數(shù),并分別對(duì)R、G、B三通道進(jìn)行輻照度域的合成和色調(diào)映射處理,得到能在普通設(shè)備上顯示的HDR圖像。文獻(xiàn)[12]首先將不同曝光序列的圖像從RGB空間轉(zhuǎn)換到HSV空間,通過(guò)對(duì)亮度、色調(diào)和飽和度分量分別進(jìn)行處理得到HDR圖像,但是由于其在色調(diào)合成中引入極坐標(biāo)系,因此增加了算法復(fù)雜性。文獻(xiàn)[13]僅對(duì)Y通道數(shù)據(jù)進(jìn)行相機(jī)響應(yīng)函數(shù)的求解,對(duì)U和V通道數(shù)據(jù)采用加權(quán)平均的計(jì)算方法,然而在將顏色空間轉(zhuǎn)換為RGB時(shí)會(huì)出現(xiàn)“色彩灰化”現(xiàn)象。

本文提出一種基于L*a*b*顏色空間的HDR圖像合成算法。將RGB顏色空間轉(zhuǎn)換到L*a*b*顏色空間,采用Debevec算法僅對(duì)L*亮度通道進(jìn)行相機(jī)響應(yīng)函數(shù)的標(biāo)定和HDR圖像的合成,進(jìn)而應(yīng)用Reinhard全局色調(diào)映射算法[14]對(duì)亮度通道L*進(jìn)行動(dòng)態(tài)范圍的壓縮。針對(duì)a*和b*2個(gè)色品通道,根據(jù)不同曝光時(shí)間的圖像對(duì)色品純度的影響提出一種新的權(quán)重函數(shù)來(lái)進(jìn)行合成。最后將基于L*a*b*顏色空間的圖像轉(zhuǎn)換到RGB顏色空間進(jìn)行顯示。

1 L*a*b*顏色空間HDR合成算法

1.1 L*a*b*顏色空間

RGB顏色空間依賴(lài)于設(shè)備,對(duì)于給定的一組R、G、B三元值,不存在單一、明確的彩色解釋,即相同的圖像文件可能在不同的計(jì)算機(jī)系統(tǒng)上視覺(jué)效果明顯不同。另外,RGB顏色空間在使用紅綠藍(lán)三基色系統(tǒng)匹配某些可見(jiàn)光譜時(shí),需要使用基色的負(fù)值,使用不方便[15]。為此,國(guó)際照明委員會(huì)CIE重新修正了顏色匹配函數(shù),于1931年引入CIE XYZ顏色空間。CIE XYZ顏色空間由RGB顏色空間轉(zhuǎn)換而來(lái),三色刺激值由1931 XYZ顏色匹配函數(shù)來(lái)計(jì)算,保證了對(duì)于任何可見(jiàn)光譜的表示三色刺激值均為非負(fù)數(shù)。當(dāng)標(biāo)準(zhǔn)觀察者觀察2個(gè)不同的光源顯示相同的顏色時(shí),則具有相同的三色刺激值。此外,CIE XYZ顏色空間不依賴(lài)顯示設(shè)備。但是,CIE XYZ顏色空間在人類(lèi)的感知均勻性方面比較差。為此,1976年,CIE引入CIE L*a*b*顏色空間,其模型如圖1所示。

圖1 CIE L*a*b*顏色空間模型

L*a*b*顏色空間在色彩科學(xué)、創(chuàng)新藝術(shù)和諸如打印機(jī)、掃描儀等彩色設(shè)備的設(shè)計(jì)中具有廣泛的應(yīng)用。因此,相比在傳統(tǒng)的顏色空間進(jìn)行合成,在L*a*b*空間進(jìn)行合成具有以下優(yōu)勢(shì):首先,L*a*b*顏色空間能夠更清楚地分離彩色信息和灰度信息;其次,L*a*b*顏色空間致力于人類(lèi)視覺(jué)的感知均勻性,采用歐式距離來(lái)描述彩色之間的差別[16],L*分量密切匹配人類(lèi)感知亮度,對(duì)人類(lèi)的亮度感知是線(xiàn)性的,也就是說(shuō),如果一種顏色的L*值是另一種顏色L*值的2倍,那么在視覺(jué)感知上第1種顏色的亮度也是第2種顏色亮度的2倍。

L*通道的數(shù)值范圍是[0,100],0表示黑色,100表示白色。數(shù)值越大,亮度越大;a*通道的數(shù)值范圍是[-128,127],-128表示綠色,127表示紅色;b*通道的數(shù)值范圍是[-128,127],-128表示藍(lán)色,127表示黃色。

RGB顏色空間向L*a*b*顏色空間的轉(zhuǎn)換,首先需要將RGB顏色空間數(shù)值進(jìn)行歸一化處理,根據(jù)式(1)實(shí)現(xiàn)RGB向XYZ顏色空間的轉(zhuǎn)換。

(1)

然后,根據(jù)式(2)將XYZ顏色空間轉(zhuǎn)換為L(zhǎng)*a*b*顏色空間。

(2)

(3)

其中,r表示X/Xn、Y/Yn或Z/Zn;Xn=0.950 456,Yn=1,Zn=1.088 754。Xn、Yn、Zn分別表示標(biāo)準(zhǔn)照明體照射在完全漫反射體上,再經(jīng)過(guò)完全漫反射到觀察者眼中的白色刺激三刺激值。

1.2 亮度通道的合成

在L*a*b*顏色空間中,L*通道表示亮度分量,a*、b*通道表示色度分量。因此,只需要在L*通道進(jìn)行高動(dòng)態(tài)范圍圖像的合成與色調(diào)映射處理。首先應(yīng)用Debeve算法來(lái)獲取相機(jī)響應(yīng)函數(shù),鑒于L*通道數(shù)值的取值范圍為[0,100]的連續(xù)值,計(jì)算具有復(fù)雜性,本文選擇0,0.1,0.2,…,100共1 001個(gè)離散的亮度值,并給出計(jì)算相機(jī)響應(yīng)函數(shù)的權(quán)重函數(shù):

(4)

其中,z為L(zhǎng)*a*b*顏色空間中的L*分量,Zmin=0,Zmax=100。經(jīng)過(guò)相機(jī)響應(yīng)曲線(xiàn)的標(biāo)定后,根據(jù)得到的像素值L*與曝光量間的映射關(guān)系進(jìn)行高動(dòng)態(tài)范圍圖像的亮度通道合成。采用Reinhard全局色調(diào)映射算法進(jìn)行處理,得到經(jīng)過(guò)壓縮的高動(dòng)態(tài)范圍圖像的亮度分量。

1.3 色度通道的合成

在L*a*b*顏色空間中,a*和b*2個(gè)色品分量的數(shù)值取值范圍是[-128,127]。隨著曝光時(shí)間的增加,不同曝光時(shí)間圖像序列的色品純度逐漸下降。色品純度越大,所占權(quán)重應(yīng)該越大。為此,引入如下的權(quán)重函數(shù):

(5)

其中,w(I)表示像素值I的權(quán)重。I表示a*和b*通道的像素值,(i,j)表示圖像的空間位置,p表示序列圖像中的圖像數(shù)目,‖·‖表示取絕對(duì)值。

對(duì)a*和b*分量加權(quán)求和處理采用的基本原理可表示為:

(6)

(7)

其中,ai和bi表示第i張圖像對(duì)應(yīng)的a*和b*分量,p表示圖像張數(shù),ω(ai)和ω(bi)表示第i張圖像的a*和b*分量對(duì)應(yīng)的權(quán)值。通過(guò)采用加權(quán)平均的方法可以避免直接平均所帶來(lái)的飽和度降低問(wèn)題。

2 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)的操作系統(tǒng)是Windows 10,編程環(huán)境是MATLAB 2014a。在進(jìn)行HDR圖像合成時(shí),需要固定相機(jī)來(lái)保證拍攝的場(chǎng)景固定不變,避免圖像序列的配準(zhǔn)處理。圖2和圖3是常用的2組典型的HDR場(chǎng)景圖像序列,圖4和圖5是以佳能EOS 760D單反相機(jī)拍攝的2組不同曝光量的低動(dòng)態(tài)范圍序列圖像。

圖2 圖像序列1

圖3 圖像序列2

圖4 圖像序列3

圖5 圖像序列4

為驗(yàn)證本文算法的有效性,實(shí)驗(yàn)分別采用基于RGB顏色空間、基于YUV顏色空間的高動(dòng)態(tài)范圍圖像合成算法和本文算法對(duì)圖2～圖5中的圖像序列進(jìn)行HDR合成并比較,實(shí)驗(yàn)結(jié)果如圖6和圖7所示。其中,圖6是對(duì)合成結(jié)果進(jìn)行對(duì)比,圖7是對(duì)圖6圈中區(qū)域放大進(jìn)行細(xì)節(jié)對(duì)比。

圖6 HDR合成圖像結(jié)果對(duì)比

圖7 HDR合成圖像局部區(qū)域?qū)Ρ?/p>

基于主觀評(píng)價(jià),對(duì)于圖像整體,從圖6可以看出,與其他2種算法相比,本文算法在色彩還原上更接近真實(shí)場(chǎng)景,圖6(a)基于RGB顏色空間合成圖像的顏色過(guò)于艷麗,圖6(b)基于YUV顏色空間合成時(shí)則出現(xiàn)了顏色淡化現(xiàn)象,而圖6(c)利用本文算法合成的結(jié)果更加真實(shí)地還原了場(chǎng)景的顏色特征。在圖像的局部細(xì)節(jié)方面,從圖7可以看出,如第2行的草坪,基于RGB顏色空間合成的結(jié)果圖像中左上角部分的3輛汽車(chē)模糊不清,基于YUV空間合成的結(jié)果雖然左上角部分可以較清楚地還原現(xiàn)實(shí)場(chǎng)景的信息,但草坪的顏色整體淡化,本文算法合成的結(jié)果在左上角部分能夠較好的看清汽車(chē)的數(shù)量及輪廓,在草坪的顏色上能較好地還原其真實(shí)色彩。

基于客觀評(píng)價(jià)是比較不同算法合成的高動(dòng)態(tài)范圍圖像的結(jié)構(gòu)相似性(Structural Similarity,SSIM)[17],它是一種衡量2幅圖像相似度的指標(biāo)。由于傳統(tǒng)的基于RGB顏色空間進(jìn)行合成時(shí)需要對(duì)3個(gè)顏色通道分別采用相同的合成手段,計(jì)算速度較慢,因此將基于RGB顏色空間的合成圖像作為參照,對(duì)只采用一個(gè)顏色通道合成的基于YUV空間算法與本文算法進(jìn)行比較,實(shí)驗(yàn)結(jié)果如表1所示。從表1可以看出,與基于YUV顏色空間合成算法相比,本文算法具有更高的結(jié)構(gòu)相似性,更能較好地還原場(chǎng)景的亮度信息。

表1 不同圖像序列合成結(jié)果的SSIM比較

3 結(jié)束語(yǔ)

針對(duì)傳統(tǒng)顏色空間合成的HDR圖像計(jì)算量大、耗時(shí)長(zhǎng)及基于YUV顏色空間合成結(jié)果出現(xiàn)色彩灰化等問(wèn)題,本文提出一種基于L*a*b*顏色空間的合成算法。該算法對(duì)圖像的亮度和色度信息進(jìn)行分離處理,在L*通道進(jìn)行相機(jī)響應(yīng)函數(shù)的計(jì)算、輻照度域的合成和色調(diào)映射處理,而對(duì)于a*和b*2個(gè)色度通道只需進(jìn)行加權(quán)求和。實(shí)驗(yàn)結(jié)果表明,該算法的計(jì)算速度快,成像質(zhì)量高,具有較高的應(yīng)用價(jià)值。下一步將考慮引入更全面的權(quán)重因子合成2個(gè)色度通道,從而獲取更加真實(shí)的成像結(jié)果。

致謝:

本文研究受到西安郵電大學(xué)西郵新星團(tuán)隊(duì)大力幫助,特此感謝。