向健勇 / 蘇奕月
(西安電子科技大學(xué)物理與光電工程學(xué)院, 陜西 西安 710071)
任意場景中亮度的最大值和最小值之比為該場景下的動態(tài)范圍(Dynamic Range)。動態(tài)范圍越大,所能表示的層次越豐富,所包含的色彩空間也越廣,高動態(tài)范圍(即從“最亮”到“最暗”)可以達到非常高的比值。

圖1 HDR技術(shù)應(yīng)用前后對比
在真實的世界中,景象亮度的動態(tài)范圍跨度能達到十幾個數(shù)量級。針對實際環(huán)境中這種高動態(tài)范圍的問題,為了讓計算機視覺能夠更好更真實地認識實際環(huán)境,HDR(High Dynamic Range)技術(shù)應(yīng)運而生。采用HDR技術(shù),可以擴大各種視覺傳感器的應(yīng)用范圍;增強人的視覺感知能力,拓寬人類活動范圍;能夠適應(yīng)大部分現(xiàn)有的處理及計算(效果圖見圖1)。
而LED全彩顯示屏相對于傳統(tǒng)的顯示終端能夠?qū)崿F(xiàn)數(shù)十倍甚至數(shù)百倍的亮度,其RGB三基色構(gòu)成的色域范圍也足夠?qū)拸V,在HDR的顯示方面具備得天獨厚的優(yōu)勢,但并非不存在局限。本文就LED顯示屏如何實現(xiàn)HDR顯示展開探討,首先介紹HDR關(guān)鍵技術(shù),其次對LED顯示屏的動態(tài)范圍展開分析,最后探討如何從LDR視頻源生成滿足HDR視頻的圖像處理技術(shù)。
HDR技術(shù)的關(guān)鍵可以分為兩個部分:一是如何獲取HDR圖像;另一個是如何顯示HDR圖像。
HDR圖像的獲取一般采取兩種方式。一種是采用專業(yè)的數(shù)字相機拍攝后,存儲為圖像格式的數(shù)字圖像,即硬件獲取圖像。另一種是利用軟件合成圖像,這也是當前獲取圖像最常見的方法。
HDR圖像或視頻的顯示有兩種方式,一種是將獲取的HDR視頻經(jīng)過一定的壓縮再顯示到普通顯示器上,其主要方法為色調(diào)映射(tone mapping)算法;另一種方式是在真正的高動態(tài)范圍顯示器上顯示,要求顯示器的動態(tài)范圍不小于HDR視頻的動態(tài)范圍,這樣不必經(jīng)過壓縮則可直接將HDR視頻在顯示器上播放。
LED顯示屏具備足夠高的動態(tài)范圍,以戶外高亮LED顯示屏為例,其灰度等級可以調(diào)節(jié)至14bit甚至16bit,可以呈現(xiàn)亮度范圍10-1cd/m2~104cd/m2。但事實上,絕大多數(shù)戶外LED顯示屏并不具備真正意義上的HDR顯示能力。下面從動態(tài)范圍、灰度層次和亮度自適應(yīng)性三個方面進行探討。
觀察動態(tài)范圍的計算公式見式(1)。
C=Lmax/Lmin
(1)
注意,這里的亮度Lmax和Lmin代表顯示終端在工作環(huán)境下測量的最大和最小亮度,事實上,對于顯示設(shè)備其亮度由三部分構(gòu)成,見式(2)。
L=Ldisplay+Lreflect+Lbackground
(2)
即顯示設(shè)備所測量的亮度是自身顯示亮度Ldisplay,顯示面板反射亮度Lreflect和顯示面板背光亮度Lbackground三者的總和。LED顯示屏作為自發(fā)光顯示設(shè)備,可以認為Lbackground為0,但Lreflect卻不可忽略,它由環(huán)境亮度和顯示面板的反射率共同決定。白天戶外條件下,即使陽光不直射,環(huán)境亮度一般為500 cd/m2甚至更高,要將Lreflect控制在1 cd/m2就要求面板反射率遠低于0.002,可見,真正戶外屏要滿足>104的動態(tài)范圍是非常困難的。室內(nèi)條件下,雖然大多數(shù)室內(nèi)屏的最大亮度在戶外屏的1/3以下,但環(huán)境亮度可以得到較好的控制,使得Lmin可以大幅度降低,因此,其顯示屏最大動態(tài)范圍反而更大。
LED顯示行業(yè)一直把灰階作為重要的性能指標,而實際使用中,顯示屏的灰階需要做到兩個相鄰灰度切換時屏體亮度變化差異足夠小,和人眼恰可識別差異(JND)亮度相當是最佳的。低于JND亮度時,視覺系統(tǒng)察覺不到屏體的灰度變化,造成資源浪費;高于或者遠高于JND亮度時,屏體的灰度層次就比較差,畫面中的低灰漸變存在失真、虛假輪廓等錯誤。在HDR顯示時,如果灰度等級不足,即使動態(tài)范圍夠大,也不能精確呈現(xiàn)場景中低亮部分的紋理細節(jié)。
以室內(nèi)小間距為例,即使屏體的原始灰階高達16bit,當周圍環(huán)境較低時,視覺系統(tǒng)傾向更低的最大亮度,同時對亮度差異的識別能力(即JND)會顯著降低。這時,屏體相鄰兩個灰階的差異可能會較為顯著,畫面的低灰漸變依舊會存在問題。換個角度說,可以認為這種情況是因為屏體的最大亮度下降,導(dǎo)致了屏體的有效灰階低于16bit。
可見,即使屏體的動態(tài)范圍很大,如果有效灰度等級不能達到16bit甚至更高,依舊很難呈現(xiàn)出良好的HDR顯示效果。
視覺系統(tǒng)具有高度的亮度自適應(yīng)性。從白天的太陽到晚上的月亮乃至星光,其亮度差異可達到1010左右。視覺系統(tǒng)會通過一系列自適應(yīng)特征實現(xiàn)如此寬動態(tài)范圍的調(diào)節(jié),如調(diào)節(jié)瞳孔大小、錐細胞和柱細胞分工、亮度非線性感知等。值得注意的是,在同一場景同一時刻下,視覺系統(tǒng)的感知動態(tài)范圍只有104~105cd/m2,它總是隨著場景的總體亮度水平逐漸變化,最終處于一種自適應(yīng)的狀態(tài),因此,顯示屏的動態(tài)范圍必須和當前視覺系統(tǒng)的動態(tài)范圍相吻合才能達到理想的效果。
前文已經(jīng)分析了LED屏的亮度動態(tài)范圍、色域及高動態(tài)范圍顯示所需的條件,探討了LED顯示屏顯示HDR圖像及視頻的可行性及關(guān)鍵技術(shù)。但現(xiàn)階段主流的圖像視頻格式依舊是LDR格式,如sRGB圖像。因此圖片在獲取、存儲及顯示過程中并不是HDR。想要在LED屏上顯示HDR圖片,就需要研究從LDR圖像來獲得HDR圖像的方法。通過這些處理方法就可以從sRGB 圖像視頻生成HDR視頻,并在LED顯示屏上顯示。
近年來,通過LDR圖像產(chǎn)生HDR圖像這個問題已經(jīng)得到了廣泛的關(guān)注及研究,許多國內(nèi)外學(xué)者都提出了解決此問題的方法,這些方法統(tǒng)稱為反色調(diào)映射。圖2給出了采用反色調(diào)映射方法將LDR轉(zhuǎn)換為HDR的效果對比,可以看出LDR圖片通過反色調(diào)映射后巖石細節(jié)紋理變得可見了。本節(jié)主要描述目前已有的通過LDR內(nèi)容來獲得HDR圖像或視頻的方法。

圖2 LDR轉(zhuǎn)換為HDR(轉(zhuǎn)換后巖石的紋理變得清晰可見)
全局模型針對LDR圖像中的每一個像素,采用相同的全局擴展函數(shù)。文獻[9]提出一種基于功率函數(shù)的擴展方法。選取特定的門限值,對像素值大于門限值的像素進行指數(shù)擴展。該技術(shù)可以基于圖像的光照(image-based lighting,IBL)產(chǎn)生合適的HDR光測圖,但它的缺點是沒有對噪聲帶來的不連續(xù)性進行處理,會產(chǎn)生偽像,因此,無法生成能夠在HDR監(jiān)視器上顯示的質(zhì)量較好的圖像或視頻。
分類模型首先對LDR圖像內(nèi)容進行分區(qū),然后對不同的區(qū)域分別進行擴展。文獻[10-11]提出一種反色調(diào)映射算法,該算法首先自動分割LDR圖像中的高光反射區(qū),之后利用HDR監(jiān)視器提供的附加動態(tài)范圍來增強這些區(qū)域。這種反色調(diào)映射算法的重點是檢測LDR圖像的散射部分和高光反射部分,并用不同的函數(shù)對這兩部分進行擴展,此算法主要針對HDR監(jiān)視器的高光重建。文獻[12]提出了一種增強LDR視頻亮度的交互系統(tǒng),其主要思想是將一個LDR場景分成三個區(qū)域,其中包括散射區(qū)、反射區(qū)和光源區(qū)。由于增強散射部分會產(chǎn)生視覺偽像,該算法提出只通過增強反射區(qū)和光源區(qū)部分來實現(xiàn)LDR向HDR視頻的轉(zhuǎn)換。該交互系統(tǒng)由預(yù)處理、分類以及截斷區(qū)域的增強三部分組成,同時為了避免在拉升過程中產(chǎn)生偽輪廓,需要采用一個雙線性濾波器對亮度通道進行濾波,分為細節(jié)層和基礎(chǔ)層,在圖像亮度擴展后再對細節(jié)層與基礎(chǔ)層進行合并。
文獻[13-14]給出了LDR的一般擴展映射模型框架。在該框架中,首先是對輸入圖像線性化(在線性化的過程中,若相機響應(yīng)曲線已知,就將其反函數(shù)用于輸入圖像的線性化;否則,就采用一般的線性化方法);其次,用反色調(diào)映射擴展圖像范圍;最后,對初始擴展后的LDR圖像和原始圖像進行合并,合并過程采用線性插值方法。
總體而言,現(xiàn)階段HDR技術(shù)從成像到顯示端的技術(shù)探討都已較為成熟,但離實際產(chǎn)品普及應(yīng)用還有一定距離。LED顯示屏在一定環(huán)境條件下,通過合適的調(diào)控可以作為HDR顯示終端。而主流的LDR視頻源需要通過特有的算法進行HDR擴展才能使其在LED顯示屏上獲得良好的顯示效果。
[1] Sobel R. Improving the Retinex algorithm for rendering wide dynamic range photographs [J]. Electron. Imag., 2004, vol.13(1): 65~74.
[2] Reinhard E, Stark M, Shirley P, et al. Photographic tone reproduction for digital images[J]. ACM Transactions on Graphics (TOG), 2002, 21(3): 267-276.
[3] Drago F, Myszkowski K, Annen T, et al. Adaptive logarithmic mapping for displaying high contrast scenes[C] // Computer Graphics Forum. Blackwell Publishing, Inc, 2003, 22(3):419- 426.
[4] Guarnieri G, Albani L, Ramponi G. Image-splitting techniques fora dual-layer high dynamic range LCD display [J]. Journal of ElectronicImaging, 2008, 17(4):043009-043009-9.
[5] Seetzen H, Heidrich W, Stuerzlinger W, et al. High dynamic range display systems [C]∥ ACM Transactions on Graphics (TOG). ACM, 2004, 23(3):760-768.
[6] Ruppertsberg A I, Bloj M, Banterle F, et al. Displaying colourimetrically calibrated images on a high dynamic range display [J]. Journal of Visual Communication and Image Representation,2007, 18(5):429-438.
[7] Burini N, Nadernejad E, Korhonen J, et al. Modeling power-constrained optimal backlight dimming for color displays [J]. Journal of Display Technology, 2013, 9(8):656-665.
[8] 郭碧輝,姚劍敏,郭太良,等. 基于LCD-FED 雙屏結(jié)構(gòu)的高動態(tài)范圍顯示系統(tǒng)[J]. 光電子·激光,2013,2: 11.
[9] Landis H. Production-ready global illumination [EB / OL]. [2011—09~133]. http: //www.spherevfx. co. uk/downloads/ProductionReadyGL.pdf.
[10] Meylan L, Daly S, Süsstrunk S. The Reproduction of Specular Highlights on High Dynamic Range Displays[C]// Color and Imaging Conference. 2006:333-338(6).
[11] Meylan L, Daly S, Süsstrunk S. Tone mapping for high-dynamic range displays[J]. Proc Spie, 2007, 6492.
[12] Didyk P, Mantiuk R, Hein M, et al. Enhancement of Bright Video Features for HDR Displays[J]. Computer Graphics Forum, 2008, 27(4):1265-1274.
[13] Banterle F, Ledda P, Debattista K, et al. Inverse tone mapping[C]// International Conference on Computer Graphics and Interactive Techniques in Australasia and Southeast Asia. ACM, 2006:349—356.
[14] Banterle F, Ledda P, Debattista K, et al. A framework for inverse tone mapping[J]. Visual Computer, 2007, 23(7):467-478.