數(shù)字攝像機的高動態(tài)范圍曝光算法及實現(xiàn)

楊 鑌,王延長,李培弘,劉濟林

(浙江大學(xué)信息與通信工程研究所,杭州 310027)

在月球車自主漫游、道路檢測、隧道監(jiān)測、金屬焊接實時檢測、智能交通等相關(guān)領(lǐng)域,圖像信息作為最前端的信息輸入直接影響著后端機器視覺算法執(zhí)行的效果。這些領(lǐng)域?qū)z像機的動態(tài)范圍和曝光模式提出了苛刻的要求。為此,本文提出了一種基于對數(shù)曲線響應(yīng)功能傳感器的曝光算法,在過曝光情況下,利用分段曝光及對數(shù)曲線響應(yīng)曝光的方法對圖像進行處理,算法對感興區(qū)間與自適應(yīng)判別的目標區(qū)間進行評估,動態(tài)調(diào)節(jié)分段閾值及相關(guān)的電壓參數(shù),從而實現(xiàn)對過曝區(qū)域的信息復(fù)原,提升攝像系統(tǒng)的動態(tài)范圍。

1 相關(guān)研究

當前的曝光算法均基于傳統(tǒng)的傳感器模式。由于絕大多數(shù)的攝像系統(tǒng)并不存在機械快門,改變曝光時間長短及模擬/數(shù)字增益成為控制曝光量大小的唯一途徑。一種較為簡單的自動曝光控制方法是評估當前圖像的亮度,并將它與用戶自定義的理想指標相比較,通過控制電路增大或縮短曝光時間,增強或減弱模擬/數(shù)字增益值,逐漸逼近理想亮度區(qū)間[1],這類算法對過曝圖像或者過暗圖像的曝光控制結(jié)果會顯得過暗或過亮。另一些比較普遍的曝光算法即通過研究不同光照條件下的亮度與曝光值之間的關(guān)系來進行曝光控制[2-5],或?qū)D像分為幾個不同權(quán)值區(qū)域[6-7]進行曝光評估,這些算法依然受到來自傳感器的硬件限制。

為了克服單幀圖像動態(tài)范圍的限制,一類基于多曝光融合進行動態(tài)范圍增強的相關(guān)算法開始應(yīng)用。Goshtasby[8]對同一場景攝取不同曝光參數(shù)下的多副圖像,對圖像進行分塊,求取圖像序列中單幀圖像每個圖像塊的信息熵,并將擁有最大信息量的圖像塊保存下來,合并成新的場景圖像。Szeliski[9]通過對一系列不同曝光參數(shù)圖像的相同位置像素求平均,再利用直方圖均衡將平均圖像映射到新的強度上從而增大單幀圖像的動態(tài)范圍。這類方法規(guī)避了單曝光參數(shù)下攝像系統(tǒng)在圖像動態(tài)范圍上的缺陷,通過多曝光圖像的拼接從而獲得對比細節(jié)豐富的圖像,大大提高了圖像的動態(tài)范圍,對于沒有實時性要求的靜態(tài)圖像系統(tǒng),該方法效果較好,但對于實時性需求較高的系統(tǒng)不能滿足要求。

2 對數(shù)曲線響應(yīng)傳感器

2.1 輻射照度響應(yīng)函數(shù)

輻射照度響應(yīng)函數(shù)即相機接收到的場景光強幅度 L與最終成像的像素亮度值 B相關(guān)聯(lián)的函數(shù)。

傳統(tǒng)傳感器的響應(yīng)函數(shù)如圖1所示[8]。圖像中的單色像素灰度值并非實際場景中光強的真實反映,受成像過程中電子元器件各種非線性因素的影響,響應(yīng)函數(shù)呈現(xiàn)出單調(diào)遞增的曲線。這種曲線在數(shù)字處理過程中常被模擬為線性遞增函數(shù)。如圖 2所示。

圖1 相機響應(yīng)曲線

圖2 輻射響應(yīng)曲線的線性模擬

當輻射光強 L超出傳感器的量程時,就會呈現(xiàn)出過曝現(xiàn)象。這種約束也極大地限制了圖像的動態(tài)范圍。

2.2 對數(shù)曲線響應(yīng)傳感器原理

對數(shù)曲線響應(yīng)傳感器將輻射響應(yīng)曲線的高亮度區(qū)段近似為對數(shù)函數(shù)曲線,本文利用 Photonfocus公司的 OEM-D1024E CMOS圖像傳感器進行實驗,其輻射響應(yīng)曲線如圖 3所示[11]。

圖3 對數(shù)曲線響應(yīng)傳感器的輻射響應(yīng)曲線

對數(shù)曲線響應(yīng)傳感器將整個響應(yīng)過程模擬類對數(shù)曲線,以近似對數(shù)函數(shù)的響應(yīng)方式響應(yīng)光亮信息,并將其轉(zhuǎn)化為有效的電壓信息傳遞給視覺系統(tǒng),從而提高整幅圖像的動態(tài)范圍。

傳感器原理使分段曝光的控制成為可能[11]。圖4給出一種 3段式曝光響應(yīng)曲線。整個曝光過程分為三段處理：原點至拐點 a的線性段、拐點 a、b間的低對數(shù)曲線段、拐點 b后的高對數(shù)曲線段。線性段主要對應(yīng)低光強區(qū)域,以線性響應(yīng)方式將光強信息轉(zhuǎn)化為電平信息進行處理。低對數(shù)曲線段使用了低光強模式,響應(yīng)曲線以對數(shù)曲線形式反饋光強信息,對中等亮度區(qū)域進行處理。高對數(shù)曲線段增強了對數(shù)曲線段曝光電平,對高亮像素進行廣電轉(zhuǎn)換,保證了原來在線性條件下過曝的區(qū)域復(fù)原了部分細節(jié)信息。

圖4 三段式輻射響應(yīng)曲線

3 算法流程

算法分為兩個部分：感興區(qū)間及目標區(qū)間的曝光調(diào)整,流程如圖 5所示。

圖5 算法流程圖

(1)感興區(qū)間調(diào)整 區(qū)間的灰度評估和線性曝光調(diào)整;

(2)目標區(qū)間調(diào)整 區(qū)間的對比度評估和曲線響應(yīng)曝光,整個曝光過程涉及兩個關(guān)鍵參數(shù)：曝光時段、曝光電平[12]。

3.1 感興區(qū)間與目標區(qū)間

由于視覺系統(tǒng)應(yīng)用的范圍極廣,實際場景復(fù)雜多變,算法需要對所關(guān)注的場景進行區(qū)間劃分,對應(yīng)曝光曲線的分段組成。

區(qū)間劃分主要包括兩個區(qū)間的選擇,感興區(qū)間與目標區(qū)間。感興區(qū)間表示視覺系統(tǒng)所最為關(guān)心的區(qū)域,該區(qū)域的圖像細節(jié)對于整體圖像處理而言權(quán)重系數(shù)最大。對數(shù)曲線響應(yīng)曝光算法的首要任務(wù)是保證感興區(qū)間的細節(jié)完整度。因而,感興區(qū)間的輻射響應(yīng)曲線應(yīng)盡量呈現(xiàn)線性狀態(tài)。目標區(qū)間表征了圖像過曝區(qū)域,該區(qū)域由算法自適應(yīng)計算,對應(yīng)輻射響應(yīng)曲線中的對數(shù)曲線段。感興區(qū)間的選擇為人工選擇,根據(jù)不同的系統(tǒng)應(yīng)用自定義區(qū)間范圍,以圖 6為例,圖 6為模擬月球表面環(huán)境場景,為看清月球車車身細節(jié),我們將月球車車身設(shè)置為感興區(qū)間。線性曝光調(diào)整穩(wěn)定后,由于沙土的反光效果而在圖像中形成兩塊過曝區(qū)域,它們將被自動判別為目標區(qū)間,并將通過對數(shù)曲線響應(yīng)方式進行曝光。

圖6 算法區(qū)域分布圖

為了滿足系統(tǒng)的實時性,算法將盡量與可編程器件(FPGA)相融合,并精簡結(jié)構(gòu)。目標區(qū)間判定算法如下：

(1)圖像二值化,將圖像中高亮度區(qū)域(灰度值255)與其余區(qū)域分割開;

(2)掃描線種子填充算法[13-14]填充過曝區(qū)域,并統(tǒng)計運算過程中過曝區(qū)域的邊界信息及像素點數(shù)目。

圖像二值化操作在 FPGA流水線中完成,整個流程附加一個比較器,由于像素位寬為 8比特,最低位的數(shù)值對圖像內(nèi)容基本沒有影響,系統(tǒng)將最低位映射為與 255的比較輸出。整合方法將使原本在CPU中運算的二值化時間復(fù)雜度由 O(N)降低為O(1)。二值化模塊如圖 7所示。掃描線種子填充是本文算法中唯一在 CPU中處理的模塊,對于一副512×512的圖像,掃描線種子填充算法的時間成本控制在 20ms以內(nèi)[10],滿足實時要求。

圖7 基于FPGA的圖像二值化模塊

感興區(qū)間和目標區(qū)間的邊界信息被傳遞給 FPGA,并進入圖像評估模塊。

3.2 圖像評估模塊

對于感興區(qū)間的灰度評估將更多的關(guān)注算法復(fù)雜度及實時性的需求。由于線性曝光區(qū)域的細節(jié)保留較為完整,本算法將應(yīng)用基于 FPGA的區(qū)域平均及逼近迭代算法。

區(qū)域平均算法將統(tǒng)計感興區(qū)間內(nèi)所有的像素點的灰度值,取均值后與閾值區(qū)間相比較,當灰度平均值位于設(shè)定閾值區(qū)間內(nèi)時,表明當前的線性曝光參數(shù)已滿足系統(tǒng)要求。當灰度平均值在閾值區(qū)間外時,將采用迭代迫近法調(diào)整線性曝光參數(shù)(見§3.3)。

灰度平均值的計算通過可編程邏輯器件(FPGA)中進行并行計算,時間復(fù)雜度為 O(1),如圖 8所示。條件選擇器的界定參數(shù)包含了感興區(qū)域的邊界信息。

圖8 基于FPGA的灰度評估模塊

當感興區(qū)間處于穩(wěn)定曝光狀態(tài)后,將對目標區(qū)間進行對比度評估。

對比度指的是一幅圖像中明暗區(qū)域最亮的白和最暗的黑之間不同亮度層級的測量。在本算法中,結(jié)合 FPGA的特點,提出了一種基于直方圖灰度標準差評估方法。對于大小為 M×N的目標區(qū)間 w內(nèi)每個像素點 In,取目標區(qū)間內(nèi)的均值：

然后求取目標區(qū)間內(nèi)的灰度標準差 GSD(Grayscale Standard Deviation)

將式(3)中根號內(nèi)部展開得到：

由式(4)可知,在進行對比度評估過程中可以通過一個乘法器及一個累加器在 FPGA中實現(xiàn)灰度標準差評估模塊,如圖 9所示。條件選擇器的界定參數(shù)包含了過曝區(qū)域的邊界信息。

圖9 基于 FPGA的 GSD評估模塊

由于乘法器的固定延時在 FPGA流水線的工作模式下對圖像傳輸沒有影響,整個系統(tǒng)的時間復(fù)雜度亦等于 O(1)。

3.3 曝光參數(shù)控制模塊

感興區(qū)間的圖像評估完成后,根據(jù)評估結(jié)果進行迭代逼近調(diào)整。假設(shè)當前的圖像灰度均值,當前的曝光參數(shù) Ew,理想狀態(tài)下的圖像灰度值,由于圖像灰度與曝光值在一定程度上近似線性關(guān)系,則目標曝光參數(shù) E的公式如下：

對比步進法,迭代逼近法周期更短,圖像的狀態(tài)轉(zhuǎn)換能在較少的幀間完成,且所有運算僅涉及到乘法器,可以在FPGA中利用硬件資源完成,時間復(fù)雜度為O(1)。

目標區(qū)間的曝光參數(shù)算法將遵循步進法進行調(diào)整。以三段式曝光為例,主要的曝光參數(shù)包括 T1,T2(曝光時間段,以曝光時間 100歸一化),V1,V2(曝光電平,0～20,對應(yīng)的曲線斜率等級)。參數(shù)相互間的的曝光特性曲線如圖 10所示[11]

圖10 對數(shù)曲線傳感器曝光特性曲線

在 T1時間段內(nèi)以電壓 T1進行光電信息轉(zhuǎn)換,在 T2時間段內(nèi)變換電壓為 V2。

依據(jù)曝光特性曲線及目標區(qū)間的圖像評估,算法流程為：

(1)設(shè)置 T1=T2,V1=V2=V,步進調(diào)整電壓 V使目標區(qū)間灰度均值位于高亮度區(qū)間,記錄當前的V值作為最終的 V1值。

(2)設(shè)置 T1=T2,V1=V2=V,步進調(diào)整電壓 V使目標區(qū)間灰度均值位于低亮度之間,記錄當前的V值作為最終的 V2值。

(3)步進調(diào)整 T1,使目標區(qū)間的 GSD獲得 7個步進單位(14-20)中的區(qū)域最優(yōu)解。記錄 T1。

第 1和第 2階段通過計算目標區(qū)間的灰度均值,在不同的灰度閾值區(qū)間內(nèi)獲取曝光參數(shù)中的V1,V2,閾值區(qū)間保證了目標區(qū)間的圖像復(fù)原包含了較大的灰度跨度。第 3階段依據(jù)基于灰度標準差的對比度評估計算和調(diào)整曝光時間 T1,將目標區(qū)間的灰度進行擴展,最大化細節(jié)恢復(fù)的程度。

4 實驗結(jié)果

在明暗對比強烈的場景下獲取了普通曝光與基于對數(shù)曲線響應(yīng)傳感器的高動態(tài)范圍曝光結(jié)果如圖 11所示(我們設(shè)置室內(nèi)區(qū)域為感興區(qū)間)。

圖11(a)為室內(nèi)場景原圖,窗外區(qū)域過曝造成細節(jié)丟失。將感興區(qū)間設(shè)定為室內(nèi)部分區(qū)域,

算法自動將窗外區(qū)域設(shè)定為目標區(qū)間,如圖 11(c)。經(jīng)過對數(shù)曲線響應(yīng)曝光算法,窗外細節(jié)得到很大程度上的復(fù)原。原圖與對數(shù)曲線響應(yīng)曝光后圖像的灰度直方圖如圖 12所示。

圖11 普通曝光與對數(shù)曲線響應(yīng)曝光結(jié)果

圖12 實驗前后圖像直方圖比較

感興區(qū)間細節(jié)部分并沒受到影響,處理前后直方圖分布大致相同,而目標區(qū)間的直方圖對比度則明顯增強,分布更廣,細節(jié)更豐富。圖像動態(tài)范圍約110 dB,接近傳感器 120 dB極限。

本文算法實時性分析如表 1所示(以 512×512圖像為例)。

時間復(fù)雜度為 O(1)表示算法模塊在 FPGA流水線中完成,無需額外時間損耗,對于一副 512×512的圖像,除去邏輯損耗,處理速率接近 40幀/s。

本文算法與圖像分區(qū)曝光算法、多曝光圖像拼接算法的性能比較如表 2所示。

表1 算法實時性分析

表2 3種自動曝光算法比較

5 結(jié)語

對數(shù)曲線響應(yīng)傳感器的研究尚處于起步階段,本文針對傳感器的特點,提出了一種分段性曲線曝光的自動算法,能夠自動評估圖像亮度等級,處理實際場景中明暗跨度大,逆光強烈等情況,在機器視覺領(lǐng)域具有廣闊的應(yīng)用前景。同時算法與可編程邏輯器件緊密融合,通過硬件的并行計算降低了軟件層次的時間復(fù)雜度,從而保證前端視覺系統(tǒng)的實時性。

[1]Cho M,Lee S G,Nam B D.The Fast Auto-Exposure Algorithm Based on the Numerical Analysis[C]//Proceedings of the SPIE Conference on Sensors,Cameras,and Applications for Digital Photography,1999,3650：93-99.

[2]徐培鳳,李正明,孫俊.基于圖像的自動曝光算法研究[J].光學(xué)儀器,2005(2)：59-61.

[3]楊海濤,常義林,王靜,等.一種基于亮度直方圖的自動曝光控制方法[J].光學(xué)學(xué)報,2007,27(5)：841-847.

[4]Sampat N,Venkataraman S,Yeh T,et al.System Implications of Implementing Auto-Exposure on Consumer Digital Cameras[C]//Proceedings of the SPIE Conference on Sensors,Cameras,and Applications for Digital Photography,1999,3650：100-107.

[5]王雷斌,張愛武,葉澤田,等.一種自適應(yīng)快速曝光控制方法[J].測繪科學(xué),2009,34(2)：115-117.

[6]甘玉泉,高偉.一種基于圖像分區(qū)的自動曝光算法[J].微計算機信息,2009,25(12)：303-304.

[7]梁佳毅,洪志良.適用于大動態(tài)范圍場景的自動曝光控制算法[J].光電工程,2008,35(5)：89-92.

[8]Goshtasby A.Fusion of Multi-Exposure Images[J].Image and Vision Computing,2005,23(6)：611-618.

[9]Szeliski R.System and Process for Improving the Uniformity of the Exposure and Tone of a Digital Image[P].US,6687400：2004-02-03.

[10]Grossberg M D,Nayar SK.What is the Space of Camera Response Functions[C]//Proceedings of IEEE Computer Vision and Pattern Recognition Wisconsin,USA：IEEE,2003：602-609.

[11]Photonfocus A G.LinLog-Principle and Practical Example[R].Datasheet,2007,2：21.

[12]Harton A V.A High Dynamic Range CMOS Image Sensor with Pixel Level ADC and In-Situ Image Enhancement[J].Proc SPIEIST Electronic Imaging,2005,5677：67-77.

[13]Pal N R,Pal S K.A Review on Image Segmentation Techniques[J].Pattern Recognition,1993,26(9)：1277-1294.

[14]郭文平,龍幫強.掃描線種子填充算法的改進[J].天津工業(yè)大學(xué)學(xué)報,2008,27(2)：48-52.