一種基于曝光補償與顏色信息融合的背景減除法

張小駿　劉志鏡　陳昆

以高斯模型為基礎(chǔ)，提出了抑制噪聲影響的模型更新參數(shù)設(shè)置條件。結(jié)合攝像系統(tǒng)的工作原理，提出了針對攝像系統(tǒng)曝光波動以及環(huán)境光照變化的亮度補償辦法。通過對RGB三個顏色通道的分割結(jié)果進(jìn)行邏輯運算，將顏色信息融合使用于前景圖像的分割。從實驗情況看，本文提出的辦法收到了一定的改善效果。

【關(guān)鍵詞】背景減除法 噪聲 顏色融合 曝光補償

背景減除法是一種常用的運動目標(biāo)檢測方法，分兩個步驟：一是背景建模，二是當(dāng)前幀與背景差分，設(shè)置合適的容差閾值，獲得運動目標(biāo)的前景二值圖。這種方法原理簡單，在一些場合使用取得了不錯的檢出效果，但當(dāng)運動目標(biāo)的灰度與背景較為接近時，常因前景與背景的像素值差異未超過閾值而檢出不足，前景圖像丟失較多。然而通過降低閾值來提高檢出度，卻受到了容差效果的制約。這是由于當(dāng)前幀圖像和背景模型均與實際情況存在誤差，為防止當(dāng)前幀中的背景部分被誤檢出，閾值往往需要大于當(dāng)前幀中的背景部分與背景模型對應(yīng)部分的最大可能差異，也就是大于雙方誤差幅度之和，這就限制了閾值的下調(diào)空間。為改善背景減除法的效果，多年來人們開展了很多研究。從傳統(tǒng)的滑動窗口平均法、設(shè)置學(xué)習(xí)速度的強制更新法、排除前景影響的異步更新法等整體性的建模和更新方法，到各種逐像素的建模與更新方法，對模型的描述細(xì)度已達(dá)到像素級，模型精度在逐步提高。比如Stauffer和Grimson提出的混合高斯模型（Mixture of Gaussian），在單高斯模型的基礎(chǔ)上，使用多個高斯峰來表征背景的微小變化，在對噪聲進(jìn)行適當(dāng)容錯的同時，較好地適應(yīng)了環(huán)境中樹葉搖動等類的微小波動，效果較為突出；Tuzel等采用遞歸貝葉斯學(xué)習(xí)方法估計每個高斯峰的均值和方差分布，使得各像素所需高斯峰的數(shù)量分配趨于合理；Kim H等使用廣義高斯函數(shù)對混合高斯模型進(jìn)行改進(jìn)，也收到了一定的效果。此外，使用核密度模型估計背景模式的分量、使用運動模型估計像素的變化等方法，均在某些方面取得了一定的效果。但所有這些方法對像素的考察往往使用單特征，比如亮度等。這就使得前景與背景在像素值差異較小時難以區(qū)別。近年來，多特征的研究逐步進(jìn)入人們視野，比如LBP，像素梯度，紋理等局部結(jié)構(gòu)特征，但這些特征極易受噪聲的影響，相對脆弱。于是顏色信息作為一種魯棒性較強的圖像特征越來越得到人們的重視。比如，強振平等使用顏色和紋理信息構(gòu)建背景模型，通過雙層判斷來檢測運動目標(biāo)；鄧宇等使用顏色信息，結(jié)合梯度特征，構(gòu)造能量函數(shù)，用圖切割區(qū)別前景與背景，收到了較好的效果。

視頻圖像的精度是運動目標(biāo)檢測的重要基礎(chǔ)，而攝像系統(tǒng)則是視頻圖像的精度保證。實際上攝像系統(tǒng)對圖像精度的影響不僅表現(xiàn)在我們最關(guān)注的圖像噪聲上，還表現(xiàn)在其內(nèi)參數(shù)的頻繁波動上，比如，Aptina公司圖像傳感器的增益級別普遍多達(dá)128級，這使其在環(huán)境變化或拍攝對象變化的過程中常處于波動之中。正是由于攝像系統(tǒng)內(nèi)參數(shù)的經(jīng)常性波動，才使得背景模型與當(dāng)前幀之間產(chǎn)生脫節(jié)，形成誤差。

基于以上考慮，本文提出一種基于亮度補償與顏色信息融合的背景減除法。

1 背景模型的建立與更新

上面我們通過模型更新參數(shù)的控制有效地消除了噪聲對模型像素值精度的影響，較高精度地獲得了背景模型自身的期望值B0（=B）。但是從組成上看，B0=aib0i并不完全等同于當(dāng)前幀中背景像素的期望值f0（不被遮攔時），只有在整個有效窗口期K內(nèi)以及當(dāng)前幀的曝光水平和光照水平穩(wěn)定不變，使得b0i=b0j=f0（i，j=1，2，…k）時，才有 B0=aib0i=f0。而實際情況中，由于攝像系統(tǒng)自動增益反饋，自動白平衡反饋，自動曝光的頻繁動作以及光照變化的存在，條件b0i=b0j=f0（i，j=1，2，…k）往往不能成立，這種情況下，即使克服了噪聲的影響高精度地獲得了B0（=B），仍無法消除背景模型值B與當(dāng)前幀中背景像素的期望值f0之間的差異，從而在使用背景減除法時不得不設(shè)置更大的容差閾值來容納這種差異，這對前景目標(biāo)的分割是不利的，尤其是在前景與背景像素直接近時。另外，在存在前景遮攔的時候，被遮攔點的背景模型的有效窗口位置也不同，其模型值沒有反映該點后續(xù)可能存在的由光照變化及曝光波動等引起的變化，因此，相對于該點如果不被遮攔，也會產(chǎn)生額外的差異。下面我們根據(jù)攝像系統(tǒng)的工作原理，具體分析上述差異的產(chǎn)生，并提出相應(yīng)的補償修正方法。

3 曝光水平波動及光照變化條件下背景模型更新方式的修正

攝像系統(tǒng)的曝光水平波動來源于自動增益反饋，自動白平衡反饋和自動曝光的頻繁動作。考慮攝像頭中像素值f與像素受到光照強度E的關(guān)系。

攝像系統(tǒng)工作時，由于自動增益和自動白平衡反饋的作用，增益系數(shù)G會隨光照變化和前景目標(biāo)的出現(xiàn)或運動頻繁調(diào)整，形成曝光水平波動。由于白平衡的調(diào)整會使RGB三色的分量增益變化比例不同，導(dǎo)致不同顏色的像素亮度增益水平變化比例不同，為避免問題復(fù)雜化，同時也為了下一步融合使用顏色信息，我們將彩色視頻信號按照RGB分量分別單獨考察，這樣一來，G是全局嚴(yán)格一致的，避開了白平衡的問題。

環(huán)境光照變化分兩種情況，一種是結(jié)構(gòu)性變化，比如側(cè)射光的出現(xiàn)，這顯然可理解為背景發(fā)生的客觀變化；另一種是整體性變化，即各點處的變化幅度基本上是等比例的，比如室外自然光照的變化，照明光源的波動等等，這種情況最常出現(xiàn)和普遍，本文主要考慮這種光照變化的影響。

攝像系統(tǒng)自動曝光功能主要之一是應(yīng)對照明光源的波動。目前絕大多數(shù)照明光源均有亮度波動，有些甚至波動深度很大，比如鐵芯普通熒光燈波動深度就達(dá)55%。為消除光源波動的影響，攝像系統(tǒng)的自動曝光功能會根據(jù)光源頻率自動調(diào)節(jié)幀頻，使曝光時間成為光源波動周期的整數(shù)倍。但是由于光源波動本身的不穩(wěn)定，照度波動在一定程度上依然存在。然而這種照度波動的影響是全局等比例的，因此我們將其歸為環(huán)境光照的整體變化一并考慮。

由式（11）可見，變化之后的G與E共同作用決定了像素值的變化。因此我們將GE乘積作為整體加以考慮，稱其為有效光照強度。endprint

6 實驗與分析

本文選擇與行人穿著較為接近的背景拍攝視頻。首先拍攝一段時間的背景，然后行人進(jìn)入，行人出畫面后，再拍攝一段背景。為便于檢驗本文算法的效果，后段背景的拍攝中，人為地調(diào)整攝像頭的光圈，使畫面亮度發(fā)生明顯變化，模擬環(huán)境光照變化，觸發(fā)攝像機的自動增益反饋動作。然后使用前期穩(wěn)定的背景視頻和后期不穩(wěn)定的背景視頻分別建模。背景建模使用兩種方法對比，一種是使用灰度圖按傳統(tǒng)方法，如公式（1）；另一種是本文方法，按RGB三通道分別建模，如公式（20）。在使用本文方法進(jìn)行前景圖像分割時，做如下對比實驗：一種是按式（21）進(jìn)行有效光照變化的補償，另一種不補償。

為提高模型精度，本文設(shè)置模型更新的學(xué)習(xí)系數(shù)為0.03，據(jù)實測，視頻中除個別點外，均方差均小于3，這樣，由于圖像噪聲影響使模型值偏離其期望值1個灰度級的概率就小于1%。

為使實驗效果具有可比性，上述對比實驗的參數(shù)設(shè)置均相同，包括建模時間，模型更新的學(xué)習(xí)系數(shù)，二值化閾值等。下面是實驗結(jié)果：

6.1 顏色信息融合使用的分割效果

使用穩(wěn)定背景視頻建立的的背景模型，分割效果如圖1所示。

可以看到，使用灰度圖進(jìn)行分割，人的下部丟失較多，因為褲子與背景灰度接近。使用RGB通道分別進(jìn)行分割，則各有檢出和丟失，但部位有所不同，這樣在使用RGB各自的結(jié)果進(jìn)行邏輯運算時，檢出部分就互補了，從RGB融合分割結(jié)果看，分割效果有了較明顯的提高。

6.2 對有效光照波動變化的補償效果

使用不穩(wěn)定背景視頻建立的背景模型，以R通道為例考察對背景進(jìn)行補償與不補償?shù)姆指钚Ч⑴c灰度圖的分割效果做比較，如圖2所示。

可以看到，在不補償?shù)那闆r下，R通道與灰度圖的分割效果均不理想，這是因為在模型的有效窗口期內(nèi)平均的有效光照水平與當(dāng)前幀有較大差別，一些部位已超出了容差閾值，從而形成較多噪點和黏連。而經(jīng)過對模型進(jìn)行光照變化的補償，其分割效果得到了明顯的改善，說明本文提出的補償方法是有必要的，也有一定效果。下面表1是使用穩(wěn)定視頻與不穩(wěn)定視頻分別建立的兩種背景模型的像素值（R通道）變化均勻性的采樣統(tǒng)計表，采樣窗口共9個，均勻分布于圖上，每個窗口約包含2000個像素。

從表1中可以看出，對于單通道來說，攝像機內(nèi)部增益波動以及環(huán)境光變化引起的像素值變化比例是基本相等的。

7 結(jié)束語

本文通過高斯模型分析了噪聲對背景模型的影響，并量化地提出了抑制噪聲影響的模型更新參數(shù)設(shè)置條件。通過對模型誤差的進(jìn)一步分析，結(jié)合攝像系統(tǒng)的工作原理，提出了針對攝像系統(tǒng)內(nèi)參數(shù)波動以及環(huán)境光照變化的模型更新辦法和相應(yīng)補償辦法。通過分色建立背景模型，將顏色信息融合使用于前景圖像的分割，對使用多種線索綜合進(jìn)行前景判斷進(jìn)行了有益的嘗試。從實驗情況看，本文提出的辦法有一定的改善效果。本文對于攝像系統(tǒng)工作機制的分析偏于理論，而現(xiàn)在大量的攝像頭進(jìn)行Gamma校正時都是使用的分段近似，與理論是有差別的。此外，本文方法沒有考慮像素之間的關(guān)系，也沒有使用圖像的微觀結(jié)構(gòu)信息，這些都是下一步需要深入研究和改進(jìn)的地方。

參考文獻(xiàn)

[1]王亮，胡衛(wèi)明，譚鐵牛.人運動的視覺分析綜述[J].計算機學(xué)報，2002，25（3）：225-237.

[2]Koller D，Weber J，Huang T，et al. Towards robust automatic traffic scene analysis in real-time[C]// The 12th International Computer Vision and Image Processing Conference，1994：126-131.

[3]Stauffer C，Grimson W E L.Adaptive background mixture models for real-time tracking.In：Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Fort Collins，USA：IEEE，1999：23-25.

[4]Wren C，Azarbayejani A，Darrell T，et al.Pfinder：realtime tracking of the human body[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19（7）：780-785.

[5]Tuzel O，Porikli F，Meer P.A Bayesian approach to background modeling.In：Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington D.C.，USA：IEEE，2005：58-65.

[6]Kim H，Sakamoto R，Kitahara I，Toriyama T，Kogure K.Background subtraction using generalised Gaussian family model.IEEE Electronics Letters， 2008，44（3）：189-190.

[7]Elgammal A，Duraisewami R， Harwood D， Davis L S.Background and foreground modeling using nonparametric kernel density estimation for visual surveillance. Proceedings of IEEE， 2002，90（7）：1151-1163.endprint

[8]Elgammal A，Harwood D， Davis L S. nonparametric model for background subtracting[C].Proceedings of 6th European Conference on Computer Vision， Dublin，2000，751-767.

[9]Monnet A，Mittal A，Paragios N， Visvanathan R.Background modeling and subtraction of dynamic scenes.In：Proceedings of the 9th International Conference on Computer Vision.Washington D.C.，USA：IEEE，2003，1305-1312.

[10]Heikkila M，Pietikainen M.A texture-based method for modeling the background and detecting moving objects.IEEE Transactions on Pattern Analysis and Machine Intelligence.2006，28（4）：657-662.

[11]徐劍，丁曉青，王生進(jìn)等.一種融合局部紋理和顏色信息的背景減除法[J].自動化學(xué)報，2009，35（9）：1145-1150.

[12]強振平，陳旭，劉鑫.基于顏色和紋理特征背景模型的多層差分運動目標(biāo)檢測算法[J].計算機應(yīng)用，2009，29（6）：227-230.

[13]鄧宇，李振波，李華.圖切割支持的融合顏色和梯度特征的實時背景減除法[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報 ，2006，18（11）：1741-1747.

[14]張旗，梁德群，樊鑫等.基于小波域的圖像噪聲類型識別與估計[J].紅外與毫米波學(xué)報，2004，23（4）：281-285.

作者簡介

張小駿（1964-），男，西安電子科技大學(xué)計算機學(xué)院博士研究生。主要研究方向為視頻智能監(jiān)控。

作者單位

西安電子科技大學(xué)計算機學(xué)院 陜西省西安市 710071endprint