基于改進(jìn)Sigma-Delta濾波的復(fù)雜場景背景估計

曹倩霞,羅大庸,王正武

(1.中南大學(xué)信息科學(xué)與工程學(xué)院,長沙410075;2.長沙理工大學(xué)公路工程省部共建教育部重點(diǎn)實(shí)驗室,長沙410004)

基于改進(jìn)Sigma-Delta濾波的復(fù)雜場景背景估計

曹倩霞1,2,羅大庸1,王正武2

(1.中南大學(xué)信息科學(xué)與工程學(xué)院,長沙410075;2.長沙理工大學(xué)公路工程省部共建教育部重點(diǎn)實(shí)驗室,長沙410004)

背景估計是運(yùn)動目標(biāo)檢測一項重要的前期工作,在城市交通等復(fù)雜場景中,存在大量慢速或暫停運(yùn)動目標(biāo),背景模型很快受到污染,需要進(jìn)行較多的后續(xù)處理或者采用高復(fù)雜度算法來檢測前景。針對該問題,提出基于Sigma-Delta濾波改進(jìn)的背景估計算法,融合可選擇性背景更新機(jī)制和多頻Sigma-Delta濾波背景估計方法,處理復(fù)雜場景中不同運(yùn)動目標(biāo)的運(yùn)動特征,以獲取穩(wěn)定的背景。通過對典型城市路段和交叉口復(fù)雜交通場景序列進(jìn)行對比實(shí)驗,結(jié)果表明,該算法在保持Sigma-Delta濾波低內(nèi)存消耗和高計算效率的基礎(chǔ)上可獲得更好的檢測效果。

圖像處理;背景差分;背景估計;多頻Sigma-Delta濾波;選擇性背景更新;復(fù)雜場景

1 概述

基于序列圖像的前景檢測是計算機(jī)視覺應(yīng)用中非常重要的前期工作,背景差分是檢測前景目標(biāo)一項很普遍的技術(shù)[1],其思想是建立背景,比較當(dāng)前幀與背景幀之間的差別來獲取運(yùn)動前景,背景模型須精確獲取非運(yùn)動場景,并考慮光照變化和背景更新[2]。

本文提出一種基于Sigma-Delta(又稱Σ-Δ)濾波的算法,利用其計算高效、低內(nèi)存消耗特性,以一種新的思路來解決慢速或短暫停止目標(biāo)的背景估計和檢測,為后續(xù)工作提供更為可靠的結(jié)果。

2 背景介紹

視頻序列背景建模遇到的主要困難在于[3]: (1)系統(tǒng)須在較長一段時間內(nèi)保持連續(xù)工作,無人工交互(如在視頻監(jiān)控系統(tǒng)中),在此過程中,背景應(yīng)適應(yīng)漸變或突變,如光照的緩慢或迅速的變化、場景中出現(xiàn)某一靜態(tài)目標(biāo)。(2)自然場景中背景往往是動態(tài)變化的,如晃動的樹葉、變化的光照及波動的水面等,即使背景是靜止的,攝像機(jī)的抖動及信號噪聲等也會給建立魯棒的背景模型提出挑戰(zhàn)性的要求。(3)系統(tǒng)應(yīng)當(dāng)實(shí)時低耗,算法不過多占用計算內(nèi)存資源。基于像素的背景建模方法主要根據(jù)每個像素在時域上的分布信息構(gòu)造背景模型,一般有參數(shù)化背景建模和非參數(shù)化背景建模方法。參數(shù)化建模方法最簡單的是為背景像素建立單峰概率密度函數(shù),如滑動高斯平均[4];另一種是基于過去K幀每個像素的直方圖值統(tǒng)計分析,其均值、中值或者頻數(shù)最大值被用來估計背景[5];而目前用的較廣泛的是混合高斯模型[6],單個高斯密度函數(shù)不能處理非靜止背景目標(biāo),如樹葉晃動或其他自然變化,一般為每個像素建立N個高斯成分組成的混合高斯概率模型[7]。非參數(shù)背景建模方法則更適合密度函數(shù)較復(fù)雜或者不能被參數(shù)化建模的情況,核密度估計是一種非參數(shù)方法,混合高斯模型和之前方法對連續(xù)逐變場景是非常有效的,但對快速非平穩(wěn)變化的動態(tài)場景無法用一組高斯函數(shù)精確描述,核密度估計則從最近多幀序列中估計每個像素的背景概率來克服此問題[8]。文獻(xiàn)[9]提出改進(jìn)混合高斯模型來處理動態(tài)場景,為每個像素建立分層3D多元高斯模型,并用貝葉斯方法估計每層的均值和方差以及均值和協(xié)方差的概率分布。另一種非參數(shù)方法是碼本模型,碼本是基于像素顏色的背景建模法,它的建模思想是根據(jù)圖像序列中每個像素的顏色距離和亮度,用量化技術(shù)建立一個碼本。文獻(xiàn)[10]提出了一種改進(jìn)的碼本算法,并與原始碼本算法和混合高斯模型比較,獲得較好的結(jié)果,但均不能較好地處理有短暫停留的目標(biāo)。此外,還有一些其他背景建模方法,如考慮預(yù)測策略,通過建模和預(yù)測每個像素的動態(tài)來估計背景[11](如卡曼濾波[12])。

在上述背景建模的3個困難中,前2個說明統(tǒng)計方法必須局部獲取并不斷更新背景,這就排除一些基本方法,如單一模型或基于統(tǒng)計均值或中值,或全局閾值。許多復(fù)雜的算法,如線性預(yù)測、核密度估計等,均基于過去K幀,需要很大內(nèi)存,為了達(dá)到魯棒效果,K需要很大(至少50幀),不適合第3個難點(diǎn)解決。遞歸循環(huán)方法不需要保存每個像素的直方圖,而是固定數(shù)量的估計遞歸計算,而使用線性遞歸很難獲得魯棒背景估計,除非使用多模式分布(如多維高斯模型),但復(fù)雜度和內(nèi)存消耗則相應(yīng)增大。除了考慮計算效率外,著重復(fù)雜場景,如在城市交通環(huán)境,交通流密集、可能的交通擁堵或者車輛排隊造成大量車輛慢速或短暫停車,背景估計算法必須能處理運(yùn)動目標(biāo)由于慢速或短暫的停車融入到背景,在重新運(yùn)動后又出現(xiàn)在前景的現(xiàn)象。目前許多背景差分算法通過目標(biāo)定位和跟蹤依靠后續(xù)后處理或者前景確認(rèn)步驟來提取運(yùn)動前景。

文獻(xiàn)[3]將Σ-Δ引進(jìn)到視頻前景檢測中,給出了理論推導(dǎo)[13],并提出多頻Sigma-Delta濾波算法來處理較復(fù)雜場景,通過計算K套背景來適應(yīng)各運(yùn)動特征[14],對運(yùn)動特征分布較廣的復(fù)雜場景,需建立多套背景,復(fù)雜度隨之大大提升。

本文采取Σ-Δ濾波器的思想,著重適應(yīng)復(fù)雜場景,在算法設(shè)計中使用多頻Sigma-Delta濾波(K≤3)和選擇性部分更新機(jī)制相結(jié)合獲取穩(wěn)定的背景模型,注重何時及怎樣更新背景,避免背景被前景慢行或暫停運(yùn)動目標(biāo)污染,同時適應(yīng)背景正常更新和自然動態(tài)變化。對典型城市路段和交叉口復(fù)雜交通場景序列進(jìn)行測試,比較了改進(jìn)的Sigma-Delta算法與之前Sigma-Delta算法及常用的混合高斯模型結(jié)果,同時評估了各算法計算復(fù)雜度,驗證了方法的優(yōu)越性。

3 基本Sigma-Delta濾波

基本Sigma-Delta濾波算法是一種非線性遞歸循環(huán)計算,具體思路如下:

(1)背景估計:

(2)計算當(dāng)前幀與背景幀差:

(3)方差更新:

(4)如果 Δt(x)＜Vt(x),則 Dt(x)=0;否則, Dt(x)=1。

其中,It為輸入視頻序列;Mt為估計背景值;sgn函數(shù)是通過比較輸入值與背景值,給出-1(小于)、0 (等于)或1(大于)的結(jié)果,通過輸出值累加,用于追蹤實(shí)際背景。可以看出,對每一幀,背景估計的增益為±1,若It為離散隨機(jī)信號,一段時間內(nèi),小于0和大于0的比率應(yīng)接近于1,所以Mt是一種近似中值收斂估計,在慢速或擁擠城市交通環(huán)境下,前景目標(biāo)會逐漸融入背景。Vt是方差圖像,表征像素灰度值的變化,對于無運(yùn)動目標(biāo)穩(wěn)定的背景,方差較小,可作為背景更新閾值。算法中唯一可調(diào)整的參數(shù)是N,一般取值1～4,另一個隱含參數(shù)是統(tǒng)計更新周期,即無需每幀處理,可每P幀執(zhí)行一次處理循環(huán)。Dt是前景像素圖像,可通過比較Δt和Vt獲得,其中Δt為當(dāng)前幀與當(dāng)前估計背景的差值。算法不需使用顏色信息,完全基于灰度圖像處理,進(jìn)一步滿足低計算需求目標(biāo)。

基本Sigma-Delta濾波能有效地處理背景緩變和自然場景中細(xì)微的動態(tài)變化,檢測運(yùn)動目標(biāo)。然而,在復(fù)雜場景中,如城市交通場景中不斷有各種速度特征車輛通過,車輛慢速或暫停情況經(jīng)常出現(xiàn)(尤其在交叉口),而算法更新周期固定,很難適應(yīng)如此復(fù)雜的場景。根據(jù)多維混合高斯模型的思路,文獻(xiàn)[11]提出多頻 Sigma-Delta背景估計來克服此問題,即計算K套背景,每一套背景都有自己的更新周期,混合背景模型由K套背景按一定權(quán)重結(jié)合而成。每套背景的權(quán)重因子直接與其相應(yīng)更新周期成正比,而與相應(yīng)的方差成反比,即對于更新周期長的背景模型賦予更大的權(quán)重,同時,根據(jù)方差大小調(diào)整權(quán)重以適應(yīng)背景的變化。這種算法能處理一定程度上慢速或較短時間暫停車輛及隨機(jī)運(yùn)動目標(biāo),但在城市交通場景中,尤其在路段擁擠或者交叉口紅燈停車時,停車時間較長且長短不一,多頻Sigma-Delta濾波分層太多導(dǎo)致復(fù)雜度大大增加,且由于更新周期長的背景模型權(quán)重大,更新效果不理想。

本文通過引入可選擇性背景更新機(jī)制結(jié)合多頻Sigma-Delta濾波背景估計方法來克服此問題,即對慢速或暫停車輛的前景可選擇暫時不更新背景,直到情況好轉(zhuǎn)。

4 改進(jìn)的Sigma-Delta濾波

在基本Sigma-Delta濾波基礎(chǔ)上引入可選擇性背景更新機(jī)制結(jié)合多頻Sigma-Delta濾波進(jìn)行背景估計,可獲得適應(yīng)光照和背景改變與阻止背景污染之間的平衡,最終目標(biāo)是阻止復(fù)雜場景中慢速和一段時間停止運(yùn)動目標(biāo)融入背景模型,同時不增加原有計算復(fù)雜度。具體算法思路如下所示:

背景更新選擇機(jī)制的實(shí)施通過一個更新周期P,在P幀內(nèi),若Vt≤Vth,方差較小,用檢測率/來判別運(yùn)動狀況,其中,為視頻幀計數(shù);為檢測幀計數(shù)。若檢測率大于80%,說明出現(xiàn)暫停車輛或車輛擁擠情況,此時不更新背景;否則,采用多頻Sigma-Delta濾波更新背景,計算K套(1≤ K≤3)背景。 每個背景有其更新周期αi,αi＜α2＜…＜αk,以適應(yīng)特定的復(fù)雜場景。可如下遞歸計算:,其中,,最終背景Mt由K套背景按一定權(quán)重結(jié)合而成。為了防止不更新背景不斷累積陷入死鎖,設(shè)定了一個最大更新周期Imax,當(dāng)累積的時間達(dá)到最大更新周期,則強(qiáng)制更新,一般Imax可取最大停留時間(如城市交通中最大車輛排隊時間或交叉口的紅燈時間)。

5 實(shí)驗分析

本文將所提算法分別應(yīng)用在典型城市路段和交叉口復(fù)雜交通場景中,并與目前常用的處理較復(fù)雜場景的多維混合高斯模型以及已有的基本Sigma-Delta和多頻Sigma-Delta算法應(yīng)用效果進(jìn)行對比。其中,路段的交通場景使用i-LIDS的PV_ EVAL序列,序列中流量較大,出現(xiàn)了交通擁堵和車輛排隊,此外,還有一輛停留約85 s的路邊停車;交叉口的交通場景使用實(shí)際環(huán)境拍攝(長沙市竹塘西路口東進(jìn)口),圖像大小為720×576像素,序列中包含3個信號周期,其中信號周期為100 s,本相位紅燈時間為75 s。圖1為路段交通場景中的對比結(jié)果,第1列展示的是視頻圖像,第2列為各算法獲得的當(dāng)前背景,第3列為檢測圖像;第1行為多維混合高斯模型應(yīng)用結(jié)果(K=3,α=0.005,T= 0.4),第2行是基本 Sigma-Delta算法結(jié)果(N= 4),第3行是多頻Sigma-Delta背景估計(N=4, K=3,更新周期為1,8,16),第4行是本文提出的改進(jìn)方法(N=4,Vt∈[Vmin,Vmax]=[10,200], Imax=2 125,為可能最大排隊長度,Vth=38。考慮到實(shí)際車長車速,設(shè)定P=25,K=3,更新周期為1,5,25,更能較好地描述場景中背景緩變、自然動態(tài)變化和慢速車輛運(yùn)動情況),可以看出,在1 450幀,即車輛排隊開始后,基本Sigma-Delta算法(圖中SD)的背景模型很快被慢速或排隊停駛車輛污染,多維混合高斯模型(圖中MOGM)和多頻Sigma-Delta濾波(圖中SDM)背景估計中隨著停留時間變長,慢速或短暫排隊車輛部分融入背景,而對在1 735幀出現(xiàn)并停留約85 s的路邊停車(圖中箭頭指向處),前3種方法幾乎忽略了此車檢測,本文提出的改進(jìn)算法(圖中SDEn)能阻止此車融入背景并獲得完整的前景檢測。

圖1 城市路段交通場景的比較結(jié)果

圖2為交叉口交通場景中的對比結(jié)果,此時,車輛陸續(xù)到達(dá)并停在紅燈前,其中前2輛車已停車23 s后第3輛車才到達(dá),可以看出這些車在基本Sigma-Delta算法中都已融入背景模型,在多維混合高斯模型和多頻Sigma-Delta算法中部分融入背景(前兩三輛車),且由于綠燈時間不很長,融入背景的車輛很難在下個紅燈來臨前恢復(fù),本文提出的改進(jìn)算法中保持背景模型未受到停車車輛污染,能獲得完整的前景檢測。

圖2 城市交叉口交通場景的比較結(jié)果

對i-LIDS的PV_EVAL序列4 361幀測試序列記錄了各Sigma-Delta算法計算每一幀的用時,并與目前常用的多維混合高斯模型比較。雖然不同的實(shí)現(xiàn)方式將在很大程度上影響算法的運(yùn)行速度,但仍能從一定程度上反映出算法的時間復(fù)雜度。4種算法都在Matlab上進(jìn)行了測試。測試用的硬件環(huán)境為酷睿i3雙核四線程2.13 GHz,2 GB內(nèi)存,Win7平臺和Matlab 2010a軟件,圖像大小為720×576像素。統(tǒng)計的平均用時和速度結(jié)果如表1所示,可以看到基本Sigma-Delta法速度非常快,本文提出算法較多頻Sigma-Delta算法復(fù)雜度增加不大,多維混合高斯模型法最慢。

表1 算法運(yùn)行速度比較

6 結(jié)束語

本文提出一種基于Sigma-Delta濾波的背景估計算法,算法不僅保持Sigma-Delta濾波的低內(nèi)存消耗和高計算效率,同時基于Sigma-Delta算法,通過引入選擇性背景更新機(jī)制結(jié)合多頻Sigma-Delta背景估計模型,對復(fù)雜場景背景估計提供更強(qiáng)的魯棒性。對典型的城市路段和交叉口交通場景進(jìn)行測試,并比較已有的Sigma-Delta算法和常用的多維混合高斯模型,測試結(jié)果表明,本文提出的算法在有慢速或暫停運(yùn)動目標(biāo)的情況下,能獲得一個更穩(wěn)定的背景模型,簡化后續(xù)處理步驟,如前景確認(rèn)、避免復(fù)雜的時空處理等,時間復(fù)雜度較低。

[1] Sanchez E J F,Rubio L,Diaz J,et al.Background Subtraction Model Based on Color and Depth Cues[J]. Machine Vision and Applications,2013,13(7): 8895-8915.

[2] Wang Junqiu,Yagi Y.Efficient Background Subtraction Under Abrupt Illumination Variations[M].Berlin, Germany:Springer,2013.

[3] Manzanera A,Richefeu J.A Robust and Computationally Efficient Motion Detection Algorithm Based on Σ–Δ Background Estimation[C]//Proc.of the 4th Indian Conference on Computer Vision,Graphics&Image Processing.Kolkata,India:[s.n.],2004:46-51.

[4] Jalal A S,Singh V.A Robust Approach for Background Subtraction with Shadow Removal for Moving Object Detection[J].InternationalJournalofSignaland Imaging Systems Engineering,2013,6(3):188-202.

[5] 曾 艷,于 濂.一種新的道路交通背景提取算法及研究[J].中國圖象圖形學(xué)報,2008,13(3):593-599.

[6] 何亮明,覃榮華,鞏思亮,等.動態(tài)場景中的改進(jìn)混合高斯背景模型[J].計算機(jī)工程,2012,38(8):10-12,15.

[7] 王永忠,梁 彥,潘 泉,等.基于自適應(yīng)混合高斯模型的時空背景建模[J].自動化學(xué)報,2009,35(4): 371-378.

[8] Zhu Qingsong,Shao Ling,Li Qi,et al.Recursive Kernel Density Estimation for Modeling the Background and Segmenting Moving Objects[C]//Proc.ofIEEE International Conference on Acoustics,Speech and Signal Processing.[S.l.]:IEEE Press,2013:1769-1772.

[9] Kim H,Sarim M,Takai T,et al.Dynamic 3d Scene Reconstruction in Outdoor Environments[C]//Proc.of InternationalSymposium on 3D Data Processing, Visualization and Transmission.[S.l.]:IEEE Press, 2010:1-8.

[10] Ilyas A,Scuturici M,Miguet S.Real Time Foregroundbackground Segmentation Using a Modified Codebook Model[C]//Proc.of the 6th International Conference on Advanced Video and Signal Based Surveillance. [S.l.]:IEEE Press,2009:454-459.

[11] Shimada A,Yoshinaga S,Taniguchi R.Maintenance of Blind Background Model for Robust Object Detection [J].IPSJTransactionson ComputerVision and Applications,2011,3:148-159.

[12] Ahmad K A,Saad Z,Abdullah N,et al.Moving Vehicle Segmentation in a Dynamic Background Using Selfadaptive Kalman Background Method[C]//Proc.of the 7th International Colloquium on Signal Processing and Its Applications.[S.l.]:IEEE Press,2011:439-442.

[13] Manzanera A.Σ-Δ Background Subtraction and the Zipf Law[M]//Proc.of the 12th Iberoamericann Congress on Pattern Recognition.Valparaiso,Chile:[s.n.], 2007:42-51.

[14] Manzanera A,Richefeu J C.A New Motion Detection Algorithm Based on Sigma-Delta Background Estimation [J].Pattern Recognition Letters,2007,28(3):320-328.

編輯 顧逸斐

Complex Scenes Background Estimation Based on Improved Sigma-Delta Filtering

CAO Qian-xia1,2,LUO Da-yong1,WANG Zheng-wu2
(1.School of Information Science and Engineering,Central South University,Changsha 410075,China;
2.Key Laboratory of Highway Engineering,Ministry of Education,Union Between Ministry and Province, Changsha University of Science&Technology,Changsha 410004,China)

Background estimation is an important preparatory work for moving object detection.In complex scenes,such as urban traffic,the background model is easily contaminated by a number of slow-moving or temporarily stopped moving object,and many subsequent processing steps or higher computational cost algorithms are needed to detect the foreground.To solve this problem,this paper proposes a background estimation algorithm based on the improved Sigma-Delta fi ltering,which is intended to achieve a more stable background model by combining a selective background updating mechanism with multiple-frequency Sigma-Delta background estimation method to deal with different object motion characteristics in complex scenes.The results of comparative experiment on complex traf fi c scenes sequences of typical urban road and intersection show that the proposed algorithm achieves better detection effects with keeping Sigma-Delta filtering high efficiency and low consumption performance.

image processing;background subtraction;background estimation;multiple-frequency Sigma-Delta fi ltering;selective background update;complex scene

1000-3428(2014)09-0225-04

A

TP391

10.3969/j.issn.1000-3428.2014.09.045

國家自然科學(xué)基金資助項目(51278068);湖南省科技計劃基金資助項目(2012GK3060);湖南省教育廳科學(xué)研究計劃基金資助項目(10C0372);長沙理工大學(xué)公路工程省部共建教育部重點(diǎn)實(shí)驗室開放基金資助項目(GKj100105)。

曹倩霞(1981-),女,講師、博士研究生,主研方向:交通信息工程及控制;羅大庸,教授、博士研究生;王正武,教授、博士后。

2013-11-15

2014-01-10E-mail:caoqianxia@163.com