基于幀間差分的彩色視頻背景提取

蘇禮坤, 黃繼紅

(1.成都信息工程學(xué)院光電技術(shù)學(xué)院,四川成都610225;2.西華大學(xué)物理與化學(xué)學(xué)院,四川成都610039)

1 引言

運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)廣泛地應(yīng)用在軍事目標(biāo)探測(cè)跟蹤、智能視頻監(jiān)控、智能交通、計(jì)算機(jī)視覺、運(yùn)動(dòng)分析等領(lǐng)域[1,2],運(yùn)動(dòng)目標(biāo)檢測(cè)按背景變化不同主要?jiǎng)澐譃閿z像機(jī)運(yùn)動(dòng)和攝像機(jī)靜止兩種模式,運(yùn)動(dòng)目標(biāo)檢測(cè)按技術(shù)劃分則主要有光流法、幀間差分法和減背景法[3]。

光流法[4]是利用運(yùn)動(dòng)估計(jì)進(jìn)行分割和跟蹤運(yùn)動(dòng)目標(biāo)的一種方法。采用運(yùn)動(dòng)目標(biāo)隨時(shí)間變化的光流特性,通過計(jì)算位移向量光流場(chǎng)來初始化基于輪廓的跟蹤算法,從而有效地提取和跟蹤運(yùn)動(dòng)目標(biāo)。雖然光流法在攝像機(jī)運(yùn)動(dòng)和靜止的情況下都檢測(cè)出獨(dú)立的運(yùn)動(dòng)目標(biāo),但是由于光流場(chǎng)的計(jì)算相當(dāng)復(fù)雜,對(duì)噪聲比較敏感且對(duì)硬件要求較高。

幀間差分法[5]是在連續(xù)的圖像序列中兩個(gè)或三個(gè)相鄰幀間采用基于像素的時(shí)間差分并且閾值化來提取圖像中的運(yùn)動(dòng)區(qū)域。連續(xù)幀差法對(duì)動(dòng)態(tài)環(huán)境有很好的適應(yīng)性,但位置不準(zhǔn)確,分割出的運(yùn)動(dòng)目標(biāo)不完整,不能完全提取出目標(biāo)的所有相關(guān)點(diǎn),容易在運(yùn)動(dòng)實(shí)體內(nèi)部產(chǎn)生空洞現(xiàn)象,幀間差分法只能應(yīng)用在攝像機(jī)靜止情況下的動(dòng)態(tài)目標(biāo)檢測(cè)。

減背景法[6]通過當(dāng)前圖像與背景圖像之間的差分來檢測(cè)運(yùn)動(dòng)區(qū)域,這種方法是目前運(yùn)動(dòng)檢測(cè)中最常用的一種方法。其優(yōu)點(diǎn)是位置準(zhǔn)確,速度快,只需要獲取當(dāng)前的一幅圖像,運(yùn)算量低,可以做到實(shí)時(shí)檢測(cè)與分割,不足之處是受環(huán)境光線變化的影響,在非受控環(huán)境下,需要加入背景圖像更新機(jī)制,減背景法也只能應(yīng)用在攝像機(jī)靜止情況下的動(dòng)態(tài)目標(biāo)檢測(cè)。

減背景法動(dòng)態(tài)目標(biāo)檢測(cè)主要包括初始背景提取、背景更新、背景差和后處理4個(gè)步驟。初始背景的提取,一種方法是建立背景模型,假定初始背景中不含運(yùn)動(dòng)目標(biāo);另一種方法是選擇像素灰度,即通過包含運(yùn)動(dòng)目標(biāo)的序列幀提取初始背景。由于光照、天氣等變化直接影響著背景模型的質(zhì)量,需要及時(shí)更新背景。最常用的更新方法是多幀平均法和選擇更新法[7]。多幀平均法直接將輸入圖像序列的強(qiáng)度平均值作為當(dāng)前背景,其缺點(diǎn)在于對(duì)場(chǎng)景改變過于敏感。選擇更新法指將沒有檢測(cè)到運(yùn)動(dòng)的區(qū)域即真正的背景進(jìn)行更新,在背景更新前先逐像素判斷相鄰兩幅圖像的差值,若小于一個(gè)閾值,則說明在這個(gè)像素位置沒有檢測(cè)到目標(biāo),可進(jìn)行背景更新。這種方法依賴于閾值的選取,如果閾值選擇不合理,背景圖像將很快變得不可用。

對(duì)于智能視頻監(jiān)控及動(dòng)態(tài)目標(biāo)檢測(cè),背景提取和更新問題一直是一個(gè)研究的重點(diǎn)和難點(diǎn)[8],文中重點(diǎn)針對(duì)攝像機(jī)靜止時(shí),存在動(dòng)態(tài)目標(biāo)的彩色視頻場(chǎng)景背景的實(shí)時(shí)提取進(jìn)行了詳細(xì)分析和研究。

在攝像機(jī)靜止時(shí),背景提取和更新的理想情況是在視頻場(chǎng)景里,隔一段時(shí)間就拍1幀不含運(yùn)動(dòng)目標(biāo)物的場(chǎng)景圖像以避免因?yàn)楣庹铡㈥幱暗茸兓瘜?duì)背景的影響,但在實(shí)際應(yīng)用中是不可能的,一方面很難保證在視頻監(jiān)控場(chǎng)景里隔一個(gè)固定時(shí)間就會(huì)出現(xiàn)沒有目標(biāo)物的背景圖像,另一方面即使出現(xiàn)了沒有目標(biāo)物的背景圖像,要實(shí)現(xiàn)攝像機(jī)對(duì)實(shí)時(shí)背景的自動(dòng)識(shí)別和抓拍也是一個(gè)技術(shù)難點(diǎn)。

研究和實(shí)驗(yàn)證明,基于選擇更新法的彩色視頻背景提取的效果好于多幀平均法,通過選取合理的紅綠藍(lán)三分量權(quán)重和圖像序列時(shí)間段,可以較好地提取出實(shí)時(shí)背景。

2 視頻背景選擇更新法的基本原理

選擇更新法提取視頻背景的原理是：對(duì)于視頻流中一個(gè)場(chǎng)景的前后兩幀圖像,如果兩幀圖像的對(duì)應(yīng)區(qū)域灰度變化不大(小于某一個(gè)閾值T),則認(rèn)為此區(qū)域是背景區(qū),如果兩幀圖像的對(duì)應(yīng)區(qū)域灰度變化較大(大于某一個(gè)閾值T),則認(rèn)為此區(qū)域是目標(biāo)區(qū),則此區(qū)域的數(shù)據(jù)不能作為背景來提取。

閾值 T的選擇有一定的隨意性,主要靠經(jīng)驗(yàn)或者大量試驗(yàn)總結(jié),即使是前后兩幀圖像的背景區(qū)域,在假定外部光照環(huán)境不變的情況下,考慮到成像系統(tǒng)的隨機(jī)誤差,閾值T也不能為零。

譬如圖1(a)、(b)兩幀灰度圖像,可以看出有目標(biāo)或陰影區(qū)域灰度變化大,而共同的背景區(qū)域灰度變化不大。

圖1 兩幀灰度圖像背景區(qū)域提取

將圖1(a)、(b)兩幀灰度圖像對(duì)應(yīng)像素進(jìn)行比較,如果灰度變化小于閾值 T(此處取 T=10),則認(rèn)為此區(qū)域是背景區(qū)并保留數(shù)據(jù),如果灰度變化大于閾值 T,則認(rèn)為此區(qū)域是目標(biāo)區(qū),并將數(shù)據(jù)置為零得到圖1(c),可以看出圖1(c)只提取出部分背景區(qū)域。

如果要提取出完整的背景圖像,取一個(gè)時(shí)間段視頻的n幀(n≥3)圖像序列 Mi(i=1,2,…,n),通過前后兩幀的比較(取閾值 T),可以得到背景序列Bj(j=1,2,…,n-1)：

式(1)中(x,y)為像素坐標(biāo)。

最后提取出的背景圖像為：

式(2)中 m(x,y)為(x,y)處 Bj(x,y)值不為零的次數(shù),要求 m(x,y)＞1。

3 彩色視頻背景選擇更新法的算法設(shè)計(jì)

對(duì)于彩色視頻和圖像,因?yàn)榫哂屑t綠藍(lán)3個(gè)分量,處理方法和灰度圖像有一定區(qū)別,主要體現(xiàn)在：

(1)如果對(duì)紅綠藍(lán)3個(gè)分量單獨(dú)運(yùn)用灰度圖像的處理方法然后再組合成彩色背景,則因?yàn)槿至康恼`差有可能不同,獲得的三分量背景圖不一定重合得很好;

(2)如果先將彩色圖像轉(zhuǎn)化為灰度強(qiáng)度圖像,再運(yùn)用灰度圖像的處理方法,則有可能紅綠藍(lán)分量分別差值很大的像素點(diǎn),其轉(zhuǎn)化后的灰度強(qiáng)度差別不大,也引起較大誤差,并且這樣獲得的背景圖像無法再轉(zhuǎn)回彩色圖像。

基于以上兩個(gè)因素,在背景提取的時(shí)候,既要保持彩色背景的完整性,又要考慮到紅綠藍(lán)三分量的比重,提出以下提取方法：將前后兩幀彩色圖像對(duì)應(yīng)像素的紅綠藍(lán)分量分別相減,得到3個(gè)差值,如果這3個(gè)差值的平均值小于閾值 T,則認(rèn)為是背景區(qū)域,如果這3個(gè)差值的平均值大于閾值 T,則認(rèn)為是目標(biāo)區(qū)域。

則對(duì)于彩色視頻,定義紅綠藍(lán)三分量差值權(quán)重為取平均：

則應(yīng)用式(3)將視頻差分計(jì)算的式(1)修改為：

式(4)中,c為色彩坐標(biāo),即c=R,G,B。

在獲得彩色背景序列圖像后,再運(yùn)用式(5),就可以得到完整的彩色背景圖像：

式(5)中 m(x,y,c)為(x,y)處 Bj(x,y,c)值不為零的次數(shù),要求 m(x,y,c)＞1。

4 計(jì)算結(jié)果和比較

4.1 彩色視頻背景選擇更新法的計(jì)算

首先選取圖2中的1秒時(shí)間段的6幀彩色圖像序列運(yùn)用選擇更新法提取背景。

圖2 彩色視頻用來提取背景的1秒時(shí)間段的6幀序列圖像

對(duì)于圖2中的6幀序列圖像運(yùn)用式(4)、(5)計(jì)算得到背景圖像顯示在圖3中,門限閾值 T太大,則目標(biāo)區(qū)域不能剔除,閾值 T太小,則背景的隨機(jī)誤差也被誤認(rèn)為是目標(biāo)區(qū)域,閾值T=10是一個(gè)比較合理的選擇。

由圖3的背景結(jié)果可以看出,圖像區(qū)域出現(xiàn)空洞,其產(chǎn)生的原因是：相對(duì)選取的1秒時(shí)間段的6幀序列圖像,運(yùn)動(dòng)目標(biāo)的移動(dòng)位移不足,使在計(jì)算過程中有些區(qū)域的數(shù)據(jù)得不到恢復(fù)。

從上述的計(jì)算可以看出,在選取圖像序列時(shí)間段的時(shí)候,還必須考慮合理的視頻場(chǎng)景區(qū)域的動(dòng)態(tài)目標(biāo)密集程度因素,也就是說時(shí)間段要足夠長,使得視頻場(chǎng)景的所有區(qū)域都有曾經(jīng)顯示背景的機(jī)會(huì),另一方面時(shí)間段又不能太長,如果時(shí)間段太長,有可能背景本身因?yàn)楣庹铡h(huán)境變化等因素使得提取的背景缺乏準(zhǔn)確性和實(shí)時(shí)性。時(shí)間段的合理選擇主要取決于場(chǎng)景中目標(biāo)的線度大小和運(yùn)動(dòng)速度,在本文的問題中,3秒是一個(gè)合理的時(shí)間段選擇。

圖3 由圖2的6幀序列圖像選擇更新提取的背景

再選取圖4中的3秒時(shí)間段的6幀彩色圖像序列運(yùn)用選擇更新法提取背景。

對(duì)于圖4中的6幀序列圖像運(yùn)用式(4)、(5)計(jì)算得到背景圖像顯示在圖5中,可以看出背景得到了較好的恢復(fù)和提取,效果好于1秒時(shí)間段的背景圖即圖3。

4.2 選擇更新法與多幀平均法的比較

和選擇更新法相比,存在運(yùn)動(dòng)目標(biāo)區(qū)域的實(shí)時(shí)背景提取還有中值濾波法和多幀平均法,多幀平均法的計(jì)算為：

式(6)中,c為色彩坐標(biāo),即c=R,G,B。

圖6中給出了由圖4的6幀序列圖像運(yùn)用式(6)多幀平均提取的背景,可以看出效果遠(yuǎn)遠(yuǎn)差于選擇更新法獲得的圖5。

圖5 由圖3的6幀序列圖像選擇更新提取的背景

圖6 由圖3的6幀序列圖像多幀平均提取的背景

針對(duì)選取的視頻序列的各種提取方法效果分析,通過實(shí)際計(jì)算證明中值濾波法最好,但中值濾波法要求圖像序列中一個(gè)像素點(diǎn)背景出現(xiàn)的概率大于被目標(biāo)覆蓋的概率,要求的條件更苛刻,而多幀平均法是原理和算法最簡單的一種,在目標(biāo)出現(xiàn)非常稀疏的情況下效果比較好,相對(duì)而言,這各種方法在不同條件下有各自的優(yōu)勢(shì),一般來講,選擇更新法是可以兼顧中值濾波法和多幀平均法的條件,并不要求像素點(diǎn)背景出現(xiàn)的概率大于被目標(biāo)覆蓋的概率。

5 結(jié)論

介紹了視頻背景提取選擇更新法的算法原理,并在彩色視頻背景提取時(shí)選擇更新法的算法進(jìn)行了拓展和改進(jìn),對(duì)彩色視頻紅綠藍(lán)三分量進(jìn)行權(quán)重綜合判斷,具體計(jì)算表明,選擇更新法背景提取的效果還與選取圖像序列的時(shí)間段的長短有關(guān),也就是與場(chǎng)景中目標(biāo)的線度大小和平均運(yùn)動(dòng)速度相關(guān),根據(jù)場(chǎng)景中目標(biāo)的線度大小和平均運(yùn)動(dòng)速度適當(dāng)選擇時(shí)間段,就可以較好地兼顧提取背景的實(shí)時(shí)性和背景中目標(biāo)陰影的消除。

研究內(nèi)容屬于動(dòng)態(tài)目標(biāo)檢測(cè)中具有重要意義的實(shí)時(shí)背景恢復(fù)和提取問題,研究目的是為了證明算法的有效性和適用范圍,以期指導(dǎo)實(shí)際應(yīng)用,在實(shí)時(shí)背景恢復(fù)和提取方面,截至目前還沒有哪一種方法可以完全代替所有其他的方法,只是在不同的條件下某一種方法好一些。

感謝成都信息工程學(xué)院引進(jìn)人才科研啟動(dòng)項(xiàng)目(KYTZ20060603)

[1]任臣,張覃平.基于Kalman濾波理論的運(yùn)動(dòng)目標(biāo)檢測(cè)新方法[J].光電工程,2007,34(4)：7-11.

[2]何衛(wèi)華,李平,文玉海,葉波.復(fù)雜背景下基于圖像融合的運(yùn)動(dòng)目標(biāo)輪廓提取[J].計(jì)算機(jī)應(yīng)用,2006,26(1)：123-126.

[3]王亮,胡衛(wèi)明,譚鐵牛.人運(yùn)動(dòng)的視覺分析綜述[J].計(jì)算機(jī)學(xué)報(bào),2002,25(3)：225-237.

[4]Barron J,Fleet D,Beauchemin S.Performance of Optical Flow Techniques[J].International Journal of Computer Vision,1994,12(1)：42-77.

[5]Lipton A,Fujiyoshi H and Patil R.Moving Target Classification and Tracking from Real-time Video[C].In：Proc IEEE Workshop on Applications of Computer Vision,Princeton,NJ,1998,8-14.

[6]方帥,薛方正,徐心和.基于背景建模的動(dòng)態(tài)目標(biāo)檢測(cè)算法的研究與仿真[J].系統(tǒng)仿真學(xué)報(bào),2005,17(1)：159-165.

[7]Cucchiara R,Grana C,Piccardi M,et al.Detecting Moving Objects,Ghosts and Shadows in Video Streams[J].IEEE Trans.on Pattern Analysis&Machine Intelligence,2003,25(10)：1337-1342.

[8]高輝,杜慶靈.視頻監(jiān)控系統(tǒng)中動(dòng)目標(biāo)檢測(cè)算法研究[J].計(jì)算機(jī)與數(shù)字工程,2008,36(9)：34-37.