基于分塊分類的智能視頻監(jiān)控背景更新算法

李慶武，蔡艷梅，徐立中

(河海大學(xué)計(jì)算機(jī)及信息工程學(xué)院，江蘇 常州 213022)

隨著社會(huì)的發(fā)展，需要專人值守的傳統(tǒng)的視頻監(jiān)控系統(tǒng)的各項(xiàng)缺點(diǎn)逐漸顯露，如浪費(fèi)人力資源、報(bào)警不準(zhǔn)確不及時(shí)甚至錯(cuò)過各種異常情況等等，已經(jīng)不能適應(yīng)越來越高的監(jiān)控要求.基于智能數(shù)字圖像處理技術(shù)的無人值守智能視頻監(jiān)控系統(tǒng)［1-4］，便能很好地解決上述缺點(diǎn).視頻監(jiān)控系統(tǒng)實(shí)現(xiàn)智能化的一個(gè)關(guān)鍵問題是如何準(zhǔn)確地提取運(yùn)動(dòng)目標(biāo).目前常見的運(yùn)動(dòng)目標(biāo)檢測(cè)算法主要有3類:光流法、幀差法和背景差分法［5-7］，其中背景差分法是目前最常用且簡(jiǎn)單有效的一種運(yùn)動(dòng)目標(biāo)檢測(cè)方法.

在背景差分法中，首先要做的是背景圖像的提取和更新.這是背景差分法中的難點(diǎn)，也是決定運(yùn)動(dòng)目標(biāo)檢測(cè)成功與否的關(guān)鍵.近年來，人們對(duì)如何實(shí)現(xiàn)背景圖像的自適應(yīng)更新提出了各種算法，如幀差法［8］、卡爾曼濾波器方法［9］、單高斯模型［10］、混合高斯模型［11］等.幀差法的背景更新時(shí)間長(zhǎng)，需要資源多，在目標(biāo)運(yùn)動(dòng)較快的情況下，會(huì)產(chǎn)生偽目標(biāo)現(xiàn)象.卡爾曼濾波器方法在遞歸背景模型出現(xiàn)錯(cuò)誤的情況下，對(duì)后續(xù)背景估計(jì)會(huì)造成持續(xù)較長(zhǎng)時(shí)間的影響.單高斯模型無法適應(yīng)復(fù)雜背景，且只適合光線變化非常緩慢的情況.混合高斯模型及其改進(jìn)算法雖然能適應(yīng)復(fù)雜的動(dòng)態(tài)背景更新，但是計(jì)算量復(fù)雜，建模參數(shù)難調(diào)，對(duì)全局亮度突變敏感.上述幾種算法主要是以逐個(gè)像素為操作對(duì)象，計(jì)算量較大，且不能很好地適應(yīng)光線的變化.本文提出一種將差分圖像進(jìn)行二級(jí)分塊分類處理的背景更新算法.首先將當(dāng)前幀圖像與參考背景圖像之間的差分圖像進(jìn)行初次分塊，按照子塊均值和標(biāo)準(zhǔn)差特征將初級(jí)子塊圖像分為前景塊和背景塊，這樣可以先把大部分背景子塊分離出去.再對(duì)前景塊進(jìn)行二次分塊，分為二級(jí)前景塊和背景塊.最后對(duì)不同類別的子塊圖像采用不同的策略來實(shí)現(xiàn)背景的實(shí)時(shí)更新.該算法以塊為操作對(duì)象，提高了運(yùn)算速度，對(duì)全局光照變化具有較強(qiáng)的魯棒性，且原理簡(jiǎn)單，容易實(shí)現(xiàn).

1 基于均值特征的分塊分類

1.1 分塊分類原理

背景更新不僅要很好地適應(yīng)環(huán)境的變化，而且還要考慮處理速度能否達(dá)到實(shí)時(shí)性要求.一般情況下，運(yùn)動(dòng)目標(biāo)往往只占監(jiān)控畫面的小部分，完全采用逐點(diǎn)更新像素的策略，會(huì)產(chǎn)生大量的冗余計(jì)算.這里采用分塊的思想，將相鄰的多個(gè)像素進(jìn)行整體處理，可以有效地減少計(jì)算量，提高更新速度.

設(shè)待處理的視頻圖像大小為X×Y，當(dāng)前幀的圖像為F，某預(yù)設(shè)的背景參考圖像為B，則根據(jù)背景差分法得到其差分圖像Fs為

將該差分圖像劃分為多個(gè)互不重疊的M×N大小的子塊，子塊的數(shù)目為，則Fs可以用式(2)所示的塊形式表示:

式中:Blij為Fs中的某個(gè)子塊.如果當(dāng)前監(jiān)控場(chǎng)景中沒有運(yùn)動(dòng)目標(biāo)出現(xiàn)，則Blij均為背景塊.若場(chǎng)景中存在運(yùn)動(dòng)目標(biāo)，則Blij可分為3種:背景塊、前景塊以及兼有背景和前景像素的子塊.本文將后兩者均視為前景塊處理.

設(shè)v(k，l)為Blij中某像素的灰度值，則該子塊像素灰度的均值μij和標(biāo)準(zhǔn)差σij分別為

一般情況下，在視頻序列中，如果背景區(qū)域中沒有物體移進(jìn)或移出的變化時(shí)，其相鄰像素灰度值之間具有某種穩(wěn)定的關(guān)系.當(dāng)環(huán)境光線發(fā)生變化時(shí)，背景中的像素將同時(shí)變亮或變暗［12］.差分圖像Fs中的背景像素灰度值主要代表的是光線對(duì)當(dāng)前幀各背景像素的影響幅度，因此，F(xiàn)s中的各背景像素灰度值之間的差距將不會(huì)太大，各個(gè)背景子塊的均值μij和標(biāo)準(zhǔn)差σij相差也是比較小的.而前景塊由于融合了目標(biāo)自身的特征和光照等其他信息，它們的均值和標(biāo)準(zhǔn)差將會(huì)有比較大的差異.因此，可以將每個(gè)子塊的均值和標(biāo)準(zhǔn)差作為度量特征來進(jìn)行子塊的分類.

式中:μij為子塊均值，μB為參考均值，σij為子塊標(biāo)準(zhǔn)差，T1、T2為分類閾值.

1.2 分塊大小的討論

分塊的大小應(yīng)根據(jù)具體的視頻圖像大小和視頻監(jiān)控系統(tǒng)實(shí)際使用場(chǎng)合而定.一般來講，子塊尺寸越大，背景更新速度越快，但會(huì)影響背景更新的精細(xì)程度.當(dāng)然，子快劃分也不是越小越好.太小的子塊劃分，不僅時(shí)間花費(fèi)較長(zhǎng)，而且過分注意細(xì)節(jié)問題，會(huì)將目標(biāo)中某些灰度與背景灰度接近的像素誤判為背景像素，從而導(dǎo)致后續(xù)差分處理中出現(xiàn)個(gè)別目標(biāo)邊緣缺失或目標(biāo)內(nèi)部孔洞的現(xiàn)象.因此要權(quán)衡算法的執(zhí)行效率和更新效果來選擇合適的分塊大小.

實(shí)際應(yīng)用中，運(yùn)動(dòng)目標(biāo)往往只占監(jiān)控畫面的小部分.如果對(duì)圖像所有部分采用同樣大小子塊劃分，會(huì)影響背景更新效果.本文提出一種二級(jí)分塊的方法，先將差分圖像分為多個(gè)較大的初級(jí)子塊，該初級(jí)子塊以包含600～800個(gè)像素為宜.這樣可以先把大部分背景子塊分離出去.然后，將被判為前景的初級(jí)子塊再進(jìn)行二次分塊，利用二級(jí)小子塊來處理細(xì)節(jié)，提高精度.為盡量避免將目標(biāo)部分灰度與背景相似的點(diǎn)誤判為背景點(diǎn)，該二級(jí)子塊的大小也不宜過小，一般包含40～60個(gè)像素比較合適.

2 背景更新算法

2.1 背景更新策略

采用上述分塊分類的方法分離出背景塊和前景塊后，便可對(duì)這2類子塊采取相應(yīng)的背景更新策略.

1)背景塊:它是當(dāng)前幀中未被目標(biāo)遮擋的部分，可使用當(dāng)前幀圖像中相應(yīng)的子塊對(duì)其進(jìn)行實(shí)時(shí)更新.

2)前景塊:該類子塊包含純目標(biāo)塊和兼有前景和背景的子塊.為提高背景更新的精度，對(duì)這樣的子塊實(shí)行逐點(diǎn)掃描，按式(4)的規(guī)則判別該像素是屬于背景點(diǎn)或前景點(diǎn).若v(k，l)屬于背景點(diǎn)，則用當(dāng)前幀圖像F中的相應(yīng)點(diǎn)像素值更新;若v(k，l)屬于前景點(diǎn)，則用背景參考圖像B中的相應(yīng)點(diǎn)像素值恢復(fù).

2.2 算法的實(shí)現(xiàn)步驟

本文提出的背景更新算法流程圖如圖1所示，分為如下6個(gè)主要步驟:

1)首幀背景提取:采用文獻(xiàn)［13］中介紹的連續(xù)多幀序列圖像中取中值的方法提取首幀背景B0，并將B0設(shè)為參考背景B.

2)獲取差分圖像:按照式(1)得到Fs.

3)初級(jí)分塊分類:根據(jù)式(3)的規(guī)則對(duì)Fs進(jìn)行初級(jí)分塊分類操作，得到初級(jí)背景塊和初級(jí)前景塊.

4)二級(jí)分塊分類:根據(jù)式(3)的規(guī)則對(duì)初級(jí)前景塊進(jìn)行二級(jí)分塊分類，得到二級(jí)前景塊和二級(jí)背景塊.

5)各類子塊處理:上述操作后得到3類子塊，分別是初級(jí)背景塊、二級(jí)背景塊和二級(jí)前景塊.分別按照背景塊與前景塊的更新策略進(jìn)行背景更新.

6)當(dāng)所有子塊均按上述步驟完成后，背景更新完畢.同時(shí)將更新后的背景作為參考背景進(jìn)行存儲(chǔ).

圖1 背景更新流程圖Fig.1 Background update flow chart

2.3 算法中幾個(gè)參數(shù)的自適應(yīng)設(shè)置

2.3.1 參考均值μB的自適應(yīng)獲取與更新

參考均值μB是非常重要的參數(shù)，它是子塊分類的重要判斷依據(jù).對(duì)于實(shí)際的監(jiān)控場(chǎng)景，運(yùn)動(dòng)目標(biāo)一般只占監(jiān)控畫面的小部分，劃分的子塊中大部分為背景子塊，而且監(jiān)控視場(chǎng)四角同時(shí)出現(xiàn)運(yùn)動(dòng)目標(biāo)的概率幾乎為零.因此差分圖像Fs的四角子塊中均值最小的子塊可以視為背景子塊，并取其均值和標(biāo)準(zhǔn)差作為初始參考均值μB和初始標(biāo)準(zhǔn)差σB.

在對(duì)子塊的處理過程中，為使μB和σB體現(xiàn)更多的背景信息，對(duì)它們引入學(xué)習(xí)機(jī)制，即處理完每塊初級(jí)背景子塊后，用式(5)、(6)分別更新背景參考均值 μB和 σB.

式中:μB、σB分別為參考均值和標(biāo)準(zhǔn)差;μij、σij分別為屬于初級(jí)背景塊的子塊均值和標(biāo)準(zhǔn)差;α為更新率，其值一般在(0.5，1)區(qū)間選取，本文α值均設(shè)定為 0.8.

2.3.2 幾個(gè)分類閾值的動(dòng)態(tài)設(shè)置

目前大多數(shù)算法中閾值都是采用手動(dòng)選取一個(gè)固定的經(jīng)驗(yàn)值，但此方法不適用具有光線變化等復(fù)雜情況的環(huán)境.針對(duì)這一問題，提出以2幅圖像的光線變化來自適應(yīng)改變閾值.

差分圖像的標(biāo)準(zhǔn)差和各子塊標(biāo)準(zhǔn)差是反映監(jiān)控場(chǎng)景變化信息的重要參數(shù)，且它們與均值有內(nèi)在的聯(lián)系，因此可利用標(biāo)準(zhǔn)差來動(dòng)態(tài)地設(shè)定各個(gè)閾值.

按照數(shù)理統(tǒng)計(jì)中的3σ準(zhǔn)則［14］，可以認(rèn)為背景塊像素灰度的均值μij基本上都是在參考均值μB的(－3σB，3σB)范圍內(nèi)變化，因此分類閾值 T1設(shè)為3σB.

設(shè)σs為差分圖像Fs的整體標(biāo)準(zhǔn)差，經(jīng)實(shí)驗(yàn)表明，分類閾值T2設(shè)為0.5σs對(duì)室內(nèi)室外監(jiān)控環(huán)境均比較適用.

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的有效性，分別在室內(nèi)、室外2種場(chǎng)景情況下進(jìn)行了背景更新實(shí)驗(yàn)，并與單高斯模型更新效果進(jìn)行了對(duì)比.室內(nèi)視頻背景更新處理效果如圖2所示，室外交通視頻背景更新處理效果如圖3所示.實(shí)驗(yàn)中，采集的視頻圖像大小均為240×320.本文算法初級(jí)分塊大小為24×32，二級(jí)分塊大小為6×8.

圖2 室內(nèi)視頻背景更新處理效果圖Fig.2 Results of indoor video background update

圖3 室外交通視頻背景更新處理效果圖Fig.3 Results of outdoor video background update

圖2(a1)、(a2)為室內(nèi)視頻序列中開燈前后的2幀圖像.圖2(b1)、(b2)分別是對(duì)這2幀圖像采用單高斯模型算法獲得的背景更新圖像.圖2(c1)、(c2)分別是圖2(a1)與(b1)、圖2(a2)與(b2)的差分圖像.圖2(d1)、(d2)分別是本文方法得到的背景更新圖像.圖2(e1)、(e2)分別是本文方法得到的差分圖像.

從圖2(b2)、(c2)中可以看出，高斯模型無法感應(yīng)光線變強(qiáng)這一信息，導(dǎo)致差分圖像中背景清晰可見，加大了后續(xù)目標(biāo)提取的困難.而本文算法得到的背景更新圖像圖2(d1)、(d2)則能夠適應(yīng)光線的變化，背景更新效果明顯，這從差分圖像為圖2(e1)、(e2)中也能體現(xiàn)出來，明顯比單高斯模型算法獲得的差分圖像圖2(c1)、(c2)效果要好.

在本文方法中，背景更新首先采用二級(jí)分塊來判斷前景塊和背景塊，對(duì)于前景塊中的前景點(diǎn)保持背景參考圖像中的相應(yīng)點(diǎn)像素值不變;所以，若當(dāng)前幀圖像光照變化強(qiáng)烈，則參考背景圖像與當(dāng)前幀圖像光照會(huì)存在明顯差異，也正是因此，才保證了最終差分圖像較好的去背景效果.

為了進(jìn)一步檢驗(yàn)算法的有效性，圖3給出了室外交通視頻處理效果圖.其中，圖3(a1)為上午10點(diǎn)鐘采集的視頻圖像中的某一幀，圖3(a2)則是下午4點(diǎn)半鐘采集的視頻圖像中的某一幀.圖3(b1)、(b2)和圖3(c1)、(c2)分別是對(duì)這2幀采用單高斯模型背景更新算法獲得的背景圖像及其相應(yīng)的差分圖像.圖3(d1)、(d2)和圖3(e1)、(e2)則分別是本文算法獲得的背景圖像及其相應(yīng)的差分圖像.從圖3(c2)中可以看出背景干擾信息較多，這表明高斯模型獲得的背景圖像無法完全適應(yīng)光線變暗的信息.而本文算法很好地感應(yīng)到光線的變化，使得未被目標(biāo)遮擋部分基本上得到了實(shí)時(shí)更新，其相應(yīng)的差分圖像圖3(e1)、(e2)中背景干擾信息都非常少，有利于目標(biāo)的提取.

4 結(jié)束語

針對(duì)現(xiàn)有智能視頻監(jiān)控中背景更新算法計(jì)算量大、對(duì)光照變化敏感等問題，提出一種將差分圖像進(jìn)行二級(jí)分塊分類處理的背景更新算法.該算法以塊為操作對(duì)象，不需要背景先驗(yàn)知識(shí)，對(duì)全局光照變化具有較強(qiáng)的魯棒性，可準(zhǔn)確地更新背景圖像，為后續(xù)的運(yùn)動(dòng)目標(biāo)識(shí)別與理解提供了良好的基礎(chǔ)條件.

［1］VALERA M，VELASTIN S A.Intelligent distributed surveillance systems:a review［J］.Image and Signal Processing，2005，152(2):192-204.

［2］HARITAOGLU I，HARWOOD D，DAVIS L S.Real-time surveillance of people and their activities［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(8):809-830.

［3］杜友田，陳峰，徐文立，等.基于視覺的人的運(yùn)動(dòng)識(shí)別綜述［J］.電子學(xué)報(bào)，2007，35(1):84-90.DU Youtian，CHEN Feng，XU Wenli，et al.A survey on the vision-based human motion recognition［J］.Acta Electronica Sinica，2007，35(1):84-90.

［4］李慶武，許和英，陳小剛，等.基于 USB2.0的智能視頻監(jiān)控系統(tǒng)設(shè)計(jì)［J］.光學(xué)技術(shù)，2007，33(S1):22-24.LI Qingwu，XU Heying，CHEN Xiaogang，et al.Design of intelligent video monitoring system based on USB 2.0［J］.Optical Technique，2007，33(S1):22-24.

［5］魏志強(qiáng)，紀(jì)筱鵬，馮業(yè)偉.基于自適應(yīng)背景圖像更新的運(yùn)動(dòng)目標(biāo)檢測(cè)方法［J］.電子學(xué)報(bào)，2005，33(12):2261-2264.WEI Zhiqiang，JI Xiaopeng，F(xiàn)ENG Yewei.A moving object detection method based on self-adaptive updating of background［J］.Acta Electronica Sinica，2005，33(12):2261-2264.

［6］張洪斌，黃山.面向?qū)崟r(shí)交通視覺監(jiān)控的綜合動(dòng)態(tài)背景更新方法［J］.計(jì)算機(jī)應(yīng)用，2007，27(9):2134-2136.ZHANG Hongbin，HUANG Shan.Comprehensive dynamic background updating method for real-time traffic visual surveillance［J］.Journal of Computer Applications，2007，27(9):2134-2136.

［7］汪沖，席志紅，肖春麗.基于背景差分的運(yùn)動(dòng)目標(biāo)檢測(cè)方法［J］.應(yīng)用科技，2009，36(10):16-18，30.WANG Chong，XI Zhihong，XIAO Chunli.Moving objects detection based on background subtraction method［J］.Applied Science and Technology，2009，36(10):16-18，30.［8］GUPTE S，MASOUD O，MARTIN R F K，et al.Detection and classification of vehicles［J］.IEEE Transactions on Intelligent Transportation Systems，2002，3(1):37-47.

［9］MESSELODI S，MODENA C M，SEGATA N，et al.A Kalman filter based background updating algorithm robust to sharp illumination changes［J］.Lecture Notes in Computer Science，2005，3167:163-170.

［10］曹丹華，鄒偉，吳裕斌.基于背景圖像差分的運(yùn)動(dòng)人體檢測(cè)［J］.光電工程，2007，34(6):107-111.CAO Danhua，ZOU Wei，WU Yubin.Motion human detection based on difference background image［J］.Opto-E-lectronic Engineering，2007，34(6):107-111.

［11］STAUFFER C，GRIMSON W E L.Adaptive background mixture models for real-time tracking［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Fort Collins，USA，1999，2(6):246-252.

［12］楊廣林，孔令富.基于圖像分塊的背景模型構(gòu)建方法［J］.機(jī)器人，2007，29(1):29-34.YANG Guanglin，KONG Lingfu.Approach of constructing background model based on image blocks［J］.Robot，2007，29(1):29-34.

［13］李強(qiáng)，趙亦工，高永晶.基于背景差分的動(dòng)目標(biāo)檢測(cè)算法研究［J］.遙測(cè)遙控，2007，28(6):68-72.LI Qiang，ZHAO Yigong，GAO Yongjing.Moving object detection algorithm based on background difference［J］.Journal of Telemetry，Tracking and Command，2007，28(6):68-72.

［14］于學(xué)漢.概率論與數(shù)理統(tǒng)計(jì)教程［M］.北京:兵器工業(yè)出版社，1996:149.