基于Codebook背景建模的視頻行人檢測(cè)

黃成都， 黃文廣， 閆 斌

(1.電子科技大學(xué) 自動(dòng)化工程學(xué)院，四川 成都 611731；2.國(guó)家電網(wǎng)四川省電力公司 樂(lè)山電業(yè)局，四川 樂(lè)山 614000)

基于Codebook背景建模的視頻行人檢測(cè)

黃成都1， 黃文廣2， 閆 斌1

(1.電子科技大學(xué) 自動(dòng)化工程學(xué)院，四川 成都 611731；2.國(guó)家電網(wǎng)四川省電力公司 樂(lè)山電業(yè)局，四川 樂(lè)山 614000)

針對(duì)視頻序列，Codebook背景建模算法能檢測(cè)出其中的運(yùn)動(dòng)物體，但卻無(wú)法識(shí)別行人。而大部分基于支持向量機(jī)(SVM)訓(xùn)練的行人分類器，需要通過(guò)滑動(dòng)窗口遍歷圖像檢測(cè)行人。為加快行人檢測(cè)的速度，提出將傳統(tǒng)的行人分類器融入到Codebook背景建模算法中，通過(guò)背景建模算法為行人檢測(cè)提供候選區(qū)域，減少搜索范圍，降低了行人誤檢率；并根據(jù)行人的特點(diǎn)，構(gòu)建臨時(shí)塊模型定期將滿足條件的前景區(qū)域更新到背景模型中，解決了Codebook背景建模算法不能應(yīng)對(duì)光照突變的問(wèn)題。實(shí)驗(yàn)結(jié)果表明:所提算法能應(yīng)對(duì)光照突變所帶來(lái)的干擾，實(shí)現(xiàn)視頻行人實(shí)時(shí)檢測(cè)。

視頻； Codebook背景建模； 支持向量機(jī)； 行人檢測(cè)

0 引 言

行人檢測(cè)對(duì)于一個(gè)智能監(jiān)控系統(tǒng)至關(guān)重要，是異常行為識(shí)別[1,2]、行人識(shí)別與跟蹤[3]、步態(tài)識(shí)別[4,5]、行人計(jì)數(shù)[6,7]等智能應(yīng)用的基礎(chǔ)。

行人檢測(cè)由行人分類和檢測(cè)兩部分組成。行人分類以統(tǒng)計(jì)學(xué)習(xí)為基礎(chǔ)，選取合適的特征來(lái)描述行人樣本，在特征空間中尋找最優(yōu)分類超平面得到行人分類器[8,9]；檢測(cè)是在整幅圖像中尋找行人候選區(qū)域的過(guò)程，根據(jù)搜索方式的不同，可分為全圖遍歷[8]和根據(jù)先驗(yàn)知識(shí)減少搜索范圍[9]的方式。行人檢測(cè)即通過(guò)計(jì)算候選區(qū)域特征，送入行人分類器判斷是否存在行人，如有則確定出行人在圖像中的位置。

本文選用基于直方圖交叉核的支持向量機(jī)(support vector machine，SVM)和對(duì)光照不敏感的方向梯度直方圖(histogram of gradient,HOG)特征訓(xùn)練行人分類器，使用Codebook背景建模算法[10～12]提取運(yùn)動(dòng)前景，減少檢測(cè)過(guò)程的搜索范圍，構(gòu)建臨時(shí)塊模型，結(jié)合行人檢測(cè)的結(jié)果更新背景模型，使其能應(yīng)對(duì)光照突變，實(shí)現(xiàn)行人檢測(cè)。實(shí)驗(yàn)表明:該算法能克服Codebook背景建模算法對(duì)光照敏感的問(wèn)題，能滿足像變電站等場(chǎng)合(人少且危險(xiǎn))智能監(jiān)控的需求。

1 Codebook背景模型

構(gòu)建碼本模型的算法流程:

1)設(shè)置碼本φ為空集，包含碼字L為0

2)對(duì)于時(shí)間從t=1到N

a.Xt=(R,G,B)

b.在碼本φ={ci|1≤i≤L}中尋找是否有cm與Xt滿足條件

Colordist(Xt,Vm)≤ε1

c.如果φ為空或者未找到匹配，碼字個(gè)數(shù)加1，并按下面的規(guī)則初始化一個(gè)新的碼字cL如下

VL=(R,G,B)

auXL=〈I,I,1,t-1,t,t〉

d.否則，更新當(dāng)前匹配的碼字cm如下

3)對(duì)每一個(gè)碼字ci，i=1,…,L，循環(huán)設(shè)置λi=max{λt,(N-qi+pi-1)}

在訓(xùn)練階段構(gòu)建碼本模型結(jié)束后，通過(guò)設(shè)置時(shí)間閾值Tu為訓(xùn)練時(shí)間的一半N/2，根據(jù)公式(1)得到濾除冗余碼本后模型U為

(1)

通過(guò)此階段，濾除背景環(huán)境中的噪聲。

2 背景更新

由于Codebook背景建模算法對(duì)光照的敏感性，選擇對(duì)光線不敏感的特征—方向梯度直方圖訓(xùn)練得到行人檢測(cè)器。

整體框架如圖1所示，對(duì)屬于背景模型的像素，定期剔除對(duì)應(yīng)碼本模型中陳舊的碼字，并應(yīng)用KyungnamKim等人[10]提出的自適應(yīng)更新算法應(yīng)對(duì)光照緩慢變化對(duì)碼本模型帶來(lái)的影響；對(duì)屬于前景的像素區(qū)域，用訓(xùn)練得到行人分類器檢測(cè)，根據(jù)檢測(cè)的結(jié)果，對(duì)不屬于行人的區(qū)域構(gòu)建臨時(shí)塊模型，定期將滿足要求的矩形塊區(qū)域融入到背景模型中。

圖1 算法整體框架圖

通常對(duì)于行人的檢測(cè)，用其外接矩形來(lái)表示其在圖像中的位置。而兩個(gè)矩形間的位置關(guān)系無(wú)非三種：相交，相離，包含。通過(guò)刻畫(huà)幀間矩形框的相對(duì)關(guān)系，建立塊模型。

對(duì)于矩形框一般使用一個(gè)點(diǎn)和寬高來(lái)描述，矩形框r1=(x1,y1,w1,h1)和r2=(x2,y2,w2,h2)間的位置關(guān)系如圖2所示。

圖2 矩形框間的位置關(guān)系圖

可得矩形框r1和r2重心o1=(x1+w1/2,y1+h1/2)，o2=(x2+w2/2,y2+h2/2)，o1和o2間的水平距離dx和垂直距離dt如下

dx=|x2-x1+(w2-w1)/2|

(2)

dy=|y2-y1+(h2-h1)/2|

(3)

由此可界定出矩形框間的位置關(guān)系

(4)

將時(shí)間軸上相鄰兩幀間存在包含關(guān)系的矩形框定義為重復(fù)訪問(wèn)，而相離和相交關(guān)系的則在塊模型中初始化一個(gè)新的矩形框結(jié)構(gòu)。引入最大負(fù)運(yùn)行時(shí)間λ，來(lái)描述塊被訪問(wèn)的最大時(shí)間間隔，擁有較小λ的塊意味著很有可能是背景，應(yīng)被學(xué)習(xí)到背景模型中。如公式(1)所示，設(shè)置時(shí)間閾值Tu，將臨時(shí)塊模型中滿足條件的塊中前景區(qū)域?qū)W習(xí)到背景模型中。

3 行人分類器

當(dāng)前對(duì)檢測(cè)性能的提高主要從分類器的優(yōu)化、特征設(shè)計(jì)與組合兩方面著手。選擇不受光照改變影響的特征—方向梯度直方圖，并通過(guò)支持向量機(jī)訓(xùn)練行人分類器。支持向量機(jī)作為一個(gè)經(jīng)典的分類器，能很好地處理二分類問(wèn)題，相比于線性核的快速分類能力以及復(fù)雜非線性核的高準(zhǔn)確率，直方圖交叉核(histogramintersectionkernel,HIK)是前兩者性能上的綜合，既有非線性核的高準(zhǔn)確率，在速度上較線性核而言又沒(méi)太大損失。

對(duì)基于直方圖的特征向量x,z∈Rn，直方圖交叉核定義為如式(5)所示

(5)

4 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)環(huán)境為MicrosoftVisualStudio2008平臺(tái)，PC配置：Inter(R)Core(TM)2DuoCPUT6600 2.20GHz，RAM2.00GB。調(diào)用OPENCV2.4.8及l(fā)ibHIK庫(kù)[13]函數(shù)來(lái)實(shí)現(xiàn)。

圖3中(a)～(d)為測(cè)試視頻序列中的四幀，(e)～(h)為通過(guò)Codebook背景建模算法提取的候選檢測(cè)區(qū)域，(m)～(p)為行人檢測(cè)器對(duì)候選區(qū)域檢測(cè)的結(jié)果。(b)～(d)中當(dāng)行人打開(kāi)門(mén)后，帶來(lái)局部光照的突然改變，(f)～(h)可看出光照突然的改變對(duì)Codebook背景建模算法檢測(cè)性能帶來(lái)的影響，(n)～(p)顯示在局部光照改變下檢測(cè)出的行人，(i)～(l)為對(duì)未檢測(cè)到行人的前景區(qū)域的自我更新過(guò)程。實(shí)驗(yàn)表明算法能應(yīng)對(duì)光照突然的改變。

圖3 行人檢測(cè)效果圖

5 結(jié)束語(yǔ)

通過(guò)在Codebook背景建模算法的基礎(chǔ)上，引入行人分類器，使其具有檢測(cè)視頻圖像中行人的能力，加速了傳統(tǒng)行人分類器通過(guò)遍歷全圖檢測(cè)行人的過(guò)程。針對(duì)Codebook背景建模算法不能處理光照突變的情況，結(jié)合行人檢測(cè)的結(jié)果，構(gòu)建臨時(shí)塊模型更新背景模型。實(shí)驗(yàn)表明:該算法在實(shí)際場(chǎng)景中能取得較好的檢測(cè)的效果。該算法還不能應(yīng)對(duì)攝像頭自動(dòng)旋轉(zhuǎn)的情形，可以結(jié)合光流等信息學(xué)習(xí)并更新背景模型。

[1] Candamo J,Shreve M,Goldgof D B,et al.Understanding transit scenes:A survey on human behavior-recognition algorithms[J].IEEE Trans on Intell Transp Syst,2010,11(1):206-224.

[2] 程 添，楊思思，馮 蓉，等.基于雙目標(biāo)定的獨(dú)居老人摔倒檢測(cè)算法[J].傳感器與微系統(tǒng)，2014，33(10)：100-103.

[3] Guo G,Li S,Chan K.Face recognition by support vector machines[C]∥The Fourth IEEE International Conference on Automatic Face and Gesture Recognition,IEEE,Piscataway,2000:196-201.

[4] Ran Y,Zheng Q,Chellappa R,et al.Applications of a simple characterization of human gait in surveillance[J].IEEE Trans on Syst Man Cybern:Part B—Cybern,2010,40(4):1009-1020.

[5] Cutler R,Davis L S.Robust real-time periodic motion detection,analysis,and applications[J].IEEE Trans on Pattern Anal Mach Intell,2000,22(8):781-796.

[6] Chen D Y,Su C W,Zeng Y C,et al.An online people counting system for electronic advertising machines[C]∥IEEE International Conference on Multimedia and Expo,ICME 2009,IEEE,Piscataway,2009,1262-1265.

[7] Sim C H,Rajmadhan E,Ranganath S.Detecting people in dense crowds[J].Mach Vision Appl,2012,23:243-253.

[8] 程廣濤，陳 雪，郭照莊. 基于HOG 特征的行人視覺(jué)檢測(cè)方法[J].傳感器與微系統(tǒng)，2011,30(7):68-70.

[9] Cheng Mingming,Zhang Ziming,Lin Wenyan,et al.BING:Binarized normed gradients for objectness estimation at 300fps[C]∥IEEE CVPR,2014:3286-3293.

[10] Kim K,Chalidabhonse T H,Harwood D,et al.Real time foreground background segmentation using codebook model[J].Elsevier Real-Time Imaging,2005,11(3):167-256.

[11] 霍東海,楊 丹,張小洪,等.一種基于主成分分析的Codebook背景建模算法[J].自動(dòng)化學(xué)報(bào)，2012，38(4)：591-600.

[12] Ilyas A,Scuturici M,Miguet S.Real time foreground-background segmentation using a modified Codebook model[C]∥The Sixth IEEE International Conference on Advanced Video and Signal-Based Surveillance,AVSS’09,2009:454-459.

[13] Wu Jianxin.A fast dual method for HIK SVM learning[C]∥Proc of The 11th European Conference on Computer Vision,ECCV 2010,Crete,Greece,2010:552-565.

Pedestrian detection based on Codebook background modeling in video

HUANG Cheng-du1, HUANG Wen-guang2, YAN Bin1

(1.School of Automation Engineering,University of Electronic Science and Technology of China,Chengdu 611731,China;2.Leshan Electric Power Bureau,Sichuan Electric Power Company of State Grid,Leshan 614000,China)

As for video sequences,Codebook background modeling algorithm can detect moving objects,but cannot recognize pedestrians.Meanwhile, most pedestrians classifiers are based on support vector machine(SVM)training has to traverse through the whole image,by sliding window to detect pedestrians.To speed up pedestrian detection process,algorithm of traditional pedestrian classification device fused in Codebook background modeling algorithm is proposed provide candidate regionals by background modeling algorithm for pedestrian detection reduce the search range and error rate of the pedestrian.According to features of pedestrians,temporary block model is built to regularly update into background model, which solve the problem that Codebook background modeling algorithm cannot suit the illumination abrupt variation.Experimental results demonstrate that the proposed algorithm can deal with the interference caused by sudden light variation,it can achieve the real-time pedestrian detection in video.

video; Codebook background modeling; support vector machine(SVM); pedestrian detection

10.13873/J.1000—9787(2017)03—0144—03

2016—04—13

TP 391.4

A

1000—9787(2017)03—0144—03

黃成都(1990-)，男，碩士研究生，主要研究方向?yàn)閳D像處理，計(jì)算機(jī)視覺(jué)。