基于粒子流和能量模型的異常行為檢測*

汪雙承,管業(yè)鵬

(上海大學(xué)通信與信息工程學(xué)院,上海 200444)

?

基于粒子流和能量模型的異常行為檢測*

汪雙承,管業(yè)鵬*

(上海大學(xué)通信與信息工程學(xué)院,上海 200444)

提出了一種基于單目攝像機的異常行為檢測方法,可有效檢測群聚群散事件。針對傳統(tǒng)稠密光流法耗時大,抗噪聲性差,對光照變化敏感,而稀疏光流又不能提供豐富運動信息的不足,提出采用二值前景為掩碼計算局部稠密光流,既剔除了干擾,又減少耗時。針對光流僅能反應(yīng)物體瞬時運動信息,不能反應(yīng)運動的累積效應(yīng),不能描述物體間的相互影響,提出建立以光流為底層特征的粒子流場,以穩(wěn)定地進行特征提取。最后,通過計算粒子幅值直方圖的能量來進行異常行為的檢測。搭建了實驗監(jiān)控系統(tǒng),不同場景的實驗表明,該方法實時性好,魯棒。

異常行為;群聚群散;粒子流;能量;光流

智能視頻分析與監(jiān)控是多學(xué)科交叉的前沿研究領(lǐng)域,也是當(dāng)前國際上最被關(guān)注的研究熱點。運動對象的異常行為檢測是智能監(jiān)控技術(shù)的關(guān)鍵[1]。

針對監(jiān)控場景能夠及時準(zhǔn)確地檢測出運動對象的異常行為是非常重要的。傳統(tǒng)的異常行為檢測方法主要可分為兩類[2]:一是基于運動對象的跟蹤,不斷檢測運動對象或團塊的運動軌跡,提取運動(包括空間位置,運動速度等)特征,根據(jù)運動狀態(tài)進行檢測。算法依賴于對運動對象的跟蹤,在實際場景下存在多目標(biāo)遮擋,較難實現(xiàn)準(zhǔn)確的運動對象跟蹤。二是基于學(xué)習(xí)訓(xùn)練,針對特定場景,預(yù)先采集運動對象視頻序列,提取運動特征,建立學(xué)習(xí)樣本庫,訓(xùn)練針對特定運動行為的分類器。利用訓(xùn)練好的分類器針對未知視頻序列檢測異常行為。此類方法具有一定的局限性,運動對象異常行為樣本較難采集。

近年來提出的社會力模型[3](Social Force Model)、行為熵模型[4](Behavior Entropy Model)、能量模型[5](Energy Model)以及借用流體力學(xué)和熱力學(xué)概念建立的相應(yīng)模型[1]是目前的研究熱點。

緊跟學(xué)術(shù)研究前沿,本文提出了一種非監(jiān)督的基于粒子流和能量模型的異常行為檢測,可有效地檢測群聚群散事件。算法利用二值前景為掩碼計算局部稠密光流,既剔除了干擾,又減少耗時,解決了稠密光流法算法抗噪聲性差,耗時大,而稀疏光流又不能提供豐富的運動信息的不足[6]。借鑒拉格朗日粒子場,建立了粒子流場,能夠較穩(wěn)定快速地進行特征提取。搭建了實驗監(jiān)控系統(tǒng),實驗表明,該方法實時,魯棒,有一定的實用價值。

1 本文算法

如圖1,算法主要分以下幾個部分:(1)運動目標(biāo)提取。以高斯背景更新并進行膨脹得到二值前景掩碼。(2)局部光流場的計算。對以掩碼得到的前景圖像計算稠密局部光流場;同時對二值前景掩碼進行腐蝕得到光流場掩碼,以此除去前景邊緣極大值的錯誤光流。(3)粒子流場建立。由上到下在視頻幀上均勻地布滿粒子點,當(dāng)目標(biāo)運動時,根據(jù)粒子點周圍的光流場值,并結(jié)合社會力模型得到粒子運動的軌跡,并每隔15幀重新初始化粒子點。(4)能量模型建立。由粒子點運動軌跡,得到每15幀粒子的運動速度和方向,并建立粒子幅值直方圖。計算粒子直方圖的能量來進行異常行為的檢測。

圖1 本文算法

1.1 運動對象檢測

運動對象檢測的目的是從圖像中得到比較完整的目標(biāo)(前景)的運動區(qū)域。常見的方法有[7]:時域差分法,光流場法,背景減除法。時域差分法對動態(tài)變化場景非常有效,但一般不能很好地提取出運動目標(biāo)的所有特征象素,造成空洞現(xiàn)象;光流場法能在攝像頭運動時有效的檢測運動目標(biāo),然而,這種方法計算很復(fù)雜,抗噪聲性差;簡單的背景減除法能得到運動物體很全面的特征數(shù)據(jù),但卻對由于光線和其他外部的動態(tài)場景變化非常敏感。本文采用Zivkovic Z[8]提出的混合高斯背景更新算法,即Opencv中的BackgroundSubtractorMOG2算法,實現(xiàn)運動對象的檢測,并對更新得到的前景進行形態(tài)學(xué)濾波,開運算和閉運算,以得到較完整的前景。實驗驗證,該算法具有良好的檢測效果。

實際環(huán)境中背景的復(fù)雜性,例如樹葉的抖動、陽光、燈光等,在背景更新所得的前景圖中會有些噪點。本文采用邊界跟蹤法[7],進行噪聲的除去。即對更新得到的二值前景圖中輪廓進行邊界跟蹤,將周長小于20的輪廓去除掉。

1.2 局部光流場的計算

所謂光流[9]指圖像中灰度模式運動速度。光流計算進行像素級運動估計,主要基于亮度恒常性假設(shè),若I(x,y,t)是在像素(x,y)和時間t的圖像強度,則有:

(1)

可以推出光流約束方程:

IXu+Iyv+It=0

(2)

光流分量

(3)

光流約束方程式(2)含兩個未知量,可見光流問題是個病態(tài)問題。求解光流(u,v)尚需加上其他的約束條件,HS方法[9]假定光流在整個圖像上的變化平滑,可設(shè)光流速度的梯度幅度的平方(?μ/?x)2+(?μ/?y)2和(?v/?x)2+(?v/?y)2最小。可以得到(u,v)的遞歸解:

(4)

(5)

只要迭代次數(shù)k足夠大,就可以得到比較穩(wěn)定的光流矢量(uk+1,vk+1)。所以只要有兩個需要自行確定的參數(shù):正則系數(shù)和領(lǐng)域尺寸。

以上就是經(jīng)典的HS稠密光流法原理[9]。本文采用GunnarFarneback[10]于2003年所提出的在抗噪聲性和計算速度上更優(yōu)秀的光流算法。

全局稠密光流計算量大,文獻[11]中采用局部光流場,文中方法建立在多目標(biāo)的跟蹤基礎(chǔ)之上,但運動目標(biāo)重疊遮擋使得這一方法的有效性大大降低。同時,我們注意的背景圖像的光流計算不僅沒有什么信息價值,而且耗時嚴重;同時,光流抗噪聲性差,對樹葉抖動,光照敏感,背景光流噪聲會干擾運動光流場。而稀疏光流,只計算幾個角點的光流值,不足以提供豐富的運動信息。為達到剔除干擾,也加快計算速度的目的,提出采用二值前景為掩碼只計算局部運動區(qū)域稠密光流場。因為矩陣零元素越多,矩陣越稀疏,運算越快。同時,僅對關(guān)注區(qū)域運動前景部分光流進行粒子統(tǒng)計和計算,避免了對全局光流場的統(tǒng)計,這樣也減少了計算量。過程如圖2所示。

圖2 局部光流場的計算

首先利用前面得到的二值前景,如圖2(a),并對其進行3×3核的膨脹,如圖2(b),以此為掩碼得到前景圖像,如圖2(c),進行稠密光流場(Gunnar Farneback光流法[10])計算。很顯然,由于前景圖像和背景在邊緣存在突變,這會造成運動前景邊緣處有極大光流值的存在,而這些是需要剔除的,如圖2(d)。為此,在膨脹得到圖2(b)的基礎(chǔ)上,進行5×5核的腐蝕,得到光流場二值掩碼,如圖2(e)。將圖2(d)與圖2(e)相與得到真實的光流場如圖2(f)。在光流場圖2(d)和2(f)中,不同顏色表示不同的運動方向,深淺表示運動的快慢,即光流的大小。

1.3 粒子流場的建立

光流抗噪聲性差,對光照變化比較敏感,光流僅反應(yīng)物體瞬時點的運動信息,不能反應(yīng)運動的積累效應(yīng),不能描述物體間的相互影響[8]。拉格朗日粒子動態(tài)系統(tǒng)中粒子的流動可反映視頻移動對象的運動狀態(tài),尤其是異常行為的流體特征變化[12]。因此結(jié)合社會力模型,借鑒拉格朗日粒子模型,提出建立了本文的粒子流場,粒子流較光流可得到較穩(wěn)定的運動軌跡及其運動趨勢,從而進行運動對象異常行為的檢測。

首先,對視頻進行網(wǎng)格劃分(這里采用8×8像素的網(wǎng)格),在網(wǎng)格節(jié)點并由上到下在均勻地布滿粒子點,如圖3(a)。由于本算法涉及的場景相對固定,攝像機離人群的距離相對較遠。在計算量和運動信息的豐富性上做了和折中,根據(jù)多次實驗,選取8×8像素為網(wǎng)格大小。

當(dāng)目標(biāo)運動時,結(jié)合社會力模型,根據(jù)粒子點周圍的光流場值跟新粒子位置,從而得到運動軌跡,方向和速度信息,如圖2(b),紅色線段表示粒子流運動軌跡。考慮到一個完整的行為是由若干幀的視頻片段組成的,而一般的攝像頭在25幀/s或30幀/s,所以這里每隔15幀重新初始化粒子點位置。

圖3 粒子流場

社會力模型認為群體行為是個體之間相互作用的結(jié)果。近年來,Mehran[3]等人將社會力模型應(yīng)用于視頻中異常行為的檢測,用社會力模型計算每個采樣點受到的相互作用力,得到圖像上的社會力場,機器學(xué)習(xí)以判別視頻中的異常行為。為了描述粒子受到周圍點作用以及上下文影響,借鑒Mehran[3]的做法,本文根據(jù)粒子點周圍的光流場值更新粒子位置:即粒子下一幀的位置為當(dāng)前幀位置加上下一幀該粒子的值。粒子值具體算法如下:

圖4 雙線性插值計算粒子值

首先,對光流場進行一個3×3的高斯濾波,得到平均光流場。然后,在空間上,粒子點值由所在區(qū)域光流值雙線性插值[13]而來,以描述周圍粒子點的相互作用。如圖4,粒子點A在初始位置,值由圖中綠色區(qū)域的光流場雙線性插值而來,區(qū)域跟隨粒子A運動。本文設(shè)x和y都為8個像素。粒子點的運動軌跡如圖3(b)所示。

1.4 能量模型的建立

群聚群散是一種典型的異常行為[14]。這類異常行為特征是當(dāng)人群突然散開時,運動幅值相對于正常行為會有一個較大的變化。也就是說這類異常行為,異常發(fā)生時運動能量會有一個顯著的變化。由此,引入粒子流的能量模型。

圖5 粒子幅值

由此,得到粒子流的幅值直方圖,每15幀跟新一次。

根據(jù)得到的幅值數(shù)據(jù)信息,實驗設(shè)定幅值統(tǒng)計范圍為0到36。平均分成12組,并從低值到高值依次標(biāo)記為1到12,豎坐標(biāo)為落入這個組的粒子數(shù)。組數(shù)的選擇是根據(jù)多次實驗取得的一個較好值,如果組數(shù)取的過小,則不能充分量化能量,組數(shù)過大也不能明顯提高檢測率,反而增加了后續(xù)計算量。由于幅值是每隔15幀更新一次,一般來說對于一個幀率固定的攝像機來說,15幀的時間是固定的,這里我們簡單地設(shè)每15幀為一個單位時間,那么粒子幅值和速度在數(shù)值上是相等的。同時,假設(shè)粒子的質(zhì)量都為1。

物體由于運動而具有的能叫動能(KineticEnergy)[15]。根據(jù)動能定理,其計算方法如下:

(6)

其中Ek代表動能,m代表物體的質(zhì)量,v代表物體的速度。

那么,定義粒子幅值直方圖的能量為:

(7)

其中E為粒子幅值直方圖能量,i為組號從1到12,ki為每個組的值。實時監(jiān)測E的變化,當(dāng)E連續(xù)3次大于閾值Eth(根據(jù)實驗,設(shè)為10 000),即判定為異常;判定異常后,若E連續(xù)3次小于閾值Eth,則判定行為恢復(fù)正常,以提高檢測的穩(wěn)定性。

2 實驗結(jié)果和分析

為驗證算法的有效性,搭建如圖6所示實驗監(jiān)控系統(tǒng)。

圖6 實驗系統(tǒng)圖

在該監(jiān)控系統(tǒng)中,算法由C++編寫,使用Opencv視覺庫[16];PC處理機硬件配置為:CPU為Inteli3,主頻為3.3GHz,4G內(nèi)存,Windows7操作系統(tǒng);監(jiān)控攝像頭分辨率為320pixel×240pixel的usb攝像頭。當(dāng)系統(tǒng)檢測到異常行為發(fā)生時,電腦發(fā)信號觸發(fā)繼電器開關(guān)從而聲光報警器會播放報警音和閃爍報警燈。監(jiān)視器供監(jiān)控人員觀察。應(yīng)用該系統(tǒng),以從UMN人體行為數(shù)據(jù)庫中提取相關(guān)的視頻序列和實際場景進行測試,實驗表明該系統(tǒng)實時,有效,且適用于低分辨率情況。

圖7是序列1的實驗效果圖和相關(guān)數(shù)據(jù)。圖8是序列2的實驗效果圖和相關(guān)數(shù)據(jù)。由圖7和圖8可得,正常行為時粒子直方圖能量值為5000以下,處于較小值,當(dāng)人群突然散開時,其值明顯增大。說明,能很好的區(qū)分正常和異常情況。在多次實驗的基礎(chǔ)上,算法設(shè)閾值Eth為10 000。

同時,為了更好的評估本算法的性能,本文同傳統(tǒng)全局稠密光流法[3]對比檢測性能和運算速率。即先對整幅圖進行稠密光流計算得到光流場,直接對光流場進行能量建模,計算光流幅值直方圖能量,進行異常檢測。

圖7 序列1實驗圖

圖8 序列2實驗圖

檢測結(jié)果正確檢測率和錯誤檢測率對比算法如下:

TPR=TP/(TP+FN)

(8)

FPR=FP/(TP+FP)

(9)

其中,TPR表示正警率,TP表示正確檢測異常行為的幀數(shù),FN為在數(shù)據(jù)庫中異常行為真值幀中漏檢的幀數(shù),FPR表示為虛警率,FP為錯誤檢測為異常的幀數(shù)。表1表明,相對于光流方法[3],本文方法能更有效地檢測出異常行為,且誤警率低。

表1 檢測率對比 單位:ms

為對比算法的耗時,采用搭建的實驗平臺進行實驗。耗時如表2所示,可見本文方法大大減少了耗時,使得算法實時性好,能到達到實時應(yīng)用的要求。

表2 視頻每幀平均(ms)視頻320×240

3 總結(jié)

本文提出了一種建立在粒子流基礎(chǔ)上,結(jié)合社會力模型使用動能模型的異常行為檢測方法。本文使用前景掩碼,達到了計算局部稠密光流的目的,不需要對目標(biāo)進行跟蹤和有效分隔,算法不僅魯棒且場景適應(yīng)性強。相對傳統(tǒng)全局光流法,有效減少耗時。本文以光流為基礎(chǔ),建立粒子流場,使用社會力模型引入物體間的相互作用,提高了檢測率,也減小了計算量。以搭建的實驗監(jiān)控系統(tǒng)為平臺進行實驗,表明本文通過計算粒子幅值直方圖能量能夠?qū)崟r有效地檢測群聚群散行為,具有一定的實用意義。

當(dāng)然本文也存在一些不足。相關(guān)參數(shù)的自適應(yīng)獲得等方面還有大量工作需要進行。后續(xù)需要引入粒子場的方向特征,以進一步完善能量模型或者尋找更合適的模型,得到更好的效果。后續(xù)在實際應(yīng)用中可以引入GPU技術(shù),進一步加快處理速度,Opencv中已經(jīng)有基于Cuda的光流計算和背景跟新[16]。

[1]Popoola O P,Wang K. Video-Based Abnormal Human Behavior Recognition—A Review[J]. Systems,Man,and Cybernetics—Part C:Applications And Reviews,2012,42(6):65-878.

[2]Ying L,Jiulun F. Review of Intelligent Video Surveillance with Single Camera[C]//4th International Conference on Machine Vision(ICMV)—Machine Vision,Image Processing and Pattern Analysis,2011,8349:23-25.

[3]Oyama A,Shah M. Abnormal Crowd Behavior Detection Using Social Force Model[J]. Computer Visionand Pattern Recognition,2009,1(4):935-942.

[4]Haidar Sharif M,Djeraba C. An Entropy Approach for Abnormal Activities Detection in Video Streams[J]. Pattern Recognition,2012,45(7):2543-2561.

[5]Xiong G,Cheng J,Wu X. An Energy Model Approach to People Counting for Abnormal Crowd Behavior Detection[J]. Neurocomputing,2012,83:121-135.

[6]沈美麗. 基于角點檢測的光流目標(biāo)跟蹤算法[J]. 電子器件,2007,30(4):1397-1399.

[7]張顯亭. 一種改進的復(fù)雜場景運動目標(biāo)檢測算法[J]. 傳感技術(shù)學(xué)報,2007,22(8):1146-1149.

[8]Zivkovic Z. Improved Adaptive Gaussian Mixture Model for Background Subtraction[C]//Proceedings of the 17th Internatio1al Conference on Pattern Recognition,2004:28-31.

[9]Simon B,Daniel S. A Database and Evaluation Methodology for Optical Flow[J]. International Journal of Computer Vision. March 2011,92(1):1-31.

[10]Gunnar F. Two-Frame Motion Estimation Based on Polynomial Expansion[J]. Lecture Notes in Computer Science,2003,2749:3-370.

[11]杜鑒豪,許力. 基于區(qū)域光流特征的異常行為檢測[J]. 浙江大學(xué)學(xué)報(工學(xué)版),2011,45(7):1161-1166.

[12]Solmaz B. Identifying Behaviors in Crowd Scenes Using Stability Analysis for Dynamical Systems[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(10):2064-2070.

[13]Gribbon K T. A Novel Approach to Real-Time Bilinearinterpolation[C]//IEEE International Conference on Field-Programmable Technology,2004:126-131.

[14]Beibei Z,Monekoss Dorothyo N. Crowd Analysis:A Survey[J]. Machine Vision and Applications,2008,19:345-357.

[15]Xinyi C. Abnormal Detection Using Interaction Energy Potentials[C]//IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2011:3161-3167.

[16]http://opencv. org/.[Z].

汪雙承(1988-),男,漢族,安徽宣城人,上海大學(xué)通信學(xué)院碩士,主要研究方向為智能信息挖掘與處理,模式識別,wsc36305@163.com;

管業(yè)鵬(1967-),男,漢族,教授,主要研究方向為智能信息挖掘與處理、模式識別、計算機視覺等,ypguan@shu.edu.cn。

AbnormalBehaviorDetectionBasedonParticleFlowandEnergyModel*

WANGShuangcheng,GUANYepeng*

(School of Communication and Information Engineering,Shanghai University,Shanghai 200444,China)

This paper proposes a novel method to detect abnormal behavior with single camera,which can capture the dynamics of the crowd behavior successfully. Due to the time-consuming,the bad anti-noise and high sensitivity to light for dense optical flow method and inadequate motion information for sparse optical flow,binary foreground mask is used for calculating local dense optical flow. Particle flow is constructed based on optical flow for stable feature extraction,since optical flow only reflects instantaneous motion information and cannot describe the motion accumulation and interaction between objects. A kinetic energy of particle magnitude histogram is computed to capture the abnormality. A video surveillance system is constructed,the experiments on different scenes show that the proposed method is real-time,and robust.

abnormal behavior detection;crowd analysis;particle flow;energy model;optical flow

項目來源:國家自然科學(xué)基金項目(11176016);教育部博士點基金項目(20123108110014)

2013-12-19修改日期:2014-01-07

0439

:A

:1005-9490(2014)06-1081-06

10.3969/j.issn.1005-9490.2014.06.015