基于人群運動變化規(guī)律的異常行為檢測算法

方 凱，劉玉鑫，楊恩澤，劉碩研

（中國鐵道科學(xué)研究院集團(tuán)有限公司 電子計算技術(shù)研究所，北京 100081）

針對公共場所進(jìn)行群體異常行為檢測對維護(hù)公共安全和保障人民群眾的生命和財產(chǎn)安全具有重要意義[1]。然而，公共場所存在環(huán)境復(fù)雜、人員光線易遮擋等問題。如何準(zhǔn)確地檢測到異常情況，成為亟需解決的問題。目前，有兩種主要的研究思路[2-4]，一種是通過描述人群運動行為來判斷是否存在異常情況，例如，文獻(xiàn)[3]提出了基于agent 的行人行為模型，該模型通過分析行人的目的地和社會關(guān)系對其異常運動情況進(jìn)行簡單而有效地估計；文獻(xiàn)[4]通過研究群體的集體性來衡量人群運動的異常情況。另一種研究思路[5-8]是通過使用統(tǒng)計學(xué)習(xí)模型，將不經(jīng)常出現(xiàn)的行為定義為異常行為，Ching 等人[5]提出利用分裂聚類方法，挖掘群體運動異常情況；Almeida 等人[6]提出了一種基于世界坐標(biāo)系中運動矢量的群體運動行為變化檢測方法；Roshtkhari 等人[7]提出了一種實時學(xué)習(xí)方法，使用時空合成來檢測視頻中的異常；Mehran 等人[8]試圖基于領(lǐng)域知識，建立具有特定特征的層次模型，提出使用社會力模型來檢測基于粒子平流光流場的異常行為。

統(tǒng)計學(xué)習(xí)模型具有數(shù)據(jù)描述靈活、模型泛化能力強等特點，已逐漸成為目前異常行為檢測的主流算法。然而，異常行為的訓(xùn)練樣本數(shù)量較少，使得基于該模型的算法檢測準(zhǔn)確率較低。研究發(fā)現(xiàn)，人群的正常行為是其動作遵守一定的運動轉(zhuǎn)換規(guī)律形成的，而異常行為則不遵守任何轉(zhuǎn)換規(guī)律。

為此，本文嘗試挖掘視頻中的人群運動變化規(guī)律，進(jìn)行異常行為的檢測與定位。（1）提取視頻中的人群群體運動特征“Collectiveness”，利用詞包模型構(gòu)建人群的主要運動模式；（2）利用視頻幀的運動模式差，構(gòu)建運動轉(zhuǎn)換空間；（3）使用聚類方法挖掘轉(zhuǎn)換空間中的運動變化規(guī)律；（4）根據(jù)與人群運動變化規(guī)律的相似性，定位異常事件可能出現(xiàn)的區(qū)域。正常的人群運動具有較高的相似性，而異常事件的相似性較低。該方法在UMN 數(shù)據(jù)集和客運站異常視頻庫上進(jìn)行了測試。實驗結(jié)果驗證了該方法對異常行為檢測的有效性。

1 基于人群運動變化規(guī)律的異常行為檢測算法

基于人群運動變化規(guī)律的異常行為檢測算法流程如圖1 所示。（1）基于視頻幀的“Collectiveness”特征，提取人群的主要運動模式；（2）訓(xùn)練階段，在視頻幀對的運動轉(zhuǎn)換空間中學(xué)習(xí)正常行為的運動變化規(guī)律；（3）測試階段，針對歷史幀與當(dāng)前幀對 (frame(t1),frame(t1+Δt))，學(xué)習(xí)得到其相應(yīng)的運動變化規(guī)律；（4）通過運動變化規(guī)律構(gòu)建相似圖，相似圖中差異超過閾值的區(qū)域即為異常行為出現(xiàn)的位置。

圖1 基于人群運動變化規(guī)律的異常行為檢測算法流程

1.1 視頻圖像幀的運動模式表示

本文引入“Collectiveness”運動特征來表示人群運動信息，該運動特征已經(jīng)受到諸多研究領(lǐng)域的關(guān)注，被認(rèn)為是最合適的群體運動行為描述特征之一[4]。設(shè)W是與群集C相關(guān)聯(lián)的加權(quán)鄰接矩陣，其中，邊wt(i,j) 表示圖像塊i和圖像塊j在其鄰域中的相似性。定 義 γl={p0→p1→···→pl},其中,p0=i,pl=j表示在加權(quán)鄰接矩陣W中的點p0,p1,···,pl之間的路徑，并用定義針對特定路徑γl的路徑相似性。

因在圖像塊i和圖像塊j之間存在多條路徑，利用Pl來定義在圖像塊i和圖像塊j之間長度為l的所有路徑，路徑的相似性定義為，圖像塊i在γl路徑下的“Collectiveness”為：

對圖像進(jìn)行稠密采樣，隨后對每個采樣區(qū)域提取“Collectiveness”特征，并采用詞包模型[9]生成群體運動模式。詞包模型作為目前主流的圖像表示方法已經(jīng)在圖像分類領(lǐng)域取得了較好的性能。受其啟發(fā)，本文通過K-means 算法對訓(xùn)練圖像區(qū)域的“Collectiveness”特征進(jìn)行聚類，生成聚類中心，并將圖像塊根據(jù)最近鄰準(zhǔn)則量化到聚類中心上。每個聚類中心被定義為一個群體運動模式，而生成的n個運動模式單詞則構(gòu)成動作運動詞典，分別統(tǒng)計每幅視頻幀中運動模式的出現(xiàn)頻率，構(gòu)建nbins 的直方圖。

1.2 運動變化規(guī)律

給定 兩個n-bins 直方圖h、g，采用bin-ratio 信息來構(gòu)造轉(zhuǎn)移矩陣T∈Rn×n，定義為：

其中，每個元素gj/hi測量h的第i個元素與g的第j個元素之間的差異。

現(xiàn)有的異常行為一般定義為偶然發(fā)生的、不經(jīng)常出現(xiàn)的定位動作[8]，即正常的運動轉(zhuǎn)換規(guī)率為轉(zhuǎn)換空間中的高頻事件。基于構(gòu)建的運動轉(zhuǎn)換空間，二次利用詞包模型聚類挖掘運動規(guī)律。例如采用kmeans 或IB 聚類方法，生成運動變化規(guī)律。

1.3 基于相似圖的異常行為檢測算法

測試視頻幀x與其前一幀y構(gòu)建形成其相應(yīng)的轉(zhuǎn)換矩陣，隨后與運動變化規(guī)律相比較計算其相似圖，根據(jù)相似圖是否超過閾值，判定該幀的行為是否屬于異常情況。

2 實驗部分

2.1 算法測試及參數(shù)選定

本文從100 幀中提取運動模式數(shù)量為30 的學(xué)習(xí)規(guī)律。如圖2 所示，顯示了檢測異常場景的一些定性結(jié)果。在圖2 的每一行中，左欄顯示視頻的第1 幀，右欄顯示檢測到的異常塊的第1 幀。綠色表示正常幀，紅色表示異常幀。水平條上的第1 個數(shù)字標(biāo)識所示異常幀的計時。實驗結(jié)果表明，估計的運動變化規(guī)律能夠捕捉到異常行為的本質(zhì)，即使在沒有訓(xùn)練的場景中也是如此。該方法所需的檢測時間比數(shù)據(jù)集中給出的真實情況所需的時間短。主要原因是UMN 數(shù)據(jù)集提供了事件檢測的基本真實值，它們是在事件發(fā)生后的幾幀內(nèi)被標(biāo)記出來的[10-13]。

圖2 UMN 數(shù)據(jù)集3 個樣本異常行為檢測的定性結(jié)果

2.2 變化規(guī)律與性能的關(guān)系

運動變化規(guī)律數(shù)對檢測性能的影響，如圖3 所示。圖中顯示了5 種不同大小運動變化規(guī)律數(shù)對應(yīng)的性能變化。可以看出，運動變化規(guī)律數(shù)從10 開始增加，性能逐漸提高，當(dāng)運動變化規(guī)律數(shù)為30 時，性能達(dá)到最佳，然后略有下降。結(jié)果表明，如果數(shù)值太小，很難找到運動變化的規(guī)律。這意味著異常事件可以與正常事件分組。如果運動規(guī)律的數(shù)目過大，一些正常的活動會與異常活動相匹配，從而降低檢測性能。此外，使用更大的運動變化規(guī)律數(shù)需要更多的內(nèi)存，且計算時間顯著增加，因此在線實現(xiàn)將變得不可能。

圖3 運動變化規(guī)律數(shù)對異常行為性能檢測的影響

2.3 算法性能對比

將本文方法的性能與文獻(xiàn)[6]中關(guān)于UMN 數(shù)據(jù)集的現(xiàn)有結(jié)果進(jìn)行比較，其ROC（Receiver Operating Characteristic）曲線如圖4 所示。結(jié)果表明，該方法在異常檢測方面優(yōu)于其他方法。文獻(xiàn)[6]中方法的主要缺點是以運動模式作為主要線索。可以觀察到，不同運動方向引起的異常活動和正常活動可能映射到相同的運動模式。然而，不尋常的方向會導(dǎo)致人群運動行為的變化，這與正常值不相似。換言之，場景中的運動模式并不區(qū)分異常，但運動模式的變化規(guī)律卻可以區(qū)分。因此，本文的方法不是生成運動模式來學(xué)習(xí)異常行為，而是比較了每一幀與前一幀的運動模式。此外，本文提出的方法對異常運動模式也是有效的。異常的運動模式很難聚類到任何視覺文字中，因此其直方圖也不同于其他視覺文字，生成的傳遞矩陣和運動規(guī)律之間的相似性較小。綜上，該方法成功地模擬了異常行為的本質(zhì)。

圖4 算法比較ROC 曲線

2.4 構(gòu)建客運站異常圖像庫并驗證

目前，主流的異常行為數(shù)據(jù)集絕大部分來源于國外，與國內(nèi)鐵路客運站的實際場景有較大差別。為此，本文嘗試自建客運站異常圖像庫，該圖像庫中包含了不同鐵路客運站所有工作時間段的監(jiān)控場景，包括商鋪、電梯、立柱、柵欄、橫幅、廣告牌和監(jiān)控點等，人流密度、方向不一且行為和動作多變，能夠較好地反映國內(nèi)車站的真實監(jiān)控場景。

客運站異常圖像庫包含來自190 個車站的8 105段視頻，采集于4 類區(qū)域，即出/ 入口閘機、出口區(qū)域、候車室和站臺。出/ 入口閘機的視頻數(shù)目為1 961 段，正常行為定義為依據(jù)指定方向以正常速度進(jìn)入候車室，異常行為定義為與指定方向所呈角度大于45°的運動方向，共有166 段異常行為視頻；出口區(qū)域共有943 段視頻，包含119 段異常視頻，異常行為主要為在出口區(qū)域徘徊或錯誤的運行方向；候車室區(qū)域視頻共有2 354 段，其中異常視頻386 段，主要是一些聚集與分散、突然停止、奔跑等異常行為；站臺區(qū)域共有2 847 段視頻，包含589 段黃線越界、端部入侵等異常行為視頻。異常數(shù)據(jù)集的示例，如圖5 所示。

圖5 客運站異常圖像庫異常行為示例

如圖6 所示，為火車站異常行為定位的定性結(jié)果，異常個體（走錯方向）以紅色方框突出顯示。結(jié)果表明，本文的異常行為檢測算法能夠在火車站人群聚集的區(qū)域準(zhǔn)確定位異常行為。

圖6 視頻幀的異常行為定位

3 結(jié)束語

本文提出了一種基于人群運動變化規(guī)律的異常行為檢測算法。該算法通過挖掘人群主要的運動模式，實時定位視頻幀中的異常行為發(fā)生區(qū)域。實驗結(jié)果表明，該算法不僅在公開數(shù)據(jù)集上取得較好的效果，還適用于鐵路客運站真實環(huán)境。然而，現(xiàn)階段的研究工作仍然存在一些不足，對某些光照和角度特殊的場景用本文的方法仍不能取得較好的檢測效果。因此，如何綜合運用多種特征來提取運動規(guī)律是下一步的研究方向。