基于時空信息約束的密集人群分割方法

易 嫻, 董 楠, 魏建明, 朱文浩

基于時空信息約束的密集人群分割方法

易 嫻1,2, 董 楠2, 魏建明2, 朱文浩1

(1.上海大學計算機工程與科學學院,上海200444;2.中國科學院上海高等研究院安全與應急實驗室,上海201210)

在密集場景中,人群可以看作是由三五成群的、具有運動一致性的子群體構成的集合.為了能劃分這些子群體,以便對人群的交互行為進行分析,提出了一種基于時空信息約束的分割方法.該方法首先利用背景建模和特征點跟蹤,獲取視頻圖像幀中運動目標的時空信息;然后,利用前景中群體分布的空間區域信息,將空間上相鄰近的人群劃分為若干個子群體;最后,通過一段時間內的運動相關性將子群體進行進一步的分割.這兩種約束信息相互作用,得到具有運動一致性的子群體.通過大量實驗驗證測試,表明該方法可以應用于不同人群密度、視角范圍等多種場景視頻.

群體分割;子群體;運動一致性;時空信息約束

世界人口的日益增加和城市化進程的加快使得公共場所的人群安全問題日漸突出,對密集體進行智能監控也顯得尤為重要.群體分割是智能監控技術中一項具有挑戰性的課題,為人群行為分析等后續工作提供了重要的分析素材,在公共場所的人群管理、突發情況監控等領域中有著廣泛的應用[1].

目前,關于群體分割主要有3個層面的研究:宏觀、微觀和介觀層面.Li等[2]、Zhang等[3]和Andrade等[4]從微觀角度入手,將人群視為若干個體的集合體,利用顏色、輪廓、尺度不變特征變換(scale-invariant feature transform,SIFT)等局部特征來進行單個運動目標的識別與劃分.基于單目標對象的分割方法有著共同的局限性,即對密集的、有遮擋的群體目標的分割效果較差.宏觀的分割方法利用光流、密度等整體特征進行分割,這種自頂向下的方法回避了人群遮擋的問題.Andrade等[5]對光流向量進行建模,然后利用譜聚類對具有相似運動模式的場景進行劃分;Chan等[6]通過混合動態紋理建模的方法進行群體分割.但是,這些方法忽略了群體運動的局部特征.

有研究發現,在密集群體場景中人們往往不是自由地單獨行動,而是更加傾向于三五成群地共同運動[7-9].由此可見,群體運動并非簡單的個體運動的疊加.Moussaid等[10]認為,在密集群體運動中,個體會調整自己的運動狀態使之和旁人保持一致,形成具有運動一致性的子群體.基于此,本工作將從介觀的視角入手,將人群劃分為由三到五人構成的子群體.目前從子群體的角度分析群體運動的研究還比較少.Chang等[11]首先提出子群體的概念,將人群分成幾個具有一定結構的子群體,利用成對相似性、距離等條件實現對小群體的劃分,但該方法仍依賴對個體的檢測,且實現起來較為復雜.Chang等[11]還利用基于多攝像頭多目標跟蹤系統識別人群中子群體,然而此方法成本較高.

為了解決上述問題,本工作提出了一種基于時空信息約束的算法.將運動群體中個體之間在時間上的運動關系和空間上的鄰近性作為劃分群體的依據,兩種條件相互約束,將群體劃分為具有運動一致性的子群體.通過大量的實驗測試,驗證了本算法能夠適用于不同群體密度和觀察視角的監控視頻流,且實現簡單,運行速度快.

1 運動群體的時空信息提取

Ge等[12]和Kaewtrakulpong等[13]的研究表明,小群體的成員間具有運動一致性,而這種一致性可以通過個體成員和周圍鄰近成員的交互關系來表示.將運動一致性定義為2種:空間一致性和時間一致性.空間一致性反映了個體之間距離的遠近,通常距離較近的個體會自發組成運動團體;而時間上的一致性則反應了個體運動的目的,同一個團體內的個體在一定時間內運動趨勢相同.

對于空間一致性,通過實現Kaewtrakulpong等[13]的基于混合高斯背景建模的方法,得到前景運動區域斑塊,劃分出在空間上鄰近的個體.而在時間一致性方面,通過Kanade-Lucas-Tomasi(KLT)算法[14]得到跟蹤點的位置、運動軌跡等信息.結合這兩種信息,本工作實現了一種融合的方法來得到介觀的運動目標群體.具體算法流程和描述如圖1和2所示.

1.1 前景特征點的運動信息提取

為了獲得運動人群的運動信息,在視頻圖像幀上獲得若干特征點,并采用KLT算法進行特征點的匹配跟蹤.

設在t時刻對應的圖像幀為I(x,y,t),在t+τ時刻對應的圖像幀為J(x,y,t+τ),其位置變化滿足

運動量d=(Δx,Δy)稱為點X(x,y)的偏移.

圖1 本算法流程Fig.1 Process f l ow of the proposed algorithm

圖2 本算法描述Fig.2 Description of the proposed algorithm

接下來找到使灰度差平方和(sum of squared dif f erences,SSD)最小化的d:

式中:W為給定的特征窗口;J(X+d),I(X)代表相鄰兩幀圖像的對應關系;ω(X)為加權函數,通常取1.得到的偏移量d=(Δx,Δy)可以看作是幀與幀之間特征點的位移,記v=(Δx,Δy).可以用一個4維向量P=?Px,Py,Pvel,Pdirc?來表示每個KLT特征點P的運動信息,其中Px,Py表示跟蹤點的空間坐標;Pvel表示該點的位移大小,其值為|v|;Pdirc表示該點的運動方向信息,其值為v.圖像幀I包含由這些KLT特征點構成的點集SI={P1,P2,···,Pk}(見圖2(a)).

1.2 前景斑塊提取

采用混合高斯背景建模算法獲得前景運動區域斑塊.混合高斯背景建模算法是一種適合檢測群體運動目標的方法[13],常被用于處理復雜背景下的運動前景檢測.

混合高斯模型使用K(基本為3～5)個高斯模型來表征圖像中各個像素點的特征,在獲得新一幀圖像后更新混合高斯模型,用當前圖像中的每個像素點與混合高斯模型匹配,如果成功則判定該點為背景點,否則為前景點.該算法獲得的前景區域是一個二值化的前景掩模,將掩模中前景點的連通區域標記為Bk,則圖像幀I包含由這些斑塊構成的集合BI={B1,B2,···,Bk},表示圖像幀I中包含k個連通的斑塊(見圖2(b)).

2 基于時空信息約束的群體劃分

在獲得了特征點運動信息和前景斑塊后,可以將問題簡化為已知圖像幀I中所有特征點構成集合SI,通過本算法將特征點集合SI分割為包含若干點的子集,結果為SI={CI,FI},其中C={C1,C2,···,Ck}為圖像幀I中經過劃分后具有運動一致性的點集,其含義為構成人群的子群體.而FI則是包含被剔除的點的集合.

2.1 基于空間信息約束的群體劃分

在1.2節得到每幀圖像中的前景斑塊集合BI={B1,B2,···,Bk}.在本節中,本工作將利用斑塊Bk的空間信息對KLT特征點集SI進行初步劃分.

為了便于處理,用矩形表示斑塊的空間位置.在找到斑塊的邊界像素位置之后,按照其坐標值劃分出一個矩形區域,并獲得其邊界屬性BR(bottom-right)和TL(top-left),分別為矩形的右下角點坐標和右上角點坐標(見圖2(b)).如果特征點P的位置處在斑塊的輪廓范圍內,則將該點劃分為該斑塊的點.偽算法描述如下.

已知Bk斑塊的屬性有BR和TL,當前特征點P的坐標值為(px,py).

其中,TLx為斑塊矩形左上角的x坐標值,TLy為斑塊矩形左上角的y坐標值,BRx和BRy同理.如果點P∈Bk,則將P加入Bk中;反之,則進行下一個斑塊匹配,若P不屬于任何一個斑塊,則將其剔除.此時的分割結果可以表示為SI={BI,FI},其中BI為圖像幀I中包含經過空間約束的特征點的斑塊,FI為圖像幀I中不在前景運動斑塊上的點集.場景實例如圖3所示.劃分后的結果如圖3(c)所示,運動人群中空間位置相近的個體被劃分為一個小群體.

圖3 場景實例1Fig.3 Real scene example 1

圖3(a)為原圖,(b)為特征點位置示意圖,(c)為通過混合高斯背景建模算法得到的二值化掩模,(d)為經過斑塊邊界約束的特征點劃分示意圖,(d)中不同的人群由不同的顏色顯示.

由圖3可以看出,在加入邊界約束的條件下位置鄰近的特征點被分為若干個不同的子群體.但是從場景圖(a)中可以看出,人群A中明顯存在兩個運動方向不同的個體,一個向北運動,一個在向西運動.因此在下一步的處理中,本工作將加入運動一致性條件,來劃分在這種情況下空間約束條件不能夠區分的群體.

2.2 基于時間信息約束的群體劃分

特征點P的運動信息向量中的Pdirc屬性表明了時間上幀與幀之間特征點的運動關系.利用這種變化關系可以將斑塊BI={B1,B2,···,Bk}進行更細粒度的劃分.

首先,計算特征點P的位移向量v=(Δx,Δy)與x軸(圖像的水平方向)形成的方向余弦cosθ,進而獲得其方向夾角

將方向夾角從0到2π劃分為12等份,每個區間分別標記為Di(i=1,2,···,12).為Pdirc賦值:

將同一個斑塊中屬性值Pdirc相同的特征點聚合為一個點集Ck,經過方向夾角約束后,原來的斑塊集合BI進一步劃分為BI={C},其中C={C1,C2,···,Ck}.這樣,運動趨勢相近的特征點就標記為一個子群體.經過運動一致性約束后的劃分結果如圖4所示.

圖4 場景實例2Fig.4 Real scene example 2

圖4(a)為僅通過空間約束對群體進行劃分后的效果圖,(b)為加入運動一致性約束后的分割效果圖.可以看出,僅僅是空間上的約束劃分并不能區分出向兩個方向運動的群體.圖4(a)中人群A無法通過斑塊邊界約束辨別出運動方向不同的兩個運動個體.而加入對運動信息的處理后,人群A被劃分為兩個不同的群體:人群B和人群C.

位移方向劃分的間隔大小對子群體劃分也會產生影響.間隔越大,對群體的劃分越粗糙;間隔越小,對群體的劃分越精細.在極端情況下,劃分的子群體為單獨的運動個體.如圖5所示,(b)為劃分間隔為8個區域時的子群體劃分情況,(c)為劃分間隔為12個區域時的子群體劃分情況.可以看出,當劃分為12個區域時,劃分的效果較好.在原場景圖中可以明顯觀察到運動方向有細微差別的運動群體A,B,C,如果劃分間隔較小,則無法區別出3個運動群體.當位移方向劃分的間隔為12時,產生的噪點可以通過修正的方法得到改進,如果劃分的范圍再細致,則會產生很多噪點,且更不容易得到修正.因此,通過實驗本工作選擇12個劃分區域進行分割,但在實際應用中可調整該參數以適應不同場景的分割計算.

圖5 方向夾角劃分間隔不同對結果的影響Fig.5 Ef f ects of dif f erent intervals of direction angel division on the results

2.3 劃分結果中異常點的剔除和修正

為了提高分割的精確度,需要修正一些異常的噪點.通過分析這些異常出現的位置,發現行人的頭部和腳部常常被誤認為是兩個團塊,手臂和頭部的擺動也會造成劃分的誤差.為此本工作提出了以下基于常識的改進方法.

(1)修正異常點.對于頭部和腳部方向的細微角度差導致的劃分錯誤,將跟蹤點P向量中運動方向Pdirc的劃分間隔放大,盡可能減小因位移方向劃分過細引起的誤差.具體方法如下:計算特征點P的K個臨近點中,假設各臨近點的屬性值Pdirc出現頻率最大的標記值為Di;特征點P的Pdirc值假設為Dj,那么對于所有的特征點,若i+1=j或i?1=j,那么將P的Pdirc值修正為Di.

(2)剔除異常點.通過大量數據觀察發現,異常點值的周圍通常缺少同類點的存在,尤其是手臂處和頭部的擺動造成的異常點,因此計算特征點P的L個臨近點中與其運動趨勢相同的點的個數N.設定一個臨界值M(M ≤L),如果N＜M,則將P點認為是異常點,從子群體Ck中剔除.

如圖6所示,在該場景中由于地面的燈光反射和人體的不同部位的輕微運動差別,群體劃分的結果含有許多噪點,經過改進后,基本可以消除這些噪點.

圖6 異常點修正效果Fig.6 Results after eliminating the outliers

3 實驗結果

3.1 群體視頻數據庫

選擇CUHK Crowd Dataset數據庫[15]進行實驗.CUHK數據庫由香港中文大學提供,其內容包含了街道、商場、公園等公共場所中多種不同密度人群、視角范圍的群體視頻.該數據庫是目前最權威、包含場景數目最多的數據庫.

3.2 實驗結果與分析

在現有的群體分割算法中,效果較好的算法有基于Collective Transition(CT)priors算法[16]和Coherent Filtering(CF)算法[17],由于CT和CF算法的劃分結果十分相近,故選取CF算法進行分割結果的比較.

圖7～10分別為同一場景中的算法對比結果,每個場景選擇兩個片段進行對比.不同群體由不同顏色的特征點來表示.從圖7和8中可以看出,CF算法經常會把大于或等于10人以上的群體劃分為一個子群體,不符合生活中對小群體的界定,而本算法劃分出的群體個數比較多,比較符合實際生活中人群里自發形成的子群體的情況.

通過與人工標定的結果對比,可以得到如表1所示的CF算法與本算法分割效果對比結果.從定量角度來看,本算法的劃分結果更符合子群體的劃分要求:劃分的群體個數比CF算法多,而且劃分出的小群體的運動個體數比較少.

圖7 場景1算法對比Fig.7 Algorithm comparisons in scenario 1

圖8 場景2算法對比Fig.8 Algorithm comparisons in scenario 2

圖9 場景3算法對比Fig.9 Algorithm comparisons in scenario 3

圖10 場景4算法對比Fig.10 Algorithm comparisons in scenario 4

表1 CF算法與本算法分割效果對比表Table 1 Comparisons between the CF algorithm and the proposed algorithm

綜上所述,本算法在人群劃分上粒度更精細,在相同人數的場景中,不僅劃分的群體個數更多,而且每個群體的人數符合群體行為描述中“小群體”的要求,因此對小群體的描述更準確.

4 結束語

本工作提出了一種基于時空信息約束的子群體分割方法.該方法融合了運動目標人群的空間鄰近信息和一定時間內的運動趨勢信息,來代表實際生活中人群運動在空間和時間上的一致性,從而有效地將密集的人群分割為3～5人的自然子群體.在進一步的研究中,本算法的結果可以用于群體運動特征的建模,成為群體行為分析的重要基礎.但該方法也存在不足的地方,如在空間信息的利用上,由于算法的局限性,可能會出現人影粘連導致的誤判,故在今后的研究中,本工作將借鑒隨機選擇[18]的方法,使得本算法能獲得更準確的結果.

[1]BEN X Y,HUANG X F,ZHUANG Z Y,et al.Agent-based approach for crowded pedestrian evacuation simulation[J].Intelligent Transport Systems,2013,7(1):55-67.

[2]LI J Y,LU X F,DING L Y,et al.Moving target tracking via particle f i lter based on color and contour features[C]//Proceedings of International Conference on Information Engineering and Computer Science.2010:1-4.

[3]ZHANG Q,RUI T,FANG H S,et al.Particle f i lter object tracking based on Harris-SIFT feature matching[J].Procedia Engineering,2012,29:924-929.

[4]ANDRADE E L,BLUNSDEN S,FISHER R B.Modeling crowd scenes for event detection[C]//Proceedings of 18th International Conference on Pattern Recognition.2006:175-178.

[5]ANDRADE E L,FISHER R B.Simulation of crowd problems for computer vision[C]//First International Workshop on Crowd Simulation.2005:71-80.

[6]CHAN A,VASCONCELOS N.Modeling,clustering,and segmenting video with mixtures of dynamic textures[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2008,30(5):909-926.

[7]AvENI A.The not-so-lonely crowd:friendship groups in collective behavior[J].Sociometry,1977,40:96-99.

[8]KARAMOUZAS I,OvERMARS M.Simulating and evaluating the local behavior of small pedestrian groups[J].IEEE Transactions on Visualization and Computer Graphics,2012,18(3):394-406.

[9]LAN T,WANG Y,YANG W L,et al.Discriminative latent models for recognizing contextual group activities[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(8):1549-1562.

[10]MOUSSAID M,PEROZO N,GARNIER S,et al.The walking behavior of pedestrian social groups and its impact on crowd dynamics[J].PloS One,2010,5(4):e10047.

[11]CHANG M C,KRAHNSTOEvER N,LIM S,et al.Group level activity recognition in crowded environments across multiple cameras advanced video and signal based surveillance[C]//Proceedings of International Conference on Advanced Video and Signal Based Surveillance.2010:56-63.

[12]GE W N,COLLINS R T,RUbACk B.Automatically detecting the small group structure of a crowd[C]//Proceedings of Workshop on Applications on Computer Vision.2009:1-8.

[13]KAEwTRAkULpONG P,BOwDEN R.An improved adaptive background mixture model for realtime tracking with shadow detection[C]//Proceedings of 2nd European Workshop on Advanced Video Based Surveillance Systems.2001:149-158.

[14]TOMASI C,KANADE T.Detection and tracking of point features[J].International Journal of Computer Vision,1991,9:137-154.

[15]SHAO J.CUHK crowd dataset[EB/OL].[2015-04-30].http://www.ee.cuhk.hk/～jshao/cuHKcrowdfi les/cuhk-dataset-htm.

[16]SHAO J,CHEN C L,WANG X G.Scene-independent group prof i ling in crowd[C]//Proceedings of Conference on Computer Vision and Pattern Recognition.2014:2227-2234.

[17]ZHOU B,TANG X,WANG X.Coherent f i ltering:detecting coherent motions from crowd clutters[C]//Proceedings of Conference on Computer Vision.2012:857-871.

[18]BARNICH O,VAN DROOGENbROECk M.Vibe:a universal background subtraction algorithm for video sequences[J].IEEE Transactions on Image Processing,2011,20(6):1709-1724.

Segmenting groups in crowd based on spatiotemporal restraint

YI Xian1,2,DONG Nan2,WEI Jianming2,ZHU Wenhao1
(1.School of Computer Engineering and Science,Shanghai University,Shanghai 200444,China;2.Safety and Emergency Laboratory,Shanghai Advanced Research Institute,Chinese Academy of Sciences,Shanghai 201210,China)

Pedestrians in crowded scenes can be seen as a collection of groups moving coherently.To segment the crowd into groups and analyze interactions between them,a method using group spatiotemporal relationships is proposed.Spatiotemporal information of crowds by modeling the background and tracking the feature points is acquired.Then the individuals are grouped according to aspatial neighborhood restraint.The groups are further divided by motion correlation over time.These two restraints work with each other ef f ectively,and generate groups with coherent motion.Tests on many videos of real-world pedestrian scenes show that the method can be applied to a variety of scenes with dif f erent crowd densities and perspective of videos.

crowd segmentation;sub-group;coherent motion;spatiotemporal restraint

TP 391.41

A

1007-2861(2017)05-0742-10

10.12066/j.issn.1007-2861.1760

2015-11-02

國家自然科學基金資助項目(61302151);上海市自然科學基金資助項目(13ZR1455100)

董 楠(1982—),男,副研究員,博士,研究方向為視頻圖像理解、機器學習等.E-mail:dongn@sari.ac.cn

本文彩色版可登陸本刊網站查詢:http://www.journal.shu.edu.cn