密集場景下基于輪廓運動的人群行為分析

唐志鴻 石 浩 胡小鵬

1.中國移動通信集團江蘇有限公司；2.大連理工大學

0 引言

人群行為分析針對不同場景中的人群動向、密集程度、發(fā)生的人群行為事件等進行分析理解，從而檢測或預測人群的異常行為，在人群監(jiān)測分析、公共場所的規(guī)劃和設計等領域都有巨大的應用價值。

當場景中人群密度越來越高時，人群由于行人個體空間位置受限和個體間的行為交互不能自由移動，就容易出現集群行為，進而形成多個具有不同運動特征的小規(guī)模集合，稱為群組（Group）。人群群組行為分析方法提供了不一樣的分析角度，群組級別的特征反映了人群更深層次、更豐富的語義信息，可以更好地應用于人群行為識別檢測、人群場景理解等語義相關的任務。因此如何準確有效地進行人群群組檢測以及利用群組特征來檢測識別人群行為成為近年來人群行為分析算法的研究重點。

在密集場所條件下，群組中的個體相互影響，人體及人體各部分相互重疊，產生了不準確或不完備的人體表達，造成行為分析的困難。現有的基于監(jiān)控視頻的人群行為分析算法一般都是從整體或個體的角度來分析人群場景，將人群視為一個整體進行分析，或通過分析個體運動特征來找出人群運動的規(guī)律。在密集場所條件下，上述兩種方法都存在一定缺陷：從個體角度分析需要對人群中個體或個體部分（如頭部）進行準確地檢測分離。在個體復雜行為交互的密集人群場景條件下,個體分離較難實現；基于人群整體分析的方法通常只關注人群的集體一致性行為，忽略了許多其他有用的信息（如群組行為輪廓、小群體交互的局部一致性、軌跡時間滯后特征、行人位置關系等等）。

為避免密集條件下個體分離困難，本文提取可靠的行人輪廓運動信息，通過聚類算法對運動特征分析，實現人群群組行為分析，給出了一種基于輪廓運動的人群群組行為分析算法。

本文方法主要通過前景邊緣檢測提取可靠前景輪廓，跟蹤輪廓特征點提取運動特征，利用運動特征與群組中心的拓撲關系進行聚類，通過群組中心運動向量的交點、群組間距離變化和運動速度來對人群行為進行分析，采用Graham掃描法降低誤報。本文算法主要分為三個部分：提取輪廓特征、群組檢測和行為分析。

1 基于輪廓運動分析的行為分析

1.1 輪廓提取與跟蹤篩選

本節(jié)將邊緣檢測與混合高斯背景建模相結合，直接對邊緣梯度進行背景建模，實現快速有效的前景邊緣提取。為了提高前景邊緣的完整性和準確性，本節(jié)結合邊緣檢測算法增強邊緣連續(xù)性的思想，對前景邊緣進行擴展，得到更加準確的前景邊緣。

具體做法是將Canny算法檢測到的前景邊緣作為“強邊緣”，剩下的其他前景邊緣作為“弱邊緣”，進行“強”“弱”連接。當檢測到的非前景邊緣點即“弱邊緣點”周圍8鄰域有前景邊緣點即“強邊緣點”存在時，就將該邊緣點與前景邊緣點連接，該邊緣點則成為前景邊緣點，直至最后所有前景邊緣連接完成。

本文采用Senst和Geistert等人提出RLOF （Robust Local Optical Flow）光流算法進行跟蹤。采用Shi-Tomasi方法提取前景輪廓上的特征點。

人群前景輪廓大部分是垂直走向，因此可以根據這個特征對前景邊緣做初步篩選,凸顯行人兩側的輪廓邊緣。通過對垂直方向上兩次遍歷的方式，來求得前景輪廓的垂直高度,根據高度大小大致確定人群前景的垂直方向上的輪廓。如圖1所示，樹狀圖表示前景邊緣點分布情況，垂直高度最大的邊緣G0G1G2G3是前景輪廓的可能性最大。

圖1 前景輪廓的垂直走向樹狀圖

本文通過從上下兩次遍歷的方式來找到滿足一定垂直高度的邊緣作為前景輪廓。具體過程如下：

（1）第一次遍歷（從上到下）：邊緣像素根節(jié)點G0開始向下遍歷，尋找子節(jié)點的同時，記錄父節(jié)點的值為遍歷層數，直至沒有找到子節(jié)點。

（2）第二次遍歷（從下到上）：第一次遍歷，高層節(jié)點無法獲取邊緣高度，故從葉子節(jié)點G6開始向上遍歷,將邊緣高度傳遞給父節(jié)點，直至傳到根節(jié)點G0。

為篩除異常特征點得到更加可靠的人群軌跡，需要解決跟蹤漂移問題。本文采用光流反向檢測方法來判別特征點是否發(fā)生跟蹤漂移。具體判別方法如下：

當EPFB≤threshold時，P點為可跟蹤點，否則為跟蹤漂移點。

公式中EPFB為光流反向檢測誤差，具體計算方式公式如下：

其中，dI0.T1為某一特征點正常計算的光流矢量，dI1,I0視前一幀為當前幀，當前幀為后一幀反向計算的光流矢量，計算兩者的相對差值即為光流反向檢測誤差EPFB。

在光流跟蹤反向檢測的人群特征點的基礎上，為了剔除非人群前景邊緣的雜點，本節(jié)先通過特征點的運動速度初步篩出靜止或微小運動的點，具體判斷過程公式如下：

首先通過計算當前幀的所有特征點運動速度的平均值Vaverage設置一個合適的閾值T，當某一特征點B速度V與平均速度相差過大超過閾值T時，剔除這個特征點；然后根據當前幀的某一特征點A的軌跡長度為d，設置閾值DT，按照公式（1.4）判斷特征點是否為有效跟蹤。

在對視頻圖像進行跟蹤同時，記錄所有有效特征點的被跟蹤次數，可以根據有效特征點的連續(xù)跟蹤次數來進一步判別行人輪廓上的特征點。判斷過程公式如（1.5）所示。

公式中，k為有效特征點的跟蹤次數，Th1、Th2、Th3為相關閾值,滿足Th1

其中可靠的跟蹤特征點為紅色，可能的跟蹤特征點為綠色，不可能的跟蹤點特征點為藍色，初步篩選后剔除這些點。

本文結合Canny邊緣檢測算法的邊緣拓展的思想，進一步提高人群輪廓的可靠性，將可靠特征點定義為“強”輪廓上的點，可能特征點定義為“弱”輪廓上的點，通過8連通法對兩類點分別進行拓展。利用“強”輪廓，可以增強垂直方向“弱”輪廓。

進一步篩選人體輪廓需要分析輪廓的形狀特征,即輪廓的沿垂直和水平方向的長寬比以及輪廓長度。長寬比表征的是輪廓的邊緣垂直走向程度，具體計算方法如下：

公式中，（x1,y1）和（x2,y2）分別為某一輪廓邊緣的起點坐標和終點坐標。

長寬比σ越大，說明輪廓邊緣越接近垂直走向，而人群輪廓邊緣大部分都是垂直走向。少部分水平走向的邊緣長度大都較短，因此可以進一步剔除非人群輪廓邊緣。邊緣長度計算方法如下：

對于某一輪廓邊緣Edge，基于形狀特征的輪廓邊緣篩選方法如下：

根據公式（1.9）對前景輪廓進一步篩選之后，可以得到更為可靠“強”“弱”輪廓。對“強”“弱”輪廓進行一定的形態(tài)學處理得到完整可靠的人群前景。對“強”輪廓膨脹處理來填充輪廓間的區(qū)域，得到初步的前景區(qū)域。膨脹腐蝕“弱”輪廓，去除動態(tài)背景引起的微小輪廓。通過相與運算提取兩個區(qū)域的公共部分，即為最終可靠的人群前景區(qū)域。

1.2 群組檢測

人群群組行為分析方法先決步驟是群組檢測，群組檢測難點在于人群運動的結構復雜性。在前一節(jié)提取的可靠人群軌跡的基礎上實現群組檢測，采用基于群組中心的群組聚類算法來檢測群組。本節(jié)算法利用群組中心特征點的空間特性，通過拓撲關系聚類，利用相似性以及群組間距離變化進行群組檢測。為了降低誤報,本文采用Graham掃描法來計算群組的凸包面積,根據面積大小排除行人個體行為的干擾。群組檢測主要分成三個部分：群組中心檢測、拓撲關系的局部一致性群組檢測和相似性的全局一致性檢測。

1.2.1 群組中心檢測

對于密集場景下的人群群組，通常假定每個群組都存在一個群組中心。這個群組中心可以表征群組整體的運動特征，其他特征點圍繞其形成一個群組。本節(jié)算法通過分析當前幀人群軌跡特征點間的相似性和空間位置分布來找到群組中心。

對于兩個特征點Pi和Pj，如果它們運動方向一致且距離越相近，則這兩個點越相似。因此兩個人群軌跡特征點的相似性通過公式（1.9）來描述：

公式中，vi和vj為兩個特征點的光流向量，d（i,j）為兩個特征點間的距離，d（i,j）的具體計算方法如下：

假設要在N個特征點來找出群組中心，計算N×（N-1）/2對特征點間距離并從小到大排列，閾值r通常取值為排在第位的距離值。

根據公式（1.9），本文算法對人群軌跡特征點建立圖搜索模型，采用深度優(yōu)先原則來估計群組中心的個數，記為c。群組中心其臨近的多個特征點有相似性，可以通過公式（1.11）來描述特征點與其臨近點的聯系，這里稱之為密度屬性ρi。

群組中心到其他密度屬性比它大的點的距離都比較遠，因此本節(jié)算法通過公式（1.13）來描述特征點與密度屬性值高的點之間的距離關系，稱之為距離屬性δi。

1.2.2 拓撲的局部一致性群組檢測

根據上一小節(jié)得到的c個群組中心，基于局部一致性將人群分為c個群組,此時群組檢測問題可以看成是一個半監(jiān)督分類問題。

首先用一個N×c矩陣Y來對特征點進行初始標記，如果特征點i為第j個群組中心，那么Yij=1，反之Yij=0。然后定義一個N×c關系矩陣F來描述特征點i與群組中心j拓撲關系。結合上一小節(jié)的特征點相似關系圖G，可以根據公式（1.13）求解關系矩陣F。

公式中，D為相似圖矩陣G的次數矩陣，Fi和Yi分別表示矩陣F和Y的第i行。求解公式（1.14）時,光滑性約束保證了聚類結果在鄰域之間變化不大，擬合約束避免關系矩陣F的所有元素都相等。通過參數α來平滑這兩項的作用，α通常取0.1。再對（1.13）進行求導，然后取導數等于0，可求得最優(yōu)解：

對于特征點I，其關系矩陣F上的相應值Fij越大,就說明其它屬于第j個群組的可能性就越大。當關系矩陣F上第i行的最大值maxFi小于閾值（（（通常取0.2）時，表明特征點i不屬于任何群組，為孤立的外點，外點的類別標簽記為0。而對于非外點特征點i，其類別標簽clusteri可表示為：

根據公式（1.16）對每個特征點進行分類標記，最終獲得局部一致性的群組。

1.2.3 相似性的全局一致性群組檢測

為了檢測到具有全局一致性的群組，本小節(jié)通過分析群組的相鄰群組不變性進行群組融合。因為群組中心反映了群組的整體運動特征，群組間的全局一致性可以用群組中心運動量的相似性來描述。兩個特征點i和j分別為群組Ci和Cj的群組中心，兩個群組的全局一致性可以用公式（1.16）表示：

公式中vi和vj為兩個群組中心的光流向量。

此外，還應考慮群組的空間距離。如果兩個群組彼此接近,很可能屬于同一個全局組。本文算法通過兩個群組最近點的距離來表示群組距離，具體計算方法如下：

如果Coh（Ci,Cj）且Dist（Ci,Cj）

本文算法通過循環(huán)迭代的方式對群組進行全局一致性合并，直到沒有可以合并的群組，每次迭代只合并一致性最高的群組，這樣可以有效降低合并順序的影響。

本節(jié)算法檢測運行結果如圖2所示。

圖2 多種群組檢測結果

1.3 基于群組的人群行為分析

通過上一節(jié)的人群群組檢測算法可以獲得兼具全局一致性和局部一致性的人群群組以及反映群組整體運動特征的群組中心，根據群組中心的運動特征、群組間距離變化和面積大小關系，本節(jié)算法通過檢測識別突發(fā)性的聚集、疏散和跑動行為來做出預警。

1.3.1 群組中心運動向量交點分析

根據相關文獻，本篇論文的算法通過分析兩兩群組中心之間的相互關系，對人群的三種行為進行初步識別。具體做法是找到兩個群組中心運動向量的交點，分析交點與這兩個群組運動向量的位置關系。如圖3所示。

圖3 移動智慧門戶效果圖

圖3 群組運動的位置關系

對群組中心運動向量兩兩求交點之后，為了有效區(qū)分人群聚集、疏散行為以及同向運動正常行為，本文算法首先統(tǒng)計交點個數，人群在同向運動時交點個數記為Numw，人群在聚集時交點個數記為Numf，人群在疏散時交點個數為Nume。然后計算各種事件在所有交點數中所占的比例，公式如下：

公式中,Ei表示交點類型，Total為交點總數，對于檢測到c個群組的人群場景，其交點數可以表示為：

聚集、疏散人群行為是少見的異常行為，因此不能簡單地根據相關比例進行判別。為了提高判別的準確性，本節(jié)給每類交點加了個權重系數ωi（聚集和疏散交點權重系數通常設置為0.2，同向運動權重設置為0.6）。

故而公式（1.19）變成了：

人群的聚集和疏散是常有的正常行為，為了降低誤報率，采用了Graham掃描法求解群組點集凸包（即把群組包圍成最小多邊形）。

1.3.2 人群行為檢測識別

本文算法只針對人群大規(guī)模突發(fā)性的聚集、疏散和同向跑動行為進行檢測告警。針對突發(fā)性，本文算法分析檢測到的各個群組中心光流向量的大小變化，若有80%的群組速度發(fā)生突變，則需要準備發(fā)出告警信號。根據公式（1.22），當同向運動的交點比例大于85%或者交點數量小于一定閾值（這里取總數的20%）時，發(fā)出人群跑動告警信號；根據公式（1.17）群組間的距離，當有70%的距離滿足Dist（Ci,Cj）r且疏散交點比例大于85%時，發(fā)出人群疏散告警信號。

2 實驗驗證

實驗驗證在PC機上實現，CPU為i7-87059H、2.20GHZ,16G內存，windows10操作系統(tǒng)。實驗環(huán)境和語言是OpenCV和C++。

實驗數據在“千里眼”項目平臺收集。場景包括地鐵、火車站、夫子廟晚晴樓、博愛坊、淮安府衙等密集人群場景。收集時間從2018年5月開始，到2018年9月截止。

在輪廓特征提取實驗中，本文用如下指標來評價算法質量和效率。

（1）人群跟蹤成功率

通過人工的方式統(tǒng)計每幀算法檢測到的軌跡屬于真實人群數量N，其與算法檢測到的軌跡總數M的比值N/M即為跟蹤成功率。

（2）算法每幀平均耗時

實驗結果如表1所示，本文算法跟蹤成功率可以達到94.56%，每幀平均耗時最高只有157.3ms。針對不同人群場景，本文算法提高了跟蹤成功率，有效降低了復雜背景的干擾；平均每幀耗時沒有明顯增加，可以滿足實時性要求。

表1 輪廓提取跟蹤實驗結果

在人群群組行為分析實驗中，本文通過三個指標來評價算法質量和效率。

（1）虛警率：事件在檢測的正樣本中的負樣本比例，計算公式如下：

（2）召回率：檢測正確的正常行為占所有正確行為的比例，計算公式如下：

（3）每幀平均耗時

fn表示把正常行為誤判為異常的數量，fp表示把異常行為判別為正常行為的數量，tn表示正確判別為異常行為的數量，tp表示正確判別正常行為的數量。

本文算法對人群聚集、疏散和同向跑動行為檢測的結果如圖4所示。圖（4-2）中紅點表示群組中心，圖（4-3）中不同顏色表示不同的群組（經過全局一致性分析），圖（4-4）中多邊形為群組凸包表示,紅色的×點表示相應行為的群組中心運動向量交點。從圖（4-3）結果可以看出本文方法能夠較好的檢測出人群群組，能夠較好的分析群組的全局一致性。圖（4-4）結果表明，當人群發(fā)生聚集時,群組間的距離變小，聚集交點變多；當人群處于疏散狀態(tài)時，群組與群組之間的距離就會變大，導致疏散的交點也會變多；而人群同向跑動時，通常檢測到的群組具有全局一致性，且群組中心運動向量的交點較少。由此說明本文方法可以較好分析人群行為。

圖4 聚集、疏散和跑動行為檢測結果

人群群組行為分析實驗結果如表2所示，在三個不同的檢測場景對三類突發(fā)性人群行為的判別都有較低的虛警率（低于4%）和較高的召回率（高于84%），同時每幀判別時耗在400ms和650ms之間，有較好的判別效率。本文算法可以滿足應用中低虛警率、高召回率和實時性的要求，可以較為準確地對突發(fā)性人群聚集、疏散和跑動行為進行預警。

表2 人群群組行為分析實驗結果

3 結束語

本文針對在密集場景條件下的行為，為避免個體分離檢測的困難，提取可靠群體輪廓運動特征，通過軌跡起止位置的聚類運動特征分析，實現人群群組行為分析。本文利用人群軌跡特征點間的相似性來尋找群組中心，群組中心的運動特征可以表征群組的整體運動特征；通過特征點與群組中心的拓撲關系分析，得到了滿足局部一致性的人群群組；通過分析群組中心的運動相似性和群組間的距離來將具有全局一致性的群組進行合并。在群組檢測的基礎上，本文算法通過群組中心的運動特征分析來初步識別人群異常行為。

經實驗驗證該方法可以適用于人流密集場景，有著較好的魯棒性和準確性，能夠滿足實時性的檢測分析需求。

本文在高密度場景下，個體以及小群體之間的相互重疊對實驗性能造成影響。在未來的研究中，利用小群體間的交互，軌跡時間滯后特征等都對研究行為分析有著較大的幫助，可以圍繞這一方向進行完善。