群體異常行為識別技術研究

中國電子科技集團公司電子科學研究院 陳 誠

隨著社會經濟的不斷發展，信息化技術越來越成熟，信息的動態性、多源性、開放性等特點促使人們之間的聯系越來越緊密，群體性活動和事件也日益增多，增加了群體事故的發生，例如人群滯留、聚集等。目前中國正處于快速發展的關鍵時期，頻發的群體事件為社會穩定和公共安全帶來了新的風險和挑戰，是對社會治理能力的進一步考驗，因此需要對群體的異常行為識別技術進行研究。相比于個體異常行為，群體異常行為具有規模化、易擴散、多模式的特點，其形成機理更復雜，影響后果更嚴重，傳統方法難以識別和預測，因此亟需借助大數據、機器學習等技術，對群體異常行為進行分析建模，實現群體異常行為的智能識別和發現，加強對群體行為的理解和異常行為的檢測能力，提高群體異常行為識別的準確性和時效性。

隨著群體異常行為的識別逐漸成為各行業領域的關注焦點，它已經在多個領域得到了研究應用，如公共安全領域、交通管理領域、網絡輿情領域等，也取得了很多研究成果。本文對群體異常行為識別技術進行了概述，基于已有研究和成果，首次提出了群體異常行為識別的標準建模思路，并分別從行為類別、使用技術和應用領域等多個方面詳細介紹了群體異常行為識別，最后對群體異常行為識別常用數據集進行了歸納并對全文作了總結。

1 群體異常行為識別建模

整體來說，對群體異常行為識別的建模方法可以分為三大類。第一類是微觀建模法。這類方法將群體行為理解為個體行為的集合，通過對各個個體行為的特征（如方向、速度等）分別進行提取分析，再對所組成的群體行為進行融合分析，從而識別整個群體的異常行為。但群體中往往存在遮擋等情況，增加了個體行為理解的難度，因此在微觀建模法中，容易造成個體行為分析的偏差，從而影響群體異常行為識別準確性。第二類是宏觀建模法。這類方法將群體作為一個有機整體進行建模分析，通過對整個群體的行為特征進行提取分析，進而識別出群體的異常行為。但該方法忽略了個體之間的相互作用和關聯關系，難以捕捉到個體間的細微差別，因此影響群體異常行為的理解和判斷。第三類是混合建模法，該方法結合了微觀和宏觀兩種建模方法，讓兩者優勢互補，平衡各自的缺點，得到一種綜合的建模方法。

目前，對于群體異常行為識別還沒有相關研究給出一個統一的、標準的建模思路。如圖1所示，本文在已有研究和成果的基礎上，給出了一個通用的群體異常行為識別建模思路，通常可分為以下幾個步驟：

圖1 群體異常行為識別建模思路

（1）原始數據輸入。將視頻監控數據、通信網絡數據、移動互聯網數據、公共交通數據、景點閘機數據、社交網絡數據等多源數據作為模型輸入。

（2）提取特征信息。基于統計學方法、機器學習方法等從原始數據中提取出特征信息，并建立特征表示模型。

（3）群體發現和群體特征表示。基于個體的特征表示模型，通過分析個體間的特征相似性或關聯性，挖掘出群體組織，并建立各個群體的特征表示。

（4）行為識別。行為識別過程可以看作行為分類過程，利用帶標簽的行為特征數據訓練分類器，根據標簽粒度可將行為分為正常行為或異常行為兩大類，也可進一步分為細粒度的具體的某一類正常行為或異常行為。

（5）異常行為檢測。利用已經訓練好的分類模型，對測試數據進行自動分類，并輸出異常群體信息及其相應異常行為類別。

2 群體異常行為識別技術

本文分別從異常行為類別、常見識別技術和應用領域等三個方面對群體異常行為識別技術研究進行歸納總結。

2.1 群體異常行為類型

不同研究對群體異常行為有不同的分類方法。有研究根據應用場景和實現技術不同，將群體異常行為分為非法闖入、滯留、混入、人員密集等四類；有研究根據人群運動模式將群體異常行為分為滯留、奔跑、匯聚、散開等四類。

綜合考慮群體異常行為的研究領域和應用場景，本文將群體異常行為分為以下七大類：

（1）人群聚集。指多人從任意方向往某一指定區域或位置點匯聚的行為。該類異常行為識別過程主要關注人群運動方向和人群密度兩個方面，通常在公共安全、交通管理、區域防護等領域研究比較多。

（2）人群滯留。給定時間段內，在特定區域里三人以上的長時間停留行為。該類異常行為的識別主要應用在公共安全和區域防護等領域。

（3）混入。這類異常行為是指非法人員跟隨合法人員混入特定區域的行為，其識別技術通常應用于區域防護和公共安全等領域。

（4）四散奔跑。指多人從聚集位置朝四周突然奔跑、散開的行為。這類異常行為的識別主要可以用于公共安全和區域防護領域。

（5）非法闖入（潛入）。通常是指非法闖入或無人時間段（如夜間）偷偷潛入限制進入或禁止進入區域的行為。這類異常行為識別研究可用于交通管理、區域防護和公共安全等領域。

（6）異常社交。該類異常行為識別主要應用在社交媒體、網絡輿情等領域，主要指社交網絡上，多人之間的異常關注、發帖、點贊、轉發等異常行為。

（7）異常共現。主要指特殊群體在敏感時間段內的同行、同宿等異常共現行為，同行包括飛機、火車、出租車等所有公共交通工具的同行行為。這類異常行為的識別主要應用于公共安全、交通管理等領域。

2.2 異常行為識別技術

本文將常見的群體異常行為識別技術主要分為以下幾類：

（1）基于聚類或分類的識別技術

此類識別技術基于行為特征之間的相似性對群體行為進行劃分。對于無標簽數據，可通過無監督的聚類方法，如k-means聚類、層次聚類等，將群體行為自動聚類為正常行為和異常行為；對于有標簽數據，則利用有監督的分類方法，如支持向量機（SVM）、KNN、神經網絡等，識別群體的異常行為和正常行為。有研究采用張量形式表示群體在每幀中的行為，利用多路非線性特征映射分解張量核，最后通過張量核孿生支持向量機實現視頻中的群體行為分類和識別。

（2）基于能量的識別技術

這類技術通過群體活動產生的能量值是否超過一定閾值來識別是否為異常行為。目前，常用的能量方法包括群體動能、方向勢能、距離勢能、KOD（kinetic orientation distance）能量、玻耳茲曼熵以及群體熵等。有研究根據群體的運動劇烈程度、群體運動方向一致性和群體中個體的相對位置來定義、計算群體動能、方向勢能和距離勢能，并構建群體行為高層KOD能量特征，最后通過隱馬爾可夫模型實現群體異常行為檢測及類型識別。

（3）基于主題模型的識別技術

這類技術將群體行為類別當作主題，通過主題模型從一系列行為特征數據中發現潛在的主題信息，來對群體異常行為進行識別。常見的主題模型有概率潛在語義分析（PLSA）模型、潛在狄利克雷（LDA）模型等。有研究利用三層局部因果關系編碼群體行為，采用自我因果關系，雙人因果關系，群體因果關系分別描述個人層級、雙人層級、群體層級的運動特征，并結合外觀特征來描述群體行為，最后采用PLSA主題模型進行群體行為識別。

（4）基于詞包的識別技術

詞包模型在計算機視覺領域應用廣泛。基于詞包的識別技術主要包括群體行為特征檢測、特征表示、碼本生成和行為識別四個步驟。有研究根據人群視頻的多種社會屬性構造加權社會力圖，并將圖分割成多個粒子組來表示群體視頻中相似的運動模式，然后通過對所有局部粒子群進行聚類，構造碼本，最后利用LDA模型檢測群體異常行為；有研究通過整合靜態和動態對象信息，將群體行為表示為一個詞包，以確定群體行為的異常。

（5）基于深度神經網絡的識別技術

隨著深度學習的發展，該類識別技術引起了學術界的廣泛關注，主要通過抽取群體行為特征的深層描述對群體行為進行分類、識別。常見的深度神經網絡方法包括多層前饋神經網絡（RNN）、卷積神經網絡（CNN）、長短期記憶網絡（LSTM）等。有研究結合靜態的場景特征和動態的群體運動特征構建高層語義CNN模型，從而提高群體異常行為的識別率；有研究利用雙流卷積網絡的空間流網絡和時間流網絡獲取群體行為深層特征，并通過遷移學習獲得融合的時空特征進行群益行為識別。

各類識別技術都有自己的優勢和劣勢，其適用范圍和領域也不盡相同。本文總結了上述五類群體異常行為識別技術的優缺點，如表1所示。

表1 群體異常行為識別技術優缺點

2.3 應用場景

根據所應用的數據，群體異常行為識別的應用場景主要分為基于視頻監控、關系網絡和內容三大類。其中，基于關系網絡的應用場景又可以分為虛擬空間關系網絡和實體空間關系網絡。目前，國內外研究最多的是基于視頻監控的群體異常行為識別。

（1）基于視頻監控的應用場景

視頻監控應用場景下，關于群體異常行為識別研究主要集中在群體異常行為特征提取、人群密度估計、多目標檢測與跟蹤、群體行為理解、群體路徑分析等熱點問題上。但現階段視頻監控應用場景下，群體異常行為識別仍面臨著諸多困難和挑戰，如人群中個體相互遮擋、復雜背景、運動速度多變、運動方向多變、攝像視角多變、光照變化等，這導致大多數技術、算法很難兼顧識別精度和魯棒性。此外，視頻監控場景下的群體異常識別技術其預知性較弱，通常只能識別當下正在發生或即將發生的群體異常行為，不適用于對預測預警有較高時效要求的情況。

（2）基于關系網絡的應用場景

基于關系網絡的應用場景又分為虛擬空間關系網絡（即微博、twitter等社交網絡）和實體空間關系網絡（即通過同行、同宿、同事等實體空間關系構建的網絡）兩種場景。該場景下的研究熱點主要包括關系網絡構建、群體識別（社團挖掘）、群體行為特征建模、異常行為識別等，其中這里的異常行為主要指異常社交行為和異常共現行為，如社交網絡上的異常轉發和關注、同出行、同宿等異常行為。基于關系網絡應用場景下的群體異常行為識別技術在網絡輿情、網絡安全和公共安全等領域研究較多，能在萌芽、串聯和組織階段就發現群體異常，實現預測預警，有較好的應用前景。

（3）基于內容的應用場景

現實世界中經常面臨沒有實時監控數據或很難找出個體間直接關聯關系的情況，因此基于內容的群體異常行為識別技術引起了研究者們的關注。例如，通過個體的言論信息、互聯網瀏覽記錄、移動軌跡信息等建立用戶行為表征模型，然后利用表征模型之間的相似性或相關性識別出群體和群體行為規律，再進行群體的異常行為檢測。目前，基于內容的應用場景下群體異常行為識別研究相對較少，還需進一步研究。

3 常用數據集

目前對于群體異常行為識別的研究大多是基于視頻監控的，因此視頻監控方面的可利用數據集較多，基于關系網絡和內容的相關數據集還比較少，主要包括：PETS數據集、UMN（University of Minnesota）數據集、CAD（collective activity dataset）數據集等。本文根據數據集的獲取方式將數據集分為了公開數據集、構造數據集和未公開數據集。

3.1 公開數據集

（1）UMN（University of Minnesota）數據集

UMN數據集是明尼蘇達大學創建的專門用于群體異常行為檢測的視頻數據集，由Lawn、Indoor和Plaza三個不同場景下的11個視頻數據組成，共有7739幀圖像，其分辨率為240×320，幀率為每秒25幀。視頻中群體的正常行為是行走或閑逛，異常行為主要為人群四散奔逃。

（2）PETS數據集

PETS數據集是雷丁大學創建的數據集，包含park場景多種視角下的4個視頻，共15200幀圖像，分辨率為768×576，幀率為每秒25幀。視頻中群體的正常行為是行走或閑逛，異常行為包括群體聚集、突然奔跑等異常行為。

（3）BEHAVE數據集

BEHAVE數據集包括不同場景下的4段視頻，幀頻為25，圖像分辨率為640×480，記錄了10類群體行為，包括InGroup、Approach、Meet、WalkTogether、Split、Ignore、Chase、Fight、RunTogether、Following，每一類行為由2-5人完成。

（4）CAD（collective activity dataset）數據集

CAD1數據集包含了5種不同的群體行為：crossing、waiting、walking、talking、queueing。該數據集中每段視頻都含個體行為、雙人交互行為和群體行為；CAD2數據集共有74個視頻片段，在CAD1數據集的基礎上增加了兩種類別，同時刪除了walking類別，因此共包含6種群體行為：crossing、waiting、talking、queueing、dancing、jogging，每一類群體行為由3-7人完成。

（5）Geolife數據集

Geolife數據集收集了182名志愿者在五年間的GPS軌跡數據（2007.4-2012.8），共包含17621條軌跡，總里程1292951km，總時長50176h，每條軌跡包含時間戳，經緯度和海拔。該公開數據集適用于基于內容的群體異常行為分析。

（6）hetrec2011-lastfm-2k數據集

hetrec2011-lastfm-2k數據集是一個社交網絡數據集，來源于Last.fm在線音樂網站，包括社交關系數據、用戶的音樂標簽數據、音樂家收聽情況數據和用戶朋友對數據等。該公開數據集適用于基于關系網絡的群體異常行為分析。

3.2 構造數據集

這類數據集主要是視頻監控方面的數據，通過從網絡視頻、電影等資源中截取合適的視頻片段來構造數據集。例如，有研究通過收集的網絡視頻構建實驗數據集，共21段視頻圖片，包含3種群體行為：gathering、fighting、running，每一類群體行為由2-5人完成；有研究從電影中截取視頻來構造數據集，包括兩個場景下的fighting視頻，共8個視頻片段，每個視頻片段含有260幀由2-5人完成的群體目標圖像。

3.3 未公開數據集

這類數據集主要包括自攝視頻數據、自采集（爬取）的互聯網數據、第三方機構或單位有限提供的業務數據等。例如，有研究利用某市1075個酒后駕駛人的性別、年齡、居住情況、教育程度、婚姻狀況等數據來分析交通管理領域的異常群體及其行為；有研究通過河南省某地區抽樣1000戶居民的用電行為數據來識別群體用電異常行為；有研究基于自攝視頻數據集研究群體異常行為，通過在學校某處教學樓下的封閉廣場上，拍攝了3個不同的鏡頭，視頻中正常行為包括散步、駐足、向前走動等，異常行為分別是四散、群毆、加速跑動，自攝視頻的分辨率為320×240。

結論：本文分別從群體異常行為識別的標準建模思路、異常行為類型、常見技術、應用領域和常用數據集等幾個方面對群體異常行為識別技術進行了概述。雖然目前群體異常行為識別技術在國內外已經取得了許多研究成果，但是主要集中在視頻監控領域，對于社交網絡、開放環境等場景下的研究較少，并且沒有建立合理規范的群體異常行為識別理論模型，未來需對這些方向進一步探索。