面向公共安全圖像監(jiān)控的人群行為分析

陳 平

(上海市公安局 科技處，上海200042)

近年來，隨著我國政治、經(jīng)濟、文化與社會活動日趨活躍，大型活動已經(jīng)成為促進經(jīng)濟發(fā)展和文化交流的重要載體。各種商業(yè)性的展銷展覽、文藝演出和競技體育比賽，以及各種國際性會議大量增加，規(guī)模不斷擴大。大型活動由于場面熱烈，觀眾情緒高漲，其控制難度迅速增大。上海已經(jīng)成為一個2 000萬人口級別的、充滿流動性的超大規(guī)模城市。尤其近年來，體育賽事、娛樂活動、節(jié)日慶祝活動、大型展會的舉行在規(guī)模和數(shù)量上的不斷擴大，群體安全成為城市公共安全關注的重點問題。根據(jù)2009年中國社科院公布的《社會藍皮書》顯示，據(jù)不完全統(tǒng)計，1993年我國發(fā)生群體性事件0.87萬起，2005年上升為8.7萬起，2006年超過9萬起，近幾年也有上升的趨勢。針對大型活動的有效防范成為當前乃至今后我國公共安全管理的一項重要工作。

無論是大型活動的安全管理還是群體性事件的防控，都對我國的公共安全管理提出了較高的要求。近年來，我國公共安全管理部門通過實施“金盾工程”、“平安城市”等一系列的安防工程信息化建設，建立了較大規(guī)模的城市圖像監(jiān)控與應急指揮信息系統(tǒng)，在社會公共安全常態(tài)管理及大型活動安保等方面發(fā)揮了重要的作用。視頻圖像監(jiān)控系統(tǒng)由于具有監(jiān)視范圍大、采集信息豐富直觀、反應迅速準確，且對環(huán)境和用戶透明而又非入侵等優(yōu)點，同其他防控手段相比更具優(yōu)勢。另一方面，目前上海街面已有5萬多個攝像頭，共享社會資源2萬多個，遍布全上海市的重要場所、道路交通、重點區(qū)域、敏感地帶等，如果能充分利用這一系統(tǒng)，將對上海市社會公共安全管理系統(tǒng)提供重要的保障，也有利于社會管理的信息化、智能化和高效化的發(fā)展。但目前的視頻監(jiān)控系統(tǒng)仍以被動監(jiān)控為主，遠遠不能滿足當前社會經(jīng)濟發(fā)展的需要，尤其對于群體性活動的事態(tài)分析、重大活動和突發(fā)事件尚缺乏預判能力和實時響應能力。如何通過高技術信息手段，利用公安視頻物聯(lián)網(wǎng)絡有效監(jiān)控和分析人群活動規(guī)律和發(fā)展態(tài)勢，進而有效防范群體性事件的發(fā)生和態(tài)勢的分析，是城市公共安全急需解決的重要課題。

1 上海城市公共安全圖像監(jiān)控系統(tǒng)建設和應用現(xiàn)狀

從建設和應用的角度看，上海公安自1985年建設道路圖像監(jiān)控系統(tǒng)以來，經(jīng)歷了金盾工程、上海城市圖像監(jiān)控系統(tǒng)以及圍繞重特大安全保衛(wèi)工作的一系列重大工程建設項目，尤其是2010上海市博會的召開，上海已經(jīng)建立起公共安全圖像監(jiān)控專網(wǎng)，應急聯(lián)動指揮系統(tǒng)，包括3DGIS等一系列的信息平臺，在街面監(jiān)控點數(shù)量和錄像容量上也已具有一定規(guī)模。城市公共安全防范手段不斷增強，目前已形成覆蓋快速路和地面干線道路的大規(guī)模數(shù)據(jù)采集系統(tǒng)和視頻監(jiān)視系統(tǒng)，極大地提升了城市的公共安全保障能力，為進一步提升城市化智能水平奠定了良好的平臺。但用戶應用的模式仍處于傳統(tǒng)階段，與投入、應用成本相比，成果產(chǎn)出和系統(tǒng)成效未能實現(xiàn)最大化，在智能圖像監(jiān)控領域的研究與應用仍未實質(zhì)啟動。目前國內(nèi)外主要城市的視頻監(jiān)控系統(tǒng)僅僅實現(xiàn)了“看得見”的效果。為了有效地推進城市視頻監(jiān)控系統(tǒng)向“看得更清楚”、“看得更明白”的更高效能轉(zhuǎn)化，上海乃至我國需要發(fā)展信息獲取智能化、信息表示標準化、信息分析關聯(lián)化的視頻物聯(lián)網(wǎng)關鍵技術和應用系統(tǒng)。

從技術角度看，為了改善目前城市公共安全圖像監(jiān)控系統(tǒng)的應用效能，一種技術手段是采用高清攝像設備，解決了信息采集質(zhì)量不高的問題，但是沒有解決存儲圖像質(zhì)量下降問題，并帶來了更高的存儲壓力;另外一種技術手段是采用智能視頻分析產(chǎn)品，可以部分替代實時人工監(jiān)看，但仍以單點的應用為主，并受到環(huán)境、工程安裝角度等條件的限制，智能化的應用程度不深，無法做到基于視頻物聯(lián)的多點協(xié)同分析和綜合處理。

多尺度人群行為的監(jiān)控和分析作為基于視頻物聯(lián)的最典型的智能分析應用，目前已經(jīng)引起了包括美國卡內(nèi)基梅隆、華盛頓大學和我國香港大學在內(nèi)的多家研究機構的重視，在群體密度估計和流量統(tǒng)計、群體的建模和群體行為分析等方面進行了大量的研究工作。上海世博會期間，以“客流眼”為代表的智能視頻分析系統(tǒng)也為世博會客流的疏導等方面提供了重要的依據(jù)。

在視頻監(jiān)控應用中，大尺度群體行為具有群體規(guī)模大、事件范圍大、時間跨度大的特點，由于遮擋等問題嚴重，傳統(tǒng)的基于目標分割、跟蹤等分析方法將變得異常復雜而難以實用。對擁擠群體的異常行為分析而言，在研究方面將面臨以下4個方面的困難:

1)粒度的選擇。人與人之間的作用機制是非常復雜的，因為同群體在目標約束下表現(xiàn)出來的動力特性和心理特性有密切的關系。同時，對于高密度甚至是極高密度的群體來說，選擇合適的粒度對群體的描述變得更加困難。小到一個像素，大到一個個體甚至是一個小的群體，都可以作為研究的尺度，但是如何選擇合適的尺度既與所要分析的場景模式相關，又與系統(tǒng)的任務密切相關，確定統(tǒng)一的粒度標準是一個難題，但又是群體分析中必須解決的問題。

2)異常行為的表征。在擁擠的人群當中，個體之間相互作用很難進行觀測，其分析將變得非常復雜，因此傳統(tǒng)的以個體為中心的異常行為表征在擁擠人群的描述中將變得不切實際。另外，社會心理學的研究表明，在高密度的擁擠人群當中，異常事件往往會在群體中呈現(xiàn)迅速擴散的趨勢，越發(fā)使傳統(tǒng)的基于個體描述的異常行為分析變得不適用。

3)相對分辨率較低。對于大范圍異常擁擠的群體分析而言，在圖像分辨率受限的條件下，在畫面中每個個體的描述像素會大幅度降低，從而對每個個體而言，畫面中所能提供的輪廓、形態(tài)和顏色等外觀信息及其有限，因此很多基于個體的特征分析、跟蹤算法將不再適用。這也從另一個角度促使相關的研究者去通過其他的信息源來彌補這一問題。

4)事件的演化關系復雜。相比于個體事件而言，群體事件往往表現(xiàn)出“人群的規(guī)模大、事件范圍大和時間跨度大”的特點，一個群體性的事件往往蘊含著非常復雜的內(nèi)在邏輯和因果關系，事件的發(fā)展和演化的規(guī)律也更加復雜，因此傳統(tǒng)的針對個體分析的統(tǒng)計學習的思路往往很難直接應用于群體性事件的分析。

2 監(jiān)控系統(tǒng)中大尺度人群行為分析研究

在面向監(jiān)控的大尺度人群行為分析研究領域中，國內(nèi)外相關學者進行了大量的理論和實踐研究，提出了一系列算法和系統(tǒng)框架，如圖1所示。

圖1 群體行為分析的一般框架

總得來說，可以歸納為以下三個方面:

1)群體建模。在對群體進行數(shù)學建模時，有三種不同的方法理念［1］，即宏觀、介觀、微觀，如圖2所示。

圖2 群體建模的三種方法理念:宏觀(左)、介觀(中)、微觀(右)

這三種不同的建模理念也表示三種不同的觀測尺度。從宏觀角度上來講，將群體看作是一個整體，著重于群體在宏觀上所呈現(xiàn)出的整體狀態(tài)。由于其觀測尺度遠超過了個體目標的尺度，所以這種建模方法忽略群體內(nèi)部個體的具體行為。從介觀的角度上來講，將具有相同時空特性的多個相鄰目標當作一個整體進行分析，此時觀測尺度更細致了一些，同時兼顧整體特性與個體行為。從微觀角度上來講，也就是從目標級尺度進行分析，即對群體中每個個體目標進行檢測和跟蹤，然后進行統(tǒng)計分析得到群體行為特性。這類方法的優(yōu)點是可以得到十分精細準確的行為描述，但是隨著群體密集程度越來越高，目標之間相互遮擋越來越嚴重，這類方法就變得不那么有效。總得來說，在群體分析中，目前的研究比較推崇宏觀角度和介觀角度，這樣可以避免密集群體中難以檢測和跟蹤個體目標的難題，而基于微觀的群體模型更適合用于稀疏群體行為分析。其實，這三種建模理念各有優(yōu)缺點，針對實際的問題和具體的監(jiān)控場景，選擇合適的分析角度進行分析。比如在進行群體全局特性分析時，更多的是從宏觀角度進行分析，沒必要具體分析每個目標的行為。但是在進行局部行為分析時，就要求從微觀角度對每個感興趣目標進行細致的分析。

2)群體狀態(tài)分析。群體狀態(tài)包括群體密度分布、群體運動狀態(tài)以及群體穩(wěn)定性。在群體密度估計方面主要有三種研究思路［2］:(1)基于像素級特征的密度估計，這類方法需要提取前景目標區(qū)域，構建前景像素與行人個數(shù)映射關系模型，從而可以通過像素的相關統(tǒng)計信息來估計群體密度。但是，當群體比較密集，相互遮擋比較嚴重時，簡單的映射關系模型就不那么有效;(2)基于紋理特征的密度估計，如基于灰度依賴矩陣特征、最大穩(wěn)定值區(qū)域特征、時空LBP特征等的密度估計算法。這類方法的思路與前者類似，也是通過構建紋理特征與人數(shù)之間的映射關系模型來估計群體密度;(3)基于目標級特征的密度估計，這類方法主要通過檢測人頭或行人并進行數(shù)量統(tǒng)計。和前兩者相比，這類方法可以得到更精確的人數(shù)或密度。但是，在密集的人群場景中，個體目標的檢測就變得非常困難。群體的運動直接反映了群體的運動方向、速度等運動特征。基于運動特性的統(tǒng)計特征，比如平均速度、速度方差、最高速度、最低速度等都可以從不同層面上來體現(xiàn)群體的運動特性。關于群體運動分析，主要有兩類方法:第一類是把群體看成一個整體，通過計算光流及其統(tǒng)計特性來分析群體運動;第二類是對群體中每個個體目標進行檢測跟蹤，然后對軌跡進行聚類，從而得到群體的運動信息。顯然，第一類方法更適合于群體較為密集的情況，而第二類方法在稀疏場景中更加易行。如果不需要得到非常細致的群體運動特性，只需知道宏觀運動特性，那么第一類基于光流場的方法就足夠了。當然，光流場的計算受光照條件影響很大，還需要其他視頻處理技術進行輔助處理。群體穩(wěn)定性則是監(jiān)控管理者最為關注的一點，同時它也是群體行為分析里熱門的研究點之一。目前的群體穩(wěn)定性分析主要基于群體運動特性，即使是近年來較為熱門的基于社會力模型［3］的異常行為檢測［4］也是要用到目標的運動特征，如運動速度、方向等。文獻［5］指出，群體密度分布亦是影響群體穩(wěn)定性的另一重要因素。所以，如何綜合考慮群體密度分布特性和運動特性來更好地進行群體穩(wěn)定性分析是一個值得進一步深入研究的問題。

3)群體行為分析。群體行為具有規(guī)模大、覆蓋范圍廣、時間跨度長和整體事態(tài)復雜等特點。一個完整的群體行為同時具有時間和空間上的跨度，簡單的群體全局特性分析和局部行為分析都不能很好地描述群體行為的動態(tài)演化過程。所以要對群體行為進行時空關聯(lián)分析，深入挖掘群體系統(tǒng)內(nèi)在演化規(guī)律，更好地預測群體行為發(fā)展趨勢。目前在行為關聯(lián)分析方面主要有分層貝葉斯網(wǎng)絡模型、MDA模型(Mixture model of Dynamic pedestrian-Agents)、MERM模型(Mixed Event Relationship Model)。從本質(zhì)上講，這些模型就是挖掘場景中行為的時空關聯(lián)性。在一個特定的監(jiān)控場景中，從宏觀上看，必定存在全局約束規(guī)則，比如十字路口的紅綠燈、斑馬線，這些代表的是路口的交通規(guī)則。還有火車站候車大廳的出入口、排隊區(qū)域所代表的空間約束等。從微觀上看，在全局規(guī)則的約束下，群體會呈現(xiàn)特性鮮明的局部行為，比如在十字路口，什么時候走，什么時候停，什么時候轉(zhuǎn)彎等。換句話說，全局規(guī)則約束局部行為，局部行為體現(xiàn)全局規(guī)則。另一方面，群體局部行為亦可引發(fā)全局狀態(tài)的變化，比如局部的行人之間的摩擦和爭斗有可能演化成群毆，并且引起大規(guī)模人群聚集圍觀。

3 應用前景分析

群體行為分析有很廣泛的實際應用［6］，例如:

1)人群管理。群體分析可以為人群管理提供一些策略，尤其是在頻繁發(fā)生的事件或活動中，比如大型運動比賽、音樂會、示威游行等，可以幫助避免群體惡性事件，保障公共安全。

2)公共空間規(guī)劃設計。群體分析可以為公共空間設計提供指導方針，比如在設計購物中心時可以最大程度地方便顧客，同時有效利用空間。

3)虛擬環(huán)境。人群的數(shù)學模型可以應用在虛擬環(huán)境中，以此增強仿真群體行為，從而豐富人們生活體驗。

4)視頻監(jiān)控。群體分析可以用于自動檢測異常事件，并進行報警。甚至可以在群體中進行個體目標跟蹤，從而幫助警察抓住嫌疑人員。

5)智能環(huán)境。在一些具有智能系統(tǒng)的環(huán)境中，群體分析可以幫助引導群體或群體中的個體。比如在博物館中，智能系統(tǒng)可以根據(jù)人群的行為來引導其進行更好的觀看和瀏覽。

4 總結(jié)

綜上所述，基于圖像的智能化分析和綜合應用服務是城市公共安全圖像監(jiān)控系統(tǒng)發(fā)展的必然趨勢，為了使智能圖像監(jiān)控系統(tǒng)發(fā)揮更大的應用效能，加快適應上海城市人口密集、大型群體活動繁多的現(xiàn)狀，通過大尺度群體的異常行為感知建模及實現(xiàn)方法的研究，以期加速在車站、機場、體育館、城市商業(yè)中心等人群聚集場所和大型演唱會、集會和體育賽事等重大活動中進行示范應用，該研究可以極大提高視頻監(jiān)控網(wǎng)絡對于群體性事件的防控能力，對城市公共安全智能化、信息化管理具有重要的現(xiàn)實意義。

［1］ZHAN B，MONEKOSSO D N，REMAGNINO P，et al.Crowd analysis:a survey［J］.Machine Vis.Applicat.，2008，19(2):345-357.

［2］CEZAR J，JACQUES S，MUSSE S R，et al.Crowd analysis using computer vision techniques［J］.IEEE Signal Processing Magazine，2010，27(5):66-77.

［3］HELBING D，MOLNAR P.Social force model for pedestrian dynamics［EB/OL］.［2013-01-25］.http://www.ncbi.nlm.nih.gov/pubmed/9963139.

［4］MEHRAN R，OYAMA A，SHAH M.Abnormal crowd behavior detection using social force model［C］//Proc.2009 IEEE Conference on Computer Vision and Pattern Recognition.［S.l.］:IEEE Press，2009(2):935-942.

［5］JOHANSSON A，HELBING D，ALABIDEEN H Z，et al.From crowd dynamics to crowd safety:a video-based analysis［J］.Advances in Complex Systems，2008，11(4):497-527.

［6］楊華，蘇航，鄭世寶，等.大規(guī)模群體密度估計算法［J］.電視技術，2010，34(5 ):113-116.