基于視頻圖像的人群異常行為識別方法綜述

周彤彤，彭月平，鄭 璐，蔣镕圻

（中國人民武裝警察部隊工程大學，陜西 西安 710086）

0 引言

近年來，隨著計算機視覺領域的發展，人工智能、模型識別、圖像處理及深度學習工具等理論的創新與完善，基于視頻的人群異常行為分析成為計算機視覺領域中備受關注的研究方向，主要運用于智能視頻監控、人群流量管理、異常行為分析與區域定位、公共安防與預警等。以監控視頻中人群的行為分析和檢測為研究目的，對輸入序列圖像中的運動目標進行特征提取、建模、識別與檢測。公共場景中較為常見的群體異常行為有：快速移動、擁擠碰撞、四散、聚集、推搡等。本文從目標檢測、特征提取與建模、異常行為識別與檢測、檢測數據集四個角度出發，詳細介紹了人群異常行為分析的整個流程及相關算法優缺點，并對未來面臨挑戰及發展趨勢進行展望。

1 目標檢測

質為分析連續視頻幀在幀間執行差分操作，操作前后圖像執行閾值處理與比較，從而提取圖像中的運動目標。該算法容易實現，計算量小，可快速檢測出運動目標。但檢測效果易受視頻幀率影響，魯棒性差，通常與其他算法共同使用。背景減除法將當前幀與事先準備好的背景圖像幀序列執行差分操作以檢測運動目標。該方法簡單有效，獲得的運動目標準確度高，適用于背景已知的情況下，實際場景中背景圖像隨時間推移，則易受到外界因素干擾，影響目標檢測效果。

2 目標特征提取與建模

運動目標檢測是指研究連續的視頻幀序列，將變化區域從背景中提取出來，該步驟對于后續的目標特征提取至關重要。近年來，國內外研究人員對目標檢測算法已經進行了大量研究。其中，比較經典的算法有光流法［1］、幀間差分法［2］與背景減除法［3］。

光流法通過逐像素計算兩個連續圖像幀之間的瞬時運動而實現，光流是由目標與觀察者之間的運動產生，通過分析當前空間亮度模式下物體的空間速度與變化率(即離散度），可實現對運動區域目標的檢測。最經典的光流提取方法包括HS光流法與LK光流法。該算法對光照、圖像質量等因素的普適性較強，絕大多數情況下能夠較準確地提取出場景中的瞬時運動信息，被廣泛應用于人群目標檢測中。幀間差分法的實

特征提取是指提取目標關鍵信息以表征行為的過程，精確區分正、異常行為，將直接影響后續人群異常行為識別與檢測的效率。傳統方法包括：利用梯度方向直方圖(HOG）特征表征靜態圖像中的人體形狀和輪廓信息，但該方法只局限于靜態圖像，無法滿足實時場景下的運動目標特征提取；軌跡用于描述運動目標軌跡，但手工制作的特征無法表征較復雜的行為，且特征泛化能力較弱。近年來，研究學者不斷對特征提取算法進行研究與創新，本節將主流方法總結如下。

光流法利用視覺特征進行特征提取，在描述實時場景中的群體流動規律取得了較好的效果。傳統光流法，由于實時場景變化，人群結構不穩定的問題，在描述時間相關性以及描述運動流的時間與空間屬性時表現不佳。

社會力模型［4］描述了由于個體之間的交互，隨機選擇的交互作用力的時空域信息被用于對正常的群體行為進行建模，提取存在異常行為的圖像幀，并對異常行為區域進行定位。該模型被廣泛應用于提取運動特征，或結合詞袋等統計學模型用于對視頻中異常幀的檢測［5］。

基于混沌不變量的特征提取方法為密集軌跡集可用一條軌跡來表征，在混沌不變量的特征中，不同區域的代表性軌跡表示不同的子目標［6］。該方法有效的軌跡模擬復雜的人群運動，引入混沌動力學抽取混沌不變量特征來表征復雜的人群運動，檢測人群異常行為。

基于深度學習的特征提取方法是利用深度神經網絡直接從圖像中學習深度特征，在使用時需設計網絡結構并通過訓練和學習獲得目標特征參數。相比于人工提取特征，深度神經網絡提取特征的方法對于實時場景中的光線變化、遮擋等問題具有更好的普適性。常用的深度神經網絡包括卷積神經網絡、遞歸神經網絡等，已成為近年來的研究熱點。

3 目標識別與檢測

檢測異常行為檢測方法僅將行為分為正常和異常兩個類別，從大量的視頻數據中學習經驗，實現像素級、幀級或視頻級的異常行為判別。針對不同場景，基于不同數據形式，分別為基于視覺技術與基于物理模型兩種方法。其中，視覺分析領域應用隱馬爾可夫模型、動態紋理、詞袋和稀疏表示等模型進行檢測，物理模型中，應用社會力、群體能量、場景結構力等模型進行檢測。

3.1 基于視覺技術的檢測方法

隱馬爾可夫模型作為一種統計分析模型，通過可觀察特征的參數確定該過程的隱含參數進行識別，該模型可捕捉學習變化光流，處理多種人群行為類型，對各種場景中的局部時空域運動行為進行建模，最大限度地提高檢測率，但該系統的泛化能力較差，對于不同的場景則需要重新分類及訓練模型以進行人群異常行為的識別與檢測。

動態紋理是一種視頻的時空域生成模型，通過構建一個像素級的背景模型或人群行為模板，將視頻序列的靜態圖像特征經過線性動態系統表征，并展現其時空域的穩定屬性。該模型可基于多變量馬爾可夫模型實現動態紋理分類［8］，通過兩種模型結合提高異常行為檢測的準確率。

BoW模型的本質是一種統計直方圖，該模型使用局部時空域視頻數據塊進行分析處理。通過建立像素級別的背景模型和行為模板以提取局部低級別視覺特征，例如運動和紋理等信息。基于該模型的詞袋法可將作用力映射為統一度量的活動烈度［7］，對于烈度值超過警戒值的異常行為進行檢測和定位。

稀疏表示模型從信號重建的角度建立，將圖像本身視為稀疏信號，用一組過完備基將輸入的線性信號獲得近似于原始圖像信號的優化信號，稀疏表達模型使用稀疏重建，根據重構誤差判斷人群行為是否異常。

3.2 基于物理模型的檢測方法

社會力模型描述了由于個體之間的相互影響而形成的群體行為。通過網格狀采樣粒子來進行計算，根據交互作用力對發生異常的區域進行定位，文獻［9］利用社會力模型預測行人的運動狀態，結合分段顏色直方圖信息提出一種行人模型來識別人群異常行為。

場景結構力模型是指目標在特定的場景下移動時受到一個局部的或是全局的作用力，可用表示該場景布局和人群中某些個體行為的函數來定義。訓練樣本集合中的樣本代表的是正常的群體活動，從而造成了測試樣本集合中的異常樣本的重構誤差在原來的基礎上進一步增大，提高了群體異常行為檢測的準確率。

群體能量模型基于提取到的特征，用動能或勢能等能量進行表示，經能量公式計算得到能量波動圖，對能量波動圖是否有超過平均閾值的能量極大點來判斷監控中是否發生了異常事件。該模型能夠較好地標示個體之間不同方向的逃散、定位運動信息和交互信息。

3.3 基于深度學習的檢測方法

隨著計算機視覺領域的不斷發展，研究者將深度學習算法融入人群異常行為識別與檢測。深度學習由于其出色的特征提取效果以及強大的數據擬合能力，達到了較高的檢測精度，成為近期的研究熱點，包括雙流神經網絡、脈線流卷積神經網絡、三維卷積神經網絡與廣義回歸神經網絡等。按照訓練神經網絡的數據類型及其標簽類型可將基于深度學習的異常行為檢測分為有監督、弱監督以及無監督3類。

有監督方法即用詳細標記的正異常行為樣本訓練神經網絡，提取正常行為與異常行為之間更具區分性的特征。有監督方法利用了充足的先驗信息進行訓練，該方法識別和檢測精度普遍較高，但它只能檢測預先設定好的場景下的異常行為，且人工標注較為煩瑣而效率較低，對于未知的異常行為種類，則需重新訓練神經網絡結構模型。

弱監督方法僅給出訓練樣本視頻級的正常或者異常標簽，在訓練樣本階段只可確定有無異常事件，而不能確定異常事件的具體種類及時間區域，在測試階段則直接識別異常行為及定位異常區域。弱監督訓練數據集更加簡便，對異常行為檢測更易操作和泛化，大大提升檢測流程與效率。

無監督方法無需任何標簽信息，該方法通過大量學習正常行為的特征表示，將那些不符合正常特征分布的樣本檢測為異常，包括基于聚類判別、基于重構判別和基于預測模型3種方法。基于聚類判別的方法通過擬合正常樣本空間并對正常樣本進行聚類，將遠離正常聚類中心的樣本識別為異常。基于重構的方法僅在正常數據上學習模型，以重構誤差作為異常檢測指標。基于預測模型的方法通過對正常行為規律進行分析并預測，而異常行為是不可預測的，通過預測誤差即可檢測異常行為。

4 算法性能有關參數介紹

異常行為識別與檢測需要獲得目標異常行為發生的時空信息，通常從幀級和像素級兩個層次評價檢測效果。在幀級準則中，當某幀中的一個像素被檢測為異常，則判定該幀為異常幀，降低對異常區域定位的精確度。而像素級準則考慮到空間定位精度，只有異常像素覆蓋了一定真實異常標記時，才認為出現異常。在異常檢測領域，ROC曲線通過對異常分數或異常概率取不同閾值進行繪制，由于該曲線不受正負樣本分布的影響，常被用于定性地評估和比較算法性能。其中，ROC曲線下的面積被定義為AUC，由一個0～1數值賦值，AUC值越大表明該模型檢測異常行為效果越好。為了比較算法的有效性，還有以下參數均可以從不同角度描述算法性能。精確度ACC=TP／N，其中，TP為被正確識別的樣本數，N為樣本總數。真正率，即識別率TRP=TP／TP＋F N；假正率，即誤檢率FPR=FP／FP＋TN。其中，真正類TP定義為正確識別的異常事件，真負類TN為正確識別的正常事件，假正類FP為被誤檢測為異常事件的正常事件，假負類FN為被誤檢測為正常事件的異常事件。

5 挑戰與展望

盡管學術界對于異常行為檢測的研究上已取得一定進展，但是由于異常檢測所要求的實時性、魯棒性以及高效性，人群異常行為檢測在應用領域仍面臨挑戰。

(1）多信息融合技術在群體行為分析中的應用。由于人群之間存在遮擋問題，綜合運用除了音頻、電磁波、環境等多種特征進行融合，發揮不同類型數據的優勢，克服部分特征的局限，有助于更加綜合準確地描述行為。

(2）基于深度學習方法的群體行為分析。在異常檢測領域，深度學習方法成為近幾年的學術研究熱點，但目前大部分的異常檢測算法基于閉集測試，即所有異常行為檢測模型都需被訓練，無法進行泛化能力更強的識別與檢測。因此，基于開集訓練的算法將是新的研究方向。

(3）異常行為預測。對異常行為的識別與檢測多基于視頻提取圖像數據并對已發生事件進行分析處理，如能在事件發生前實現對異常的預測并報警，將極大擴展該技術的應用領域，目前該方面還具有較大的研究空間。