融合注意力增強的視頻異常行為檢測方法

摘 要：針對視頻中行人摔倒、扭打等異常行為難以準確建模的問題，文中提出了一種基于視頻幀間和幀內數據分析，融合注意力增強的異常行為檢測方法。采用對比分析策略，依據目標檢測、跟蹤、人體姿態估計方法獲取視頻中目標的行為軌跡和人體關鍵點數據，構建特征屬性集合。使用注意力機制增強或抑制部分特征信號，再利用非監督學習方法判別視頻異常行為，實現視頻中不同異常行為檢測。實驗結果表明，融合注意力增強之后異常檢測的準確率有明顯提升，可有效檢測出視頻中的異常行人。

關鍵詞：特征集合；注意力機制；異常檢測；視頻監控；姿態估計；人體關鍵點

中圖分類號：TP391 文獻標識碼：A 文章編號：2095-1302（2024）06-00-06

0 引 言

視頻監控系統已遍布于不同場所，雖然可以記錄各類場景數據，但對場景中異常事件的判別和提示還遠遠達不到智能化水平。異常行為的發生往往是難以預料的，甚至是無法察覺的，因此異常行為的識別和檢測技術已經成為智能安防、醫療保健、交通管理等領域的重要研究課題[1]。視頻異常通常認為是發生了不尋常的表觀特征、運動特征或者在不尋常的地點或時間發生的運動特征。

視頻異常判別常常為場景條件依賴。人們也常常研究基于某個場景下的一些異常判別問題。于俊俊等人[2]利用光流法預測特征點位置，提出一種基于金字塔LK光流法的電梯內異常行為檢測方法。Ramachandra等人[3]利用孿生網絡訓練距離度量函數，通過測試數據與參照數據之間的距離得到最終的異常得分。通過利用歷史圖像幀的檢測結果，祝文斌等人[4]提出了一種新的方法，可以有效補充當前檢測幀中的信息。WU C等人[5]提出了一種基于機器學習算法的檢測框架，對校內學生異常行為進行先驗性定義，但其手動參數也多，不利于自訓練。文峰等人[6]提出了基于姿態特征的異常檢測方法，通過聚類標記異常行為，使用SVM完成室內場景下人體的異常分類。Chaoqin Huang等人的團隊[7]提出一種少樣本異常檢測框架，從多個任務模型中提煉出一種有效的共享通用模型，將其推廣到新的異常檢測任務。Jhih-Ciang Wu等人[8]提出一個無監督的通用模型，利用實例感知注意力來強調定位異常的焦點區域。Mariana-Iuliana Georgescu等人[9]通過自監督和多任務學習實現視頻中的異常事件檢測。程媛等[10]提出地鐵場景下的群體異常行為檢測模型。邢天祎等[11]在變分自編碼器基礎上，提出了一種基于預測的空時對抗變分自編碼器視頻異常檢測模型。陳辛等[12]提出了一種改進ORB光流算法，根據運動能量的變化對異常行為進行檢測和判斷。張紅民[13]提出了一種全局自注意力與卷積特征共享的自編碼器異常行為檢測模型。

深度學習的興起給異常行為檢測提供了新思路、新方法，而數據驅動的性能主要受到視頻異常事件樣本數過少的影響，要在保證精度和速度的基礎上更有效實現檢測，還有很多困難，主要體現在以下幾個方面：

（1）不同場景下異常行為復雜多變，很難直接定義。

（2）人體運動的非剛性決定了異常檢測的復雜程度，很難準確找到對異常檢測起關鍵作用的肢體部件和行為特征。

（3）深度學習計算常常需要較多的計算機資源。

這些特點都影響視頻異常檢測方法在監控設備上的部署應用，難以提升監控設備智能化整體水平。

試圖找到異常行為更一般化界定及判別的方法，對視頻內容的主體，即人的行為進行自動分析。YOLO目標檢測算法采用從上到下的網絡結構，檢測結果通過單次檢測就能得到，因此檢測速度較快。目標追蹤以Tracking-by-Dection策略為基礎，利用目標檢測結果對目標進行追蹤。行人的行為數據通過Alphapose姿態估計算法獲得。

分析幀內和幀間數據，將視頻幀內多人人體關鍵點信息作橫向對比，計算不同行人關鍵數據的離群因子，判斷當前幀中出現的異常行人。同時對視頻中的人物進行跟蹤，縱向對比行人不同幀間特征變化，以解決異常事件定義與特定場景的依賴性問題。不同應用場景下，對異常行為判別的側重點往往存在較大差異，提出融合注意力增強的人體異常行為檢測方法，適當提取、選擇數據特征及異常行為判別方法，作特征增強或抑制，執行不同任務的異常行為判別，以提升異常預警方法的準確率和適用性。

1 異常行為的一般化描述

在日常監控應用場景中，行人行為的驟然變化雖然容易識別但卻很難給出準確定義。“異常”通常意味的是與別人對比“不同”且發生“概率較小”，因此，從廣義層面、相對的角度描述異常行為問題。以場景中的“人”為主要參照對象，通過跟蹤、分析目標行人行為軌跡，判別行人相對于自身行為狀態的異常，出現突變的行為被認定為異常行為。或者對于人群聚集等異常判別，當前視頻幀相對其他時間段視頻幀存在異常，即基于視頻幀間數據的行為異常判別。通過對比視頻幀內多人行為數據，目標行人相對于其他行人的行為狀態的異常，即基于視頻幀內數據判別行為異常。通過從視頻目標行人幀間行為軌跡縱向比較、幀內多人數據橫向對比兩方面入手，以實現異常行為檢測。

1.1 幀間異常行為建模

固定場所的監控攝像頭采集的視頻背景常常是固定的，針對不同幀的幀間數據，常態化、大概率出現的幀數據信息可以被認定為正常，否則可能為異常行為。通過目標跟蹤可以統計視頻中行人的動態數據，如質心坐標center、行人總數sum_persons、密度density_persons、行人檢測框交并比iou_overlap、肢體交疊持續時長duration_overlap等數據，對于視頻中出現的因光照、遮擋等不確定因素造成的數據誤差可剔除，減少因無關因素導致的數據誤差。以正常數據信息為基準，通過對比分析無監督分類，可判別行人摔倒、人群聚集、人群打斗等異常事件。基于幀間數據異常行為檢測框架如圖1所示。

利用人體質心位置移動特點、速度變化、形體寬高比例的內在關系可對幀間行人摔倒進行異常檢測。在目標區域中想要快速定位行人所處位置，其質心是最基本的特征。

利用人體關鍵點坐標計算得出人體質心點，避免使用人體最小外接矩形獲取人體質心點，解決因人體檢測不準確獲取的人體質心點不準確問題。運用目標檢測法來識別和標定視頻中的行人，當行人的運動狀態或行為動作發生變化時，所標定的矩形框的寬度和高度也會相應改變，寬高比的定義如下：

（1）

式中：AR為人體檢測框的寬高比。外接矩形可描述行人的總體形態、輪廓。一般情況下，統計目標行人外接矩形寬高比的幀間變化，結合判定規則，可對行人出現某些異常行為狀態進行準確判定。

在進行幀間視頻行人扭打異常檢測時，行人檢測框交并比是判斷異常的重要指標，其計算公式如下所示：

（2）

式中：A和B表示視頻中不同的人體檢測框。

1.2 幀內異常行為建模

幀內數據中行人的跟蹤框及關鍵點對分析行為特征起重要作用。人體的關鍵節點中分為剛體部分和非剛體部分[14]，不同部件對行為動作的貢獻程度不同。顯然，人體的肢體部件（非剛體部分）比身體的軀干和頭部（剛體部分）偏移量更大，因此，人體非剛體部分對異常行為檢測的重要程度更大。采用目前準確度較好的區域多人姿態估計AlphaPose網絡模型[15]獲取視頻中人體的關鍵點信息，可提取人體的17個

關鍵點，0到16分別為：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左髖、右髖、左膝、右膝、左腳、右腳，如圖2所示，其中白色框內標注為非剛體部分。以人體不同部位的關鍵點標號0，1，2，...，16構建集合，記為關鍵點集合{0，1，2，...，16}。

為區分人體剛體部分和非剛體部分對人體姿態貢獻的不同，依據關鍵點距離人體質心半徑環狀分布，將人體不同位置的關鍵點劃分為多個子集合。Head={0，1，2，3，4}，Trunk={5，6，11，12}，Limbs_in={7，8，13，14}，Limbs_outer={9，10，15，16}。Head集合為頭部關鍵點子集，Trunk為軀干關鍵點子集，Limbs_in為四肢關鍵點內環子集，Limbs_outer為四肢關鍵點外環子集。進行人體動作分析時，一般認為關鍵點子集Head、Trunk所在區域為人體的剛體部分。

針對不同部件對應關鍵節點子集合，提出融合注意力機制的視頻異常檢測模型。注意力機制的作用是幫助找到感興趣的目標區域，通過注意力模塊對人體關鍵點特征重新分配權重，從而突出人體行為中有價值的部分而抑制無關部分，使得異常檢測聚焦于人體關鍵點的感興趣目標區域，以實現異常檢測的準確性。對不同的關鍵點子集施以不同的權重，構造人體關鍵點的特征描述集合，如式（3）：

（3）

式中：ω1，ω2，ω3，ω4為權重值，按遞增值設置。

2 行人行為數據獲取、特征提取和增強

使用AlphaPose人體姿態估計算法獲取人體關鍵點信息，在此基礎上加入目標跟蹤算法，將視頻中每個人物的ID號與關鍵點信息相匹配，可實時獲取視頻中每一幀人物ID對應的關鍵點信息。視頻中不同位置行人與監控設備之間的距離、不同設備獲取視頻的像素問題等因素，都會影響對人體不同部位屬性的關鍵點數據值。因此，依據人體質心點坐標，將世界坐標系下坐標轉化為局部坐標，獲得視頻中所有人物關鍵點信息相對于自身質心點的偏移量，消除人體屬性值之間的量綱影響。在視頻幀內和視頻幀間，通過特征選擇以及特征增強對不同特征屬性執行不同處理，最后針對不同的異常行為，依據相應的判別規則對視頻中行人異常行為進行標記。視頻異常行為判別模型體系結構如圖3所示。

2.1 人體局部坐標系下的特征提取

對于人體關鍵點數據進行特征工程處理時，常包括數據預處理、特征選擇、特征增強以及維度壓縮等步驟。視頻中行人位置、距離、角度以及視頻分辨率往往各不相同，對不同行人的數據作歸一化處理，使數據具有可比性。建立單個行人的人體局部坐標系，以質心為原點構建局部坐標系示意圖，如圖4所示。將人體姿態估計獲得的世界坐標系下的坐標轉化為局部坐標。

獲取人體質心坐標。取人體左、右髖關節連線的中點作為骨盆中心坐標，然后取人體左、右肩關節連線的中點作為脖子坐標，取脖子與骨盆中心的中點作為人體的質心坐標（xc， yc）。在世界坐標系下，設人體所有關鍵點信息為Pi={（xi， yi）|i=0， 1， ...， 16}，則質心橫坐標xc和縱坐標yc的計算公式

如下：

（4）

（5）

式中：i表示關鍵點標號；n=4為關鍵點個數。對每個關鍵點（xi， yi）計算相對質心（xc， yc）的位置坐標，將世界坐標轉化為局部坐標，規定向上為y軸正方向，因此所有關鍵點局部坐標系下的坐標為（xi-xc， yc-yi）。局部坐標系下，對人體坐標進行標準化處理。假設人體局部坐標為（rl， sl），經過標準化后的坐標為（r， s），則（rl， sl）到（r， s）的映射關系如式（6）

所示：

（6）

式中：width和height為視頻中檢測到的每個行人檢測框的寬度和高度。

2.2 基于注意力機制的特征信號增強

注意力機制源于人類視覺機制研究，用于關注視頻圖像中對判斷有利的信息，而忽略不相關的部分[16]，對于提取特征、分類判別可起到有效的提高作用。對人體行為進行特征統計，構建經過處理后的人體行為特征屬性集合attribute_set{image_id，keypoints，box，idx，center，local，sum_person，density_person，iou_overlap，duration_overlap，speedLimbs_outer}。

image_id為視頻幀的id號，keypoints為關鍵點數據向量，長度為3m，包含位置信息和檢測置信度信息，格式為：“x1， y1， c1， x2， y2， c2， ...”，m為行人可檢測出的關鍵點總數量，單個人體姿態關鍵點最多可檢測出17個，keypoints特征向量長度最多為51。Box的格式為[x，y，width，height]，x、y為人體檢測框左上角坐標，width、height為人體檢測框的寬和高。idx為人體跟蹤后行人分配的ID號。Center為世界坐標系下的人體質心坐標。Local為局部坐標系下的關鍵點坐標，格式為[x1， y1， x2， y2， ...]，共有17對。localLimbs_in為局部坐標系下，四肢關鍵點內環子集坐標。localLimbs_outer為局部坐標系下，四肢關鍵點外環子集坐標。sum_person為行人總數，即視頻中檢測出的行人總數。

density_person為行人密度，計算該視頻中每個人與其他人員的歐式距離，以該基準人員為圓心，統計一定距離內的人數即為行人密度，以行人檢測框高度均值作為距離度量標尺。iou_overlap為行人檢測框交并比，通過計算得出。speedLimbs_outer為局部坐標系下，外環關鍵點子集移動速度絕對值的平均值。duration_overlap為行人肢體交疊持續時長，以視頻幀為單位，交疊時間越長，幀數越多。

在進行幀間異常檢測時，選取特征向量{image_id，box，idx，center，sum_person，density_person，iou_overlap，duration_overlap，speedLimbs_outer}作為判斷依據。執行不同的異常行為判別任務時，將注意力切換到不同的特征子集。進行行人跌倒檢測時，選擇特征子集{image_id，box，idx，center}；進行人群聚集性檢測時，將注意力切換到特征子集{sum_person，density_person，center}；在進行行人扭打行為判別時，以特征子集{iou_overlap，duration_overlap，speedLimbs_outer}作為檢測依據；在進行幀內異常檢測時，選取特征向量{image_id，idx，local}作為檢測依據。表1給出了不同異常判別任務的特征注意力分配列表。

通過行人特征提取、特征注意力引導檢測方法判別行人異常。在依據幀間或幀內數據作異常檢測時，注意力機制的作用并不完全相同。處理幀間異常時，注意力機制主要進行特征切換，執行不同異常檢測任務，提高方法的適用性和準確性。幀內異常檢測主要針對幀內不同行人的行為作橫向對比，通過注意力機制將關注的重點集中到人體肢體部件的非剛體部分，實現特征增強，提高不同類別區分度。表中√表示將注意力分配到對應的特征屬性上。

別方法

3.1 異常行為判別的產生式規則

依據幀間數據作行人異常行為檢測時，關注不同的特征向量，可對指定異常行為做判別。當目標檢測區域有行人跌倒時，發生變化最明顯的是行人檢測框的寬度和高度，矩形框的寬高比會驟然變大，同時行人的質心移動速度也會發生突然改變。統計正常情況下行人檢測框的寬高比R和速度V，從而確定寬高比參考區間Th_r=α·R和速度參考區間Th_v=β·V。當視頻場景中出現扭打異常時，行人檢測框非剛體交疊面積較大且有時間延續，同時，非剛體外環關鍵點移動平均速度會產生較大變化。因此，通過對歷史視頻幀的統計確定人體檢測框交并比閾值Th_iou、交疊持續時間閾值Th_frame以及外環關鍵點速度區間Th_speed=γ·speedLimbs_outer，從而判定扭打異常。上述式中，α，β，γ為安全容許參數。正常情況下，以每個人為圓心，單位距離內行人總數應不大于限制閾值NUM_persons，否則，可判定當前場景出現聚集性行為。定義產生式規則集合F{f1， f2， f3}來區分正常和異常行為，其中f1、f2和f3分別表示不同異常行為的判別規則。產生式規則公式如下：

（7）

（8）

（9）

式（7）～式（9）中：0和1分別表示視頻中正常行為和異常行為。式中各區間通過使用等長滑動窗口來確定。

3.2 幀內異常行為判別的局部離群因子算法

異常數據點通常是數據點集合中的離群點，因此人體異常行為判別可以看作是對離群點的檢測。局部離群因子檢測方法（Local Outlier Factor，LOF）是一種基于密度的方法，核心思想是異常與否取決于局部環境。采用LOF算法分別計算每個數據點的局部可達密度和離群因子，因子值越大，表示離群程度越高，否則離群程度越低。統計不同視頻樣本，設置離群因子閾值，判定視頻中行人狀態。算法計算過程

如下：

（1）首先計算每個點的第k距離鄰域內各點的第k可達距離：

（10）

式中：dk（o）為點o的第k距離；d（o， p）為點o到點p的距離。

（2）對經過注意力機制融合增強后的特征信號，計算每個點的局部第k可達密度：

（11）

式中：Nk（p）為p點的第k距離鄰域。

（3）計算每個行人關鍵點信息的第k局部離群因子：

（12）

（4）根據離群因子設定閾值執行判斷。當離群因子大于給定閾值時，判別該行人有異常行為，否則認定為正常。

4 實驗與分析

使用Auenue和FallDataset數據集測試文中模型的有效性。正常行為被定義為行人在地鐵口方向上平行行走，異常行為包括行人投擲物品、快速奔跑、意外摔倒以及推動自行車等。實驗數據樣本幀數不同，樣本平均幀數為300幀，總幀數為30 337幀，分別基于幀間、幀內視頻數據作對比分析，判別行人異常行為。

4.1 依據幀間數據的檢測實驗結果

依據幀間數據特征注意力機制，按等長滑動窗口取歷史幀數據做分析，根據視頻長度確定滑動窗口大小為30。正常情況下，行人檢測框寬高比區間Th_r=α·R，α∈（0.5，1.3），速度區間Th_v=β·V，β∈（0.8，1.2），檢測框交并比閾值Th_iou為0.3，交疊持續時間閾值Th_frame為20，外環關鍵點速度區間Th_speed=γ·speedLimbs_outer，γ∈（0.8，1.2）。計算當前滑動窗口內各個指標平均值，以確定式中α，β，γ的值，得到其安全容許范圍，算法對參數大小并不敏感。結合產生式規則f1、f2，測試視頻的結果如圖5所示，圖5（a）為正常行走檢測結果，圖5（b）、圖5（c）為摔倒異常檢測結果，圖5（d）為扭打異常。圖中ID號后為檢測結果，正常用“normal”標記，異常用紅色“abnormal”標記。

利用FallDataset數據集和搜集的視頻數據做幀間異常行為檢測。文獻[17]采用靜態和動態檢測方法檢測視頻中的行人跌倒異常，文中方法與文獻[17]對比，算法性能的多項指標見表2所列。

4.2 依據幀內數據的實驗結果

研究幀內多人共存的視頻異常行為判別問題，將人體非剛體關鍵點子集Limbs_in和Limbs_outer信號做增強，人體關鍵點的特征描述集合為F={ω1·Head， ω2·Trunk， ω3·Limbs_in， ω4·Limbs_outer}，考慮到人體不同部位關鍵點對行為貢獻程度不同，按照肢體關鍵點距離質心點位置的外周遠近不同設置不同的權重，經多次試驗測試，將權重值ω1，ω2，ω3，ω4按遞增值設置為0，1，2，3后，幀內異常行為檢測效果較好，然后采用LOF方法。Auenue數據集上幀內異常檢測結果如圖6所示。圖中用不同顏色的矩形框區分不同的人物，正常用白色normal表示，否則用紅色abnormal表示。

在幀內異常檢測過程中，使用注意力機制和未使用注意力機制檢測視頻中行人異常行為效果和異常分數，如圖7所示。未添加注意力的ID-6、ID-7號行人離群因子（outlier）均為1以上，為離群點，因此state為abnormal，均被判定為異常。添加注意力機制之后只有ID-6號行人離群因子（outlier）超過1，因此被判定為異常，降低了誤檢率。

分析注意力機制對異常檢測準確率的影響，使用Avenue數據集中295幀和FallDataset數據集中303幀視頻，分別測試其準確率：

Accuracy=（TP+TN）/（TP+FP+TN+FN）" " " " " " " "（13）

式中：TP為真正例（True Position）；FP為假正例（False Position）；FN為假反例（False Negative）；TN為真反例 （True Negative）。準確率表示正確識別正常和異常行為幀數占總幀數的比例。有注意力機制和無注意力機制的實驗結果見表3所列，可以看出，引入注意力機制可以有效提高異常檢測的準確率。

本次實驗做的是短視頻異常檢測分析，當檢測長視頻時，可以根據關鍵幀抽取長視頻的視頻片段，劃分歷史幀窗口，再做基于幀間數據的統計分析。文中行人的正常狀態特征數據區間是根據現有數據集統計得到，實際應用過程中，可設置和調整安全系數，以提供不同級別的安全預警。行人再識別不是文章研究的重點，實驗中假設為理想情況，認為能夠準確跟蹤到每個行人，沒有目標丟失。

5 結 語

目前的異常判別方法很難廣泛部署于監控攝像系統，文中針對視頻中的異常行為，從廣義、相對角度研究問題，提出一個通用框架，利用產生式規則方法良好的解釋性，融合注意力增強策略，進行視頻異常行為判別。文中方法可面向不同檢測任務進行視頻幀內和幀間數據多種異常行為分析。利用特征注意力機制，將不同特征子集賦予不同的權重。使用離群異常因子標記行人的離群程度，實現行人異常行為判斷。文中方法思路簡單，易于在監控系統終端硬件上部署，此舉將對提升異常檢測的智能化水平提供有力支持。

參考文獻

[1]張曉平，紀佳慧，王力，等. 基于視頻的人體異常行為識別與檢測方法綜述[J].控制與決策，2022，37（1）：14-27.

[2]于俊俊，朱立軍. 基于金字塔LK光流法的電梯內異常行為檢測[J].物聯網技術，2022，12（6）：27-30.

[3] RAMACHANDRA B，JONES M，VATSAVAI R. Learning a distance function with a Siamese network to localize anomalies in videos [C]// Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2020：2598-2607.

[4]祝文斌，苑晶，朱書豪，等. 低光照場景下基于序列增強的移動機器人人體檢測與姿態識別[J].機器人，2022，44（3）：299-309.

[5] WU C，CHENG Z. A novel detection framework for detecting abnormal human behavior [J]. Mathematical problems in engineering，2020：1-9.

[6]文峰，劉飛，黃海新. 室內場景下人體行為異常檢測方法研究[J].沈陽理工大學學報，2022，41（2）：20-25.

[7] HUANG C，GUAN H，JIANG A，et al. Registration based few-shot anomaly detection [C]// European Conference on Computer Vision. Cham：Springer Nature Switzerland，2022：303-319.

[8] WU J C，CHEN D J，FUH C S，et al. Learning unsupervised metaformer for anomaly detection [C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021：4369-4378.

[9] GEORGESCU M I，BARBALAU A，IONESCU R T，et al. Anomaly detection in video via self-supervised and multi-task learning [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021：12742-12752.

[10]程媛，吳帆，張寧，等. 地鐵應用場景中半監督群體異常行為檢測模型[J].城市軌道交通研究，2023，26（5）：17-22.

[11]邢天祎，郭茂祖，陳加棟，等. 基于空時對抗變分自編碼器的人群異常行為檢測[J].智能系統學報，2023，18（5）：994-1004.

[12]陳辛，楊江濤，許新云. 基于光流法優化的人群異常行為檢測研究[J].現代電子技術，2023，46（12）：168-174.

[13]張紅民，房曉冰，莊旭. 融合注意力機制的自編碼器視頻人體異常行為檢測模型[J].激光雜志，2023，44（2）：69-75.

[14] XU J，ZHAO R，ZHU F，et al. Attention-aware compositional network for person re-identification [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2018：2119-2128.

[15] FANG H S，XIE S，TAI Y W，et al. Rmpe：Regional multi-person pose estimation [C]// Proceedings of the IEEE International Conference on Computer Vision. 2017：2334-2343.

[16]譚龍，高昂. 感受野特征增強的SSD目標檢測算法[J].計算機研究與發展，2020，63（9）：149-155.

[17]劉舒婷. 基于視頻監控的室內場所異常檢測[D].大連：大連交通大學，2018.

基金項目：遼寧省自然科學基金機器人學國家重點實驗室聯合開放基金（2022-KF-12-08）；遼寧省教育廳高等學校基本科研項目（LJKZ0267）