基于視頻圖像分析的行人遇襲安全預(yù)警監(jiān)測技術(shù)研究

摘要：在對行人身體的攻擊發(fā)生之前，提前發(fā)現(xiàn)早期潛在攻擊威脅可減少暴力事件的發(fā)生。為實(shí)現(xiàn)該目的，提出了基于視頻圖像分析的自動威脅行為檢測新方法，通過該方法，可在行人身體接觸發(fā)生之前產(chǎn)生潛在攻擊威脅的早期預(yù)警，即當(dāng)攻擊者離受害者還有一段距離時(shí)，就可以檢測到潛在的威脅，從而實(shí)現(xiàn)預(yù)警生成。為驗(yàn)證所提出的算法在攻擊威脅檢測中的有效性，將其性能與3種方法進(jìn)行了對比。對比結(jié)果表明，與所對比方法相比，所提出的方法對攻擊威脅檢測的準(zhǔn)確率更高。

關(guān)鍵詞：攻擊威脅；檢測；視頻圖像分析；早期預(yù)警

中圖分類號：TP391.41文獻(xiàn)標(biāo)志碼：A文章編號：1001-5922（2024）10-0177-04

Research on pedestrian attack safety early warning andmonitoring technology based on video image analysis

LIU Yizhao1，CAO Botao2

（1. Xi’an Education Media Center（Xi’an Education Television），Xi’an 710001，China；

2 . College of Mechanical amp; Electrical Engineering，Shaanxi University of Science amp; Technology，Xi’an 710021，China）

Abstract：Early detection of potential threats of aggression before physical aggression occuring for pedestrians canreduce the incidence of violence. To achieve this goal，a new automatic threat behavior detection method based onvideo image analysis was proposed. Through this method，early warnings of potential offensive threats can be generat?ed before physical contact between pedestrians occurs. That is，when the attacker is still some distance away from thevictim，the potential threat can be detected，so as to achieve early warning generation. To verify the effectiveness ofthe proposed algorithm in attack threat detection，its performance was compared with the three methods. The compari?son results showed that the proposed method had higher accuracy in attack threat detection than the other methods.

Key words：attack threat；detection；video image analysis；early warning

突然對行人進(jìn)行攻擊是城市環(huán)境中常見犯罪活動，該類活動主要發(fā)生在偏僻和能見度低的地方，因?yàn)楣粽呖衫铆h(huán)境優(yōu)勢來跟蹤和突襲他們的目標(biāo)[1-3]。在攻擊發(fā)生時(shí)，如果單獨(dú)觀察攻擊者執(zhí)行的每一個(gè)簡單動作，這些動作可能被認(rèn)為是正常動作；然而，如果同一主體重復(fù)執(zhí)行這些基本動作中的幾個(gè)，[4-6]那么該主體的行為便可被識別為潛在攻擊威脅。為提高對攻擊威脅的預(yù)警能力，可開展基于視頻圖像分析的自動攻擊威脅檢測[7-9]。現(xiàn)有自動攻擊威脅檢測方法大多集中在對打架和攻擊等具體暴力行動的檢測上[10-12]。通常，在這類方法中，在感興趣的事件上使用一個(gè)狹窄的時(shí)空窗口，從中搜索被認(rèn)為是異常的行為模式[13]；此類方法只有在身體攻擊發(fā)生時(shí)才能檢測到攻擊威脅。在對身體的攻擊發(fā)生之前，提前發(fā)現(xiàn)早期潛在威脅可減少暴力事件的發(fā)生。現(xiàn)有研究主要識別可疑的特定行為，例如，檢測異常軌跡或在現(xiàn)場四處游蕩的主體[14-16]。這類方法的局限性在于，它們只確定了事件會發(fā)生，但沒有對主體行動進(jìn)行量化，從而無法對同類型的事件進(jìn)行對比。例如，對于兩個(gè)在現(xiàn)場徘徊的對象，很難確定他們中哪一個(gè)所構(gòu)成的威脅更大[17]。為解決該問題，本文提出了基于視頻圖像分析的自動威脅行為檢測（TBVI）新方法。

1基于基礎(chǔ)事件的主體復(fù)雜行為分析

所使用的行為表示方法的核心思想是包含主體從出現(xiàn)在場景中的那一刻起所采取的行動歷史數(shù)據(jù)，該數(shù)據(jù)包含多個(gè)時(shí)間窗口[18-20]。主體的每一個(gè)基礎(chǔ)行為和主體之間的互動都被視為主體同一行為的組成部分，而非孤立存在。

為此，定義了一組基礎(chǔ)事件M，利用基礎(chǔ)事件構(gòu)成主體復(fù)雜行為。一個(gè)主體P（i）產(chǎn)生的每個(gè)基礎(chǔ)事件Ei （m=12M）都會對另一個(gè)主體P（j）產(chǎn)生影響，這取決于二者之間的互動水平，互動水平由式（1）中定義的互動矩陣A（ij）表示。A（ij）的每一行向mm量描述當(dāng)P（i）在離散時(shí)間內(nèi)實(shí)現(xiàn)事件Emi時(shí)P（i）和P（j）間的相互作用。

A（ij）的第一個(gè)分量表示事件Eim而不考慮該事件的特殊特征。第一個(gè)組件的值應(yīng)始終1，表示“事件已發(fā)生”。而對于事件Emi沒有發(fā)生的時(shí)刻，則不生成特征向量。將值1分配給事件發(fā)生的重要作用在于，稍后將使用該值來建立和加權(quán)所述事件類型的時(shí)間重復(fù)次數(shù)。δivm分量用于量化事件i檢測變量大小的變化，其值由δvm（t）=|νmi（tN） -νmi（tA）i|

給出；iνm是測量事件Em產(chǎn)生的動作變量（速度、角度等）；tA是事件動作生成之前時(shí)刻，而tN是事件發(fā)生時(shí)刻。式（1）中的δt（ij）和δd（ij）是事件Ei對主體P（i）mmm和P（j）之間發(fā)生的時(shí)空距離影響的加權(quán)系數(shù)。

示主體P（i）

和P（j）在時(shí)刻t的空間距離，在給出的時(shí)刻t的位置和速度數(shù)據(jù)估計(jì)。空間距離dij（tkt）的k平方由k t2+k t+k得到，其中123：

tM（tk）定義為根據(jù)時(shí)刻tk已知時(shí)空信息計(jì)算出的P（i）和P（j）之間達(dá)到最小空間距離的估計(jì)時(shí)間。該時(shí)間由t（ij）（t） =-k/（2k）給出。類似地21，Mk

半徑R內(nèi)接近主體P（i）I為2 m；2 m的半徑被認(rèn)為是主體之間可能進(jìn)行互動的足夠近的距離。

式（1）中描述的每個(gè)交互矩陣Am（ij）單獨(dú)代表了P（i）和P（j）之間由特定類型的事件Ei產(chǎn)生的個(gè)別交m互關(guān)系，該事件由主體P（i）在不同時(shí)間段進(jìn)行。這些信息通過式（3）合并：

變量Um（t）對應(yīng)于長度為Nmi的行向量[111]，等于P（i）從出現(xiàn)在場景中直到時(shí)刻t所記錄的Ei事件數(shù)量。通過函數(shù)（3）中的參數(shù)DLim控m制攻擊威脅檢測的預(yù)報(bào)能力和產(chǎn)生假警報(bào)之間的靈敏度。早期威脅檢測包括在犯罪嫌疑人仍然遠(yuǎn)離其潛在受害者情況下識別可能的犯罪行為。攻擊威脅檢測時(shí)犯罪嫌疑人與受害者的距離值越大，預(yù)判能力越強(qiáng)；但是，這也增加了產(chǎn)生錯(cuò)誤警報(bào)的可能性。如果（i）主體P和P（j）之間的空間距離小于限值DLim，則式（3）中的指示函數(shù)I d（ij）（t）lt;D取1。因此，給DLim的值限制了一個(gè)主體被評估為潛在嫌疑人的最大距離。

為把在現(xiàn)場記錄的所有信息整合成一個(gè)單一特征向量，對于每個(gè)主體P（j），根據(jù)其當(dāng)前時(shí)刻t的位置和速度數(shù)據(jù)，形成與所有可能與P（i）發(fā)生接近互動的主體P（j）的互動組Gj，即G（j）（t）=P（i）：0lt;t（ij）（t）lt;t。對于每個(gè)P（i），依次定義相關(guān)的互動組，這是由先前與主體P（i）互動的一群主體P（g）的時(shí)間τ（ig）構(gòu)成。在本文A中，考慮了τmin=8s；因?yàn)檫@個(gè)時(shí)間允許兩個(gè)主體在

沒有互動的情況下擦肩而過。對于場景中的每個(gè)主體P（j），在式（3）中定義的積分函數(shù)Ψ（j）（t）將所有主m體執(zhí)行的所有事件Emi的記錄收集在單個(gè)結(jié)果向量中預(yù)測與P（j）直接或間接交互的主體。

在攻擊活動中，式（4）的第一項(xiàng)涉及個(gè)別嫌疑人的行為；而第二項(xiàng)則反映了一群嫌疑人共同對付受害者P（j）的行為。

2仿真驗(yàn)證

為驗(yàn)證所提出方法的有效性，開展了對2個(gè)數(shù)據(jù)集圖片中潛在攻擊行為的檢測測試。（1）將所提出的方法對潛在攻擊行為的檢測效果與已有3種方法進(jìn)行了對比分析；（2）評估所提出的方法產(chǎn)生早期預(yù)警的能力，并測試所提出的方法的有效性，通過式（3）中定義的DLim距離參數(shù)來調(diào)整對威脅的預(yù)見程度和虛假預(yù)警的產(chǎn)生之間的權(quán)衡。

2. 1驗(yàn)證數(shù)據(jù)集

由于本文所開展工作的主要集中在最后攻擊前的可疑行為，只有包含最后攻擊之前復(fù)雜行為的視頻序列是有用的。根據(jù)這些公開數(shù)據(jù)集的特點(diǎn)，PETS2016數(shù)據(jù)集是最符合這一要求的數(shù)據(jù)集。此外，UVS-數(shù)據(jù)集包含描述夜間場景犯罪攻擊行為的紅外視頻序列[10]，該數(shù)據(jù)集被用來作為對PETS2016數(shù)據(jù)集的補(bǔ)充。

PETS2016測試集的示例圖像如圖1所示；測試集UVS數(shù)據(jù)集的示例圖像如圖2所示。

從PETS2016數(shù)據(jù)集的22個(gè)視頻序列中，共獲得了19名受害主體，其中5名是被攻擊者，14名是卡車上的不同部位。在卡車受到威脅的情況下，車輛的每扇門都以相當(dāng)于一個(gè)主體的方式處理，默認(rèn)受害者類別位于門的空間坐標(biāo)中。另外獲得了76個(gè)正常主體（非被攻擊主體），其數(shù)量在第一次分類后減少到33個(gè)，并在訓(xùn)練階段與19個(gè)受害主體一起使用。在UVS數(shù)據(jù)集中，共有50個(gè)主體屬于受害者類別，229個(gè)主體屬于正常主體；特征向量由0組成的主體被自動分類為正常主體，并被排除在訓(xùn)練階段之外；經(jīng)過對數(shù)據(jù)集中圖像的預(yù)處理，正常主體類別中最終有87個(gè)主體。

2. 2實(shí)驗(yàn)結(jié)果分析

2. 2. 1攻擊檢測效果評估

首先開展第一組測試，該測試的目的是評估所提出的方法檢測攻擊行為的能力。為此，通過ROC曲線，將所提方法的攻擊行為檢測性能與已有的3種方法[4-6]進(jìn)行了對比。提出TBVI方法性能的ROC曲線以及其他3種方法的的ROC曲線如圖3所示。

在這組測試中，式（3）中的參數(shù)DLim設(shè)置為10 m，這意味著可以探測到潛在受害者周圍10 m內(nèi)的可疑對象。不同方法ROC曲線下的面積AUC和等誤差率（EER）的結(jié)果如表1所示。

由表1可知，與方法M1、M2、M3相比，所提出的TBVI方法對攻擊行為檢測的性能更好。

2. 2. 2早期預(yù)警生成效果的評估

為評估所提方法生成早期預(yù)警的能力，仍選用ROC曲線與ROC曲線下的面積作為評估指標(biāo)。嫌疑人和受害者之間的距離使用了式（3）中的參數(shù)DLim，它允許在給定的時(shí)刻t，在可能的受害者周圍半徑為DLim的范圍內(nèi)檢測可疑的主體。

DLim取不同值時(shí)對PETS2016和UVS數(shù)據(jù)集圖像中攻擊行為分析的ROC曲線如圖4所示。

由圖4可知，每幅圖中2條曲線分別對應(yīng)于極限

距離DLim

等于3 m和極限距離DLim等于40 m時(shí)獲得的ROC曲線。圖中的曲線表明，限制受害者和潛在嫌疑人之間的最大距離可以減少錯(cuò)誤警報(bào)的數(shù)量，但過短的間隔距離導(dǎo)致檢測攻擊威脅的預(yù)警能力下降。

早期威脅檢測的AUC值隨DLim變化的曲線如圖5所示。

由圖5可知，對于這2個(gè)數(shù)據(jù)集的測試，當(dāng)間隔距離DLim限制在幾米時(shí)，ROC曲線顯示出較高的AUC值。對于PETS2016數(shù)據(jù)集的測試，距離DLim等于5 m的AUC值接近0.94；對于UVS數(shù)據(jù)集，距離DLim等于3 m的AUC值接近0.96。當(dāng)考慮用較大的空間距離來檢測潛在的攻擊威脅時(shí)，由于誤報(bào)率的增加，AUC值將會下降。然而，值得注意的是，根據(jù)場景幾何形狀，即使在相對較大的距離DLim（超過30 m），對PETS2016數(shù)據(jù)集測試的AUC值仍高于0.87，對UVS數(shù)據(jù)集測試的AUC值仍高于0.91，即DLim取較大值時(shí)，所提方法對攻擊威脅行為仍具有較好的檢測性能。

3結(jié)語

提出了基于視頻圖像分析的自動威脅行為檢測方法。所提出的方法旨在識別可疑的行為，以提醒受害者可能存在的威脅。復(fù)雜行為被表示為與這些事件發(fā)生時(shí)存在的交互相關(guān)聯(lián)的基本事件的累積。為驗(yàn)證所提出的算法在攻擊威脅檢測中的有效性，將其性能與3種方法進(jìn)行了對比。對比結(jié)果表明，與所對比方法相比，所提出的方法對攻擊威脅檢測的準(zhǔn)確率更高。此外，所提出方法的創(chuàng)新之處在于，引入了極限安全距離，該距離可用于調(diào)整預(yù)測能力和假警報(bào)產(chǎn)生之間的靈敏度。對2組測試數(shù)據(jù)的分析結(jié)果表明，即使在最苛刻的預(yù)期情況下，評估指標(biāo)AUC（ROC曲線下的面積）也能獲得0.9左右的高性能值，這證明了所提出的方法可在成功的檢測威脅和減少錯(cuò)誤警報(bào)之間進(jìn)行有效的平衡。

【參考文獻(xiàn)】

[1]宋英華，張悅，馬亞萍，等.人為攻擊事件下考慮引導(dǎo)作用的人員疏散模型[J].中國安全科學(xué)學(xué)報(bào)，2022，32（11）：140-145.

[2]閆善武，肖洪兵，王瑜，等.融合行人時(shí)空信息的視頻異常檢測[J].圖學(xué)學(xué)報(bào)，2023，44（1）：95-103.

[3]翟智鈺，侯北平.基于多特征融合的停車場行人異常行為識別[J].浙江科技學(xué)院學(xué)報(bào)，2022，34（6）：528-538.

[4]王進(jìn)，張榮.行人再識別系統(tǒng)中無感噪聲攻擊的防御方法[J].計(jì)算機(jī)應(yīng)用研究，2022，39（7）：2172-2177.

[5]張蔚瀾，齊華，李勝.時(shí)空圖卷積網(wǎng)絡(luò)在人體異常行為識別中的應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用，2022，58（12）：122-131.

[6]盧錦亮，吳廣潮，馮夫健，等.基于聯(lián)合軌跡特征的徘徊行為識別方法[J].南京大學(xué)學(xué)報(bào)（自然科學(xué)），2021，57（5）：724-734.

[7]程明，韓曉蓮.近身攻擊情景下恐慌情緒對疏散行為的影響研究[J].安全與環(huán)境學(xué)報(bào)，2023，23（5）：1626-1635.

[8]王寧，馬錦飛，常若松，等.行人攻擊傾向?qū)^街決策的影響及危險(xiǎn)忽視效應(yīng)[J].人類工效學(xué)，2023，29（3）：11-17.

[9]宋英華，張悅，馬亞萍，等.人為攻擊事件下考慮引導(dǎo)作用的人員疏散模型[J].中國安全科學(xué)學(xué)報(bào)，2022，32（11）：140-145.

[10]付燕，李珍珍，葉鷗.基于蒙特卡洛樹搜索的視頻異常場景監(jiān)測方法[J].現(xiàn)代電子技術(shù)，2023，46（2）：96-100.

[11]熊文靜，袁蒙蒙.基于機(jī)器視覺的行人異常行為檢測方法[J].信息與電腦（理論版），2023，35（6）：117-119.

[12]張文卓，尉天成，陳小鋒.基于嵌入式平臺的行人行為檢測系統(tǒng)設(shè)計(jì)[J].智能計(jì)算機(jī)與應(yīng)用，2023，13（8）：37-44.

[13]王德輝，張雨，黃文棟，等.基于數(shù)據(jù)挖掘的低壓電網(wǎng)改造工程驗(yàn)收系統(tǒng)設(shè)計(jì)[J].微型電腦應(yīng)用，2023，39（2）：197-200.

[14]楊振北，胡文斌，劉騫，等.基于YOLOv4-tiny的鐵路車站旅客流量和旅客異常行為監(jiān)測研究[J].工業(yè)控制計(jì)算機(jī)，2022，35（8）：113-114.

[15]秦彬鑫，路紅，邱春，等.一種基于運(yùn)動分析的行人異常行為檢測[J].電訊技術(shù)，2022，62（4）：457-465.

[16]劉嘉宇，陳平.基于關(guān)鍵幀定位和時(shí)空圖卷積的異常行為識別[J].機(jī)械與電子，2022，40（1）：48-53.

[17]柏萬勝，孫鵬，郎宇博，等.視頻中異常行為自動檢測技術(shù)研究[J].安全，2023，44（2）：1-16.

[18]徐飛，鄧亞萍，陳興.醫(yī)院設(shè)備間視頻監(jiān)控及報(bào)警系統(tǒng)研究[J].自動化與儀器儀表，2023（4）：138-142.

[19]檀飛，江濤，付志鵬.人工智能視頻監(jiān)控技術(shù)在加油站安全管理中的應(yīng)用[J].石油庫與加油站，2022，31（3）：13-16.

[20]韋怡.基于半監(jiān)督學(xué)習(xí)和稀疏表示的質(zhì)譜儀運(yùn)行靈敏度故障檢測算法[J].粘接，2023，50（8）：142-145.