基于監(jiān)控視頻的人員異常行為識(shí)別系統(tǒng)研究

肖旭 廖鵬舉 段和幸 郭磊 秦崇文 鄺晶

摘要：本文研究的人員異常行為識(shí)別系統(tǒng)包括人員行為特征提取、行為分類兩個(gè)部分，系統(tǒng)的行為特征提取以表觀特征、時(shí)空特征以及光流變化為基礎(chǔ)，提取目標(biāo)的行為特征，并將其融合成更具表達(dá)能力的綜合特征，最后通過支持向量機(jī)將人員行為分類，判斷行為是否異常。采用這種方式構(gòu)建系統(tǒng)比卷積神經(jīng)網(wǎng)絡(luò)更加簡(jiǎn)單，適合特定場(chǎng)合的小概率異常行為識(shí)別。

關(guān)鍵詞：光流特征;特征提取;特征融合;行為分類

引言

人工智能得到了全世界科研人員的廣泛關(guān)注，應(yīng)用于人機(jī)交互、視頻檢索、視頻監(jiān)控等領(lǐng)域的計(jì)算機(jī)視覺技術(shù)也在不斷進(jìn)步[1，2]。人員異常行為識(shí)別系統(tǒng)在視頻監(jiān)控領(lǐng)域的應(yīng)用，使得用于監(jiān)視異常行為的人力資源大大減少。

人員異常行為識(shí)別系統(tǒng)的重點(diǎn)在于目標(biāo)的行為特征提取，常用的方法包括基于時(shí)空特征、光流法、目標(biāo)表觀特征等傳統(tǒng)算法，以及基于深度學(xué)習(xí)的三維卷積神經(jīng)網(wǎng)絡(luò)[3]。傳統(tǒng)算法與卷積神經(jīng)網(wǎng)絡(luò)相比較為簡(jiǎn)單，為增加目標(biāo)行為的識(shí)別率，一般需要將目標(biāo)的多個(gè)特征進(jìn)行融合，隨后分類，再根據(jù)人工設(shè)計(jì)判斷是否屬于異常行為，而卷積神經(jīng)網(wǎng)絡(luò)可以通過深度學(xué)習(xí)直接提取目標(biāo)的行為特征[4]，判斷是否屬于異常行為。而卷積神經(jīng)網(wǎng)絡(luò)提取目標(biāo)行為特征需要通過大量的數(shù)據(jù)進(jìn)行學(xué)習(xí)，對(duì)于特定場(chǎng)合的異常行為識(shí)別，采用傳統(tǒng)算法更為簡(jiǎn)單合適。

1.行為特征提取

目標(biāo)的行為特征從整體上可以分為全局特征和局部特征兩大類，全局特征是以目標(biāo)的整體作為特征提取對(duì)象，從目標(biāo)的輪廓、形狀或骨骼等方面獲取目標(biāo)的行為信息;而局部特征則以目標(biāo)的部分圖像為切入點(diǎn)，目標(biāo)的遮擋以及背景對(duì)目標(biāo)行為特征的提取影響不大。

從運(yùn)動(dòng)上可以將目標(biāo)的行為特征分為靜態(tài)特征、動(dòng)態(tài)特征以及時(shí)空特征三類，目標(biāo)的靜態(tài)特征包括目標(biāo)的形狀、輪廓、顏色、骨骼分布等信息;可用來表征全局特征的動(dòng)態(tài)特征指目標(biāo)的運(yùn)動(dòng)軌跡以及光流變化等信息;目標(biāo)的時(shí)空特征則具備了兩者的優(yōu)勢(shì)，包含了目標(biāo)的空間信息以及目標(biāo)在時(shí)間上的運(yùn)動(dòng)信息，是局部特征的一種。多個(gè)特征的融合使用能夠使傳統(tǒng)算法獲取更加準(zhǔn)確的目標(biāo)行為特征。

1.1 基于人體結(jié)構(gòu)的輪廓特征

人體輪廓是行人行為的重要特征之一，它會(huì)根據(jù)不同的時(shí)間，表示出周期性的變化，對(duì)行人行為描述具有較為明顯的代表性。一般可以通過偵差、輪廓剪影、目標(biāo)跟蹤、背景減圖等方式獲得目標(biāo)的輪廓特征。根據(jù)人體的輪廓信息，可以計(jì)算出人體的質(zhì)心，根據(jù)人體的質(zhì)心和輪廓變化，可以描述目標(biāo)的行為。具有和人體輪廓相似作用的，還有目標(biāo)的骨骼信息，但通過這類方法提取目標(biāo)的行為特征需要保證目標(biāo)在監(jiān)控視頻中的完整性。

1.2 基于目標(biāo)運(yùn)動(dòng)的光流特征

目標(biāo)在運(yùn)動(dòng)時(shí)會(huì)產(chǎn)生明顯的光流變化，根據(jù)目標(biāo)的光流變化可以生成目標(biāo)的運(yùn)動(dòng)軌跡。由于光流目標(biāo)進(jìn)行空間運(yùn)動(dòng)時(shí)投影在平面上的瞬時(shí)速度，能夠反映目標(biāo)的速度和方向等信息，是常用的底層運(yùn)動(dòng)特征。同時(shí)，復(fù)雜的背景和目標(biāo)自身的變化不會(huì)對(duì)光流的表現(xiàn)形式造成明顯的影響，但光照強(qiáng)度突然發(fā)生變化時(shí)會(huì)使提取的行為特征產(chǎn)生較大誤差，在以目標(biāo)的光流為基礎(chǔ)提取目標(biāo)行為特征時(shí)要確監(jiān)控視頻的圖像得到增強(qiáng)處理。

1.3基于時(shí)空特征的時(shí)空興趣點(diǎn)提取行為特征

時(shí)空興趣點(diǎn)的定義是視頻各幀在時(shí)間和空間上的變化都比較顯著的像素點(diǎn)，是一種提取目標(biāo)行為特征時(shí)常用的局部特征，提取時(shí)空興趣點(diǎn)能夠?qū)δ繕?biāo)行動(dòng)時(shí)比較突出的部位定位。常用的檢測(cè)方法有 Harris-3D 角點(diǎn)檢測(cè)、海森檢測(cè)方法和 Dollar 檢測(cè)法。時(shí)空興趣點(diǎn)適用于一些復(fù)雜背景下，不再過度依賴于背景，其中的關(guān)鍵因素是興趣點(diǎn)提取的數(shù)量和密集程度，在一般情況下，密集的時(shí)空興趣點(diǎn)效果要更好，但相應(yīng)的是時(shí)空復(fù)雜度較高。

2.行為特征融合

單一的特征不能很好的描述目標(biāo)行為，目標(biāo)的多種行為特征組合比單一的特征具有更好的表達(dá)能力，使系統(tǒng)在識(shí)別異常行為時(shí)能夠獲得更加準(zhǔn)確的結(jié)果。將目標(biāo)的全局特征和局部特征融合后的新特征，能夠?qū)⑷藛T的異常行為模式及其變化規(guī)律描述的更加準(zhǔn)確。特征融合最簡(jiǎn)單的方式是將用于表征特征的向量連接成更高維度的新向量，也可以將按不同方式處理后的圖像進(jìn)行更高層次的深度融合。

3.行為分類

提取的目標(biāo)特征在融合成更高層次的新特征后，要根據(jù)其特征對(duì)行為進(jìn)行識(shí)別判斷，需要采用適當(dāng)?shù)姆诸悪C(jī)制來對(duì)多個(gè)的特征進(jìn)行分類識(shí)別，為后面測(cè)試打下基礎(chǔ)。由于發(fā)生的異常行為多為小概率事件，所提取的運(yùn)動(dòng)目標(biāo)的特征信息可以認(rèn)為是小樣本數(shù)據(jù)，根據(jù)各種分類算法的優(yōu)缺點(diǎn)，使用支持向量機(jī)來建立特征分類器。

使用支持向量機(jī)對(duì)行為進(jìn)行分類是通過尋找最優(yōu)超平面對(duì)所提取的運(yùn)動(dòng)目標(biāo)的特征進(jìn)行分類。首先將對(duì)采集到的目標(biāo)樣本以及測(cè)試的數(shù)據(jù)進(jìn)行歸一化，選擇高斯函數(shù)作為核函數(shù)。為了得到上述參數(shù)，會(huì)使用交叉驗(yàn)證法對(duì)每個(gè)特征集合進(jìn)行測(cè)試，得到參數(shù)后對(duì)采集的數(shù)據(jù)樣本中的特征進(jìn)行訓(xùn)練從而得到分類器。

4.結(jié)語

在使用傳統(tǒng)算法提取目標(biāo)行為特征時(shí)，需要對(duì)采集的視頻圖像進(jìn)行增強(qiáng)處理，以減少系統(tǒng)的識(shí)別誤差。采用傳動(dòng)算法搭建的人員異常行為識(shí)別系統(tǒng)，異常行為特征都來源于人工設(shè)計(jì)，而不同的場(chǎng)所對(duì)異常行為的定義不同，系統(tǒng)在不同場(chǎng)合應(yīng)用時(shí)，需要對(duì)其中的異常行為設(shè)計(jì)進(jìn)行修改。相比卷積神經(jīng)網(wǎng)絡(luò)，這種方式在特定的場(chǎng)所具有更大的商業(yè)價(jià)值。

參考文獻(xiàn)

[1]陳超，齊峰.卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展及其在計(jì)算機(jī)視覺領(lǐng)域中的應(yīng)用綜述[J].計(jì)算機(jī)科學(xué)，2019，46（03）：63-73.

[2]羅會(huì)蘭，王嬋娟，盧飛.視頻行為識(shí)別綜述[J].通信學(xué)報(bào)，2018，39（06）：169-180.

[3]蓋勇剛.基于深度學(xué)習(xí)的人體行為識(shí)別技術(shù)[J].信息技術(shù)與信息化，2021（05）：143-144.

[4]李永，梁起明，楊凱凱，郭少哲，張友善.基于深度學(xué)習(xí)的人體行為識(shí)別檢測(cè)綜述[J].科學(xué)技術(shù)與工程，2021，21（20）：8310-8320.

基金項(xiàng)目：湖南省大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃：基于JetsonTX2平臺(tái)的人員異常行為識(shí)別系統(tǒng)研究與開發(fā)（S201911077008）;多功能水域垃圾智能清理裝置（B20170201209）。