基于深度學(xué)習(xí)與稀疏光流的人群異常行為識別

羅凡波,王 平,梁思源,徐桂菲,王 偉

(西華大學(xué) 電氣與電子信息學(xué)院,成都 610039)

0 概述

目前,國內(nèi)外學(xué)者在人群異常行為檢測方面做了許多研究工作,其大致可分為基于低級視覺物征和基于粒子流兩個方面[1]。基于低級視覺特征提取的方法先使用計算機(jī)視覺領(lǐng)域的技術(shù)提取人群圖像的低級特征,再利用分類器進(jìn)行異常檢測[2]。文獻(xiàn)[3]提出基于全局光流法獲取方向直方圖,通過直方圖來表現(xiàn)人群異常,文獻(xiàn)[4]提出使用Lucas-Kanande光流法計算人群速度與運(yùn)動方向特征,通過SVM進(jìn)行訓(xùn)練分類判斷異常行為;也有學(xué)者使用基于光流和灰度值的協(xié)方差矩陣進(jìn)行異常行為檢測[5]。基于低級視覺進(jìn)行的特征提取能從數(shù)據(jù)上直觀反映人群的運(yùn)動狀態(tài),但是所提取的運(yùn)動信息單一,提取特征的過程耗時較多,使得實(shí)時性與準(zhǔn)確性不高,傳統(tǒng)的支持向量機(jī)同樣具有訓(xùn)練效率低、耗時、數(shù)據(jù)處理能力有限等問題[6]。基于粒子流方法分析人群行為,假定人受長期外作用力進(jìn)行運(yùn)動,再計算相互作用力,設(shè)定閾值來檢測類似人群異常,其中的典型代表是社會力模型(SFM)[7],文獻(xiàn)[8]提出融合顯著性信息和社會力模型獲得相互作用力直方圖進(jìn)行異常判斷。但社會力模型建立較復(fù)雜,計算量較大,對監(jiān)控實(shí)時性要求無法滿足。

近年來,深度學(xué)習(xí)的快速發(fā)展使機(jī)器學(xué)習(xí)取得了長足進(jìn)步,具有代表性的模型有卷積神經(jīng)網(wǎng)絡(luò)(CNN)與YOLO;CNN與YOLO在圖像檢測與識別領(lǐng)域已經(jīng)取得了明顯的效果。文獻(xiàn)[9]利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行車牌圖像超分辨率識別;文獻(xiàn)[10]使用選擇性數(shù)據(jù)采樣快速卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練,進(jìn)行彩色眼底圖像出血檢測;文獻(xiàn)[11]提出基于YOLO網(wǎng)絡(luò)的行人檢測方法;文獻(xiàn)[12]提出基于YOLO模型的車輛實(shí)時檢測。

現(xiàn)有的人群異常檢測方法多數(shù)是檢測人群突然奔跑的大規(guī)模異常,但未考慮引起這種群體異常的誘因。為此,本文提出一種基于YOLO_v3與稀疏光流的人群異常行為識別與定位方法。將監(jiān)控圖像劃分為多個子圖像,以便于異常定位,對引起群體異常的誘因進(jìn)行檢測,通過改進(jìn)YOLO_v3神經(jīng)網(wǎng)絡(luò)搭建適用于檢測此類異常的模型。針對突散異常,使用稀疏光流法獲取人群平均動能以及人群運(yùn)動方向熵,將得到的特征數(shù)據(jù)輸入PSO-ELM進(jìn)行分類,區(qū)分正常行為與突散異常行為。

1 基于YOLO_v3的誘因檢測模型

本文人群異常行為檢測流程如圖1所示。在YOLO之前的物體檢測方法主要是通過候選區(qū)域產(chǎn)生的大量可能包含待檢測物體的potentialboundingbox,接著使用分類器去判斷每個potentialboundingbox是否包含物體,以及物體所屬類別的probability或confidence。YOLO不同于這些網(wǎng)絡(luò)的方法,它將物體檢測當(dāng)做一個回歸問題來處理,使用一個神經(jīng)網(wǎng)絡(luò),將整張圖作為網(wǎng)絡(luò)的輸入,直接在輸出層回歸boundingbox的位置和boundingbox所屬的類別。YOLO作為當(dāng)前最優(yōu)秀的目標(biāo)檢測網(wǎng)絡(luò)之一,其實(shí)時處理圖像速度可達(dá)到45 frame/s。

圖1 異常檢測流程Fig.1 Anomaly detection procedure

1.1 YOLO_v3網(wǎng)絡(luò)

YOLO_v3[13]將輸入圖像劃分為S×S的柵格,每個柵格負(fù)責(zé)落在該柵格中的物體。每一個柵格預(yù)測B個boundingbox及其置信分?jǐn)?shù)(confidencescore),置信分?jǐn)?shù)反映了模型對于這個柵格的預(yù)測,即該柵格是否含有物體以及這個box預(yù)測的準(zhǔn)確性。confidence定義如下:

(1)

(2)

在預(yù)測時,每個候選框的分類置信分?jǐn)?shù)為預(yù)測目標(biāo)的類別概率和boundingbox預(yù)測的confidence相乘,即:

(3)

得到每個分類置信分?jǐn)?shù)之后,設(shè)置閾值將得分低的boxes篩除掉,即得到最終的檢測結(jié)果。

YOLO_v3的boundingbox的坐標(biāo)預(yù)測方式延續(xù)了YOLO_v2的做法,坐標(biāo)的損失采用的是平方誤差損失。其類別預(yù)測方面主要是將原來的單標(biāo)簽分類改為多標(biāo)簽分類,因此網(wǎng)絡(luò)結(jié)構(gòu)上就將原來用于單標(biāo)簽多分類的softmax層換成用于多標(biāo)簽多分類的邏輯回歸層。

YOLO_v3采用多個scale融合的方式預(yù)測,在多個scale的feature map上進(jìn)行檢測,對于小目標(biāo)的檢測效果提升比較明顯。

YOLO_v3的boundingbox初始尺寸采用YOLO_v2中的k-means聚類方式,這種先驗(yàn)知識對于boundingbox的初始化有較多優(yōu)點(diǎn),對算法的速度有一定提高。

YOLO_v3的網(wǎng)絡(luò)結(jié)構(gòu)是darknet-53,一方面基本采用全卷積,另一方面引入了residual結(jié)構(gòu),得益于此結(jié)構(gòu),訓(xùn)練網(wǎng)絡(luò)難度大大減小,因此YOLO_v3將網(wǎng)絡(luò)進(jìn)行到53層,精度提升較為明顯。

1.2 基于YOLO_v3小團(tuán)體異常檢測框架

基于YOLO_v3的小團(tuán)體異常行為檢測網(wǎng)絡(luò)框架如圖2所示。首先將數(shù)據(jù)集中訓(xùn)練集圖片調(diào)整為416×416×3的標(biāo)準(zhǔn)jpg圖片,將darknet-53中53個卷積層和21個池化層作為YOLO_v3進(jìn)行行人行為特征提取的主要網(wǎng)絡(luò)結(jié)構(gòu),75層到105層作為網(wǎng)絡(luò)的特征交互層,輸出featuremap,在此進(jìn)行行人異常種類分類和位置回歸。YOLO_v3行人異常行為檢測的基本流程如下:

1)將待檢測圖像輸入檢測模型,得到13像素×13像素×30像素行為特征點(diǎn)的特征圖。

2)13像素×13像素一共形成169個網(wǎng)格,每個網(wǎng)格預(yù)測6個邊框,每個邊框共有6類信息,其中1維圖像類別信息(持械與否、面部遮擋與否),1維邊框置信度和4維坐標(biāo)信息,獲得1個36維向量,即為最后得到的36個通道。

3)將前面預(yù)測到的13×13×6個目標(biāo)邊框,先通過預(yù)先設(shè)定的閾值去除掉小概率的目標(biāo)邊框,再使用非極大值抑制去除多余的預(yù)測邊框。該步驟預(yù)測邊框的選取主要通過式(1)～式(3)來進(jìn)行計算,并獲得最優(yōu)的預(yù)測邊框。

從整個行人異常行為的檢測過程中可以看出,本文使用的YOLO_v3行人異常行為檢測框架不再需要通過候選區(qū)域?qū)ふ抑付ǖ哪繕?biāo),而是直接使用回歸思想來進(jìn)行位置確定與異常行為類別的判斷。也正是這一原因,使得其檢測速度獲得了極大提高,能滿足當(dāng)前監(jiān)控系統(tǒng)的實(shí)時性要求。

圖2 YOLO_v3異常行為檢測框架Fig.2 YOLO_v3 abnormal behavior detection framework

2 訓(xùn)練階段

在訓(xùn)練階段,由于電腦顯卡內(nèi)存與電腦內(nèi)存都較小,因此采用小批量隨機(jī)梯度下降法,每64個樣本更新一次權(quán)重參數(shù)。為防止訓(xùn)練過程中產(chǎn)生數(shù)據(jù)量過大,內(nèi)存不足,經(jīng)多次實(shí)驗(yàn)后得到每個batch=64,subdivision=16,即每次訓(xùn)練4張圖片,總共迭代次數(shù)為20 000次。

2.1 YOLO_v3異常檢測模型的訓(xùn)練參數(shù)

為使本文YOLO_v3檢測網(wǎng)絡(luò)對不同尺寸的圖像始終有較好的適應(yīng)性,在訓(xùn)練方法上使用多圖像尺寸進(jìn)行訓(xùn)練,在訓(xùn)練中每隔5輪隨機(jī)抽取新的圖像尺寸送入網(wǎng)絡(luò)進(jìn)行訓(xùn)練,使得該網(wǎng)絡(luò)對不同分辨率的人群圖像具有較好的適應(yīng)性,能維持一個較高水平的檢測準(zhǔn)確率。本文訓(xùn)練類別為五類,分別為行人(person)、持棍(club)、面部遮擋(shelter)、持槍(gun)、持刀(knife)等5個類別,訓(xùn)練參數(shù)設(shè)置如表1所示。

表1 訓(xùn)練參數(shù)設(shè)置Table 1 Training parameter settings

2.2 數(shù)據(jù)擴(kuò)充

在大多數(shù)情況下人群行為都是正常的,異常行為較少發(fā)生,且發(fā)生時間較短,故異常行為的訓(xùn)練數(shù)據(jù)較少,但對于深度神經(jīng)網(wǎng)絡(luò)來說需要大量的訓(xùn)練數(shù)據(jù)支持,在現(xiàn)有的公開數(shù)據(jù)集中,異常行為的樣本數(shù)據(jù)較少,所以需要使用數(shù)據(jù)擴(kuò)充方法來增加異常行為的數(shù)據(jù)量。

圖像的二維特征[14],如亮度、對比度、噪聲等對于人群的行為是沒有影響的,因此針對本文訓(xùn)練數(shù)據(jù)不足的問題,通過增加亮度、降低亮度、提高對比度、降低對比度、添加椒鹽噪聲、添加高斯噪聲等手段,對訓(xùn)練樣本進(jìn)行數(shù)據(jù)擴(kuò)充,使目前異常行為的數(shù)據(jù)量變?yōu)樵瓉淼臄?shù)倍。利用上述手段改變每一幀圖像信息,既增加了樣本多樣性,也保留了原圖像中行人的行為特征,減小了正常樣本與異常樣本的數(shù)量差異。

3 改進(jìn)的稀疏光流法

本文通過改進(jìn)的稀疏光流法獲取光流信息,得到速度大小、加速度大小、運(yùn)動方向等特征值,進(jìn)而計算人群平均動能與人群運(yùn)動方向熵。

3.1 稀疏光流原理

光流法[15]的使用要具備一定的條件,一是在監(jiān)控視頻中,相鄰幀之間的亮度保持一致,二是前景運(yùn)動速度相較幀速率不能過快,三是相鄰點(diǎn)某一鄰域內(nèi)所有像素點(diǎn)的速度相等,即:

F(x,y,t)=F(x+Δx,y+Δy,t+Δt)

(4)

由泰勒函數(shù)展開F(x,y,t)得到:

fxu+fyv+ft=0

(5)

對于v的估計,在鄰域Ω內(nèi)求取加權(quán)平方和最小化得到:

(6)

其中,W(x)是一種權(quán)重函數(shù),該函數(shù)使Ω鄰域中心像素點(diǎn)的加權(quán)比周圍的像素點(diǎn)大,本文權(quán)重函數(shù)使用平滑高斯核函數(shù)。

根據(jù)L-K的使用條件,定義Ec為光流約束因子,Es為平滑約束因子:

(7)

(8)

求解的目標(biāo)光流即是使式(7)和式(8)中因子最小,即目標(biāo)函數(shù)E最小化:

(9)

其中,λ是Es、Ec的相對權(quán)重,其與噪聲強(qiáng)度有關(guān),本文選取一個適中值λ=0.5,設(shè):

w=(u,v,1)T

JP(3p)=W(x)·(3p·3pT)

(10)

其中,w表示在t時刻像素(x,y)處的速度梯度,3p表示強(qiáng)度梯度。

故式(6)可轉(zhuǎn)化為:

Emin=wT·Jp(3p)·w

(11)

得出改進(jìn)光流模型:

(12)

接下來可求出:

(13)

θ=arctan(vy/vx)

(14)

3.2 動能與方向熵計算

平均動能定義如下:

(15)

其中,N表示在一幀圖像中所有的運(yùn)動矢量,即特征點(diǎn)個數(shù),mi表示質(zhì)量權(quán)重,為方便計算,設(shè)定每個個體質(zhì)量權(quán)重都為1,vi表示運(yùn)動矢量的速度大小。

運(yùn)動方向熵的計算如下:

1)運(yùn)動方向角度:

Di=arctan(y/x)+π

(16)

將運(yùn)動方向在[0,2π]上劃分為8個運(yùn)動區(qū)間方向,每間隔π/4作為一個運(yùn)動區(qū)間,定義方向直方圖:

hi={ki;0

(17)

其中,ki表示每一幀第i區(qū)間所包含的運(yùn)動矢量數(shù)目。

2)概率分布計算:

Pi=h(i)/N;0

(18)

3)方向熵計算:

(19)

由于行人特征點(diǎn)較多,為降低運(yùn)算復(fù)雜度,本文采用等距采樣法進(jìn)行特征點(diǎn)的選取,在計算過程中不用逐幀進(jìn)行計算,本文借鑒幀差法思想,使用間隔5 frame計算一次,實(shí)驗(yàn)結(jié)果證明,該方法提高了運(yùn)行速度,且也不會對異常分類造成影響。

4 粒子群優(yōu)化極限學(xué)習(xí)機(jī)算法

極限學(xué)習(xí)機(jī)(ELM)是由文獻(xiàn)[16]提出的求解單隱層神經(jīng)網(wǎng)絡(luò)的算法。ELM最顯著的優(yōu)點(diǎn)是求解單隱層前饋神經(jīng)網(wǎng)絡(luò)時,在保證學(xué)習(xí)精度的前提下其學(xué)習(xí)速度比傳統(tǒng)方法快得多;在算法中,輸入層與隱含層的連接權(quán)值與隱含層神經(jīng)元閾值使用rand函數(shù)生成,訓(xùn)練過程中無需人為手動調(diào)整,只需進(jìn)行隱含層神經(jīng)元個數(shù)設(shè)置就能獲得唯一最優(yōu)解。本文針對兩組測試數(shù)據(jù),選取的隱含層神經(jīng)元個數(shù)分別為315個和305個。為能更好更快地找到最優(yōu)的連接權(quán)值與神經(jīng)元閾值,使用粒子群優(yōu)化算法(PSO)進(jìn)行參數(shù)尋優(yōu)。

4.1 PSO-ELM算法

粒子群算法[17]思想來源于鳥群的捕食行為,鳥群中的個體用無質(zhì)量的粒子模擬,粒子具有速度V和位置X兩個屬性,速度代表搜索參數(shù)的快慢,位置代表搜索參數(shù)移動的方向。粒子在規(guī)定的區(qū)間內(nèi)單獨(dú)進(jìn)行最優(yōu)解搜尋,并將獲得的最優(yōu)解記為當(dāng)前個體極值Pbest,并將其分享給其他粒子,找到最優(yōu)個體極值作為當(dāng)前整個粒子群體全局最優(yōu)解Gbest;將所有粒子與全局最優(yōu)解進(jìn)行比較,進(jìn)而調(diào)整自己的V和X。使用PSO優(yōu)化ELM[19]后能得到更好的分類效果。本文使用的速度V的初始化范圍為(-1,1);位置X的初始化范圍為(-1,1);粒子群個數(shù)N為100。對于PSO-ELM通過下面步驟訓(xùn)練測試。

1)訓(xùn)練集:給定Q個不同樣本(xi,ti)。其中,xi=[xi1,xi2,…,xin]T,ti=[ti1]。xi為上述特征組合;ti為一個標(biāo)簽,表示目標(biāo)屬于哪一類人群,即正常或異常。

3)將提取的測試集特征送入訓(xùn)練好的模型中,實(shí)現(xiàn)突散異常檢測。

4.2 算法步驟

算法步驟如下:

1)針對兩組測試集,本文隱含層神經(jīng)元個數(shù)設(shè)置為315個和305個,對ELM分類器使用PSO進(jìn)行連接權(quán)值與神經(jīng)元閾值尋優(yōu)。

2)本文激活函數(shù)選取S函數(shù),計算隱含層輸出矩陣H。

相關(guān)實(shí)驗(yàn)結(jié)果表明[18],在激活函數(shù)選取中,不僅可使用非線性激活函數(shù)分類非線性樣本,還可用線性激活函數(shù)分類非線性樣本,能夠獲得較好的效果。根據(jù)多次實(shí)驗(yàn),本文使用S型函數(shù)作為激活函數(shù)能獲得較好的分類效果,隱含層神經(jīng)元個數(shù)根據(jù)樣本集的變化而做出改變,能獲得較好的分類精度。

5 實(shí)驗(yàn)結(jié)果與分析

本文監(jiān)控系統(tǒng)是在普通PC機(jī)(CPU為8700K,3.70 GHz,8.00 GB內(nèi)存,顯卡為GTX1080,8 GB)上搭建,YOLO_v3部分在Windows CMD環(huán)境下進(jìn)行訓(xùn)練與測試,對稀疏光流與PSO-ELM部分是在MATLAB2014a編程環(huán)境下完成的;在數(shù)據(jù)集方面對持械異常使用INRIA,UCF101進(jìn)行可行性實(shí)驗(yàn),然后在拍攝的視頻數(shù)據(jù)集中仿真,對突散異常使用UMN的數(shù)據(jù)集。在實(shí)驗(yàn)前先將視頻分為多個子區(qū)域進(jìn)行測試,方便對異常進(jìn)行定位。

5.1 YOLO_v3異常行為檢測模型仿真結(jié)果

YOLO_v3檢測模型仿真結(jié)果如圖3所示,從圖中可以看出,通過本文的人群異常檢測模型能很準(zhǔn)確檢測出人群中持棍斗毆傷人異常、面部遮擋異常、持槍異常、持刀斗毆傷人異常。這幾類異常是傳統(tǒng)異常檢測模型無法準(zhǔn)確檢測到的,傳統(tǒng)模型大多只能檢測單一的人群突然奔跑異常,且一旦監(jiān)控場景改變,對檢測結(jié)果具有較大影響,造成極高的漏檢率,本文的模型對各個監(jiān)控場景都具有很強(qiáng)的魯棒性,能很好地適用于多監(jiān)控環(huán)境。本文模型的實(shí)時性完全能滿足社會生活監(jiān)控的需要,在硬件設(shè)備達(dá)到要求時,能實(shí)時處理45 frame/s,隨著時間的推移,還會進(jìn)一步上升。

圖3 異常檢測效果Fig.3 Effect of anomaly detection

本文仿真每輪迭代從處理后的訓(xùn)練集中隨機(jī)抽batch=64個樣本進(jìn)行訓(xùn)練,由于本次實(shí)驗(yàn)采用的顯卡為8 GB顯存,為了減輕內(nèi)存占用壓力,每輪的64個樣本又被均分為subdivision=16次送入網(wǎng)絡(luò)參與訓(xùn)練。最終經(jīng)過20 000次的迭代,損失值最后保持在0.078 4左右,平均交并比達(dá)到85%左右,如圖4所示。

圖4 訓(xùn)練20 000次的loss值變化示意圖Fig.4 Loss value change diagram of 20 000 training times

5.2 MATLAB仿真結(jié)果

對UMN數(shù)據(jù)集進(jìn)行無規(guī)則突散分析,視頻共323 frame,隱含層神經(jīng)元個數(shù)為315個,分類結(jié)果顯示從193 frame開始,群體由無規(guī)則行走變?yōu)闊o規(guī)則突散,仿真結(jié)果如圖5所示。

圖5 無規(guī)則突散仿真效果Fig.5 Simulation effect of irregular spur

在突散異常發(fā)生之前,人群為正常行走,如圖5(a)所示,其平均動能都較小,但到190多幀時,人群平均動能突然增大,然后到260多幀急劇下降。如圖5(b)所示,說明在190多幀時發(fā)生了突散奔跑異常,隨著人群不斷跑出監(jiān)控區(qū)域,人群動能不斷下降,直到所有人都走出監(jiān)控區(qū)域,動能變?yōu)?;對于運(yùn)動方向,如圖5(c)所示,由于異常發(fā)生之前人群就在無規(guī)則行走,異常發(fā)生后也是無規(guī)則突散,因此異常前后人群運(yùn)動方向熵變化不明顯,直到所有人走出監(jiān)控區(qū)域,方向熵降為0。

對于UMN數(shù)據(jù)集進(jìn)行同方向突散分析,視頻共338 frame,設(shè)置隱含層神經(jīng)元個數(shù)為305,分類結(jié)果顯示在270 frame左右發(fā)生同向突散異常,仿真結(jié)果如圖6所示。

圖6 同向突散仿真效果Fig.6 Simulating effect of co-directional spur

在突散異常發(fā)生之前,人群正常無規(guī)則行走,如圖6(a)所示,其平均動能有一些波動是因?yàn)槿巳赫趽跻鸬?檢測出的人數(shù)變化對其有一定影響,但到270 frame左右時,人群平均動能突然增大,然后到290 frame左右急劇下降,如6(b)所示,說明在270多幀時發(fā)生了突散奔跑異常,隨著人群不斷跑出監(jiān)控區(qū)域,人群動能不斷下降,直到所有人都走出監(jiān)控區(qū)域,動能變?yōu)?;對于運(yùn)動方向,如圖6(c)所示,由于異常發(fā)生之前人群就在無規(guī)則行走,異常發(fā)生后發(fā)生的是同方向突散,因此異常前后人群運(yùn)動方向熵變化較為明顯,直到所有人走出監(jiān)控區(qū)域,方向熵急劇下降,但后面有回升是因?yàn)楸O(jiān)控區(qū)域又有人進(jìn)入。

PSO-ELM分類結(jié)果如圖7所示,其與傳統(tǒng)異常行為檢測方法準(zhǔn)確率比較見表2。其中,圖7(a)對應(yīng)315個隱藏層神經(jīng)元,圖7(b)對應(yīng)305個隱藏層神經(jīng)元。

圖7 PSO-ELM分類效果Fig.7 PSO-ELM classification effect

表2 PSO-ELM突散異常分類準(zhǔn)確率Table 2 Classification accuracy rate of PSO-ELM spuranomalies

6 結(jié)束語

本文提出一種基于YOLO_v3與稀疏光流的人群異常行為識別與定位方法。首先將監(jiān)控圖像劃分為多個子圖像,以便于異常定位,然后對引起群體異常的誘因進(jìn)行檢測,并針對訓(xùn)練數(shù)據(jù)不足的問題,采用數(shù)據(jù)擴(kuò)充的方法增加訓(xùn)練數(shù)據(jù)。使用稀疏光流法獲取人群平均動能與人群運(yùn)動方向熵,將得到的特征數(shù)據(jù)送入PSO-ELM進(jìn)行分類,區(qū)分正常行為與突散異常行為。實(shí)驗(yàn)結(jié)果表明,本文方法能夠?yàn)閼?yīng)對人群異常采取相應(yīng)應(yīng)急措施提供更多時間,可有效檢測持械異常與面部遮擋異常,并且能準(zhǔn)確定位異常區(qū)域,具有較高的檢測準(zhǔn)確率。下一步研究將增加一些異常種類[19],將突散異常檢測功能整合到Y(jié)OLO_v3異常檢測模型中,使修改后的網(wǎng)絡(luò)能較好地檢測突散等異常行為。