融合時(shí)序相關(guān)性的課堂異常行為識(shí)別①

王明芬,盧 宇

(福建師范大學(xué)協(xié)和學(xué)院 信息技術(shù)系,福州 350117)

隨著計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展以及各類視頻攝像終端的普及,研究表明人工對(duì)海量視頻信息的處理具有容易疲勞和自動(dòng)忽略的缺點(diǎn).人工智能領(lǐng)域的一個(gè)重要研究熱點(diǎn)是目標(biāo)行為識(shí)別,要求系統(tǒng)智能檢測(cè)和識(shí)別出感興趣的目標(biāo),減輕人工的工作量[1].近年來(lái)在智能監(jiān)控報(bào)警安防等方面,深度學(xué)習(xí)已有諸多成功的應(yīng)用.深度置信神經(jīng)網(wǎng)絡(luò)模型(DBN)是一個(gè)概率生成模型,由 Hinton 等提出[2],該模型建立一個(gè)觀察數(shù)據(jù)和標(biāo)簽之間的聯(lián)合分布,通過(guò)無(wú)監(jiān)督預(yù)訓(xùn)練和有監(jiān)督調(diào)優(yōu)訓(xùn)練達(dá)到理想的網(wǎng)絡(luò)模型.傳統(tǒng)的深度學(xué)習(xí)不對(duì)特征進(jìn)行提取方法的設(shè)計(jì),直接利用圖像信息進(jìn)行訓(xùn)練得到目標(biāo)表示法[3].但是圖像具有豐富的特征可以用來(lái)描述關(guān)鍵信息,這些特征的訓(xùn)練在系統(tǒng)識(shí)別中會(huì)發(fā)揮重要的作用,因?yàn)樘卣鞯暮脡闹苯訒?huì)影響到最終的識(shí)別效果[4].在視頻中時(shí)序的相關(guān)性是個(gè)不可忽視的信息特征,利用時(shí)間上下文信息能為系統(tǒng)識(shí)別帶來(lái)增益[5].因此本文提出了將提取的HOG 特征作為輸入,通過(guò)深度置信網(wǎng)絡(luò)訓(xùn)練得到更高層的抽象特征,利用訓(xùn)練好的DBN 網(wǎng)絡(luò)識(shí)別人體區(qū)域,最后利用區(qū)域的質(zhì)心的時(shí)序相關(guān)性特征判斷課堂異常行為.通過(guò)實(shí)驗(yàn)數(shù)據(jù)驗(yàn)證了課堂行為識(shí)別算法的有效性,實(shí)驗(yàn)結(jié)果表明在訓(xùn)練數(shù)據(jù)比較少的情況下,也能獲得較好的識(shí)別效果.

1 特征描述

梯度特征可以很好地描述局部目標(biāo)的形狀邊緣,梯度方向直方圖被用來(lái)描述HOG 特征,能夠有效地對(duì)形狀特征檢測(cè),主要用于解決人體目標(biāo)檢測(cè)[6].

1.1 HOG 特征算法

HOG 采用了統(tǒng)計(jì)的方式進(jìn)行提取.首先將圖像顏色空間歸一化,然后計(jì)算梯度,接著將圖像分成小的Cell,然為每個(gè)Cell 中各像素點(diǎn)的梯度方向直方圖,最后把每個(gè)Block(掃描窗口)的特征進(jìn)行聯(lián)合以形成最終的特征[6].具體計(jì)算流程圖如圖1 所示.

圖1 HOG 特征提取流程圖

HOG 先計(jì)算各個(gè)單元灰度直方圖,然后進(jìn)行歸一化處理,降低對(duì)光照和陰影的敏感性[7].因此其在人體檢測(cè)方面有著有獨(dú)特較多優(yōu)點(diǎn),適用于做圖像及視頻中的人體檢測(cè)特征.

1.2 特征提取

HOG 特征最小單位是Cell,計(jì)算塊區(qū)域Block 和檢測(cè)窗口的計(jì)算步長(zhǎng)就是一個(gè)Cell 的寬度,因此先把整個(gè)圖像分割為多個(gè)的Cell 單元格[8],按特征算法結(jié)果共有128 個(gè)單元格.

實(shí)驗(yàn)中我們把梯度圖通過(guò)分解提取變?yōu)闄C(jī)器容易理解的特征向量.將Cell 的梯度方向360 度分成9 個(gè)方向塊得到特征,每個(gè)塊包含4 個(gè)Cell,一個(gè)檢測(cè)窗口特征向量是36.一個(gè)64×128 大小的圖像計(jì)算后,它的特征數(shù)為36×7×15=3780 個(gè).可視化的HOG 特征提取顯示如圖2 所示.

圖2 可視化特征提取

1.3 幾何特征

上文的HOG 特征是基于形狀邊緣梯度的特征,在此基礎(chǔ)上別出來(lái)的目標(biāo)很容易用幾何特征來(lái)進(jìn)一步識(shí)別行為動(dòng)作.本文選取質(zhì)心的變化加速度來(lái)判斷課堂的異常行為.

目標(biāo)區(qū)域在坐標(biāo)系軸上進(jìn)行投影,接著進(jìn)行區(qū)域掃描那么目標(biāo)區(qū)域就可以用P1 和P2 描述,記作R[P1,P2],用外接矩形框表示目標(biāo)區(qū)域如圖3 所示.

圖3 中,P1 坐標(biāo)為(xmin,ymin),P2 坐標(biāo)為(xmax,ymax),該目標(biāo)區(qū)域記作M,則其質(zhì)心可以表示成:

式中,H(x,y)表示人的目標(biāo)區(qū)域在(x,y)位置的像素點(diǎn)灰度值信息.

圖3 目標(biāo)矩形區(qū)域

1.4 時(shí)序相關(guān)性特征

在視頻中,時(shí)序特征能夠很好地表示目標(biāo)的運(yùn)動(dòng)趨勢(shì).本文從視頻序列的幾何特征中計(jì)算目標(biāo)質(zhì)心的位移和時(shí)間,然后計(jì)算前后K幀間隔的質(zhì)心加速度,把質(zhì)心加速度變化設(shè)置為時(shí)序相關(guān)性特征.

假設(shè)第N幀的質(zhì)心是(xn,yn),第M幀的質(zhì)心是(xm,ym),計(jì)算出質(zhì)心在x,y兩個(gè)方向上的位移S1:

第N幀與第M幀的時(shí)間差是t,就可以得到質(zhì)心的位移速度V1=S1/t.

同理可以得到第M幀與第L幀之間的質(zhì)心速度V2=S2/t.即可以求出質(zhì)心加速度:

當(dāng)目標(biāo)的質(zhì)心加速度突然加快,說(shuō)明目標(biāo)在短時(shí)間內(nèi)位置發(fā)生了變化.當(dāng)這個(gè)加速度超過(guò)設(shè)置的閾值,z則判定為課堂異常行為,觸發(fā)警報(bào)信息.

2 深度置信網(wǎng)絡(luò)

深度置信網(wǎng)絡(luò)是由多個(gè)限制玻爾茲曼機(jī)堆疊以及一個(gè)BP 層組合而成的深度置信網(wǎng)絡(luò).在深度置信網(wǎng)絡(luò)中,每個(gè)隱含層接收來(lái)自低層的神經(jīng)元的輸入,通過(guò)層與層之間非線性關(guān)系,將低層特征組合成高層的信息表示,并建立觀測(cè)數(shù)據(jù)的分布式式特征.它貪婪的前向?qū)W習(xí)[9],通過(guò)逐層學(xué)習(xí)可以逐步收斂.并結(jié)合梯度下降[10]的反向微調(diào)機(jī)制,可以得到更高的收斂精度,從而達(dá)到最佳的模型訓(xùn)練.根據(jù)學(xué)習(xí)到的網(wǎng)絡(luò)結(jié)構(gòu),系統(tǒng)將輸入的樣本數(shù)據(jù)映射到輸出特征,然后采用 Softmax 分類器識(shí)別.

2.1 限制玻爾茲曼機(jī)

對(duì)每層波爾茲曼機(jī)(RBM)進(jìn)行訓(xùn)練是一個(gè)深層置信網(wǎng)絡(luò)的開(kāi)始.訓(xùn)練 RBM 的過(guò)程簡(jiǎn)單來(lái)說(shuō)就是尋找可視層節(jié)點(diǎn)和隱藏層節(jié)點(diǎn)之間連接的最優(yōu)權(quán)值參數(shù).RBM 由一層可視層v和一層隱藏層h組成.該網(wǎng)絡(luò)的可視層v和隱藏層h神經(jīng)元彼此雙向互聯(lián),但同一層內(nèi)神經(jīng)元無(wú)連接.RBM 中神經(jīng)元有兩種狀態(tài),“激活”和“未激活”,一般用二進(jìn)制的1 和0 表示[11].每一層可用一個(gè)向量表示,向量的維數(shù)由每層神經(jīng)元的個(gè)數(shù)決定,每一個(gè)神經(jīng)元代表數(shù)據(jù)向量的一維,具體結(jié)構(gòu)圖如圖4 所示.

圖4 RBM 結(jié)構(gòu)圖

RBM 是的可視層神經(jīng)元向量v和隱藏層神經(jīng)元向量h聯(lián)合配置的函數(shù)為:

式中,θ =(wij,ai,bj)為 RBM 的參數(shù),ai為可視層單元 的偏置值,bj為隱含層單元的偏置值,wij為可視層與隱含層之間的連接權(quán)重,n和m分別為可視層與隱含層的神經(jīng)元數(shù)目.由能量函數(shù)可以得到可視層與隱含層的聯(lián)合概率分布為:

在給定隱含層h的前提下,求得其可視層第i個(gè)節(jié)點(diǎn)激活概率為:

RBM 采用極大對(duì)數(shù)似然函數(shù)迭代方法訓(xùn)練出可以擬合目標(biāo)的參數(shù)θ.然后以經(jīng)典的對(duì)比散度算法更新權(quán)值,可以得到優(yōu)的參數(shù)θ.逐層訓(xùn)練完成的 RBM 可以從高維數(shù)據(jù)中提取出更有表征意義的特征[12].

2.2 訓(xùn)練 DBN 網(wǎng)絡(luò)

自底向上的逐層學(xué)習(xí),通過(guò)底層特征訓(xùn)練得到高層特征是DBN 模型的訓(xùn)練學(xué)習(xí)方式[13],在頂層設(shè)計(jì)一個(gè)BP 網(wǎng)絡(luò),根據(jù)識(shí)別的誤差進(jìn)行網(wǎng)絡(luò)參數(shù)的反向微調(diào).

首先是預(yù)訓(xùn)練,用貪婪學(xué)習(xí)算法訓(xùn)練波爾茲曼機(jī),一次一個(gè)直到所有的波爾茲曼機(jī)都被訓(xùn)練完成為止.低層的隱含層的輸出將作為高層可視層的輸入,經(jīng)過(guò)不斷調(diào)整網(wǎng)絡(luò)權(quán)值,網(wǎng)絡(luò)狀態(tài)達(dá)到和諧.經(jīng)過(guò)訓(xùn)練之后得到DBN 的初始參數(shù) θ=(wij,ai,bj).通過(guò)BP 網(wǎng)絡(luò)梯度下降算法實(shí)現(xiàn)反向微調(diào),將誤差自頂向下地反向傳播到每一層,通過(guò)梯度下降算法對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行微調(diào),整個(gè)網(wǎng)絡(luò)的參數(shù)達(dá)到理想.如圖5 所示.

圖5 DBN 訓(xùn)練流程

從一層神經(jīng)網(wǎng)絡(luò)開(kāi)始訓(xùn)練一個(gè)網(wǎng)絡(luò)的方法是可行的,且可以節(jié)約網(wǎng)絡(luò)資源避免過(guò)度計(jì)算.在第一個(gè)隱藏層和標(biāo)簽輸出層之間插入第二個(gè)隱藏層,然后對(duì)整個(gè)網(wǎng)絡(luò)通過(guò)BP 網(wǎng)絡(luò)反向調(diào)整網(wǎng)絡(luò)的權(quán)值.以此類推,一層層地設(shè)計(jì)網(wǎng)絡(luò)的層數(shù),這種判別式預(yù)訓(xùn)練在能夠取得很好的效果.

3 系統(tǒng)設(shè)置

對(duì)于深度學(xué)習(xí)的網(wǎng)絡(luò)模型,訓(xùn)練迭代次數(shù)、網(wǎng)絡(luò)隱含層的層數(shù)是重要參數(shù).在用DBN 網(wǎng)絡(luò)模型對(duì)訓(xùn)練樣本進(jìn)行訓(xùn)練時(shí),采用BP 算法將訓(xùn)練所得結(jié)果與結(jié)果標(biāo)簽數(shù)據(jù)進(jìn)行誤差分析,根據(jù)相關(guān)差異進(jìn)行反向微調(diào),實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)結(jié)構(gòu)中各層間權(quán)值的更新,逐步達(dá)到提升網(wǎng)絡(luò)模型識(shí)別精確度的目的[14].在時(shí)間上下文信息中我們需要計(jì)算質(zhì)心的加速度,因此取合適的幀間隔也是一個(gè)重要的參數(shù).

3.1 系統(tǒng)參數(shù)配置

結(jié)合實(shí)際實(shí)驗(yàn)采用包含1-3 層RBM 的深度置信網(wǎng)絡(luò)結(jié)構(gòu)模型.設(shè)置預(yù)訓(xùn)練的學(xué)習(xí)率0.01,設(shè)置BP 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)率為0.01,迭代次數(shù)設(shè)置為2000.采用批訓(xùn)練的方式初始化節(jié)點(diǎn)數(shù),批訓(xùn)練樣本數(shù)設(shè)置為200.通過(guò)實(shí)驗(yàn)分析的方式把網(wǎng)絡(luò)中RBM 的層數(shù)確定下來(lái),文中設(shè)置DBN 模型中RBM 層數(shù)為2.

視頻播放的幀是25 f/m,我們通過(guò)實(shí)驗(yàn)對(duì)比選擇K幀間隔,取K=5 為實(shí)驗(yàn)參數(shù),即幀間隔為1/5 s,每秒計(jì)算5 次質(zhì)心的位移速度,4 次質(zhì)心加速度.當(dāng)質(zhì)心加速度特征a＞4 m/s2時(shí),認(rèn)為是課堂異常行為.

3.2 系統(tǒng)算法流程

從提取的形狀特征中提取更為抽象的高層特征作為DBN 網(wǎng)絡(luò)的輸入,能更好地讓DBN 網(wǎng)絡(luò)理解圖像特征的分布,提高DBN 的表征能力.本文先采用基于HOG 算法的圖像形狀特征提取,采用提取到的特征訓(xùn)練DBN 網(wǎng)絡(luò).其次利用二級(jí)遞推算法,首先識(shí)別出人體目標(biāo),其次利用視頻的時(shí)序相關(guān)性運(yùn)動(dòng)特征計(jì)算人體區(qū)域前后幀的質(zhì)加心速度,判斷課堂行為算法流程如圖6 所示.

圖6 系統(tǒng)框架流程

4 實(shí)驗(yàn)結(jié)果與分析

硬件實(shí)驗(yàn)環(huán)境為CPU 型號(hào)Intel i9 9900X,內(nèi)存32 GB,顯存11 GB,集成顯卡GTX 1080 Ti 的工作站,軟件環(huán)境為Ubantu 14.04 操作系統(tǒng),Python 3.7+OpenCV集成系統(tǒng).

4.1 課堂訓(xùn)練樣本庫(kù)

本系統(tǒng)訓(xùn)練的樣本為課堂采集的小樣本庫(kù),命名為Classroom 數(shù)據(jù)集,類別是book,chair person,table等4 類.系統(tǒng)主要分析課堂目標(biāo)中的時(shí)序相關(guān)性特征,因此本文只計(jì)算person 類的質(zhì)心加速度.

Classroom 數(shù)據(jù)集訓(xùn)練庫(kù)的部分圖片如圖7 所示.

圖7 課堂訓(xùn)練樣本庫(kù)

4.2 課堂檢測(cè)結(jié)果

通過(guò)Classroom 小樣本數(shù)據(jù)集訓(xùn)練的深度置信網(wǎng)絡(luò)模型,通過(guò)Softmax 分類器識(shí)別效果如圖8,圖9 所示,可以識(shí)別出 person,table,book,chair 等4 類目標(biāo).從實(shí)驗(yàn)可以看出在目標(biāo)模糊和目標(biāo)密集的復(fù)雜場(chǎng)景下,目標(biāo)也可以被有效地識(shí)別出.這對(duì)今后的由于攝像頭晃動(dòng)造成的運(yùn)動(dòng)模糊和運(yùn)動(dòng)遮擋有很好的應(yīng)用參考.

圖8 模糊場(chǎng)景識(shí)別效果

本系統(tǒng)關(guān)心的是課堂person 類的行為,因此根據(jù)識(shí)別結(jié)果選擇人體目標(biāo),其他類的目標(biāo)在視頻中不再標(biāo)出.在正常情況下,人體目標(biāo)都是細(xì)框圖顯示.由前文的分析可知,目標(biāo)的質(zhì)心加速度是一個(gè)重要的時(shí)序相關(guān)性特征.因此計(jì)算的幀間隔是個(gè)關(guān)鍵參數(shù),間隔太小則增加系統(tǒng)的計(jì)算量,太大則容易產(chǎn)生漏檢.根據(jù)實(shí)驗(yàn)調(diào)試,系統(tǒng)設(shè)置N=5 的幀間隔,檢測(cè)閾值設(shè)置為4 m/s2,當(dāng)加速度a超出設(shè)置的閾值時(shí)則認(rèn)為是異常行為.系統(tǒng)中采用粗框?qū)Ξ惓Ｐ袨槟繕?biāo)進(jìn)行預(yù)警.

圖9 密集場(chǎng)景識(shí)別效果

測(cè)試學(xué)校提供的課堂視頻,當(dāng)學(xué)生課堂出現(xiàn)了睡覺(jué)、趴在桌子上等負(fù)面異常行為時(shí),質(zhì)心加速度超出了閾值,系統(tǒng)認(rèn)定為異常行為目標(biāo)如圖10,圖11 所示.應(yīng)用網(wǎng)絡(luò)上的視頻測(cè)試系統(tǒng),結(jié)果如圖12 所示.顯然突然起立,目標(biāo)質(zhì)心加速度也會(huì)超過(guò)閾值.這時(shí)系統(tǒng)也將其標(biāo)識(shí)為異常行為,這個(gè)屬于正面異常行為.

圖10 單目標(biāo)課堂異常行為識(shí)別

異常行為有正面異常行為和負(fù)面異常行為,但是兩者并不是絕對(duì)對(duì)立的.如在智能監(jiān)考系統(tǒng)中,起立代表負(fù)面異常,但在教學(xué)課堂中則代表正面異常.

4.3 系統(tǒng)算法分析

不同RBM 網(wǎng)絡(luò)層數(shù)的DBN 模型率如圖13 所示.采用的數(shù)據(jù)樣本集為Classroom 數(shù)據(jù)集,KTH 人體行為數(shù)據(jù)庫(kù),INRIA Person 庫(kù),其中第一個(gè)數(shù)據(jù)庫(kù)為實(shí)際采集的小樣本數(shù)據(jù)庫(kù),后兩者為測(cè)試公開(kāi)庫(kù).由于實(shí)驗(yàn)所用的樣本數(shù)較小,涉及到的類別也不多,因此DBN 型所需的RBM 層數(shù)和隱藏層節(jié)點(diǎn)不需要設(shè)置太多.本文將隱含層RBM 的隱藏層節(jié)點(diǎn)數(shù)量設(shè)置為30 個(gè).通過(guò)實(shí)驗(yàn)測(cè)試 RBM 層數(shù)與識(shí)別率的關(guān)系如圖13所示.實(shí)驗(yàn)結(jié)果可知當(dāng)設(shè)置2 層RBM 時(shí)目標(biāo)識(shí)別率均較高,當(dāng)層數(shù)再增加時(shí),網(wǎng)絡(luò)的識(shí)別率反而有所下降.在RBM 層數(shù)為2 時(shí)學(xué)生課堂的人體目標(biāo)識(shí)別率為98%,符合我們系統(tǒng)的指標(biāo)要求.

在INRIA Person 數(shù)據(jù)集上進(jìn)行測(cè)試,得到的檢測(cè)率如表1 所示.可以看出,和未進(jìn)行特征提取訓(xùn)練的DBN 相比,加入HOG 特征提取的DBN 在準(zhǔn)確度上有較好的提升[15],因?yàn)镠OG 可以增強(qiáng)目標(biāo)的局部特征.同時(shí)在輸出層設(shè)置Softmax 分類器,在目標(biāo)類別不是特別多的情況下,可明顯提升目標(biāo)的識(shí)別率.

圖11 多目標(biāo)課堂異常行為識(shí)別

圖12 網(wǎng)絡(luò)課堂視頻測(cè)試結(jié)果

加速度是一個(gè)很好的物理特征,計(jì)算加速度的時(shí)間間隔是一個(gè)重要的參數(shù).幀間隔太大,無(wú)法檢測(cè)出理想的目標(biāo),間隔太小影響系統(tǒng)的實(shí)時(shí)性.合理的幀間隔不僅可以檢測(cè)出速度變化的快慢,而且可以有效的降低系統(tǒng)的運(yùn)算開(kāi)銷.因此本文采用基于HOG 特征輸入的2 層RBM 結(jié)構(gòu)的DBN 模型,頂層采用Softmax 分類器識(shí)別出目標(biāo).在視頻序列中采用幀間隔為5 的參數(shù)計(jì)算時(shí)序相關(guān)性特征,最后標(biāo)識(shí)出課堂異常行為目標(biāo).

5 結(jié)論與展望

針對(duì)人體行為最重要的motion 特征,提出了基于時(shí)序相關(guān)性的二級(jí)遞推異常行為識(shí)別方法.不僅能解決傳統(tǒng) DBN 不能處理視頻序列的問(wèn)題,而且可以充分利用視頻中目標(biāo)前后幀提供的質(zhì)心加速度信息識(shí)別出異常目標(biāo),提高了系統(tǒng)的識(shí)別準(zhǔn)確率.實(shí)驗(yàn)結(jié)果表明本文設(shè)計(jì)的方案在運(yùn)動(dòng)模糊和目標(biāo)遮擋等復(fù)雜場(chǎng)景下都可以識(shí)別出目標(biāo),這對(duì)今后的實(shí)際應(yīng)用中由于攝像頭晃動(dòng)造成的運(yùn)動(dòng)模糊和運(yùn)動(dòng)遮擋有很好的應(yīng)用參考.系統(tǒng)后續(xù)可以展開(kāi)聯(lián)動(dòng)模塊的設(shè)計(jì),把課堂行為中異常數(shù)據(jù)傳輸?shù)皆贫诉M(jìn)行分析,可在評(píng)估習(xí)效果、課堂動(dòng)態(tài)趨勢(shì)等方面發(fā)揮作用.

圖13 RBM 層數(shù)與識(shí)別率

表1 不同模型識(shí)別率