基于改進(jìn)多示例學(xué)習(xí)的視頻異常行為檢測(cè)算法

徐闖 徐祥振

關(guān)鍵詞： 視頻異常行為檢測(cè)；弱監(jiān)督學(xué)習(xí)；多示例學(xué)習(xí)；視頻特征；全連接網(wǎng)絡(luò)

0 引言

視頻異常行為檢測(cè)是利用正常和異常行為特征表示之間的差異來檢測(cè)異常，在安保上具有重要意義。最初的視頻異常行為檢測(cè)方法是設(shè)計(jì)一種通用的模型，然后用不同場(chǎng)景下的異常視頻去訓(xùn)練這個(gè)模型，但異常行為的認(rèn)定與監(jiān)控場(chǎng)景緊密關(guān)聯(lián)，單一模型缺少相關(guān)場(chǎng)景信息。近年來，深度學(xué)習(xí)在各鄰域表現(xiàn)出色，研究人員利用深度學(xué)習(xí)方法來提取視頻特征，再用提取的視頻特征去訓(xùn)練模型。

基于深度學(xué)習(xí)的視頻異常行為檢測(cè)根據(jù)訓(xùn)練數(shù)據(jù)標(biāo)簽的不同，可分為基于有監(jiān)督學(xué)習(xí)的異常檢測(cè)，基于無監(jiān)督學(xué)習(xí)的異常檢測(cè)和基于弱監(jiān)督的異常檢測(cè)。目前監(jiān)督學(xué)習(xí)技術(shù)已經(jīng)取得了很大的成功，隨著視頻數(shù)據(jù)的不斷增多，數(shù)據(jù)標(biāo)注的成本變得過高，對(duì)視頻的標(biāo)注工作變得越來越困難，許多任務(wù)因此不能獲取全部的真實(shí)標(biāo)簽信息，給后續(xù)視頻行為檢測(cè)造成了更大的挑戰(zhàn)。無監(jiān)督的訓(xùn)練太過復(fù)雜和困難，且準(zhǔn)確率偏低，因此無監(jiān)督方法發(fā)展緩慢。相較而言弱監(jiān)督更適合視頻檢測(cè)領(lǐng)域。弱監(jiān)督學(xué)習(xí)不需要標(biāo)注所有訓(xùn)練數(shù)據(jù)，只有部分帶有標(biāo)簽，這樣不僅能夠節(jié)省人力成本，還能有效地利用數(shù)據(jù)，提升模型的性能。近年來，弱監(jiān)督的方法在計(jì)算機(jī)視覺領(lǐng)域逐漸受到重視，出現(xiàn)了一些基于弱監(jiān)督學(xué)習(xí)的圖像視頻分析方法，這為弱監(jiān)督方法在視頻行為檢測(cè)領(lǐng)域的實(shí)現(xiàn)提供了更多可能[1]。

本文基于Sultani等人[2]提出的多示例學(xué)習(xí)算法進(jìn)行改進(jìn)，在原有良好性能的基礎(chǔ)上提出了一種改進(jìn)多示例學(xué)習(xí)（Modified Multiple Instance Learning，MMIL） 算法，實(shí)驗(yàn)表明MMIL相較于原來的MIL算法有更高的準(zhǔn)確率和更低的誤報(bào)率。

1 相關(guān)工作

弱監(jiān)督學(xué)習(xí)主要分為三種類型，分別為不完全監(jiān)督、不確切監(jiān)督和不精確監(jiān)督。本文使用的是不確切監(jiān)督，即訓(xùn)練的數(shù)據(jù)只帶有粗粒度標(biāo)簽，把輸入數(shù)據(jù)比作一個(gè)包，每個(gè)包里面包含很多個(gè)示例，包的標(biāo)簽是可知的，但每個(gè)示例的標(biāo)簽未知。

多示例學(xué)習(xí)（Multiple Instance Learning，MIL） 是在弱監(jiān)督領(lǐng)域常用的一種方法。該方法把多個(gè)數(shù)據(jù)合在一起叫作一個(gè)包，每個(gè)包都有一個(gè)標(biāo)記。當(dāng)一個(gè)包的標(biāo)記為負(fù)時(shí)，這個(gè)包里面所有樣本的標(biāo)記都是負(fù)的。當(dāng)一個(gè)包的標(biāo)記為正時(shí)，這個(gè)包里面至少有一個(gè)樣本的標(biāo)記為正，包的標(biāo)簽并不能代表里面的樣本屬于這個(gè)類。Zhou[3]整理了機(jī)器學(xué)習(xí)中常用的一些多示例學(xué)習(xí)算法。Carbonneau等人[4]對(duì)多示例學(xué)習(xí)的一些問題和應(yīng)用進(jìn)行了調(diào)查。Sultani等人[2]提出了一種利用弱標(biāo)記的訓(xùn)練視頻進(jìn)行異常檢測(cè)的多示例學(xué)習(xí)算法。該算法利用一種對(duì)深度學(xué)習(xí)網(wǎng)絡(luò)具有稀疏性和平滑性約束的MIL排序損失來學(xué)習(xí)視頻片段的異常分?jǐn)?shù)，最后學(xué)習(xí)得到一個(gè)分類器，使得對(duì)新輸入的樣本，可以給出它的正負(fù)標(biāo)記。

2 MMIL 算法

MMIL把16個(gè)連續(xù)幀作為一個(gè)視頻剪輯片段，對(duì)整個(gè)視頻的視頻剪輯片段提取特征后進(jìn)行重復(fù)隨機(jī)采樣，最后每個(gè)視頻都含有N 個(gè)包，每個(gè)包含有M 個(gè)視頻剪輯片段的特征，這樣就對(duì)不同長度的視頻進(jìn)行了歸一化。將提取的特征作為全連接層的輸入，最后得到對(duì)應(yīng)的異常得分為S，結(jié)構(gòu)如圖1所示。Vn和Va分別表示包含異常和不含異常的視頻。Bn和Ba為Vn和Va視頻片段組成的包。Sn和Sa則是Bn和Ba中視頻片段的異常得分，范圍為0～1。

因?yàn)槿鄙倜總€(gè)視頻片段的標(biāo)簽，無法使用Sai> Sni來判斷異常，因此采用多示例排序損失的方法，只對(duì)正包和負(fù)包中異常得分最高的示例進(jìn)行排名，正包中最高得分的視頻剪輯片段是有可能含有異常片段的，包中最高得分的片段則是正常的，當(dāng)正負(fù)示例的異常得分相差比較大時(shí)效果最好。

3 實(shí)驗(yàn)

3.1 ShanghaiTech 數(shù)據(jù)集

ShanghaiTech數(shù)據(jù)集包括13 個(gè)不同的異常場(chǎng)景，在不同的照明條件下，由多個(gè)不同視角的相機(jī)拍攝437 個(gè)視頻片段，都是可疑的活動(dòng)，例如在人行道上打鬧、追逐、溜冰、騎單車和推手推車等。ShanghaiTech 數(shù)據(jù)集是為無監(jiān)督學(xué)習(xí)而提出的，為了適應(yīng)弱監(jiān)督學(xué)習(xí)，Zhong 等人[5]將視頻重新分為238 個(gè)訓(xùn)練視頻和199個(gè)測(cè)試視頻。

本文計(jì)算幀級(jí)受試者工作特征曲線（Receiver Op?erating Characteristic Curve，ROC） 的曲線下面積（AreaUnder Curve，AUC） 作為主要評(píng)估指標(biāo)，其中AUC越大意味著識(shí)別能力越高。并且還通過異常視頻的誤報(bào)率（False Alarm Rate，F(xiàn)AR） 來評(píng)估魯棒性。

3.2 相關(guān)實(shí)驗(yàn)配置

本文使用I3D[6]作為特征提取網(wǎng)絡(luò)，提取視頻流中的外觀RGB特征，并將其作為模型的輸入，對(duì)MMIL 模型進(jìn)行訓(xùn)練，本文把16個(gè)連續(xù)幀作為一個(gè)視頻剪輯片段，然后通過I3D網(wǎng)絡(luò)提取視頻剪輯片段的特征，最后取視頻剪輯片段特征的平均值，把這些特征值作為全連接神經(jīng)網(wǎng)絡(luò)的輸入。全連接層的單元數(shù)分別是512、32和1。MMIL模型在全連接層引入了隨機(jī)失活（Dropout） 來防止過擬合，Dropout 丟失率設(shè)置為0.6。使用ReLU激活函數(shù)分別對(duì)第一個(gè)和第二個(gè)全連接層進(jìn)行激活，選擇了Adagrad優(yōu)化器，并引入了L2范數(shù)正則化，權(quán)重衰減設(shè)置1e-3，以獲得最佳性能，訓(xùn)練1000個(gè)epochs。

3.3 結(jié)果分析

本文在ShanghaiTech數(shù)據(jù)集上對(duì)提出的MMIL算法進(jìn)行了驗(yàn)證，并與目前現(xiàn)有的基于多示例的弱監(jiān)督視頻異常行為檢測(cè)算法進(jìn)行了對(duì)比。如表1所示，實(shí)驗(yàn)結(jié)果表明，MMIL算法具有更高的準(zhǔn)確率和更低的誤報(bào)率。

4 結(jié)論

本文提出了一種基于多示例學(xué)習(xí)的MMIL算法。改進(jìn)的算法對(duì)損失函數(shù)進(jìn)行了優(yōu)化，并對(duì)全連接層進(jìn)行了調(diào)整，引入了Dropout，能夠更好地防止過擬合。本文在數(shù)據(jù)集shanghaiTech上對(duì)改進(jìn)后的模型進(jìn)行了驗(yàn)證，通過實(shí)驗(yàn)發(fā)現(xiàn)，本文提出的MMIL模型與現(xiàn)有的弱監(jiān)督學(xué)習(xí)方法相比，能夠獲得更好的效果。