融合包注意力機制的監控視頻異常行為檢測

肖進勝 申夢瑤 江明俊 雷俊峰 包振宇

隨著監控攝像頭的廣泛使用,其在維護社會安全、進行法律取證等方面凸顯日益重要的作用.由于監控視頻與審查人員數量不對等,大量監控視頻無法得到有效處理.因此對視頻監控進行自動智能分析十分必要.視頻在時間維度上蘊含豐富信息,但其高維度的特性也使特征表達更為復雜而難以完整地提取;此外,視頻中包含大量的交互行為,增加了視頻處理的難度.在異常行為的界定上,類似行為在不同場景會被認為是不同的行為類型.例如汽車行駛在車行道上屬于正常行為,出現在人行道中則屬于異常行為.異常行為種類多、時間短、判別困難,很難找到大量數據進行深層網絡訓練.這些問題給視頻異常行為檢測帶來巨大的挑戰.

本文主要針對步行行人群體場景進行異常行為檢測.異常行為定義為緩慢人群中的快速運動如騎車、奔跑、高空墜物等.本文將用于異常檢測的經典數據集進行整合和事件重標注,使其與本文所要解決的問題契合,并在該數據集上進行與其他算法的對比測試.測試結果表明,本文算法在指標上有較大的優勢.本文第1 節介紹了異常事件檢測方面的相關工作;第2 節介紹本文提出的異常檢測算法,給出算法中各模塊和損失函數的具體介紹;第3 節首先說明數據集的生成,然后分析了本文算法的實驗效果,并與其他算法進行對比,在多個指標上進行分析與評價;第4 節給出全文總結.

1 相關工作

視頻異常事件檢測受多種因素掣肘而極具挑戰性,例如: 異常視頻數量少、異常事件難以定義且種類繁多.因此,很難找到一個具有概括力的模型囊括所有異常事件,所以學者們大多從提取視頻特征的角度出發,尋找異常視頻最具表現力的特征表示方法.視頻特征的人工提取方法著重提取分析低層次視覺特征,如導向梯度直方圖[1]、光流圖[2]、主成分分析[3]等.文獻[4]中探索了多流手動特征進行視頻表達的方法,構造了由時空向量和位置向量組成的視頻立體表達結構,并改進編碼方法使其表征能力更強.但人工特征提取步驟復雜且不全面.

隨著深度學習的快速發展,利用神經網絡[5]進行自動特征提取成為研究熱點.基于視頻固有特性,有學者提出使用3D 卷積神經網絡[6]實現對視頻時空特征的提取.文獻[7]學習單目標個體的外形和三維梯度運動信息,分類時將正常行為模式劃分為多個偽異常類,通過多個一對多二分類器來進行分類.文獻[8]提出了一種多尺度時間遞歸神經網絡,該網絡對劃分的多網格區域提取的特征進行空間維度和時間維度的關系建模,以此來進行人群異常事件的檢測和定位.

基于重建誤差的方式進行異常檢測的代表當屬自編碼網絡[9],通過計算解碼器輸出數據與編碼器輸入數據之間的歐氏距離來判斷輸入偏離正常分布的程度,以此判斷是否異常.文獻[10]中設計了一個時空自編碼器,通過空間卷積與基于卷積的長短期記憶 (Convolutional long-short term memory,ConvLSTM)[11]結構來對視頻序列進行編碼,再利用具有對稱結構的解碼器將視頻編碼轉換成原始圖像序列,通過計算解碼圖像與原始圖像的歐氏距離得到重建誤差,再得到異常分數.文獻[12]提出了一種變分自編碼器(Variational autoencoder,VAE),利用視頻編碼結果擬合分布函數,對分布參數而非編碼值本身進行建模.文獻[13]在稀疏去噪自編碼網絡的基礎上,添加了梯度差約束條件,使網絡的性能在全局異常行為檢測方面更有效.

文獻[14]中將帶有異常片段的視頻分為若干視頻段組成多個視頻實例,設計了全連接網絡將C3D 網絡[15]提取的視頻特征映射成異常分數,根據排名損失使含有異常片段的實例得分高于僅含正常片段實例的得分.

本文模型訓練使用了包含異常和正常的視頻,使模型預測更有針對性,以視頻包為網絡輸入,通過端到端的網絡映射出視頻包得分,輸入形式靈活.本文設計的端到端異常檢測網絡算法具有以下幾點貢獻:

1)以時空自編碼網絡為基礎、視頻包為視頻提取的基本單位,以提取更多有效特征,同時解決了時空自編碼器不能實時輸出視頻異常得分的問題,擴展了應用場景.

2)引入多實例排名框架中重要節點得分高的思想,利用基于隱向量的注意力機制處理視頻包時空特征,以突出重要特征,弱化無關信息對檢測結果的干擾.

3)采用交叉熵損失耦合鉸鏈損失函數,優化網絡模型預測效果.

2 本文算法

本文設計了一個端到端的異常檢測網絡,如圖1 所示,以視頻包為輸入.視頻包由視頻中順序排列的連續τ幀圖像組成,在時間維度上以步長1滑動窗口,可得到新的視頻包.利用視頻包進行特征提取可以在進行空間紋理特征分析的同時保留時間信息,使提取的特征更全面、更有表現力.

圖1 異常行為檢測網絡架構Fig.1 The framework for abnormal behavior detection

對于視頻包,首先提取單幀空間特征和多幀時間特征.為了更好地實現特征融合,利用三維卷積核在時間和空間維度再同時作加權特征融合,從而得到整個視頻包的時空特征表示.之后采用加入Dropout 操作的全連接層將特征轉換到一個更有表現力的空間中,同時降低模型過擬合風險;對于視頻包的新特征表示,根據其自身特點利用注意力機制對其各元素進行加權處理,再利用包級池化操作將視頻包級別的特征映射為該視頻包的異常分數B.具體操作為

其中,I為輸入圖像,Ppre進行圖像預處理,Fbag表示進行視頻包特征提取,Katten表示進行注意力機制,Pool表示進行包級池化,將視頻包特征映射為視頻包異常得分.

2.1 視頻包特征提取

動作的發生發展具有先后順序,其中蘊含了大量的信息.參照文獻[10]中對多幀序列時空特征的提取方法,首先對圖像進行空間特征提取,之后利用ConvLSTM 針對時流中同一特征進行狀態隨時間遷移變化過程的學習.為了得到更有效的視頻包特征表示,將視頻包中提取到的各級時空特征進行加權融合編碼,從而將幀級特征轉換為視頻包級別的特征表示.

2.1.1 單幀空間信息提取

為了獲取單幀像素之間的空間聯系及紋理結構,采用 “卷積?正則?激活”結構[16]實現空間信息提取.首先利用不同權重的卷積核對輸入數據進行線性變換,減少數據冗余的同時提取圖片結構信息;卷積核的權重由訓練得出.利用批規范化操作通過對隱藏層輸出的自適應重參數化來防止梯度彌散效應,加快模型收斂速度,同時降低模型過擬合風險.最后利用激活函數使網絡模型具有非線性性能,以便更好地擬合數據分布.

在具體的網絡實現上,由于視頻包包含多幀連續圖像,為了不破壞連續幀之間的時間信息,我們在時間維度上采用兩組 “卷積?正則?激活”結構提取單幀空間信息.對于視頻包中的每一幀固定為224×224像素大小的圖片而言,首先經過含128 個尺寸為 5×5 的卷積核、步長為3 的卷積層,得到了128個 75×75 像素大小的特征圖,在一個批次(Batch)中對不同圖片的相應特征圖的值進行歸一化操作之后,采用Relu 激活函數使網絡具備非線性性能;之后經過含64 個尺寸為 3×3 的卷積核、步長為2 的卷積層,得到64 個大小為 38×38 像素的特征圖,同樣以一個Batch 為單位進行歸一化操作并進行非線性映射.正則化和激活結構不會改變特征圖的尺寸.輸出特征圖尺寸計算式為

其中,Lout,Lin是特征圖某維度(長、寬) 長度,Wkernel指卷積核在對應尺寸上的大小,Sstride為步長值,為向上取整.

2.1.2 多幀時間信息提取

對于圖像序列而言,每幀像素間具有很強的相關性,LSTM 只能保留其時間維度上的關聯而不能很好地保留空間特征.針對這一缺陷,文獻[11]中加入卷積操作,使得對圖像序列特征的提取更加有效.具體為

其中,符號?表示卷積操作.記憶單元Ct記錄了從起始時刻到時刻t的累積狀態信息,ht表示輸出的時刻t的最終狀態,xt表示t時刻的輸入,符號?表示Hadamard 乘積,σ和 t anh 分別表示sigmoid 和tanh 激活函數,用于對提取的信息進行非線性變換.卷積類型1W2與卷積類型2W3的不同之處在于其輸入數據有兩種或者三種,用上標表示輸入數據種類數;為了區別相同類型的不同卷積核,在式(2)和式(3)中采用權重W的不同下標來表示不同的卷積核,如表示輸入是兩路數據但值不同的兩個卷積核.ConvLSTM 利用σ選擇性舍棄遺忘門輸入信息,輸入門利用與遺忘門相似的結構選擇性地保留經過tanh 非線性變換的上一時刻輸出與當前時刻輸入的加權融合信息.

當前時刻記憶單元狀態是由經過遺忘門選擇性保留的上一時刻記憶單元狀態與輸入門輸出信息相加,當前時刻輸出狀態是遺忘門選擇性保留的當前時刻記憶單元狀態經過 t anh 非線性變換的信息,具體實現為

本文采用的ConvLSTM 作用的對象是經過卷積層提取過的空間特征圖.針對視頻包序列中每幀對應的空間特征提取其隨時間變化信息,一則可以減少圖像數據冗余,二則可以針對關鍵特征追蹤其時流信息.本文采用了兩層ConvLSTM 級聯來提取時流信息,第1 層采用64 個 3×3 的卷積核,第2 層采用32 個 3×3 的卷積層.卷積操作時保持特征圖尺寸不變,因此兩層ConvLSTM 的輸入特征圖分別為 38×38×64 和 38×38×32.

為了更好地提取視頻包的空間和時間信息、高層與低層特征,在ConvLSTM 層后利用三維卷積層在時間和空間兩個維度上對視頻包多個特征圖進行可訓練參數的加權融合,輸出結果作為最終的視頻包的特征表示.融合層作用于時間維度,將8×38×38×32 的特征圖轉換為 1×38×38×32 的特征圖.融合層特征輸出結果如圖2 所示.

圖2(a)為正常幀視頻包輸入網絡后融合層輸出的部分特征圖.每個特征圖細化了靜態背景的建模,突出顯示運動物體區域.圖2(b)為異常幀視頻包融合層輸出特征圖,由于快速運動導致的時間流和空間流的信息重分配,使得前景運動區域與背景靜態區域融合度更高,區分度降低.

圖2 融合層特征輸出結果圖Fig.2 The feature map of fusion-layer

2.2 視頻包特征提取

視頻包內各特征元素對于最終視頻包標簽的影響是不同的,因此我們考慮利用注意力機制對不同特征分配不同權重,使關鍵特征對結果影響占比更大.首先進行特征空間轉換,使原始視頻包特征編碼更有表現力;之后利用可訓練權值矩陣計算隱藏特征,利用隱向量訓練擬合出該特征元素的影響占比;最后將編碼特征按占比重取值,利用包級池化操作將視頻包重定義特征映射為該視頻包的異常得分.具體流程如圖3 所示.

為了得到更加緊湊的視頻包特征表示,將時空編碼器輸出的初級視頻包特征經由兩個帶Dropout 的全連接層處理,即圖3 中的 “特征空間轉換”過程.兩層全連接層輸出維度均為512,采用Relu激活函數;Dropout 參數設為0.5,即每次訓練時有50%的神經單元被舍棄不參與訓練,此舉可以降低神經網絡過擬合的風險.經過特征空間轉換,得到512 維的視頻包最終特征向量.

圖3 視頻包得分計算流程Fig.3 The flowchart of bag-score calculation

之后利用可訓練權值矩陣操作將視頻包最終特征轉換為隱藏特征,隱藏層特征維度設為128.基于隱藏特征即隱向量計算出權值向量.為了增加變換的非線性性能,在最終生成權值向量前引入非線性Softmax 變換.權值向量與視頻包最終特征向量的Hadamard 乘積即為加權視頻包特征向量.記視頻包特征總數為K,第k個視頻包特征為αk,可訓練權值矩陣V將αk轉換為隱層特征; ΨNL為隱層特征加入非線性操作,本文采用 t anh 非線性函數實現;W將非線性隱層特征轉換回原始空間特征;之后利用softmax 操作進行非線性映射得到特征權值κk,即

最后對加權視頻包特征進行包級池化.借助神經網絡訓練置換不變函數求得視頻包的異常得分.將正樣本即包含異常的視頻包標記為1,僅包含正常視頻幀的視頻包標記為0,因此可將得出的概率作為視頻包得分的歸一化最終結果.至此最終實現視頻包特征到視頻包得分的映射.記 Π 是對第k個加權視頻包特征向量進行的置換不變操作,在實驗中取各元素累加和.σ是sigmoid 函數,即圖3中的非線性映射.對應的視頻包得分B為

2.3 損失函數

網絡最終的輸出是使用sigmoid 處理過的[0,1]數值,該輸出既可以作為輸入被判為正類的概率,也可作為視頻包的最終異常得分.因此損失函數的構成也從這兩方面進行考慮.根據sigmoid 函數的計算式,得

其中,N為樣本總數,Bi為第i個樣本真實值,為第i個樣本預測值.

交叉熵損失函數在輸入噪聲時也會得到非0即1 的結果,會增加網絡過擬合的風險,在實際應用中不好進行閾值的選取.考慮到視頻包的特性,我們希望包含異常幀的視頻包的異常得分要比僅含正常幀的異常得分高,因此損失函數最好可以增大類別間距.本文加入二分類鉸鏈損失函數lossbh,即

lossbh通過增大正樣本預測概率,減小負樣本預測概率來增大類間距,使網絡在應對少量噪聲輸入時有一定的容錯量.最終的網絡訓練損失函數為

其中,λ為lossbh的權重參數,作為基礎分類網絡損失函數lossbc的補充項協助訓練模型參數.為了探究λ對模型訓練的影響,取其值為0.5,1,2,3 時分析損失函數整體性能,結果如圖4 所示.

圖4 不同預測分值下的loss 變化Fig.4 The loss under different predictions

取正樣本的不同預測值得到不同的損失值,網絡輸出sigmoid 函數歸一化[0,1]值.交叉熵損失(bc_loss)是分類網絡的基礎損失函數,其在整個預測值空間呈非線性變化,預測值與真實值差距越大,懲罰越嚴重.變種鉸鏈損失(hingle_new_loss)意圖使正樣本得分比負樣本得分高,使模型更多關注整體的分類效果.對變種鉸鏈損失取不同權值組合成混合損失(mix_loss),從結果圖可以看到,當λ=0.5時,在基礎損失函數上添加的線性因素效果不甚明顯;而當λ取值較大時,過多的線性因素會遮蓋基礎損失函數的非線性性能.從損失函數值域考慮,兩項值域相近,權值加倍反而會導致值域的不平衡.綜合考慮,后續實驗將采用λ=1 時訓練的模型,結合非線性損失函數和線性損失函數,增大懲罰值,使網絡收斂更快.

3 實驗

3.1 數據集

本文算法應用場景為行人正常運動場景,所要進行的異常事件檢測包括跑動、滑板、車類及高空拋物.異常事件的定義基于以下考慮: 1) 行人步行群體中駕駛交通工具屬于不規范行為,容易產生交通事故;2) 正常人群中的跑動意味著某種緊急事情的發生,需要引起重視;3) 高空拋物有誤傷人的嫌疑,判為異常.所使用的視頻由固定角度的監控攝像頭拍攝.目前常用的數據集有Avenue,UMN,UCSD.

Avenue 數據[17]包含CUHK 校園大道拍攝的正常行人行走的視頻,其中訓練集包含16 個視頻段共15328 幀,測試集包含21 個視頻共15324 幀.異常場景是人物跑動、反方向走動、閑逛等.UMN數據集[18]包含11 個視頻段,異常事件類型為人群突散,長度在70～ 200 幀不等.室內場景光照不足而視頻整體偏暗.UCSD 數據集[19]的異常事件包括騎自行車、滑冰、小型手推車及橫穿人行道踐踏草地.Ped1 是朝向和遠離攝像頭方向的片段,有34個訓練視頻和36 個測試視頻.Ped2 是行人運動軌跡與攝像頭平行的場景,包括16 個訓練視頻和12個測試視頻.

以上數據集中訓練集只包含正常行人行走的視頻,本文網絡訓練同時依賴正樣本與負樣本.鑒于此,本文將以上數據集進行合并篩選,將含有異常事件的視頻重新進行整合分配,劃分訓練集與測試集;同時根據本文所定義的任務,將原有數據集中規定的不符合本文任務目標的異常事件去除,即重新標定ground truth.對于整合的數據集而言,選取事件較為單一的40 個視頻文件作為訓練集,其余33 個視頻文件為測試集.新的數據集相較于原有數據集而言,增加了不少挑戰: 1)場景多.共有室內和室外六種不同場景,不同場景攝像頭位置與角度不同,幀率及清晰度也有很大差異;2)異常事件類型多.涉及單人和群體異常事件,對于滑板、自行車、跑動等異常事件類型,人物外觀與正常行走狀態相差無幾,增加了算法檢測難度.后續實驗在該數據集上進行.

3.2 數據處理

本文所提出的神經網絡在網絡輸入格式方面尚未做多尺度輸入設計,所以在原始視頻輸入網絡時需要進行預處理.對于輸入的三通道彩色圖將其轉換為 224×224 像素大小的單通道灰度圖.為了降低因噪聲而產生的圖像像素離群值的干擾,同時為得到圖像稀疏性表示,對輸入圖像矩陣進行歸一化處理,并將值域限制在[0,1].

3.3 實驗結果

訓練及測試代碼運行在Centos7 系統下,使用Intel i5-8600K@3.60 GHz×6 及 NVIDIA Ge-Force TITAN X.算法搭建使用以tensorflow 為后端的keras 框架,語言為python,此外還使用了opencv等擴展包.

3.3.1 訓練參數變化

本文算法訓練使用Adam 優化器,學習率為0.0001;batch_size 為32;當loss 連續5 個訓練批次epoch 不變結束訓練.網絡輸入視頻包,由于采用LSTM 提取時間特征,τ值不宜過小,因此參考文獻[10]中取τ=8,另取τ=10 分別進行網絡的訓練,訓練損失變化如圖5.

圖5 損失訓練變化曲線圖Fig.5 The loss curve in training stage

當τ=8 (train_loss_t8)時,每個epoch 含有15618 組輸入,在第34 個epoch 時訓練終止,以該處模型為此次訓練代表模型,在測試集進行測試,所得到AUC_T8=0.754,EER_T8=0.292.當τ=10 (train_loss_10)時,每個epoch 含有15538組輸入,訓練到第53 個epoch 終止,由于訓練結尾模型訓練損失產生波動,取相對平穩狀態下的模型,即第48 個epoch 時訓練的模型作為此次訓練的代表模型,在測試集測試結果為AUC_T10=0.724,EER_T10=0.347.

從訓練過程來看,訓練前期τ=8 模型網絡損失值下降速度相對較快,模型收斂速度更快,而在訓練終點處所達到的網絡損失值相對略高;從測試集測試定量指標來看,τ=8 模型有較高的檢測正確率,可以預想到,雖然τ=10 模型中視頻包中包含了更多時間信息,但是由于數據維度增加,模型擬合困難,從而出現指標降低的現象.后續實驗中本文采用τ=8 的第34 個epoch 訓練的模型進行客觀指標的對比測試.

3.3.2 測試結果對比與分析

1)客觀指標AUC 及EER

參考文獻[19?20],本文同樣使用操作者操作特征 (Receiver operating characteristic,ROC)曲線及其所對應的面積(Area under the curve,AUC)來作為模型特性的衡量指標.ROC 橫軸負正類率(False positive rate,FPR)表示負類被預測為正類的概率,縱軸真正類率(True positive rate,TPR)表示正類預測正確的概率.理想目標是TPR=1,FPR=0,故ROC 曲線越靠攏點(0,1)越好.定義錯誤率EER=((1-TPR)+FPR)/2.

本文算法(Milfusion)與時空自編碼器 (Encoder)[10]、變分編碼器(Vae)[12]、多實例排名框架(Mir)[14]在ROC 指標的對比結果如圖6 所示.從圖中可以看出,本文算法曲線最接近點(0,1),曲線下面積最大,時空自編碼算法次之,變分自編碼算法表現最差.

圖6 異常檢測算法ROC 曲線圖Fig.6 The ROC curve of different algorithms

AUC 及EER 指標見表1,本文算法在這兩項指標上效果最好,錯誤率最低.

表1 異常檢測算法AUC 及EER 指標Table 1 The AUC and EER of different algorithms

2)幀級正確率與事件正確率

AUC 計算時須使待檢測樣本中同時包含正例和負例.而對于一些只包含異常或正常的視頻而言,該指標無法使用,因此增加新的指標評估模型性能.記正例判斷錯誤的比率為幀級漏檢率,負例判斷正確的比率為幀級虛警率,二者之和為幀級錯誤率(Frame-error rate,FER).

由于不同幀率人物運動速度不盡相同,對事件發生的邊緣定界有很大的歧義.因此補充事件級別的指標,事件識別率(EHR),根據檢測出異常幀的百分比來判斷是否檢測出該異常.事件級別的指標優勢在于事件邊界界定影響小.對于定義的異常事件,相差20 幀以上記為兩事件.

圖7 選取了[0,1]范圍內以0.01 的步長作為閾值,在該閾值下幾種算法在整個數據集的FER、EHR.對于一個事件,以幀級檢測率不小于60%判為檢測出該事件.從圖中可以看出,多實例排名框架的事件檢測率和幀級錯誤率最高,綜合來看,其性能不佳.本文算法的幀級錯誤率明顯低于其余三種算法,事件檢測率指標略低于時空自編碼算法.因此,在整體指標上本文算法具有很大優勢.

圖7 異常檢測算法在幀級及事件級指標對比圖Fig.7 The frame-level and event-level index of different algorithms

3)視頻檢測效果及時間對比

從上述指標來看,本文算法和時空自編碼算法性能最好,在此僅列舉本文算法和時空自編碼算法的效果.圖8 選取了3 個視頻的檢測結果.

圖8(a)來自于UMN 數據集,異常事件為人群突散: 本文算法在正常片段有三次持續時間較短的尖峰,在異常片段分數較高且持續時間長;而時空自編碼算法在正常片段得分高.圖8(b)來自于Avenue 數據集,異常事件為高空拋物: 本文算法與對比算法都能正確檢測出異常事件,本文算法異常得分略低;在人物俯身撿拾墜落物時,本文算法出現了虛警.圖8(c)來自UCSD 數據集,異常現象為騎車: 對比算法出現漏報和虛警,但本文算法能夠檢測出該事件.

圖8 視頻檢測結果Fig.8 The results of abnormal behavior detection in videos

在檢測時間上,本文將視頻輸入到輸出結果耗時也進行了對比,該時間也包含了圖像尺寸改變所消耗的時間,具體見表2.表中數據是在測試集上所有視頻從網絡輸入到得到輸出結果的每幀耗時的平均值.本文網絡處理時間要比時空自編碼算法要短.

表2 算法處理時間(CPU) (ms)Table 2 The processing time of algorithms (CPU) (ms)

本文在輸出形式有很大的優勢.自編碼算法輸出以重建損失為基礎進行分數的正則化處理,需要將所有視頻幀處理完畢后才能得到視頻每幀的異常得分.而本文算法網絡輸出即為視頻幀的異常得分,不需要經過特殊處理,在使用場景方面有很大優勢.

4 結束語

本文提出了一個端到端的異常檢測網絡,用于監控視頻行人步行群體中劇烈運動的檢測.該網絡以視頻包為輸入,有利于保存視頻本身的時序信息及圖像的紋理結構信息.通過時空編碼器充分提取視頻時空特征后,再利用注意力機制對提取到的特征進行加權處理,突出重要特征信息,弱化無關信息對檢測結果的干擾.最后采用包級池化將視頻包級別的特征映射為視頻包對應的異常得分.該網絡在輸入形式上以滑動步長為1 的窗口進行視頻包的歸類提取,可以應對視頻流等實時輸入情況,應用場景得到了極大地擴展;在輸出形式上,該網絡直接輸出視頻幀的異常得分,不需要再做其他處理,方便使用.但是本文網絡的缺點在于在最后得到的是異常得分而非正常或異常的分類結果,在將得分進行類別映射時需要設置閾值,閾值選取會極大地影響類別映射結果.