基于雙流結構的異常行為檢測模型

王梓舟 周新志 嚴 華

(四川大學電子信息學院 四川 成都 610065)

0 引 言

監控系統提供著不間斷的監控視頻，如此龐大的視頻數據使用人工進行處理是效率低下并且困難的。所以自動的視頻異常行為檢測在近幾年越來越多地得到學術界和工業界的關注。

在早期的工作中，研究人員通常使用人工設計特征來表征人體或者人群的行為。Laptev[1]提出了時空興趣點的方法，其實質是將Harris角點從二維拓展到了三維。Mabrouk等[2]在時空興趣點的基礎上融合光流特征提出DiMOLIF描述子用以檢測視頻中的暴力行為。Mehran等[3]提出了社會力模型用以檢測群體的異常行為。Zheng等[4]使用基于軌跡特征方法檢測全局的異常行為。Wang等[5]使用基于光流特征的協方差矩陣進行異常行為的檢測。這類方法所使用的特征通常需要經過提前的設計，且檢測精確度仍需提高。

隨著卷積神經網絡的興起，研究者也將其應用在視頻異常行為檢測問題上。人工特征由此轉向深度網絡特征。由于異常行為數據集規模較小，比較難以訓練一個復雜的網絡，部分工作嘗試直接使用經典的深度網絡結構解決問題，如Sabokrou等[6]利用在ImageNet上預訓練好的AlexNet網絡,而AlexNet并非專門針對異常行為問題而設計，所以還存在一定的局限性。另一種思路則是采用結構簡單的網絡進行訓練，如Sun等[7]設計了一種兩層的卷積網絡提取輸入圖像特征，再利用OC-SVM(One-class SVM)對特征進行分類。

還有一種針對數據集規模較小問題的常見方法為自編碼器(Auto-Encoder，AE)網絡。Hasan等[8]使用二維Conv-AE的重建誤差來判斷異常行為的發生與否。Ribeiro等[9]嘗試在2D AE中融合光流以及圖像邊緣特征。2D AE由于維度上的局限性，并不能很好地獲得時域上的信息。為了更好地利用視頻時域信息，Chong等[10]、Wang等[11]使用加入Conv-LSTM層的二維卷積AE，LSTM層的加入能夠改善2D AE對時域特征提取的性能。Zhao等[12]提出了一種3D AE網絡結構用以檢測人群和交通中的異常行為。Yan等[13]嘗試在2D AE中使用傳統光流特征作為輸入。取得了一定的進展，但仍有發展空間。此外，Ravanbakhsh等[14]也初步嘗試在異常行為問題上使用GAN網絡，并在特定數據集取得了不錯的成效。

為進一步解決視頻時域信息獲取和利用的問題，本文設計一種雙流網絡結構，分別為網絡分支以及時域分支。網絡分支為3D自編碼器，負責提取輸入視頻的時空特征；時域分支負責對輸入視頻的光流特征進行處理，提供額外運動信息，并使用改進的策略更好地與網絡分支的重建結果進行融合。最終使用融合后的重建結果計算重建誤差作為異常行為判斷的依據。

此外，目前大部分工作所使用的像素級別評價指標來自Mahadevan等[15]的工作，該像素指標還存在一定的不足。針對這個情況，本文提出一種改進的像素指標。

1 整體框架

1.1 整體流程

整個模型的流程如圖1所示。包含有兩個分支：網絡分支和時域分支。網絡分支使用一個3D自編碼器，提取連續視頻幀的時空域特征，并重建輸入，由于自編碼器僅使用正常樣本進行訓練，理論上對異常區域具有更高的重建誤差。時域分支得到具有背景的光流結果。最終將兩個分支的結果融合得到模型的最終輸出，計算最終的重建誤差，得到規律性得分并判斷是否發生異常。

圖1 模型整體流程

1.2 3D自編碼結構

網絡分支使用一個3D自編碼器，輸入為連續N幀灰度視頻圖片堆疊形成的一個視頻塊。由于訓練一個深度網絡需要大量的訓練數據。異常行為檢測數據集中的訓練樣本數量通常都不夠充足。受Zhao等[12]的啟發，我們在其網絡的基礎上進行了調整。編碼層和解碼層改為3層，并更改了3層及后續層的通道數，去掉了額外的網絡分支結構。其余參數與原文保持一致。網絡結構如圖2所示。

圖2 網絡分支結構

1.3 時域分支

時域分支主要利用經典的光流特征。通過計算連續兩幀中對應像素點在x、y方向上的位移值，可得到兩個大小與原圖片相等的二維浮點值矩陣，每一點的值表征了該點在這兩幀中的運動情況，值越大，代表運動幅度越大。可看作是一種時域特征，包含了豐富的運動信息。為了能將光流特征更好地應用到自編碼器的方法中，還對其設計進行了如下的處理。

1.3.1絕對值處理

考慮到大部分情況下，物體正、反的運動方向并不作為異常行為判定的條件，而光流特征中，正方向運動的像素點具有正值，反之為負。為排除數值正負帶來的影響，保留單純的運動幅值信息，本文對視頻中每一幀的x、y兩個方向的光流結果都進行了絕對值處理，再按照式(1)將其歸一化到[0,255]區間。

(1)

在分別得到x、y方向的結果后，將兩者相加，為了防止像素點值超過255。再次對結果使用式(1)進行歸一化。

1.3.2背景融合處理

光流幀的背景是黑色的。將這樣的光流幀與原視頻幀計算重建誤差時，會引入額外的偏差，對結果造成負面影響。所以在融合光流和網絡重建結果之前，先對光流幀進行背景融合，計算公式為式(2)，得到帶背景的光流幀(Optical Flow with Background,OFB)。

令It為視頻序列中第t幀，It+1為視頻序列中第t+1幀，通過它們計算得到的光流幀為dt，與It對應，那么：

(2)

式中：x、y分別表示像素點在二維光流中的橫縱坐標；n是設定的閾值。OFBt是進行了背景融合的第t幀光流幀，為二維矩陣。

圖3是光流幀以及融合背景的光流幀OFB的結果。左邊第一列為原視頻中的幀，第二列為歸一化后的光流幀，第三列為融合背景的OFB結果。最后將連續的T幀OFB堆疊為一個體，稱為OFBC(OFB Cubic)。與網絡分支的重建結果進行融合。

(a) UCSD Ped1數據集

(b) UCSD Ped2數據集

(c) Avenue數據集圖3 三個數據集光流幀和OFB的結果

1.4 規律性得分計算

在模型訓練完成后，可以得到每一組輸入堆疊視頻幀的重建結果，按照一定的比例融合網絡分支的重建結果和時域分支結果。模型的重建誤差由式(3)計算。

(3)

式中：e(t)是第t幀的重建誤差；I(t)是輸入視頻中第t幀；fw是3D自編碼器訓練得到的權重函數；OFBC是堆疊的OFB幀；a、b是取值范圍屬于[0,1]的融合因子，兩者之和為1，其大小表征了網絡分支結果和時域分支結果在最終結果中的影響。

在得到重建誤差之后，規律性得分Sr(t)可以表示為：

Sr(t)=1-Sa(t)

(4)

(5)

式中：Sa(t)是視頻序列中第t幀的規范化異常得分；min(e(t))和max(e(t))分別代表整個視頻序列中最小和最大的重建誤差e(t)值。

2 實 驗

2.1 數據集

本文在三個經典的異常行為檢測數據集上評估本文的方法：Avenue、UCSD Ped1、Ped2。

UCSD數據集[15]包含兩個子集Ped1和Ped2，分別對應兩個不同的場景。訓練視頻僅包含正常行為，每個測試視頻中至少有一個異常行為。Avenue[16]所有的訓練視頻短片僅包含正常行為——行人正常行走，而每個測試視頻中包括奔跑、拋擲、閑逛等異常行為。

2.2 模型的訓練

網絡分支的輸入為連續16幀堆疊形成的視頻塊，采用朝后堆疊的方式。對于在堆疊過程中，超出最大幀編號的幀，本文使用視頻序列的最后一幀替代。網絡以最小化重建誤差為訓練方向。Batch Size設置為8。

針對UCSD數據集，本文使用Ped1和Ped2的訓練數據共同訓練一個網絡；針對Avenue，本文僅使用了Avenue的訓練數據來訓練網絡。

時域分支只需要輸入光流結果，不需要額外的訓練。本文使用Liu[17]提供的源碼，在MATLAB中計算光流，所有參數均設定為源碼中的默認值。OFBC同樣采用朝后堆疊的形式，與原始視頻幀的堆疊相同。

2.3 分支結果的融合

1.4節中，融合因子a、b的大小無法預先確定，不同的組合會產生不同的結果。在實驗中通過枚舉的方式搜尋效果最好的組合。在[0,1]區間，a按照步長0.05從0逐漸增加到1，b等于1-a。

2.4 結果和分析

本文從定性和定量兩個角度進行評估。定性分析主要通過計算重建誤差圖來展示異常行為檢測的效果。定量分析則通過使用不同的閾值求得多組對應的真陽性率(True Positive Rate,TPR)和假陽性率(False Positive Rate,FPR)，繪制ROC曲線，計算曲線下面積(Area Under Curve,AUC)以及等誤差率(Equal Error Rate,EER)。AUC越接近1，EER越接近0，代表效果越好。

2.4.1重建誤差結果分析

圖4中展示了在三個數據集上，2D AE、網絡分支、雙分支融合結果的重建誤差對比，重建誤差使用灰度圖進行展示。為了使結果具有可比性，2D AE使用的與網絡分支完全相同的輸入以及相同的網絡結構——僅將網絡分支3D AE中的卷積操作、池化操作從三維更改為二維。圖中左邊一列是原始幀，包含至少一個異常行為，由實線框標記,正常行為由虛線框標記，第二列是2D AE的重建誤差，第三列展示的是網絡分支的重建誤差，最后一列展示的是雙分支融合結果的重建誤差。顏色越暗代表此處重建誤差越低，而越亮則代表重建誤差越高。異常行為區域重建誤差越大，正常行為區域重建誤差越小代表檢測效果越好。

(a) UCSD Ped1數據集

(b) UCSD Ped2數據集

(c) Avenue數據集圖4 重建誤差結果對比

從圖4中前三列結果可以看到，無論是正常行為還是異常行為，2D AE都具有較大的重建誤差，在圖4第一、第二行中尤其明顯。這表明二維操作并不能很好地對視頻中的正常和異常行為進行區分。一個可能的原因是，二維卷積操作難以獲取時域上的信息，輸入視頻塊中的時域信息反而影響了2D AE提取物體空域特征的能力，導致行人等難以被重建。相比于2D AE，雖然3D AE對異常行為的重建誤差有所減小，但正常行為的重建誤差也得到了有效的降低。

時域分支所采用的OFB能夠更突出整個視頻中運動幅度相對較大的區域，對正常行為和異常行為在速度指標上進一步區分，達到增加異常行為重建誤差的效果；通過在光流結果中引入原始幀背景，一定程度修正自編碼器對背景、站立的行人等正常區域的重建結果——減少它們的重建誤差。因此能夠提高異常區域和正常區域的區分度。在圖4中最后一列，展示了雙分支融合后與原始視頻幀的誤差。可以看到相比于前兩列的結果，時域分支的加入確實進一步提升了區分度。

2.4.2幀級別結果分析

時域分支提取的主要是視頻中的時域運動特征。網絡分支通過3D卷積操作，能同時獲取物體在空域形態上的特征以及部分時域上的運動信息。因此兩個分支融合后，時域分支能夠向網絡分支提供額外的運動信息，而網絡分支能夠為時域分支提供一定的空域信息，達到兩個分支互相補充提升檢測效果的目的。

本文分別測算了三個數據集上網絡分支的ROC曲線、時域分支的ROC曲線、兩個分支融合后的ROC曲線。結果如圖5所示。融合的結果(點橫線)比網絡分支(實線)以及時域分支(短橫線)的AUC值都要更高，說明兩個分支融合確實產生了互補的效果。另外圖5中直接融合普通光流(點線)情況下的曲線下面積AUC結果低于50%。這說明使用OFB的方法在提供運動信息的同時，能夠避免像普通光流一樣對檢測結果產生負面影響。相比于普通光流，使用OFB的時域分支是一種更適合與自編碼器結合的方法。

(a) UCSD Ped1

(b) UCSD Ped2

(c) Avenue圖5 三個數據集上的ROC曲線結果對比

本文與一些方法在Ped1、Ped2、Avenue上進行了結果的對比，結果展示在表1中。

表1 幀級別AUC和EER結果對比(%)

續表1

在Ped1上，本文有最高的AUC；在Ped2中，僅有文獻[13]的AUC結果略高于本文，高0.7百分點，EER上本文與其并列為最低，為15.5%。而在Avenue數據集上，本文有最高的AUC 82%以及最低的EER 24.8%。表1中3D AE指只使用網絡分支，2D AE則是將網絡分支的卷積、池化操作更改為二維，本文方法則是將網絡分支與時域分支進行了融合。3D AE分支的結果在三個數據集上都優于2D AE結果，而加入時域分支后，能與網絡分支互補，進一步整個提升模型的結果。

2.4.3像素級別結果分析

目前大部分工作的像素級別評價指標按照Mahadevan等[15]所提出的為標準。其定義如下：當40%及以上的異常像素被算法正確標記，則認為當前幀被正確檢測為異常。

在這種標準下有兩個不足之處：

(1) Mahadevan等提出以40%為判斷閾值，但并未說明設置為40%的依據。

(2) 某些情況下算法正確檢測出了40%以上的異常區域像素的同時，也誤標記了其他正常區域，會簡單認定為正確定位出異常(True Positive)，而沒有將正常區域被誤判納入考慮。如圖6所示，圖中異常的小汽車被正確標記，但正常行人也被誤標。

圖6 異常區域正確標出、正常區域誤標的情況

針對這兩點，本文提出一種改進的像素級別檢測指標。對模型輸出結果中所有像素點逐個進行異常與否判斷，像素值大于閾值的像素點，判定為異常，小于閾值的則判定為正常。再將結果與Ground Truth進行比較。設置多組閾值，繪制ROC曲線，得到AUC以及EER。AUC越接近1、EER越接近0代表效果越好。

使用改進的指標不再需要經驗性地設置40%這樣的取值，且即使出現了圖6中的情況，被誤標的正常像素個數最終會影響ROC曲線結果。

在這種像素指標下，本文在UCSD上的結果如表2所示。由于光流結果具有一定的前景提取能力，所以加入時域分支能夠提升整個模型的異常定位能力。從圖4最后一列的結果以及表2中的結果均可以看出模型對異常行為具有一定的定位能力。

表2 UCSD數據集上的像素級別AUC和EER(%)

3 結 語

為更好地利用視頻異常行為檢測中視頻的時域信息，本文提出一個雙流分支網絡結構用來提取視頻的特征并進行異常行為檢測，并從定性和定量的角度進行了對照，證明雙分支的網絡結構能夠更好地利用視頻的時域信息，互為補充，提升整體的檢測精確度。此外，提出一種改進的像素評價指標，能夠一定程度彌補之前像素指標的不足。未來的工作主要是進一步提升模型在各個數據集上幀級別和像素級別的檢測精度。同時提升模型的實時性。