一種基于事件檢測的視頻取證方法

（1.重慶郵電大學 計算機科學與技術研究所 重慶 400065; 2.西南交通大學 信息科學與技術學院 成都 610031）

摘 要：目前計算機視頻取證的一個重要目標是如何快速準確地在海量視頻中定位犯罪事件發生的時刻和地點，最終形成視頻證據。針對復雜背景條件下丟棄或拾起等事件的監控視頻，提出一種基于光流特征和形狀特征結合的事件檢測方法。通過實驗證明了該方法在視頻事件分析取證中的有效性。

關鍵詞：視頻取證； 事件檢測； 光流匹配； 形狀匹配

中圖分類號：TP391文獻標志碼：A

文章編號：1001-3695(2009)05-1710-03

Digital video forensics method based on event detection

WANG Wei1 CHEN Long1，2 ZHOU Hong1

(1.Institute of Computer Science Technology Chongqing University of Posts Telecommunications Chongqing 400065 China; 2.School of Information Science Tecnology Southwest Jiaotong University Chengdu 610031 China )

Abstract:A most important goal of computer video forensics is how to find out the crimes events from the huge numbers of video data rapidly and accurately and then form the video evidence. This paper focused on the discard and pickup event surveillance video of complexity background proposed a video event detection approach based on flow feature and shape feature match. The experiments on human actions in a real entertainment of video event analysis forensics is effective.

Key words：video forensics; event detection; flow matches; shape matches

針對國際國內日益增多的恐怖事件，早期的視頻監控已不能完全滿足快速反應以及快速取證的需求。智能視頻內容分析已經成為了視頻監控取證系統的一個重要的組成部分，在安全領域視頻圖像取證也已經成為了不可缺少的功能^[1]。目前世界上每一分鐘都產生著大量的視頻數據，從而也需要更多的人來監視檢查這些視頻。從這些海量的數據中自動獲取有用的信息，以便于發生特定事件時能夠快速報警并作出響應。而在事后調查取證中快速檢索到發生的特定事件，并提供特定事件發生的證據，是目前亟待解決的問題。本文主要是討論對于公共場合丟棄或者交換物品事件（此類事件常出現在公共安全領域）的檢測與調查取證。

案例描述如下：在人流密集的公共場所（如火車站、機場大廳等），旅客將自己隨身攜帶的包裹等物品丟棄，然后由另一個人來拾起。這是一類反常事件，容易發生恐怖襲擊以及非法交易等犯罪事件。智能監控取證系統需要實時檢測該類事件作出適當的報警響應，并記錄是誰在什么時間如何將該包裹丟棄并交換的過程，以便后期取證調查，然后對丟包人員進行跟蹤記錄。

目前視頻事件檢測是國內外研究熱點，美國計算機協會多媒體分會已經將公共安全監控領域的視頻事件檢測作為2008年五大挑戰之一^[2]，主要是為了解決視頻底層特征與人類高層語義之間的鴻溝問題。本文的目標是使事件檢測方法能夠應用在視頻取證領域中，對在公共場合等復雜的背景條件下感興趣的事件識別，因此算法需要具有較強的魯棒性，能適應在不同角度，不同場景的情況下準確識別。本文工作的主要貢獻在以下兩方面：a）提出了針對目前視頻監控取證領域的事件檢測報警響應與視頻分析取證方法；b）將目前常用的基于形狀（輪廓）特征與基于光流特征的事件檢測結合起來，使基于事件檢測的視頻取證方法具有較強的適用性。本文針對該類事件提出一種采用光流特征和形狀特征匹配相結合的事件檢測方法，適用于監控視頻中的事件快速調查取證。

1 相關研究工作

常用的事件檢測方法可以大致分為以下幾類：基于空間形狀匹配的方法(如背景差分的人體輪廓匹配方法)、基于光流的方法(如使用光流生成的運動域匹配的方法)、基于HMM的視頻事件檢測方法、基于感興趣點的檢測方法^[3]，以及傳統的采用支持向量機的事件檢測方法等。

基于形狀匹配的方法是將一段視頻序列當做時間空間上的三維對象，視頻中不同的事件根據形狀的不同來進行區分。Bobick等人^[4]提出一種將時空特性應用到運動歷史圖像中去，使這類方法根據事件執行者的形狀不變性的原理來識別事件，而具有計算效率高和魯棒性好的特點。該算法在靜止背景或在簡單背景的情況下具有很好的性能，但是在實際的應用環境中，事件的發生總是發生在復雜環境下或背景變化的環境中。同時，該形狀匹配的方法需要對視頻進行有效的背景建模。

基于光流匹配的方法是在未分割的視頻中直接使用時空特性，即計算視頻中運動對象的水平和豎直方向上的光流，再與運動模板進行動作匹配來識別事件的發生。文獻[5~7]采用了與圖像處理中常用的積分圖像類似的方法對水平和豎直方向的光流訓練出一個級聯的瀑布型事件分類器，這種方法檢測效率高。但是需要大量的訓練樣本(包括正例與反例)來訓練分類器，這是實際應用中最大的一個限制。Shechtman等人^[5]提出一種基于光流關聯匹配的事件檢測方法，直接計算模板與待檢測視頻的光流的匹配程度。給定一段事件視頻模板，可以在視頻中檢測出類似模板中的事件動作。

HMM在語音識別和手勢識別中已經有很好的應用，而且HMM對隨機時序數據性能良好，近年來有很多研究人員將其應用到視頻圖像的對象識別，事件識別等領域中。文獻[8~10]利用HMM對足球比賽視頻中的語義進行描述、識別，使用Viterbi算法對足球比賽中的隨機事件進行檢測，取得較好的效果。但是如果需要提高足球事件的檢出率，則必須增加更多的預定義狀態遷移，這樣會增大訓練計算的復雜度。以上幾種方法均存在自身的優點與缺點，以及適用的領域。本文在其研究基礎上將基于形狀和光流結合的事件檢測方法在視頻取證中的應用，充分利用視頻中的運動和形狀特性，提高了視頻取證調查的工作效率。

2 基于事件檢測的視頻取證方法

本文提出的視頻事件檢測方法主要由光流特征計算、形狀模板匹配和積分光流特征匹配三個部分組成。本章將具體介紹其算法的實現細節。

2.1 光流特征的計算

給定一段視頻片段，目的是判斷在該視頻片段中是否發生某類事件。這與在一張靜止的二維圖像中的對象識別技術類似。本文方法就是需要將二維的對象識別技術擴展為三維的事件識別方法。研究表明絕大多數梯度信息都是可以從光流特征中獲取。因此首先利用opencv平臺中的基于塊匹配的光流計算方法來計算視頻中前后兩幀的光流，獲得水平和豎直方向上的光流分別用Vx(x，y，t)和Vy(x，y，t)來表示每一像素在(x，y)位置以及時間t時的光流值，如圖1所示。

2.2 光流特征模板匹配

在光流的模板匹配過程中，本文采用一種Shechtman等人提出的相關匹配距離算法來計算事件模板中的光流與目標視頻的光流特征匹配距離。

將水平和豎直方向上的光流劃分為7×7×3的方塊Pi，定義Pi=(px方塊，可以認為每個小方塊中只有一個運動。要檢測視頻中的光流方塊P1與模板視頻中方塊P2是否具有相同的運動，需要先將兩個方塊光流的Harris矩陣重疊起來，即式中對角線上第i個的元素值，所以det(M12)=λ1#8226;λ2#8226;λ3。而對矩陣行列式進行恒等變換是一個耗時的工作，因此使用了Frobenius范數來近似代替

兩個方塊之間的匹配距離的值為

式(3)中的e是為了保證分母不為0。為了計算視頻V與模板P之間在位置l(x，y，t)的匹配距離，必須計算V和P之間重疊若干幀中所有mij的和，這樣就得到出了模板T和視頻V的光流匹配距離:

2.3 形狀匹配

形狀匹配矩陣算法是計算模板與視頻之間重疊部分的交叉區域距離，從而確定事件是否發生。給定兩個形狀A和B，在理論上它們之間的交叉距離為｜A∪B\\A∩B｜。由于視頻與模板之間的重疊，必須將視頻進行分割為K個小部分如圖2所示，V=∪ki=1Vi。

定義模板T與視頻V之間在l的距離為

d(T，V，l)=∑ki=1d(T，Vi，l)(5)

其中:d(T，Vi，l)=｜T∩Vi｜if｜T∩Vi｜＜Vi｜/2

Vi-T∩Vi｜  otherwise。

這個距離矢量等價于選擇一個最佳重疊區域計算交叉區域距離。故一系列的視頻幀中質地紋理相同的區域會被最佳分割后，計算出的將是一個較低的匹配距離。要降低這種分割粒度的敏感性，使用一種標準化的匹配距離，即

dN(T，V;l)=d(T，V;l)/ET[d(#8226;，V;l)](6)

式(6)中分母表示的是匹配距離在視頻V在模板T的范圍內的平均值，通過計算在視頻V中所有可能匹配模板T的范圍內的匹配值，即

ET[d(#8226;，V;l)]=∑ki=11/2｜Vi｜∑｜Vi｜-1j=1｜Vi｜jmin(j，｜Vi-j｜)(7)

需要注意的是，這個公式中只有一個功能函數｜Vi｜，在計算匹配距離時只需計算這個值，因此可以大大減少計算時間。

2.4 事件匹配檢測

前面兩節描述的方法為本節的形狀和光流匹配結合的事件匹配檢測方法奠定了基礎。如果僅使用形狀匹配的方式進行事件檢測，在視頻或圖片中使用的是物體的輪廓特征，容易混淆形狀相似的物體。例如對于雙手抱胸與鼓掌，從前方由形狀來判斷是匹配的，但是由于沒有考慮運動行為，報錯率較高。同樣，在某些情況下僅使用光流匹配的方法不能完全區分一些事件。例如正對鏡頭的拳擊和鼓掌兩個動作在水平方向上光流的匹配距離就很小，可能會列為相同的動作。由分析可知基于光流匹配的方法和基于形狀匹配的方法均存在各自的缺陷，因此本文提出了基于形狀匹配與光流距離的結合計算來減少誤報率，可以部分抵消兩種方法獨自使用時的缺陷。同時筆者會在下一章中通過實驗證明這種方法在不需要背景建模的情況下是有效而實用的。

在這種事件檢測方法中，首先根據一個在簡單背景下的獨立事件實例提取出該事件的運動形狀模板T；然后在被檢測的視頻V中滑動該視頻模板片段同時計算出在位置l(x，y，t)的相關匹配距離d(V，T，l)，由式(4)(6)的結果使用一個線性函數來計算事件的匹配距離：

d(V，T，l)=(1-α)dN(T，V;l)+αdF(T，V;l)(8)

其中α表示形狀和光流匹配距離的相關權重，在本文中所有的實驗都按照χ=0.2這個實驗中的最佳值進行計算。計算出匹配距離后，使用一個設定的最佳閾值0.3來決定，匹配距離小于該閾值時就作為發生了一個候選的事件。如圖3所示，視頻片段的匹配距離示意圖中存在三個pickup事件發生。

3 實驗結果與分析

本文所有實驗數據均采用AVI格式視頻，分辨率為320×240，幀率為25 fps。實驗環境為Intel E2160，內存1GB，Windows XP。為了驗證本文的算法與單獨使用形狀匹配或者單獨使用光流匹配方法的優點，實驗中使用的實驗視頻數據均采用手持相機拍攝的視頻，并存在有人走動或者車輛的復雜環境下的情況。具體使用實例視頻分類信息如下：實驗共采用的11段AVI視頻，分別拍攝于廣場、馬路邊、足球場等，共有8個不同的事件執行者都做同樣的pickup事件。同樣，為了保證全面檢驗算法的實用性，拍攝角度與鏡頭之間的偏移分布在0~45°。對每一段視頻都以檢測是否發生pickup事件為目標，均采用三種方法計算匹配程度，即單獨使用形狀匹配和單獨使用光流匹配的方法，以及本文的采用形狀與光流結合的方法。對應圖3中所示的匹配距離示例檢測的效果如圖4所示。

本文使用查準率A與查全率R來比較三種方法對于pickup事件檢測的效果，如表1所示。其計算方法如下：

A=Nc/(Nc+Nw)，R=Nc/(Nc+Nm)

其中：Nc為準確匹配事件數目；Nw為誤報事件數目；Nm為漏報的事件數目。

由表1可知，本文的光流與形狀匹配結合的方法比單獨使用光流匹配和形狀匹配的方法在查準率與查全率都有較大的提高。同時通過實驗統計可知雖然光流匹配可以增加對攝像頭偏移角度的適應性，但是并不代表能夠檢測出任何角度的事件。本文的實驗統計結果如圖5所示。由圖5可知本文的方法對鏡頭偏移角度并不是十分敏感。同時由于結合了光流和形狀匹配的優點，本方法在復雜背景環境下的檢測查準率和查全率都有提高。

4 結束語

本文提出一種結合形狀匹配和光流匹配的事件檢測方法，并將其應用在視頻智能監控和視頻事件取證分析應用中。具有不需要大量的正例和反例樣本來訓練事件檢測器，對于簡單事件能夠快速、準確地定位事件發生的地點和時間的優點。同時對于復雜背景的環境下具有一定的魯棒適應性。在視頻取證調查過程中，可以使用本方法與目標識別和跟蹤算法結合起來幫助調查取證人員在海量視頻數據中快速分析事件發生的情況以及形成相應的證據。本文強調的是事件匹配過程以及在實際應用環境下的魯棒性與適用性。

目前本文工作的一個不足就是目前的事件模板是在一個單一的事件視頻中提取的，因此對事件實施者以不同的速度執行同樣事件的檢測時有一些影響。同時使用了兩種方法的結合在計算效率上有所下降。在下一階段的研究工作中，重點是如何使用多個事件實例合成一個事件模板來提升系統的實用性以及如何表示和檢索檢測出的事件語義信息來提升調查人員的工作效率。

參考文獻：

［1］NUSIMOW A. Intelligent video for homeland security applications[C]//Proc of the 7th Technologies for Homeland Security. Boston:[s.n.]，2007:139-144.

[2]TREC. Guidelines for the TRECVID 2008 evaluation[EB/OL].(2008). http://wwwnlpir.nist.gov/projects/tv2008/.

[3]LAPTEV I LINDEBERG T. Spacetime interest points[C]//Proc ofICCV.Washington DC:IEEE Computer Society 2003:432-439.

[4]BOBICK A F DAVIS J W. The recognition of human movement using temporal template[J]. PAMI，2001，23(3):257-267.

[5]SHECHTMAN E IRANI M. Spacetime behavior based correlation[J].PAMI，2001，23(2):726-731.

[6]KE Yan，SUKHANKAR R HEBERT M. Efficient visual event detection using volumetric features[C]//Proc of ICCV. Washington DC:IEEE Computer Society 2005:166-173.

[7]MICHAEL J J PAUL V. Robust realtime face detection[J]. International Journal of Computer Vision，2004，57(2):137-154.

[8]YOU Junyong LIU Guizhong. An HMM based analysis framework for semantic video events[J]. Journal of Electronics 2007，24(2):271-275.

[9]BAI Liang LAO Songyang ZHANG Weiming et al. A semantic event detecion approach for soccer video based on percetption concepts and finite state machines[J].WIAMIS，2007，28(3):30.

[10]LIU Huayong HE Tingting ZHANG Hui. Event detection in sports video based on multiple feature fusion[C]//Proc of FSKD. Washington DC:IEEE Computer Society 2007:446-450.