一種基于目標檢測的快速視頻取證方法

（1.重慶郵電大學 計算機科學與技術研究所， 重慶 400065； 2.西南交通大學 信息科學與技術學院， 成都 610031）



摘要：

當前計算機取證調查人員面臨的一個難題是，如何自動、準確、快速地從海量視頻數據中獲取與案件相關的證據或線索。針對丟棄或遺留物品事件的監控視頻，提出了一種適合于海量視頻數據的快速取證方法，并通過實驗證明了該方法的有效性。

關鍵詞：視頻取證； 背景減法； Adaboost； SIFT

中圖分類號：TP391文獻標志碼：A

文章編號：10013695(2009)03108903



Fast digital video forensics method based on object detection



ZHOU Hong1， WANG Guoyin1，2， CHEN Long1，2， WANG Wei1



(1.Institute of Computer Science Technology， Chongqing University of Posts Telecommunications， Chongqing 400065， China； 2. School of Information Science Technology， Southwest Jiaotong University， Chengdu 610031， China)



Abstract:

It is very difficult for the digital forensics investigators to find out the evidences and clues of the case from huge numbers of video data automaticaly， accuratly and quickly. This paper focused on the digital video about drop or left object in public places，and presented a fast method which was suitable for massive video data forensics. The experimental result proves the effectiveness of the method.

Key words：digital video forensics; background subtraction; Adaboost; SIFT



近年來，隨著各個國家對公共場所的安全監控力度的加大，針對視頻文件的取證技術已經逐漸成為一個研究的熱點。A. Nusimow[1]將自動視頻取證列為智能視頻技術在國家安全應用中的重要組成部分。本文主要討論的是對于丟棄或遺留物品事件（此類事件常見于公共場所制造爆炸和在公共場所進行非法交易等案件中）視頻記錄的調查取證。案件具體要求描述如下：

在公共場所發現了一個來歷不明的物體，調查者要通過現場采集到的物體圖片到視頻監控記錄中去查找它在哪些時間段出現過，以確定該物體是被誰、通過什么樣的方式遺留在現場。本文選取的待查找對象為此類事件中常見的背包。

解決這一問題的關鍵技術是目標分類與目標識別，判斷待檢測視頻幀序列中是否出現過該物體。R. Y.D.Xu等人[2，3]將運動目標檢測與基于SIFT（scale invariant feature transform）[4，5]、PCASIFT[6]算法的目標識別結合應用到教學視頻和自動視頻拍攝的特定目標跟蹤上，達到了1.5 fps的處理速度。然而，僅以普通監控攝像機每秒拍攝15幀圖像的頻率來計算，1h的視頻就包含了54 000幀圖像；并且隨著數字影像設備拍攝質量高清化，視頻圖像的分辨率將越來越高，幀頻也越來越快，無論單幅圖像還是整體視頻需要處理的數據量都將會越來越大。因此，對于可能長達幾十個小時甚至成百上千個小時的監控視頻來說，這個速度仍然滿足不了取證調查中總是希望能夠盡快發現目標或線索的實際需求。同時從文獻[2，3]中筆者發現，此方法的絕大部分時間花費在基于SIFT或PCASIFT的目標識別環節。為了減少檢測時間以適合視頻取證的需要，本文在基于背景減法[7]的運動目標檢測和基于SIFT算法的目標識別環節中加入基于Adaboost算法[8]的物體類別檢測環節。在進行目標識別之前，先用Adaboost算法判斷該運動目標中是否含有背包類物體。如果有，則進一步用SIFT算法判斷該圖像中的背包是否為遺留在現場的目標背包；如果沒有，則不作處理。實驗證明本文提出的視頻取證方法具有較快的檢測速度和較好的準確程度，能夠較好地滿足實際需求。

1相關算法

常用的運動目標檢測算法主要有背景減法、相鄰幀差法、光流法等。相對于相鄰幀差法和光流法而言，背景減法具有較快的運算速度，同時提供的特征數據較為完整，有利于快速、準確地視頻取證。

Adaboost算法是Freund[8]提出的一種Boost分類算法，其目標是自動地從弱分類器空間中挑選出若干個弱分類器整合成一個強分類器。2001年，Viola等人[9]提出基于Harrlike特征的瀑布型Adaboost目標檢測算法；R. Lienhart等人[10，11]對這一方法進行了擴展，增加了傾斜特征的定義，將此方法擴展到全旋轉縮放情況下的目標檢測。相對于支持向量機等其他分類方法而言，該算法速度快，可以用于實時檢測，且正確識別率與之相當。因此本文選用Adaboost算法來實現背包類物體的類別檢測。

SIFT是D.G.Lowe [4，5]提出的一種極其優秀的采用局部不變特征點來對圖像進行目標識別和目標檢測的算法。該算法在尺度空間尋找極值點，并提取位置尺度旋轉不變量，對旋轉、尺度縮放、亮度變化保持不變性，對視角變化、仿射變換、局部遮擋、噪聲也保持一定程度的穩定性，同時具有獨特性好、多量性和易擴展性等特點。在人臉識別、目標檢測、目標識別和圖像拼接等方面得到了廣泛的應用。

2快速視頻取證方法

如圖1所示，本文提出的快速視頻取證方法主要由運動目標檢測、物體類別檢測和目標識別三大部分組成。

2.1運動目標檢測

基于背景減法的運動目標檢測的主要步驟為:a）對固定攝像機拍攝的視頻圖像序列進行計算，得到一個場景的靜態背景初始化模型。b)將當前幀與靜態背景圖像相比，從當前幀中將背景剔除，從而得到前景運動目標。考慮到背景可能發生變化，所以算法在實現的過程中將適時地自動實現背景更新。c)再次利用新的背景模型來確定前景目標，以期得到更精確的結果。圖2為本文采用的背景減法運動目標檢測效果圖。

2.2物體類別檢測

在物體類別檢測環節，本文選用了基于Harrlike特征的Adaboost算法。其關鍵步驟如下：

a）圖3為被稱為積分圖像（integral image）的圖像描述方式。矩形D的像素和可由四個點的積分圖像值來計算。其中，點1處的積分圖像值即為矩形A中所有像素之和，點2處為AB之和，點3處為AC之和，點4處為ABCD之和，則矩形D區域內的像素和可由4+1-(2+3)來計算。

b)利用Adaboost算法從大量的實際數據中抽取少量的反映圖像本質的屬性特征。該分類器具體學習算法如下：

給定樣本圖像(x1，y1)，…，(xn，yn)，其中

yi=0反例樣本1正例樣本

分別對yi=0，1初始化權值ω1，i=1/2m，1/2l。其中m和l分別為反例的個數和正例的個數。對t=1，…，T，

(a)歸一化權重ωt，i←ωt，j/∑nj=1ωt，j，使ωt成為一個概率分布；

(b)對每個特征j，訓練一個使用單個特征的分類器hj，計算對于ωt的誤差εj=∑iωi|hj(xi-yi)|；

(c)選擇具有最小誤差εt的分類器ht；

(d)更新權重ωt+1，i=ωt，iβ1-eit。

若樣本xi被正確分類，則ei=0；反之ei=1，βi=εt/1-εt。

得到最終的強分類器：

h(x)=1∑Tt=1αtht(x)≥（1/2）∑Tt=1αt0其他

其中ατ＝log（1/βt）。

c)將強分類器級聯在一起，構成更復雜的瀑布型分類器。

本文首先從網絡上采集了大量背包正面圖像，并從中挑選出774幅作為正例樣本；另外選取了500幅風景、建筑等不包含背包的圖像作為反例樣本。經過彩色到灰度的色彩轉換、大小歸一化等預處理之后，再通過上述步驟訓練得到分類器，最后將該分類器用來檢測從視頻幀序列中提取出來的運動目標子圖像中是否含有背包類物體。檢測效果如圖4所示，圓圈標示的是分類器識別出來含有背包的區域，(a)為圖像中存在多個背包的情況，（b）為針對實際視頻幀序列中的運動目標子圖像的情況。

2.3目標識別

本文選用SIFT算法來實現目標識別。 SIFT特征向量具體生成過程如下：

對于一幅二維圖像I(x，y)，其尺度空間函數可由尺度可變高斯函數G(x，y，σ)與其卷積得到，即

L(x，y，σ)=G(x，y，σ)×I(x，y)(1)

其高斯差分尺度空間函數D(x，y，σ)為

D(x，y，σ)=(G(x，y，kσ)-G(x，y，σ)）×I(x，y)=L(x，y，kσ)-L(x，y，σ)(2)

然后生成空間極值點，再利用關鍵點鄰域像素的梯度方向分布特性為每個關鍵點指定梯度幅度m(x，y)和方向θ(x，y)，使算子具備旋轉不變性。

m(x，y)=(L(x+1，y)-L(x-1，y))2+(L(x，y+1)-L(x，y-1))2(3)

θ(x，y)=a#8226;tan 2[(L(x，y+1)-L(x，y-1)/（L(x+1，y)-L(x-1，y)）](4)

至此，圖像的關鍵點已檢測完畢。每個關鍵點有三個信息：位置、所處尺度、方向，由此可以確定一個SIFT特征區域。接下來為每個關鍵點生成128維的SIFT特征向量。當兩幅圖像的SIFT特征向量生成后，采用關鍵點特征向量的歐式距離來作為兩幅圖像中關鍵點的相似性判定度量。

3實驗結果與分析

實驗采用的視頻資料均為AVI格式，分辨率為640×480。其具體內容說明如下：

a）視頻一人攜帶目標背包進入視頻，然后放下離開；

b)視頻二人攜帶目標背包先后三次出現在鏡頭中，然后離開；

c)視頻三人在不同環境下攜帶目標背包出現，然后放下離開；

d)視頻四人攜帶與待查找目標不同的背包出現，然后放下離開。

對每一段視頻，以現場采集到的背包圖像作為要識別的目標，并通過以下三種方案進行對比實驗：

a）SIFT算法直接檢測視頻幀序列中是否含有目標背包。

b)先用背景減法對視頻作運動目標檢測，獲取感興趣區域，再針對感興趣區域作SIFT目標識別。

c)即本文提出的檢測方法，先用背景減法對視頻作運動目標檢測，獲取感興趣區域，再用先訓練好的Adaboost分類器檢測感興趣區域中是否含有背包類物體。若有則用SIFT算法進行目標識別；若沒有，則不作處理。

實驗結果如表1、2所示。表1為三種方案的時間比較，表2為方案c)在各視頻中分別檢測到的物體幀數。

表1三種方案消耗的時間比較

s

方案名視頻一視頻二視頻三視頻四

方案a)3 051.694 156.391 770.173 062.10

方案b)559.03949.39283.18617.07

方案c)359.91611.05157.34363.03

由表1可知，方案c)在時間上的花費比前兩種方案要少，這主要是由于方案c)采用Adaboost算法訓練的分類器對視頻幀序列進行了預篩選，過濾掉了大部分不含有背包的運動目標，減少了SIFT算法需要匹配的視頻幀數量，從而節約了時間。

由表2可知，對于視頻一、二、三，不論目標在視頻中出現一次或多次，還是在不同的環境中出現，方案c)都能準確定位出目標背包在視頻中出現的片段信息，為進一步地調查取證提供有效的信息，能夠滿足視頻取證的實際需求。對視頻四，方案c）檢測到的視頻幀數為0，可見，對于屬于同一類別的不同目標，方案c)具有很好的分辨能力，這是由SIFT算法本身的特性所決定。但是，方案c)檢測到含有背包視頻幀的數量遠小于實際包含背包的視頻幀的數量，這是由于目前通過Adaboost算法訓練的分類器能較好地檢測正面的背包，但對于在視頻幀中出現的部分側面的背包還不能很好地識別。

4結束語

本文提出了一種基于海量視頻數據的快速目標檢測方法，并將其應用到視頻取證領域中。通過實驗證明，本方法具有較強的分辨能力，能夠較為快速、準確地定位出目標在視頻中出現的位置。同時，本方法也可以目標跟蹤相結合，先用本方法查找到目標在視頻中出現的位置，再采用視頻跟蹤算法來獲取目標在視頻中的行為等相關信息。但是，當目標的視角和形狀發生較大變化時，本方法檢測的準確度將會受到影響；另外，目前的檢測目標較為單一。在接下來的工作中，筆者將進一步考慮如何解決上述問題。

參考文獻：

[1]NUSIMOW A.Intelligent video for homeland security applications[C]//Proc of the 7th Technologies for Homeland Security. Washington DC: IEEE Computer Society， 2007:139144.

[2]XU R Y D， JIN J S， ALLEN J G. Framework for script based virtual directing and multimedia authoring in live video streaming[C]//Proc of the 11th International Multimedia Modelling Conference. Washington DC:IEEE Computer Society， 2005:427432.

[3]XU R Y D， ALLEN J G， JIN J S. Framework for multimedia lecture system using realtime video object event detection and scripting[C]//Proc of Internet and Multimedia Systems and Applications. Piscataway:IEEE Press， 2005:349352.

[4]LOWE D G.Object recognition from local scaleinvariant features[C]//Proc of the 7th IEEE International Conference on Computer Vision. Washington DC:IEEE Computer Society， 1999:11501157.

[5]LOWE D G. Distinctive image features from scaleinvariant keypoints[J]. International Journal of Computer Vision，2004，60(2):91110.

[6]KE Yan， SUKTHANKAR R.PCASIFT: a more distinctive representation for local image descriptors[C]//Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington DC:IEEE Computer Society， 2004: 506513.

[7]MCLVOR A M. Background subtraction techniques[C]//Proc of Image and Vision Computing. 2000:155163.

[8]FREUND Y. Boosting a weak learning algorithm by majority[J]. Information and Computation，1995，121(2):256285.

[9]VIOLA P， JONES M. Rapid object detection using a boosted cascade of simple features[C]//Proc ofIEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington DC:IEEE Computer Society， 2001:511518.

[10]LIENHART R， MAYDT J. An extended set of haarlike features for rapid object detection[C]//Proc of International Conference on Image Processing. Piscataway:IEEE Press， 2002:900903.

[11]LIENHART R， KURANOV A， PISAREVSKY V.Empirical analysis of detection cascades of boosted classifiers for rapid object detection[C]//Proc of the 25th German Pattern Recognition Symposium. Berlin: Springer，2003:297304.