一種基于時空興趣點和光流法的行人檢測方法

王明輝，余 強

(西華大學數學與計算機學院，四川 成都 610039)

行人檢測是計算機視覺領域的一個有趣的研究方向。對于行人檢測，現有的序列圖像運動檢測方法有3種：背景差分法、光流法和圖像差分法。背景差分法在背景變化不大或者背景簡單的情況下，是一種有效的方法，但是在背景變化大或者背景復制的情況下，就需要進行大量的背景更新，則不是很有效。圖像差分法是直接通過求取前后2幀或者3幀的逐個像素點的灰度差，進而通過閾值提取出目標。其缺點是在照明條件變化劇烈的場景下，會產生誤判，并且由于計算速度的關系，可能產生”鬼影”(需要去除)。光流法的原理是通過計算，形成一個圖像的速度矢量場，當有物體運動時，根據運動物體形成的速度矢量與周圍的速度矢量的不同，從而識別出運動物體。其優點是光流不僅僅攜帶了運動物體的運動信息，而且還攜帶了有關物體三維結構的豐富信息，能夠在對場景信息知道較少的情況下，檢測出運動目標；其缺點是要進行大量的光流計算，在具體應用中準確率較差。

為解決經典光流法(即先用幀差法)在應用中準確率不高的問題，本文提出一種時空興趣點的目標檢測方法。首先提取圖像序列的時空興趣點，然后通過時空興趣點求得到檢測區域，最后計算檢測區域的光流。這不僅簡化了光流的計算量，而且能提高運動檢測的準確率。

1 理論基礎

1.1 幀間差法原理

幀間差法是目前最常用的目標檢測方法，通過前后2幀比較，將有差異的點集判定為目標。它的基本思想是將當前圖像與事先存儲或者實時得到的背景圖像相減，差值大于一定閾值的像素點就被認為是運動目標上的點，否則被認為是背景點。具體的算法如下。

設Ft(Y,Cr,Cb)表示t時刻的圖像幀，Bt(Y,Cr,Cb)為已知前1幀的圖像。差分圖像

Dt(Y,Cr,Cb)=Ft(Y,Cr,Cb)-Bt(Y,Cr,Cb)

(1)

設分割閾值為Th，并對Dt(Y,Cr,Cb)二值化

(2)

由式(2)即可得前景目標。這種方法得到的前景對于動態場景的變化，如光照和外來無關事件的干擾等特別敏感。為此，本文使用時空興趣點算法。

1.2時空興趣點原理

時空興趣點是一種新的運動表示方法。文獻[1]將Harris角點檢測的思想擴展到時空域，得到一種檢測時空興趣點的方法，并基于此表示時空運動事件。

首先進行尺度變換，將視頻變化表示為尺度空間

L(x,y;σ1;τ1)=G(x,y;σ1;τ1)*I

(3)

式中：σ1是空間域的尺度；τ1是時間域的尺度；G是高斯核函數，為

(4)

根據時空域中的方法，定義時空角點函數

(5)

按照泰勒公式展開，可以得到矩陣

(6)

也可以得到Harris角點算子在時空域的表達形式，即對M求行列式det(M)和求軌跡ktrace3(M)，有

R=det(M)-ktrace3(M)=λ1λ2λ3-k(λ1+λ2+λ3)

(7)

式中：R為對應的局部最大值，即視頻中對應的極值點；λ1、λ2、λ3為矩陣的3個特征值。

1.3 光流法原理

光流是一種有效的運動表示方式，通常以圖像亮度模式的運動進行定義。下面給出光流場的基本方程及改進方法。

設t時刻圖像點M(x,y)的灰度值為P(x,y,t)，經過Δt后,點運動到(x+Δx,y+Δy),對應的灰度值也變為P(x+Δx,y+Δy,t+Δt),設灰度沒有發生改變，就有

P(x+Δx,y+Δy,t+Δt)=P(x,y,t)

(8)

將式(8)左邊用泰勒公式展開，經過簡化和略去二次項，得到

(9)

在實際場景中，光流場基本方程的灰度不變假設往往不能成立，造成的原因可能有遮擋和光線變化等，只有當灰度變化較大時，基本方程才能成立；因此，可以通過一些方法產生較大的灰度差。幀差光流法通過求幀差得到灰度差，而時空興趣點光流法通過時空興趣點與非興趣點的比較，得到灰度差。改進后的光流場方程為

(10)

當然，后來人們在基本光流場方程的基礎上提出了許多計算方法和約束條件[2-6]，而本文用傳統的微分方法實現光流計算。

1.4 時空興趣點和光流法的檢測

幀間光流法由于采用幀間差分的辦法，對于環境的依賴性比較大，經常因為前后2幀的環境變化，產生了許多實際可以不用進行光流計算的點，加大了光流的計算量，同時也產生了一些因為環境變化引起的點，提高了誤檢率；然而本文首先通過時空興趣點法提取一些點集，而不進行整幀運算，減少了計算量，然后通過2個一維Gabor濾波器，濾掉一些因為環境變化引起的點，使剩余的點能比較準確地描述運動物體，最后再使用光流法進行行人檢測，提高了準確率。

2 本文算法原理及實現

本文算法的總流程圖如圖1所示。

圖1 本文算法總流程框圖

2.1 提取時空興趣點

時空興趣點的檢測，從本質上來說就是通過對圖像中每個像素點或者位置進行強度函數的極大值濾波，得到興趣點，從而用局部信息來表示全局信息。為克服經典檢測方法強度函數在空間域上變化不敏感，檢測速度慢的缺點，本文使用了1對正交的Gabor濾波器對時間域進行濾波，使用高斯濾波器[2]對空間域進行濾波。

首先進行空間域濾波，將視頻序列每幀的每個點使用亮度f(x,y)表示，然后用空間的高斯核函數g(x,y,σ2)對每個點進行過濾，得到過濾后的圖像亮度函數L(x,y,σ2)，為

L(x,y,σ2)=g(x,y,σ2)*f(x,y)

其中

(11)

然后對過濾后的圖像采用1對正交Gabor濾波器進行時間域濾波，即對圖像分別sin濾波和cos濾波后，再求平方和。最后計算出每個點的強度，為

R(t,ω,τ)=(I*f*hev)2+(I*f*hod)2

(12)

其中

hev(t,ω,τ)=-cos(2πtω)e-t2/τ2

(13)

hod(t,ω,τ)=-sin(2πtω)e-t2/τ2

(14)

式中：τ表示濾波器的時域尺度；R表示像素點的強度；參數ω與Gabor窗口大小有關。計算視頻序列f的每點的R值，然后選定窗口大小對R進行極大值濾波，就可以得到時空興趣點的位置。圖2是在ω=0.625、τ2=6.25、δ2= 5、極大值濾波窗口大小為5 的條件下對實際拍攝場景下的75、550和750幀的興趣點集的檢測結果和幀差法的檢測效果圖。

視頻序列1 幀差法結果1 對應的興趣點集1

視頻序列2 幀差法結果2 對應的興趣點集2

視頻序列3 幀差法結果3 對應的興趣點集3

圖2 原視頻序列、幀差法結果和對應的興趣點集

2.2 目標區域圖像的分割

運動目標區域的提取是將興趣點集組成固定大小的模型與預定的閾值范圍模型進行比較，屬于模型像素的像素點即為目標圖像。設Di(x,y)為檢測出的興趣點，pi(Y,Cr,Cb)為輸入興趣點集合組成的模型。按式(15)計算即可提出運動目標。

(15)

其中，min、max為模型最大、最小的矩形范圍。

本文對2.1節過濾后的興趣點集合，求最大外接矩形，然后與給定的閾值進行比較，得到檢測區域[7]。圖3是視頻序列的第75幀、第550幀和第750幀的檢測區域圖。

視頻序列1 對應的區域1

視頻序列2 對應的區域2

視頻序列3 對應的區域3

3 實驗結果與分析

為檢驗測試方法的效果，本文實際拍攝了一段宿舍門口行人進出的視頻并利用本文描述的方法對給定感興趣區域內經過的行人進行實時統計。實驗中，實際進入人數為30，出去人數為27。視頻中每幀的圖像大小為720×576。實驗平臺為Visual C++2008和Opencv2.0。圖4為最終的檢測結果。

圖4 幀差光流和本文算法對應實驗結果

為定量比較2種算法的性能差異，使用綜合評價指標F測度衡量算法的檢測性能。計算公式為

(16)

式中：IN表示在實驗中實際檢測到的進入行人個數；IN1表示在實驗中正確的進入行人個數；OUT表示在實驗中實際檢測到的出去行人個數；OUT1表示在實驗中正確的出去行人個數。表1給出了2種算法的準確率。由表可知：光線的變化和樹木的稍微搖動，對檢測的準確度有一定的影響；本文算法的檢測準確率比傳統幀差法的檢測準確率高。

表1 2種算法的準確率比較

影響本文方法準確率的分析如下：發生多檢的原因是由于在計算區域內，對于區域內的統計，是間隔25幀進行統計的，這就意味當有人在這25幀時間內長期呆在給定區域中，就會誤判為多個人；出現少檢的原因在于視頻中個別人的移動，滿足了區域分割假設，如2個人光流方向和大小基本相近，認為是1個人。

4 結束語

本文提出了一種基于光流法的行人檢測方法。該方法繼承了光流法的特點，同時采用時空興趣點減少了需要計算光流的點，提高了檢測準確率。本方法可以移植到DSP中，用來提高實時性，對于較為復雜的場景下具有不錯的魯棒性；但本方法仍存在一些不足，如對于行人跟蹤和統計方法上較為簡單，影響了準確性。在實時性要求不是很高的時候，可以考慮用時空興趣點加上HOG特征進行跟蹤，這樣準確性上可能要高些。對于采取更好的跟蹤方法來提高檢測的準確率和將算法應用于實際的硬件中是下一步工作的任務。

[1]Laptev I. On Space-Time Interest Point[J]. International Journal of Computer Vision,2005,64(2/3):107-123.

[2] Dollar P, Rabaud V, Cottrell G, et al.Behavior Recognition Via Sparse Spatio-Temporal Features[C]//Visual Surveillance and Performance Evaluation of Tracking and Surveillange,2nd Joint IEEE International Workshop.[S.l.]:IEEE Press，2005:65-72.

[3] 戴斌，方宇強，孫振平，等.基于光流技術的運動目標檢測和跟蹤方法研究[J].科技導報，2009,27(12)：55-61.

[4] 田崢,徐威,楊志邦，等.智能監控系統中的運動目標檢測算法[J].計算機工程,2011,37(4):1-3.

[5] Song Xuehua,Chen Jingzhu. A Robust Moving Objects Detects Detection Based on Improved Gaussian Mixture Model[C]//Proceedings of International Conference on Artificial Intelligence.[S.l.]:IEEE Press,2010：568-572..

[6] Guo Zhang,Yang Li. A New Approach toward Object-based Change Detection[J].Science China Technological Sciences，2010,53:105-110.

[7] Rodriguez M D, Ahmed J, Shah M.Action Mach: A Spatio-temporal Maximum Average Correlation Height Filter for Action Recognition[C] //Proceedings of CVPR .[S.l.]:[s.n.] ,2008 :1-8.