基于三維模型的行人徘徊行為檢測算法

朱夢哲 馮 瑞

(復旦大學計算機科學技術學院 上海 201203)(上海視頻技術與系統工程研究中心 上海 201203)

基于三維模型的行人徘徊行為檢測算法

朱夢哲 馮 瑞

(復旦大學計算機科學技術學院 上海 201203)(上海視頻技術與系統工程研究中心 上海 201203)

針對不同應用場景給出了不同的徘徊定義，并提出一種基于三維模型的行人徘徊行為檢測算法。該方法利用融合前景檢測和行人檢測的方法獲取目標，并利用攝像機標定信息和圖像信息建立目標的三維模型。針對傳統算法無法獲取目標真實軌跡的問題，利用三維模型對分塊目標跟蹤方法進行改進，以提取目標的真實運動軌跡。根據不同的應用場景對目標軌跡進行分析，判斷目標是否有徘徊行為。實驗結果表明，該方法能夠獲得較為準確的目標三維模型，得到目標的真實運動軌跡，從而魯棒地、快速地檢測目標的徘徊行為。

智能視頻監控 徘徊行為檢測 三維重建 行人跟蹤 行人檢測 前景檢測

0 引 言

行人徘徊行為檢測是行人異常行為檢測的一種，其利用視頻分析相關技術對特定區域進行監控，檢測目標是否有徘徊行為，以執行相應的預定程序。行人徘徊行為檢測目前主要應用于公共場所的安防監控以及商業場所的行為分析領域。隨著社會發展、城市智能化的推進，行人徘徊行為檢測的應用場景將會逐漸增加，其重要性也會日益提高。

本文提出了一種基于三維模型的行人徘徊行為檢測算法。該方法利用行人檢測和前景檢測相融合進行目標檢測，并利用攝像機標定信息構建行人的三維模型，采用分塊目標跟蹤技術獲取三維坐標系中目標的運動軌跡，最后對軌跡進行分析，檢測目標是否存在徘徊行為。

1 徘徊行為定義

目前學術界對于徘徊行為并沒有標準的定義，國外研究者Bird[1]、Ard?[2]、Zin[3]、Arroyo[3]均利用滯留時間對徘徊進行定義。國內研究者瞿中等[5]利用軌跡曲率變化對徘徊行為進行定義，劉強等[6]利用網格對軌跡進行分類以確定徘徊行為。這些研究工作并未考慮不同場景的需求以及環境的變化，或者只考慮了非常單一的情形。在實際應用中，不同場景有著不同的需求，同時環境也存在巨大差異，圖1展示了不同場景中可能的徘徊行為運動軌跡。

圖1 不同場景中可能的徘徊行為軌跡

1.1 高危場景

金庫、軍事禁區等場景，安全要求極高，一旦有目標進入監控區域即認為是可疑目標。鑒于可能存在的誤判情況，定義徘徊行為：目標在監控區域內滯留時間超過閾值。如圖1(a)所示，其中虛線框為監控區域。

利用時間分析對高危場景的徘徊行為進行判定。令tent為目標進入監控區域的時間，tcur為當前時刻，若tcur-tent>tth且目標未離開監控區域，則判定目標有徘徊行為。其中tth為滯留時間閾值。

1.2 人流密集場景

廣場、車站等人流密集場景，徘徊行為檢測主要用于安防監控。行人、游客等目標再正常情況下會直奔目的地，其運動軌為直來直去，偶有停留。而對于小偷、黃牛、危險品攜帶者等可疑人員，通常情況下處于漫無目的，等待機會伺機下手的狀態，因而其運動軌跡呈現彎彎曲曲、雜亂無章的狀態。圖1(c)和(d)顯示了該場景中目標發生徘徊行為時的運動軌跡。

該場景中人流量大，目標眾多，目標跟蹤效果會受到影響。將監控區域劃分成多個子區域，可以降低對跟蹤效果的要求，為了計算便捷，劃分成矩形子區域，如圖2所示。若目標在某個子區域中滯留時間超過閾值，則認為該區域是目標的一個滯留點，如圖2中黑點所示。

圖2 監控區域劃分

可疑目標在活動中，需要等待機會尋找作案地點，因此會有多個滯留點。對滯留點進行統計，若目標滿足式(1)，則判定其有徘徊行為：

N1>Nth1

(1)

其中N1表示滯留點數目，Nth1為閾值。由于可能存在目標在較小區域內反復走位進行踩點的情況，即同一子區域內可能會有多次滯留。因此對于滿足式(2)的目標，也認為其有徘徊行為：

N2>Nth2

(2)

其中，N2為存在兩次或兩次以上滯留的滯留點數目，Nth2為相應的閾值，同時Nth2滿足式(3)：

Nth1>Nth2

(3)

1.3 室內場景

教室、超市等室內場景，徘徊行為檢測主要有安防監控和行為分析統計兩類應用。對于安防監控，主要目標是小偷、危險品攜帶者等可疑人員。對于行為分析統計，主要目標是對特定商品感興趣的消費者。該場景范圍較小，通常有大量的障礙物，因此目標運動范圍小，軌跡會有往復，如圖1(d)所示。

由于場景中目標的可運動范圍受限，可以對目標的運動軌跡模式進行分析，判斷目標行為是否屬于徘徊。分析圖1(d)中的運動軌跡，目標運動出現往復時會形成一個拐點，如圖3中黑色實心點所示。

圖3 拐點示意圖

若目標第t幀的軌跡點Pt滿足式(4)，即軌跡在點Pt的方向角變化大于90度，則Pt為拐點。

(4)

統計目標運動過程中產生的拐點數量，若其超過閾值NP，則判定目標存在徘徊行為。

2 三維模型

2.1 攝像機成像原理

攝像機將三維現實世界映射到二維圖像平面中，其成像原理可以由針孔模型來描述。三維空間中一點Q(X,Y,Z)，其在圖像平面的對應點為q(x,y)，點Q和點q滿足式(5)：

(5)

其中fx和fy分別為攝像機在不同方向上的焦距，cx和cy分別為焦點在不同方向上的偏移。R、t分別旋轉矩陣和平移向量。

通過對攝像機進行標定[7]可以得到fx、fy、cx、cy、R、t等相機參數，進而得到圖像與現實世界的對應關系。

2.2 三維目標模型

由成像原理可知，圖像平面內的一點對應三維坐標系中多個點，傳統方法需要通過距離傳感器或雙目攝像機來獲取目標的三維信息，而實際應用中，多數場景并無此條件。本文利用攝像機標定信息和目標已知信息從圖像幀中獲取目標的三維信息，無需特殊設備，適合于多數場景。

令(Xf,Yf,Zf)、(Xh,Yh,Zh)分別表示三維坐標系中目標足部和頭部中心的坐標，(xf,yf)、(xh,yh)為其在圖像中的對應點。連接(Xf,Yf,Zf)、(Xh,Yh,Zh)得到直線Φ，假設圖像中的目標均為直立姿態，則Φ應當近似垂直于地面，即有式(6)的關系成立，如圖4(左)所示：

(6)

其中H為目標身高。若已知圖像中點(xf,yf)、(xh,yh)，根據式(5)、式(6)的對應關系，可以求得目標身高H。人體的寬度(肩寬)L無法直接由圖像信息得到，本文采用人體比例對其進行估計，取L=0.22H[8]。

由于攝像機的視角各異，圖像中目標區域的寬度不定，采用圓柱體模型近似描述人體。其中圓柱體的高度由身高H確定，直徑由肩寬L確定。為了便于計算，用L×L×H的棱柱體模型代替圓柱體模型，如圖4(右)所示。目標在圖像平面中的大小可以利用三維模型估算出。為了便于計算，將棱柱體頂點映射到圖像平面中，取其外接矩形作為目標在成像平面中的像區域。

圖4 目標三維模型

2.3 重建三維目標模型

三維模型建立的關鍵是要獲取圖像中足部和頭部中心的坐標，本文利用目標的前景圖獲取該信息。

近似認為點(xf,yf)在其外接矩形的底邊上，即滿足式(7)：

(7)

令Nl表示前景圖中目標外接矩形內直線φ′左側的前景點數，Nr為φ′右側的前景點數，則xf可由式(8)確定。

(8)

當足部(xf,yf)確定后，頭部(xh,yh)可由式(9)確定。

(9)

其中Pfg表示目標的前景點集合。

3 徘徊檢測算法

徘徊行為檢測算法的主要流程如圖5所示，算法首先提取待監控的目標，然后對目標進行跟蹤，最后利用跟蹤得到的目標軌跡判斷是否有徘徊行為，根據判定結果執行預定的程序。

圖5 徘徊行為檢測算法流程

3.1 目標檢測

融合前景檢測和行人檢測的信息對目標進行檢測，可以有效減少誤檢情況。前景檢測采用ViBe算法[9]，其具有快速初始化的能力，同時擁有較好的檢測性能。行人檢測采用Dollar等[10]提出的快速行人檢測方法。

3.2 目標跟蹤

本文采用分塊跟蹤方法對目標進行跟蹤方法[11]，并利用三維模型對其進行改進。相對于傳統的方法，基于三維模型的跟蹤方法存在以下一些特點：

(1) 解決尺度變化問題。傳統跟蹤方法對圖像中目標的尺度變化較為敏感，劇烈的尺度變化極易導致跟蹤丟失。基于三維模型的跟蹤通過目標的三維信息計算得到目標在圖像中的大小，從而有效地解決尺度變化的問題。

(2) 提高預測效果。傳統跟蹤方法利用運動模型對軌跡進行預測以提高跟蹤效果。但傳統跟蹤方法無法獲得目標在現實世界的真實運動軌跡，因而軌跡預測效果較差。基于三維模型的跟蹤方法可以利用目標真實運動軌跡進行預測，以提高跟蹤效果。

3.2.1 軌跡預測

對運動軌跡進行預測，可以在目標匹配失敗的情況下保持追蹤器的效果[12]。令目標的軌跡點Pt由目標足部的三維坐標表示，則目標在幀間的位移Dt可以由式(10)給出：

Dt=Pt-Pt-1

(10)

利用式(11)給出的二次指數平滑預測方法對行人軌跡位移進行預測：

(11)

(12)

3.2.2 分塊匹配

分塊匹配能夠有效解決部分遮擋的問題。對目標三維模型沿z方向進行分塊，使得每一分塊的中心在直線Φ上，如圖6(左)所示。分塊的數目根據由實際場景決定，由于目標腿部的變化較大，因此匹配時忽略腿部分塊。

圖6 分塊匹配示意圖

由于目標的三維模型已知，搜索區域半徑r可以通過行人的行走速度進行估算。其定義由式(13)給出，其中sp為行人的平均行走速率，fps為圖像幀率，λ為調節參數。

(13)

(14)

分塊圖像的相似度利用Lab顏色直方圖的Bhattacharyya距離來描述。分別對每個分塊的a和b顏色通道建立直方圖，并對其進行歸一化，則其相似度由式(15)定義。

(15)

3.2.3 行人檢測結果修正

3.2.4 加權向量中值濾波

(16)

最后，目標當前幀的位置Pt由式(17)給出：

Pt=Pt-1+Dt

(17)

3.3 徘徊檢測

基于三維坐標系劃分監控區域，利用基于三維模型得到的真實運動軌跡進行徘徊行為檢測，可以有效減少軌跡誤差導致的誤檢情況。

3.3.1 高危場景

判斷目標的軌跡點Pt是否在監控區域內，若目標進入監控區域，則記錄時刻tent，由1.1節的方法進行徘徊行為判定。

3.3.2 人流密集場景

對監控區域進行子區域劃分，子區域數量由實際場景決定。利用3.3.1節的方法對每個子區域進行滯留時間判斷，記錄目標的滯留子區域數N1、N2，利用1.2節的方法進行徘徊行為判定。

3.3.3 室內場景

由于圖像幀中存在許多的噪聲，同時提取的目標軌跡會有許多的抖動，實際獲得的目標軌跡可能存在許多偽拐點，如圖7中灰色點所示。偽拐點會導致對目標行為產生誤判，利用聚類方法可以對拐點進行過濾[14]。

令Cli為當前處理的類別，對于每一個軌跡點Pt，若其到Cli中心cti的距離小于閾值Rth，則將Pt加入到Cli中，同時更新Cli的中心點cti。更新公式如式(18)，其中NCli為Cli中軌跡點數目。

(18)

若Pt到Cli中心cti的距離大于Rth，則建立新的類別Cli+1，將Pt加入到Cli+1中,同時將Cli中的所有軌跡點由中心點cti代替，如圖7所示。

圖7 偽拐點過濾

利用過濾后的軌跡點以及1.3節中的方法，可以對目標進行徘徊行為判定。

4 實驗分析

本文實驗平臺為Microsoft Windows 7 Home Premium 64 bit，Microsoft Visual Studio Community 2013， Matlab R2010a， OpenCV 2.4.0。硬件配置為Intel?CoreTMi3-380M CPU，4.00 GB DDR3 1 066 MHz RAM。

選取PETS2009數據集(http://www.cvg.reading.ac.uk/PETS2009/a.html)以及自建數據集對算法進行測試。其中PETS2009數據集對應的相機內部參數和外部參數由數據集給出，自建數據集的內外參數由人工標定得到。

4.1 三維模型

表1 三維重建實驗結果

表1中各分類的定義如下：

當φ基本擬合或存在輕微偏差時，三維模型能夠近似擬合目標模型，此時目標跟蹤效果較好；而當偏差較大時，三維模型擬合效果較差，可能會影響目標跟蹤效果。由表1可知，大部分情況下，算法都能較為準確地建立三維模型。

偏差主要是由于目標前景圖被其他景物干擾，如圖8(左)，或被其他目標干擾所產生，如圖8(右)。同時，目標非直立姿態也會導致偏差的產生。

圖8 PETS2009數據集處理結果

4.2 目標跟蹤

將本文的目標跟蹤算法與FragTrack[13]、TLD[15]跟蹤方法進行對比測試，圖9為PETS數據集第137、165、213幀的跟蹤結果，第一行為FragTrack跟蹤算法，第二行為TLD跟蹤算法，第三行為本文的跟蹤算法。在第165幀時，FragTrack與TLD跟蹤方法均有所偏離，而第213幀時FragTrack方法已經失效，TLD方法則跟蹤到了另一個目標。

圖9 三維軌跡測試

傳統跟蹤算法對尺度變化較為敏感，因而會導致跟蹤失效。本文算法利用目標的三維模型對其在圖像中的大小進行估計，因而能夠有效解決尺度變化的問題。另外，本文的跟蹤方法對目標進行分塊跟蹤，并利用預測步驟對目標位置進行估計，能有效地解決遮擋問題。

表2展示了三種算法的跟蹤效果，可以看出FragTrack與TLD算法的誤差均較大，同時標準差也較大，跟蹤效果不穩定。本文的跟蹤算法具有較好的跟蹤效果，同時也比較穩定。

表2 三維重建實驗結果

利用特殊場景，對跟蹤得到的三維軌跡精度進行測試。場景中鋪有60×60 cm2的瓷磚，如圖10(左)中的黑色直線描出。以圖中橫向為x軸，縱向為y軸建立坐標系。

令目標沿著與y軸平行的瓷磚邊沿運動，此時目標x軸坐標值為定值，可測定x方向上的誤差，如圖10(中)所示，其結果由圖11給出。同理，令目標沿著與x軸平行的瓷磚邊沿運動以測定y方向上的誤差，如圖10(右)所示，其結果由圖12給出。

圖10 三維軌跡測試

圖11 x方向上誤差

圖12 y方向上誤差

分析圖11和圖12，目標軌跡在各方向上的波動較小，能夠較好地擬合真實軌跡。x方向平均誤差在12 cm左右，y軸誤差在20 cm左右。這是由于當目標沿著與x軸平行的直線運動時，攝像機捕捉到目標側影，此時算法找到的目標足部點實際在目標的一側。而當目標沿著與y軸平行的直線運動時，攝像機捕捉到的是目標背影，此時算法找到的足部點與真實足部點較為接近。實際應用中，監控區域的劃分需要考慮各方向上的系統偏差，從而得到目標的精確位置。

4.3 徘徊檢測

對數據集進行分類，對各個場景進行測試，實驗結果如表3、表4和表5。其中高危場景選取了25個視頻，其中15個有徘徊行為。人流密集場景選取了30個視頻，其中18個有徘徊行為。室內場景選取了32個視頻，其中14個有徘徊行為。

表3 高危場景

表4 人流密集場景

表5 室內場景

對高危場景，由于場景簡單，因而本文與對比方法效果均較好。但當場景中出現遮擋以及尺度變化時，本文方法能夠更為有效地處理。

對人流密集場景，涉及目標較多，且目標運動范圍較大，因而檢測效果受到影響。本文的方法通過三維模型擬合以及軌跡預測，能夠有效地提高跟蹤效果，以應對目標之間的重疊、遮擋的情況，與對比方法相比，能夠有效提高檢測精度。

對室內場景，劉強基于熵的方法對軌跡判斷較為嚴格，因而能夠有效檢測徘徊行為，但其對于軌跡擾動容忍度較低，因而誤檢率較高。瞿中的方法跟蹤效果較低，同時未對軌跡中的抖動進行處理，因而檢測準確率較低。本文的方法通過三維模型進行跟蹤，同時利用聚類方法消除軌跡抖動，因而檢測精度得到提高。

5 結 語

本文分析了不同場景的需求，針對不同的需求給出了相應的徘徊定義，有較強的適應性。針對傳統徘徊檢測算法的不足，本文提出了基于三維模型的徘徊行為檢測算法，利用攝像機標定信息以及圖像已知信息構建目標三維模型。基于三維模型的分塊跟蹤方法能夠有效解決目標在圖像幀中尺度變化的問題，同時提高軌跡預測的準確性。利用三維坐標系中的真實軌跡對目標行為進行判斷，極大地提高了檢測的準確性。實驗表明本文提出的基于目標跟蹤的徘徊行為檢測方法能夠較為有效地、快速地對目標的徘徊行為進行監控。

本文建立的三維模型依賴于圖像中目標直立姿態的假設，在大部分場景中該假設成立，但對于某些場景中的目標，由于其姿態不定，易導致檢測和跟蹤的失效。改進目標的三維模型以適應不同的目標姿態是本文今后的工作之一，同時提高目標較多場景中的檢測準確率也是今后的努力方向。

[1] Bird N D, Masoud O, Papanikolopoulos N P, et al. Detection of loitering individuals in public transportation areas[J]. IEEE Transactions on Intelligent Transportation Systems, 2005, 6(2): 167-177.

[3] Zin T T, Tin P, Toriu T, et al. A Markov Random Walk Model for Loitering People Detection[C]//2010 Sixth International Conference on Intelligent Information Hiding and Multimedia Signal Processing. IEEE Computer Society, 2010: 680-683.

[4] Arroyo R, Yebes J J, Bergasa L M, et al. Expert video-surveillance system for real-time detection of suspicious behaviors in shopping malls[J]. Expert Systems with Applications, 2015, 42(21): 7991-8005.

[5] 瞿中, 張寧. 運動目標軌跡網格化分析與徘徊行為檢測研究[J]. 微電子學與計算機, 2014, 31(4): 60-63,67.

[6] 劉強, 羅斌, 翟素蘭, 等. 基于離散曲率熵的徘徊行為檢測[J]. 計算機工程與應用, 2013, 49(18): 164-166,216.

[7] 李健, 陳長明. 基于OpenCV的改進兩步法攝像機標定[J]. 計算機應用與軟件, 2010, 27(3): 104-106,109.

[8] 何敬東. 人體比例和在體育動作簡圖中的應用[J]. 中國學校體育, 2003(5): 69-70.

[9] Barnich O, Droogenbroeck M V. ViBe: A universal background subtraction algorithm for video sequences[J]. IEEE Transactions on Image Processing, 2011, 20(6): 1709-1724.

[10] Dollar P, Appel R, Belongie S, et al. Fast Feature Pyramids for Object Detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 36(8): 1532-1545.

[11] Adam A, Rivlin E, Shimshoni I. Robust Fragments-based Tracking using the Integral Histogram[C]//Computer Vision and Pattern Recognition, 2006 IEEE Computer Society Conference on. IEEE, 2006: 798-805.

[12] Führ G, Jung C R. Robust Patch-Based Pedestrian Tracking Using Monocular Calibrated Cameras[C]//2012 25th SIBGRAPI Conference on Graphics, Patterns and Images. IEEE Computer Society, 2012: 166-173.

[13] Dihl L, Jung C, Bins J. Robust Adaptive Patch-Based Object Tracking Using Weighted Vector Median Filters[C]//2012 25th SIBGRAPI Conference on Graphics, Patterns and Images. IEEE, 2011: 149-156.

[14] Lin Q, Zhang D, Huang X, et al. Detecting wandering behavior based on GPS traces for elders with dementia[C]//Control Automation Robotics & Vision (ICARCV), 2012 12th International Conference on. IEEE, 2012: 672-677.

[15] Kalal Z, Mikolajczyk K, Matas J. Tracking-Learning-Detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2012, 34(7): 1409-1422.

[16] 劉曉明, 張起貴. 基于靜態場景下的單目標徘徊檢測及跟蹤方法[J]. 微型機與應用, 2010, 29(13): 26-29.

DETECTION ALGORITHM OF PEDESTRIAN WANDERING BASED ON 3D MODEL

Zhu Mengzhe Feng Rui

(DepartmentofComputerScience,FudanUniversity,Shanghai201203,China)(ShanghaiEngineeringResearchCenterforVideoTechnologyandSystem,Shanghai201203,China)

Different wandering definitions are proposed for different application scenarios, and a pedestrian wandering behavior detection algorithm based on 3D model is proposed. The method uses the method of fusion foreground detection and pedestrian detection to obtain the target, and uses the camera calibration information and the image information to establish the 3D model of the target. Aiming at the problem that the traditional algorithm can not obtain the true trajectory of the target, the 3D model is used to improve the segmented target tracking method to extract the true trajectory of the target. According to the different application scenarios to analyze the target trajectory to determine whether there is wandering behavior of the target. The experimental results show that the proposed method can obtain accurate three-dimensional model of the target and obtain the true trajectory of the target, so as to detect the wandering behavior of the target robustly and quickly.

Intelligent video surveillance Pedestrian wandering detection 3D reconstruction Pedestrian tracking Pedestrian detection Foreground detection

2016-02-17。國家科技支撐計劃項目(2013BAH09F01);上海市科委科技創新行動計劃項目(14511106900)。朱夢哲，碩士生，主研領域：視頻圖像處理。馮瑞，研究員。

TP391.54

A

10.3969/j.issn.1000-386x.2017.04.026