復雜場景下目標跟蹤方法研究

胡 帥, 華焦寶, 顧英雙, 崔震宇

（1. 中國船舶重工集團公司第七二六研究所， 上海 201108；2. 上海博物館， 上海 200003）

復雜場景下目標跟蹤方法研究

胡 帥1, 華焦寶2, 顧英雙1, 崔震宇2

（1. 中國船舶重工集團公司第七二六研究所， 上海 201108；2. 上海博物館， 上海 200003）

在采用背景減除法提取運動目標的基礎上，利用人體的方向梯度直方圖HOG特征，采用線性支持向量機SVM分類器，檢測出人體區域。采用粒子濾波方法，進行人體跟蹤，研究遮擋問題。針對長時間遮擋問題進行分析，對方向梯度直方圖HOG特征結合粒子濾波的方法進行改進。通過可信度，來判斷當前跟蹤人體，決定是否進行目標關聯，從而提高人體被遮擋情況下跟蹤的準確性。

復雜場景；目標跟蹤；粒子濾波；梯度方向直方圖；人體檢測；顏色直方圖

0 引言

人體檢測與跟蹤技術是視頻圖像處理過程中研究熱點，其中人體跟蹤建立在人體檢測的基礎上，由于跟蹤耗時比檢測耗時短，所以在跟蹤技術越來發揮成為研究的熱點。

楊戈與劉宏等提出多線索融合算法進行目標跟蹤，該算法采用自適應MeanShift結合目標顏色特征，同時通過幀間差分來進行目標預測，該算法在部分遮擋情況下，表現出了良好的性能[7]。Min Li等提出采用HOG特征進行人體檢測，并采用粒子濾波的方法采用此HOG特征中頭肩的?形狀特征進行人體跟蹤[8]。此方法在背景復雜及目標部分遮擋上取得了好的效果。park等采用分水嶺分割的方法得到人體輪廓，可以在人體被部分遮擋下進行跟蹤，但處理速度較慢[9]。Kass等提出 Snake模型[10]通過能量函數，動態調整自身形狀，使其與目標輪廓保持一致。由于其對初始輪廓進行跟蹤，對于運動物體的快速變化的情況，不能有效進行跟蹤。杜小麗提出一種基于貝葉斯估計的增強粒子濾波的跟蹤算法來實現單攝像機下的人體跟蹤，取得了好的效果[11]。李文輝等人提出一種基于均值偏移粒子濾波的自適應跟蹤算法[12]。實驗證明，在出現遮擋或人體運動方向改變的情況下，該算法比傳統均值偏移粒子濾波方法要好。

但簡單場景下的人體跟蹤已經研究比較成熟，對于光照不均勻，人體遮擋的復雜場景，跟蹤技術有待提升。從解決復雜場景下長時間遮擋問題的角度出發，在HOG人體檢測技術的基礎上，結合粒子濾波的跟蹤方法進行人體跟蹤。

1 基于HOG特征的人體檢測方法

基于梯度方向直方圖（Histograms of Oriented Gradients，簡稱為HOG）的人體檢測算法由法國Dalal和 Triggs對人體檢測分析得出[1]。由于衣服顏色信息的不穩定性，其通過圖像中人體邊緣信息作為表達人體的穩定特征，并訓練基于此特征（HOG特征）的線性SVM人體分類器，進行人體檢測。此方法由于要窮舉檢測窗口，比較耗時，受到快速人臉檢測思想（采用積分圖快速計算 Haar特征）的影響[2]，F.Porikli等提出快速計算HOG特征的方法[3]。其思想是引用積分直方圖進行特征提取過程的加速。通過區域和表示積分圖，也就是每個像素點（x,y）處所對應的左上方的所有像素點處的值，用公式表達如下：

其中，Sum(x,y)表示像素點(x,y)處的積分圖。在實際應用中,Sum(x,y)的獲取通過增量的方式計算得到：

同時上式滿足：

實現圖像積分圖的計算時，只需要遍歷圖像一次，即可完成。如果需要計算cell內某方向（40~60度）的特征值，只需要找到按cell四個坐標位置（F、E、C、D）積分圖，利用val=F+C-D-E的值來求此cell方向特征值即可。而在計算block的值時，不受block大小影響，僅需要訪問四次積分圖就可以完成特征的計算。

2 基于粒子濾波的HOG人體跟蹤方法

粒子濾波（Particle Filter），簡稱PF，是一種基于蒙特卡羅來近似模擬貝葉斯濾波的一種方法，通過一組帶權值的粒子，來預測運動目標的位置。粒子濾波變種非常多，常見的有Isard等提出的條件密度傳播方法[4]，簡稱為 CONDENSATION算法（Conditional Density Propagation），Unscented Particle Filtering[5]等。其中，貝葉斯概率框架、序列重要性采樣和重采樣是粒子濾波研究的重要組成部分。

2.1 基于粒子濾波的人體跟蹤

考慮到人體運動過程中速度及加速度等因素，應采取高階自回歸過程（Auto-Regressive Process）動力學模型，本文采用二階ARP模型：

其中，系數A、B、C、D，是四個常數，即運動模型的確定性分量，D為偏移向量，其它三個為系數矩陣，可以通過樣本訓練得到，wt為t時刻標準正態隨機向量，xt為t時刻人體狀態向量，包含當前區域中心的坐標、區域面積的高度及寬度。通過t-1、t-2時刻的狀態向量來預測t時刻的狀態向量。

在人體跟蹤過程中，主要是計算候選區域與目標模板的相似度，具體的說就是用當前候選預測的粒子集的各個人體區域與上一時刻得到的人體跟蹤區域，通過比較兩者的加權顏色直方圖，進而得到候選區域與跟蹤人體的相似度。相似度的計算過程如下：

首先，得到匹配雙方顏色直方圖，顏色直方圖指將目標區域的顏色空間分割成若干個小的顏色空間，每個小區域構成直方圖的 bin，如取分割區域個數m，已知目標候選矩形區域的狀態向量為x，為了使運動目標的顏色模型更加準確，對于顏色直方圖進行加權處理，使距離目標中心點較遠的區域的像素權值小，較近區域的像素的權值大，這樣權值小的區域對于建立直方圖起的作用較小，這樣就降低背景像素的顏色直方圖分布。權值函數為：

其中，r為某點到中心點的距離。假設觀測的矩形區域的長半軸（高度一半）為H，短半軸（寬度一半）為W。那么候選矩形區域的顏色概率分布為：

綜上所述，在臨床上對糖尿病患者進行生化檢驗方法進行診斷，其效果較好，并在一定程度上提升了臨床檢驗結果的有效率，為醫生后期對病患進行臨床治療提供有效準確的數據支持，值得在臨床上進行廣泛的應用和推廣。

δ表示狄拉克δ函數（Dirac Delta function），它是指除了零以外的點都等于零，在整個定義域上積分為1，定義如下：

目標矩形區域的顏色概率分布：

計算結果為：

歸一化常數C的表達方式為：

然后，計算候選區域與人體圖像的相似度。這里需要一個相似度函數來表示候選區域與目標區域的相似程度，從而計算候選區域 x的似然。這里采用Bhattacharyya系數：表示m維向量夾角的余弦值，來表示候選區域與人體圖像兩者之間相似度。其定義如下：

然后，完成粒子權值的更新。對更新的t時刻粒子的權值歸一化，方法如下：

上式中，tu>1時，運動目標特征u被部分遮擋，tu=-1時，運動目標特征u被全部遮擋。令

當occ>，ξ∈ (0,1)則認為出現遮擋。人體跟蹤過程中就是通過遮擋因子來進行判斷的。

上述通過加權顏色直方圖的粒子濾波方法，可以完成人體的跟蹤，但當背景復雜時，背景顏色分布與人體顏色分布相近時，或者當人體被其它運動物體遮擋時，容易造成跟蹤失敗。尤其是人體被長時間遮擋的情況下，跟蹤效果更差。

2.2 基于粒子濾波結合HOG特征的人體跟蹤

根據遮擋因子判斷當前跟蹤目標是否出現遮擋，如果沒有，繼續用粒子濾波方法進行粒子更新進行目標跟蹤。如果在t時刻出現遮擋，則擴展當前目標模板的預測區域大小，形成新的觀測區域R[6]。

預測區域的變大，需要改變粒子數大小，在未出現遮擋時，采用 90個粒子即可完成目標的預測跟蹤；區域擴大后，采用均勻分布重新分配 230個粒子觀測區域R范圍內。這里是重新分配的粒子，而不是在上一時刻的粒子數基礎上，增加剩余粒子，這樣做得好處會使粒子分布更加均勻，遮擋發生后，下一時刻的目標模板即為權值最大的候選區域，而不是粒子狀態向量的均值（由于是遮擋情況下，所以粒子較非遮擋情況的粒子誤差較大，選擇似然值大的粒子作為目標模板效果較好），只有在沒有遮擋的情況下才采用均值來作為估計結果。假如運動目標離開遮擋區域，采用粒子濾波方法，粒子數范圍回到90個大小，同時目標模板求解用均值方法得到。這樣就完成了短時間遮擋情況下問題的處理，但對于長時間遮擋的問題，通過此基礎上加入HOG特征來解決。具體思路如下：

當采用遮擋因子在時刻t判斷出目標出現遮擋時，此時目標模板為 ，采用傳統粒子濾波的方法來解決遮擋，即增大粒子數范圍，來捕捉目標模板，在此過程處理時，加入可信度 來進行判斷，即通過保留t-1時刻未出現遮擋時的目標模板，得到候選區域狀態向量與目標模板的似然函數值，即相似度，作為目標模板的可信度，選出新粒子集中最大者，若其高于 ，則認為為遮擋后預測正確的目標模板，也就是上述傳統PF跟蹤過程。這里讓的取值為0.6。否則認為粒子濾波跟蹤失效，取消粒子濾波的跟蹤預測過程，采用HOG特征用于人體檢測的方法，在遮擋范圍R進行人體檢測，并判斷檢測人體狀態向量區域的人體相似度，選出人體狀態向量最大者且高于 者，認為是跟蹤的目標人體，進行目標關聯，并以此作為新的目標模板，繼續采用粒子濾波的方法進行人體跟蹤。若低于 ，則繼續采用HOG特征人體檢測，如果在時間t內一直沒有檢測到，則認為此目標已經離開視頻區域，取消HOG特征的人體檢測。若在時間t內檢測到人體且高于 ，認為是跟蹤的目標人體，進行目標關聯，并以此作為新的目標模板。

3 實驗結果分析

粒子濾波進行跟蹤已經在復雜環境下取得好的效果，但對于遮擋情況下的跟蹤還有待改進之處。本文結合粒子濾波方法，進行遮擋人體的跟蹤，在短時間遮擋情況下，通過擴大候選區域，增加粒子數來進行目標跟蹤，能取得不錯的效果，但對于長時間遮擋，效果不太好。

下面是長時間遮擋情況下，采用方法一（傳統粒子濾波的方法）進行跟蹤的效果圖，可以看到在圖 1（c）、圖1（d）中長時間發生遮擋的情況下，目標跟蹤丟失，預測區域從衣服紅色的人體轉到衣服黑色的人體，在長時間遮擋后，此時若進行跟蹤時，將跟蹤圖1（c）、圖1（d）中衣服為黑色的人體，造成人體跟蹤失敗。采用本文的基于粒子濾波的HOG特征的目標跟蹤的改進算法后，如圖1（e）、圖1（f）所示，發現能正確跟蹤紅色衣服人體。

圖1 長時間遮擋實驗結果圖

長時間遮擋時效果圖中的圖1（a）是遮擋前第10幀跟蹤效果，選定紅色衣服的人體作為跟蹤目標；圖1（b）為發生遮擋時第 20幀的跟蹤效果，跟蹤紅色人體目標與黑色人體目標發生遮擋；圖 1（c）為采用方法一預測的目標區域，此時圖像幀為第23幀，跟蹤由紅色衣服的人體目標變成錯誤跟蹤黑色衣服的人體目標，從此時起將經過約三秒鐘的長時間遮擋。圖1（d）為用方法一在兩人分開后，第 71幀預測的目標區域，跟蹤目標依然為黑色人體。圖 1（e）為用方法二，即改進算法預測的目標區域，此時圖像幀為第69幀，跟蹤目標為紅色人體。圖 1（f）仍舊為方法二，即改進算法預測的目標區域，此時圖像幀為第90幀，此時跟蹤目標依然為紅色人體。

從圖 1實驗結果圖中，可以看出，采用方法一不能解決長時間遮擋，而采用方法二，即通過基于粒子濾波的HOG特征的跟蹤算法，可以很好的解決長時間目標遮擋的問題，并能正確跟蹤非遮擋人體。對于復雜場景下步態識別研究提供了技術支持。并且通過比較處理遮擋問題的算法的準確性分析，通過表 1中可以看出，MeanShift結合粒子濾波的跟蹤方法的跟蹤準確性低于本文方法的跟蹤準確性。在復雜場景，處理遮擋問題的跟蹤算法中，本方法在跟蹤準確性是比較優秀的。

表1 遮擋人體跟蹤方法的準確性對比

4 結論

主要研究了粒子濾波的跟蹤方法，采用序列重要性采樣的方法進行粒子采樣，并采用樣本重采樣的方法處理粒子退化現象。對于長時間遮擋的問題，提出了基于粒子濾波的 HOG特征方法來解決人體跟蹤中長時間遮擋的問題，其中通過采用可信度 來判斷檢測人體是否是要跟蹤的物體，進而進行跟蹤目標的人體關聯。實驗表明，基于粒子濾波的HOG特征方法，可以有效解決長時間遮擋下人體跟蹤問題。通過實驗對比，也表明此方法在跟蹤準確性上優于傳統的MeanShift結合粒子濾波的方法。對于復雜場景中人體跟蹤，提供了可靠的解決方法。

[1] DALAL N, TRIGGS B. Histograms of Oriented Gradients for Human Detection[J]. CVPR, 2005:886-893.

[2] VIOLA P, JONES M, "Rapid object detection using a boosted cascade of simple features"[J]. Proc. of International Conference on Computer Vision and Pattern Recognition, 2001(l): 511-518.

[3] F. Porikli, "Integral histogram: A fast way to extract histograms in Cartesian spaces"[J]. CVPR, 2005.

[4] M. Isard, A. Blake. Condensation-conditional density Propagation for visual tracking[J]. International Journal of Computer Vision, 1998, 29(1): 5-28.

[5] R. Merwe, A. Doucet, N. Freitas, E. Wan. The Unscented Particle Filter[J]. Advances in Neural Information Processing Systems, MIT Press, 2000.

[6] 朱然. 基于粒子濾波的行人跟蹤與性能分析系統的設計與實現[D]. 黑龍江: 哈爾濱工業大學碩士學位論文, 2011: 25-31.

[7] 楊戈, 劉宏. 面向人體運動視覺跟蹤的多線索融合算法[J].計算機輔助設計與圖形學學報, 2009,21(10): 1495-1499.

[8] LI Min, ZHANG Zhao-xiang, HUANG Kai-qi, et al..Rapid and robust human detection and tracking based on Omega-shape features[C]. 16th IEEE International Conference on Image Processing, 2008:2545-2548.

[9] Park S, Lim S, Sin B, et al.. Tracking non-rigid objects using probabilistic Hausdorff distance matching[J]. Pattern Recognition, 2005, 38(12):2373-2384.

[10] KASS M, WITKIN A, TERZOPOULS D. Snake.active contour models[J]. Proceeding of International Journal of Computer Vision, 1987, 1(4): 321-331.

[11] 杜小麗. 單攝像機中人體檢測與跟蹤算法研究[D].浙江: 浙江大學碩士學位論文, 2011: 23-39.

[12] 李文輝, 周強, 王瑩, 張德才. 基于均值偏移粒子濾波的自適應跟蹤[J]. 吉林: 吉林大學學報（工學版）, 2012, 42(2): 407-411.

Research on Human Tracking in Complex Scenes

HU Shuai1, HUA Jiao-bao2, GU Ying-shuang1, CUI Zhen-yu2
(1. No. 726 Research Institute of China Shipbuilding Industry Corporation, Shanghai 201108, China; 2. Shanghai Museum, Shanghai 200003, China)

Based upon the background subtraction method to extract a moving target, the human area is detected by using human feature for histogram of orientation gradient (HOG)and a linear support vector machine (SVM)classifier. The method of particle filter is used to track human and to research occlusion problem. By analyzing the problem of a long occlusion, the histogram of orientation gradient (HOG)feature combined with the particle filtering method has been improved. The current tracking human target is judged by credibility. It is decided whether to carry out the goals associating. The accuracy of tracking is improved.

complex scenes; human tracking; particle filter; histogram of oriented gradient ;human detection;color histogram;

TP391.413

A

胡帥（1984-），男，碩士研究生。研究方向：計算機數字圖像處理。