一種基于監控視頻的有效的行人自動跟蹤方法*

宗智嵩，王夏黎，張明輝，安毅生

(長安大學 信息工程學院，陜西 西安 710064)

?

一種基于監控視頻的有效的行人自動跟蹤方法*

宗智嵩，王夏黎，張明輝，安毅生

(長安大學 信息工程學院，陜西 西安 710064)

行人跟蹤是智能視頻監控領域一個重要的研究內容，受到廣泛關注。在實際應用中，對視頻中行人跟蹤處理的實時性和準確性都有很高要求，因此，如何在場景復雜多變的視頻圖像中完成對多行人自動、快速而準確的跟蹤，是行人跟蹤方法的研究熱點。提出了一種有效的行人自動跟蹤方法，該方法通過AdaBoost+Haar的檢測框架以及SURF特征點匹配，改進原始的在線Boosting跟蹤算法，解決了跟蹤過程中由于目標尺度變化造成的跟蹤誤差問題并實現了對視頻圖像中多行人自動檢測跟蹤。使用校園內實際監控視頻進行實驗，實驗結果證明該方法有較好的跟蹤效果。

智能監控視頻；運動目標檢測；多目標跟蹤；AdaBoost；在線Boosting

0 引言

對監控視頻圖像中的行人進行檢測和跟蹤以及對行人的行為和運動狀態進行分析是計算機視覺的一個重要研究方向，也是實現智能視頻監控的關鍵，在社會安保、城市規劃、經濟決等方面有著廣泛的應用，具有一定的研究和應用價值。

目前的跟蹤算法主要是將目標跟蹤看作概率密度函數估計問題，如卡爾曼濾波、粒子濾波等。根據顏色直方圖的跟蹤算法Meashift及其改進的Camshift[1]算法使用也較多，該方法計算效率高，但易受顏色等因素影響。近幾年比較流行的是基于學習的目標跟蹤方法，即把目標和背景看作分類問題，通過前期訓練分類器，在之后的跟蹤中將目標和背景進行分類，如TLD[2]等方法，但由于監控視頻數據量大，使用這些方法的效率較低，實時性差。并且由于在實際監控視頻中光照影響明顯，行人間遮擋頻繁，遮擋面積較大，對行人進行整體檢測的跟蹤方法，在現實場景中計算量大，效果不佳。本文是基于傾斜視角[3-5]的行人跟蹤方法，該視角下行人面部和頭部特征明顯，在圖像中所占面積較小，有效地降低了計算量，且遮擋情況極少，有較高的實際使用價值，故將人臉和人頭作為行人跟蹤的具體對象。另外，目前研究的跟蹤算法大都需要手動初始化跟蹤對象，不滿足自動跟蹤的實際使用需求，本文通過對人臉和人頭檢測，在檢測區域內對跟蹤目標進行自動初始化，并在跟蹤階段可以對多個目標進行跟蹤。

本文采用的方法是在視頻畫面外圍設定檢測人臉和人頭的區域。在外圍檢測區域內，通過高斯背景建模的方法，縮小檢測范圍提高檢測效率，并將檢測到的目標自動初始化為跟蹤對象。在里層跟蹤區域內，使用SURF特征點匹配改進原始的在線Boosting跟蹤方法，實現對縱向運動尺度變化的目標尺度自適應跟蹤。

1 運動目標范圍確定

本文的行人檢測是在行人檢測區域內檢測，通過混合高斯背景建模[6]的方法獲得前景區域并對前景區域進行邊緣檢測，獲取輪廓矩形，將檢測范圍進一步縮小至運動目標可能出現的區域，并根據視頻的實際情況，去除面積較小的區域，后續目標檢測只需要對這些區域進行檢測，而不用對整個檢測區域檢測，從而實現對算法效率的提高。流程如圖 1所示。

圖1 精確目標檢測范圍

混合高斯背景建模是由斯托弗等人提出的經典的自適應混合高斯背景提取方法，該方法認為各像素點之間相互獨立，而其在視頻圖像中的變化可以用高斯分布來描述其像素值的變化規則，并依此建立背景模型。當新的一幀圖像到來時，根據建立的背景模型判斷每個像素點是前景點還是背景點，并對高斯模型進行不斷的更新。

2 基于Haar特征的行人目標檢測

在行人檢測中，較為常用的是使用HOG特征[7]的檢測方法，但是該方法計算量較大且受行人間相互的遮擋以及環境影響較大，因此對人頭人臉進行檢測不僅會降低計算量，還能夠提高檢測效率。在監控視頻中，行人的頭部信息可能是正面人臉、側面人臉、背面人頭三種情況，四個方向，將正面、側面人臉定為一個人臉分類器，將背面人頭定為人頭分類器。

本文采用Haar特征和AdaBoost[8-9]方法使用大量樣本訓練兩個分類器，其主要思想是通過積分圖計算所需分類對象正樣本的Haar特征值，每一個特征值對應一個弱分類器。使用訓練不同的弱分類器形成強分類器，并將多個強分類器串聯為瀑布式級聯架構分類器。

訓練正樣本包括從實際監控中采集以及對MIT人臉庫和INRIA行人數據庫中的人臉和人頭的提取，負樣本自行選擇大量不包含檢測內容的圖片，每個分類器的訓練正樣本數為5 000，負樣本數為4 000。

3 在線Boosting行人跟蹤方法及改進

3.1 在線Boosting算法跟蹤原理

本文采用在線Boosting[10-12]跟蹤方法，對離線分類器檢測出的目標在跟蹤區域進行跟蹤。在線Boosting算法將跟蹤問題看作跟蹤目標和背景的更新問題，接收到每一幀時，將此幀中的目標作為正樣本，從正樣本周圍選取若干與正樣本大小相同的背景塊作為負樣本加入到之前訓練好的分類器中進行學習并更新分類器。具體原理如下：

(2)訓練弱分類器hk,計算分類錯誤率：

(1)

(3)根據分類錯誤率設置弱分類器的權重：

(2)

(4)更新樣本權重：

(3)

(5)最終生成強分類器：

(4)

對于新到來的一幀圖像，使用上一幀生成的強分類器對搜索區域內提取的N個樣本進行測試，并生成置信圖。通過置信圖的頂點確定目標的新的位置。將該目標作為正樣本并在周圍選取若干負樣本，并將這些樣本重復上述的強分類器過程，生成新的強分類器。對以上過程進行迭代，不斷對目標和背景進行分類，就達到了對目標進行跟蹤的目的。

但是該方法由于跟蹤框保持尺度不變，在目標尺度變化的過程中，尤其是目標遠離攝像頭的過程中容易引入錯誤，而這種錯誤的不斷累積將導致跟蹤漂移。故本文提出了依據SURF特征描述算子的改進方案解決以上問題，并實現了自動多目標行人跟蹤。

3.2 SURF描述算子原理及匹配

在計算機視覺領域，SIFT[13]局部特征描述算子由于尺度不變性、旋轉不變性等特性應用較為廣泛。但是該算法計算量大、效率低，這也就促成了SURF局部特征描述算子[14]的產生，該算法的運算效率是SIFT的數倍。

SURF算法依賴于Hessian矩陣，并將Hessian 矩陣加上尺度σ的描述。設圖像I中的像素點X坐標為(x,y)，則矩陣被重新定義為：

(5)

Bay等人通過計算逼近值對其計算進行簡化，使用與尺度線性相關的權值修正兩者之間的誤差，并證明當Hessian決定因子為0.9時效果最佳，得到：

det(Happrox)=DxxDyy-(0.9Dxy)2

(6)

根據上式遍歷圖像所有像素點，得到該圖像在尺度σ下的響應圖像，在使用不同尺度的模版進行高斯卷積時，將每個像素點的特征值與空間鄰域內其他26個點進行比較，判斷該像素點是否為局部極值，也就是特征點。

得到兩幅圖像的特征點集合后，使用快速臨近匹配庫(Fast Library for Approximate Nearest Neighbors，FLANN)[15-17]中的隨機KD樹進行匹配。KD樹是一種適用于高維向量匹配的搜索樹，所有維度中方差最大的維度的中間值作為樹的節點，并不斷重復該過程直到葉子節點。

3.3 算法改進

現有的跟蹤算法大多不能自動選擇跟蹤目標且只能跟蹤單目標，本文通過對人臉和人頭的檢測，自動初始化跟蹤目標。當跟蹤目標位置更新后記錄跟蹤目標位置，在檢測出人臉或者人頭時，遍歷所有跟蹤目標的更新框，若二者中心的距離小于跟蹤框的寬度，則認為是同一目標，不對跟蹤框進行初始化。在實驗中，使用STL中的容器保存跟蹤框初始化的位置和更新位置，實現對多目標進行自動跟蹤。具體流程及跟蹤效果如圖2所示。

圖2 行人檢測跟蹤流程

經實驗發現，使用該方法能達到較好的跟蹤效果及效率，如圖3所示。

由圖3可以看出，行人在由近至遠的運動過程中，頭部及人臉的尺度會產生變化，當行人運動到攝像頭的遠處時，原始的跟蹤框遠大于實際人頭或者人臉，若此時有其他目標進入跟蹤框中，則會對另外一個目標產生誤檢。故在跟蹤的過程中，間隔n幀對跟蹤框內的圖像進行SURF特征點匹配，得到t幀中匹配度最好的兩個點p1、p2以及t+n幀中對應的點p3、p4。跟蹤過程特征點匹配如圖4所示。

圖4 跟蹤過程特征點匹配

設原始跟蹤框尺度為1，分別計算兩幅圖像中兩點之間的歐氏距離比值即可得圖像在t+n幀的尺度S′,其中dp3p4和dp1p2分別表示在第t幀和第t+n幀中兩點之間的距離。

(7)

由于匹配點間的距離并非絕對的匹配(距離為0)，但是基本小于0.1，故使用類似線性函數歸一化的方法計算對該尺度的置信度：

(8)

其中Dp1p3和Dp2p4表示根據KD樹匹配后兩點匹配的距離。可依據置信度對尺度進行加權計算得到校正后的尺度S：

S=1×(1-conf_ratio)+S′conf_ratio

(9)

(10)

(11)

此時只使用一個最佳匹配特征點，故此時計算對該特征點的置信度為：

(12)

對在線Boosting在t+n幀置信度最大跟蹤框Rectt+n(xt+n,yt+n,w,h)的左上頂點加權更新：

(13)

(14)

得到校正后的跟蹤框Rectt+n(xt+n,yt+n,Sw,Sh)。若間隔幀數n過大，則目標可能形變較大，無法匹配，若過小，目標變化有限，造成不必要的計算。實驗中將n設為5，即間隔5幀進行尺度變換及跟蹤框校正。實驗效果如圖5所示，在跟蹤過程中，跟蹤框不斷進行尺度變換，避免其他無關目標進入跟蹤框內被誤認為正樣本。

圖5 跟蹤誤檢及改進效果

4 實驗結果

本文實驗采用Windows 7平臺運行，處理器為3.6 GHz Intel Core i7，內存為8 GB，C++編譯環境為VS2013。實驗視頻采用校園內實際監控視頻錄像作為處理對象，分別使用本文方法和原始的在線Boosting方法進行實驗，實驗中將跟蹤框與實際目標包裹，對目標進入視區直至離開視區的整個過程穩定跟蹤視為準確跟蹤。實驗結果如表1所示。原始的跟蹤算法在行人縱向運動尺度發生變化情況下會產生跟蹤框漂移等情況，并保留在圖像中，對后續的行人檢測跟蹤產生影響，改進后的方法，對目標的包裹更為準確，也避免了引入錯誤，達到了較好的跟蹤效果。算法改進部分增加了一定的時間消耗，但是仍能達到15 f/s(幀/秒)的實時性要求，能滿足日常監控使用需求。

表1 實驗結果對比

5 結論

本文提出的劃分檢測區域和跟蹤區域的行人檢測跟蹤方法，可自動初始化跟蹤目標，并利用SURF特征點進行匹配，達到了尺度自適應的效果，將理論方法應用到具體的應用中有普遍適應性和較好的運行效率。但是該方法在檢測和跟蹤精度上還有優化的空間，另外在該方法的基礎上，可以對行人的特征、運動路徑、視野內逗留時間進行有效的提取，為進一步的研究提供幫助，后續將開展相關研究。因此，本文提出的監控視頻行人跟蹤算法具有一定的理論和實際意義。

[1] 顧裕豐, 劉國棟. 一種復雜場景下的運動目標跟蹤算法[J]. 電子技術應用, 2012，38(1):122-124.

[2] KALAL Z, MIKOLAJCZYK K, MATAS J. Tracking-learning-detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2011, 34(7):1409-1422.

[3] Liu Xiafeng, TU P H, RITTSCHER J, et al. Detecting and counting people in surveillance applications[C]. Advanced Video and Signal Based Surveillance, 2005 IEEE International Conference on Video and Signal Based Surveillance, 2005:306-311.

[4] Zeng Chengbin, Ma Huadong. Robust head-shoulder detection by PCA-based multilevel HOG-LBP Detector for People Counting[C]. International Conference on Pattern Recognition, 2010:2069-2072.

[5] SIDLA O, LYPETSKYY Y, BRANDLE N, et al. Pedestrian detection and tracking for counting applications in crowded situations[C]. IEEE International Conference on Video and Signal Based Surveillance, 2006:70-70.

[6] STAUFFER C, GRIMSON W E L. Adaptive background mixture models for real-time tracking[C]. IEEE Computer Society Conference on Computer Vision & Pattern Recognition, 1999:2246.

[7] 石志強, 趙向東, 李文軍,等. 基于HOG和block權重的快速人體檢測方法[J]. 微型機與應用, 2012, 31(11):44-46.

[8] VIOLA P, JONES M J. Robust real-time object detection[J]. International Journal of Computer Vision, 2004, 57(2): 131-154.

[9] 王小蘭,蔡燦輝,朱建清.一種改進的快速人臉檢測算法[J]. 微型機與應用, 2013, 32(15):37-40.

[10] GRABNER H, BISCHOF H. On-line Boosting and vision[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2006:260-267.

[11] 沈丁成. 基于在線Boosting算法的目標跟蹤研究[D]. 天津：天津理工大學, 2013.

[12] 孫來兵, 陳健美, 宋余慶,等. 改進的基于在線Boosting的目標跟蹤方法[J]. 計算機應用, 2013, 33(2):495-498.

[13] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2):91-110.

[14] BAY H, TUYTELAARS T, GOOL L V. SURF: speeded up robust features.[J]. Computer Vision & Image Understanding, 2006, 110(3):404-417.

[15] MUJA M. Fast approximate nearest neighbors with automatic algorithm configuration[C]. Visapp 2009-Proceedings of the Fourth International Conference on Computer Vision Theory and Applications, Lisboa, Portugal, February, 2009:331-340.

[16] MUJA M, RUSU R B, BRADSKI G, et al. REIN-A fast, robust, scalable recognition infrastructure[C]. IEEE International Conference on Robotics & Automation, 2011:2939-2946.

[17] MUJA M, LOWE D G. Fast matching of binary features[C]. Ninth Conference on Computer and Robot Vision. IEEE Computer Society, 2012:404-410.

Effective automatic pedestrian tracking method based on surveillance video

Zong Zhisong, Wang Xiali, Zhang Minghui, An Yisheng

(School of Information Engineering, Chang’an University,Xi’an 710064, China)

Pedestrian tracking is an important research content in the field of intelligent video surveillance, which is being widely concerned. In practice, the pedestrian tracking in video processing has a high requirement of real-time and accuracy. Therefore, how to complete automatic, fast and accurate pedestrians tracking in the complex video scene is a hot spot. In this paper, an effective method of pedestrian tracking is proposed. This method combined with AdaBoost+Haar detection framework and improved online Boosting algorithm with the SURF feature matching solves the error caused by multi-scale window and realizes the automatic detection and tracking of multi pedestrians in video images. Experiments with actual surveillance videos on campus show that the proposed method has a better processing effect.

intelligent visual surveillance; moving objects detection; multi-objects tracking; AdaBoost; on-line Boosting

中國博士后科學基金資助項目(2012M521729)

TP391.4

A

10.19358/j.issn.1674- 7720.2017.12.014

宗智嵩，王夏黎，張明輝，等.一種基于監控視頻的有效的行人自動跟蹤方法[J].微型機與應用，2017,36(12)：46-49.

2016-12-29)

宗智嵩(1992-)，男，碩士研究生，主要研究方向：圖形圖像處理與智能交通。

王夏黎(1965-)，男，博士，副教授，主要研究方向：圖形圖像處理與智能交通。

張明輝(1990-)，男，碩士研究生，主要研究方向：智能交通與圖形圖像處理。