基于支持向量機優(yōu)化的行人跟蹤學(xué)習(xí)檢測方法

孫煒+薛敏+孫天宇+胡夢云+呂云峰

摘 要：提出一種基于SVM（Support Vector Machine）優(yōu)化的TLD（Track-Learning-Detection）行人檢測跟蹤算法.將行人作為正樣本，背景作為負(fù)樣本，提取出行人的HOG特征并投入線性SVM中進(jìn)行訓(xùn)練，得到行人檢測分類器，并標(biāo)定出目標(biāo)區(qū)域，實現(xiàn)行人自動識別；然后在TLD算法的基礎(chǔ)上對行人進(jìn)行跟蹤和在線學(xué)習(xí)，估計檢測出的正負(fù)樣本并實時修正檢測器在當(dāng)前幀中的誤檢，利用相鄰幀間特征點配準(zhǔn)剔除誤配點，同時更新跟蹤器數(shù)據(jù)，以避免后續(xù)出現(xiàn)類似錯誤.實驗表明，該算法能夠適應(yīng)遮擋變化且自動識別并穩(wěn)定跟蹤目標(biāo)行人，較傳統(tǒng)跟蹤算法具有更強的魯棒性.

關(guān)鍵詞：支持向量機；行人檢測跟蹤；TLD

中圖分類號：TP391.4 文獻(xiàn)標(biāo)識碼：A

文章編號：1674-2974（2016）10-0102-08

Abstract：A new method based on optimized TLD （Track-Learning-Detection） and SVM （Support Vector Machine） for tracking pedestrian was proposed. First， with pedestrians as positive samples and the background as negative samples respectively， HOG （Histogram of Oriented Gradient） descriptor of pedestrian was extracted and combined with linear SVM to train the pedestrian classifier，which was used to obtain the calibrated pedestrian area accurately. Then， adaptive tracking and online learning on the pedestrians on the basis of TLD were integrated to estimate the reliability of the positive and negative samples， to rectify error existing in the current frame caused by detection and to update the tracking data simultaneously to avoid subsequent similar mistakes. The experiment results demonstrate that， compared with the conventional tracking algorithm， the proposed algorithm can not only significantly adapt to occlusions and appearance changes but also automatically identify and track pedestrian targets at arbitrary position， manifesting stronger robustness.

Key words：support vector machine； pedestrian detection and tracking； TLD

在計算機視覺應(yīng)用中，長期穩(wěn)定實時檢測跟蹤運動物體已經(jīng)成為一個重要的研究課題，隨著技術(shù)的不斷成熟，該領(lǐng)域的應(yīng)用也相當(dāng)廣泛，比如：工業(yè)生產(chǎn)、實時監(jiān)督、自動目標(biāo)定位、自動導(dǎo)航、人機交互、增強現(xiàn)實技術(shù)、SLAM、游戲開發(fā)等.研究人員根據(jù)實際應(yīng)用的需要提出不同的跟蹤方案，其中D.Comaniciu等[1]利用改進(jìn)的mean-shift來跟蹤運動物體，該方法可通過迭代步驟找到離跟蹤目標(biāo)最近的位置，但其不能解決目標(biāo)被遮擋或發(fā)生形變等問題，在前后背景顏色相似的環(huán)境中，容易發(fā)生目標(biāo)跟丟的情況.Martinez等[2]用背景差分法提取目標(biāo)，根據(jù)軌跡建立數(shù)學(xué)模型實現(xiàn)行人跟蹤，該方法可取得較好的檢測效果，但由于計算時間長，跟蹤的實時性不能得到保證.季玉龍等[3]提出的對運動目標(biāo)建模的方法需要大量的先驗知識，對視頻幀中出現(xiàn)的相似目標(biāo)干擾沒有很好的魯棒性，不能保證長期的跟蹤性和適應(yīng)性.

TLD算法[4-7]將檢測過程和跟蹤過程融合起來并引入學(xué)習(xí)機制，當(dāng)目標(biāo)發(fā)生形變或被遮擋時，可以實時更新目標(biāo)模型，實現(xiàn)在線學(xué)習(xí)和評估，在一定程度上可以克服目標(biāo)外觀變化及運動模糊，具有較強的穩(wěn)定性.但是TLD算法中的跟蹤目標(biāo)并不能自動識別，當(dāng)目標(biāo)移動過快時，跟蹤準(zhǔn)確度也有所下降，因此泛化性仍有待提高.本文在其基礎(chǔ)上提出了一種基于支持向量機分類優(yōu)化的行人跟蹤學(xué)習(xí)檢測方法，該方法利用SVM分類器檢測到待跟蹤目標(biāo)，保留TLD算法在復(fù)雜背景下對目標(biāo)區(qū)域?qū)崟r學(xué)習(xí)與跟蹤的基礎(chǔ)上在檢測模塊中加入圖像特征點配準(zhǔn)[8]以實現(xiàn)更高的跟蹤精度.

1 方法概述

本文利用視頻初始幀中行人方向梯度直方圖和支持向量機檢測出行人在視頻幀中的特征及位置，將目標(biāo)行人提取出來，記錄行人位置左上角坐標(biāo)與行人的寬和高.確認(rèn)目標(biāo)后將視頻幀輸入到檢測模塊與跟蹤模塊并產(chǎn)生相應(yīng)的實時正負(fù)樣本，學(xué)習(xí)模塊根據(jù)捕捉到的正負(fù)樣本不斷將信息反饋給檢測模塊與跟蹤模塊，利用圖像特征點配準(zhǔn)進(jìn)一步剔除圖像元中的誤配點，達(dá)到良好的檢測跟蹤效果.算法具體框架如圖1所示.

2 基于HOG與線性SVM的行人檢測方法

2.1 行人特征提取

行人特征可以用灰度、邊緣、SIFT特征、Haar特征等來描述.由于HOG[9]屬于對局部目標(biāo)進(jìn)行檢測，對陰影、光照條件的變化、小角度旋轉(zhuǎn)以及微小行人動作有較好的魯棒性.因此本文采用HOG來提取行人特征.目標(biāo)的HOG提取過程[10]如下：

1）對圖像進(jìn)行g(shù)amma校正以實現(xiàn)標(biāo)準(zhǔn)化，降低噪聲干擾及光照影響，如圖2所示.

2）對各像素點求梯度大小及方向，捕捉目標(biāo)區(qū)域的輪廓.

3）構(gòu)建細(xì)胞單元梯度方向直方圖.

本文中行人檢測樣本取自Navneet Dalal， Bill Triggs建立的INRIA數(shù)據(jù)庫，庫中圖片像素為64×128.以8×8像素作為一個cell單元，對單元內(nèi)每個像素梯度進(jìn)行統(tǒng)計并投影到9個bin中.將2×2個cell作為一個block，掃描步長為單個cell，依次對圖像進(jìn)行遍歷，則共有105塊block，每個block中有2×2×9=36個特征描述子，最終整個圖片包括36×105=3 780個HOG特征描述子.

4）根據(jù)式（5）對HOG特征描述子進(jìn)行L2 范數(shù)歸一化后用作后續(xù)分類識別的特征向量：

2.2 使用支持向量機（SVM）檢測行人具體位置

在機器學(xué)習(xí)中，SVM[11-12]被廣泛應(yīng)用于訓(xùn)練感知器與統(tǒng)計分析及分類中.該算法可將低維向量投影到高維空間中，并在此空間中形成一個最大分離超平面，使其距離平面兩端的數(shù)據(jù)間隔最大，如圖3所示.最大分離超平面如式（6）表示：

為訓(xùn)練分類器，本文選擇包含不同姿勢及形態(tài)的行人圖像作為正樣本，不包含行人的任意背景圖片作為負(fù)樣本.本文選擇3 000張正樣本（如圖4（a）所示），2 000張負(fù)樣本（如圖4（b）所示）并將其標(biāo)準(zhǔn)化為64×128像素作為訓(xùn)練樣本.

用初次訓(xùn)練好的分類器檢測不包含人體的圖像，有時會得到錯誤的目標(biāo)區(qū)域[13-14]，將這些錯誤區(qū)域（Hard Example）歸到負(fù)樣本中，再次進(jìn)行訓(xùn)練，迭代多次，可明顯改善分類器效果.最終訓(xùn)練好的分類器可將行人區(qū)域很好地劃分出來，效果圖如圖5（a），（b）所示.

3 利用改進(jìn)的TLD對行人進(jìn)行跟蹤

在初始幀利用SVM分類器得到待跟蹤行人位置后，將位置信息傳遞給TLD中的bounding box以對該算法進(jìn)行目標(biāo)區(qū)域的初始化.TLD（Tracking-Learning-Detection）是一種對特定目標(biāo)進(jìn)行自適應(yīng)檢測與在線學(xué)習(xí)并實現(xiàn)實時跟蹤的算法[15]，該算法將目標(biāo)跟蹤任務(wù)分成3部分：跟蹤模塊、學(xué)習(xí)模塊和檢測模塊.3部分協(xié)同組合，并以并行方式運行發(fā)揮各自優(yōu)勢[16]，具有較高的可靠性和魯棒性.

3）PN學(xué)習(xí)過程中[18]，先給定一個視頻和掃描框，同時用分類器標(biāo)定出視頻區(qū)域中的目標(biāo)和背景，用跟蹤器來提供正的訓(xùn)練樣本，檢測器提供負(fù)的訓(xùn)練樣本.跟蹤器跟蹤目標(biāo)后，靠近目標(biāo)窗口的掃描窗口通過P約束來更新檢測器，若掃描窗口中不存在目標(biāo)物體，則N約束更新檢測器.P約束利用時間連續(xù)性，根據(jù)前一幀目標(biāo)出現(xiàn)的位置預(yù)測目標(biāo)軌跡，估計目標(biāo)在當(dāng)前幀的位置，若檢測器將此位置定義為負(fù)樣本，則P約束生成正樣本；N約束分析出當(dāng)前幀目標(biāo)可能出現(xiàn)的最優(yōu)位置，與此位置重疊度低的區(qū)域標(biāo)記為負(fù)樣本，繼續(xù)更新跟蹤器.PN約束通過在線處理視頻幀逐步提高檢測器正確率，相互補償來確保學(xué)習(xí)模塊的穩(wěn)定性與可靠性，利用誤檢來提高學(xué)習(xí)性能.

4 實驗結(jié)果與分析

本實驗編程平臺：VS2010與opencv2.4.3開發(fā)庫；MATLAB R2013a.

微機環(huán)境配置：CPU Intel（R）Core（TM）i3-4150 3.50 GHz，內(nèi)存為4 G.

4.1 實驗測試集說明

為了更好地驗證本算法檢測跟蹤目標(biāo)的魯棒性和準(zhǔn)確性，將實驗結(jié)果與文獻(xiàn)[19]中高斯混合模型改進(jìn)的meanshift跟蹤算法[19]，文獻(xiàn)[20]中kalman濾波和模板匹配跟蹤算法[20]及基本TLD算法分別在4種不同的數(shù)據(jù)集中進(jìn)行驗證比較，并分析各算法的準(zhǔn)確性、實時性及魯棒性.其中shooting和football序列來自網(wǎng)上公開測試集VTD_data_images，pedestrian1及 pedestrian2數(shù)據(jù)集為實時采集.測試集序列內(nèi)容如表1所示.

4.2 性能分析

4.2.1 算法準(zhǔn)確性比較

將本文算法、改進(jìn)的meanshift算法、kalman濾波和模板匹配算法、基本TLD算法在不同的測試集中進(jìn)行實驗，對比跟蹤效果.用式（16）來表示跟蹤成功率：

score=area（RT∩RG）area（RTRG）.（16）

式中：RT表示跟蹤算法跟蹤到的目標(biāo)區(qū)域，RG表示目標(biāo)實際所在區(qū)域.若score>0.5，則認(rèn)為該算法正確跟蹤此幀.測試集實驗結(jié)果如表2所示.由表2可知，在未遮擋情況下，各算法均可以獲得較準(zhǔn)確的跟蹤結(jié)果，但在有遮擋時，本文算法正確率均高于其他各算法.

本文算法、文獻(xiàn)[19]改進(jìn)的mean-shift算法、文獻(xiàn)[20]kalman濾波和模板匹配算法及基本TLD算法在pedestrian1測試集中跟蹤部分結(jié)果（分別選取測試集第30幀、第53幀、第174幀、第350幀）如圖8所示.從圖8可知，當(dāng)目標(biāo)未被遮擋時，3種算法都可以準(zhǔn)確跟蹤行人，目標(biāo)被遮擋后，基本TLD算法、文獻(xiàn)[19]與文獻(xiàn)[20]中的跟蹤算法均出現(xiàn)目標(biāo)跟丟甚至誤檢現(xiàn)象，而本文算法可始終追蹤到行人，對目標(biāo)定位跟蹤表現(xiàn)出良好的抗干擾性和準(zhǔn)確性.

4.2.2 算法實時性比較

本文采用平均幀率（average frame per second）作為算法實時性分析的評價指標(biāo).各算法在測試集中的平均幀率如表3所示.由表3可知，基本TLD算法與本文算法在測試集的處理上速度高于其他兩種算法，而由跟蹤準(zhǔn)確性分析可知，本文算法比基本TLD算法獲得了更準(zhǔn)確的跟蹤結(jié)果，表現(xiàn)出較強的跟蹤性能.

4.2.3 算法魯棒性分析

在pedestrian2序列中（如圖9所示），行人檢測分類器確定目標(biāo)位置后，當(dāng)目標(biāo)姿勢變化較大時，學(xué)習(xí)模塊通過在線學(xué)習(xí)不斷更新跟蹤模塊和檢測模塊樣本，確定新的正樣本.本算法在目標(biāo)側(cè)身，轉(zhuǎn)身，消失然后重現(xiàn)時均可以準(zhǔn)確跟蹤行人，當(dāng)相似目標(biāo)出現(xiàn)時則不返回跟蹤框，表現(xiàn)出良好的抗干擾性.

5 結(jié) 論

檢測跟蹤一直是計算機視覺研究的熱點和難點，而TLD算法通過在線學(xué)習(xí)與檢測，根據(jù)產(chǎn)生地正負(fù)樣本不斷更新跟蹤結(jié)果，具有較好的實時性與準(zhǔn)確性.本文在其基礎(chǔ)上引入SVM行人檢測分類器，確定并讀取目標(biāo)區(qū)域位置信息，實現(xiàn)行人的自動識別，同時聯(lián)合圖像配準(zhǔn)技術(shù)，將誤配點排除，跟蹤精度得到進(jìn)一步提高.最后進(jìn)行實驗驗證，通過與當(dāng)前兩種主流跟蹤算法及基本TLD算法在不同測試集上進(jìn)行試驗比較，可知本算法在長時間跟蹤過程中能夠不斷適應(yīng)目標(biāo)形變帶來的干擾，表現(xiàn)出更好的跟蹤效果與魯棒性能.

參考文獻(xiàn)

[1] CQMANICIU D， RAMESH V ， MEER P. Real-time tracking of nonrigid objects using mean shift[C]//Proceedings in Computer Vision and Pattern Recognition， Hilton Head Island， SC： IEEE Conference，2000：2，142-149.

[2] ANTONINI G，MARTINEZ S V，BIERLAIRE M，et al.Behavioral priors for detection and tracking of pedestrians in video sequences[J]. International Journal on Computer Vision，2006，69（ 2） ： 159-180.

[3] 季玉龍，董天罡，梁海軍，等.基于粒子濾波的多區(qū)域辨識性建模跟蹤算法[J].四川大學(xué)學(xué)報：工程科學(xué)版，2013，45（1）：79-83.

JI Yu-long，DONG Tian-gang，LIANG Hai-jun，et al. Robust particle tracking via multi- region based discriminative modeling[J]. Journal of Sichuan University：Engineering Science Edition， 2013，45（1）：79-83. （In Chinese）

[4] KALAL Z，MATAS J，MIKOLAJCZYK K. Online learning of robust object detectors during unstable tracking[C]∥Proceedings of 12th International Conference on Computer vision workshops. New York： IEEE Xplore，2009： 1417-1424.

[5] KALAL Z，MATAS J，MIKOLAJCZYK K. Pn learning： bootstrapping binary classifiers by structural constraints[C]∥ Proceedings of Conference on Computer Vision and Pattern Recognition. New York： IEEE Press，2010： 49-56.

[6] ALALZ K，MIKOLAJCZYK K，MATAS J. Forward-backward error： automatic detection of tracking failures[C]∥Proceedings of International Conference on Pattern Recognition. New York： IEEE Press，2010： 23-26.

[7] KALAL Z，MIKOLAJCZYK K，M ATAS J. Tracking-learning-detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（ 7） ： 1409-1422.

[8] 魏國劍，侯志強，李 武，等. 融合光流檢測與模板匹配的目標(biāo)跟蹤算法[J]. 計算機應(yīng)用研究，2014，31 （ 11） ： 3498-3501.

WEI Guo-jian， HOU Zhi-qiang， LI Wu，et al. Object tracking algorithm fused with optical flow detection and template matching[J]. Application Research of Computers， 2014，31 （ 11） ： 3498-3501. （In Chinese）

[9]DALAL N，TRIGGS B. Histograms of oriented gradients for human detection[C]//Computer Vision and Pattern Recognition，International Conference.Beijing：2005：886-893.

[10]DALAL N，TRIGGS B. Histograms of oriented gradients for human detection[C]//Proceedings of Computer Vision and Pattern Recognition，IEEE Computer Society Conference on. San：CA ：IEEE， 2005，1： 886-893.

[11]曹文明，王耀南，文益民. 輸電線路除冰機器人基于小波矩及SVM 的障礙物識別研究[J]. 湖南大學(xué)學(xué)報： 自然科學(xué)版，2012，39（9） 33-38.

CAO Wen-ming，WANG Yao-nan，WEN Yi-ming. Research on obstacle recognition based on wavelet moments and SVM for deicing robot on high voltage transmission line[J]. Journal of Hunan University： Natural Sciences，2012，39（9） 33-38.（In Chinese）

[12]于海濱，劉濟(jì)林.應(yīng)用于公交客流統(tǒng)計的機器視覺方法[J]. 中國圖像圖形學(xué)報，2008，13（4）：716-722.

YU Hai-bin，LIU Ji-lin. A vision-based method to estimate passenger flow in bus[J]. Journal of Image and Graphics，2008，13（4）：716-722.（In Chinese）

[13]HUANG Dong-ze ，CAI Zhi-hao，XIANG HE Xiang，et al.A SVM embedded particle filter for multi-object detection and tracking [C]//Proceedings of 2014 IEEE Chinese Guidance，Navigation and Control Conference.Yantai：IEEE Press，2014：2094-2099.

[14]方衛(wèi)寧.基于 RBF 神經(jīng)網(wǎng)絡(luò)的復(fù)雜場景人群目標(biāo)的識別[J]. 北京交通大學(xué)學(xué)報，2009，33（ 4） ： 29-33.

FANG Wei-ning. Recognizing the passenger number in ccomplex scenes by RBF neural network[J]. Journal of Beijing Jiao tong University，2009，33（ 4） ： 29-33.（In Chinese）

[15]ANDRILUKA M，ROTH S，SCHIELE B. People-tracking-by-detection and people-detection-by-tracking [C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE Press，2008： 1-8.

[16]COLLINS R T，LIUY，LEORDEANU M. Online selection of discriminative tracking features[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（ 10） ： 1631-1643.

[17]YAMAZAWA K， YOKOYA N. Detecting moving objects from omnidirectional dynamic images based on adaptive background subtraction[C]/ / Proceedings of International Conference on Image processing. Institute of Electrical and Electronics Engineers Computer Society，Barcelona， Spain：2003， 953-956.

[18]FENARI V， TUYTELAARS T， VAN G L. Real-time affine region tracking and coplanar grouping[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Kauai， HI： Institute of Electrical and Electronics Engineers Computer Society， 2001：226-233.

[19]QUAST K， KAUP A. Shape adaptive mean shift object tracking using Gaussian mixture models[M].Lecture Notes in Electrical Engineering. Heidelberg： Springer， 2013， 158： 107-122.

[20]陳金令，苗東，康博，等. 基于Kalman濾波和模板匹配的目標(biāo)跟蹤技術(shù)研究[J].光學(xué)與光電技術(shù)， 2014，12（ 6） ： 9-12.

CHEN Jin-ling，MIAO Dong，KANG Bo，et al. Research of target tracking based on kalman filtering and template matching[J].Optics &Optoelectronic Technology， 2014，12（ 6） ： 9-12.（In Chinese）