多特征分塊匹配的移動機器人目標跟蹤

賈松敏，白聰軒，王麗佳，2，李秀智

（1.北京工業大學 電子信息與控制工程學院 計算智能與智能系統北京市重點實驗室 數字社區教育部工程研究中心，北京100124；2.河北工業職業技術學院 信息工程與自動化系，河北 石家莊　050091）

多特征分塊匹配的移動機器人目標跟蹤

賈松敏1，白聰軒1，王麗佳1，2，李秀智1

（1.北京工業大學 電子信息與控制工程學院 計算智能與智能系統北京市重點實驗室 數字社區教育部工程研究中心，北京100124；2.河北工業職業技術學院 信息工程與自動化系，河北 石家莊050091）

為了實現復雜環境下移動機器人目標跟蹤，提出多特征分塊匹配的跟蹤算法。該算法對目標區域進行分塊，利用顏色、深度特征對各塊圖像進行特征匹配，實現目標的精確定位。在跟蹤過程中，根據塊圖像中顏色和深度的相似度大小，及時更新目標模型和子塊權重，提高跟蹤的準確性。利用擴展卡爾曼濾波（Extend Kalman Filter，EKF）提取目標運動特征，當目標被完全遮擋時，根據其先驗估計預測目標位置，以提高算法的魯棒性。實驗結果表明，該算法對目標快速移動、光照變化、遮擋問題具有較強魯棒性，算法跟蹤速度達132frame/s，滿足跟蹤實時性要求。

分塊匹配；多特征跟蹤；子塊權重；目標模型更新

移動機器人目標跟蹤是機器視覺領域的重要問題之一，它廣泛應用于智能監控系統、智能交通、人體行為識別等領域[1]。Kinect因其能獲得場景的三維信息同時提供準確的目標位置信息，被廣泛應用于移動機器人目標跟蹤系統中[2]。然而在移動機器人跟蹤目標的過程中，視覺信息不可避免地會被目標快速移動、目標遮擋以及光照變化等問題所影響。其中，遮擋是機器人目標跟蹤過程中的常見問題。針對遮擋問題，相關文獻提出了許多解決方案。目標分塊跟蹤由于能利用某些未被遮擋的子塊信息進行跟蹤引起了許多學者的關注[3]。文獻[4]將跟蹤目標分割成若干個同樣大小的矩形子塊，通過計算每一個獨立子塊的顏色直方圖，并將該顏色直方圖和候選區域相應分塊的顏色直方圖進行匹配并窮盡搜索，選擇每一個分塊的最佳匹配位置并對相應位置進行加權投票，最終結合各個位置的投票結果得到目標在下一幀中的位置。盡管該方法能很好地解決目標遮擋問題，但因為采用窮盡搜索計算量過大，無法滿足機器人跟蹤的實時性要求。更重要的是，當目標被完全遮擋時，分塊跟蹤就失去了作用。鑒于此，本文提出了基于多特征分塊匹配的移動機器人跟蹤算法。首先手動選取跟蹤目標，獲取目標顏色和深度特征模型。在隨后的跟蹤中，以上一幀定位結果為中心，采用分塊匹配方法，利用顏色及深度特征確定目標位置。由于該算法采用分塊匹配確定目標位置，一定程度上解決由于目標半遮擋所導致的跟蹤偏移問題。為了適應光照，姿態等變化造成的目標模型改變，本算法根據顏色和深度相似度大小，適時更新子塊權重及目標模型。當目標被完全遮擋時，利用EKF先驗估計預測目標位置[5]。

1　多特征分塊匹配跟蹤算法

由于目標衣著顏色一般局部變化較小而整體則存在較大變化，因此利用顏色特征進行分塊匹配相較于整體匹配更加準確。此外，在跟蹤過程中光照及背景是不斷變化的，若算法中僅采用單一的顏色特征難以保證跟蹤的準確性和魯棒性。為解決上述問題，采用多特征分塊匹配的目標跟蹤方法。

首先手動選取跟蹤目標，獲取目標模型，并在隨后的跟蹤過程中以上一幀目標位置為基礎，對目標進行分塊，并融合各子塊顏色特征、深度特征和運動特征以實現對目標的精確定位，算法框架如圖1所示。

圖1　跟蹤框架圖Fig.1　The frame of the block matching

在分塊匹配過程中，通過計算每個分塊區域的顏色、深度相似度，得到目標總體相似度：

其中，N為分塊數目，本算法將候選區域分為4個子塊，即N=4。ρcj和ρdj分別代表各子塊顏色和深度相似度。ψj為子塊權重。

然后，利用各子塊的顏色、深度相似度與中心位置求其加權平均值，使目標位置更靠近顏色、深度相似度較大的子塊區域，分塊匹配的目標位置為：

式中：pj為各子塊區域的中心位置。該方法通過對各子塊顏色和深度相似度加權處理搜索相似度最大的位置作為目標位置，解決了目標跟蹤過程中存在的半遮擋和跟蹤漂移問題。

最后，利用EKF提取目標的運動特征。并通過融合跟蹤過程中的運動特征、顏色特征、深度特征對目標進行精確定位。目標最終定位結果如下所示：

其中，P為目標位置，Dμ為顏色和深度特征貢獻度，Pcd為顏色、深度特征定位結果，Ppre為EKF先驗估計結果。當目標被完全遮擋時，該算法停止對顏色和深度模型進行更新，跟蹤系統將利用EKF先驗估計作為目標位置。

1.1特征提取

1.1.1顏色特征提取

由于在目標跟蹤問題中，顏色特征較其他特征具有對于旋轉，平移不敏感等優點。在分塊匹配中采用顏色特征確定目標位置。顏色直方圖因其計算簡單，成為被廣泛采用的顏色特征。本算法中目標顏色直方圖模型為[6]：

其中，{x*i}i=1，2…n為目標區域像素坐標，n為像素點個數，K為核函數，δ為Kronecker delta函數，Cc為歸一化系數。則在當前幀中，像素點為的圖像候選區域的顏色直方圖為：

其中，j=1，…，4對應分塊匹配的四個區域。

利用Bhattacharyya系數計算當前各分塊區域候選模型與目標模型相應區域顏色直方圖的相似度，計算公式如下：

1.1.2深度特征提取

顏色特征雖具有良好的旋轉、平移不變性，但對光照較為敏感，單獨采用顏色特征確定目標位置，跟蹤效果較差。從Kinect相機中獲取的深度圖像[7-9]（由紅外測距信息所得）對光照劇烈變化等情況具有良好的魯棒性。故該算法利用Kinect獲取目標的深度特征，結合顏色特征實現目標定位。像素坐標為{x*i}i=1，2…n的目標深度特征模型為：

計算當前幀中，各候選區域的深度直方圖為：

根據當前各候選模型直方圖與目標模型直方圖特征，用Bhattacharyya系數計算兩者相似度：

1.2子塊權重與模型更新

1.2.1子塊權重更新

傳統的分塊算法僅簡單將目標分割成若干塊，并未考慮各子塊之間的差別，從而易導致跟蹤失敗。本算法根據各子塊顏色及深度相似度對各子塊權重重新進行分配，即隨著跟蹤的進行，相似度大的子塊權重變大，反之相似度小的子塊權重變小。具體規則如下：

Rule2:若子塊與相應子塊模型的顏色、深度相似度均大于閾值時，表明該子塊跟蹤效果良好，則增大該子塊的權重，即ψtj=ψt-1j（1+β），其中ψt-1j為子塊t-1時刻的權重，β為正常數，在本算法中β=0.2；

Rule3:若子塊與相應子塊模型的顏色相似度大于閾值而深度小于閾值時，表明目標發生位置變化，則減小該子塊的權重，即ψtj=ψt-1j（1-β）；

Rule4:若子塊與相應子塊模型的深度相似度大于閾值而顏色小于閾值時，表明光照發生變化，則該子塊的權重保持不變，即ψtj=ψt-1j；

Rule5:若子塊與相應子塊模型的顏色和深度相似度均小于閾值時，表明目標被遮擋，該子塊權重置零。同時，計算四塊區域顏色和深度相似度平均值為顏色特征，d為深度特征），若ρu高于遮擋判斷閾值h，則表明發生了半遮擋；若低于此閾值，則表明發生了全遮擋，遮擋結束后該子塊權重置1，即

1.2.2模型更新

傳統的基于目標模型的跟蹤算法一般假設在跟蹤過程中目標模型不發生劇烈變化，然而在機器人跟蹤目標運動過程中，使用固定的目標模型很難穩定跟蹤目標。因此該算法采用一種整體更新機制，分別對目標的顏色及深度模型進行更新。更新的時機由其特征貢獻度決定。特征貢獻度函數為：

即當顏色或深度特征相似度高時，表明跟蹤效果良好，目標模型不需要更新；當其中某種特征相似度系數較小時，表明跟蹤效果受到影響，若相似性系數在[d1，d2]范圍內，目標模型將進行更新；若顏色或深度特征相似度系數均低于d，不更新目標模型。具體規則如下：

2　實驗結果及分析

2.1實驗平臺

本實驗硬件平臺（如圖2）為Pioneer3-DX機器人，視覺系統采用微軟公司的Kinect傳感器以實時獲取彩色圖像和深度圖像。Kinect由三部分組成：RGB攝像頭，單色CMOS攝像頭和紅外發射器。其中，RGB攝像頭用來獲取彩色圖像；單色CMOS攝像頭和紅外發射器用來得到深度圖像。Kinect的深度輸出為11位，深度圖像的分辨率為。軟件采用C++和OPENCV實現。

圖2　實驗平臺Fig.2　Experiment platform

2.2多特征分塊匹配的機器人目標跟蹤實驗

為了驗證多特征分塊匹配算法能準確、穩定的跟蹤目標，進行了目標檢測實驗。實驗結果如圖3所示，圓圈為基于顏色及深度特征的定位結果。從圖中可以看出，當跟蹤目標位姿不斷變化時，跟蹤效果并沒有受到影響，始終保持準確定位目標。

圖3　分塊匹配實驗結果Fig.3　The result of block matching

圖4為多特征分塊匹配算法的實驗結果。其中第一行中圓圈標示區域為基于多特征分塊匹配算法所跟蹤到的目標人體在圖像中的位置；第二行方框區域為基于顏色特征的傳統分塊匹配定位結果，圖像尺寸640×480。從第23幀開始，非目標人體進入視野，并逐漸遮擋目標，僅采用顏色特征的算法跟蹤結果發生偏移。而在多特征分塊匹配算法跟蹤過程中，隨著目標逐漸被遮擋，部分被遮擋子塊停止跟蹤，同時停止了對模型的更新。當目標被完全遮擋時，采用EKF先驗估計結果預測目標位置，保證了跟蹤的正常進行。第72幀開始，目標開始轉彎并且發生了光照變化，但是由于該算法利用顏色和深度

圖4　機器人目標跟蹤結果Fig.4　Tracking results of robot

特征進行分塊匹配，擴大了目標搜索范圍，從而準確跟蹤到了目標，提高了跟蹤的準確性。

3　結　論

針對移動機器人目標跟蹤在光照變化、目標遮擋等情況下易發生跟蹤不準確等問題，本文提出了基于多特征分塊匹配的機器人目標跟蹤算法。該算法在分塊匹配框架下，利用顏色及深度特征進行分塊匹配，得到目標的精確位置。其中，分塊匹配有效地解決了目標快速移動時的跟蹤偏移問題。根據各子塊顏色和深度相似度對目標模型以及子塊權重進行及時更新，提高了跟蹤的準確性。最后采用擴展卡爾曼濾波提取目標運動特征，利用其先驗估計有效地解決了目標遮擋問題。該算法融合顏色、深度、運動多種特征對目標進行跟蹤，提高了跟蹤的準確性。該算法處理速度約為132frame/s，滿足移動機器人跟蹤的實時性要求。實驗結果表明，所提算法在光照劇烈變化，目標遮擋及目標快速移動等情況下，能準確、穩定的對目標進行跟蹤。

[1]Vincze M，Schlemmer M，Gemeiner P，et al.Vision for robotics:A tool for model-based object tracking[J].Robotics &Auto-Mation Magazine，2005，12（4）:53-64.

[2]林填鋒，楊潔霞.基于Kinect的人體識別技術的一些改進[J].電腦知識與技術，2012，8（21）:5220-5223.

[3]Fang J X，Yang J，Liu H X.Efficient and robust fragmentsbased multiple kernels tracking[J].International Journal of Electronics and Communications，2011，65（11）:915-923.

[4]Adam A，Rivlin E，Shimshoni I.Robust fragments-based tracking using the integral histogram[C].IEEE Computer Society Conference on Computer Vision and Pattern Recognition，New York，2006:798-805.

[5]Rosales R，Sclaroff S.Improved tracking of multiple humans with trajectory prediction and occlusion modeling[R].Boston University Computer Science Department，1998.

[6]王麗佳，賈松敏，王爽，等.采用改進Mean Shift算法的移動機器人行人跟蹤[J].光學精密工程，2013，21（9）:2364-2370.

[7]Xia L，Chen C C，Aggarwal J K.Human detection using depth information by Kinect[C].Computer Vision and Pattern Recognition Workshops（CVPRW），2011:15-22.

[8]潘翔，唐春暉，張仁杰.基于混合蛙跳算法的移動機器人路徑規劃[J].電子科技，2015（11）:29-32，36.

[9]曾品善，妙全興，徐磊.自主移動機器人即時定位與地圖構建方法研究[J].電子科技，2013（9）:177-178，181.

Multi features fragment-based human tracking for mobile robot

JIA Song-min1，BAI Cong-xuan1，WANG Li-jia1，2，LI Xiu-zhi1
（1.College of Electronic and Control Engineering，Beijing University of Technology；Beijing Key Laboratory of Computational Intelligence and Intelligent System；Engineering Research Center of Digital Community，Ministry of Education，Beijing 100124，China；2.Department of Information Engineering and Automation，Hebei College ofIndustry and Technology，Shijiazhuang 050091，China）

To realize person tracking with a mobile robot in complex environment，a method based on multi features was presented.The region of the person was divided into several blocks.For each block，color and depth features were utilized for implementing accurate localization.To improve the accuracy of tracking，the target model and sub-block weights were updated according to the similarity of color and depth features during the process of tracking.Additionally，the extended kalman filter （EKF）was used to extract motion feature，which can handle with occlusion by priori prediction.Experimental results show that the presented method is insensitive to the occlusion and illumination changes.Furthermore，the average computing time was 132frame/s，which can satisfy the requirements of real-time tracking.

block matching；tracking based on multi features；Sub-block weight；updating target model

TN919.8

A

1674－6236（2016）01-0023-03

2015-04-30稿件編號：201504313

國家自然科學基金資助項目(61175087；61105033)

賈松敏(1964—)，女，北京人，博士，教授。研究方向：智能服務機器人及其關鍵性技術、機器人分散控制、計算機視覺。