融合局部三值數量和色度信息的均值漂移跟蹤

張紅穎 胡 正

?

融合局部三值數量和色度信息的均值漂移跟蹤

張紅穎*胡 正

(中國民航大學航空自動化學院 天津 300300)

該文提出了局部三值數量(Local Ternary Number, LTN)這一新的局部顯著性紋理算子，并將其與色度信息相結合得到一種新的目標跟蹤方法。該方法充分利用目標像素與其八鄰域像素灰度值的大小關系，將局部顯著性算子(Local Similarity Number, LSN)加以拓展，設計了局部三值數量這一新的局部顯著性紋理算子，該算子能區分目標像素在同一局部顯著度下的不同紋理結構；LTN掩膜提取邊緣、線和角點上關鍵像素以提高紋理特征的區分能力，同時能夠較完整地保留目標信息；在此基礎上，將掩膜內目標像素的LTN特征與色度信息融合生成一種新的目標模型，并嵌入到均值漂移(Mean Shift, MS)框架完成目標的跟蹤。實驗結果表明，該文提出的目標跟蹤方法在場景中存在相似顏色和光照變化干擾的情況下，仍能持續準確地實現目標的定位，提高了傳統均值漂移跟蹤算法的性能。

目標跟蹤；均值漂移；局部三值數量；色度信息

1 引言

考慮到LSN算子的顯著程度可能包含有多種不同的局部紋理結構，不利于區分顏色與背景相似的目標。本文在LSN算子基礎上將鄰域像素與中心像素的大小關系加以應用，提出局部三值數量(Local Ternary Number, LTN)這一新的局部顯著性紋理算子，該算子能描述目標像素在每一局部顯著程度LSN下的不同紋理結構，即使目標顏色與背景顏色相似也具有較好的區分能力。為了抑制紋理特征不明顯的平坦區域并提取邊緣、線和角點等重要像素，本文根據文獻[14]中LSN掩膜方法生成LTN掩膜，然后將LTN特征與受光照影響較小的色度信息相結合來表示掩膜內像素，以增強目標特征的抗光照變化能力，最后將該目標表示方法嵌入到MS框架下得到一種新的跟蹤方法。實驗結果表明，本文提出的跟蹤方法對場景中相似背景顏色和光照變化的干擾均具有較好的魯棒性，能持續準確地實現目標跟蹤。

2 均值漂移(MS)跟蹤框架

均值漂移(MS)跟蹤框架主要包括目標表示和均值漂移迭代進行目標定位兩部分[8]。

2.1 目標表示

2.2 目標定位

3 局部顯著性算子

3.1 LSN算子

文獻[14]提出的LSN算子通過統計8鄰域像素和中心像素灰度值相似的數量來衡量中心像素的局部顯著程度定義為

3.2 LTN算子

由圖1可知，LSN算子所表示的每一局部顯著程度可能包含多種不同的局部紋理結構，該算子不能將這些不同的紋理結構加以區分，因此當目標存在于與其顏色相近的場景中時，目標像素與背景像素的局部顯著度可能相似，使用LSN算子不能很好地區分目標和背景。

圖1中心像素的9種不同的局部顯著程度

其中

3.3 LTN掩膜

圖1所示的9種局部顯著程度分別包含有平坦區域、斑點、線、角點和邊緣等多種紋理結構，文獻[14]通過實驗表明，LSN掩膜在提取目標上邊緣、線和角點等關鍵像素的同時，能得到較完整的感興趣目標，保留了較多的有用信息，從而取得更好的跟蹤性能。本文借鑒LSN掩膜方法，定義LTN掩膜為

圖2 兩組LSN算子和LTN算子生成過程示例

圖3為一組乒乓球運動員頭部的目標塊及其LTN掩膜提取結果。

由圖3(a)可以看出，待跟蹤的乒乓球運動員的膚色與背景存在一定的相似性，因此，直接將目標塊上所有像素量化到特征空間可能會影響跟蹤結果的準確性。而圖3(b)表明，LTN掩膜在提取目標上邊緣、線和角點等重要像素的同時，較好地保持了目標的完整性以提供更多的有用信息，并且抑制了顏色相似且紋理特征不明顯的平坦區域。

4 融合LTN和色度信息的MS跟蹤算法

圖3 目標塊及LTN掩膜

(7)若當前幀為最后一幀，則跟蹤結束；否則，讀取下一幀作為當前幀，返回步驟(2)。

5 實驗結果與分析

該部分使用兩組標準測試序列，分別測試了算法在背景顏色相似和光照強度變化的場景下跟蹤性能，實驗結果證實了本文算法的有效性。實驗條件：配置為Pentium(R) Dual-Core 2.70 GHz CPU, 2 GB RAM的PC機；Visual Studio 2010; OpenCV 2.4.3。

實驗1 選取文獻[12]提供的運動小車序列作為試驗數據，測試了本文算法的抗相似背景顏色干擾能力。該序列共有740幀，待跟蹤的小車和場景的背景顏色有一定的相似度，圖4給出了部分跟蹤結果，其中紅色方框為文獻[8]基于傳統顏色模型的跟蹤結果，綠色方框為本文方法的跟蹤結果。

由圖4可以看出，文獻[8]的跟蹤方法在相似顏色的背景干擾下，存在著較大的跟蹤誤差，并且在第93幀之后發生目標完全丟失的嚴重后果。采用本文方法能持續準確地跟蹤目標，主要是因為本文LTN特征具有較好的紋理區分能力，對顏色相似的目標和背景能通過紋理特征加以區分。

表1分別從平均跟蹤誤差、標準偏差、迭代次數和跟蹤速度4方面，統計小車序列前100幀的目標跟蹤結果(第93幀之后，采用傳統顏色模型跟蹤方法使目標完全丟失)，定量地分析了兩種方法的跟蹤性能。

表1兩種方法對小車序列的跟蹤性能

跟蹤性能文獻[8]方法本文方法 平均誤差 11.83 3.32標準偏差 10.38 1.64平均迭代次數 5.78 2.75平均跟蹤速度(幀/s) 62 78

從表1可以看出，本文方法的跟蹤誤差明顯小于文獻[8]基于傳統顏色模型的跟蹤方法。本文方法在計算LTN算子時有少量的耗時，但本文目標表示方法的區分能力較強，迭代次數約為文獻[8]的一半，而迭代是MS跟蹤框架中主要的耗時部分，因此本文方法的平均跟蹤速度能略快于文獻[8]的跟蹤方法。圖5給出了前100幀具體的跟蹤誤差和迭代次數曲線。

實驗2 采用文獻[16]提供的597幀woman序列，文獻[16]用其驗證了分塊跟蹤的抗遮擋性能。本文發現該序列的場景光強存在著一定的變化，取該woman上衣作為跟蹤對象測試了本文算法對場景光照強度變化的適應性。圖6為部分跟蹤結果，其中紅色方框為文獻[8]采用傳統顏色模型的跟蹤結果，綠色方框為本文算法的跟蹤結果。

從跟蹤結果可以看出，基于傳統顏色模型的MS跟蹤方法易受戶外光照強度變化的影響，導致目標的跟蹤結果不準確。本文方法受光照變化影響較小，能取得較好的跟蹤結果，這主要是由于色度信息具有對光照變化不敏感的優點，且LTN算子統計的是中心像素與鄰域像素的灰度值大小關系，對場景光強的整體變化具有較好的適應性。表2分別從平均跟蹤誤差、標準偏差、迭代次數和跟蹤速度4方面，定量地分析了兩種方法對woman序列的跟蹤性能。

表2兩種方法對woman序列跟蹤性能

跟蹤性能文獻[8]方法本文方法 平均誤差標準偏差平均迭代次數平均跟蹤速度(幀/秒)17.4612.553.711125.914.582.9395

由表2可以看出本文算法跟蹤性能優于文獻[8]的跟蹤方法。圖7分別給出了文獻[8]跟蹤方法和本文跟蹤方法的MS迭代次數分布直方圖。

由圖7可以看出，本文方法的迭代次數更多地分布在1~3次，較基于傳統顏色模型的MS跟蹤算法具有更快的迭代收斂速度，這在一定程度上彌補了LTN算子的用時，因此本文跟蹤方法的平均跟蹤速度只是略低于基于傳統顏色模型的跟蹤方法。圖8分別給出了兩種表示方法跟蹤woman序列的誤差分布直方圖。

圖5 小車序列前100幀的跟蹤曲線

圖6 woman序列部分跟蹤結果

圖7 woman序列的迭代次數分布

圖8 woman序列跟蹤誤差分布

對比圖8(a)和圖8(b)的誤差分布可以看出，基于傳統顏色模型的跟蹤方法受光照影響較大，woman序列的跟蹤誤差較均勻地分布在0~20之間，而本文方法的跟蹤誤差較多地分布在0~15之間，且主要集中在0~10之間，較文獻[8]的方法具有更高的跟蹤精度，證實了本文方法對戶外光照強度變化的魯棒性。

6 結束語

基于目標表示方法對MS算法的跟蹤性能具有重要影響這一重要事實，本文從提高目標模型的抗相似顏色干擾能力和光照變化適應性入手，提出了一種融合局部三值數量LTN和色度信息的目標模型，并將其引入到MS跟蹤框架中。多組實驗證明，該方法在場景中存在顏色相似的背景和光照強度變化情況下也能取得較好的跟蹤效果，證實了本文算法對相似顏色和光照變化干擾的魯棒性。本文方法易于與多種尺度自適應和分塊跟蹤抗遮擋等算法結合使用，下一步工作將致力于研究算法的尺度自適應和抗遮擋能力。

[1] Fang J, Yang J, and Liu H. Efficient and robust fragments-based multiple kernels tracking[J]., 2011, 65(11): 915-923.

[2] Chen Ken, Song Kang-kang, Kyoungho Choi,.. Optimized meanshift target reference model based on improved pixel weighting in visual tracking[J].(), 2013, 30(3): 283-289.

[3] 張炯, 寧繼峰, 顏永豐, 等. 對立色LBP模型的目標跟蹤[J]. 中國圖象圖形學報, 2012, 17(11): 1418-1424.

Zhang Jiong, Ning Ji-feng, Yan Yong-feng,.. Object tracking with opponent color LBP model[J]., 2012, 17(11): 1418-1424.

[4] 朱秋平, 顏佳, 張虎, 等. 基于壓縮感知的多特征實時跟蹤[J]. 光學精密工程, 2013, 21(2): 437-444.

Zhu Qiu-ping, Yan Jia, Zhang Hu,.. Real-time tracking using multiple features based on compressive sensing[J].2013, 21(2): 437-444.

[5] Fukunaga K and Hostetler L. The estimation of the gradient of a density function, with applications in pattern recognition[J]., 1975, 21(1): 32-40.

[6] 劉晴, 唐林波, 趙保軍, 等. 基于自適應多特征融合的均值遷移紅外目標跟蹤[J]. 電子與信息學報, 2012, 34(5): 1137-1141.

Liu Qing, Tang Lin-bo, Zhao Bao-jun,.. Infrared target tracking based on adaptive multiple features fusion and mean shift[J].&, 2012, 34(5): 1137-1141.

[7] Ning J, Zhang L, Zhang D,.. Robust mean-shift tracking with corrected background-weighted histogram[J].2012, 6(1): 62-69.

[8] Comaniciu D, Ramesh V, and Meer P. Kernel-based object tracking[J]., 2003, 25(5): 564-577.

[9] 董文會, 常發亮, 李天平. 融合顏色直方圖及SIFT特征的自適應分塊目標跟蹤方法[J]. 電子與信息學報, 2013, 35(4): 770-776.

Dong Wen-hui, Chang Fa-liang, and Li Tian-ping. Adaptive fragment-based target tracking method fusing color histogram and SIFT features[J].&, 2013, 35(4): 770-776.

[10] 徐少平, 李春泉, 胡凌燕, 等. 一種改進的顏色共生矩陣紋理描述符[J]. 模式識別與人工智能, 2013, 26(1): 90-98.

Xu Shao-ping, Li Chun-quan, Hu Ling-yan,. An improved color cooccurrence matrix texture descriptor[J]., 2013, 26(1): 90-98.

[11] Bousetouane F, Dib L, and Snoussi H. Improved mean shift integrating texture and color features for robust real time object tracking[J]., 2013, 29(3): 155-170.

[12] Ning J, Zhang L, Zhang D,.. Robust object tracking using joint color-texture histogram[J]., 2009, 23(7): 1245-1263.

[13] 李冠彬, 吳賀豐. 基于顏色紋理直方圖的帶權分塊均值漂移目標跟蹤算法[J]. 計算機輔助設計與圖形學學報, 2011, 23(12): 2056-2066.

Li Guan-bin and Wu He-feng. Weighted fragment-based

meanshift tracking using color-texture histogram[J].&, 2011, 23(12): 2056-2066.

[14] Tavakoli H R, Moin M S, and Heikkila J. Local similarity number and its application to object tracking[J]., 2013, 10(1): 184-190.

[15] 張濤, 蔡燦輝. 基于多特征Mean Shift的人臉跟蹤算法[J]. 電子與信息學報, 2009, 31(8): 1816-1817.

Zhang Tao and Cai Can-hui. A face tracking algorithm based on multiple feature mean shift[J].&, 2009, 31(8): 1816-1817.

[16] Adam A, Rivlin E, and Shimshoni I. Robust fragments-based tracking using the integral histogram[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, New York, NY, USA, 2006: 798-805.

張紅穎： 女，1978年生，副教授，碩士生導師，研究方向為圖像工程及計算機視覺.

胡 正： 男，1987年生，碩士生，研究方向為數字圖像處理及計算機視覺.

Mean Shift Tracking Method Combing Local Ternary Number with Hue Information

Zhang Hong-ying Hu Zheng

(,,300300,)

A new local saliency texture descriptor named Local Ternary Number (LTN) is defined in this paper, and a new object tracking method combining LTN with hue information is proposed. Derived from Local Similarity Number (LSN), the new local saliency texture descriptor makes full use of pixel intensity relationship in a 8-connected neighbourhood. Compared with LSN, the LTN could distinguish different texture structures with the same local saliency degree. LTN mask not only extracts the key object pixels on edges, lines and corners to enhance the distinguish ability of texture feature, but also preserves the unity of the object. Then a new Mean Shift (MS) tracking method is built by utilizing the new object model, which integrating LTN with hue information from the object pixels within this mask. A large number of experiments are conducted and the experiment results demonstrate that the proposed method improve the performance of the traditional MS tracker, and the proposed method tracks object continuously and accurately even in the scene with similar color and illumination changing.

Object tracking; Mean Shift (MS); Local Ternary Number (LTN); Hue information

TP391

A

1009-5896(2014)03-0624-07

10.3724/SP.J.1146.2013.01155

2013-07-31收到，2013-11-08改回

天津市青年科學基金(12JCQNJC00600)資助課題

張紅穎 carole_zhang0716@163.com