基于中心對稱局部相似數量模型的均值漂移目標跟蹤

劉威， 趙文杰， 李成， 李婷， 譚海峰， 馬揚銘

(1.空軍航空大學航空航天情報系,長春　130022； 2.解放軍73608部隊,南京　210000)

?

基于中心對稱局部相似數量模型的均值漂移目標跟蹤

劉威1， 趙文杰1， 李成1， 李婷1， 譚海峰1， 馬揚銘2

(1.空軍航空大學航空航天情報系,長春130022； 2.解放軍73608部隊,南京210000)

摘要：為實現對運動目標的實時跟蹤，提出中心對稱局部相似數量(center symmetric-local similarity number,CS-LSN)這一新的局部顯著度紋理描述算子，并將其引入到目標表征模型。該算子通過分析中心像素及其8鄰域像素之間的大小關系，在局部相似數量(local similarity number,LSN)紋理算子的基礎上，針對其無法區分同一局部顯著度下的不同紋理結構的問題，增加以中心像素為對稱點的局部梯度信息，提取出候選目標區域中具有CS-LSN主要模式的真實目標像素，有效地抑制了背景像素的影響并減少了后續目標表征模型的計算量； 利用真實目標像素的CS-LSN紋理特征和色度特征構建直方圖，完成目標表征； 進而將其嵌入到均值漂移(mean shift,MS)框架完成跟蹤。實驗結果表明，該方法在目標與背景相似、部分遮擋、光照變化及物體形變等情況下均能完成魯棒跟蹤，目標大小為29像素×25像素時，處理速度約為25幀/s，可滿足實時應用的需求。

關鍵詞：目標跟蹤； 紋理特征； 中心對稱局部相似數量(CS-LSN)； 均值漂移(MS)

0引言

運動目標跟蹤在軍事制導、航空偵察、視覺導航等領域有著廣泛的應用[1]。目標表征模型及對應的目標搜索方法一直是目標跟蹤領域的研究熱點。鑒于目標跟蹤對實時性有較高要求，在眾多的目標跟蹤方法中，基于均值漂移(mean shift,MS)跟蹤框架[2]的方法以其簡單高效的特點得到了廣泛的研究和應用[3-5]； 而有效的目標表征方法則對MS搜索匹配的效率和準確性起著至關重要的作用。傳統MS跟蹤算法常采用顏色特征，當光照發生變化時就容易跟蹤失?。?現有的改進主要是引入多特征(如邊緣特征角點特征等[6])，但提取多特征的同時也加大了算法的復雜度。局部二值模式(local binary patterns, LBP)紋理特征及其改進型紋理分析[7]不受光照影響，具有旋轉不變性和灰度不變性等優點，在目標跟蹤領域得到了廣泛運用。Ning等[8]提出了均勻LBP(uniform LBP)紋理模式，并結合顏色特征來表征目標； 張濤等[9]基于局部三值模式(local ternary patterns,LTP)和膚色特征提出一種人臉跟蹤算法； 張炯等[10]以對立色LBP模型為研究對象，并用其作為目標表征模型，提高了MS的跟蹤性能，但改進型的LBP紋理模式也大大增加了算法的計算量。近年來，對視覺顯著度的研究逐步升溫[11-12]，受此啟發，Tavakoli等[13]等在原始LBP的基礎上，提出了一種簡化模型——局部相似數量(local similarity number,LSN)這一紋理描述子，以鄰域內相似像素的數量作為中心像素的局部顯著度； 在此基礎上，張紅穎等[14]提出了局部三值數量(local ternary number,LTN)紋理模式，用二維向量來代替LSN中的一維描述，并結合色度信息完成目標跟蹤。

LSN算子由于在同一局部顯著度下還包含不同紋理結構，無法較好地處理目標與背景紋理相似的情況。本文受文獻[15]的啟發，利用以中心像素為對稱點的局部梯度信息，提出了中心對稱局部相似數量(center symmetric-local similarity number,CS-LSN)模型這一新的局部顯著度紋理描述算子； 進而生成CS-LSN掩模，提取出候選目標區域中具有CS-LSN的5種主要模式的關鍵像素。利用CS-LSN掩模能更充分地提取出目標框中的真實目標信息，有效抑制背景像素的影響，并減少后續目標表征模型中的計算量； 最后將抗光照能力強的色度信息融入到MS框架，完成目標跟蹤。

1局部顯著度紋理描述算子

1.1LSN紋理描述算子

LSN是一種點樣本估計紋理描述算子，不考慮鄰域內像素與中心像素之間的結構信息，直接利用與中心像素值相似的像素數量描述中心像素的局部顯著度，即

(1)

(2)

圖1　9種局部顯著度

1.2CS-LSN紋理描述算子

從圖1可以看出，同一局部顯著度下也可能包含不同的紋理結構，當目標與背景紋理相近時，LSN將無法很好地描述目標。為此，本文在LSN算子的簡單高效基礎上加以拓展，加入以中心像素為對稱點的局部梯度信息，提出CS-LSN這一新的局部顯著度紋理描述算子。該算子通過計算以中心像素為對稱點的4組鄰域像素點的亮度差，并結合原始LSN算子形成一組二維向量，即

(3)

式中：gc為中心像素值；gi為鄰域像素值；d為允許差異值；

(4)

本文以P=8，R=1，d=2(即鄰域像素與中心像素差值小于2時判定為相似)為例來說明CS-LSN算子的生成過程。圖2示出2組中心像素的LSN和CS-LSN算子的計算過程(圖中第3列的中心位置是8鄰域像素中被判定為1的個數)?？梢钥闯?，2組示例具有不同的紋理結構，但LSN算子計算得到的局部顯著度都是3； 而CS-LSN算子通過計算以中心像素為對稱點的局部梯度信息，形成一個二維向量描述，由式(3)得到的示例1和示例2分別為(3,4)和(3,3)，這就很好地區分開不同的紋理結構。將CS-LSN算子引入MS跟蹤框架，可以提高目標表征模型的抗干擾能力； 此外，CS-LSN算子計算中心像素之間的差值關系時，不受場景中光照變化的影響，且對尺度和旋轉變化也有較好的適應性。

(a) 示例1

(b) 示例2

2基于 CS-LSN的目標跟蹤算法

本文利用CS-LSN掩模提取真實目標像素的CS-LSN紋理特征和色度特征，構建直方圖，完成目標表征； 進而將其嵌入到MS框架中，完成目標跟蹤。算法框架如圖3所示。

圖3　本文算法框架

2.1基于CS-LSN掩模的目標表征

文獻[13]對圖1中9種局部顯著度進行分析，以保留角點、邊緣、線等具有較高區分能力的真實目標像素為出發點，生成LSN掩模。為此，本文定義CS-LSN掩模為

(5)

利用1組運動員頭像中的頭部為跟蹤目標，分別給出了采用文獻[8]提出的LBP掩模和本文提出的CS-LSN掩模提取目標像素的結果(圖4)。

(a) 原始目標塊

(b) LBP掩模提取目標像素

(c) CS-LSN掩模提取目標像素

從圖4可以看出，目標與背景顏色存在一定的相似性，直接將原始目標塊中的所有像素形成顏色直方圖進行MS迭代，將會發生局部收斂導致跟蹤漂移的情況； 如果能盡量減少目標區域中背景像素的影響，則能使跟蹤器更好地收斂到真實目標上。圖4(b)中LBP掩模能較好提取出真實目標像素，但同時也丟失了大量的真實目標像素。圖4(c)表明，本文提出的CS-LSN掩模能更好地保留目標的完整性，并有效地抑制了背景像素。

由于HSV彩色空間中的色度(H)分量受光照影響不大，本文擬將其作為目標的顏色特征度量，量化成16個色度區間，且只提取用式(5)所示的CS-LSN掩模提取到的目標像素的色度信息，從而減少了對非真實目標像素的計算。而決定紋理特征度量的CS-LSN掩模決定的二維向量各有5種取值(同樣只對CS-LSN掩模提取到的目標像素進行計算)，因此，本文的多特征目標表征模型為16×5×5維直方圖。

2.2MS跟蹤框架

(6)

同理可計算候選目標區域的各特征空間量化值pu(y)，其中y為中心坐標。然后通過MS迭代進行目標定位，文獻[2]證明從現有中心到新的中心可利用以下迭代式，即

(7)

式中：g(x)=-k′(x)；y1為迭代得到的目標中心位置；xi為第i個像素所在位置；wi為xi所在位置的權重；pu(y)為當前目標中心位置的各特征空間量化值。

2.3目標跟蹤算法描述

結合2.1節中的目標表征方法和2.2節中的MS跟蹤框架，確定本文的目標跟蹤算法步驟如下：

2)同理計算候選目標區域模型pu(y0)，y0為區域中心;

3)根據得到的pu(y0)計算候選目標區域權重，并代入式(7)進行迭代，得到新的候選目標中心;

5)讀取下一景圖像，轉向步驟2)。

3實驗與結果分析

本文選用不同場景下的3組測試視頻，將本文算法與文獻[8](基于LBP模型)和文獻[13](基于LSN模型)中的跟蹤算法進行對比分析，以驗證本文算法的優越性。實驗平臺采用Intel Core(TM)2 Duo CPU主頻2.5 GHz的PC機，利用OpenCV2.4.9在VS2010上進行調試，進行算法準確性和實時性分析。

3.1評估標準

實驗采用文獻中常見的3個評估標準對算法的性能進行測試。

1)平均跟蹤誤差(center location error,CLE)。定義為

(8)

式中： (xT,yT)為跟蹤結果的中心位置； (xG,yG)為目標的真實位置。取每組測試視頻序列前200幀(由于前2種算法在200幀后可能會出現目標完全丟失的情況)的中心位置誤差平均值作為評估標準。

2)跟蹤成功率(success rate,SR)。定義每一幀跟蹤結果的得分為

(9)

式中：ROIT為跟蹤結果區域；ROIG為目標真實區域(人工標注)。若score>0.5，則認為跟蹤結果是正確的。

3)算法跟蹤速度。以單位時間處理的幀數(幀/s)為評估標準。

4)平均迭代次數。因為本文算法采用了Mean Shift迭代框架，為驗證用2.1節中CS-LSN掩模提取目標真實像素的有效性，本文將各算法的平均迭代次數也作為評估標準。

3.2結果分析

3.2.1實驗1

為驗證算法的抗背景干擾能力，選用文獻[16]中的機場小車視頻(共365幀)進行實驗。實驗的任務是跟蹤大小為29像素×25像素的中間那輛白色小車，跟蹤目標較小，顏色信息單一，紋理結構較平坦，與背景中的前后2輛車極為相似。圖5分別給出了3種算法的部分跟蹤結果(分別為第50,100,243,253和300幀)。

(a) 基于LBP模型[8]

(b) 基于LSN模型[13]

(c) 基于CS-LSN模型

從圖5可以看出，在第243幀時，文獻[8]的方法已嚴重漂移； 文獻[13]的方法也出現了漂移情況，但在253幀時重新搜索到目標； 本文算法則能穩定地完成跟蹤任務。這是因為本文提出的CS-LSN掩模能較好地去除目標框中的背景像素信息，所提取的紋理信息能夠較好地表征目標。表1給出了3種方法跟蹤性能的定量分析結果?？梢钥闯?，盡管本文方法的跟蹤速度較其他2種算法有所降低，但跟蹤成功率能夠達到100%，且23.94幀/s的跟蹤速度基本能夠滿足實時處理的需求。同時，用本文的CS-LSN掩模提取目標真實像素過程中，減少了背景像素的干擾，使得MS迭代次數比其他2種算法都低。

表1　實驗1中不同算法的跟蹤性能

3.2.2實驗2

為驗證算法的抗遮擋能力，選用文獻[17]中的小車視頻序列(共610幀)進行實驗。目標大小為108像素×53像素，視頻序列中多次出現遮擋(第185—245幀出現了長時間遮擋，第345—365幀和第450—465幀出現了短時遮擋)。圖6分別給出了3種算法的部分跟蹤結果(分別為第25,206,247,352和364幀)。

(a) 基于LBP模型[8]

(b) 基于LSN模型[13]

(c) 基于CS-LSN模型

從圖6可以看出，文獻[8]的LBP模型無法準確地描述目標在第25幀出現的跟蹤漂移； 而文獻[13]的方法在第247幀時目標被遮擋后不能再搜索到目標； 本文方法用CS-LSN算子提取的紋理特征具有較高的目標表征能力，在目標被長時及短時遮擋后，依然能夠繼續鎖定目標，出現了如圖6(c)的魯棒跟蹤效果，表現出了一定的抗遮擋能力。表2給出了3種方法跟蹤性能的定量分析結果。

表2　實驗2中不同算法的跟蹤性能

從表2可以看出，本文算法的跟蹤速度與其他2種算法相當，但跟蹤成功率較其他2種算法分別提高了65.9%和59.67%。由于CS-LSN掩模抑制了候選目標框中的大量背景像素，使得目標跟蹤速度得到了提升，達到40.48幀/s。

3.2.3實驗3

為驗證算法抗光照變化和物體形變能力，選用David標準測試視頻[18](共250幀)。目標大小為73像素×70像素，視頻序列中光照由弱到強，人臉在第170幀發生轉動時目標形變較大。圖7分別給出了3種算法的部分跟蹤結果(分別為第5,31,117,170和200幀)?？梢钥闯?，當背景中光照發生變化時，3種方法在第31幀均出現目標漂移，但本文方法很快將目標重新定位； 在第170幀時，文獻[8]和[13]的方法均完全跟蹤到了錯誤的目標，而本文的CS-LSN算子采用二維向量來表征目標真實像素，因此能較好區分目標與背景的紋理結構，表現出了良好的抗光照變化能力。3種方法跟蹤性能的定量分析結果見表3。

(a) 基于LBP模型[8]

(b) 基于LSN模型[13]

(c) 基于CS-LSN模型

表3　實驗3中不同算法的跟蹤性能

從表3可以看出，本文算法的處理速度與其他2種算法相當，但跟蹤成功率較其他2種算法分別提高了49.8%和46.4%。人臉在第170幀發生轉動時形變較大，導致跟蹤結果出現了較大偏移，從而使本文方法的平均跟蹤誤差達到了12.55像素。

最后，給出3組實驗的迭代次數曲線(圖8)和跟蹤誤差曲線(圖9)。

從圖8可以看出，本文方法在3組視頻中的迭代次數基本穩定在2～5次，在不同場景中表現出較強的魯棒性，體現了用本文CS-LSN掩模提取目標真實像素的高效性以及CS-LSN紋理特征較強的目標表征能力。

(a) 實驗1 (b) 實驗2(c) 實驗3

圖83組實驗的單幀迭代次數曲線

Fig.8Iterating times of single frame in three experiments

(a) 實驗1 (b) 實驗2(c) 實驗3

圖93組實驗的單幀跟蹤誤差曲線

Fig.9Single frame’s tracking error of three experiments

從圖9中可以看出，本文方法在實驗1中跟蹤效果最好，中心位置誤差基本保持在4像素以內。在實驗2中，由于在第190幀以后目標被部分遮擋，導致本文方法的跟蹤誤差偏大； 但當目標重新出現在場景中時，本文算法依然能夠準確定位到目標。在實驗3中，當目標尺度發生變化時，本文方法出現跟蹤誤差偏大的情況，但隨后跟蹤誤差依然穩定在20像素以內； 而其他2種算法則完全丟失了目標。

4結論

1)本文從提高目標表征能力的角度提升目標跟蹤性能，提出了一種新的紋理描述算子——中心對稱局部相似數量(CS-LSN)模型。該算子能區分同一局部顯著度下的不同紋理結構，且通過CS-LSN掩模能較好地剔除目標框中的背景像素，保留真實目標像素； 通過計算真實目標像素位置的CS-LSN掩模紋理特征和色度特征，代入MS框架完成跟蹤。

2)實驗結果表明，本文方法在目標與背景相似、部分遮擋、光照變化及物體形變等情況下，都能完成魯棒跟蹤； 不同場景下跟蹤成功率保持在95%以上，目標大小為29像素×25像素時處理速度約為24幀/s。

3)但當目標被嚴重遮擋以及目標尺度發生突變時，本文方法出現了跟蹤誤差變大的情況。為此，下一步研究將結合遮擋判斷機制以及目標尺度自適應變化機制對本文方法進行改進。

參考文獻(References)：

[1]Maggio E,Cavallaro A.Video Tracking: Theory and Practice[M].London,UK:Queen Mary University of London,2012.

[2]Comaniciu D,Ramesh V,Meer P.Kernel-based object tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(5):564-577.

[3]楊欣,費樹岷,李剛,等.基于復雜特征融合的改進mean shift目標跟蹤[J].控制與決策,2014,29(7):1297-1300.

Yang X,Fei S M,Li G,et al.Improved mean shift tracking algorithm based on complicated feature fusion[J].Control and Decision,2014,29(7):1297-1300.

[4]Vojir T,Noskova J,Matas J.Robust scale-adaptive mean-shift for tracking[J].Pattern Recognition Letters,2014,49:250-258.

[5]Li S X,Wu O,Zhu C F,et al.Visual object tracking using spatial context information and global tracking skills[J].Computer Vision and Image Understanding,2014,125:1-15.

[6]董文會,常發亮,李天平.融合顏色直方圖及SIFT特征的自適應分塊目標跟蹤方法[J].電子與信息學報,2013,35(4):770-776.

Dong W H,Chang F L,Li T P.Adaptive fragments-based target tracking method fusing color histogram and SIFT features[J].Journal of Electronics and Information Technology,2013,35(4):770-776.

[7]Maenpaa T,Pietikainen M.Texture analysis with local binary patterns[M]//Handbook of Pattern Recognition and Computer Vision.USA:World Scientific Pub.Co.Inc,2005:197-216.

[8]Ning J F,Zhang L,Zhang D,et al.Robust object tracking using joint color-texture histogram[J].International Journal of Pattern Recognition and Artificial Intelligence,2009,23(7):1245-1263.

[9]張濤,蔡燦輝.基于多特征Mean Shift的人臉跟蹤算法[J].電子與信息學報,2009,31(8):1816-1820.

Zhang T,Cai C H.A face tracking algorithm based on multiple feature mean shift[J].Journal of Electronics & Information Technology,2009,31(8):1816-1820.

[10]張炯,寧記峰,顏永豐,等.對立色LBP模型的目標跟蹤[J].中國圖象圖形學報,2012,17(11):1418-1424.

Zhang J,Ning J F,Yan Y F,et al.Object tracking with opponent color LBP model[J].Journal of Image and Graphics,2012,17(11):1418-1424.

[11]Borji A,Itti L.State-of-the-art in visual attention modeling[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(1):185-207.

[12]黎萬義,王鵬,喬紅.引入視覺注意機制的目標跟蹤方法綜述[J].自動化學報,2014,40(4):561-576.

Li W Y,Wang P,Qiao H.A survey of visual attention based methods for object tracking[J].Acta Automatica Sinica,2014,40(4):561-576.

[13]Tavakoli H R,Moin M S,Heikkila J.Local similarity number and its application to object tracking[J].International Journal of Advanced Robotic Systems,2013,10:184.

[14]張紅穎,胡正.融合局部三值數量和色度信息的均值漂移跟蹤[J].電子與信息學報,2014,36(3):624-630.

Zhang H Y,Hu Z.Mean Shift tracking method combing local ternary number with hue information[J].Journal of Electronics and Information Technology,2014,36(3):624-630.

[15]Heikkila M,Pietikainen M,Schnid C.Description of interest regions with local binary patterns[J].Pattern Recognition,2009,42(3),425-436.

[16]陳東成,朱明,高文,等.在線加權多示例學習實時目標跟蹤[J].光學精密工程,2014,22(6):1661-1667.

Chen D C,Zhu M,Gao W,et al.Real-time object tracking via online weighted multiple instance learning[J].Optics and Precision Engineering,2014,22(6):1661-1667.

[17]Kalal Z,Mikolajczyk K,Matas J.Tracking-learning-detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(7):1409-1422.

[18]Babenko B,Yang M H,Belongie S.Robust object tracking with online multiple instance learning[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(8):1619-1632.

(責任編輯： 劉心季)

Mean shift object tracking based on center symmetric-local similarity number model

LIU Wei1， ZHAO Wenjie1， LI Cheng1， LI Ting1， TAN Haifeng1， MA Yangming2

(1. Department of Aerospace Intelligence， Aviation University of Air Force， Changchun 130022， China；2.PLA73608Troop，Nanjing210000，China)

Abstract:In order to complete the task of real-time object tracking, this paper proposes a new local texture description operator, which is called center symmetric-local similarity number(CS-LSN). The operator analyzed the center pixel and its eight neighborhood pixels, on the basis of the local similarity number (LSN); as the texture operator fails to distinguish the same local saliency of different texture structures, the authors added the local gradient information using the center pixel as the symmetric point, extracted the key pixels which correspond only to the five major patterns of the CS-LSN in the target candidate region, effectively restrained the influence of the background pixels and reduced the computation in the target representation model, and then represented target by CS-LSN texture feature and the chromaticity in the true target pixel, which was embedded into the mean shift(MS) tracking framework. The experimental results show that the proposed method can continuously track the target when the background and the color are similar under the condition of changing illumination and in the occlusion cases. The processing speed can reach 25 frames or so per second when the object is 29 pixel×25 pixel, so it can satisfy the demand of real-time application.

Keywords:object tracking； texture feature； center symmetric-local similarity number(CS-LSN)； mean shift (MS)

doi:10.6046/gtzyyg.2016.03.07

收稿日期：2015-04-03；

修訂日期：2015-05-04

中圖法分類號：TP 751.1; TP 391

文獻標志碼：A

文章編號：1001-070X(2016)03-0037-09

第一作者簡介：劉威(1991-),男,碩士研究生,主要研究方向為計算機視覺及目標跟蹤。Email： 1224337250@qq.com。

引用格式： 劉威,趙文杰,李成,等.基于中心對稱局部相似數量模型的均值漂移目標跟蹤[J].國土資源遙感,2016,28(3)：37-45.(Liu W,Zhao W J,Li C,et al.Mean shift object tracking based on center symmetric-local similarity number model[J].Remote Sensing for Land and Resources,2016,28(3)：37-45.)