基于慣量矩的自適應帶寬Mean Shift目標跟蹤算法

丁 業 兵

(安徽郵電職業技術學院通信工程系　安徽 合肥 230031)

?

基于慣量矩的自適應帶寬Mean Shift目標跟蹤算法

丁 業 兵

(安徽郵電職業技術學院通信工程系安徽 合肥 230031)

摘要基于核的傳統均值漂移目標跟蹤算法，對于目標的尺度和角度缺乏良好的自適應能力。為此，提出一種基于慣量矩的自適應調整核函數帶寬均值漂移跟蹤算法。該算法首先用顏色模型在最優迭代位置投影創建目標概率密度分布，然后計算此密度分布的形心主軸慣量矩和旋轉角度，最后用慣量矩的方法對目標進行橢圓擬合。得到目標的長度和寬度，遞歸濾波后自適應調整核函數帶寬。實驗結果表明，該算法在光照、尺度變化情況下可以準確跟蹤目標，并估計目標旋轉角度。

關鍵詞目標跟蹤均值漂移慣量矩核帶寬概率密度

0引言

視頻運動目標跟蹤已經運用于視頻監控、人機交互、智能穿戴等各方面[1-3]，而在復雜環境下進行有效跟蹤卻一直是人類研究的課題[4,5]。基于核函數的Mean Shift目標跟蹤，計算量小、易實現，成為一種經典的視頻目標跟蹤算法[6,7]，但其存在尺度自適應問題。為了適應目標大小變化，其對核函數帶寬進行正負10%修正，根據巴士系數得到最優結果，但這種相似性度量會在小窗口中達到局部最大，發生小尺度游蕩問題[8]。為了解決尺度自適應問題。很多文獻從跟蹤模型的數學推導過程中進行改進。如Collins采用尺度空間理論進行目標空間的定位和帶寬的確定[9]；文獻[10]采用估計協方差矩陣描述目標形狀的最大期望算法進行變尺度迭代尋找目標；李培華等根據奇異值分解理論，建立了一種新的候選目標模型，跟蹤仿射變換后的目標[11]；文獻[12]提出一種基于尺度不變SIFT(Scale Invariant Feature Transform)特征度量的Mean Shift目標跟蹤算法[12]。也有一些文獻是提取目標的特征點進行匹配來獲得尺度信息，如彭寧嵩等人提出一種基于后向跟蹤、形心配準的核函數帶寬自動選取算法[13]。還有一些文獻是采用目標與背景的差異來調整帶寬，如左軍毅等人利用目標與背景顏色的差異，修正了最優帶寬判別條件[8]，解決了算法固有的小尺度游蕩問題。除了尺度自適應外，Mean Shift跟蹤發展的另外一些方向包括目標表觀的多特征選擇[14-16]、對目標進行分塊、處理遮擋的情況[17]、目標直方圖更新[18]和快速移動目標的處理[19]。

本文引入的轉動慣量是物理學中表征物體轉動慣性大小的量，與物體質量及其密度分布有關[20]，運用于數字圖像中也稱為慣量矩。灰度密度圖像的慣性特征可以用來描述物體的大小，慣性主軸方向能描述目標在二維平面的旋轉角度[21,22]。

圖像慣性矩具有計算量小、易于實現的特點。將目標顏色模型在每幀的目標迭代位置進行直方圖概率密度投影，此概率密度分布的大小即為目標的大小。對概率密度分布采用計算相應慣性矩的方法，推導得出跟蹤目標的長度、寬度以及旋轉角度，再運用簡單遞歸濾波的方法自適應調整核函數帶寬。

1Mean Shift目標跟蹤算法

令{xi}i=1,2,…,n為圖像中目標范圍內各像素點的位置。如果用色彩分布來描述目標物體，則中心位于y0的物體，其顏色u的概率可以表示為：

(1)

(2)

核函數根據樣本點距離中心位置的不同給出不同的權重。qu是描述目標色彩中某個顏色u的直方圖值。

采用相同帶寬的核函數，中心位于y處的候選目標顏色u的概率密度為：

(3)

目標用量化后的顏色直方圖密度表示為q={qu}u=1,2,…,m，中心位置為y的候選目標表示為p(y)={pu(y)}u=1,2,…,m。候選目標與目標間的相似性用Bhattacharyya系數進行度量，即：

(4)

新的目標位置的搜索由上一幀目標最優位置開始，相鄰兩幀在目標變化不是很劇烈的情況下，相似性度量函數ρ(y)滿足泰勒公式展開條件。在pu(y0)點，泰勒級數近似展開為：

(5)

將式(3)代入式(5)，可得：

(6)

其中，權重wi為：

(7)

式(5)中的第一項是定值，第二項是含有中心位置變量y的核函數概率密度函數。核函數帶寬為h，樣本權重系數為wi，此概率密度的最大值用Mean Shift算法獲得，即逐步迭代到最優位置。

設初始位置為y0，g(x)=-k′(x)，Mean Shift算法迭代步驟如下：

步驟1以y0為迭代起始點，計算相似度值ρ(y0)；

步驟2計算新的位置中心y1：

(8)

步驟3以y1為中心計算概率密度直方圖{pu(y1)}u=1,2,…,m新的相似度值為ρ(y1)；

步驟4如果ρ(y1)<ρ(y0)，則y1=( y0+y1)/2；

步驟5如果‖y1-y0‖<ε，停止迭代，否則令 y0=y1，回到步驟1，直到跟蹤結束。

ε為誤差閾值，當相鄰兩次中心位置幾乎一樣時，就是所要求的目標最優位置。

2基于慣量矩的自適應帶寬Mean Shift算法

形心主軸是過圖形形心，慣量積等于零的一對對稱正交軸，勻質橢圓形平面體的質心即為圖形形心。設原圖像坐標系為x-y，此直角坐標系下的形心坐標為(x0,y0)。將坐標軸原點平移到目標形心后，令f(x,y)為圖像坐標(x,y)處的概率密度，目標概率密度分布對x、y軸的轉動慣量Ix、Iy和慣量積Ixy分別為：

(9)

原圖像坐標系經過平移旋轉后，新的形心主軸坐標系為x′-y′，旋轉角度為φ。坐標系變換以后，變換公式為：

(10)

主軸慣量矩和慣量積分別為：

(11)

將式(10)代入式(11)，化簡后得：

(12)

形心主軸慣量積等于零，因而可以求得旋轉角度φ為：

(13)

式中，φ即為目標在二維窗口視角下偏轉的角度，φ∈[-π/4, +π/4]。當Ix>Iy，為目標長軸與y軸的夾角；Ix

(14)

圖像中的目標概率密度分布近似為勻質橢圓形平面體，通過圖像慣量矩的特征用橢圓來進行擬合，橢圓的長半軸和短半軸長度l、w分別為：

(15)

式中，M為概率密度的累加值，其推導前提是將圖像中的橢圓形目標近似看作為一個勻質橢圓體。令各像素大小m1=m2=…=mn=ρ，M= m1+ m2+…+mn，設x=lcosθ，y=wsinθ，θ∈[0,2π]，推導過程如下：

(16)

(17)

函數帶寬h的計算方法如下：

(18)

為了避免目標尺度過于敏感，新的核函數帶寬的獲取采用濾波更新尺度策略，即更新后的帶寬：

hnew=γhopt+(1-γ)hprev

(19)

取γ=0.1，hopt為式(18)計算得到的帶寬，hprev為上一幀目標的帶寬。

基于慣量矩的自適應核帶寬Mean Shift目標跟蹤算法執行步驟為：

步驟1選擇跟蹤目標，建立歸一化核函數概率密度直方圖目標顏色模型；

步驟2在當前幀，以目標前一幀最優位置為目標初始迭代位置，采用相同帶寬核函數進行Mean Shift目標跟蹤定位，迭代到最優位置；

步驟3將目標核函數概率密度直方圖在最優位置投影，創建目標概率密度分布圖；

步驟4計算目標概率密度分布的形心主軸轉動慣量和旋轉角度，進而推導得到擬合后的目標橢圓長、短軸參數；結合上一幀圖像中的目標帶寬，用濾波算法獲得新的核函數帶寬，為下一幀圖像中的目標跟蹤提供更新后的核函數帶寬，即轉到步驟2，直到視頻目標跟蹤結束。

3實驗結果與分析

實驗硬件平臺為Core(TM)i5處理器，軟件平臺為Win 7操作系統、Matlab仿真軟件。本文采用RGB顏色空間建立目標顏色直方圖模型，紅、綠、藍三種顏色通道分別被量化為16等份，共同構成目標顏色特征。目標樣本點距離目標中心的位置不同，權重不同，度量權重的大小采用如下核函數：

(20)

式中，x為空間中的一個點。核函數使得樣本點距離中心越遠，權重越小。

實驗視頻為攝像機運動情況下拍攝到的辦公室環境中的人臉跟蹤測試視頻，且有背景光照變化影響。視頻中每幀圖像大小為128×96像素，視頻人臉顏色模型的獲得通過手動完成，即在第一幀中用矩形框選定人臉范圍。在相同實驗條件下，與經典Mean Shift目標跟蹤算法進行了比較。典型幀的跟蹤結果見圖1所示，(a)為經典Mean Shift算法跟蹤結果，白色矩形框標出了跟蹤窗口。從圖中可見，人臉偏轉及光照影響下，跟蹤框發生了偏移，而且存在目標人臉變大后，跟蹤窗口仍然在小尺度下徘徊的現象。(b)為基于慣量矩的Mean Shift算法跟蹤結果，矩形框為搜索窗口，橢圓框描述目標形狀大小，圖中可見，矩形框能準確鎖定目標范圍，受光照變化影響較小，橢圓框圈定了目標人臉。

圖1　光照變化下的人臉跟蹤

圖2為兩種跟蹤算法部分視頻幀的跟蹤誤差曲線。橫坐標為視頻的幀序號，縱坐標為相應幀的算法誤差值，實線為基于慣量矩的Mean Shift跟蹤算法誤差曲線，虛線為經典Mean Shift跟蹤算法誤差曲線。

圖2　光照變化下的人臉跟蹤誤差曲線

人臉中心位置和核函數帶寬的真實值是人工在每幀視頻圖像中采集獲得。每幀圖像中的誤差用算法得出的結果與真實值之間的像素距離來度量。具體誤差數據用數學均值和標準差進行統計，統計結果見表1所示。從表中可見，本文算法的跟蹤中心點位置和核函數帶寬誤差小于經典Mean Shift跟蹤算法；在同等條件下，平均每幀跟蹤時間也小于經典Mean Shift跟蹤算法。

表1　光照變化下人臉跟蹤誤差(均值±標準差)

圖3是人臉尺度變化下的典型跟蹤結果，圖像上方灰色區域顯示的是當前幀和總視頻幀數，圖像左上角框內為跟蹤采集到的人臉。視頻中，測試者由近及遠，然后又靠近攝像頭，人臉大小隨之發生變化。(a)是經典Mean Shift算法跟蹤結果，從圖中可見，人臉在由大變小的情況下，跟蹤結果較為準確，但當人臉由小變大后，跟蹤窗口不再變大。(b)是基于慣量矩的Mean Shift算法跟蹤結果，從圖中可見，跟蹤窗口能自適應調整窗口大小，適應人臉尺度變化情況。

圖3　尺度變化下的人臉跟蹤

圖4是人臉發生較大偏轉的典型跟蹤結果，視頻中，人臉左右急劇偏轉。(a)是經典Mean Shift算法跟蹤結果，跟蹤窗口無法自轉，跟蹤結果不夠準確；(b)是基于慣量矩的Mean Shift算法跟蹤結果，自適應調整帶寬跟蹤過程中，橢圓窗口隨著人臉的偏轉而轉動，實現準確捕捉，跟蹤結果更為準確。

圖4　人臉偏轉跟蹤結果

將視頻第290幀到第350幀人臉的偏轉角度繪制成曲線，如圖5所示。

圖5　人臉偏轉角度曲線

人臉向左偏轉的角度為圖5中的正值，向右偏轉的角度為負值， 從圖5中可見，角度的變化準確反映了人臉偏轉情況。從第290幀到第312幀，人臉從左向右偏轉，達到最大偏轉角度32.3632°；從第312幀到第328幀，人臉從右向左偏轉，達到最大偏轉角度34.6942°。根據第2節推導原理，角度范圍為[-π/4, +π/4]，實際人臉偏轉角度沒有超過45度，所以主軸慣量矩的值Ix>Iy。擬合橢圓的夾角是橢圓長軸與垂線的夾角，為正則在垂線的右側，為負則在垂線的左側。

綜上，三組實驗驗證了本文算法較經典Mean Shift跟蹤算法在光照、目標尺度變化情況下具有更優良的表現，并且能夠運用慣量矩的方法對目標進行橢圓擬合，計算獲得目標的旋轉角度。

4結語

傳統Mean Shift目標跟蹤算法存在小尺度游蕩問題，并且描述目標形狀能力較為欠缺，無法獲知目標旋轉角度。本文將物理學中的轉動慣量特征引入到數字圖像處理中，運用圖像慣量矩的方法對傳統Mean Shift目標跟蹤算法中的尺度問題進行了改進。該算法使用了原算法的核函數顏色模型，在Mean Shift迭代的最優位置投影創建目標概率密度分布圖，將此密度分布近似為均質橢圓體。采用慣量矩的方法對密度分布進行橢圓擬合，從而獲得目標的大小、旋轉角度，自適應調整下一幀跟蹤窗口核函數帶寬。該算法易于實現，但依賴于獲得準確的目標密度分布，遮擋情況是下一步研究的方向。

參考文獻

[1] Ferryman J M,Maybank S J,Worrall A D.Visual surveillance for moving vehicles[J].International Journal of Computer Vision,2000,37(2):187-197.

[2] Francisco B F,Alberto O,Gabriel O.Visual Navigation for Mobile Robots:A Survey[J].Journal of Intelligent and Robotic Systems,2008,53(3):263-296.

[3] Jong S K,Dong H Y,Yong H J.Fast and robust algorithm of tracking multiple moving objects for intelligent video surveillance systems[J].IEEE Transactions on Consumer Electronics,2011,57(3):1165-1170.

[4] Babu R V,Patrick P,Patrick B.Robust tracking with motion estimation and local Kernel-based color modeling[J].Image Vision Computing,2007,25(8):1205-1216.

[5] Prakash U M,Thamaraiselvi V G.Detecting and tracking of multiple moving objects for intelligent video surveillance systems[C]//International Conference on Current Trends in Engineering and Technology,India:Coimbatore,2014:253-257.

[6] Comaniciu D,Ramesh V,Meer P.Real-time tracking of non-rigid objects using mean shift[C]//IEEE Conference on Computer Vision and Pattern Recognition,USA:Hilton Head,2000:142-149.

[7] Comaniciu D,Ramesh V,Meer P.Kernel-based object tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(5):564-577.

[8] 左軍毅,梁彥,趙春暉,等.Mean Shift跟蹤算法中尺度自適應策略的研究[J].中國圖象圖形學報,2008,13(9):1750-1757.

[9] Collins R T.Mean-shift blob tracking through scale space[C]//IEEE Conference on Computer Vision and Pattern Recognition,2003:234-240.

[10] Zivkovic Z,Krose B.An EM-like algorithm for color-histogram-based object tracking[C]//IEEE Conference on Computer Vision and Pattern Recognition,USA:LOS Alamitos,2004:798-803.

[11] 李培華,肖莉娟.基于Mean Shift的相似性變換和仿射變換目標跟蹤算法[J].中國圖象圖形學報,2011,16(2):258-266.

[12] 翟海濤,吳建,陳建明,等.基于SIFT特征度量的Mean Shift目標跟蹤算法[J].計算機應用與軟件,2011,28(6):47-50,120.

[13] 彭寧嵩,楊杰,劉志,等.Mean Shift跟蹤算法中核函數窗寬的自動選取[J].軟件學報,2005,16(9):1542-1550.

[14] Robert T C,Yanxi Liu,Marius L.Online Selection of Discriminative Tracking Features[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(10):1631-1643.

[15] 丁業兵,趙峰,郝詩海.多特征帶寬自適應Mean Shift目標跟蹤算法[J].計算機工程,2013,39(2):197-201.

[16] 袁廣林,薛模根,韓裕生,等.基于自適應多特征融合的Mean Shift目標跟蹤[J].計算機研究與發展,2010,47(9):1663-1670.

[17] Jeyakara J,Babub R,Ramakrishnanc K.Robust object tracking with background-weighted local kernels[J].Computer Vision and Image Understanding,2008,112(3):296-309.

[18] Peng N S,Yang J,Liu Z.Mean Shift blob tracking with kernel histogram filtering and hypothesis testing[J].Pattern Recognition Letters,2005,26(5):605-614.

[19] Li S X,Chang H X,Zhu C F.Adaptive pyramid mean shift for global real-time visual tracking[J].Image and Vision Computing,2010,28(3):424-437.

[20] 李高平,楊軍,陳毅紅.改進轉動慣量特征的快速分形圖像編碼算法[J].計算機工程與應用,2013,49(24):148-152.

[21] 羅斌.灰度圖像的慣性主軸方向特征[J].安徽大學學報:自然科學版,1998,22(4):40-42.

[22] Nan Liang.An approach on characteristic lines extracting of gray images using moment of inertia[C]//IEEE International Conference on Advanced Computer Control.China:Shenyang,2010:379-382.

收稿日期：2015-01-30。安徽省高校優秀青年人才基金重點項目(2013SQRL121ZD)。丁業兵，講師，主研領域：視頻目標跟蹤，圖像處理。

中圖分類號TP391

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.07.072

ADAPTIVE BANDWIDTH MEAN SHIFT TARGET TRACKING ALGORITHM BASED ON INERTIA MOMENT

Ding Yebing

(DepartmentofCommunicationEngineering,AnhuiPostandTelecommunicationCollege,Hefei230031,Anhui,China)

AbstractTraditional kernel-based mean shift tracking algorithm lacks good adaptability in scale and rotation angle of target. For this reason, we proposed an inertia moment-based mean shift tracking algorithm which adaptively adjusts the bandwidth of kernel function. First, the algorithm projects and creates a target probability density distribution with colour model in optimal iterative position. Then it calculates the centroid axis inertia moment and rotation angle of the density distribution. Finally it makes ellipse fitting on target with inertia moment method to get the length and width of target. After recursive filtering, it adaptively adjusts kernel function’s bandwidth. Experimental results showed that the algorithm can accurately track the target and estimate target’s rotation angle under the condition of light and scale changes.

KeywordsTarget trackingMean shiftInertia momentKernel bandwidthProbability density