基于CamShift 的壓縮跟蹤方法

楊豐瑞，劉 亭，劉雄風(fēng)

(1.重慶郵電大學(xué)，重慶400065;2.重慶重郵信科(集團(tuán))股份有限公司，重慶400065)

近年來，運(yùn)動目標(biāo)跟蹤技術(shù)被大量應(yīng)用到人們的生產(chǎn)和生活中，人們對目標(biāo)跟蹤領(lǐng)域的研究也在不斷的深入，并取得了許多不錯的成果。根據(jù)對目標(biāo)外觀的建模方式，可以把目標(biāo)跟蹤方法大致分為［1］:基于生成模型的跟蹤方法與基于判別模型的跟蹤方法。基于生成模型的目標(biāo)跟蹤算法主要是在上一幀目標(biāo)位置的相鄰區(qū)域進(jìn)行搜索，得到最為相似的區(qū)域即為目標(biāo)區(qū)域。這類算法在跟蹤的同時必須在線更新外觀模型，而更新環(huán)節(jié)又很容易引入誤差，帶來漂移等問題。

基于判別模型的目標(biāo)跟蹤算法是利用訓(xùn)練好的分類器將目標(biāo)和背景分為兩類，這種算法同時使用了背景和目標(biāo)信息，可以有效減少目標(biāo)漂移的問題。Babenko 等人［2］提出的MIL多示例學(xué)習(xí)方法有效地解決了因部分遮擋和外觀變化引起的漂移問題。但是，該算法不能對長時間完全遮擋進(jìn)行準(zhǔn)確跟蹤。Zhang 等人［3］提出了壓縮跟蹤算法。該算法簡單高效且魯棒性好。然而當(dāng)外觀模型不能準(zhǔn)確描述目標(biāo)時，該算法對目標(biāo)的跟蹤就會出現(xiàn)漂移等問題。針對這一問題，本文采用CamShift 和壓縮跟蹤算法相結(jié)合的方法，從不同角度預(yù)測目標(biāo)位置，利用CamShift 的預(yù)測位置對壓縮跟蹤算法得到的不準(zhǔn)確的位置進(jìn)行矯正。又由于CamShift 算法是根據(jù)目標(biāo)的H分量顏色特征進(jìn)行位置預(yù)測的，容易受到背景中相似色的干擾，所以本文采用目標(biāo)的H－S 二維概率分布直方圖作為目標(biāo)特征來解決背景中的相似色干擾問題。除此之外，壓縮跟蹤算法的跟蹤框大小是由初始目標(biāo)大小決定的，而在跟蹤過程中目標(biāo)的尺度顯然是變化的。為了解決這一問題，本文利用CamShift 自適應(yīng)調(diào)整窗口大小和位置的原理，對跟蹤結(jié)果的窗口進(jìn)行自適應(yīng)調(diào)整。

1 壓縮跟蹤算法

壓縮跟蹤算法(Compressive Tracking，CT)是在壓縮感知理論［4－5］基礎(chǔ)上提出的一種快速魯棒算法。首先根據(jù)壓縮感知理論的RIP 條件，生成非常稀疏的隨機(jī)矩陣，通過該矩陣對圖像的Haar－Like 特征進(jìn)行降維，然后把降維后的特征輸入到樸素貝葉斯分類器中分類。再對每一幀進(jìn)行在線學(xué)習(xí)采集正負(fù)樣本更新分類器。

1.1 隨機(jī)測量矩陣和特征提取

由壓縮感知理論可知，一個可壓縮的高維信號x∈Rm可以通過以下關(guān)系式投影到一個低維空間v∈Rn上，并且高維信號x 的信息被完整地保留在低維信號v 中，即

式中，P∈Rn×m是一個符合RIP 條件的稀疏矩陣，n≤m。文獻(xiàn)［2］將隨機(jī)測量矩陣P 定義為

其中，s 隨機(jī)取得2 或3。提取目標(biāo)降維后的特征公式［4］為

式中:N 表示特征圖像塊的數(shù)目，其值隨機(jī)取得2 或3;R 表示在候選區(qū)域內(nèi)隨機(jī)選取的圖像塊。

1.2 分類器的構(gòu)建與更新

采集到的每個樣本的低維特征v 中的每個元素都是由一組Haar－Like 特征線性組合而成，并且假定它們都是獨(dú)立分布的，正負(fù)樣本的條件概率p ( vi|y )=0 和p(vi|y=1)均服從高斯分布，利用樸素貝葉斯分類器［6］對特征進(jìn)行建模。

其中，y 取1 和0，分別表示正樣本和負(fù)樣本。假設(shè)分類器中兩個類的先驗(yàn)概率和特征v 中每個元素的條件概率分布如下

最后，通過比較每個樣本在分類器中H(v)值的大小，找到H(v)最大值所對應(yīng)的候選樣本，則該樣本即為本幀的目標(biāo)位置，然后重新采集正負(fù)樣本，根據(jù)樣本信息對相關(guān)參數(shù)進(jìn)行更新

式中，λ 為學(xué)習(xí)因子，0 ＜λ ＜1，且為常數(shù)，表示分類器的更新程度。

2 CamShift 算法

CamShift 算法是基于MeanShift 的改進(jìn)算法，運(yùn)行效率較高。算法的流程如下:

1)初始化跟蹤窗口;

2)計(jì)算目標(biāo)的反向投影圖;

3)執(zhí)行MeanShift 算法，不斷循環(huán)計(jì)算跟蹤框內(nèi)圖像的質(zhì)心，移動跟蹤框的位置使跟蹤框的中心與質(zhì)心重合，當(dāng)移動的距離小于指定值或循環(huán)的次數(shù)足夠多時，終止循環(huán);

4)根據(jù)步驟3)得到的結(jié)果，計(jì)算出窗口的位置坐標(biāo)和尺度大小，即為這一幀的跟蹤結(jié)果;

5)進(jìn)入下一幀，跳轉(zhuǎn)至步驟2)。

3 基于CamShift 的壓縮跟蹤算法

3.1 算法概述

本文提出的基于CamShift 的壓縮跟蹤算法主要是為了解決3 個問題:

1)壓縮跟蹤算法一旦出現(xiàn)跟蹤漂移，就很難再找回目標(biāo)，本文利用改進(jìn)的CamShift 得到的位置信息來矯正壓縮跟蹤算法不準(zhǔn)確的跟蹤位置，增大目標(biāo)和背景的差異性，提高算法的準(zhǔn)確性。同時CamShift 采用H－S 二維直方圖的反向投影圖來預(yù)測目標(biāo)位置能夠有效的解決相似色干擾帶來的跟蹤不準(zhǔn)確的問題。

2)壓縮跟蹤算法在整個跟蹤過程中窗口的大小一直等于初始化階段的跟蹤窗口的大小，然而在運(yùn)動過程中視頻序列捕捉到的目標(biāo)大小卻很難保持不變［7］。當(dāng)運(yùn)動目標(biāo)尺度變大時，跟蹤框外存在大量的目標(biāo)信息，使得采集到的負(fù)樣本中可能包含目標(biāo)的特征，從而降低了目標(biāo)和背景的差異性;當(dāng)目標(biāo)縮小或姿態(tài)變化時，跟蹤框內(nèi)包含許多的背景信息，影響目標(biāo)的參數(shù)模型，進(jìn)而導(dǎo)致跟蹤漂移或者跟蹤失敗［8］。針對這一問題，本文采用CamShift 自適應(yīng)調(diào)節(jié)窗口大小的原理，在得到目標(biāo)中心點(diǎn)位置后，根據(jù)目標(biāo)位置的各階矩自適應(yīng)調(diào)整窗口的大小和角度。

3)壓縮跟蹤算法采用固定不變的更新方式，即更新分類器的學(xué)習(xí)因子是預(yù)先設(shè)定保持不變的，這樣不僅易于引入噪聲和誤差，而且很容易偏向新樣本而遺忘之前學(xué)習(xí)的樣本。另外，CamShift 算法中目標(biāo)模板也是由初始幀決定的，在跟蹤過程中一旦目標(biāo)結(jié)構(gòu)變化較大時就容易導(dǎo)致跟蹤失敗。對于模板更新問題，本文通過計(jì)算前一幀和當(dāng)前幀之間的匹配程度，來更新學(xué)習(xí)參數(shù)和目標(biāo)模板。

3.2 算法流程

基于CamShift 的壓縮跟蹤算法的大致流程如下:

輸入第t 幀圖像，上一幀目標(biāo)位置為pt－1。

1)根據(jù)上一幀位置，利用改進(jìn)的H－S CamShift 算法預(yù)測第t 幀目標(biāo)的位置pt0。

2)在t－1 幀目標(biāo)位置pt－1周圍小于一定范圍內(nèi)采樣N 個圖像塊，然后提取這些圖像塊的降維特征。

3)計(jì)算各個樣本圖像塊與預(yù)測位置之間的距離

4)將樣本權(quán)重wj和樣本特征輸入到分類器判別函數(shù)

找到H1(v)最大值所對應(yīng)的樣本即為本幀目標(biāo)位置pt。

5)根據(jù)前后兩幀圖像的巴氏距離［9］p 判斷圖像的匹配程度。若p ＞ε，接受更新，學(xué)習(xí)因子為:λ'=λ/ρ，CamShift 的目標(biāo)模板為當(dāng)前幀跟蹤窗口內(nèi)圖像;反之，若ρ≤ε，前后兩幀跟蹤到的圖像差異較大，可能出現(xiàn)遮擋等情況，為了避免引入噪聲，此時不更新參數(shù)和模板。

6)在目標(biāo)位置周圍采集正負(fù)樣本，依據(jù)新的學(xué)習(xí)因子更新分類器。

7)根據(jù)目標(biāo)位置圖像的各階矩調(diào)整跟蹤窗口的大小，輸出跟蹤窗口即為目標(biāo)位置。

本幀算法結(jié)束，讀取下一幀。

4 實(shí)驗(yàn)結(jié)果及分析

本實(shí)驗(yàn)在Visual Studio 2013 和OpenCV2.4.8 環(huán)境下進(jìn)行。選取三組各大經(jīng)典算法提供的測試視頻序列:lemming，skating 和soccer 作為本實(shí)驗(yàn)的測試序列，這些視頻序列存在著相似色干擾、目標(biāo)尺度變化、姿態(tài)變化、運(yùn)動模糊、目標(biāo)遮擋等問題。然后將本文改進(jìn)后的算法、CT 算法和CamShift 算法的跟蹤結(jié)果進(jìn)行比較，著重分析本文算法與壓縮跟蹤算法的差異。實(shí)驗(yàn)結(jié)果如圖1，2 和3 所示。

相似色干擾:根據(jù)圖1，2，3 得，當(dāng)出現(xiàn)相似色干擾時，CamShift 算法不能準(zhǔn)確地跟蹤目標(biāo)，而本文算法和CT 算法都能較好地處理相似色干擾問題。

尺度旋轉(zhuǎn):從lemming 序列的第135 幀、soccer 序列的第13 幀可以看出，當(dāng)目標(biāo)變大時，CT 算法的跟蹤框外包含了許多目標(biāo)信息，這將導(dǎo)致負(fù)樣本的采樣過于靠近目標(biāo)區(qū)域，使得背景和跟蹤目標(biāo)的可區(qū)分度降低。而本文算法可以自適應(yīng)調(diào)整窗口的大小，使得目標(biāo)能包含在跟蹤窗口內(nèi)。由skating 的第56，68 幀和soccer 的第49，68 幀可以得出，當(dāng)目標(biāo)旋轉(zhuǎn)、尺度變化時，CT 算法的模型參數(shù)中引入了許多背景信息，出現(xiàn)跟蹤漂移，甚至跟蹤失敗。

運(yùn)動模糊:lemming 序列的第232 幀由于目標(biāo)移動過快而導(dǎo)致運(yùn)動模糊時，CT 算法出現(xiàn)跟蹤錯誤，而本文算法仍能很好的跟蹤目標(biāo)。

圖1 lemming 視頻序列的跟蹤結(jié)果(第135，232，350，393 幀)

圖2 skating 視頻序列的跟蹤結(jié)果(第56，86，120，298 幀)

目標(biāo)遮擋:遮擋現(xiàn)象是目標(biāo)跟蹤中較為常見的問題。由lemming 序列的第350，393 幀和skating 序列中的第120，298幀可以看出，當(dāng)目標(biāo)被遮擋或消失后，本文算法仍能準(zhǔn)確地跟蹤目標(biāo)，而CT 算法則出現(xiàn)錯誤。

選擇5 個具有代表性的視頻序列進(jìn)行測試，比較本文算法與經(jīng)典算法:多示例學(xué)習(xí)MIL，TLD，CT 算法的跟蹤成功率。各算法的跟蹤成功率如表1 所示。

表1 跟蹤成功率 %

圖3 soccer 視頻序列的跟蹤結(jié)果(第13，49，68，100 幀)

由表1 可以看出，本文算法性能穩(wěn)定，對于不同的視頻序列仍具有較強(qiáng)的魯棒性和穩(wěn)定性。

5 小結(jié)

本文提出的改進(jìn)跟蹤算法能夠根據(jù)目標(biāo)尺度變化自適應(yīng)調(diào)整跟蹤窗口，在目標(biāo)受相似色干擾、目標(biāo)旋轉(zhuǎn)或目標(biāo)的外觀發(fā)生變化的情況下仍能準(zhǔn)確跟蹤目標(biāo)。利用稀疏感知矩陣降低了圖像特征的維度，在保證跟蹤準(zhǔn)確性的同時，減少了算法的運(yùn)行時間，能夠滿足實(shí)時性要求。本論文研究的目標(biāo)遮擋是短時的部分遮擋，對于目標(biāo)的長時間或完全遮擋是本文下一步研究的方向。

［1］朱建章.復(fù)雜場景下實(shí)時視覺目標(biāo)跟蹤的若干研究［D］.武漢:武漢大學(xué)，2014.

［2］BABENKO B，YANG M H，BELONGIE S. Robust object tracking with online multiple instance learning［J］. IEEE Trans. Pattern Analysis and Machine Intelligence，2011，33(8):1619－1632.

［3］ZHANG K，ZHANG L，YANG M H.Real－time compressive tracking［C］//Proc. 12thEuropean Conference on Computer Vision.Florence，Italy:［s.n.］，2012:866－879.

［4］DONOHO D. Compressed sensing［J］. IEEE Trans. Information Theory，2006，52(4):1289－1306

［5］喻玲娟，謝曉春.壓縮感知理論簡介［J］.電視技術(shù)，2008，32(12):16－18.

［6］朱秋平，顏佳，張虎，等.基于壓縮感知的多特征實(shí)時跟蹤［J］.光學(xué)精密工程，2013，35(2):437－444.

［7］鐘權(quán)，周進(jìn)，吳欽章，王輝，雷濤.一種改進(jìn)的實(shí)時壓縮跟蹤算法［J］.光電工程，2014，41(4):1－8.

［8］張路平，韓建濤，李飚，等.尺度自適應(yīng)特征壓縮跟蹤［J］.國防科技大學(xué)學(xué)報(bào)，2013，35(5):146－151.

［9］SWAIN M J，BALLARD D H. Color indexing［J］. International Journal of Computer Vision，1991，7(1):11－32.