基于深度特征的稀疏表示目標(biāo)跟蹤算法

徐龍香 李康 徐婷婷 程中建 袁曉旭

摘 要：基于稀疏表示的目標(biāo)跟蹤算法速度快、精度高，但這類算法使用灰度特征來(lái)描述目標(biāo)外觀，因此在跟蹤外觀變化較大的目標(biāo)時(shí)容易發(fā)生漂移。為了解決該問題，研究提出一種基于深度特征的稀疏表示目標(biāo)跟蹤算法。首先，使用預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)提取目標(biāo)的深度特征；其次，根據(jù)采集到的模板集對(duì)候選樣本計(jì)算重構(gòu)誤差；然后，選擇具有最小重構(gòu)誤差的候選樣本作為當(dāng)前幀的目標(biāo)；最后，根據(jù)已跟蹤到的目標(biāo)更新模板集。實(shí)驗(yàn)結(jié)果表明，本算法與傳統(tǒng)的稀疏表示算法相比更具有魯棒性。

關(guān)鍵詞：目標(biāo)跟蹤；稀疏表示；卷積神經(jīng)網(wǎng)絡(luò)；生成模型；深度學(xué)習(xí)

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2018）09-00-03

0 引 言

目標(biāo)跟蹤研究的是僅給出目標(biāo)在場(chǎng)景中的初始位置，設(shè)計(jì)算法跟蹤場(chǎng)景中目標(biāo)的問題[1-2]。目標(biāo)跟蹤在實(shí)時(shí)跟蹤、視頻分析、運(yùn)動(dòng)捕捉和游戲娛樂等領(lǐng)域有著廣泛的應(yīng)用，是計(jì)算機(jī)視覺領(lǐng)域最為活躍的研究方向之一。

目標(biāo)跟蹤按照跟蹤過(guò)程中的模型是否在線更新可以分為靜態(tài)外觀模型和自適應(yīng)外觀模型。基于靜態(tài)外觀模型的算法僅使用目標(biāo)初始化外觀進(jìn)行訓(xùn)練，模型在跟蹤過(guò)程中保持不變。這類算法速度快，在目標(biāo)從場(chǎng)景中消失再重現(xiàn)后能重新定位目標(biāo)。自適應(yīng)跟蹤算法在跟蹤過(guò)程中根據(jù)目標(biāo)當(dāng)前的外觀動(dòng)態(tài)地更新模型，從而適合跟蹤外觀變化的目標(biāo)。

根據(jù)算法訓(xùn)練的外觀模型不同，目標(biāo)跟蹤算法又能分成判別式算法[3]和生成式算法[4]兩種。判別式算法將目標(biāo)跟蹤看成是分類問題，通過(guò)正樣本和負(fù)樣本訓(xùn)練分類器將目標(biāo)和背景分開。生成式跟蹤算法假設(shè)目標(biāo)從同一個(gè)空間中生成，使用之前跟蹤到的目標(biāo)作為樣本訓(xùn)練生成空間，然后在候選目標(biāo)中選擇重構(gòu)誤差最小的作為當(dāng)前幀的目標(biāo)。

在本研究中，所使用的算法是基于自適應(yīng)外觀模型的生成式目標(biāo)算法。傳統(tǒng)的L1跟蹤算法[5]中使用的是圖像灰度特征，這種特征在目標(biāo)遭受光照和外觀發(fā)生變化時(shí)難以精確表達(dá)目標(biāo)外觀。為解決該問題，本研究提出使用卷積神經(jīng)網(wǎng)絡(luò)提取特征代替灰度特征來(lái)表達(dá)目標(biāo)。在模板更新方面，本算法提出一種基于重構(gòu)誤差的模板替換方法。該方法能夠在保持模板集多樣化的同時(shí)適應(yīng)目標(biāo)的外觀變化。以上策略有效地解決了稀疏表示算法存在的問題，提高了跟蹤的魯棒性。

1 算法實(shí)現(xiàn)

1.1 跟蹤基本流程

本研究使用基于檢測(cè)的目標(biāo)跟蹤框架來(lái)設(shè)計(jì)算法。設(shè)第t幀中的目標(biāo)位置為xt*，則該算法完成跟蹤第t+1幀的目標(biāo)時(shí)包含以下步驟：

（1）根據(jù)密集采樣算法[6-7]在第t+1時(shí)刻采集樣本集Xot+1。

（2）根據(jù)已訓(xùn)練的模型對(duì)Xot+1中所有候選樣本進(jìn)行評(píng)估，并依據(jù)設(shè)定的標(biāo)準(zhǔn)選擇出目標(biāo)在第t+1幀中的位置xt*+1。

（3）根據(jù)算法得到的xt*+1更新訓(xùn)練模型。

重復(fù)以上步驟直至跟蹤結(jié)束。

1.2 特征提取

本研究中的特征提取步驟如圖1所示。其中Input層是輸入的原始圖像，在輸入之前需要將圖像大小調(diào)整至107×107，單位為像素；C1至C3層表示卷積層；P1和P2表示池化層；符號(hào)“@”前的數(shù)字表示特征圖的層數(shù)，后面的數(shù)字表示特征圖的尺寸；最后將C3層的特征圖拉伸成512×3×3維的列向量作為圖像的特征。圖1中C1至C3層的網(wǎng)絡(luò)參數(shù)使用預(yù)訓(xùn)練的VGG-M[8]網(wǎng)絡(luò)，這些參數(shù)在跟蹤過(guò)程中保持不變。特征提取的詳細(xì)步驟如下：

（1）將原始圖像調(diào)整至107×107像素大小，作為卷積神經(jīng)網(wǎng)絡(luò)Input層的輸入。

（2）使用卷積核為96@3×3的模板對(duì)輸入進(jìn)行卷積，步長(zhǎng)為2，得到C1層的結(jié)果。

（3）對(duì)C1層的特征圖使用池化，步長(zhǎng)為2，得到P1層特征圖。

（4）對(duì)P1層特征圖使用256@3×3的模板進(jìn)行卷積，步長(zhǎng)為2，得到C2特征圖。

（5）對(duì)C2層的特征圖使用池化，步長(zhǎng)為2，得到P2層特征圖。

（6）對(duì)P2層特征圖使用512@3×3的模板進(jìn)行卷積，步長(zhǎng)為1，得到C3特征圖。

（7）將C3層的特征圖拉伸成512×3×3維向量作為輸入圖像的特征。

1.3 稀疏表示跟蹤

稀疏表示目標(biāo)跟蹤算法假設(shè)跟蹤目標(biāo)可以由若干模板線性表示[5，9]，并且其線性系數(shù)是稀疏的。設(shè)目標(biāo)的模板集為T=[t1，t2，…，tN]，其中ti∈Rm為模板集中的第i個(gè)模板，N為模板集中的模板數(shù)量，需要跟蹤的目標(biāo)y可由公式（1）

1.4 模板更新

為了使已訓(xùn)練的模型能夠適應(yīng)目標(biāo)的外觀變化，需要在得到新一幀的目標(biāo)時(shí)對(duì)模板集進(jìn)行更新。模板集更新算法首先要保證模板集中有足夠的目標(biāo)外觀來(lái)表示候選樣本；其次需要考慮模板的更新頻率。如果模板更新過(guò)快，當(dāng)目標(biāo)在被遮擋時(shí)，模板會(huì)集中保存過(guò)多被遮擋的目標(biāo)外觀，從而在目標(biāo)從遮擋中恢復(fù)時(shí)導(dǎo)致算法丟失目標(biāo)。而如果模板更新過(guò)慢，模板集中的模板不能實(shí)時(shí)反映目標(biāo)的外觀變化，將導(dǎo)致在跟蹤外觀變化頻繁的目標(biāo)時(shí)容易發(fā)生漂移。

本研究綜合考慮模板集中所保存的目標(biāo)外觀的多樣性以及模板集中各模板的時(shí)序特征，設(shè)計(jì)了一種動(dòng)態(tài)更新模板集的算法。本研究中模板跟蹤算法遵循規(guī)則：在得到新一幀的目標(biāo)位置時(shí)，若其重構(gòu)誤差小于給定閾值M，則用其替換掉模板集中重構(gòu)誤差較大的模板。因?yàn)橹貥?gòu)誤差反映了當(dāng)前目標(biāo)與訓(xùn)練模型的相似程度，當(dāng)重構(gòu)誤差較高時(shí)，說(shuō)明目標(biāo)可能受到了遮擋或遭受了巨大的形變，此時(shí)不適合將當(dāng)前目標(biāo)加入模板集。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)配置

本研究算法在Matlab 2016b平臺(tái)下實(shí)現(xiàn)，操作系統(tǒng)為Win10，CPU為3.3 GHz Intel i5-6600處理器，內(nèi)存容量8 G，模板更新誤差閾值M=20，學(xué)習(xí)因子λ=0.9（經(jīng)驗(yàn)參數(shù)）。

為了驗(yàn)證本算法的有效性，我們?cè)谝韵聹y(cè)試視頻中進(jìn)行測(cè)試，它們分別是Car4，David，Motorrolling，Soccer。這些視頻測(cè)試集中包含了目標(biāo)跟蹤中常遇到的各種難以跟蹤的特征，如快速運(yùn)動(dòng)、復(fù)雜背景、運(yùn)動(dòng)模糊、形變、光照變化等。我們選擇MIL[10]，CT，L1作為對(duì)比算法。其中L1算法是經(jīng)典的稀疏表示目標(biāo)跟蹤算法，CT和MIL是經(jīng)典的判別式目標(biāo)跟蹤算法。對(duì)比視頻跟蹤數(shù)據(jù)來(lái)源于文獻(xiàn)[4]。

2.2 評(píng)價(jià)方法

為了全面地評(píng)價(jià)算法的性能，對(duì)跟蹤結(jié)果使用兩種方式進(jìn)行評(píng)估：

（1）距離誤差成功率。如果某一幀算法結(jié)果與人工標(biāo)定的跟蹤結(jié)果距離誤差小于某個(gè)閾值，那么該幀被認(rèn)為跟蹤成功。則距離誤差成功率表示為跟蹤成功的幀數(shù)占總幀數(shù)的比例，距離誤差成功率見表1所列。

（2）重合度成功率。如果某一幀算法跟蹤結(jié)果與人工標(biāo)定的跟蹤結(jié)果區(qū)域重合度的比大于某個(gè)閾值，則說(shuō)明該幀跟蹤成功。重合度定義為，其中R為算法跟蹤目標(biāo)區(qū)域，G為人工標(biāo)定目標(biāo)區(qū)域，∪和∩分別表示兩種區(qū)域的并集和交集，函數(shù)area（·）為返回區(qū)域中像素點(diǎn)個(gè)數(shù)。當(dāng)某幀中目標(biāo)area值大于設(shè)定閾值時(shí)則認(rèn)為該幀跟蹤正確。重合度成功率定義為依據(jù)重合度計(jì)算得到的跟蹤成功率，其閾值設(shè)置為0.5，重合度成功率見表2所列。

2.3 實(shí)驗(yàn)結(jié)果分析

從表1、表2（最好結(jié)果由粗體標(biāo)出）可以看出，本研究提出的算法與其他經(jīng)典算法相比具有較好的跟蹤效果。結(jié)合圖2，根據(jù)所選的測(cè)試跟蹤序列特點(diǎn)具體分析。

Car4：視頻中需要跟蹤一輛行駛中的車輛。該車輛經(jīng)過(guò)人行天橋時(shí)，受到了陰影的干擾，光照環(huán)境發(fā)生了劇烈變化。并且在行駛過(guò)程中，車輛的尺度發(fā)生了一定的改變。從圖2大寫可以看出，CT和MIL丟失了目標(biāo)。只有本算法和L1算法跟蹤到了目標(biāo)。

David：視頻中在跟蹤一名在室內(nèi)行走的男子。從圖2可以看出，目標(biāo)在室內(nèi)移動(dòng)時(shí)，由于相機(jī)轉(zhuǎn)動(dòng)產(chǎn)生了整體場(chǎng)景的模糊。在男子行走過(guò)程中，目標(biāo)與相機(jī)距離由近變遠(yuǎn)，再由遠(yuǎn)變近，發(fā)生了尺度變化。在此過(guò)程中，MIL發(fā)生了嚴(yán)重的漂移，而本算法能夠準(zhǔn)確地跟蹤到目標(biāo)。

Motor：視頻中的目標(biāo)是一臺(tái)在空中翻滾的摩托車，其跟蹤的主要難點(diǎn)在于目標(biāo)的旋轉(zhuǎn)，由于目標(biāo)的旋轉(zhuǎn)不具備旋轉(zhuǎn)不變性的特征，使得訓(xùn)練的算法檢測(cè)不到目標(biāo)位置。如圖2所示，只有本算法精確地跟蹤到了目標(biāo)。

Soccer：視頻中跟蹤的目標(biāo)是一位運(yùn)動(dòng)員的臉部。在跟蹤過(guò)程中，目標(biāo)遭受了嚴(yán)重的遮擋和背景干擾。從圖2中可以看出，當(dāng)目標(biāo)被紅色紙片遮擋后，CT，MIL，L1算法均發(fā)生了漂移。從測(cè)試視頻中可以看出，本算法能夠應(yīng)對(duì)較為嚴(yán)重的遮擋。

3 結(jié) 語(yǔ)

在復(fù)雜環(huán)境中跟蹤外觀變化較大的目標(biāo)是跟蹤算法需要解決的難題之一。本研究提出使用卷積神經(jīng)網(wǎng)絡(luò)結(jié)合稀疏表示算法來(lái)構(gòu)建模型。該算法在跟蹤場(chǎng)景中目標(biāo)外觀變化較大的目標(biāo)時(shí)取得了魯棒跟蹤效果。基于上述策略，本文算法在與其他算法的比較中取得了良好的效果，體現(xiàn)了本算法的優(yōu)越性。在未來(lái)的研究中，我們擬將卷積神經(jīng)網(wǎng)絡(luò)特征結(jié)合經(jīng)典判別式跟蹤算法構(gòu)建目標(biāo)外觀模型，從而提高算法在跟蹤復(fù)雜環(huán)境中目標(biāo)的準(zhǔn)確性。

參考文獻(xiàn)

[1] YILMAZ A，JAVED O，SHAH M. Object tracking： A survey[J].Acm computing surveys，2006，38（4）：13.

[2] YANG H，LING S，ZHENG F，et al. Recent advances and trends in visual tracking：A review[J].Neurocomputing，2011，74（18）：3823-3831.

[3]李康，何發(fā)智，潘一騰，等.基于簇相似的多分類器目標(biāo)跟蹤算法[J].電子學(xué)報(bào)，2016，44（4）：821-825.

[4] WU Y，LIM JONGWOO，YANG M H. Online object tracking： A benchmark[C]. Proceedings of the IEEE conference on computer vision and pattern recognition，2013：2411-2418.

[5]黃慶俊，何儒漢.基于協(xié)方差矩陣的壓縮感知跟蹤算法[J].軟件導(dǎo)刊，2017，16（4）：31-34.

[6] MEI X，LING H. Robust visual tracking using l1 minimization[C]// Computer vision，2009 IEEE 12th international conference on.IEEE，2009： 1436-1443.

[7] ZHANG K，ZHANG L，YANG M H. Real-time compressive tracking[C]. European conference on computer vision. Springer，Berlin，Heidelberg，2012：864-877.

[8] SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for large-scale image recognition[J].arXiv preprint：1409.1556，2014.

[9] MEI X，LING H.Robust visual tracking and vehicle classification via sparse representation representation[J].IEEE transactions on pattern analysis and machine intelligence，2011，33（11）：2259-2272

[10] BABENKO B，YANG M H，BELONGIE S. Visual tracking with online multiple instance learning[C].Computer vision and pattern recognition，2009：983-990.