選擇性搜索和多深度學(xué)習(xí)模型融合的目標(biāo)跟蹤

鐘必能， 潘勝男

(1. 華僑大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院， 福建 廈門(mén) 361021;

2. 華僑大學(xué) 計(jì)算機(jī)視覺(jué)與模式識(shí)別重點(diǎn)實(shí)驗(yàn)室， 福建 廈門(mén) 361021)

?

選擇性搜索和多深度學(xué)習(xí)模型融合的目標(biāo)跟蹤

鐘必能1,2， 潘勝男1,2

(1. 華僑大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院， 福建 廈門(mén) 361021;

2. 華僑大學(xué) 計(jì)算機(jī)視覺(jué)與模式識(shí)別重點(diǎn)實(shí)驗(yàn)室， 福建 廈門(mén) 361021)

摘要：提出一種基于深度學(xué)習(xí)的多模型(卷積神經(jīng)網(wǎng)絡(luò)和卷積深信度網(wǎng)絡(luò))融合目標(biāo)跟蹤算法.該算法在提取候選粒子方面，使用選擇性搜索和粒子濾波的方法.CVPR2013跟蹤評(píng)價(jià)指標(biāo)(50個(gè)視頻序列、30個(gè)跟蹤算法)驗(yàn)證了：該算法在跟蹤中能有效地緩解目標(biāo)物體由于遮擋、光照變化和尺度變化等因素造成的跟蹤丟失情況的發(fā)生.

關(guān)鍵詞：目標(biāo)跟蹤； 深度學(xué)習(xí)； 多模型融合； 選擇性搜索； 評(píng)價(jià)指標(biāo)

目標(biāo)跟蹤是機(jī)器視覺(jué)中一個(gè)重要的研究分支,然而由于應(yīng)用場(chǎng)合中的一些不確定因素，要想獲得一種穩(wěn)健、魯棒又快速的跟蹤方法仍具有挑戰(zhàn)性.為了解決這個(gè)問(wèn)題，近年來(lái)越來(lái)越多的學(xué)者采用多層的深度學(xué)習(xí)模型進(jìn)行目標(biāo)的特征提取.Fan等[1]針對(duì)跟蹤問(wèn)題，提出了基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的行人跟蹤法.Carneiro等[2]使用深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練目標(biāo)的表觀模型，將該模型用于超聲圖像中左心房?jī)?nèi)膜的輪廓跟蹤.Wang等[3]提出了基于降噪自編碼器(auto-encoder)的跟蹤方法.雖然深度學(xué)習(xí)模型具有更強(qiáng)的物體特征表達(dá)能力，但是以上提到的跟蹤算法都是基于單線索[1-3]的.單一線索用于跟蹤方法對(duì)環(huán)境變化敏感，魯棒性不高.為了提高跟蹤算法的性能，本文提出了基于深度學(xué)習(xí)的多線索(CNN和CDBN)目標(biāo)跟蹤算法；在獲取候選粒子方面，將選擇性搜索(seletive search)方法[4]和粒子濾波[5]相結(jié)合用到了跟蹤問(wèn)題中.

1目標(biāo)跟蹤算法

1.1算法框架

提出一種基于選擇性搜索和多深度模型融合的目標(biāo)跟蹤算法.文中所用的多線索模型(CNN模型和CDBN模型)的融合辦法和具體跟蹤算法細(xì)節(jié)，如圖1所示.

1.2目標(biāo)表觀的建模

1.2.1CNN建模卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)是深度學(xué)習(xí)的一個(gè)重要模型.它是一個(gè)多層的神經(jīng)網(wǎng)絡(luò)，每層由多個(gè)二維平面組成，而每個(gè)平面由多個(gè)獨(dú)立神經(jīng)元組成[6].卷積神經(jīng)網(wǎng)絡(luò)中的每一個(gè)特征提取層(C-層)都緊跟著一個(gè)求局部平均與二次提取的下采樣層(S-層)，這種特有的兩次特征提取結(jié)構(gòu)，使網(wǎng)絡(luò)在識(shí)別時(shí)對(duì)輸入樣本有較高的畸變?nèi)萑棠芰?

針對(duì)輸入圖片大小設(shè)計(jì)的CNN模型結(jié)構(gòu)，如圖2所示.圖2中：輸入圖片的大小為32 px×32 px；Covi對(duì)應(yīng)的是第i個(gè)卷積層；Pooli對(duì)應(yīng)的是第i個(gè)下采樣層；Kernel_size是卷積模板的大小；Stride是每一次卷積滑動(dòng)的步伐；Relu是非線性變換函數(shù)；Norm是歸一化.

圖1　選擇性搜索和多深度模型融合的目標(biāo)跟蹤算法框架Fig.1　Framework of the multi-clue fusion target tracking algorithm based on selective search and deep learning

圖2　CNN模型結(jié)構(gòu)圖Fig.2　Structure of CNN

1.2.2CDBN建模卷積深信度網(wǎng)絡(luò)[7-9](convolutional deep belief network，CDBN)是由多層卷積受限波爾茲曼機(jī)CRBM組成，每一個(gè)受限波爾茲曼機(jī)CRBM的基本機(jī)構(gòu)是由卷積層和采樣層構(gòu)成.

根據(jù)輸入圖片的大小和需要，設(shè)計(jì)的CDBN結(jié)構(gòu)如圖3所示.圖3中：Covi為卷積層；Kernal_size為卷積模板的大小；輸入圖片大小固定為32 px×32 px.

圖3　CDBN結(jié)構(gòu)圖Fig.3　Structure of CDBN

1.3目標(biāo)運(yùn)動(dòng)的搜索

粒子濾波[5]是尋找一組在狀態(tài)空間中傳播的隨機(jī)樣本對(duì)概率密度函數(shù)進(jìn)行近似，利用樣本均值代替積分運(yùn)算，進(jìn)而獲得狀態(tài)最小方差分布的過(guò)程.選擇性搜索[4]的前期工作是利用圖像分割的方法得到一些原始區(qū)域，然后使用一些合并策略將這些區(qū)域合并，得到一個(gè)層次化的區(qū)域結(jié)構(gòu)，而這些結(jié)構(gòu)就包含著可能需要的物體.選擇性搜索意在找出可能的目標(biāo)位置進(jìn)行物體的識(shí)別和分類.與傳統(tǒng)的單一策略相比，選擇性搜索提供了多種策略；與全搜索相比，又大幅度降低了搜索空間.

1.4多模型離線訓(xùn)練階段

首先，從Tiny Images[10]數(shù)據(jù)集中挑選出65類202 932張圖片，對(duì)CNN模型進(jìn)行離線訓(xùn)練；然后，用cifar-100數(shù)據(jù)集對(duì)CDBN模型進(jìn)行離線訓(xùn)練.通過(guò)離線訓(xùn)練，就可以得到物體的廣義性特征.

1.5目標(biāo)跟蹤算法細(xì)節(jié)

選擇性搜索和深度學(xué)習(xí)的目標(biāo)跟蹤算法的詳細(xì)設(shè)計(jì)過(guò)程(圖1)為

初始化：

1. 離線訓(xùn)練：train_CNN(202 932張圖片)，train_CDBN(60 000張圖片)；

2. 在第一張給出的待跟蹤物體的位置處，得出s+張正例樣本和s-張負(fù)例樣本；

3. train_CNN(正負(fù)樣本)；

for 1：視頻幀的最后一幀

1. 用selective search 與粒子濾波相結(jié)合，在t時(shí)刻初始化粒子；

2. 測(cè)試粒子：conf1=test_CNN(所有粒子)；

3. 尋找最可信粒子：max1=max(conf1)；

4. if max1

①啟動(dòng)CDBN模型：記作train_CDBN(正負(fù)樣本)；

②測(cè)試所有粒子：記作conf2=test_CNBN(所有粒子)；

③找出最佳位置：記作max2=max(conf2)；

If max2

①train_CNN正負(fù)樣本)，train_CDBN(正負(fù)樣本)；

②conf1=test_CNN(所有粒子)max1=max(conf1)；

③conf2=test_CDBN所有粒子)max2=max(conf2)；

④max=max(max1，max2)；

if max>某個(gè)閾值

①得到跟蹤目標(biāo)：X=max；

②更新正負(fù)樣本：找出conf1與conf2排序后的前10個(gè)較好的圖片也作為s+，找出500張負(fù)例s-；

else

放棄更新正負(fù)樣本；

else

①得到跟蹤目標(biāo)：X=max2；

②更新正負(fù)樣本：找出conf1與conf2排序后的前10個(gè)較好的圖片也作為s+，找出500張負(fù)例s-；

else

①得到跟蹤目標(biāo)：X=max1；

②更新正負(fù)樣本：找出conf1中前10個(gè)較好的圖片也作為s+，找出500張負(fù)例s-；

end if

5. train_CNN(正負(fù)樣本)；

6. 進(jìn)入到下一張圖片，以便對(duì)這一張新的圖片進(jìn)行尋找到要跟蹤的目標(biāo)；

文中閾值取值為0.03(對(duì)單CNN模型進(jìn)行跟蹤實(shí)驗(yàn)，通過(guò)對(duì)實(shí)驗(yàn)結(jié)果的統(tǒng)計(jì)和分布而選取的)；正負(fù)樣本數(shù)取值為546(正樣本45(在跟蹤中得到的正樣本)+1(初始化的樣本)，負(fù)樣本為500個(gè)).

2實(shí)驗(yàn)部分

2.1實(shí)驗(yàn)設(shè)置

算法采用Matlab語(yǔ)言編寫(xiě)，在Intel(R) Xeon(R) E5620 2.40 GHz處理機(jī)和12 G內(nèi)存的機(jī)器上運(yùn)行.粒子數(shù)設(shè)置為3 000,每一個(gè)目標(biāo)物體的大小設(shè)置為32 px×32 px(用于設(shè)定正負(fù)樣本的大小，通過(guò)對(duì)視頻幀進(jìn)行一定的縮放和旋轉(zhuǎn)得到)，滑動(dòng)窗口的大小設(shè)置為45(FIFO先進(jìn)先出容器，用于存儲(chǔ)正例樣本).在沒(méi)有GPU加速的情況下，對(duì)像素大小為320 px×240 px的圖片，平均處理速度為每秒5幀.1個(gè)視頻幀各部分所用時(shí)間分別為：selective search 0.051 428 s；particle filtering 0.035 386 s；CNN 0.101 24 s；CDBN 0.094 31 s.

實(shí)驗(yàn)對(duì)比在CVPR2013跟蹤評(píng)價(jià)指標(biāo)[11]中進(jìn)行.在這個(gè)評(píng)價(jià)基準(zhǔn)中，有30個(gè)不同的跟蹤算法.2種測(cè)試方法分別為Precision Plot 和Success Plot.

2.2與其他跟蹤算法的比較

將文中算法與precision plot和success plot兩種評(píng)價(jià)方法的綜合性能進(jìn)行對(duì)比.在50個(gè)視頻序列和30個(gè)跟蹤算法中進(jìn)行綜合性能對(duì)比實(shí)驗(yàn)，結(jié)果如圖4所示.圖4中：橫坐標(biāo)代表不同評(píng)價(jià)方法對(duì)應(yīng)的閾值；縱坐標(biāo)代表正確率.在這個(gè)對(duì)比實(shí)驗(yàn)中，挑出了性能較好的排在前10個(gè)跟蹤算法.由圖4可知：文中算法綜合性能優(yōu)于其他跟蹤算法.

(a) Precision Plot法 (b) Success Plot法圖4　綜合性能的對(duì)比Fig.4　Comparison of comprehensive performance

為了分析初始化對(duì)跟蹤算法性能的影響，對(duì)目標(biāo)物體初始化進(jìn)行一定的時(shí)間(TRE)和空間(SRE)擾動(dòng)，具體細(xì)節(jié)見(jiàn)CVPR2013評(píng)價(jià)指標(biāo)[11].在這種情況下，進(jìn)行對(duì)比的實(shí)驗(yàn)，如圖5所示.由圖5可知：基于深度學(xué)習(xí)的多模型建模方法，能夠很好地表達(dá)物體的表觀特征,適應(yīng)物體的初始化表觀變化.

(a) Precision Plot of SRE (b) Precision Plot of TRE

(c) Success Plot of SRE (d) Success Plot of TRE圖5　初始化對(duì)性能的影響Fig.5　Effect of initialization on the performance

跟蹤的目標(biāo)物體在不同場(chǎng)景中，其運(yùn)動(dòng)屬性是不同的.不同的屬性也是檢驗(yàn)跟蹤算法好壞的關(guān)鍵因素.在CVPR2013評(píng)價(jià)指標(biāo)中，對(duì)11個(gè)不同屬性進(jìn)行評(píng)價(jià)，結(jié)果如表1所示.由表1可知：文中的跟蹤算法(ours)在物體快速運(yùn)行、運(yùn)動(dòng)路徑模糊等場(chǎng)景下，都具有一定的魯棒性.

從50個(gè)數(shù)據(jù)序列中隨機(jī)挑選出的6個(gè)序列進(jìn)行顯示，結(jié)果如圖6所示.由于篇幅原因，只顯示一部分.每一個(gè)數(shù)據(jù)序列從第一針開(kāi)始，每間隔40幀選出1張跟蹤圖片.由圖6可知：基于選擇性搜索和深度學(xué)習(xí)的多模型跟蹤算法在這些序列中都有著良好表現(xiàn).

表1　不同屬性性能對(duì)比

圖6　不同數(shù)據(jù)集上的跟蹤效果對(duì)比Fig.6　Comparison of the tracking results on different data sets

實(shí)驗(yàn)以CNN為主模型、CDBN為輔助模型,當(dāng)主模型跟蹤失敗了才會(huì)啟動(dòng)輔助模型，這樣就可以提高跟蹤速度和準(zhǔn)確率.隨機(jī)挑選CNN單模型跟蹤丟失的4個(gè)視頻序列(Football1，MotorRolling，Matrix，Soccer)，針對(duì)每一個(gè)視頻序列，隨機(jī)挑選3幀圖片進(jìn)行對(duì)比，其單模型與多模型的對(duì)比圖，如圖7所示.圖7中：上一行是CNN單模型跟蹤的情況，下一行對(duì)應(yīng)的是CNN與CDBN模型融合后的跟蹤效果圖.由圖7可知：CNN與CDBN模型的融合挽救了單個(gè)模型跟蹤丟失的情況的發(fā)生.

(a) Football1 (b) MotorRolling

(c) Matrix (d) Soccer圖7　CNN單模型和CNN與CDBN多模型融合跟蹤效果對(duì)比Fig.7　Comparison of the tracking results of CNN single model and multi-clue fusion(CNN and CDBN) model

3結(jié)束語(yǔ)

提出了一種基于深度學(xué)習(xí)的多模型融合目標(biāo)跟蹤算法，在提出候選粒子方面，采用了性能互補(bǔ)的選擇性搜索方法和粒子濾波方法.研究結(jié)果表明：基于深度學(xué)習(xí)的多模型融合方法能夠提取表達(dá)能力更強(qiáng)的目標(biāo)物體特征，從而有效地處理跟蹤中遮擋、光照變化等問(wèn)題；同時(shí)，采用性能互補(bǔ)的選擇性搜索方法和粒子濾波方法，能更準(zhǔn)確地在視頻序列中搜索到跟蹤中的目標(biāo)粒子，從而減少跟蹤漂移問(wèn)題的發(fā)生.在CVPR2013跟蹤算法的性能評(píng)價(jià)指標(biāo)中驗(yàn)證了文中算法能夠取得更好的跟蹤性能.

參考文獻(xiàn)：

[1]FAN Jialue,XU Wei,WU Ying,et al.Human tracking using convolutional neural networks[J].IEEE Trans Neural Netw,2010,21(10):1610-1623.

[2]CARNEIRO G,NASCIMENTO J C.Combining multiple dynamic models and deep learning architectures for tracking the left ventricle endocardium in ultrasound data[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(11):1649-1665.

[3]WANG Naiyan,YEUNG D Y.Learning a deep compact image representation for visual tracking[C]∥Proceedings of Twenty-Seventh Annual Conference on Neural Information Processing Systems.Nevada:MIT Press,2013:5-10.

[4]UIJLINGS J R R,van DE SANDE K E A,GEVERS T,et al.Selective search for object recongnition[J].International Journal of Computer Vision,2013,104(2):154-171.

[5]CARREIRA J,SMINCHISESCU C.Cpmc: Automatic object segmentation using constrained parametric min-cuts[J].PAMI,2012,34(7):1312-1328.

[6]KRIZHEVSKY A,SUTSKEVER I,HINTON G E.ImageNet classification with deep convolutional neural networks[C]∥Advances in Neural Information Processing Systems.Washington:MIT Press,2012:2-8.

[7]LEE H,LARGMAN Y,PHAM P,et al.Unsupervised feature learning for audio classification using convolutional deep belief networks[C]∥Advances in Neural Information Processing Systems.New York:MIT Press,2009:1-22.

[8]HUANG G B,LEE H,LEARNED-MILLER E.Learning hierarchical representations for face verification with convolutional deep belief[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,8(6):1836-1844.

[9]LEE H,GROSSE R,RANGANATH R,et al.Unsupervised learning of hierarchical representations with convolutional deep belief networks[J].Communications of the ACM,2011,54(10):95-103.

[10]TORRALBA A,FERGUS R,FREEMAN W.80 million tiny images: A large data set for nonparametric object and scene recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2008,30(11):1958-1970.

[11]WU Yi,LIM J,YANG M H.Online object tracking: A benchmark[C]∥IEEE Conference on Computer Vision and Pattern Recognition.Portland:IEEE Press,2013:2-10.

(責(zé)任編輯： 黃曉楠英文審校： 吳逢鐵)

Multi-Clue Fusion Target Tracking Algorithm Based on Selective Search and Deep Learning

ZHONG Bineng1,2， PAN Shengnan1,2

(1. College of Computer Science and Technology, Huaqiao University, Xiamen 361021, China;2. Computer Vision and Pattern Recognition Laboratory, Huaqiao University, Xiamen 361021, China)

Abstract：A multi-clue tracking algorithm (convolutional neural network and convolutional deep belief network) based on deep learning was proposed. The algorithm used selective search and particle filtering method in extracting candidate particles. CVPR2013 tracking benchmark (50 video sequences, 30 tracking algorithms) verifies: the algorithm can ease the loss of tracking due to the occlusion, the change of illumination and size etc.

Keywords：object tracking; deep learning; multi-clue fusion; selective search; evaluating indicator

中圖分類號(hào)：TP 301

文獻(xiàn)標(biāo)志碼：A

基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目(61202299)； 國(guó)家自然科學(xué)基金面上資助項(xiàng)目(61572205)； 福建省自然科學(xué)基金資助項(xiàng)目(2015J01257)； 福建省高校杰出青年科研人才培育計(jì)劃項(xiàng)目(JA13007)

通信作者：鐘必能(1981-)，男，副教授，博士，主要從事計(jì)算機(jī)視覺(jué)、模式識(shí)別、目標(biāo)跟蹤方面的研究.E-mail:bnzhong@hqu.edu.cn.

收稿日期：2015-06-16

doi:10.11830/ISSN.1000-5013.2016.02.0207

文章編號(hào)：1000-5013(2016)02-0207-06