一種融合有效卷積操作子和顏色直方圖的目標(biāo)跟蹤算法

鄭耿峰

摘? 要：基于有效卷積操作子的相關(guān)濾波跟蹤算法能夠自然融合不同特征，并且通過(guò)模型降維，達(dá)到良好的跟蹤性能。而基于顏色信息的模型雖對(duì)光照變化效果不好，但能很好地對(duì)形變進(jìn)行處理。考慮到上述兩種算法在特性上可互補(bǔ)，文章提出了一種基于顏色直方圖模型和有效卷積操作子的方法，采用加權(quán)求和的方式求得目標(biāo)最終位置。該算法能夠提高目標(biāo)跟蹤的魯棒性，提升跟蹤精度和速度。最后，采用數(shù)據(jù)集的方法驗(yàn)證了該算法的有效性。

關(guān)鍵詞：目標(biāo)跟蹤;相關(guān)濾波;有效卷積操作子;顏色直方圖

中圖分類(lèi)號(hào)：TP391.4? ? ? ?文獻(xiàn)標(biāo)志碼：A? ? ? ? ?文章編號(hào)：2095-2945（2020）36-0073-04

Abstract： The correlation filtering tracking algorithm based on effective convolution operators can integrate different features naturally and achieve good tracking performance through model dimensionality reduction. Because the algorithm relies on spatial layout of the object， it is sensitive to deformation. The model based on color statistics is exactly complementary， it can handle deformation well， but not good for illumination changes. This paper presents a method of integrating effective convolution operators and color statistics histogram model. The final position of the target is obtained by weighted summation. The algorithm can improve the robustness of object tracking and improve the precision and speed. Finally， through making datasets， the performance of the improved algorithm is tested and evaluated.

Keywords： object tracking; correlation filtering; effective convolution operator; color histogram

1 概述

目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)中的一個(gè)重要研究方向，有著廣泛的應(yīng)用，如：視頻監(jiān)控，人機(jī)交互， 無(wú)人駕駛等。過(guò)去二三十年視覺(jué)目標(biāo)跟蹤技術(shù)取得了長(zhǎng)足的進(jìn)步。

現(xiàn)在主流的目標(biāo)跟蹤算法有判別式法和生成式法兩類(lèi)。判別式法也可名為檢測(cè)跟蹤法[1]，用在判別式法上的較有代表性的機(jī)器學(xué)習(xí)算法有SVM（結(jié)構(gòu)化支持向量機(jī)）[2]和TLD（跟蹤學(xué)習(xí)檢測(cè)）[3]。而生成式法的代表性算法主要有顏色統(tǒng)計(jì)直方圖[4]、均值漂移[3-4]和LK法[7-8]等。

近年來(lái)，深度學(xué)習(xí)方法[9-10]和基于相關(guān)濾波器的目標(biāo)跟蹤方法[11-12]在目標(biāo)跟蹤領(lǐng)域得到越來(lái)越廣泛的應(yīng)用。其中，深度學(xué)習(xí)方法精度高，但計(jì)算量大，實(shí)時(shí)性較差，對(duì)硬件要求也相對(duì)較高，而相關(guān)濾波器的目標(biāo)跟蹤方法計(jì)算量小（通過(guò)傅立葉變換計(jì)算）。相關(guān)濾波器的目標(biāo)跟蹤方法中有效卷積操作子是綜合性能最優(yōu)的算法，該算法能兼顧精度和實(shí)時(shí)性，且能保存樣本，具備模型更新和長(zhǎng)時(shí)跟蹤能力。但有效卷積操作子同樣存在著缺點(diǎn)，即對(duì)形變?nèi)狈︳敯粜浴ａ槍?duì)上述問(wèn)題，本文提出了一種將有效卷積操作子和顏色直方圖模型融合的方法，并用多個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，驗(yàn)證了改進(jìn)算法的有效性。

2 有效卷積操作子算法

有效卷積操作子以C-COT算法[12]為基準(zhǔn)，訓(xùn)練目標(biāo)即為利用之前的樣本訓(xùn)練一個(gè)相關(guān)濾波器，對(duì)視頻幀進(jìn)行特征提取得到樣本，再利用檢測(cè)樣本與濾波器的相關(guān)操作得到目標(biāo)響應(yīng)圖，目標(biāo)位置定為響應(yīng)圖中響應(yīng)值的最大值，然后利用該檢測(cè)樣本為訓(xùn)練樣本，進(jìn)而更新濾波器。

在該算法中，采用CNN和CN和HOG特征的全面組合，需要更新的參數(shù)超過(guò)八十萬(wàn)個(gè)，容易產(chǎn)生過(guò)擬合且跟蹤速度慢。為減少參數(shù)量，本文定義了因式分解的卷積操作子。從全部的D個(gè)濾波器中選擇貢獻(xiàn)較多的C個(gè)，用該濾波器的線(xiàn)性組合表示每一維特征。如公式（1）所示。

其中，是一個(gè)D×C矩陣，每一行代表一組線(xiàn)性系數(shù)，表示用C個(gè)濾波器的線(xiàn)性組合表示原來(lái)的D個(gè)濾波器。矩陣P需要在第一幀中學(xué)習(xí)得到，并在之后跟蹤中保持不變。效果類(lèi)似主成分分析（Principal Component Analysis，PCA），可以視為用PCA初始化的有監(jiān)督降維。

目標(biāo)函數(shù)中，為約束P，加入一個(gè)P的酉不變范數(shù)作為正則化項(xiàng)，如公式（2）所示。

得到新的損失函數(shù)是一個(gè)非線(xiàn)性最小二乘（Non-Linear Least Squares，NLLS）問(wèn)題。其中，函數(shù)第一項(xiàng)具有雙線(xiàn)性（bi-linearity），因此又和矩陣因式分解問(wèn)題類(lèi)似，采用高斯-牛頓（Gauss-Newton）和共軛梯度（Conjugate Gradient）優(yōu)化此二次規(guī)劃問(wèn)題。最終，在不改變特征通道數(shù)的前提下，采用深度特征時(shí)，模型參數(shù)減少了80%，濾波器個(gè)數(shù)從512降低到64個(gè);采用HOG和CN特征時(shí)，濾波器個(gè)數(shù)從42降到13個(gè)。

以前模型更新策略采用保存新樣本丟棄老樣本的方式，使得在遮擋和相似目標(biāo)污染情況下，會(huì)導(dǎo)致模型漂移（Model drift）;保存樣本集也會(huì)使空間效率低，增加計(jì)算負(fù)擔(dān)。為減少樣本數(shù)量，有效卷積操作子算法采用緊湊的樣本集生成模型。采用高斯混合模型合并相似樣本，建立具有代表性和多樣性的樣本集，將需要保存和優(yōu)化的樣本集數(shù)量降到C-COT算法的1/8，實(shí)驗(yàn)中，樣本數(shù)目從400降到50個(gè)。

此外，由于每幀更新容易導(dǎo)致模型漂移。因此采用稀疏更新策略，每隔6幀更新一次模型，提高了算法速度，提高了對(duì)突變，遮擋等情況的穩(wěn)定性，防止模型漂移。由于樣本集是每幀都更新的，所以稀疏更新并不會(huì)錯(cuò)過(guò)間隔期的樣本變化信息。

3 融合顏色直方圖的有效卷積操作子算法

3.1 顏色直方圖模型

對(duì)于該模型，用每個(gè)像素均值投票來(lái)表示直方圖分?jǐn)?shù)，如公式（3）：

4 實(shí)驗(yàn)與分析

4.1 數(shù)據(jù)集

為模擬較為復(fù)雜和苛刻的環(huán)境，本文選取嘈雜的實(shí)驗(yàn)室環(huán)境作為背景，拍攝獲取目標(biāo)運(yùn)動(dòng)視頻。針對(duì)運(yùn)動(dòng)模糊、尺度變化、固定遮擋、光照變化4種典型場(chǎng)景，各拍攝70個(gè)視頻，且轉(zhuǎn)化為每一幀圖像，并選取其中的70幀作為樣本集，對(duì)每個(gè)樣本進(jìn)行目標(biāo)邊界框左上角位置、像素坐標(biāo)和邊界框的長(zhǎng)、寬等四個(gè)數(shù)據(jù)進(jìn)行手工標(biāo)注，形成4組數(shù)據(jù)集，記錄于相應(yīng)的txt文檔。

程序開(kāi)始運(yùn)行，利用txt文檔中的第一組數(shù)據(jù)對(duì)跟蹤算法進(jìn)行初始化;運(yùn)行中，不斷記錄跟蹤框位置，即記錄每個(gè)位置的4個(gè)數(shù)據(jù);將記錄數(shù)據(jù)與標(biāo)注數(shù)據(jù)結(jié)果進(jìn)行對(duì)比，利用中心位置偏移量計(jì)算平均精度。

4.2 實(shí)驗(yàn)結(jié)果與分析

本文對(duì)使用HOG和CN特征的有效卷積操作子算法，性能較優(yōu)秀的STAPLE-CA算法，以及本文改進(jìn)算法進(jìn)行實(shí)驗(yàn)研究。

采用不同算法，并加入跟蹤速度指標(biāo)，首先在運(yùn)動(dòng)模糊場(chǎng)景中進(jìn)行性能測(cè)試。如表1所示，其中，第二列精度5px、10px和15px表示中心位置誤差跟蹤邊界框與真值框中心位置誤差在5個(gè)像素、10個(gè)像素和15個(gè)像素以?xún)?nèi)的跟蹤成功的視頻幀所占比率;第三列表示精度-定位誤差閾值圖曲線(xiàn)下面積。

其中，有效卷積操作子算法采用的樣本學(xué)習(xí)率λ為0.02，保存樣本數(shù)m為10，尺度因子α為1.08，間隔幀數(shù)n為3;此外，STAPLE-CA算法中，直方圖融合因子α為0.3，學(xué)習(xí)率η為0.3;本文算法中，模型參數(shù)和有效卷積操作子算法相同，直方圖融合因子α為0.1，學(xué)習(xí)率η為0.8。

上述可得，在運(yùn)動(dòng)模糊場(chǎng)景中，基于相關(guān)濾波算法跟蹤性能優(yōu)越，特別是在15px范圍內(nèi)，跟蹤成功率已完全達(dá)到要求。此外，由于本文提出的算法在有效卷積操作子算法基礎(chǔ)上引入顏色直方圖模型，使得其相比調(diào)參后的有效卷積操作子算法效果更好，AUC值提升了0.011。

然后，運(yùn)動(dòng)模糊、在尺度變化、固定遮擋、光照變化4個(gè)典型場(chǎng)景中，不同算法的目標(biāo)跟蹤性能對(duì)比如表2所示。

可以看到，調(diào)參后的有效卷積操作子算法和STAPLE-CA算法，AUC在0.8左右，達(dá)到較高的水平。本文提出的有效卷積操作子改進(jìn)算法在綜合性能精度上最優(yōu)，AUC比有效卷積操作子算法提升0.011，速度比有效卷積操作子算法提升0.13fps。實(shí)驗(yàn)驗(yàn)證了改進(jìn)算法的有效性。

5 結(jié)束語(yǔ)

本文在有效卷積操作子算法的基礎(chǔ)上，提出了一種改進(jìn)算法，引入顏色直方圖模型，二者進(jìn)行融合，從而減輕模型漂移，提高了算法的魯棒性。對(duì)改進(jìn)算法進(jìn)行性能測(cè)試，實(shí)驗(yàn)結(jié)果驗(yàn)證了本文改進(jìn)算法在多種跟蹤場(chǎng)景中的優(yōu)越性能。此外，由于深度學(xué)習(xí)方法對(duì)特征提取能力和分類(lèi)能力較強(qiáng)，將傳統(tǒng)方法、相關(guān)濾波方法和深度學(xué)習(xí)方法結(jié)合是未來(lái)可以繼續(xù)研究的方向。

參考文獻(xiàn)：

[1]Yang Han-xuan， Shao Ling，Zheng Feng， et al. Recent advances and trends in visual tracking： A review[J]. Neurocomputing， 2011，74（18）：3823-3831.

[2]S. Hare， A. Saffari， P. H. Torr. Struck： Structured output tracking with kernels. In 2011 International Conference on Computer Vision， pages 263-270. IEEE， 2011.

[3]Z. Kalal， K. Mikolajczyk， and J. Matas. Tracking-learning detection. IEEE transactions on pattern analysis and machine intelligence， 2012，34（7）：1409-1422.

[4]Possegger H， Mauthner T， Bischof H. In defense of color-based model-free tracking[C]// Computer Vision and Pattern Recognition. IEEE， 2015：2113-2120.

[5]Comaniciu D， Ramesh V， Meer P. Real-time tracking of non-rigid objects using mean shift. In： Proceedings of the 2000 IEEE Conference on Computer Vision and Pattern Recognition. Hilton Head， SC， USA： IEEE， 2000. 142-149.

[6]Vojir T， Noskova J， Matas J. Robust Scale-Adaptive Mean-Shift for Tracking[J]. Pattern Recognition Letters， 2014， 49（3）：250-258.

[7]B. D. Lucas， T. Kanade. An iterative image registration technique with an application to stereo vision. In IJCAI， 1981： 674-679， .

[8]C. Tomasi and T. Kanade. Detection and tracking of point features. Technical Report CMU-CS-91-132， School of Computer Science， Carnegie Mellon Univ. Pittsburgh， 1991.

[9]Wang L， Ouyang W， Wang X， et al. Visual Tracking with Fully Convolutional Networks[C]// IEEE International Conference on Computer Vision. IEEE， 2016：3119-3127.

[10]Held D， Thrun S， Savarese S. Learning to track at 100 fps with deep regression networks[C]//European Conference on Computer Vision. Springer International Publishing， 2016： 749-765.

[11]Henriques J F， Caseiro R， Martins P， et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（3）： 583-596.

[12]Bertinetto L， Valmadre J， Golodetz S， et al. Staple： Complementary learners for real-time tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016： 1401-1409.