一種快速魯棒的加權壓縮跟蹤方法

李玄 劉倩玉

【摘 要】基于視覺的目標跟蹤是計算機視覺的一個重要應用，對于視覺跟蹤系統來說，跟蹤算法的性能極為關鍵。本文提出了一種快速魯棒的壓縮跟蹤方法，這種方法通過檢測的方式來實現跟蹤，即它通過在每一幀檢測目標來實現對目標的持續跟蹤。加權壓縮特征的使用使得算法在存在遮擋的情況下效果很好，同時極限學習機的使用保證了跟蹤速度的提升。實驗結果表明算法的跟蹤準確度很高，速度快，魯棒性好，特別適用于一些存在著快速運動以及遮擋的場合。

【關鍵詞】目標跟蹤；加權壓縮特征；極限學習機

中圖分類號： TP391.4 文獻標識碼： A 文章編號： 2095-2457（2018）08-0022-003

A fast and robust weighted compressive tracking method

LI Xuan1 LIU Qian-yu2

（1.Xi'an Institute of Navigation Technology，Xi'an 710068，Shaanxi，China；

2.Xi'an Microelectronic Technology Institute，Xi'an 710000，Shaanxi，China）

【Abstract】Visual tracking system plays an important role in various computer vision applications. The tracking algorithm is very crucial for visual tracking system. A robust weighted compressive tracking method is proposed in this article. The proposed algorithm belongs to tracking by detection methods which regards tracking as detecting target in each frame. The use of weighted compressive features benefits the circumstance of occlusion while ELM guarantees the tracking speed of the algorithm. The experiment shows that the algorithm has good performance in terms of efficiency， accuracy and tracking speed. It is very robust and efficient in the case of abrupt movement and occlusion.

【Key words】Target tracking；Weighted compressive features；Extreme machine learning

0 摘要

視覺跟蹤是計算機視覺的一個重要應用，很多場合都用到視覺跟蹤，比如說監控、火控系統、車輛導航、智能機器人、行為識別以及導彈制導。對攝像機中的目標進行跟蹤是一項富有挑戰性的工作，主要是由于以下三個因素：（1）跟蹤系統需要對目標的姿態變化、旋轉以及遮擋具有很強的魯棒性；（2）跟蹤系統應該能夠有效應對相機或者目標的突然運動；（3）跟蹤系統應該能在一些對實時性要求較高的場合具有很好的表現。

通常來說，跟蹤系統應該包含以下三個要素：外觀模型、運動模型以及在當前幀搜尋目標位置的策略。本文主要關注的是外觀模型。它是由物體的表現模型和統計模型兩部分構成。物體的表現模型主要關注的是如何用不同的特征去設計一個魯棒的特征描述子。統計特征模型研究的是如何根據特征描述子用一些統計學的方法去搜尋目標位置。

視覺跟蹤領域的物體表現模型可以被分為2類：全局特征描述方式和局部特征描述方式。全局特征描述方式模擬的是對象外觀的整體特征。原始像素值和顏色直方圖比較簡單有效，是兩種使用最為廣泛的全局特征描述子。例如，均值漂移[1-3]使用顏色直方圖來查找 下一幀的目標位置。和全局特征描述方式不同，Haar-like 特征或Hog特征等局部特征描述方式在光照變化、姿態改變以及非剛性形變中表現良好，這是因為它們可以編碼物體表現模型的局部結構信息。

通過檢測來實現跟蹤的方法將跟蹤看成一個檢測問題，近年來已經引起了很多關注。通過檢測來實現跟蹤的方法可以被分為兩類，一類是生成模型，一類是判別模型。生成模型通過學習得到一個模型來表示目標對象，然后使用它以最小的重建誤差搜索圖像區域。這方面的典型代表就是跟蹤算法，通過一系列目標與其他模板的稀疏線性組合對物體進行建模，但是這種方法的計算復雜度非常高。判別模型將跟蹤問題看成一個目標鄰域內的二值分類問題，判斷將目標和背景分割開來的決策邊界。

本文的主要目的是尋找一個更加有效的物體表現模型以及更加魯棒的統計模型，并提出了一種簡單有效的算法。它嚴格意義上屬于判別模型，將跟蹤問題看成一個目標鄰域內的二值分類問題，目標是尋找一個能將目標和背景區分開來的最佳決策邊界。為了減少邊界被遮擋產生的干擾以及圖像質量的不利影響，本文應用高斯核函數生成加權特征圖像。本文的外觀模型通過測量矩陣從加權多尺度圖像特征空間中提取加權壓縮特征。盡管壓縮特征的尺寸遠遠低于原始的加權多尺度圖像特征空間的維度，加權壓縮特征可以保留絕大部分的顯著信息。最后，本文使用ELM[4-6]（極限學習機）來對正樣本以及負樣本進行區分，選取最有可能是目標的那個正樣本。

1 加權壓縮特征

為了提取加權壓縮特征，執行以下一系列步驟：

首先用一個高斯低通濾波器來對每一個樣本進行卷積：

式（1）中f（x，y）表示原始圖像中每一點的像素值，k（.）代表高斯核函數。（x0，y0）表示樣本的中心點坐標。根據每一點到中心點的距離來為它們添加權重。兩者之間距離越短，權重越大，距離越長，權重越小。這樣做的好處是會減小容易受到外界干擾的邊緣的影響，可以進一步提高跟蹤算法的有效性、準確性以及魯棒性。

文章《實時壓縮跟蹤》[7]首次提出了壓縮特征[11-12]，它采取了非常稀疏測量矩陣來對正樣本以及負樣本進行特征提取。非常稀疏測量矩陣近似保留了原始信號兩兩之間的距離，并且減小了計算負擔。

為了更好地解決尺度問題，本文提取了目標的多尺度特征，具體方法如下：用一系列的多尺度矩形濾波器{h1，1，…，hw，h}與每一個加權樣本z∈Rw×h做卷積，多尺度矩形濾波器的定義如下：

式（2）中i和j分別是矩形濾波器的寬和長。矩形濾波器的寬的最大值是加權樣本的寬度，高的最大值是加權樣本的高度，卷積過后可以得到一張高維多尺度特征圖像I∈R。把高維多尺度特征圖像的每一列拿出來連成一個超高維向量X，它的維數是在106到1010之間。為了降低計算復雜度，提高跟蹤速度，本文采取了壓縮感知[8]領域的非常稀疏測量矩陣來提取高維多尺度加權特征向量中的有用信息，如式（3）所示：

非常稀疏測量矩陣R的定義如下：

非常稀疏測量矩陣R可以用一個隨機數發生器來產生。當s等于2或者3時，非常稀疏測量矩陣滿足Johnson-Lindenstrauss定理和有限等距性質[7]。一方面，低維加權壓縮特征子空間保留了原始加權多尺度特征空間的大部分信息，可以以最小誤差完美重構原始信號。另一方面，v的維度比原始信號X的維度要小得多，這樣可以減輕計算負擔，提高跟蹤速度。此外，非常稀疏測量矩陣中的大部分元素都是0，這樣就可以降低存儲負擔。

2 極限學習機[4-6]

極限學習機最開始的時候是針對SLFNs（單隱層前饋神經網絡）提出的，后來被擴展到廣義SLFN中。在網絡權重初始化的時候隨機選擇輸入權重和隱藏層偏差，訓練過程中不需要再調整它們，這樣會使得確保訓練精度的同時顯著加快訓練速度。此外，ELM克服了BP算法的局限性，如過度訓練和局部最小化等問題。 總而言之，ELM的結構比其他網絡簡單，其泛化能力也得到了很大的提高。

針對廣義SLFN所提出的的極限學習機算法的輸出函數定義如下：

式（7）中hi（xj）=h（wixj+bi），wi=[wi1，wi2，…win]T表示第i個隱藏層節點和n個輸出節點之間的權重向量。bi是第i個隱藏層節點的偏置向量。式（7）中，βi=[βi1，βi2，…bim]T，βim表示第i個隱含節點和第m個輸出節點之間的權重。ELM不再使用標準優化方法而是使用最小二乘法來實現神經網絡的訓練。

β=H+T（10）

式（10）中H+是矩陣H的Moore-Penrose廣義逆矩陣，它可以通過正交投影法得到。當HTH是奇異的時候，H+=（HTH）-1HT。當HTH是非奇異的時候，H+=HT（HHT）-1。

3 所提算法

作為一種通過檢測來實現跟蹤的方法，本文所提算法的主要目標是尋找一個能將背景和目標區分開來的最好方式，并進一步找到當前時刻最有可能存在目標的位置。具體步驟如圖1所示。

本文設置ELM輸出節點的數目為2，假設第一幀目標位置已知，在當前目標位置的鄰域內提取一系列的正樣本，同時在遠離當前目標的位置處提取一系列的負樣本，將正樣本的標簽設為[1 0]，將負樣本的標簽設為[0 1]。在訓練的過程中，利用N個樣本根據式（10）去調整ELM的系數，以求以最小的誤差將正負樣本區分開來。預測階段，在下一幀中原始目標附近的區域選取目標候選，用訓練好的分類器選取得分最高的目標候選作為真實的目標。詳細過程如下所示。

對于每個目標候選，本文使用已經訓練好的ELM分類器去預測輸出。輸出神經元給出2個值，分別是z1和z2，然后再用softmax函數去計算每個目標候選分別屬于目標和背景的概率p（y=1|x）和p（y=0|x），如式（11）所示。p（y=1|x）和p（y=0|x）加起來為1，根據式（12），將分類響應最大的目標候選作為當前幀的真實目標。

算法的詳細步驟如表1 所示。

5 實驗結果

為了驗證所提算法的有效性，本文在擁有Pentium Core 2.5 GHz GPU和6GB RAM 的計算機上利用Visual Studio 2013進行了實驗。本文重復測試10次，并從2方面來評估算法的性能。一方面是平均中心誤差，可以通過計算人工標定的真實目標位置和預測位置之間的差異來得到，度量標準是像素。第二個指標是平均每秒跟蹤幀數，這是跟蹤算法速度的客觀評價指標。

兩個實驗分別研究的是算法對遮擋的魯棒性以及對于快速運動和旋轉的魯棒性，第一個實驗中，一個男孩邊跳邊轉動他的臉，第二個實驗中，一個女孩用一本書遮住了她的大部分臉并逐漸移開。 本文還通過實驗將快速魯棒的加權壓縮跟蹤方法和其余三種方法進行了對比，它們分別是TLD跟蹤算法、l1跟蹤算法以及均值漂移跟蹤算法。本文利用平均中心誤差（CLE）和平均每秒跟蹤幀數（FPS）作為跟蹤精度和跟蹤速度的評價指標，來對2段實驗視頻進行了評估，實驗結果如表 2 所示。

由表2可知，快速魯棒的加權壓縮跟蹤方法和其他三種方法相比，具有更高的效率，準確性和快速性。其中一個原因是加權壓縮特征的使用通過給目標中心的像素值添加更大的權重，保留了目標中心區域的有效信息，給容易受到外部環境干擾的目標邊緣區域處的像素值添加更小的權重，可以有效抵抗遮擋的干擾。另一個原因是和大部分神經網絡一樣，經過訓練的ELM分類器可以有效存儲目標和背景的有用信息。和其他神經網絡相比，它的結構更為簡單，參數總量更小。訓練時并不需要計算輸入層、隱藏層以及輸出層之間的權重和偏置，只需要計算輸入層到輸出層之間的權重即可，極大地減輕了計算負擔，提高了計算速度。下面會詳細解釋本文算法在兩段視頻上的效果。

快速運動， 低光照和姿態變化 圖 2 中藍色、綠色、紅色和黑色的框分別代表了加權壓縮跟蹤方法、TLD跟蹤算法、均值漂移跟蹤算法以及 跟蹤算法的實驗效果。在第一段視頻中男孩的面部隨著他的跳躍發生了快速的劇烈運動，并且在跳躍的過程中發生了旋轉等姿態變化，光照條件也較為昏暗，這對進行實時準確的跟蹤都是一個不小的挑戰。本文所提算法的幀率最高，為41幀每秒，平均中心誤差最小，為12個像素，性能效果遠遠優于其他三種方法。

遮擋在第二段視頻中，目標經歷了很嚴重的遮擋。只有本文所提算法和TLD算法的實驗效果很好。毫無疑問，這是由于所提算法使用了加權壓縮特征。將加權多尺度特征空間投影到維數遠遠降低的加權壓縮特征空間，這樣做不僅可以減輕計算負擔，極大地提高跟蹤速度，同時低維特征空間保留了原始加權多尺度特征空間的絕大部分信息，利用低維壓縮特征去訓練分類器并預測目標位置并不會降低跟蹤的準確性、有效性以及魯棒性。此外ELM分類器的快速訓練特性在保證跟蹤精度的同時提高了跟蹤的實時性。

5 結論

本文提出了一種快速魯棒的加權壓縮跟蹤方法。它通過從目標和背景的多尺度特征空間中提取它們的加權壓縮特征，充分利用了目標和背景兩方面的信息，并利用訓練方便快速的ELM分類器來對目標和背景進行分類，尋找當前時刻目標的位置。實驗結果表明，算法在存在遮擋和快速運動情況下的實驗效果均很好，既保證了跟蹤精度，又提高了跟蹤速度。未來還應進一步驗證算法在復雜背景下的實驗性能。

【Reference】

[1]SMITH S M，BRADY J M.SUSAN-a new approach to low level image processing[J].International Journal of Computer Vision.1997，23（1）：45-78.

[2]CHENG Y.Mean Shift，mode seeking，and clustering[J].IEEE Transactions on Pattern Analysis and MachineIntelligence.1995，17（8）：790-799.

[3]COMANICIU D，P M.Mean Shift：A robust application toward feature space analysis [J].IEEE Transactions on Pattern Analysis and Machine Intelligence.2002，24（5）：603～619.

[4]HUANG G B，ZHU Q U，SIEW C K.Extreme learning machine：a new learning scheme of feedforward neural networks [C]，Proceedings of IJCNN.Budapest，2004：985-990.

[5]HUANG G B， ZHU Q U， SIEW C K. Extreme learning machine： theory and applications [J]. Neurocomputing， 2006， 70（1-3）：489-501.

[6]HUANG G B， CHEN L， SIEW C K. Universal approximation using incremental constructive feedforward networks with random hidden nodes [J]. IEEE Transactions on Neural Networks， 2006， 17（4）：879.

[7]ZHANG K H， ZHANG L， YANG M S. Real-time compressive tracking [C]， Proceedings of European Conference on Computer Vision ， Florence， 2012： 864-877.

[8]DONOHO D L. Compressed sensing [J]. IEEE Transactions on Information Theory， 2006， 52（4）：1289-1306.

[9]KALAL Z， MIKOLAJCZYK K， MATAS J. Tracking-learning-detection [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2012， 34（7）：1409-1422.

[10]MEI X， LING H B. Robust visual tracking using L1 minimization[C]. Proceedings of ICCV， Kyoto， 2009：1436-1443.

[11] SUBBAN R， GURIA S， PASUPATHI P， et al. Real-time compressive tracking -a study and review[J]. International Journal of Emerging Technologies in Computational and Applied Sciences， 2014， 7（2）：14-146.

[12]LI G， WANG W， WANG Y， et al. Nano-manipulation based on real-time compressive tracking[J]. IEEE Transactions on Nanotechnology， 2015， 14（5）：837-846.

[13]PAN S， SHI L， GUO S. A kinect-based real-time compressive tracking prototype system for amphibious spherical robots[J]. Sensors， 2015， 15（4）：8232.