機場環境下的特定目標跟蹤算法

趙康，王正勇，何小海，熊杰，鄭新波

（1.四川大學電子信息學院，成都 610065；2.東莞前沿技術研究院，東莞 523000）

0 引言

機場環境下的特定目標跟蹤采用視頻分析技術監視目標，也即在視頻的初始幀中指定某個特定目標，然后在連續的視頻幀中找到該目標出現的位置。本文主要對機場場面進行監視，對場面上的飛機和車輛進行跟蹤，以預防碰撞事件的發生，能很好地推進航空事業的快速發展。

近年來，國內外學者對特定目標跟蹤算法進行了大量研究，也提出了很多新的方法[1-3]，但是針對機場環境下需要克服的困難很多，如光照變化、目標尺度變化、目標與背景相似度較高等，還沒有算法能夠直接適用于機場環境。近幾年由于機器學習算法的快速發展，基于判決模型的算法取得了很好的效果，實質是將目標跟蹤看成一個目標和背景的二分類問題。

鑒于此，本文在核相關濾波算法框架下，融合多種特征，設計尺度自適應策略以及模型更新機制，提出一種改進的核相關濾波目標跟蹤算法，能夠很好適應機場環境，克服光照變化、目標尺度變化、目標旋轉變化。實驗結果顯示，本文提出的算法在機場場景視頻序列上，跟蹤精度較好。

1 核相關濾波算法原理

KCF（Kernelized Correlation Filters）算法[4]是 Joao F.Henriques等人在2014年提出的一種目標跟蹤方法，其可以在變換域快速地學習和檢測目標。KCF算法使用核函數將輸入特征映射到高維空間，并利用循環矩陣的循環移位進行稠密采樣，同時結合了核嶺回歸模型，提高了算法在非線性情況下的分類能力。由于KCF采用循環矩陣采樣，因此大大降低了算法的時間復雜度。本節主要介紹核相關濾波目標跟蹤算法的主要原理，其中包括：核嶺回歸、構建訓練樣本和快速核相關。

1.1 核嶺回歸

嶺回歸是在最小二乘估計思想上改進的，使之比后者回歸的系數更接近實際。本文采用核嶺回歸是由于嶺回歸在解決非線性問題時具有局限性，引入了核函數[5]。對給定的最小化樣本xi和它的嶺回歸目標yi所組成的訓練集，通過一個線性分類器其中wTx表示變量的內積，b為真實值與所預測值之間的偏差，找到最優的參數w使得如下平方誤差最小：

其中，λ是正則化參數，w是線性分類器的系數，文獻[6]通過對式（1）中參數w求偏導可得到封閉式解：

將式（2）擴展到復數形式可表示為：

其中,X為循環矩陣，矩陣中的行代表訓練分類器的樣本，y表示對應樣本的標簽,I表示單位矩陣,XH是X的共軛轉置，對于實數來講式（2）和式（3）是等價的。

1.2 構建訓練樣本

大多數跟蹤方法是基于判別式的，均需要構建樣本來訓練分類器，傳統的基于粒子濾波的跟蹤方法采用隨機擴散粒子來獲取樣本，這種方式獲取的樣本效率很低。在諸如機場實際環境下會考慮分類器的實時性，不會用太多樣本來訓練分類器。核相關濾波算法使用循環矩陣中的循環移位來獲得目標周圍的所有樣本，將目標圖像的外觀記為正樣本，利用正樣本的循環移位得到負樣本。其中所得的樣本的循環矩陣X如下：

式（4）矩陣中所有數據都由第一行來唯一確定。對于循環矩陣不管生成向量是哪種形式都可以通過離散傅里葉變換將所有的循環矩陣對角化。相比于其他解決回歸問題的方法，該方法具有更高的計算效率。

1.3 快速核相關

核相關的計算均會涉及到兩個輸入向量，而這兩個輸入向量通過循環移位得到的全部向量也是一個比較大的數字。這樣也會帶來很大的計算量，并成為計算的瓶頸。但是，運用循環移位模型，能夠充分利用數據的冗余性來有效地減少核相關的計算量，提升算法效率。為了能處理多個通道的情況（如HOG特征的31個方向箱[7]），只需要在頻域對每個通道進行相加處理。簡化成多通道相關濾波器[8],假設向量x連接了C個通道向量：

在快速核相關中所用到的全部核函數都是基于模或參數的點積。可以將每個通道的點積進行簡單求和來計算。又因為傅里葉變換是線性的，因此可以對頻域中的每個通道進行求和。通過將此推理到高斯核情況。

2 改進基于核相關濾波的目標跟蹤算法

在機場場面上，由于天氣常有薄霧，導致運動小車和飛機外觀與背景相似度較大，當運動目標在距離攝像頭較遠的一端時更為明顯，KCF算法采用單一的HOG特征來提取表觀模型，因此不能很好地區分運動目標與背景，影響后續跟蹤魯棒性。當小車和飛機由遠到近、由近到遠運動時以及轉彎時，運動目標尺度都會發生較大的變化，KCF算法不能尺度自適應變化。KCF算法中模型更新因子一直是固定不變的，當運動目標發生較大姿態變化或出現遮擋時，如果模型更新因子一直保持固定不變，就會導致模型學習到錯誤的信息，帶來誤差。

針對上述問題，本節在核相關濾波目標跟蹤算法的基礎上，提出了一種基于多特征融合的尺度自適應相關濾波目標跟蹤算法。首先，在特征提取方面，主要提取了HOG特征和區分性的色彩描述子（Discrimina?tive Color Descriptor，DCD）特征來更好地區分運動目標和背景；其次，引入了一種尺度自適應變化方法，解決KCF算法的固定模板尺寸問題；最后提出一種自適應模型更新方法。實驗證明，本文提出的算法效果較好。

2.1 多特征融合

本文采用將一種用來表征目標局部梯度方向和強度的HOG特征和DCD[9]進行融合，得到一個融合的特征向量后作為相關濾波器的輸入。

2.2 尺度自適應策略

在目標跟蹤中，目標尺度變化是一個具有挑戰的問題，其會影響目標跟蹤的精度。KCF算法模板尺寸是固定的，無法解決目標尺度變化問題，本文采用一種基于特征點檢測的尺度自適應方法。具體尺度更新策略如下：在前一幀的運動目標矩形框中用Shi-Tomasi算法提取可靠角點特征。設置檢測特征的最大值Maxcount，特征質量系數qLevel，特征之間的最小距離minDist。最后將檢測到的可靠特征數目記為N，表示為，用Lucas-Kanade光流法來跟蹤這些角點，找到前一幀中的特征點在當前幀中的位置，記為{}，再將得到的特征點反向跟蹤到前一幀，將得到的特征點記為{,,…,}。將每一個特征點的前向和后向跟蹤誤差記為，如果ei的值小于某一閾值，則認為該特征點是可信賴的跟蹤點。設有M個可信賴特征點保留下來，則將這些特征點用來進行尺度估計，特征點對距離變化集合可表示為：

得到特征點對距離變化集合后，對集合s(i,j)求平均值得到尺度伸縮系數s。此處尺度變化的計算是假設目標沒有被遮擋的情況下，如果目標被遮擋，應停止尺度更新，判斷目標是否遮擋的方法將會在2.3小節詳細介紹。

2.3 分類器更新

在目標跟蹤期間，運動目標常常會因為目標的尺度變化、姿態變化以及旋轉等情況，而發生外觀變化。為了使得用于目標跟蹤的分類器性能更加魯棒，在每一幀跟蹤結束后，我們需要對分類器系數和外觀模型進行更新。更新系數aˉ和外觀模型xˉ的更新公式如下：

其中，η為固定的更新率，一般設為0.012。

2.4 模型更新策略

在目標跟蹤的過程中，目標的外觀模型經常在改變，因此對目標的外觀模型進行實時更新很有必要。由于外觀的變化，需要通過在線追蹤器收集所跟蹤目標的訓練樣本來更新跟蹤模型。但是當運動目標出現遮擋時，會使得分類器學習到錯誤的目標信息，從而導致目標跟丟。在大多數相關濾波跟蹤算法中，學習率都是固定的。固定的學習率限制了跟蹤器適應外觀快速變化的能力，當目標處于遮擋下的時候表現更為明顯。本文提出一種新的模型在線更新方案來跟蹤目標。

根據用訓練好的分類器去檢測目標與模板的匹配得到目標的最大匹配分數 fmax（用歐氏距離度量），當fmax大于某一閾值thr時，說明運動目標與模板匹配較好，運動目標沒有發生較大姿態變化或遮擋，此時以正常的更新率進行更新；當 fmax小于閾值thr時，判斷目標是否發生遮擋，如果沒有發生遮擋，則以較大的更新率進行更新，如果運動目標被遮擋時，外觀模型不應該被改變，學習率應該設置為0。學習率更新公式如下：

判斷目標是否遮擋策略：首先根據最大匹配分數fmax，如果 fmax大于閾值thr，則說明當前運動目標與模板匹配很好，沒有遮擋發生。若 fmax小于閾值thr，則說明當前可能發生了遮擋，由2.2小節中可知，在前一幀中提取到的可靠角點特征數為N，通過Lucas-Kanade光流法進行前向和后向跟蹤后得到的可信賴特征點數為M。如果發生了遮擋，那么M的值將會變得很小，因此根據M與初始幀中N的比值來確定當前目標是否被遮擋，即：

其中，O等于1時表示目標被遮擋，等于0時表示未被遮擋，θ為遮擋閾值，經過大量實驗驗證，θ取值0.4較為合適。

3 實驗結果及分析

為了驗證本文所提出算法的有效性，把本文所提出的算法與CSK算法、KCF算法、DSST[10]算法和sKCF算法[11]進行比較，其中CSK算法是經典的基于核相關濾波的跟蹤算法，KCF算法是在CSK算法的基礎上融合了多通道HOG特征，并引入“核技巧”，加快了算法的運行速度，DSST算法則是在KCF算法的基礎之上增加了尺度濾波器，解決了目標運動過程中發生的尺度變化,sKCF算法在KCF算法的基礎之上添加了自適應高斯窗口函數和基于關鍵點的尺度估計，能夠自適應目標尺度的變化。并對KCF算法進行了速度優化。

在如下圖1（a）中，主要是對停機坪的運動小車進行跟蹤的實驗結果圖，在第10幀時，由于小車沒有發生較大姿態變化，對比算法和本文算法都能很好地跟蹤運動的小車。在第220幀時，運動小車轉彎時發生了較大的姿態變化，且小車明顯變小，由于CSK算法和KCF算法不能自適應尺度變化，因此CSK算法和KCF算法的跟蹤框有一點偏離運動小車，DSST算法、sKCF算法和本文算法此時均能很好地跟蹤上小車。在第330幀時，小車再次轉彎，發生較大姿態變化和形變，此時CSK算法和KCF算法均發生明顯漂移，DSST算法和sKCF算法均稍許偏離目標，而本文算法能穩定跟蹤。在450幀時，小車伴隨著輕微的遮擋，此時CSK算法和KCF算法均跟丟小車，DSST算法和sKCF算法也出現了明顯的漂移，本文算法依然能很好地跟蹤上小車。

在如下圖1（b）中，主要是對機場場面遠處跑道的飛機進行跟蹤的實驗結果圖，在第10幀時，飛機沒有出現遮擋，也沒有出現明顯的尺度變化，對比算法和本文算法都能很好地跟蹤運動的飛機。在第132幀時，被跟蹤的飛機被另外一輛正緩慢駛向滑行跑道的飛機所遮擋，CSK算法跟丟目標，KCF算法出現明顯漂移，DSST算法、sKCF算法和本文算法此時均能很好地跟蹤飛機。在第185幀時，運動飛機再次被停在停機坪的飛機遮擋，且飛機尺寸明顯變小，KCF算法、DSST算法和sKCF算法均跟丟目標，本文算法能穩定地跟蹤上飛機。在第235幀時，飛機再次出現遮擋，本文算法依然能穩定跟蹤，直到飛機駛出視頻畫面。由上述分析可知，本文提出的算法與對比算法相比，在目標發生較大姿態變化和遮擋時，跟蹤效果更好。

圖1 機場視頻序列跟蹤結果圖

為了定量分析各個跟蹤算法的性能，實驗中主要采用中心位置誤差（Center Location Error，CLE）、距離精度（Distance Precision，DP）和重疊成功率（Overlap Success rate，OS）這3個參數來對跟蹤的結果進行定量分析。其中：CLE表示跟蹤到的目標中心位置和目標中心的真實之間的歐氏距離（數值越小說明目標的跟蹤越精確）；DP表示中心位置誤差小于某一閾值的幀數與總視頻幀數的比值，比值越大說明跟蹤過程中符合條件的幀數越多，也就表明跟蹤效果越好；OS表示目標跟蹤矩形框和目標真實矩形框交集的面積和兩矩形框并集的面積的比值超過一個閾值時的幀數與總視頻幀數的比值，比值越大說明跟蹤過程中符合條件的幀數越多，也就表明跟蹤效果越好。表1為各個目標跟算法的中心位置誤差，單位為像素（pixels），該值越小跟蹤的精度就越高。

表1 中心位置誤差（單位：像素）

4 結語

本文基于核相關濾波算法，提出一種機場環境下的特定目標跟蹤算法。首先，在建立目標外觀模型方面融合了多種特征，更好表觀目標的特征信息；其次，提出一種尺度自適應算法，適應目標尺度的變化；最后，對模型適當更新，克服分類器學到錯誤信息。最終結果表明，該算法能很好運用于機場環境，跟蹤魯棒性較高。