基于粒子濾波的KCF無人機地面目標跟蹤研究

本文介紹了核相關濾波算法（KCF）的理論知識，由于KCF算法具有固定的學習模式，跟蹤框不能隨目標尺度變化改變，因而本文將其與粒子濾波算法結合，采用粒子分布估計目標的位置。針對目標尺度的問題，設計一種由粗到精的尺度估計方法，通過實驗驗證，本文算法的跟蹤精度遠高于經典KCF算法，且對常見干擾因素具有良好的跟蹤效果。

無人機執行目標跟蹤任務過程中，從獲取圖像數據到分析和處理圖像數據再到無人機外設做出對應動作調整，都具有實時性的約束，必須在一定的時間間隔內完成，而通常目標跟蹤算法在此過程中耗費的處理時間占比很大。此外，對于無人機視頻圖像而言，目標尺寸較小，而視野范圍卻較大，并且視頻中經常存在目標尺度變化。因此，無人機目標跟蹤算法對于實時性和準確性的要求很高。而一般實時性較好的目標跟蹤算法難以保證準確性，而準確性較好的目標跟蹤算法又難以保證實時性。近年來，基于相關濾波器的跟蹤算法以其優異的實時性成為了跟蹤領域研究的熱點，與基于深度學習和SVM分類器的目標追蹤算法相比而言，相關濾波的實時性是其他算法比不上的。核相關濾波算法(KCF,Kernel Correlation Filter)，是在2014年提出來的，這個算法在跟蹤效果和跟蹤速度上都讓人驚訝，因而一大批的學者開始KCF進行研究,并且工業界也在陸續把KCF應用在實際工程當中。但KCF仍然具有不足之處，當跟蹤過程中出現的遮擋和噪聲時，KCF算法的跟蹤效果較差，容易出現跟蹤漂移的情況，且難以捕捉快速運動的目標。為此，本文提出一種基于粒子濾波的KCF目標跟蹤算法，使用粒子運動估計逼近目標位置。為了實現對目標尺度變化的準確跟蹤，采用由粗到精的尺度估計方法，在保證實時性要求情況下，達到精確性要求。

KCF跟蹤算法

KCF跟蹤算法是對視頻圖像進行基于塊的密集采樣，建立目標外觀模型，根據循環結構的特性采集目標及其周圍的樣本，這也是KCF目標跟蹤算法實時性較高的原因。當核函數滿足一定的條件，循環矩陣通過核函數映射之后得到核矩陣，該核矩陣同樣可保持著循環特性，這一性質大大提升了KCF目標跟蹤算法的執行效率。利用KCF算法進行目標跟蹤時，首先初始化設置目標模型，然后在下一幀的搜索窗口上進行相關濾波操作，相關濾波的輸出結果中響應值最大的位置即為該幀中目標的中心位置，使用當前幀的結果來實時更新濾波器。

循環矩陣

定義一個向量x∈Rn，x=[x1,x2,x3,...,xn]，通過向量x生成一個二維循環矩陣C(x)∈Rn×n，其中，x處于第一行，第二行是第一行向右循環一個位移，同時將第一行最右面的數據移動到左邊，第k(k=3,...,n)行以此類推，生成的二維循環矩陣如式（1）所示：

從結構上來說，循環矩陣是一種特殊的Toeplitz矩陣，矩陣中的每一個元素可以表示為：

定義向量x,y,z，∈Rs，其相應的循環矩陣為X=C(x)，Y=C(y),Z=C(z)， 傅里葉變換化為x=F(x)，y=F(y)，z=F(z)，其頻域和時域運算之間的關系如式（3）：

其中， ·表示點乘， ＊表示共軛。

因此，向量與循環矩陣的乘積 可以轉換到到頻域中實現，如式：

相關濾波器

由于脊回歸模型具有封閉解，訓練速度較快且效果較好，因此核相關濾波器使用脊回歸模型訓練樣本得到分類器，進而檢測下一幀目標，訓練的樣本是通過初始樣本的循環矩陣循環采集得到的。

圖1 循環從左向右移動采樣

圖1表示在圖像中目標及背景區域進行水平方向密集采樣，其中實線框表示初始樣本，其他不同的虛線表示由初始樣本每次循環向右移動一個單位得到的訓練樣本。通過循環矩陣采集樣本數據，利用循環的特性通過傅里葉變換加快訓練速度。

KCF目標跟蹤算法中通常利用脊回歸模型訓練，分為線性模型訓練方式和非線性模型訓練方式。

（1）線性模型訓練方式。在使用線性模型訓練時，首先在初始幀中矩形框中提取關于目標的訓練樣本x作為分類器的輸入，尺寸為m*n，那么將高斯函數生成的標簽y作為分類器的期望輸出：

其中，r,c分別表示距離中心位置的橫向和縱向距離。

分類器輸出函數定義為：

訓練的過程就是最小化分類器輸出函數和期望輸出之間的平方誤差，構建損失函數：

其中，xi為訓練樣本，yi為期望輸出，λ為正則化項。

對公式（7）進行最小化表示：

其中，X為初始樣本集合。函數l(w)對w求導可以得到系數的值。

（2）非線性模型訓練方式。有些樣本不能在原來空間進行分類，需要將其由低維空間變換到高維空間。樣本 通過核函數映射成為φ(x)時，所求分類器f(x)中的權值w轉化為對偶空間中的α系數。根據文獻［5］表示，權值w為輸入樣本的線性組合形式：

通常，采用核函數從樣本空間映射到希爾伯特空間，定義核函數為：

其中，φ(x)為希爾伯特空間，x'表示不斷更新的樣本。

則分類器輸出函數表示為：

根據正則化最小二乘法，式（6）擴展為：

對（13）式求微分：

令Fα=0，可得出上式的最小值，同時求得α的值。

其中，I是單位循環矩陣，k是循環核矩陣，式（15）可以轉化為式（16）：

其中，δ=[1,0...,0]T。

根據循環矩陣的時域空域轉換關系，式（16）變換為：

根據式（4），可得到：

輸入下一幀圖像后，對應濾波器的輸出是y'，響應最大值則作為下一幀目標的中心位置：

由式（19）可以看出，相關濾波器KCF跟蹤目標時，只需要更新濾波器函數的參數和累積樣本，常選擇線性的更新方式：

其中，γ為學習因子，t尾當前幀x'(t),α'(t)， 分別為更新后的濾波器參數與累積樣本。

在相關濾波跟蹤中，常用的核函數主要有多項式核和高斯核兩類。

多項式核：

高斯核：

基于粒子濾波的KCF目標跟蹤算法

KCF目標跟蹤算法所采用固定的學習模式，對目標尺度變化很敏感，且實時性非常好。根據粒子濾波理論，通過隨機采樣不同權值的粒子可以近似任意一種的觀測概率分布，粒子濾波可以很好的適應非高斯及非線性場景，但是難以選取合適的粒子數量，當選取的粒子數量較少時，嚴重影響跟蹤的準確率；當選擇的粒子數量較多時，大量的粒子會產生比較高的計算復雜度，會影響跟蹤的實時性。在實際場景應用中，常常因為選取粒子的數量問題造成跟蹤的目標與實際的目標存在一些誤差，隨著每一幀誤差值的積累，最后造成跟蹤漂移現象。據此，本文提出一種基于粒子濾波的KCF目標跟蹤算法，對KCF目標跟蹤算法得到位置響應值，采用粒子加權估計目標的運動狀態；針對尺度變化問題，提出一種由粗到細尺度估計方法。目標跟蹤算法流程圖如圖2所示。

目標位置估計

圖2 基于粒子濾波的KCF目標跟蹤算法流程圖

本節將核相關濾波器（KCF）與粒子濾波器相結合，粒子濾波器給KCF目標跟蹤算法引入一些噪聲，并從噪聲數據中估計目標的運動狀態，來確定目標的位置。

粒子濾波器是通過帶權重樣本粒子集合S={S(n)|n=1,2,...,N}來逼近概率分布，采用核相關濾波器最高響應值分布函數來描述目標模型。定義每一核相關濾波器最高響應值分布的采樣樣本，即粒子模型為：

其中，p表示粒子初始位置， 表示粒子的橫縱坐標，v表示粒子運動的速度，vx,vy分別表示粒子在x,y方向上的速度，re表示該粒子經過核濾波器后得到的響應值，π表示粒子權重。

采用系統狀態方程更新粒子樣本集合：

其中，A為狀態轉移矩陣，wt-1為高斯噪聲。因此，基于粒子濾波的KCF目標跟蹤算法確定目標中心位置時，具體分為以下五步：

第一步，初始化。初始化粒子樣本集合st-1和目標模型，粒子初始權值為，初始狀態為s0；

第二步， 再采樣。根據權重π從集合中挑選N個樣本。

（1）在[0,1]區間生成N個滿足均勻分布的隨機變量，組成數組r，并且對權重數組計算歸一化累積概率

（2）對r數組中每一個元素，采用二分法搜索歸一化累積概率數組，獲取含有N個最小索引的數組j，使得

（3）更新粒子樣本集合。

第三步，狀態轉移。根據公式（24）計算新的粒子集合St。

第四步，系統觀測。將新粒子集合輸入核KCF，得到濾波器響應值re，進而更新粒子狀態：

第t幀時，

相對于初始狀態s0，更新粒子集合St的速度：

計算粒子的權重值：

第五步，位置估計。將經過權重估計之后的集合輸入到核相關濾波器中，最大響應值就是目標的位置：

目標尺度估計

無人機執行目標跟蹤任務時，往往目標尺度會發生變化，跟蹤算法必須對目標尺度變化具有魯棒性，而核相關濾波算法中的跟蹤框是固定不變的，當目標尺度增大時，只能跟蹤目標的局部，丟失目標的部分信息；當目標尺度減小時，跟蹤框中會加入背景的相關信息，可能導致跟蹤失敗。因此提出了一種由粗到細的尺度估計方法。

（1）目標尺度粗略估計

假設目標方框的初始尺寸為h0×w0，估計當前幀目標的位置，由公式（30）得到響應的最大值，記為s0。

在當前幀的目標位置分別提取三種不同大小的圖像塊，尺寸為(s×h0)×(s×w0)的放大圖像塊和的(h0/s)×(w0/s)縮小圖像塊，其中s＞1，利用線性插值的方法調整圖像塊的尺寸，使其與模板尺寸相同，由公式（30）計算放大矩形框和縮小矩形框的響應值sL，sS，比較s0，sL，sS的大小，將最大值作為跟蹤矩形框的粗略尺度最優估計，尺寸記為h1×w1。目標尺寸選取方式如圖3所示，綠色矩形框為初始尺寸，紅色虛線框為放大和縮小后的尺寸。

圖3 目標尺度粗略估計示意圖

（2）目標尺度精細估計

圖4 目標尺度估計示意圖

尺度粗略估計只選取了三種情況用于尺寸估計。一方面該方法可以繼續滿足實時性，另一方面能夠稍提高準確性。但是實際跟蹤過程中，需要對目標尺度精確估計，否則會融入背景信息，影響采集的正負樣本質量，進而導致跟蹤漂移現象，導致追蹤失敗。粗略尺度估計會對目標準確性造成一定程度的影響，為此，跟蹤過程中間隔 幀圖像序列對目標進行尺寸粗略的估計，得到其中最大值響應時，記目標的尺寸大小h1×w1，之后按照均勻分布隨機生成尺度變換集S={si|si∈U(0.0,1.1),1≤i≤10}，Si表示選取矩形框的尺度。對于任一尺度Si，在當前幀估計的目標位置出選取矩形框尺寸(si×h1)×(si×w1)，將所有圖像尺寸進行縮放，使所有采樣尺寸與模板尺寸相同。根據公式（19）計算，得到最大響應值為最優估計尺寸，進而確定當前幀目標的尺度。綜上所述，目標尺度估計的流程圖如圖4所示。

實驗結果與分析

本文選擇無人機與目標的距離在5～25m范圍內的視頻序列進行實驗來驗證本文算法的跟蹤效果，所用視頻序列均來源于無人機目標跟蹤標準的UAV123數據集和部分VOT2013數據集。使用matlab編程實現，操作系統為Windows7，計算機配置為Intel（R）Core（TM）i5-3470CPU，內存為4.00GB。

實驗參數：傳統的KCF算法參數保持不變，本文算法中高斯核的標準差σ=0.5，學習因子γ=0.02，正則化參數λ=0.0001，粗略尺度估計參數s=1.05，相隔幀數k=4。

與KCF算法對比實驗

本節所有實驗跟蹤結果中，藍色框和綠色框分別表示本文算法和傳統KCF目標跟蹤算法的實驗結果。

（1）部分遮擋環境下的目標跟蹤CarScale視頻序列中第1，130，165，178，206，231幀的跟蹤結果分別為圖5（a）～（f）。

以序列中的黑色汽車作為目標，Car Scale視頻序列包含兩類干擾因素：目標尺度變化，目標被部分遮擋。跟蹤過程中，由于黑色汽車尺度逐漸增大，而KCF算法無法適應尺度變化，導致從165幀開始，跟蹤逐漸漂移。由于本文采用由粗到細尺度估計方法，可以準確跟蹤目標尺度變化，當目標發生局部遮擋時，可以根據粒子的狀態分布預測目標位置。從圖5的實驗結果可以看出，針對目標被部分遮擋和尺度變化的問題，本文算法能夠有效的跟蹤目標。

圖5 對Car Scale序列的跟蹤結果

（2）目標尺度變化的目標跟蹤

Boat1視頻序列的跟蹤結果如圖6所示，第1，147，291，471，696，822幀的跟蹤結果分別對應（a）～（f）。

白色船只在航行過程中，主要發生尺度變化，從451幀到686幀，有微弱的光照變化。當目標尺度減小時，KCF算法的跟蹤框中增加了背景的干擾信息，如圖（b）～圖（e），最后出現跟蹤漂移的情況，跟蹤效果較差。從實驗結果可以看出，針對尺度變化干擾因素，本文算法有良好的跟蹤效果。

（3）旋轉變化情況下的目標跟蹤

Wakeboard1視頻序列第1，35，75，186，296，349幀的跟蹤結果如圖7（a）～（f）所示。

Wakeboard1視頻序列中，選擇沖浪人為目標，目標在海上表演雜技動作，視頻圖像的背景較為復雜，第35幀時，目標下蹲準備起跳，KCF算法不能適應目的尺度變化，75幀到186幀之間，目標表演海上雜技，運動速度較快并伴隨著旋轉，KCF算法發生跟蹤漂移，將部分背景融入目標跟蹤框中，在296幀時，我們的算法能夠準確跟蹤目標。從跟蹤結果中可以看出，盡管視頻圖像的背景較為復雜，目標運動變化多端，本文算法也能夠對目標準確跟蹤。

圖6 對Boat1序列的跟蹤結果

圖7 對Wakeboard1序列的跟蹤結果

（4）目標背景光照變化實驗

Singer1視頻序列的跟蹤結果如圖8所示，第1，84，130，213，280，351幀跟蹤結果分別對應（a）～（f）。

Singer1視頻序列是一個舞臺上表演歌唱的場景，舞臺燈光由暗轉明，再由明轉暗，同時鏡頭由近向遠移動，因此跟蹤中主要存在光照變化核目標尺度變化兩類干擾因素。從第1幀到351幀，舞臺燈光劇烈變化，由暗變亮再變暗，目標尺度逐漸變小，KCF目標跟蹤算法產生跟蹤漂移。整個跟蹤過程中，本文算法針對目標尺度變化和光照變化干擾因素有著魯棒的跟蹤效果。

算法評價指標

圖8 對Singer1序列的跟蹤結果

為了進一步說明本文算法的優越性，使用定量的評價標準，即通過中心位置誤差（Center Location Error, CLE）估計對跟蹤算法的結果進行評價，中心位置誤差計算公式為：

其中，（xi，yi）為第i幀目標的實際中心位置，（）為第i幀時通過跟蹤算法得到的目標中心位置，N為圖像幀數。

當中心誤差值小于閾值T時，認為跟蹤成功，否則認為跟蹤失敗，無人機視頻的閾值T一般設為20個像素，根據中心誤差公式可知，中心偏移誤差越小，跟蹤準確率越高。

通過對目標中心位置誤差統計，本文算法和KCF算法針對測試視頻的跟蹤準確率如表1所示：

經過實驗對比統計，本文算法平均每秒處理26幀圖像，在滿足實時性要求的前提下，對于含有常見干擾因素中的視頻序列，跟蹤精度遠遠高于KCF目標跟蹤算法。

表1 跟蹤算法針對測試視頻的跟蹤準確率（ T=20）