快速尺度估計的增強型多核相關濾波算法

楊佳霖，王文偉，熊曉璇，和世瑛

武漢大學 電子信息學院，武漢430072

1 引言

在計算機視覺領域中，目標跟蹤一直是一個十分具有挑戰的研究課題。目標跟蹤通俗地來講，就是對場景中運動目標的軌跡進行估計，對單目標跟蹤而言，是指給定視頻序列中初始幀目標的位置和大小，來估計下一幀目標的位置和大小。隨著計算機處理能力的不斷提高，運動目標跟蹤研究逐漸成為計算機視覺領域的重要研究課題[1]，它在武器制導、人機交互、智能監控、醫學診斷等領域都有廣闊的應用前景[2]。

隨著目標跟蹤技術的廣泛應用，其所面臨的環境也越來越復雜，同時這也會帶來更多的挑戰，如目標變形、運動模糊、光照變化、遮擋以及尺度變化等。目前大多數目標跟蹤算法仍停留在理論階段，只適用于部分特定的場景，沒有一種對任何場景都具有魯棒性的跟蹤算法[3]。因此設計一種快速、準確的跟蹤算法具有及其重要的意義。

近年來，基于相關濾波的目標跟蹤算法以其運算速度快、跟蹤精度高而受到研究者的廣泛關注。Bolme等人提出了誤差最小平方和濾波器（MOSSE）[4]，它采用單通道的灰度獨特征，速度達到669 FPS，實時有效地實現了目標跟蹤。Henriques等人提出了具有內核的跟蹤檢測循環結構的CSK 跟蹤算法[5]，它在MOSSE 的基礎上引入了循環矩陣進行密集采樣并用核技巧訓練非線性分類器，避免了稀疏采樣造成樣本冗余的問題，提高了跟蹤精度。隨后Henriques 又提出核相關濾波算法[6]，將CSK 算法中灰度特征替換為梯度方向直方圖HOG 特征，并進行了單通道擴展，使其擴展成多通道，進而提出了核相關濾波KCF跟蹤算法，進一步提高了跟蹤性能，使得KCF 算法在目標跟蹤領域具有重要的意義。

本文以核相關濾波算法[7]為研究對象，針對KCF采用固定尺寸的矩形框進行目標跟蹤而無法適應尺度變化的問題，引入了一種快速判別式尺度估計的目標跟蹤方法。為了克服核相關濾波采用單一特征和一個內核使得跟蹤穩定性和判別能力低的不足，設計了一種多特征互補的多核學習方法，引入CN特征和HOG特征的多內核組合的方式來提高算法在復雜環境的穩定性以及定位性能。最后對多核相關濾波器進一步優化，引入歷史樣本優化目標函數上界，加入遮擋檢測機制，使算法的跟蹤性能以及效率進一步提升。

2 核相關濾波器

核相關濾波器（KCF）是一個基于嶺回歸的跟蹤器，通過循環矩陣對樣本進行密集采樣，引入核方法使得相關濾波算法更具魯棒性，能夠處理非線性分類問題。

2.1 循環矩陣

由于跟蹤的初始階段樣本有限，KCF通過對單個樣本使用循環移位構建循環矩陣，豐富樣本庫，進而訓練更好的相關濾波模板。

對基礎樣本x=( x1, x2,…,xn)進行循環移位操作，以實現對周圍目標的連續采樣。循環矩陣表示為：

其中P 為置換矩陣，Pux 表示向量x 以為u 次。對循環矩陣進行離散傅里葉變換可將其對角化得：

其中x 為基礎樣本，x^為基礎樣本的離散傅里葉變換，F 為離散傅里葉矩陣，是一常數矩陣。

在KCF 算法中引入循環矩陣，在計算過程中將樣本矩陣轉換為對角陣，利用對角陣除對角線外其他位置元素都為零的特性，降低了算法的復雜度，提高了計算效率。

2.2 線性回歸

KCF采用嶺回歸的分類策略，最小化目標損失函數：

其中，f 為濾波器，i 為樣本個數，xi為樣本，yi為樣本標簽，w 為濾波器系數，λ 為正則化系數，用于防止過擬合。通過對式（3）求偏導，可得其封閉解。

當f 為線性時，即f(z)=wTz，根據線性方程，可得其閉式解如下：

其中，X 為基礎樣本的循環矩陣，每行代表一個樣本xi；I 是X 相同維度的單位矩陣。根據循環矩陣的性質，矩陣間的乘除計算可以化簡為元素間的點乘或點除。利用循環矩陣的離散傅里葉變換（DFT）的性質，式（4）在頻域中的表達形式為：

對目標損失函數中的α 求偏導，可得其閉式解：

2.3 快速檢測與模型更新

如果核函數具有循環性質，對式（7）進行離散傅里葉變化則得到相關濾波器的訓練模型：

其中：kxx是核矩陣K=C( )kxx的第一行，即對于任意兩個核相關的向量x 和x′，有，P 是循環移位的單位矩陣。

對于所有訓練樣本x 以及候選輸入樣本z 之間的核矩陣用Kz表示，Kz的每個元素由κ( Pi-1z,Pi-1x)給定。代入式（6），可得：

由于f(z)是一個向量，包含z 的所有循環移位輸出，即所有的輸出的檢測響應。對式（2）～（9）對角化得：

對式（9）作離散傅里葉逆變換得到候選輸入樣本z的響應矩陣，響應值最大的位置即為新的目標位置。

在跟蹤過程中，目標外觀通常會發生變化，如光照變化、尺度變化、目標形變以及遮擋等情況，需要對濾波器進行更新以適應目標的外觀變化，即需要對目標的特征向量x 和濾波模板α 進行更新，公式如下：

其中t 表示第t 幀視頻，β 為學習率。

3 快速判別式尺度估計

3.1 多通道判別相關濾波器

目標樣本f 由矩形域中每個位置n 處的d 維特征向量f(n) ∈Rd組成，用f l 表示f 的特征通道，其中l ∈{1 ,2 ,…,d} 。然后學習由每個特征通道的濾波器hl組成的相關濾波器h，并由最小化損失函數ε 實現：

其中g 為期望相關輸出，*表示循環相關，式（12）中的第二項是具有權重參數λ 的正則化，g 通常被選擇為具有參數化標準偏差的高斯函數。并且fl、hl和g 具有相同的尺寸和維數。

式（12）是一個線性最小二乘問題，通過使用Parseval公式將式（12）變換到傅里葉域來解決。最小化式（12）中的濾波器由下式給定：

其中，η 表示學習率。

為了將濾波器應用于新一幀t 中，用類似于訓練樣本ft的方法來提取測試樣本zt，并使用相同的特征表示，并計算相關性分數yt的傅里葉變換：這里，和Bt-1是前一幀更新的濾波器的分子和分母。然后通過逆DFT計算zt中反映位置處的相關性分數，通過找到最大相關分數來獲得當前目標位置的估計。

3.2 判別式尺度濾波器（DSST）

當目標位置確定后，為了能對目標的尺度進行估計，采用基于學習獨立的一維尺度相關濾波器的判別尺度空間跟蹤器（DSST）[8]。這個尺度濾波器可以應用在圖像位置來計算尺度維數中的相關性分數，然后使用這些分數來估計目標尺度。

3.3 快速判別式尺度濾波器

為了減少DSST學習和檢測所需的計算，提高算法的速度和精度，采用特征降維和插值的方法。

3.3.1 三角多項式插值

子網格插值允許使用更粗的特征網格進行訓練和檢測樣本，這通過減少用于訓練和檢測所需執行的FFTs的大小來影響計算成本。因為執行插值所需的相關分數的DFT系數已經在式（15）中計算出來了，故選用三角多項式插值。通過對式（15）中Yt的高頻進行零填充得到插值分值，使其大小等于插值網格的大小。然后通過對填充后的數據進行逆DFT 運算得到插值后的分數。

3.3.2 基于主成分分析的特征降維

DSST 的計算成本由快速傅里葉變換（FFT）主導，而在訓練和檢測的過程中，每個特征維度需要一個FFT，所以為了減少所需的FFT 計算次數，采用特征降維的方法。

其中，n 覆蓋目標模板ut中的所有元素，式（16）在正交性約束下被最小化。

3.3.3 壓縮尺度濾波器

為了提高效率，分別利用ut,scale和ft,scale計算兩個投影矩陣和然后使用和對目標模板和訓練樣本進行壓縮，從而不會丟失信息。再使用這些壓縮后的版本對尺度濾波器進行更新，如式（17）所示。因為目標模板和訓練樣本都可以精確地重構為和，故尺度濾波器（17）不受降維的影響。為了在檢測階段計算尺度相關性得分，在式（18）中使用壓縮的測試樣本。為了提高計算效率和存儲效率，分別通過ut,scale和ft,scale的QR分解得到投影矩陣和。

綜上所述，在不犧牲實時性的前提下，通過采用上述策略，充分減小了FFT 的大小和數目，提高了濾波器的尺寸，進而可以擴展搜索空間提高魯棒性。

4 多特征互補的多核學習

由于KCF 使用一個單一特征的內核，難以適應跟蹤過程中目標外觀和背景的復雜變化。不同的特征可以捕獲目標不同的信息通道，從而獲得更好的性能。通過將多核學習引入到KCF 跟蹤算法框架，利用KCF 的多通道特性，采用多個相同內核的組合，即每個內核對應一個特征，使用互補特征的多核學習來提高跟蹤算法的魯棒性和精確度。多核功能本身的形成方式使得多核功能具有更加準確的映射效率和分類效率，特別是對于實際應用中的樣本數據復雜的情況。

4.1 多特征提取

4.1.1 多核相關濾波器的訓練

嶺回歸的目標是尋找函數f( x )，使訓練樣本xi與回歸目標yi的平方誤差最小，即

其中，l 為樣本個數，f 位于由正定核函數k(·)定義的再生核希爾伯特空間的有界凸子集中，xi是樣本，yi是回歸目標，λo≥0 為正則化參數。

作為嶺回歸的一種特殊情況，相關濾波中的訓練集是通過對基礎樣本進行循環移位得到的。

通過Representer 定理[9]，對Tikhonov 正則化問題的解f*可表示為：

其中y=( y0, y1,…,yl-1)T。文獻[10]表明使用多個核替代一個核能夠提高濾波器的判別能力。

給定基核km，m=1,2,…,M，通常的方法是考慮k( xi,xj)作為基核的凸組合，因此半正定核矩陣可表示為：

式中Km為第m 個基核矩陣，并以作為其元素，且有將式（22）中的K 代入到式（21）中，轉換為有限制條件的優化問題：

通過對式（23）使用拉格朗日乘數法進行求解，獲得嶺回歸問題的多核目標函數F( )

α,d ：

其中λo是正則化參數，v 是拉格朗日乘子。為了保證所有組合系數都為正數，使用替代dm，故其最優解可表示為：

若要求解目標函數F( )α,d ，則需要對式（25）進行二元函數的求導計算。

定理1 令{ Km} 為半正定矩陣，則給定α，F( α,d)是關于d 是凸函數；給定d，F( α,d )關于α 是凸函數。因此F( α,d )是一個可微函數，可以簡單的求出關于α和d 的梯度，然后求出它的最小值。

為了求出α，令?αF( α,d )=0，可得：

式中I 是l×l 的單位矩陣。

為了保證計算的有效性，使用解析法求d，令?dF( α,d )=0 可得：

其中dn是d 中的一個元素。因此有：

其中n ∈S0。這是一個關于的線性組合，可以簡單的表示為：

式 中Bp是 以bmn=αTKmnα+2ν 為 元 素 的( M -N )×( M -N )維矩陣，和cp分別是以和cn為元素的兩個列向量，m,n ∈Sˉ0。

如果Bp不是可逆的，那么我們使用Bp的廣義逆矩陣來替代。如果中的任意元素小于0，則對于S0和，式（30）無解。根據定理1，初始化通過對式（26）以及式（30）的多次的反復迭代，可以得到局部最優解。

顯而易見，利用解析法評估d 的計算量隨著M 的增大而增大，M 越大，特征數越多那么跟蹤效果就更加優秀。但考慮到計算的有效性以及跟蹤性能的平衡，一般情況下多特征不超過三個[11]。本算法使用M=2，采用互補的CN特征與HOG特征。另外，KCF跟蹤框架不能同時使用不同類型的內核，因此將兩個特征分別對應同一種內核，即高斯核。

在只包含兩個互補特征的情況下，研究F( α,d )的優化，即給定M=2。因為是式（24）中要優化的三個項之一，這對于優化是有利的，即如果，則，反之亦然。因此，和的值有三種組合，即（1，0）、（0，1）和(v1,v2)，其中(v1,v2)是通過求解當N=0 時式（30）的值得到的。這意味著等式（28）的最優解將從三個候選項中選擇：僅使用兩個互補特征中的一個，使用兩個特征的線性組合。最小化F( α,d)的最終解決方案將是d2的三個候選項中的兩個特征的線性組合，并將它應用于當前幀中目標外觀模型的構建。

4.1.2 訓練中的快速估計

考慮到所有基于相關濾波的跟蹤算法的訓練樣本xi是通過循環移動一個基樣本生成的。因此，利用快速傅里葉變換（Fast Fourier Transform，FFT）可以加快前面所述的F( α,d )的優化過程。因為核矩陣Km是循環，而循環矩陣的逆變換、乘積和和仍然是循環，所以Kmn是循環的。定義kmn是Kmn的第一行，km是Km的第一行，。將式（26）進行傅里葉變換可得：

式（30）通過下列式子進行加速計算：

因為F( α,d )的第三項相當于一個約束條件，所以對于F( α,d )的估計只需要前兩項。

4.1.3 確定中心位置

根據式（25），多核相關濾波器對當前幀p 中所有測試樣本，j=0,1,…,l-1 響應進行評估得：

以y(z )元素的最大值作為目標在當前p 幀中的最優位置。

4.1.4 濾波器的自適應更新

在多核濾波的學習過程，第p 幀的目標的外觀模型為( α,d ,)，并利用下式來更新：

其中，ηm∈[0,1]，是第m 個核所對應的學習率。表示當前幀p 的最佳目標尺度s*進行采樣的圖像塊xˉm，D(ρ(p),s*)時當前幀p 的一個圖像塊，其中心位置為ρ(p)，尺度為s*，λm是與特征相關的常數，m=1,2,…,M。αnew和dnew可通過和式（30）、（34）進行更新。

利用KCF 算法多通道的特性，對訓練樣本分別提取HOG特征和CN特征，并將它們分別對應一個高斯核來學習相關濾波器，最后通過線性組合來得到最終的響應圖以確定目標的最優位置。

4.2 快速尺度估計多核相關濾波算法

為了解決KCF 算法使用單一特征和單一內核進行目標跟蹤的定位性能及穩定性較差的問題，提出了快速尺度估計的多核相關濾波算法（FS-MKCF）。

FS-MKCF是一種基于多特征互補的多核相關濾波改進算法，同時引入快速判別式尺度估計，用于解決目標尺度問題。該算法將位置濾波器的位置估計和尺度濾波器的尺度估計看成兩個相互獨立的過程。對于目標位置估計，采用上述多核相關濾波器算法，在目標位置確定后，利用快速尺度估計來確定目標的尺度大小。實際上FS-MKCF 的特征類型以及核類型均具有通用性，例如特征可以使用神經網絡中的DCNN 深度特征[12]，核的類型也可以擴展至模糊核[13]等。FS-MKCF的算法實驗框架圖如圖1所示。

5 增強型多核相關濾波

5.1 帶上界的多核相關濾波器的擴展

圖1 FS-MKCF算法實驗框架圖

為了實現定位的魯棒性，MKCF選用之前訓練樣本的加權平均值來更新權重，即通過歷史樣本更新xˉ。

為了進一步提高定位的精度以及性能，通過引入歷史樣本來訓練一個通用的MKCF，即通過歷史樣本來更新α 和d，優化函數如下：

其中βj為第j 幀中優化函數樣本的權重，p 為當前幀數，是以為第一行的循環核矩陣

通常不同的內核（即特征）應該配備不同的權重βj，因為它們在整個圖像序列中的魯棒性是不同的。例如，目標對象的顏色可能比其在圖像序列中的HOG 變化得更頻繁。然而，不同的核不可能在Fe( α,d )中設置不同的βj，因為不同的核是相互相乘的，不能被分成不同的項。但是如果使用Fe( α,d )作為目標函數，那么位置性能將受到負面影響，因為不同的內核必須共享相同的權值βj。

令yc=y/M 可以得到：

其中有：

基于以上分析，得出了MKCF擴展的優化目標是問題（40），這個優化問題和式（23）類似。使用與MKCF類似的解析法可得：

可以使用傅里葉變換對其進行加速計算：

其中有p ＞1 時：

p=1 時：

而對于dm,p而言有：

其中有p ＞1 時：

由以上可知，Ap以及dm,p可以通過式（44）和（47）逐幀的高效快速計算及更新。初始時dm=1/M，m=1,2,…,M。然后固定dp，通過式（44）更新αp；固定αp，通過式（47）更新dp，反復交替進行，最后收斂可得到局部最優解

5.2 遮擋檢測機制

在實際的跟蹤過程中，外在環境往往是復雜多變的，目標不可避免地會被遮擋，此時若沒有遮擋檢測機制，目標很容易被跟丟，跟蹤就會失敗。為提高算法的跟蹤性能，在跟蹤過程中添加遮擋檢測更新機制，當目標被遮擋時以重新更新濾波器，實現有效的跟蹤。在使用相關算法對檢測目標進行匹配時，兩目標之間的匹配程度通常用峰值旁瓣比（PSR）[14]進行評估。其定義如下：

式中的相關響應峰值為gmax，它的標準差和均值分別用σs1和μs1表示。跟蹤目標相關響應值的峰值旁瓣比會隨著目標被遮擋的情況而變化，當目標遇到遮擋時，峰值旁瓣比會隨之變小，此時若繼續更新目標外觀模型xp、濾波器系數αp和各特征響應的自適應權重dp將會使跟蹤發生漂移乃至失敗。因此，對峰值旁瓣比設定一個閾值T，當PSR比大于閾值T 時，訓練多核相關濾波器，當PSR 小于閾值T 時，說明目標發生遮擋，此時重新提取當前幀目標位置處的特征。

5.3 快速尺度估計增強型多核相關濾波

為了對多核濾波器做進一步優化，提出了快速尺度估計的增強型多核相關濾波算法（FS-EMKCF），該算法在FS-MKCF 的基礎上引入歷史樣本獲得多核濾波器，并對多核相關濾波器目標函數的上界進行優化得到自適應濾波模板。由于FS-EMKCF 是對目標函數的上界進行優化而得到最優解，大大減輕了FS-MKCF 互補特征估計時負面的相互干擾，與FS-MKCF 采用解析法求解目標函數得到最優解相比會更具通用性。為了保證實時性，FS-MKCF 在使用多核相關濾波器來估計目標位置時，會通過投影矩陣映射主成分分析特征，計算壓縮后的特征圖。其中顏色特征采用文獻[15]所提的方案，通過PCA將顏色特征的維數減少到4維，HOG特征使用9個梯度方向和4×4的細胞大小，并同樣將HOG特征利用PCA 降維到4 維。另外加入遮擋檢測機制來處理遮擋的情況，以實現定位的魯棒性。其算法實驗框架圖如圖2所示。

圖2 FS-EMKCF算法實驗框架圖

6 實驗及分析

6.1 實驗數據以及評價方法

實驗采用具有參考跟蹤結果的OTB-2013 數據集[16]，共有50段視頻序列，其中的視頻序列包含有11種屬性，分別是尺度變化（SV）、光照變化（IV）、遮擋（OCC）、運動模糊（MB）、形變（DEF）、快速運動（FM）、平面內旋轉（IPR）、平面外旋轉（OPR）、超出視野（OV）、背景相似（BC）、低分辨率（LR）。實驗的對目標跟蹤的算法主要從算法的精度、成功率、實時性三方面評估算法的跟蹤性能。

（1）精度

精度反映了位置誤差，因此在介紹精度前先引入中心位置誤差，它是指跟蹤目標的中心與視頻序列中目標被標定的中心之間的歐式距離：

其中cle 來表示中心位置誤差，單位為像素；( x,y )是當前幀中目標的中心位置，( xgt,ygt)是目標被標定的中心位置坐標。精度為一比值，它用中心位置誤差小于某一閾值的視頻幀數與該序列視頻總幀數的比來定義。本文實驗中設置閾值為20像素。

（2）成功率

在介紹成功率之前先引入并交比（IoU）的概念，它定義成兩個邊界框的交集和并集之比，用于衡量兩個邊界框的重合度，其定義式為：

圖3 5種算法精度和成功率曲線

其中boxp和boxgt分別代表跟蹤算法中的估計邊界框和實際目標框。重疊精度為重疊率超過序列中某個閾值的幀數和視頻序列中視頻幀總數的百分比，其中閾值設為0.5。重疊精度反映了跟蹤的成功概率，跟蹤成功率越高，跟蹤越準確。

（3）幀率

幀率，即每秒中跟蹤算法處理的視頻幀數量，用它來衡量跟蹤算法的實時性，幀率越大，計算速度越快，算法實時性越好。

6.2 實驗環境及參數設置

本文所有實驗都在InterI7-9700K，主頻3.6 GHz，內存16 GB，Windows 7 系統的MatlabR2016b 和Visual Studio 2013的PC實驗平臺進行。

傳統的KCF算法的參數不變，在FSKCF算法中，窗口系數padding設為2，將尺度濾波器正則化參數設置為λs=0.01，學習率η=0.025，尺度因子a=1.02。初始尺度數量S=17，插值后的尺度數量S^=33。在FS-EMKCF算法中，核數量為2；在顏色序列中，CN 特征核HOG 特征所對應的高斯標準差為σCN=0.515，σHOG=0.6，對應的學習率γCN=0.017 4，γHOG=0.017 3；在灰度序列中，CN 特征和HOG 特征所對應的高斯標準差為σCN=0.3，σHOG=0.4，對應的學習率γCN=0.0175，γHOG=0.018 0；窗口系數padding=1.5。

6.3 實驗結果及分析

圖3（a）和（b）分別是在50個視頻序列上，FS-EMKCF算法和其他對比算法的精度和成功率曲線。各個算法的精度、成功率以及平均幀率如表1所示。

表1 5種算法跟蹤精度、成功率以及幀率

由圖2 以及表1 可知，本文所提FS-EMKCF 算法相比于其他4種算法，在精度以及成功率的評價指標上均取得最優性能。與傳統的使用HOG特征的KCF算法相比，精度提高了10.9%，成功率提高了12%，這表明使用多特征互補多核濾波能夠有效地應對復雜的跟蹤環境，提高跟蹤性能。與FS-MKCF相比，精度提高了5.7%，成功率提高了3.4%，這表明FS-EMKCF引入歷史樣本來獲得多核濾波器，能進一步提高跟蹤性能以及魯棒性。

與結構化SVM 的Struck[17]算法相比，精度提高了19%，成功率提高了16.2%；與使用CN 特征的CN2 算法[19]相比，精度提高了20.6%，成功率提高了19.6%。在實時性上，FS-EMKCF 的幀率約FS-MKCF 的2.8 倍，這主要是因為FS-EMKCF 引入歷史樣本對目標函數的上界進行優化獲得最優解，大大減輕互補特征之間的負面的相互干擾，保證了較高的幀率，另一方面也得益于對HOG 和顏色特征的PCA 降維處理，降低了計算消耗。綜合算法的性能以及實時性，本文所提FS-EMKCF算法在保證較高實時性的同時，能獲得較好的性能。

此外，為了更全面地比較不同算法在不同挑戰下的跟蹤性能，本文對不同算法在11 種特定挑戰下的性能進行了統計分析。在不同挑戰因素下各種算法的精度圖由表2給出，成功率由表3給出。表中可以看到，在背景雜波、形變、光照變化、遮擋、尺度變化、平面內旋轉、平面外旋轉以及超出視野和運動模糊等挑戰因素下，本文算法的表現優于其他對比算法。特別的，在遮擋情況下，FS-EMKCF算法相比于FS-MKCF精度上提高了4.7個百分點，成功率提高了3.1個百分點，這主要得益于引入了峰值旁瓣比來處理遮擋問題。

為了更加直觀地驗證FS-EMKCF算法的跟蹤性能，實驗選取了OTB2013 數據集中3 組視頻序列進行分析說明。其中紅色代表FS-EMKCF算法跟蹤結果，綠色代表FS-MKCF算法的跟蹤結果，藍色代表KCF算法跟蹤結果，洋紅色代表Struck 算法跟蹤結果，黑色代表CN2算法跟蹤結果。

表2 5種算法在不同挑戰下的跟蹤精度

表3 5種算法在不同挑戰下的成功率

如圖4 所示，在Singer2 序列中，目標包括的挑戰因素有光照變化、形變、平面內旋轉、平面外旋轉以及背景雜波等情況。在第27 幀中，CN2 算法和Struck 算法跟蹤發生漂移，KCF 算法、FS-MKCF 算法和FS-EMKCF 算法能正確跟蹤目標。這是因為基于顏色特征的CN2 算法和基于Haar 特征的Struck 算法對目標形變比較敏感。在第43 幀中，KCF 算法發生較小的偏移，FS-MKCF 和FS-EMKCF 算法能保持較好的跟蹤性能。在從第127 幀到第218 幀的跟蹤過程中，目標除發生形變外，還伴有平面內旋轉，此時KCF算法發生較大偏移。在第259 幀到第337 幀的跟蹤過程中，目標除發生形變外，還伴有平面外旋轉和背景雜波，FS-MKCF算法的跟蹤框發生較小偏移，FS-EMKCF 算法未發生偏離。

圖4 5種算法在Singer2序列的跟蹤效果

如圖5所示，在Skating1序列中，在第33幀到167幀的跟蹤過程中，這5種算法都具有一定的跟蹤能力。在第167 幀中，目標被部分遮擋，Struck 算法跟蹤出現干擾。在第184 幀中，Struck 算法的無法正確框定目標。在第231幀到315幀的跟蹤過程中，目標發生旋轉，且伴有尺度變化，CN2 算法和Struck 算法跟蹤漂移，KCF 算法跟蹤框發生部分偏移。在第383幀中，KCF算法丟失目標，FS-MKCF 算法跟蹤發生偏移。由此說明，FSEMKCF 算法對尺度變化、光照變化、形變、旋轉和遮擋等情況的適應能力優于其他4種算法。

圖5 5種算法在Skating1序列的跟蹤效果

如圖6 所示，在Freeman4 序列中，目標包括的挑戰因素有目標尺度變化、遮擋以及平面外旋轉和平面內旋轉等情況。在第24幀到第65幀的跟蹤過程中，5種算法都具有一定的跟蹤能力。在第82幀中，目標發生旋轉，并伴有尺度變化，此時采用固定跟蹤框的KCF 算法和基于Haar 特征的Struck 的算法發生漂移。在跟蹤到228幀的過程中，目標發生旋轉外還出現多次遮擋的情況，此時只有利用歷史樣本進行多核學習的FS-EMKCF算法能對目標進行有效跟蹤，這是因為在FS-EMKCF中加入遮擋檢測機制，使得該算法能有效應對該情況。在第276 幀到第283 幀的跟蹤過程中，目標超出視野，FSEMKCF算法能部分框定目標。

圖6 5種算法在Freeman4序列的跟蹤效果

7 總結

本文以核相關濾波算法為研究對象，針對該算法存在的尺度變化、單一內核和單一特征以及定位性能較差等問題，提出了快速尺度估計增強型多核相關濾波跟蹤算法。該算法通過在核相關濾波框架內引入快速判別式尺度估計，解決了核相關濾波對目標尺度變化不敏感的問題；引入多特征互補的多核學習，利用不同的特征可以描述不同的目標信息，從而適應復雜的環境變化；為了解決多核學習的計算量以及魯棒性問題，通過優化相關濾波目標函數的上界來重新構造多核濾波器的目標函數，并將歷史樣本引入到目標函數的學習過程中，以自適應更新濾波模板，同時引入峰值旁瓣比來有效應對目標出現遮擋的情況。實驗結果表明，所提的快速尺度估計增強型多核相關算法對目標尺度變化以及復雜環境下的目標跟蹤性能以及實時性表現優異。