基于多特征融合的尺度自適應KCF目標跟蹤算法

周正松, 陳虹君， 周 紅

(四川大學錦城學院, 成都611731)

1 引 言

近些年，針對特定目標的跟蹤方法受到不少學者的關注和深入研究[1-3]，而在實際應用中，仍然會遇到不少問題，如目標受到的光照、姿態、遮擋和背景復雜等情況.近幾年，基于判決模型的目標跟蹤算法取得了較好的效果，該類算法的基本思想是把目標跟蹤問題看作是目標與背景進行分類的問題.該類算法通過對大量的目標和背景樣本進行分類學習，再通過分類器對當前輸入圖像進行分類，找出目標，其中很典型的算法就是核相關濾波(KCF，Kernelized Correlation Filters)目標跟蹤算法[4-8].

2014年，Henriques等人提出了一種非常有效的運動目標跟蹤算法，即KCF算法[4]，該算法是一種判別式跟蹤，通過訓練樣本去訓練出一個判別分類器，從而能夠快速的判斷跟蹤到的是目標還是背景，該算法使用循環矩陣對樣本進行采集，用嶺回歸訓練判別分類器，并利用循環矩陣在變換域的對角化性質，將復雜的矩陣運算轉化為簡單的向量運算，即元素之間的乘積，從而簡化了計算，提高了運算效率，使得算法滿足應用的實時性要求.然而,KCF算法也存在一些不足，如提取外觀特征單一，不能自適應尺度變化和模型更新因子，因此，本文對其理論進行了詳細的推導，并針對KCF算法的不足進行了改進.

2 KCF算法理論

2.1 一維嶺回歸

設訓練樣本集(xi,yi),其中，xi為樣本，yi為樣本標簽，其回歸表達式為f(xi)=wTxi,列向量w是樣本xi的權重系數，可通過最小二乘法求解

(1)

其中，λ是正則化參數，也稱為嶺系數，用于控制系統的結構復雜性以保證分類器的泛化性能.將式(1)寫成矩陣形式為

g(w)=‖Xw-y‖2+λ‖w‖2

(2)

w=(XTX+λI)-1XTy

(3)

由于后面將進行傅里葉矩陣變換，牽涉到復數矩陣，所以將式(3)擴展到復數域中的形式為

w=(XHX+λI)-1XTy

(4)

其中，XH表示復共軛轉置矩陣.

2.2 循環矩陣

KCF算法中所有的訓練樣本都是由目標樣本循環移位得到的，向量的循環可由排列矩陣得到，如一維向量初始排列為：x=[x1,x2, …,xn]T,排列矩陣為

它的一次循環移位為

Px=[xn,xn-1, … ,x1]T.

對于二維矩陣圖像，可以看成是在兩個維度方向分別對目標樣本進行循環移位得到的. 如：

二維圖像初始排列為

排列矩陣為

則移位后為

從而對于一個n維向量，可經過與排列矩陣進行不同次數的乘積，產生n個不同次數的移位向量，把它們按列排列構成一個矩陣，就得到了由x所產生的循環矩陣，記為C(x).

圖1 一維向量得到的循環矩陣Fig.1 Cyclic matrix from one-dimensional vector

圖2 二維圖像不同循環次數后的移位Fig.2 Shift of two-dimensional image after different cycles

2.3 循環矩陣傅氏空間對角化

循環矩陣X可在傅氏空間中使用離散傅里葉矩陣進行對角化，如下式.

(5)

(6)

2.4 傅氏對角化簡化的嶺回歸

w=(XHX+λI)-1XTy

(7)

(8)

由于對角矩陣求逆等于對角元素求逆，則化簡得

(9)

其中,·表示點乘，即對應元素相乘；分數線表示點除，即對應元素相除.

因為循環矩陣乘向量等價于生成向量的逆序和該向量作卷積，又可進一步轉化為傅里葉變換相乘.即

(10)

(11)

于是

(12)

(13)

因此，就可以使用向量的點乘、點除運算取代矩陣運算，特別是求逆運算，大大地提高了計算速度.

2.5 分類器更新

跟蹤目標時，由于目標的旋轉、姿態變化甚至遮擋等原因，常常會改變目標的外觀.因此，需要在每幀跟蹤后立即更新分類器的系數a和目標外觀模型x.更新公式為

(14)

其中，η為的更新率.

3 基于多特征融合的尺度自適應核相關濾波(MFSA_KCF)目標跟蹤算法

在惡劣天氣(如霧、雨等)條件下，運動物體(飛機、汽車等)與機場地面的背景幾乎沒有區別.只有利用方向梯度直方圖(HOG，Histogram of Oriented Gradient)的特征來區分它們，很難取得好的效果.同一運動目標在不同(方位、距離等)視角下，其尺度也有很大差異，KCF不能滿足自適應尺度變化的要求.運動目標也可能被部分遮擋，這就要求模型更新因子發生變化，否則會導致錯誤信息的學習和較大的錯誤.

為了解決上面可能遇到的問題，本文在KCF算法的基礎上，提出了一種更有效的MFSA_KCF算法.為了更好地區分運動目標和背景，除了HOG特征外，還提取了區分性的色彩描述子(DD，Discriminative Color Descriptor)特征[9]；為了解決運動目標的尺度變化和局部遮擋問題，分別采用了自適應尺度變化和自適應模型更新方法.通過采用多種方法進行對比實驗，驗證了本文提出的MFSA_KCF算法的有效性.

3.1 多特征融合

KCF算法只采用單一HOG[10]特征，由于單一特征所提取的外觀模型往往不具有很好的區分性，當目標發生較大形變或出現遮擋時不能很好地表征目標外觀模型，容易導致跟蹤漂移.顏色特征已經成功地應用在很多計算機領域，區分性的色彩描述子(DD)是khan在2013年提出的一種緊湊、高效的顏色特征，他們根據分類問題中的區分能力，將信息理論方法用于顏色描述和聚集顏色值.本文將聯合HOG特征和DD特征來共同表征目標外觀模型，其中HOG特征能很好地提取局部梯度特征和邊緣特征，捕捉運動目標的局部輪廓信息，對光照變化有很好的適應性，DD特征能很好的提取全局顏色特征，對目標的旋轉變化有很好的適應性.

提取HOG特征的主要步驟如下.

(1) 標準化顏色空間和Gamma空間.先把彩色圖像轉化成灰度圖，再用平方根Gamma矯正，Gamma壓縮公式為：I(x,y)=I(x,y)Gamma，其中，Gamma取為1/2.

(2) 計算圖像梯度.在經過顏色空間歸一化后的圖像中，先在水平和垂直方向對每個像素點的梯度進行計算，再對該像素點的梯度大小和方向進行計算.若訓練樣本為三通道的彩色圖像，可以先分別計算這個像素點在R，G，B三個獨立通道的梯度大小和方向，再選取其中梯度幅值最大的通道作為該像素點的值.

(3) 計算每個cell的HOG特征.在得到每個像素點的梯度大小和方向后，就可以計算每個cell的HOG特征.

(4) 計算每個block的HOG特征.將多個cell的特征向量進行串聯就可以得到block的特征向量.

(5) 計算圖像的HOG特征向量.提取圖像中每個block窗口內的HOG特征，然后將這些HOG特征進行串聯就得到整個圖像的HOG特征向量.

提取DD特征的主要步驟如下.

(1) 輸入信息：RGB圖像image，映射矩陣Mat.

(2) 計算圖像image在像素坐標(x,y)處的 DD特征索引值index.

(3) 根據步驟(2)中計算得到的像素點坐標(x,y)的索引值index，在映射矩陣中找到其對應的列，獲得對應的行向量Mat(:,index)，則該行向量即為該像素的DD特征向量.

(4) 輸出信息：由步驟(3)中計算得到的RGB圖像image中每個像素的DD特征向量，再由這些特征向量組成該圖像的DD特征向量.

在提取到HOG特征和DD特征后，就可得到高維的融合特征，并將其作為相關濾波的輸入.

3.2 自適應度更新

跟蹤運動目標時，對同一運動目標的不同視角，其尺度變化很大，KCF不能滿足自適應尺度變化的要求，這將導致較大的目標跟蹤誤差.本文采用基于Shi-Tomasi角點特征檢測的自適應尺度方法.具體步驟如下.

3.3 外觀模型實時更新

在運動過程中，由于姿態或遮擋的變化，目標的外觀往往會發生變化，這對實時更新運動目標的外觀模型是非常必要的，因此需要實時采集運動目標的訓練樣本.然而，當運動目標被嚴重遮擋時，錯誤的目標訓練樣本會導致錯誤的目標分類結果，進而導致目標丟失.現有的經典跟蹤算法大多采用常數學習率，難以應用于物體外觀模型的快速變化，尤其是難以處理嚴重遮擋的情況.為了解決這些問題，本文提出了一種新的外觀模型實時更新方法.具體為：

記fmax(z)為運動目標的最大匹配數，如果fmax(z)超過一定的閾值thr，則認為運動目標不存在嚴重遮擋或姿態變化等情況，更新率不變；如果fmax(z)沒有達到thr，則判斷有無出現遮擋情況，如果無遮擋，則提高更新率，如果有遮擋，則保持原來的外觀模型，并將學習率減小為0.用公式表示即為：

(15)

確定目標遮擋的具體方法是：若目標的最大匹配數fmax(z)超過閾值thr，則認為無遮擋；若fmax(z)沒有達到thr，則懷疑存在遮擋，如果存在遮擋，則可信特征點的數目M會減小，可以用M與上一幀中可靠的角點特征N的比值來判定當前目標是否真的出現遮擋， 具體表示為：

(16)

也就是說，λ=1認為真出現遮擋，λ= 0認為沒有出現遮擋；θ稱為遮擋閾值，通過實驗反復驗證，取θ=0.4時判定遮擋效果較好.

4 實驗測試結果與分析

為了對所提出的運動目標跟蹤算法的有效性進行驗證，在CVPR2013上的Object Tracking Benchmark(OTB)[11]中選取5段復雜環境下的視頻序列，同時選取5段來自某機場場面的視頻段，對這10段視頻序列(見表1)進行測試.由于特定目標跟蹤需要手動指定第一幀中的待跟蹤目標矩形框的位置，對于機場視頻，在第一幀中手動標記出目標初始位置矩形框，對于標準庫采用數據集本身提供的初始目標位置矩形框，在對比實驗中，將本文提出的目標跟蹤算法與經典的目標跟蹤算法CSK、KCF、DSST[12]和sKCF[13]的跟蹤結果作多角度對比，其中CSK是經典的核相關濾波目標跟蹤算法，KCF是融合了多通道HOG特征的CSK，且提高了算法運算速度，DSST是增加了尺度濾波器的KCF，sKCF是增加了自適應高斯窗口函數和尺度估計的KCF，且提高了算法運算速度.

本文將上述各個算法在以上十段視頻序列中進行實驗測試，并進行定量分析.

為了分析各個算法的性能，本文采用中心位置誤差(CLE)、距離精度(DP)和重疊成功率(OS)來定量分析跟蹤的結果.其中：CLE是目標跟蹤中心到目標真實中心的距離，CLE越小，跟蹤精度越高；DP是CLE未達到一定閾值的幀的比例，DP越大，跟蹤效果越好；OS是跟蹤目標和真實目標重疊區域面積與跟蹤目標和真實目標合并區域面積的比值超過一定閾值時的幀的比例，OS越大，跟蹤效果越好.

表1 實驗測試視頻

表2 中心位置誤差(單位：像素)

由表2可知，CSK算法跟蹤的平均中心誤差最大，其誤差為26.99，KCF算法、DSST算法和sKCF算法的誤差分別為16.97、13.32和14.22，本文算法的平均中心誤差為9.42，較KCF算法、DSST算法和sKCF算法分別下降了46.0%、29.3%和33.76%.

表3為中心位置誤差閾值為20時的距離精度，可知CSK算法的距離精度較低，KCF算法、DSST算法和sKCF算法的距離精度要好于CSK算法，本文算法的距離精度要明顯高于其他三種算法.

表3 距離精度

表4 重疊成功率

表4為重疊率閾值為0.5時的重疊成功率.可知，KCF算法的重疊成功率要比CSK算法好，因為CSK算法只采用了灰度特征，KCF算法采用了多通道HOG特征.DSST算法和sKCF算法在KCF算法的基礎上增加了尺度自適應策略，從表中可以看出DSST算法和sKCF算法的重疊成功率要好于KCF算法.本文提出的算法相較DSST算法和sKCF算法分別提高了6.8%和8.4%.

最后，給出各個跟蹤算法在十段測試視頻中的精度曲線圖和成功率曲線圖.其中，精度曲線圖的距離精度閾值范圍為0～50，成功率曲線圖的重疊閾值范圍為0～1.

圖3 精度曲線圖Fig.3 Accuracy curve

圖4 成功率曲線圖Fig.4 Success rate curve

由圖3中的精度曲線圖可知，在不同距離精度閾值下，本文提出的MFSA_KCF算法的精度要高于其它對比算法.由圖4中的成功率曲線圖可也知，在不同重疊閾值下，MFSA_KCF算法的成功率也要高于其它對比算法.

5 結 論

通過對比實驗表明，相較于常見的目標跟蹤算法，本文提出的基于多特征融合、尺度自適應以及在線模型更新因子的核相關濾波目標跟蹤算法，跟蹤精度更高，且對目標尺度發生較大變化和遮擋情況下的跟蹤具有較強的魯棒性.