移動攝像下的目標跟蹤算法*

王戰，楊紹清，劉松濤，宋元

(海軍大連艦艇學院，a.信息系統系；b.導彈與艦炮系；c.教保處，遼寧 大連 116018)

0 引言

運動目標跟蹤是圖像處理的重點和難點，在軍事檢測、醫學研究、商業防盜等領域均有廣泛應用。所謂運動目標跟蹤就是在每一幀圖像中找到跟蹤目標的具體位置，一般可以從魯棒性和實時性上判斷跟蹤算法的優劣。在跟蹤目標時，不僅要考慮目標自身的復雜運動，還要考慮成像傳感器在移動過程中受到外界干擾對跟蹤產生的負面影響。為了保證跟蹤的魯棒性，一般在跟蹤過程中加入特征匹配模塊，Lowe等[1]在2000年開創性地提出了SIFT(scale invariant feature transform)局部特征匹配算法，在目標發生尺度變換和旋轉縮放時還能保證良好的匹配能力，但計算量大，實時性差。2006年，Herbert Bay等[2]在SIFT算法的啟發下，提出了改進算法SURF(speeded up robust features)，該算法極大地提升了SIFT算法的實時性[3]。Mean Shift算法最早由Fukunaga等[4]提出，后由Comaniciu和Meer等[5]將其用于目標跟蹤，卡爾曼濾波是一種根據系統狀態進行最優估計的算法。文獻[6]將卡爾曼濾波和Mean Shift算法結合，保證了對快速移動目標和受到遮擋目標的跟蹤魯棒性，但在目標出現尺度變化或旋轉縮放時，跟蹤效果很差；文獻[7]利用SURF算法與Mean Shift算法綜合得到跟蹤結果，該算法雖具有廣泛適用性，但由于缺少預測功能，計算量大，時效性較差。文獻[8]綜合了卡爾曼濾波預測算法的實時性和SURF匹配算法的魯棒性，但由于缺少迭代過程，算法的跟蹤連續性較差。文獻[9]將SIFT算法、卡爾曼濾波和Mean Shift組合用于跟蹤，雖然在多數情況下都具有良好的跟蹤性能，但無法跟蹤移動攝像下的運動目標，而且SIFT算法的實時性也需要進一步加強。

深入研究文獻[5-8]后，本文提出一種組合二幀差分法、Mean Shift和卡爾曼濾波的跟蹤算法。該算法將二幀差分作為跟蹤的第一步，消除由于成像傳感器移動產生的負面影響，然后利用卡爾曼濾波預測Mean Shift算法的中心，迭代后，反饋回濾波器進行誤差糾正。

1 基于SURF特征點匹配的二幀差分法

1.1 SURF算法原理簡介

SURF算法與SIFT算法相同，是一種局部特征點匹配方法，與其他的特征點匹配方法相比，有更好的匹配魯棒性。文獻[10]將其與Mean Shift算法組合用于車輛檢測；文獻[11]提出一種組合SURF,k-means和Mean Shift目標描述方法；文獻[12]利用SURF算法實現了視頻補償，提升了視頻的穩定性。本文將SURF算法引入到目標跟蹤中，進而改善跟蹤精度。

1.1.1 建立尺度空間以及特征點檢測

SURF算法為了保證尺度不變性和提升運算速度，采用Hessian矩陣行列式和盒裝濾波器結合的方法檢測特征點。圖像中某個像素點的Hessian矩陣為

(1)

則Hessian矩陣的判別式可表示為

det(H)=DxxDyy-(0.9Dxy)2，

(2)

式中：Dxy為經過Simard等[13]提出的盒裝濾波器后圖像在x,y方向上的二階微分；Dxx與Dyy同理；0.9為權值，用來平衡濾波器替換所帶來的誤差。當det(H)>0時，該點為局部極值點。

1.1.2 生成特征描述子

首先初步定位特征點，將經過矩陣處理后的點與三維臨域內的26個點的灰度值進行比較，尋找最值點作為關鍵點。然后用適當的閾值，從關鍵點中篩選出精確的特征點,如圖1a)所示。

初步定位特征點后，將Haar小波響應值根據距離中心點遠近加權，然后將在角度60°、半徑6δ(特征點尺度值)的扇形范圍內的x,y方向的Haar小波響應求和并形成矢量，其中Haar小波邊長為4δ。旋轉36°，重復上述步驟直至遍歷整個圓形區域，即可得到特征點的主方向，如圖1b)所示。

如圖2所示，以特征點為中心，特征點的主方向為方向，邊長為20δ，構成正方形框。然后分為16個子區域，每個子區域中又有25個像素點，統計就主方向而言的x,y方向的Haar小波響應值。那么，每個子區域就有4個值，分別為25個像素點的水平方向總和，水平方向絕對值總和，垂直方向總和，垂直方向絕對值總和，因此SURF的特征描述子具有16×4=64維向量。

1.2 基于SURF算法的二幀差分法

本文設計基于SURF特征匹配的方法，進行二幀差分。首先提取SURF特征點，然后利用FLANN(fast library for approximate nearest neighbors)算法進行初步匹配，之后利用RANSAC(random sample consensus)[14]算法得到投影映射矩陣。根據得到的矩陣進行背景運動補償并進行差分，最后得到在移動攝像下物體的真實運動，具體流程如圖3所示。

2 移動攝像下的目標跟蹤算法

由于卡爾曼濾波和Mean Shift算法比較經典，讀者可自行查閱相關文獻，本文主要介紹移動攝像下的目標跟蹤算法設計。

傳統的Mean Shift算法在目標出現機動過快、受到遮擋、旋轉縮放時，很難精準跟蹤目標。本文首先整合了基于SURF特征點匹配算法的二幀差分法以解決移動攝像下的相對運動和旋轉縮放等問題，然后引入卡爾曼濾波，借助濾波器的預測能力，解決目標機動過快的問題，最后利用Bhattacharyya相似性系數更新卡爾曼濾波的誤差協方差矩陣有效地解決目標遮擋問題。算法流程圖見圖4，具體步驟如下：

(1) 讀取視頻，提取相鄰幀的SURF匹配特征點，并利用第2節的方法進行二幀差分，得到前景運動目標。

(3) 利用Bhattacharyya相似性系數進行相似性度量，并利用偏移向量不斷迭代最終得到目標準確位置。

(4) 利用Bhattacharyya相似性系數更新卡爾曼濾波的誤差協方差Pt。

(5) 重復以上步驟，直到視頻結束。

3 實驗結果分析

本文算法可實現手動框選目標的交互跟蹤和預先輸入目標面積的自動跟蹤，實驗平臺為2.8 GHz Intel Core i7-770HQ處理器、16 GB內存、64位操作系統計算機，仿真環境為Python語言，在VIVID視頻集[15]中的4個視頻序列進行性能測試，算法每幀的處理速度在100 ms左右，基本達到實時性要求，下面列出了本文算法、組合卡爾曼濾波和Mean Shift算法、Mean Shift算法、高斯濾波跟蹤算法的跟蹤結果。

3.1 算法定性分析

圖5 EgTest01序列中，由于成像傳感器的快速移動，目標在13幀(圖5第1行圖像)左右產生運動模糊，導致其余3種跟蹤算法均有一定程度誤差偏移；當傳感器出現抖動時(第34幀，圖5第2行圖像)，由于采用本文設計的二幀差分法，可以繼續跟蹤目標，其他算法均跟蹤失敗。

圖6 EgTest04序列中，成像傳感器掉幀，時而無運動，時而跳躍向前。跟蹤開始后(第3幀，圖6第1行圖像)，由于掉幀，目標無運動。由于采用本文設計的特征匹配，依然可以很好地跟蹤目標，其他算法均不同程度向前偏移。在第22幀(圖6第2行圖像)時，目標掉幀，跳躍向前，只有本文算法未受干擾繼續跟蹤。

圖7 EgTest05序列中，當跟蹤目標被樹木遮擋時(第244幀，圖7第1行圖像)，Mean Shift算法由于遮擋干擾，偏離目標嚴重；組合了卡爾曼濾波的Mean Shift算法由于具備了預測功能，遮擋時依然能夠跟蹤目標，但只能跟蹤單個目標；本文算法未受干擾。后續跟蹤中，目標受到完全遮擋后再次出現(第264幀，圖7第2行圖像)，這種跟蹤目標的突然消失導致了其他3種算法的失敗，本文算法由于采用SURF算法的特征匹配，依然具有良好的跟蹤效果。

圖8 RedTeam序列中，由于攝像機縮放，目標由小變大，再變小，出現了較大的尺度變換，由于高斯濾波在此例中效果無法跟蹤目標，不予列出；Mean Shift和卡爾曼濾波、Mean Shift沒有自適應能力，雖然可以進行跟蹤，但在目標發生尺度變換時跟蹤窗口保持不變，性能較差，本文算法保持了良好的自適應能力。

綜上所述，本文算法組合了基于SURF的二幀差分法、卡爾曼濾波和Mean Shift算法，各部分優勢互補，充分解決了移動視頻下跟蹤過程中目標的大尺度變化、遮擋和快速移動等問題，極大提升了跟蹤性能。

3.2 算法定量評價

圖9給出了本文算法和其他3種比較算法在VIVID視頻集中的像素誤差曲線。像素誤差是物體真實位置中心與跟蹤算法預測中心的歐氏距離，像素誤差的數值可以直接表現出算法對跟蹤目標的魯棒性。本文通過逐幀計算目標像素誤差的方式評估算法的跟蹤性能。

很明顯，在對移動視頻序列目標的跟蹤中，傳統的高斯濾波跟蹤無效；Mean Shift跟蹤算法在一般情況下跟蹤效果較差，尤其在目標出現遮擋、尺度變化等情況時，跟蹤性能急劇下降，很難保證跟蹤的魯棒性和穩定性；組合卡爾曼濾波后，組合算法在遇到上述特殊情況時跟蹤效果有了一定改善，但跟蹤性能依舊無法實現大幅度提升；本文算法在組合算法的基礎上，融合了基于SURF的二幀差分法后，保證了整體視頻序列的跟蹤效果。

綜上所述，本文設計的二幀差分法可以有效解決成像傳感器大尺度縮放、高速相對移動等負面影響。同時，差分過程中的特征提取也很好地解決了目標突然運動、受部分或全部遮擋等跟蹤問題，相較于其他3種算法，具有更好的跟蹤性能。

4 結束語

針對移動攝像下的目標跟蹤問題，本文提出了一種新的跟蹤算法。首先利用基于SURF算法的二幀差分法提取前景運動目標，然后利用卡爾曼濾波和Mean Shift算法進行后續目標跟蹤。本文算法充分利用了二幀差分法對移動攝像的適用性，SURF算法的尺度和旋轉不變性，卡爾曼濾波的估計最優性以及Mean Shift跟蹤算法的迭代穩定性。本文的實驗完全模擬了空中武器設備跟蹤地面運動目標時可能出現的問題。實驗結果及分析表明，在反坦克等軍事領域中，本文算法可以很好地解決成像傳感器的掉幀、突然抖動和高速移動問題，也可以極大提高對受遮擋或大尺度變化目標的跟蹤能力。