基于ORB特征點匹配的相關濾波器車輛跟蹤算法

嚴曉波 王林 楊盛毅 張乾

摘要 為了解決KCF核相關濾波器跟蹤算法在無人機航拍視頻中車輛漂移、遮擋及尺度變化不能繼續跟蹤的問題，本文提出跟蹤過程中將預測位置、檢測位置分別與學習模型計算相似度和重疊率，與兩者組成權重來更新學習模型以解決形變問題;二是使用檢測器對車輛圖像與學習模型進行ORB特征點匹配，當車輛被遮擋后重新出現時能繼續跟蹤。實驗結果表明，本文提出跟蹤算法在車輛遮擋、姿態變化和位移過大時，均能有效跟蹤目標車輛，且具有良好的魯棒性。

【關鍵詞】KCF算法 相關濾波 車輛跟蹤 車輛檢測 特征匹配 模式識別

科技進步推動了交通運輸行業的變革，隨著國內汽車數量逐年上升，交通擁堵、交通事故以及非法車輛逃逸等問題給交通管理部門帶來巨大的壓力。無人機技術的出現及廣泛應用，為交通管理部門提供了一種靈活機動且實時性高的執法工具，為解決監控攝像機未能覆蓋的道路死角、長時間跟蹤指定車輛等問題提供了一種新的解決途徑。因此，本文主要研究無人機對運動車輛的視覺檢測與跟蹤問題。

檢測與跟蹤方法由于外在環境的影響（如光照變化、陰雨天氣、外物遮擋等因素）使得一種算法難以適用于所有場景。近年來，出現了許多新穎的目標跟蹤算法，主要分為四類：基于點的跟蹤、基于核的跟蹤、基于輪廓的跟蹤以及深度學習跟蹤算法。其中，基于點的跟蹤方面，2010年Zdenek Kalal等[2]人提出了較有影響力的TLD算法，該算法由跟蹤、學習、檢測及綜合4個模塊構成。而相關濾波器是跟蹤算法中最為基礎的部分，最早將相關濾波用于目標跟蹤的MOSSE算法，通過圖像的灰度特征進行卷積濾波，提出峰值旁瓣比（PSR），用來判斷目標是否被遮擋或者跟蹤失敗。2012年Henriques提出CSK跟蹤算法，在MOSSE的基礎上引入循環矩陣和核的概念，針對傳統算法中稀疏采樣造成樣本冗余問題提出了解決方案。2014年又提出KCF跟蹤算法，將圖像多通道的HOG特征與嶺回歸、傅里葉變換、循環矩陣以及多種高斯核函數等技術融合。Martin Danelljan等[6]提出CN算法，先將RGB色彩控制轉化到CN空間（11通道），分別對每個通道進行傅里葉變換，再通過PCA將11維降到2維。DSST算法[7]提出使用33種不同尺度相關濾波器，通過相關濾波器找到相關值最大的點對應的圖像作為目標，跟蹤效果精度較高，但計算時間相對較長。Yang Li和Jianke Zhu [8]提出SAMF算法CN特征和HOG特征串聯，加入7種尺度估計，取最大值的點對應的圖像即是位置最佳目標位置。從VOT2016標準數據庫競賽中可以看出排名靠前的基本是深度學習跟蹤算法，雖然解決了相關濾波算法存在的問題，提高了精度，但卻是以損失速度為代價的，尚不能在實際嵌入式場景中應用。

綜上所述，本文在KCF跟蹤算法的基礎上，使用檢測、預測與模型的相似度和重疊率，修正當前幀的位置框，實現對移動車輛的有效檢測與跟蹤。最后，使用實際無人機拍攝視頻，將改進算法與KCF算法進行對比，驗證所提出算法的有效性。

1 傳統KCF跟蹤方法分析

KCF跟蹤器是將真實目標區域通過傅里葉變化進行循環移位操作，在目標周圍構造不同的分類器訓練樣本，通過核函數來計算候選區域與目標的相似程度，選取相似度最高的區域作為預測下一幀的目標位置。同時，循環矩陣在傅里葉空間可對角化的性質將矩陣的運算轉化為向量的點乘，降低運算量提高運算速度，使算法滿足實時性要求。

1.1 訓練樣本的產生

2 改進的跟蹤算法

KCF算法理論上屬于一種密度集抽樣檢測，利用循環位移產生大量訓練樣本，同時利用離散傅里葉變換將復雜的卷積計算轉化為簡單的頻域相乘，提升了算法整個跟蹤過程的性能。但是KCF算法依賴循環矩陣，對于尺度變換的車輛跟蹤效果并不理想，初始化的矩陣不能夠根據實際車輛位置自適應改變大小，難以處理相鄰兩幀車輛位移過大的問題。這些問題都會產生分類器模型的誤差累計，最終導致跟蹤車輛漂移。為此，本文引入車輛檢測器方法，將檢測到的車輛位置和KCF預測的車輛位置分別與學習模型作ORB特征[9]匹配，以及計算位置框的重疊率來修正當前車輛位置框，如圖l所示。

2.1 特征點匹配

為滿足車輛跟蹤實時性的要求，本文采用ORB特征點作為匹配對象，因為ORB特征結合了FAST[10]和BRIEF[11]的速度優點且作了相應改進，采用二進制對256bit描述子τ（P;x，y）進行存儲且用漢明距離完成特征匹配，所以本文采用ORB算法對學習模型、預測位置以及檢測位置的圖片塊進行特征提取。

2.2 學習模型更新算法

其中T為特征匹配的數量閾值，經驗值為50，n為跟蹤漂移后檢測到的車輛數量。當B=O時停止更新學習模型，其中第一種情形是檢測位置具有高可信度則更新模型，如果不滿足第一種情形進入第二種情形，跟蹤器的具有良好的跟蹤效果更新模型，第三種情形是在跟蹤器發生漂移后，當檢測器檢測到與學習模型具有匹配關系，且具有高可信度時繼續跟蹤，否則停止更新學習模型。

3 實驗與分析

本實驗硬件環境：CPU Intel Core i7-7700HQ，主頻2.8GHz， 內存16GB，VisualStudio作為程序開發平臺，實驗數據為駕校科目二練車的兩段航拍視頻（Driving Schooll.avi和Driving Scho012.avi）以及VOT2016數據庫中無人機航拍車輛跟蹤遮擋的視頻（tcCarchasing_cel.avi）。

3.1 系統界面

為了增強程序的人機交互體驗，采用MFC編寫窗口界面。系統將視頻第一幀檢測的車輛位置直接初始化跟蹤器，根據選擇的車輛跟蹤模式進行單輛車跟蹤或多輛車同時跟蹤。

3.2 改進算法實驗

從圖2可以看出，在視頻2第125幀時，車輛為發生較大的尺度變化，兩個跟蹤框沒有太大區別;視頻2第1330幀時，因拍攝距離和角度變化，傳統KCF算法跟蹤框不能隨著目標車輛發生改變，改進的跟蹤方法正常框住目標車輛;在視頻2第2161幀時，傳統KCF跟蹤算法發生漂移，而改進的跟蹤算法依舊能較好的對車輛進行跟蹤。

如圖3所示，現在VOT2016數據庫視頻中遮擋情形的跟蹤對比，在140幀數時車輛被橋梁遮擋，而改進的方法在173幀時正確跟蹤到目標車輛，傳統KCF未能跟蹤正確，通過對比可以看出我們提出的改進方法在處理車輛發生遮擋情況下取得了良好的跟蹤效果。

4 結論

本文在處理航拍視頻中車輛發生的姿態變化時，針對傳統KCF跟蹤算法進行了相應地改進。首先將檢測位置和預測位置分別與學習模型進行ORB特征點匹配，計算相應位置的重疊率，給出學習模型的更新機制并修正跟蹤位置。最后，實驗結果表明，所提出的算法在車輛姿態發生各類變化時具有較好的跟蹤效果。

參考文獻

[1]胡見蓮，無人機技術應用新方向及向往[J].中國設備工程，2017 （02）：139-140.

[2] Kalal Z，Mikolajczyk K，Matas J.Tracking-Learning-Detection.[J]. IEEE Transactions onPattern Analysis & MachineIntelligence， 2012， 34 （07）： 1409.

[3] Bolme D S，Beveridge J R，Draper BA， et al. Visual object trackingusing adaptive correlation filters[J].2010，119 （05）： 2544-2550.

[4]Rui C，Martins P，Batista J.Exploitingthe circulant structure of tracking-by-detection with kernels [C].European Conference on ComputerVision. Springer， Berlin， Heidelberg，2012： 702-715.

[5] Henriques J F， Rui C， Martins P， etal. High-Speed Tracking withKernelized Correlation Filters [J].IEEE Transactions on PatternAnalysis & Machine Intelligence，2015，37（03）：583-596.

[6]Danelljan M，Khan F S，Felsberg M，etal. Adaptive Color Attributes forReal-Time Visual Tracking [C]. IEEEConference on Computer Vision andPattern Recognition. IEEE ComputerSociety，2014：1090-1097.

[7]Danelljan M，Khan F S，Felsberg M，etal. Adaptive Color Attributes forReal-Time Visual Tracking [C]. IEEEConference on Computer Vision andPat tern Recognition. IEEE ComputerSociety， 2014：1090-1097.

[8]Danelljan M，Hager G，Khan F S，et al.Accurate Scale Estimation for RobustVisual Tracking [C]. British MachineVision Conference. 2014： 65. 1-65. 11.

[9] Rublee E， Rabaud V， Konolige K， etal. ORB： An efficient alternative toSIFT or SURF [C]. IEEE InternationalConference on Computer Vision.IEEE， 2012： 2564-2571.

[lO]Li H，Manjunath B S，Mitra SK. A contour-based approach tomultisensor image registration[J].IEEE Transactions on ImageProcessing A Publication ofthe IEEE Signal ProcessingSociety，1995，4 （03）： 320-34.

[11] Calonder M， Lepetit V， Strecha C， etal. BRIEF： binary robust independentelementary features [C] . EuropeanConference on Computer Vision.Springer-Verlag， 2010： 778-792.

[12] Lowe D G. Object Recognition fromLocal Scale-Invariant Features [M].Object recognition from local scale-invariant features. IEEE， 1999： 115 0-1157 vol. 2.

[13]Tuytelaars T.SURF：Speeded Up RobustFeatures. [J].Computer Vision & Image Unders tanding， 2006， 110 （03） ： 404-417.