復雜環境下一種基于改進核相關濾波的視覺魯棒目標跟蹤方法

何 容，賴際舟，呂 品，劉國輝，王 博

(1.南京航空航天大學自動化學院，南京 211106； 2. 江蘇金陵智造研究院有限公司，南京 210001)

0 引言

目標跟蹤是計算機視覺領域中的重要組成部分，其在給定第一幀目標初始位置的情況下，預測連續圖像序列的目標位置。目標跟蹤在自動駕駛、智能監控系統等實時視覺應用中發揮著重要作用。

在軍事領域，目標跟蹤技術能夠實時獲取移動目標的位置，從而完成對目標的精確打擊與追蹤。在自動駕駛領域，無人駕駛車輛通過目標跟蹤技術對行人、車輛等交通參與載體保持密切跟蹤，并借此制定自身的導航與控制策略，提升無人駕駛的安全性。

在計算機視覺中，目標跟蹤算法基于原理可大致被分為生成式目標跟蹤算法與鑒別式目標跟蹤算法。生成式目標跟蹤算法先建立目標模型或提取目標特征，在跟蹤過程中僅使用目標特征進行鄰域的搜索與匹配，不考慮背景信息。然而背景信息同樣影響著跟蹤算法的性能，在不考慮背景信息的情況下，跟蹤器往往難以應對目標遮擋、光照變化以及運動模糊等情況，易造成跟蹤失敗。與之相比，鑒別式目標跟蹤算法將跟蹤問題視為分類問題，在建模及特征提取中考慮背景信息，在復雜運動場景下具有更好的魯棒性。目前，一些先進的鑒別式跟蹤算法已經實現了對目標的高速跟蹤，例如L1T[1]、CT[2]、Struck[3]、TLD[4]等。近年來，基于相關濾波的判別式跟蹤算法取得了顯著的進展[5-7]，使得視覺跟蹤算法能夠在保證實時性的前提下，實現魯棒高效的跟蹤。

然而，視覺跟蹤任務仍存在著一些挑戰以及關鍵性問題。核相關濾波(Kernel Correlation Filter，KCF)視覺跟蹤器一般通過在線學習與更新目標的外觀特征進行目標的跟蹤定位[8]，這類方法易受光照等環境因素與目標姿態變化的影響，且一般不具備處理遮擋與重新初始化的能力。針對上述問題，文獻[9]與文獻[10]提出了分塊跟蹤匹配的方法，但該方法受限于分塊特征以及匹配方法的魯棒性，僅在部分遮擋情況下應用效果較好。文獻[11]與文獻[12]使用RGB-D傳感器，通過分析深度信息以及KCF跟蹤器的響應值進行遮擋的判斷與處理，但該方法的判斷成功率與捕獲深度圖的精度有關。

針對相似干擾與目標形變問題，為了提高跟蹤結果的魯棒性，跟蹤與檢測結合互補的方式被廣泛應用。隨著深度神經網絡的普及，許多基于神經網絡的跟蹤算法應運而生。文獻[13]將相關濾波器作為深層神經網絡中的可微層，能夠學習與相關濾波器緊密耦合的深層特征。文獻[14]利用遞歸神經網絡對目標進行建模，提高了跟蹤器在相似干擾情況下的魯棒性。然而神經網絡往往需要大量的數據進行訓練，在線獲取的目標跟蹤結果作為訓練樣本可能無法滿足對訓練樣本數量的需求。

由此可見，在目標跟蹤領域，遮擋以及相似干擾等具有挑戰性的情況下，跟蹤器的精度與魯棒性仍有待提高。針對該問題，本文提出了一種基于改進KCF的視覺魯棒目標跟蹤方法。創新點主要包括：1)針對遮擋判斷問題，提出了基于檢測輔助的改進KCF目標跟蹤算法，設計了檢測跟蹤結合架構，利用檢測與跟蹤結果的相關性進行遮擋與干擾的判斷；2)針對相似干擾以及遮擋/丟失后的重定位問題，提出了基于拓展特征匹配的抗干擾目標跟蹤方法，設計構建了目標ORB(Oriented FAST and Rotated BRIEF)特征模板，通過在檢測結果范圍內進行特征匹配的方式，實現了目標的重新定位。本文方法將目標檢測器、KCF與ORB特征匹配相結合，有效解決了目標遮擋、相似干擾、形變等問題，實現了對目標快速穩定的跟蹤。

1 改進KCF魯棒目標跟蹤算法架構

為提高傳統KCF跟蹤方法在遮擋以及相似干擾情況下的跟蹤魯棒性，本文對傳統的KCF算法進行了拓展，增添了目標檢測器模塊與目標特征模板的構建模塊，如圖1所示。在獲取到新一幀的圖像后，分別利用跟蹤器的跟蹤結果以及目標檢測器的檢測結果，通過二者的相關性分析進行跟蹤結果的檢測，判斷是否存在遮擋及相似干擾的情況。在無遮擋或干擾的情況下，提取跟蹤結果中的ORB關鍵點進行目標特征模板的構建；在發生遮擋或相似干擾后，根據目標檢測結果以及特征模板匹配，實現對跟蹤目標的重定位。

圖1 改進KCF魯棒目標跟蹤算法框架Fig.1 Improved robust target tracking algorithm framework based on kernel correlation filtering

2 基于檢測輔助的改進KCF目標跟蹤算法

(1)KCF目標跟蹤算法

KCF算法的實質是求解嶺回歸問題。在KCF算法中，以上一幀圖像的跟蹤結果x為基樣本，將x進行循環位移得到m×n個大小一致的樣本xi,i=1,2,…,m×n，利用xi及嶺回歸方法完成分類器的訓練。在嶺回歸中，訓練器的任務是找到一個回歸函數使得損失函數最小，即

(1)

(2)

經過映射函數φ(xi)，樣本在新的映射空間中的線性回歸函數為

f(z)=ωTφ(z)

=αTφ(X)φ(z)

(3)

(4)

KZ=C(kxz)

(5)

其中，x表示訓練基樣本;z表示檢測基樣本;C表示循環位移過程函數。在KCF檢測過程中，計算z的響應度為

(6)

響應最大的區域即為跟蹤目標所在位置。

(2)檢測輔助的KCF目標跟蹤算法

跟蹤器的更新策略影響著其跟蹤定位精度。KCF算法易于實現且具有明顯的速度優勢，但其更新方式使得新引入的訓練樣本快速覆蓋歷史儲存目標的外觀信息，導致KCF只能記錄目標較新的外觀，且只能適應連續的外觀模型。因此，一旦引入錯誤的訓練樣本，所有保留的外觀信息將被污染。KCF本身也不具備對跟蹤結果進行判斷的能力，當目標被遮擋或跟蹤結果已經出現漂移時，跟蹤器只會利用污染的模板進行接下來的匹配，極易導致跟蹤器的漂移以及跟蹤失敗。

針對上述問題，本文通過增添視覺檢測模塊，輔助KCF進行質量判斷與遮擋判別。在跟蹤目標類別確定的情況下，結合檢測器及跟蹤結果進行遮擋與丟失的判斷。這種方法可以避免引入錯誤的訓練樣本，縮小目標檢索過程中的檢測范圍(在短時間遮擋時只需要檢測原始目標候選區域及其周圍區域)，并增加跟蹤器在復雜環境下的魯棒性。

本文利用目標檢測器進行跟蹤結果的輔助判斷，并且輔助進行目標丟失后的重定位，因此需要保證檢測結果的準確性。為了保證目標檢測結果的可靠性，并且考慮到進一步開發的實時性，選用YOLOv3[15]作為目標檢測器。YOLOv3是J.Red-mon等在2017年提出的目標檢測算法，是YOLO算法的第3個版本，其在COCO[16]數據集上實現了在51ms內mAP達到57.9%的效果，能夠同時保證準確率與檢測速率，滿足本文的開發需求。在本文中，選取行人作為固定的跟蹤類目進行算法的闡述與驗證。

(7)

(8)

3 基于拓展特征匹配的抗干擾目標跟蹤方法設計

在實際的跟蹤應用中，常會出現同種類目標的相似干擾情況。經典KCF算法中，采用HOG(Histogram of Oriented Gridients)[17]特征進行跟蹤目標的描述，往往只能學習到目標的邊緣特征，若存在同種類相似目標于跟蹤目標附近時，跟蹤器易出現目標混淆的情況;且存在相似干擾時，與跟蹤結果相關的檢測結果也不止一個，此時遮擋與丟失的判斷也會受到影響。

在運動目標的跟蹤過程中，為解決相似干擾及遮擋后的重定位問題，跟蹤器往往設計使用多種特征對跟蹤目標進行描述。本文使用具有尺度及旋轉不變性的ORB特征作為跟蹤目標的拓展描述，在無遮擋及干擾時，構建目標的自適應特征模板，通過特征匹配在干擾及遮擋后完成跟蹤目標的重定位。

(1)拓展特征模板構建

ORB[18]是Ethan Rublee于2011年提出的一種基于視覺信息檢測與描述特征點的算法，具有尺度及旋轉不變性，并且對尺度、方向、外觀、光照變化以及遮擋均不敏感，使用ORB進行跟蹤目標的拓展特征描述能夠很好地處理相似干擾及遮擋后的重定位問題。

本文使用構建特征模板的方式實現目標的ORB特征描述，其由ORB關鍵點及其特征描述子構成，定義如下

(9)

其中，Vm×n表示構建的目標ORB特征模板，為一m×n維矩陣，其中m表示特征點個數，n表示特征點對應的n維描述子(本文中n=256)；gn(pi,θi) 表示特征點pi的旋轉不變描述子，其相對BRIEF算子fn(pi)進行了特征方向θi的角度校正，利用校正后的測試點對(xij,yij)∈Qθi進行二進制描述子的計算，得到了具有旋轉不變性的關鍵點特征。

(2)自適應特征模板更新

隨著場景、目標形態及外觀的變化，ORB特征模板需要進行自適應更新。為了保證目標特征模板的時效性，本文借鑒文獻[19]中的模板更新策略，為每一特征點設置一保留等級，得到的拓展特征模板為

(10)

其中，Ri表示特征模板中第i個特征點的保留等級，反映了該特征點屬于該跟蹤目標的置信度。將保留等級的最大值設置為Rmax。

特征模板自適應更新過程如圖2所示。利用第t幀目標跟蹤結果進行ORB關鍵點的提取，得到其特征集Vobj，并將其與已經構建的特征模板VRt進行特征匹配。將VRt中匹配成功的特征點更新為Vobj中的對應點，并將其保留等級設置為最大值；將匹配失敗的特征點保留等級減1。若跟蹤結果特征集中存在未匹配成功的特征點，則說明目標由于外觀變化出現了新的特征，將這些特征作為新特征加入特征模板中，并將其保留等級最大化。為了保證特征模板中某一特征點保留等級降為0，說明該特征長期沒有得到匹配，則刪除該特征點的所有信息。

圖2 自適應目標特征模板更新示意圖Fig.2 Adaptive target feature template update diagram

(3)抗干擾相似目標判斷及目標重定位

(11)

4 實驗結果與分析

為對本文算法進行評估并驗證其實際效果，本文在測試集與移動機器人上都進行了充分的實驗驗證。通過測試集驗證試驗，對跟蹤算法的精度及成功率進行了定量的評估；通過移動機器人平臺視覺跟蹤驗證試驗，對算法在實際的移動機器人跟蹤場景中的現實跟蹤效果進行了驗證。

(1)數據集視覺跟蹤驗證試驗

本文選用測試集為公開的跟蹤算法性能評估測試集OTB-2015[20]，該測試集包括100個帶有9種標記屬性的視頻序列，覆蓋了視覺跟蹤的挑戰性問題，如光照變化、尺度變化、遮擋形變、運動模糊等。本文選取OTB-2015中以行人為跟蹤目標的jogging1-2和Girl2等6組視頻序列進行測試驗證，這些視頻涵蓋了尺度變化、目標形變、遮擋、平面內外旋轉等視覺跟蹤挑戰性情況。為更好地說明所提算法的有效性與優越性，本文將其與KCF算法進行對比，并對兩種算法進行了跟蹤結果的定性評估。

圖3所示為本文算法與KCF算法在遮擋及相似干擾情況下的跟蹤結果。圖3(a)為OTB-2015中jogging-2視頻序列KCF算法及本文算法的實驗結果對比圖。在該序列中，41幀時目標行人開始出現障礙物遮擋情況，在51～54幀時被完全遮擋，64幀時再次完全出現。如圖第52幀及63幀結果，本文方法對目標行人的遮擋情況進行了判別，在遮擋時暫停了跟蹤；當目標行人經過遮擋后再次出現時，通過前期構建的目標ORB特征模板成功對目標行人進行了重定位，跟蹤器重新初始化并工作。而KCF跟蹤器在出現遮擋時仍然進行工作，不斷引入錯誤的特征導致其不斷出現漂移，最終造成了跟蹤失敗。

圖3(b)為OTB-2015中Girl2視頻序列KCF算法及本文算法的實驗結果對比圖。該視頻序列在第92幀時出現了相似物遮擋干擾情況。如圖所示，本文算法成功利用檢測結果確定了相似物的遮擋干擾，并利用ORB特征模板繼續跟蹤過程，在遮擋過程中圖像中的所有行人都不滿足式(11)中的重定位條件，因此無跟蹤結果(如115幀所示)；而目標再次出現后，算法成功進行重定位，重新初始化跟蹤器繼續跟蹤過程。KCF算法由于無法判斷遮擋，跟蹤失敗。

(a) Jogging-2處理結果對比

(b) Girl2處理結果對比圖3 OTB-2015視頻序列實驗結果Fig.3 OTB-2015 video sequence experiment results

圖4所示為本文算法及KCF算法跟蹤精確度對比圖[20]，其中包括2個指標：跟蹤精確度及跟蹤成功率。跟蹤精確度反映了跟蹤結果(bbox)與真值的中心位置誤差小于一定閾值的幀數百分比，一般將閾值為20的精確度作為跟蹤算法的精度代表值；跟蹤成功率反映了跟蹤結果(bbox)與真值的重合度大于某個閾值的幀數百分比，一般情況下，重合度大于50%即視為跟蹤成功。

(a)跟蹤精確度

(b)跟蹤成功率圖4 所提方法與KCF算法性能曲線Fig.4 The proposed method and KCF algorithm performance curve

由實驗結果可知，本文算法與KCF算法相比，能有效地改善目標跟蹤的精度，對干擾及遮擋等情況進行判別，并根據檢測結果實現目標的重定位。

(2)移動機器人平臺視覺跟蹤驗證試驗

在實際的應用場景中，目標跟蹤算法經常被搭載在智能移動平臺中，在該使用場景下，跟蹤目標以及進行視覺感知的攝像頭在場景中均為移動體。為驗證所提算法在移動平臺下(實際動背景下)的實地使用效果，本文進行了移動機器人平臺驗證試驗。實驗使用移動機器人平臺為百度自動駕駛開發套件Apollo D-Kit，使用視覺傳感器為Kinect v2型RGB-D攝像頭(圖5)。實驗中采集1734幀圖像，像素為640×480。

圖5 移動機器人視覺跟蹤驗證平臺Fig.5 Visual tracking and verification platform for mobile robot

在整個測試序列中，跟蹤目標全程處于附近有其他目標類別的情況。在視頻開始時，目標行人與干擾行人并排貼近行走，在視頻中段分別出現了一次相似類別遮擋情況以及一次相似干擾情況。實驗結果表明，當目標經過遮擋后再次出現時，本文跟蹤算法能夠準確地判斷遮擋并重新鎖定目標，不會與其他行人混淆;當存在相似干擾時，跟蹤器也能準確地判別出目標行人。圖6所示為目標在相似遮擋以及相似干擾情況下的跟蹤結果。圖7所示為移動機器人視覺跟蹤驗證試驗算法性能曲線。

圖6 移動機器人平臺視覺跟蹤驗證結果Fig.6 Verification results of vision tracking for mobile robot platform

(a)跟蹤精確度

(b)跟蹤成功率

5 結論

針對遮擋及相似干擾問題，本文提出了一種結合基于神經網絡的目標檢測、KCF及ORB特征的視覺魯棒目標跟蹤算法。算法分析與試驗結果表明：

1)跟蹤器的更新策略影響著其跟蹤定位精度。本文算法利用檢測器與相關性分析對跟蹤結果進行質量判斷，實現了跟蹤過程中對遮擋及目標丟失的判別，使跟蹤器在遮擋/丟失等情況下停止更新。

2)本文算法通過拓展特征模板的構建與匹配，對目標的視覺特征進行了補充描述，實現了跟蹤器的抗干擾相似目標判斷及丟失后的目標重定位。

3)本文所提方法提高了KCF方法在遮擋及相似干擾情況下的魯棒性，在保障實時性的前提下，有效地提高了跟蹤精度。算法在遮擋、相似性干擾比較強的環境下表現良好，驗證了本文算法的可信性和可靠性。

4)移動機器人平臺驗證試驗證明了本文算法在移動平臺的可行性。在集成了960M GPU的工控機移動平臺中，本文算法可滿足實時運行需求。