基于KCF的多個同構無人機目標跟蹤算法?

任帥軍 韓裕生

（1.陸軍炮兵防空兵學院 合肥 230031）（2.安徽省偏振成像與探測重點實驗室 合肥 230031）

1 引言

隨著人工智能技術的發展，旋翼無人機逐步被用在多種場合下進行飛行表演。這給人們帶來視覺盛宴的同時，也給人們帶來了安全問題［1］。我們經常聽到有無人機在飛行表演時撞向了大樓，也有違規放飛的無人機將列車逼停。為能夠及早應對放飛無人機帶來的安全問題，需建立對此類目標的檢測跟蹤系統。作為其中關鍵技術的組成部分，多目標跟蹤是人們研究的重點內容。

目前，多目標跟蹤方法可分為兩種模式：一種是依托每一幀檢測結果的，另一種是不依托檢測結果的［2］。前者的基本過程是：首先利用目標檢測器得到目標在每一幀圖像中的位置，再通過數據關聯技術將檢測結果分配給已存在的軌跡，從而產生連續的軌跡。根據此跟蹤架構的多目標跟蹤算法，按照數據關聯方式的不同，主要有MOT［3］，Sort（Sim?ple online and realtime tracking）［4］，DeepSort［5］，POI［6］等。MOT是對目標軌跡與當前幀的檢測進行IOU計算實現數據關聯；Sort是先對目標軌跡狀態進行預測，然后用匈牙利指派算法對預測的軌跡狀態和當前幀的目標檢測進行數據關聯，關聯中應用到了目標的位置信息和大小特征，但沒有使用到目標的表觀信息特征；DeepSort是在Sort的基礎上，在數據關聯中增加了目標的表觀信息特征；POI又在Dee?pSort的基礎上，在數據關聯時增加目標的形狀相似度信息特征。以上算法，都是在每一幀進行檢測的基礎上通過數據關聯實現多目標跟蹤，對于表觀特征高度相似且相互遮擋的目標進行跟蹤時易發生軌跡關聯錯誤，并且整個算法對檢測器性能要求較高，實時性不高，算法實現比較復雜。不依托檢測結果的目標跟蹤過程是：首先在初始幀中標出目標候選框，然后對目標候選框進行目標特征提取，最后根據所提取的特征利用Kalman濾波［7］、粒子濾波［8］方法在下一幀中找出目標的位置。這類目標跟蹤算法無法對新出現的目標進行跟蹤，并且對表觀信息特征高度相似的目標進行跟蹤時也會發生軌跡關聯錯誤，優點是算法易于實現。

基于所有被跟蹤的多個目標的表觀信息特征相似，本文借鑒以上第二種多目標跟蹤的思路，以多個并行的 KCF（Kernelized Correlation Filters）［9］跟蹤算法為基本的跟蹤框架，通過計算兩兩目標之間的歐氏距離對目標的相互遮擋情況做出判斷，利用Kalman濾波對發生遮擋時目標位置進行預測，最終實現對多個同構無人機目標的穩定跟蹤。

2 KCF跟蹤算法在多目標跟蹤中的應用

KCF跟蹤算法實現目標跟蹤的基本過程如下圖1所示。

圖1 相鄰兩幀目標區域檢測跟蹤示意圖

t?1幀中目標位置坐標為(x0,y0)，用循環矩陣對獲得的t?1幀中向目標周圍外擴后的區域（圖中所示正方形區域）進行稠密采樣生成大量樣本，對濾波模板進行訓練，用新獲得的模板對原有的模板進行更新。t幀圖像中，以坐標(x0,y0)為中心生成t幀目標搜索區（圖中所示上一幀進行濾波模板訓練的正方形區域），用t?1幀訓練得到的濾波模板進行相關濾波，計算出響應最大值得到目標在t幀的位置坐標(x1,y1)。重復上述步驟，進行濾波模板的訓練與更新，實現對后續圖像序列中目標的跟蹤。

基于KCF跟蹤算法實現多個無人機目標的跟蹤，主要是通過對多個目標中的每個目標單獨的使用KCF跟蹤算法，從而達到多個目標被同時跟蹤的效果。但是，在使用KCF跟蹤算法進行目標跟蹤時，當目標相互遮擋時，兩個跟蹤器會同時跟蹤到一個目標，對于被遮擋的目標，則會跟蹤丟失。如下圖2所示，使用KCF跟蹤算法實現跟蹤過程中，計算濾波響應最大值所得目標位置為遮擋在前方的目標位置。

圖2 最大濾波響應指向前方遮擋目標位置示意圖

在t?1幀中，跟蹤到了兩個目標，獲得的目標跟蹤框分別為箭頭所指虛線框Tracker 1和實線框Tracker 2，實線框Tracker 2所含目標對虛線框Tracker 1所含目標造成遮擋，此時，分別生成了t幀中各自目標的搜索區（圖中所示的大的虛線框和實線框）。盡管兩個目標搜索區域中都包含個兩個目標，但是，遮擋在前方的目標表觀信息特征更加接近濾波模板，所以，計算濾波響應最大值得到的目標位置都指向了遮擋在前方的黃色框目標，t幀所示兩個目標跟蹤框重合了。這樣，在后續跟蹤序列中，兩個框都一直跟蹤在遮擋在前方的目標了，被遮擋的目標發生了跟蹤丟失。

通過使用KCF跟蹤算法單獨對被遮擋目標進行跟蹤的過程分析，可以看出，在對多目標進行跟蹤時，由于目標的外觀信息特征相似，在目標被遮擋的一瞬間，遮擋在目標前方的目標出現在了對被遮擋目標使用KCF跟蹤算法跟蹤過程中生成的目標搜索區域中，從而造成計算濾波響應最大值獲得的目標位置為遮擋在前方的目標位置。在算法實現中，共有兩個方面因素決定了遮擋目標出現在被遮擋目標的目標搜索區域中，一是目標發生遮擋；二是生成的目標搜索區域的能夠將遮擋目標包含進去。

3 加入遮擋判斷和Kalman濾波位置預測的多目標跟蹤

針對使用KCF跟蹤算法進行多目標跟蹤中目標相互遮擋造成的目標跟蹤丟失問題，本文設計了一種加入遮擋判斷和Kalman濾波位置預測的多目標跟蹤方法。基本過程如下圖3所示。

圖3 本文設計多目標跟蹤流程圖

在圖像序列的第一幀，獲取被跟蹤的多個目標，計算出目標的中心位置坐標，并提取每個目標的表觀信息特征，完成所要使用的KCF跟蹤算法的初始化。計算經KCF跟蹤算法獲得的下一幀中各個目標位置之間的歐氏距離，利用設定的閾值判定目標是否發生遮擋。對于被遮擋的目標，停止使用KCF跟蹤算法進行下一幀目標位置的預測更新，啟用Kalman濾波進行下一幀目標位置的預測更新。對于獲得的新的目標位置，再次計算各個目標之間的歐氏距離，進行遮擋情況判斷。重復遮擋判斷和對被遮擋目標

位置的預測更新，直到相互遮擋結束，重新啟用KCF跟蹤算法對曾經被遮擋目標的位置的預測更新。最終，完成對所有幀中各個目標的持續跟蹤。

3.1 遮擋判斷閾值設定

對遮擋判斷閾值的設定，需要達到的臨界狀態是要保證即使使用KCF跟蹤算法對被輕微遮擋目標進行跟蹤時也不發生錯誤跟蹤到遮擋在前方的目標的現象，也就是最大限度的使用KCF跟蹤算法進行各個目標的跟蹤。

這是因為在使用KCF跟蹤算法進行目標跟蹤時，計算濾波響應的最大值得到下一幀中目標位置，精度高，而使用Kalman濾波進行目標跟蹤時，只能進行目標位置的預測，精度低。所以，在算法設計時，要最大限度的使用KCF跟蹤算法進行目標跟蹤，所設定的遮擋判斷閾值要比兩個目標在圖像中相接時求得的中心距離要小。

同時，通過對被輕微遮擋目標使用KCF跟蹤算法進行跟蹤的過程分析，可以看出，目標搜索區域的大小不同，對被遮擋目標的跟蹤效果是不同的。目標搜索區域的大小的計算公式為

其中，target_sz為目標跟蹤框的大小，padding為在目標跟蹤框的基礎上進行外擴獲得目標搜索區域時的擴充系數。目標搜索區域大小由初始參數 padding值確定。 padding值取得太大，目標可能在沒有發生遮擋時就相互包含在其他目標的搜索區域，相互產生干擾；padding值取得太小，各自的濾波模板訓練的不好，對目標跟蹤時效果不好。本文經過反復驗證，最終設定padding=1。

對于被跟蹤的無人機目標，由于成像距離遠，特征分布近似高斯分布，在圖像序列中近似成圓形，獲得的跟蹤框一般近似為矩形［10］。所以，在目標即將發生遮擋的臨界狀態下，可將目標之間的距離近似為目標的寬與高的乘積取平方根的值。圖4所示為目標即將發生相互遮擋的臨界情況。此時，目標m1的中心位置像素坐標為（i1，j1），目標m2的中心位置像素坐標為（i2，j2）。

圖4 目標即將發生相互遮擋的臨界情況

在二維平面中，點a(x1,x2)與點b(y1,y2)之間的歐式距離為

計算可得，目標在圖像中的歐氏距離［11］為

結合實際情況，對參數進行調節，可得遮擋判斷的閾值

所以，當 DT?時，目標沒有發生遮擋，可以使用KCF跟蹤算法進行預測。

3.2 基于Kalman濾波位置預測

結合本文實際，須對目標前三幀的位置信息進行保存，用于Kalman濾波模型的建立，當目標被遮擋時，對目標在下一幀的位置做出預測。其相關的狀態轉移方程和觀測方程分別為

其中，xt表示t時刻的目標狀態向量，zt+1為觀測向量，A，H分別為狀態轉移矩陣和觀測矩陣，ω，σ為系統噪聲和測量噪聲，其協方差矩陣分別為Q和R。目標的狀態可描述為

其中，cx、cy表示目標中心點坐標，vx、vy對應水平和垂直方向的運動速度。定義觀測向量z=[cx,cy]T，則濾波過程描述如下：

其中，xt+1|t和Pt+1|t分別表示t時刻對目標狀態和誤差協方差的預測值，xt|t和Pt|t是t時刻目標狀態和目標狀態誤差協方差的估計值，Kt+1是t+1時刻濾波器增益。

規定Δt為單位時間，根據物理運動學基本原理，結合式（5）～（7），可用矩陣的形式對目標狀態過程進行描述，轉移矩陣可以表示如下：

如果將狀態向量中的位置和速度分量當作觀測向量中的值，觀測矩陣可表示為如下：

系統噪聲協方差矩陣Q和觀測噪聲協方差矩陣R對應的值如下所示：

將以上數據帶入濾波模型中，經過迭代更新，可對發生遮擋時，目標在下一幀的位置進行預測。

4 實驗結果與分析

本文方法基于Windows10系統使用Matlab2019R實現，實驗全部是在Intel Core i5-4210U CPU進行。所用的實驗數據為用紅外成像設備采集的8個旋翼無人機目標在天空背景下飛行的圖像序列。每一幀圖像序列的大小為640×512，幀與幀間隔Δt=40ms。按照飛行的姿態不同，共分成7組實驗數據，并對每幀中各個目標坐標位置進行了手工標注。

4.1 相互遮擋時Kalman濾波目標位置預測結果

圖5所示為圖像序列1中的17幀和18幀跟蹤效果圖，在未進行遮擋判斷和Kalman濾波位置預測的情況下，直接并行的使用多個KCF進行目標跟蹤的效果圖。可以看出，兩個目標（圖中橘色跟蹤框和灰色跟蹤框所跟目標）同向飛行，一個目標對另一個目標有一定的遮擋時對被遮擋目標的跟蹤框錯誤的跟蹤到了遮擋在前方的目標。圖6所示為采用本文算法進行跟蹤時對同向飛行目標發生相互遮擋時的跟蹤效果。由于使用了遮擋判斷，啟用Kalman濾波進行目標位置的預測，確保對被遮擋目標進行跟蹤時能夠按照其原來的軌跡生成目標跟蹤框，沒有錯誤的跟蹤到遮擋在前方的目標。

圖5 同向飛行時未進行遮擋預測的跟蹤效果

圖6 同向飛行時進行遮擋預測的跟蹤效果

圖7所示為對圖像序列3中第392幀到411幀中兩個相向飛行的目標進行KCF跟蹤算法并行跟蹤的軌跡圖。由于未進行遮擋判斷和Kalman濾波位置預測，兩個目標交叉的一瞬間，錯誤的跟蹤到相向飛來的目標，圖中軌跡呈現出目標折回的假象。圖8所示為在本文算法對交叉飛行的兩個目標進行跟蹤的軌跡圖。可以看出，在目標即將發生遮擋的瞬間，由于停止使用KCF，啟用Kalman濾波進行了位置預測，實現了在遮擋期間對被遮擋目標位置的準確估計，圖中軌跡顯示各自按照原來的方向保持飛行。

圖7 交叉飛行時未進行遮擋預測的跟蹤軌跡

圖8 交叉飛行時進行遮擋預測的跟蹤軌跡

4.2 與傳統多目標跟蹤算法的比較

為了定量分析本文所提算法的性能，利用自己拍攝的數據集，從 MOTA、MOTP、MT、ML、IDS和檢測速度幾個技術指標［12］與Sort跟蹤算法進行對比試驗和分析。MOTA表示目標定位準確性，與目標漏檢率和虛警率相關，值越大，越利于跟蹤，MOTA的主要影響因素為目標（IDentity，ID）的交換次數（ID Switches，IDS）、誤檢目標的數目（False Posi?tives，FP）和漏檢目標的數目（False Negatives，FN），計算式如下：

其中：GT為實際軌跡。MOTP表示目標框的平均重疊率，值越大，跟蹤效果越好。IDS表示軌跡與目標切換的次數，值越小，穩定性越好。MT表示目標與軌跡配對成功占比，一般認為值大于80%算法較為穩定；ML表示目標跟丟的軌跡占比，此值一般要求小于20%。

本文所用的實驗數據共有7組，每組數據中都有8個目標。分別計算所拍攝數據集中所包含序列度量值的平均值，實驗結果如表1所示。

表1 基于拍攝的紅外多目標數據集序列的跟蹤結果

從表中數據可以看出，使用本文算法對多個同構無人機目標進行跟蹤的效果要優于傳統多目標跟蹤算法的跟蹤效果。相比傳統的多目標跟蹤算法Sort，本文算法的MOTA、MOTP、MT這3個指標均有提升，本文算法的ML、IDS、FP、FN這4個指標均有降低。

從表中可以看出，對于多個同構的無人機目標的檢測跟蹤，本文算法在目標檢測性能上要比Sort跟蹤算法要好。本文算法基于濾波思想實現檢測跟蹤，檢測性能較好，誤檢率和漏檢率低；Sort跟蹤算法中每一幀都單獨使用檢測算法，導致整體的誤檢率和漏檢率比較高。同時，從表中還可以看出，本文算法在目標跟蹤的精度和穩定性較Sort要高，這是因為本文算法以KCF跟蹤算法為基本跟蹤框架，KCF跟蹤算法的跟蹤精度高，而Sort對紅外目標的檢測精度不高，并且對外觀高度相似的目標跟蹤時數據關聯效果也不好。

實驗中，對7組圖像序列中的目標跟蹤速度進行了計算，取平均值為24幀/秒，跟蹤速度滿足對此類目標跟蹤的應用需求。

5 結語

本文利用多個無人機目標的運動特征和表觀信息特征，以多個并行的KCF跟蹤算法為基本跟蹤框架，對目標飛行中的遮擋情況作出判斷，基于Kalman濾波對遮擋目標的位置進行預測，實現了對此類多目標的跟蹤。通過實驗，對算法性能進行了分析驗證，所提算法可以滿足實際應用需求。但是，對于更加弱小的目標，本文算法還需要設計更加魯棒的目標特征提取方式和數據關聯方式，這是今后研究的重點。