基于機器視覺的非特定目標實時跟蹤研究

曹 超，管沁樸

（1.中航電測儀器股份有限公司，陜西西安 710117；2.北京市智行者科技有限公司，北京 102200）

在過去的幾十年中，計算機和視覺傳感器性能不斷提高且成本大幅下降，這為計算機視覺的發展提供了很好的硬件基礎[1-3]。視覺跟蹤作為機器視覺的關鍵技術，在眾多場合都有著廣泛的應用前景和價值[4-5]。而小型無人機在空中擁有著天然的廣闊視野優勢，可以對目標進行跟蹤直接獲取現場情報，研究無人機目標實時追蹤具有重要的實用價值[6-7]。考慮到跟蹤魯棒性、快速性、精度以及功耗等問題，目前現有的跟蹤算法往往難以兼顧所有方面，文獻[8]為提高無人機在目標跟蹤運動中的精度，提出一種基于相關濾波器的響應融合策略，利用融合響應圖對目標進行精準的追蹤，該方案有效解決視差和光照變化的不利影響，但是魯棒性較差；文獻[9]提出一種綜合級聯分類器與卡爾曼濾波的無人機目標追蹤方案，能夠過濾錯誤目標，在對實時性要求不高的場合具有良好的應用效果；文獻[10]提出一種基于深度學習的無人機目標追蹤算法，能夠在復雜環境中準確識別追蹤目標，但是對平臺要求較高，實際應用仍需要進一步研究。結合無人機的目標追蹤的實際應用的需求與特點，研究一種高速度、低功耗和高魯棒性的目標跟蹤算法具有重要意義。

1 目標跟蹤技術

1.1 基于相關濾波的目標跟蹤算法

目前主流的目標跟蹤算法按照跟蹤原理的不同可分為判別類和生成類[10-12]。判別類目標跟蹤算法主要通過分類器對目標的前景圖像和背景圖像進行辨別，跟蹤魯棒性好，在線學習分類耗時較長；生成類目標跟蹤算法中，基于相關濾波的跟蹤算法的應用較為廣泛，國際知名跟蹤算法網站VOT 排名前三的算法：DSST、SAMF 和KCF 全部采用了相關濾波，其中速度最快的KCF的平均跟蹤速度達到了172 fps。近些年深度學習同相關濾波相結合的算法逐步興起，但是采用深度學習的算法在運算速度上依舊難以滿足實時性的要求，無法應用于小型計算平臺。考慮到無人機對于目標跟蹤算法在跟蹤實時性、魯棒性和準確性的要求，該文采用相關濾波目標跟蹤算法。

相關濾波（Correlation Filter,CF）源于信號處理領域，目前廣泛應用于圖像處理領域[13]。相關濾波分為Cross-correlation 和Auto-correlation，而該文使用的一般Cross-correlation，即互相關。該濾波函數定義如式（1）所示：

其中，f*代表f的復共軛，★代表互相關運算。

相關濾波衡量了輸入信號和模板信號在某時刻的相似程度，可以設計模板信號，使該信號作用到跟蹤目標時響應最大，算法跟蹤時選取響應最大的輸入圖像作為跟蹤的目標。假設最大響應目標函數為g(x)，在跟蹤前根據輸入圖像f(x)（跟蹤目標）生成一個合適的模板信號h(x)，則三者滿足以下條件：

計算相關函數時可以使用快速傅里葉變換，避免矩陣求逆，計算速度快。相關函數和傅里葉變換具有如式（3）～（4）所示的關系。

其中，? 代表傅里葉變換；⊙代表點乘。

求得H后只需進行傅里葉逆變換即可得到時域內的模板函數，至此訓練基本完成。目標跟蹤時在目標可能存在的區域采樣進行相關濾波操作，尋找響應最大的輸入作為跟蹤結果。對于多個圖像（假設m個）的訓練，需要尋找H使得所有的訓練樣本誤差最小，如式（5）所示。

1.2 目標跟蹤特征

圖像特征的選取原則是計算量小、特異性強，但實際應用的技術難以實現理想的特異性，需要目標跟蹤算法避免特異性誤差帶來的誤匹配問題[14-15]。此外，不同的跟蹤目標具有不同的特點，在提高特征的特異性的同時，需要考慮應用場景中目標的特點。無人機在執行跟蹤任務時，主要的跟蹤目標有行人、車輛、船舶、建筑等。這些跟蹤目標的主要特點如表1 所示。

表1 無人機跟蹤目標的特點

SIFT、SURF、FAST 等特征點需要選取圖像中部分特殊的點進行特征計算，不便于建立完備圖像，該文不選用以上特征。HOG 和LBP 特征在表現性能上比較接近，兩者運行速度較快，對光照不敏感，且包含一定的邊緣和紋理信息，比較適合相關濾波跟蹤[16]。HOG 特征將圖像分為若干區域進行歸一化梯度統計，而LBP 通過對單個像素點的鄰域像素值進行對比得到特征值，LBP 對車輛、建筑等剛體目標的跟蹤效果并不如HOG 特征。由于剛體目標跟蹤場景在無人機的應用中更為常見，因此該文采用HOG作為主要的圖像特征。

考慮到無人機在白天對目標進行跟蹤時，通常采用信息更加豐富的可見光相機，僅僅采用HOG 這類表征結構信息的特征會丟失大量顏色信息。顏色信息包含了目標的大量表面材質信息，對區別目標有著重要作用；此外HOG 特征并不能適應于跟蹤大形變目標，因此該文引入顏色特征作為輔助特征，顏色特征采用顏色直方圖，利用積分圖進行簡化計算，不占用太多計算資源，對目標形變不敏感，有效彌補了在彩色圖像跟蹤時的短板。

綜上，該算法最終選取HOG 特征和顏色直方圖作為本跟蹤算法的跟蹤特征。

2 跟蹤算法設計

2.1 目標跟蹤算法

首先設計目標評估函數f，使得評估結果最大的圖像即為所跟蹤的目標，如式（6）所示。

其中，pt為第t幀圖像中跟蹤目標所在的矩形；St是第t幀圖像中所有可能的矩形；T為圖形圖像變換函數；θt-1為上一幀的模型參數。

評估函數f由兩部分組成，分別為模板評估函數和顏色直方圖評估函數，模板評估函數使用HOG 特征點對結構進行評估。具體公式如式（7）～（9）所示。

損失函數如式（10）所示，理想的情況下，單圖像的損失函數如式（11）所示，相關參數的計算如式（12）所示。該文的損失函數采用最小二乘損失和二次調節器，可以在封閉的形式下獲得解，不會因為樣例的增加而額外增加內存需求。

2.2 在線跟蹤學習

單張圖像損失計算公式如式（13）所示，其中hk代表多通道圖像h的第k通道，y是預想的響應函數。

為降低信號的邊緣效應，該文應用漢寧窗，根據在DSST 代碼中的方法，采用式（16）求近似解，在線更新方程如式（17）所示。

顏色跟蹤評估函數需要從每張圖像中進行學習，包括前景目標和背景目標。考慮到顏色跟蹤只是用于輔助HOG 特征跟蹤，且顏色特征在光照變化時極易發生較大變化，在顏色跟蹤學習中作如下處理：在當前跟蹤時，根據前一幀的結果和當前幀的情況對顏色特征進行處理，前一幀之前的數據不再引入計算中。將計算結果同HOG 特征跟蹤響應相融合，從而決策出融合后的目標位置。具體步驟如下：

1）根據前一幀的計算結果，劃定前景目標（跟蹤目標）和背景目標（跟蹤目標周圍的環境）；

2）分別統計前景目標和背景目標的顏色直方圖；

3）根據上一幀預測的目標區域，放大一定比例作為搜索區間；

4）對搜索區間內的所有像素，統計其在前景目標和背景目標中出現的次數Num_F 和Num_B；

5）對搜索區間內的像素，計算其數目目標的概率：(Num_F)/(Num_F+Num_B)；

6）以任一點為中心，統計周圍（目標框內）概率總和，進行概率歸一化，使實際目標中心點響應最大；

7）將該概率響應融合疊加到HOG 特征對應的頻率響應中。

3 仿真實驗

3.1 實驗環境與測試指標

為驗證跟蹤算法性能是否滿足要求，采用了業內公認的標準測試集測試該文算法的跟蹤性能，同時將本算法的表現與其他算法結果進行比對，驗證該文算法的有效性和先進性。在測試序列上，選擇VOT2014的3 個測試序列進行分析對比，分別是Suv、Car 和Sunshade。此測試序列覆蓋面廣，場景比較復雜且較為典型，包括光影變化、尺度變化、遮擋和消失等。測試指標方面，用跟蹤結果和真值重疊部分占兩者總面積重疊率Sarea表征跟蹤效果，結果越接近1，說明跟蹤效果跟真值越接近；如果小于0.5，則認為跟蹤失敗。誤差指標用算法輸出的結果中心點的集合距離與真值矩形框對角線的距離的比值Sdis來表征，比值越小，說明跟蹤結果跟實際值越吻合；當大于0.5，則認為跟蹤失敗。

3.2 仿真結果分析

1）測試集Suv

該測試集為灰度圖，無彩色特征，在小型無人機跟蹤場景中較為常見，當小型無人機夜間執行任務時，通常使用紅外相機對目標進行拍攝，在這種情況下只能得到目標的低分辨率灰度圖像。

測試結果如圖1～3 所示。根據跟蹤結果對比可以看出，該算法跟蹤表現情況比較優秀；Struck 算法則在受到遮擋后出現較大誤差，甚至出現了失敗的情況。目標重疊率方面，KCF 算法、DSST 算法和該文算法表現優秀；Struck 算法在大約650 幀后丟失目標，發生跟蹤錯誤。跟蹤結果中心點偏差得分方面，該算法的表現優秀，在目標受到嚴重遮擋期間，僅僅產生10%左右的偏差。

圖1 測試集Suv簡圖

圖2 測試集Suv面積重疊率對比

2)測試集Car

圖3 測試集Suv中心點偏移比例對比

測試結果如圖4～6 所示。該測試集為鄉間公路的一輛小汽車由遠及近，最后離開的過程。跟蹤過程中發生較大的視角變化以及尺度變化；中途有一定的樹木遮擋。該測試集難度高，從圖中明顯看出，該文跟蹤算法比其他算法表現更好，只有大約兩幀左右出現跟蹤失敗（小于0.5），而其他算法結果跟蹤失敗明顯嚴重許多。

圖4 測試集Car簡圖

圖5 測試集Car面積重疊率對比

圖6 測試集Car中心點偏移比例對比

3）測試集Sunshade

測試結果如圖7～9 所示。該測試集展示了一個載人摩托車從隧道中逐漸駛出的過程，視角保持在目標后方。該測試集主要考察跟蹤算法對光照變化的適應能力。在該測試集中，該文算法相對KCF 和Struck 算法表現出了巨大的優越性，自始至終都保持了很好的跟蹤效果。KCF 勉強能保持跟蹤，但是跟蹤結果卻逐漸變大，喪失了足夠的精確性；Struck 則出現嚴重失誤，尺度估計嚴重出錯，跟蹤失敗。

圖7 測試集Tunnel簡圖

圖8 測試集Tunnel面積重疊率對比

圖9 測試集Tunnel中心點偏移對比

綜合測試集測試結果，對跟蹤精度和幀率取加權平均，得到對比結果如表2 所示。文中算法在跟蹤精度方面同DSST 算法類似，都有著極高的跟蹤精度；在魯棒性方面，該文算法要領先其他3 個對照算法；在速度方面，該文算法單線程運行跟蹤幀率超過60 fps，已經足以滿足普通計算平臺的實時跟蹤需求。

表2 跟蹤算法性能對比

4 實際飛行實驗

4.1 實驗平臺

該實驗所用主要平臺及硬件如表3 所示。安裝完畢后的無人機如圖10 所示。

圖10 飛行硬件平臺

表3 飛行實驗主要硬件模塊

4.2 測試結果分析

1）地面靜態標識跟蹤

該跟蹤目標為草地中的一個H 標識。初始化跟蹤框后開始跟蹤，然后無人機繞目標旋轉一周，目標始終被跟蹤程序鎖定。該過程的部分畫面如圖11 所示。該次跟蹤效果很好，目標自始至終都精確位于跟蹤框內，沒有出現明顯的偏差和跟蹤失敗的情況。

圖11 靜態目標跟蹤

2）簡單背景下行人跟蹤

該跟蹤目標為草地背景中的行人，行人有各種折返運動、轉身、跳動以及在灌木叢中下蹲等動作。跟蹤過程同樣平穩可靠，并且目標始終被鎖定在畫面中。抽取的部分跟蹤畫面如圖12 所示。從圖中可以看出，此次跟蹤效果依然很好，行人在地面上的運動絲毫沒有對跟蹤算法造成任何問題，始終被鎖定在畫面中，沒有出現跟蹤誤差增大以及丟幀等現象。

圖12 簡單背景動態目標跟蹤

3）復雜背景行人跟蹤

該跟蹤目標為復雜背景下的行人，該行人在路邊行走，中途在一輛車旁躲閃的情景。抽取部分關鍵畫面如圖13 所示。從圖中可以看出，此次跟蹤效果很好，沒有出現跟蹤失敗或者跟蹤偏離的情況。

圖13 復雜背景動態目標跟蹤

根據實際飛行實驗可以看出，無論是靜態目標還是復雜背景下的運動目標，該文目標跟蹤算法都保持了非常好的跟蹤效果，從未出現跟蹤誤差偏大、跟蹤結果跳動以及丟失跟蹤目標等問題，驗證了所提出算法的有效性和實用性。

5 結論

目前已有的無人機目標跟蹤算法存在各種局限性，難以同時在魯棒性、準確性和快速性等方面同時取得非常理想的效果。該文所提出的目標跟蹤算法采用HOG 特征和顏色特征作為輸入，以最小方差原則在頻域內訓練相關濾波器；在目標檢測時將顏色特征置信概率融合到相關濾波響應中，選取綜合得分最高的點作為跟蹤結果。采用HOG 特征代替圖像灰度作為輸入，使得該算法對目標小變形和旋轉的敏感性顯著下降，提高了魯棒性；在濾波器檢測到的響應中加入顏色特征的置信概率，則提高了該算法對目標發生大變形時的跟蹤能力，降低了失敗率。

需要注意的是，無人機跟蹤算法需要在實際使用平臺上進行優化加速。文中算法在部分關鍵特征計算方面采用了SSE 加速的方式，如果應用于ARM平臺，則需要改用NEON 進行運算加速。