無人機地面目標跟蹤相關理論與技術研究

首先歸納了實現無人機地面目標跟蹤的基本要求和干擾因素，針對跟蹤過程中出現的問題總結了前輩的解決思路，通過分析無人機航拍視頻的特點，闡述常用的無人機地面目標跟蹤的方法，分析比較不同算方法的優缺點及場景適應性。

無人機通過目標跟蹤算法，實時準確的估計視頻序列內目標的狀態信息來完成對目標的跟蹤任務。目前已經涌現出非常多的目標跟蹤算法，并劃分了一些類別，這些算法都有各自的優勢和缺陷，但并不都適用于無人機航拍視頻圖像的目標跟蹤，且大多數算法是針對某一特定的場景或應對某一干擾因素的影響，無法滿足實際復雜場景的需求。本章根據無人機航拍視頻圖像的特點，分析影響目標跟蹤的關鍵因素，最后闡述常見的無人機地面目標跟蹤方法，總結其適用范圍及場合并分析其優缺點，為本文算法奠定了理論基礎。

無人機目標跟蹤的特點

無人機由于體積小、靈活性強、研發成本低等特點，廣泛應用于軍事領域并逐漸在民用領域快速延展，將目標跟蹤算法運用于無人機上，實現對感興趣目標的實時跟蹤具有實際意義和應用價值。一個魯棒的跟蹤算法應該滿足以下四個基本要求：

(1)實時性。跟蹤算法必須能夠高速處理機載相機捕獲的實況圖像幀，這樣才能滿足現實需求；

(2)魯棒性。跟蹤算法可以有效地抵御實際環境中出現的多種干擾因素的影響，正確跟蹤目標；

(3)準確性。目標跟蹤算法對目標中心位置、尺度和旋轉角度的準確估計；

(4)目標再確認性。當目標消失再出現時，跟蹤算法仍然可以及時捕獲目標，繼續進行跟蹤。

無人機航拍視頻圖像中，目標尺寸較小，視野范圍較大，常常存在目標尺度變化，地面環境復雜，相似目標出現等復雜的背景信息。雖然目標跟蹤技術日益成熟，但是由于實際環境中仍然存在眾多干擾因素，實現復雜環境下準確穩定跟蹤目標對象，且要保證實時性，依然是一個極大的挑戰。無人機視頻目標跟蹤主要存以下五類干擾因素：

(1)復雜的背景。復雜的背景指的是圖像中存在陰影、光照變化或相似目標，陰影不屬于運動目標區域，卻會隨著目標一起運動，光照變化導致目標區域亮度不均勻，相似目標的存在會誘導算法收斂到相似目標的位置，造成跟蹤漂移。

(2)目標外觀變化。目標外觀變化主要是指目標旋轉角度和尺度的改變，跟蹤的目標主要有剛性和非剛性兩種類型，剛性目標是指物體不會發生形狀上的改變，如汽車、水杯、玩偶等；非剛性目標是指物體外形出現變化，目標外觀的變化會造成初始模板或特征失效的后果，進而造成跟蹤器發生漂移現象，最終導致跟蹤失敗。

(3)局部遮擋變化。視頻序列中，由于新物體的出現導致目標被部分遮擋，引起目標特征信息變化，嚴重影響跟蹤器的性能，使跟蹤不穩定。

(4)目標消失再出現。目標消失之后，無法獲取當前幀圖像目標的任何信息，只能根據目標的先驗知識來預測目標的位置，當目標再出現，且其運動狀態發生較大變化時，會使跟蹤結果出現較大的偏差。

(5)相似目標干擾。在跟蹤的畫面當中，含有與跟蹤目標的顏色、外形、尺寸等相似的目標出現，由于目標和相似目標之間具有相似的特征，導致相似目標被當作目標，造成追蹤失敗。

上述的干擾因素成為阻擋無人機目標跟蹤技術走向工程應用的攔路虎，為此，全球各地的研究人員提出了許多解決辦法，如在線性、非線性有著較好應用的卡爾曼濾波和粒子濾波；基于分類思想的目標跟蹤算法，標記正負訓練樣本，送入分類器進行學習，能夠有效的解決目標本身變化的問題。但是這些算法都只是針對特定的一種或幾種干擾因素，無法滿足實際復雜場景的跟蹤需求。

目標跟蹤問題的解決思路

總體來說，針對目標跟蹤問題的解決思路主要分為兩類：(1)自底向上。該方法無需依賴目標的先驗知識，直接利用圖像中的相關信息跟蹤目標；(2)自頂向下。該方法通過計算后驗概率或者置信值進行跟蹤，通常依賴目標的先驗知識。

(1)自底向上。自底向上思路解決目標跟蹤的代表思想是David Marr的視覺計算理論，通過恢復3D圖像得到目標的空間位置。而目標跟蹤就是從場景中得到目標相關信息，這與Marr視覺計算理論不謀而合。自底向上跟蹤方法通常總結為四步：首先進行預處理，主要去除噪聲，獲得質量較高的圖像以便后續使用；其次檢測活動目標，獲得只包含活動目標的相關運動信息；再次判別目標，運用分類器識別運動目標，判斷是否為跟蹤的目標，最后達到目標跟蹤的目的。采用自底向上方法可以對目標快速檢測并進行跟蹤，因此該方法通常用于實際項目中。但是當攝像機處于運動狀態時，該方法難以檢測和跟蹤運動目標，使得該方法在應用方面受到極大限制。

(2)自頂向下。Bar-Shalom的目標跟蹤與關聯思想是解決目標追蹤問題最典型的方法，運用貝葉斯理論框架時，通常以狀態空間法對運動目標進行跟蹤，假設運動目標的狀態向量由{Xk}k=0,1,2,...描述，k表示離散時間序列，狀態方程為：

其中，Fk為狀態轉移矩陣；Vk是狀態噪聲。

其次是觀測確定向量{Zk}k=0,1，k代表離散時間序列，觀測方程如式(2)：

其中，Hk為測量矩陣；Wk為測量噪聲。

在式(1)和式(2)中，假設{Vk}k=0,1,2,...和{Wk}k=0,1,2,...噪聲變量都服從于獨立的同分布。

在k時刻，假設狀態的先驗概率是p(Xk|Z1：k)，其中，Z1：k={Z0,Z1,...Zk}表示從一開始到k時刻的所有觀測量。將目標追蹤過程可由以下兩個步驟得到：

第一步預測：

第二步更新：

至此，獲得k+1時刻的后驗概率p(Xk+1|Z1：k+1)。其中，p(Xk+1|Xk)用來描述目標狀態轉移幾率，用來呈現系統的動態特性。當系統噪聲服從于高斯分布，且Fk和Hk符合線性關系時，可以采用卡爾曼濾波獲得后驗概率，同時p(Xk|Z1：k)和p(Xk+1|Z1：k+1)都必須服從高斯分布。當Fk和Hk之間是非線性關系時，可以使用擴展的卡爾曼濾波獲取后驗概率，同時此后驗概率仍服從高斯分布。卡爾曼濾波常用于處理線性、高斯的單一情況，而實際場景中后驗概率的分布通常是非線性、非高斯的復雜情況，這種情況下通常使用粒子濾波方法跟蹤目標。

當使用自頂向下的思路進行目標跟蹤時，使用數學模型來描述目標的先驗知識難度很大，而采用模型匹配方法卻消耗大量的時間，實時性較差。

無人機地面目標跟蹤方法方

與一般攝像機拍攝的視頻相比而言，無人機航拍視頻的特點是無人機距離目標更遠，視野范圍更大，視頻幀中存在大量道路、樹木和城市建筑等背景信息，目標占視頻幀的比例相對較小，通常適合處理一般視頻的跟蹤算法不一定適合于無人機視頻的跟蹤。例如目前的基于深度神經網絡的目標跟蹤算法，由于處理速度慢，不能滿足無人機目標跟蹤的實時性要求，TLD算法針對含有相似目標出現干擾因素的視頻跟蹤，跟蹤容易漂移且實時性較差。

近年來，眾多科研人員提出較多的目標跟蹤算法，常用于無人機視頻的目標跟蹤方法的分類情況如圖1所示。

基于光流的目標跟蹤方法

光流可以描述連續視頻幀之間的變化，該方法實現目標跟蹤的思想是首先從視頻序列中計算得到光流場，然后通過光流矢量信息確定下一幀目標大概位置。

目標跟蹤過程中，當連續視頻幀之間存在目標位移時，目標與背景之間就會存在相對位移，光流法就是根據這種相對運動來檢測出運動目標。基于光流法目標跟蹤以三個假設為前提：

(1)目標區域像素亮度恒定；

(2)目標在視頻相鄰幀間的運動較為“微小”；

(3)相鄰像素點具有相似的運動。

在不借助目標的先驗知識的條件下光流法在動態背景中可以估計目標的運動狀態，但其對光照和噪聲變化比較敏感。

基于濾波的目標跟蹤方法

基于濾波的目標跟蹤方法主要包括CamShift目標跟蹤方法，卡爾曼濾波和粒子濾波方法。以下分別對其簡述。

(1)MeanShift目標跟蹤方法

1975年，Fukuang等提出Meanshift目標跟蹤方法，Meanshift目標跟蹤是一種基于核密度估計的非參數特征匹配跟蹤方法，只對數據本身進行特征提取，因此該算法在實際應用中有較強的適應性。

圖1 目標跟蹤算法分類

(2)CamShift目標跟蹤方法

1998年，Bradski提出Camshift目標跟蹤方法。由于該方法中的模板不能進行實時更新，而且跟蹤過程中核函數的帶寬固定不變，當目標尺度變化或者受到外界干擾時，跟蹤器性能明顯下降。而CamShift方法進行逐幀MeanShift運算，這樣既可以實現對目標模板實時更新，也可以使跟蹤窗口自適應變化。

(3)卡爾曼濾波方法

卡爾曼濾波方法為一種小方差最佳線性遞推方法，通過預測能夠獲取下一幀目標的位置。卡爾曼濾波方法可根據狀態方程和預測方程來實現，狀態方程可對系統狀態進行客觀描述，預測方程用來預測下一時刻的狀態。

(4)粒子濾波方法

從p(x0：k|z1：k)中獲取粒子，根據重要密度函數q(x0：k|z1：k)對粒子采樣，粒子權值可以表示為：

假設已經獲得k-1時刻的后驗密度，為了近似后驗密度重要密度函數可以轉化為：

通過式(6)對粒子進行權重的分配，實時更新粒子的權重，為了便于計算，可以將p(x0：k|z1：k)做以下調整：

即，

權重更新方程如式(10)：

采樣函數具有無后效性的特性，因此公式(10)可以轉化為：

通過遞推方式可以計算粒子的重要性加權值。但粒子濾波方法中存在粒子退化的問題，經過多次迭代之后，大量的粒子的權值比較小而被忽略，丟失樣本有效性與多樣性。

基于特征匹配的跟蹤方法

圖2 云臺控制相機轉動實驗結果

圖3 目標被局部遮擋實驗結果

基于特征匹配的跟蹤方法主要是通過特征辨別視頻圖像中的目標和背景來跟蹤目標，因此選擇特征至關重要，在選擇特征進行匹配時，應該以量少質優為原則，若特征數量較多，匹配過程中會消耗大量的時間，實時性較差；若特征數量較少，又不能夠準確描述目標，難以分辨背景和目標，所以選取合適的特征和特征數量是至關重要的。

基于學習的目標跟蹤方法

基于學習的目標跟蹤方法是對目標樣本和周圍背景樣本進行分類學習，通過分類器辨別兩者，從而獲取目標的位置，實現對目標的跟蹤。由于分類器需要實時更新，因此能夠有效地應對運動目標存在的形變問題，但不可避免的是分類器在更新過程中會出現分類錯誤的情況，最終導致跟蹤漂移，跟蹤結果不穩定。

圖4 目標被消失再出現場景的跟蹤結果

圖5 目標形變場景的跟蹤結果

圖6 目標形變場景的跟蹤結果

實驗結果與分析

為了驗證系統的跟蹤性能，本節對系統設置多種特殊場景進行實驗，圖像采集部分采用Gopro運動相機，該相機自帶一個小型兩自由度的云臺，可以實現水平旋轉和垂直俯仰功能，且提供軟件的二次開發包。云臺水平旋轉角度(-45?～45?)，垂直俯仰角度(-135?～90?)。

實驗環境：CPU 2.1GHz以上，GPU gtx960 1400MHz, 安裝內存4GB，硬盤空間10G以上處理器，windows10操作系統。

(1)云臺控制實驗

云臺控制實驗結果如圖2所示，當目標距離無人機20m左右，橫向運動速度變化在0.3m/s～6m/s，橫向行進30m，可僅通過云臺控制使目標保持在畫面中心1/3范圍內，從測試實驗結果可以看出，云臺能夠控制鏡頭，使目標處于視野范圍內。

(2)目標被局部遮擋

實驗跟蹤結果如圖3。將行人作為目標進行跟蹤實驗，目標跟蹤過程受到雨傘遮擋，最大遮擋達到60%時，系統仍然能夠正確跟蹤目標。

(3)目標消失再出現實驗

跟蹤結果如圖4所示。根據系統設定，所跟蹤的目標最大消失時間為15s，從測試實驗結果得出，當目標消失再次出現時，系統仍然可以準確跟蹤目標。

(4)目標發生形變實驗

測試實驗結果如圖5所示。經系統設定，目標蹲下又站起，存在目標形變形變干擾因素。對此系統具有魯棒的跟蹤結果。

(5)相似目標干擾

測試實驗結果如圖6所示。系統跟蹤目標過程中，出現同行行人的相似目標干擾因素，從實驗結果可以看出，系統跟蹤的有效性不受同行行人的影響，可以正確跟蹤目標。

(參考文獻：略。如有需要，請聯系編輯部。)