基于改進TLD算法的無人機自主精準降落

陳菲雨，岳文斌，饒穎露，邢金昊，馬曉靜

山東大學 海洋研究院，山東 青島266237

1 引言

近年來，具有尺寸小、重量輕、良好隱蔽性等特點的無人飛行器已經廣泛使用，而多旋翼無人機系統因其結構更加簡單、良好的穩定性、靈活的起飛著陸模式、占地面積小、轉向性能好等，成為民用/商業和研究領域的熱點。面對越來越多地無人機民用新需求，比如動態追蹤拍攝[1]、快遞行業定點投送物品[2]等，對微型無人機的自主精準降落技術[3]提出了新的挑戰。

由于四旋翼無人機尺寸小、飛行速度易變、飛行環境復雜，因此，實際的無人機自主精準降落技術對目標定位和跟蹤方法的精度與速度有較高的要求。基于全球定位系統（Global Positioning System，GPS）導航[4]的自動定位是目前最常用的方法，但GPS引導自動定位有一定的不足。首先，不做特殊處理的GPS定位精度僅能達到10 m，對于地形復雜的區域，比如建筑群密集的城市，無人機很可能因為導航誤差在低空區域墜毀；其次，GPS信號受非空氣介質的極大干擾，在森林等遮擋物較多的區域，會造成誤差增大，甚至可能丟失信號；專業級高精度GPS設備成本昂貴，不具備經濟實用性。

精密GPS測量技術同時也在不斷發展，如差分GPS技術、RTK（Real Time Kinematic）技術等，雖然能達到厘米的精度，但其位置更新速度僅在10 Hz 左右，并不能滿足無人機在多種環境下的快速實時控制，以實現精準降落。鑒于現有的定位技術精度和速度不高，故而利用視覺方向的圖像處理技術來進行無人機的定位輔助是一個可嘗試的解決方向。對無人機視野中得到的特定目標進行圖像相關的處理，利用目標跟蹤算法實現檢測、識別與跟蹤降落目標，但是目前已有的算法并不能完全滿足精準定位所需的精準度與實時性，因此如何優化跟蹤算法以滿足實際需求，仍是無人機精準降落的核心問題。

近年來在目標跟蹤方向的算法研究取得了較大進展[5-10]，典型算法如KCF 算法，雖然該算法的實時性較好，但該算法在目標處于復雜背景中或者消失又重新出現視野中等情況時，會錯誤或丟失跟蹤的目標。目前也有很多關于深度學習在跟蹤目標方面的研究，這些算法即使可以達到較高的跟蹤精度和實時性，但仍不能在長期跟蹤目標方面實現突破。TLD 目標跟蹤算法是一種綜合性能較好的算法且能很好地適應長時間的跟蹤，特別是在跟蹤快速移動的目標、會被遮擋的目標、消失又重現的目標及其他復雜情況時，其性能相對優于其他算法，但是由于該算法復雜度高，檢測模塊和學習模塊計算量大，計算過程復雜，所以實時性仍差強人意。

本文在分析TLD 和KCF 算法的基礎上，針對無人機自主精準降落過程的特點，用KCF 算法代替了TLD算法中的跟蹤器，提高了TLD算法的魯棒性，并提出在降落過程中采用一種基于方向梯度直方圖特征（Histogram of Gradient，HOG）和支持向量機（Support Vector Machine，SVM）的目標識別方法，以實現目標檢測自矯正，保證長時間準確跟蹤目標，從而提高了算法跟蹤目標的速度及精度。為了驗證本文方法的有效性，針對無人機實際降落時的數據集進行測試，與其他幾種跟蹤算法進行了對比，最終進行了實際降落測試。

2 TLD算法組成框架

TLD算法由三個模塊組成，如圖1所示，分別為：跟蹤模塊、檢測模塊與學習模塊[11]。跟蹤模塊采用光流法跟蹤器，且為獲取其中的穩定跟蹤點，TLD 算法引入了基于NCC（Normal Cross Correlation）[12]相似性計算和前向后向跟蹤法的失敗檢測機制，最后將穩定跟蹤點之間的位移中值與尺度變化中值作為跟蹤模塊的輸出。檢測模塊對每一幀采用多種尺度進行全局掃描，并將得到的檢測窗口依次通過級聯分類器，將最終通過的窗口作為檢測模塊的輸出。跟蹤模塊與檢測模塊獨立并行地對每一幀進行處理，將兩者的結果依據一定的融合策略進行融合，得出最終的跟蹤位置。學習模塊根據跟蹤結果對當前幀的正負樣本進行采樣，并采用P-N學習策略[13]對目標模型進行學習與更新。

圖1 TLD算法組成框架

在TLD 算法的跟蹤模塊中，光流跟蹤器在目標出現快速運動、遮擋或者光照發生變化等情況時易產生跟蹤漂移[14-15]，進而導致跟蹤失敗。而在TLD 算法中，檢測模塊的訓練樣本是實時獲取的，若算法運行初期，跟蹤模塊無法為檢測模塊提供“高質量”的訓練樣本，則檢測模塊的準確性無法得到提高，進而導致算法喪失重檢測的功能。在實時性方面，為了選取穩定跟蹤點，跟蹤模塊在光流法的基礎上增加了前向后向跟蹤機制和運算量較大的NCC 相似性計算[11]，因此算法的運行速度受到影響。綜上所述，單純的TLD 算法并不能滿足無人機實現自主精準降落時所需要的實時性及魯棒性。

3 基于TLD框架的目標跟蹤算法

本文提出了一種基于TLD框架的改進目標跟蹤算法，整體結構如圖2 所示。在改進算法中，跟蹤模塊使用KCF 算法，該算法通過核函數對多通道的HOG 特征進行融合，其跟蹤精度比傳統TLD 算法中的光流跟蹤器精度更高；同時該算法將將時域圖像轉換到頻域處理，降低了算法的復雜度，滿足了無人機降落的實時性需求。檢測模塊使用級聯分類器對目標進行精確定位，提高了算法的檢測效率。改進算法中包含的TLD學習部分，解決了當目標在當前圖像中消失后，KCF 算法會將背景當做目標進行跟蹤，而目標重新出現后無法繼續跟蹤原目標的問題。同時由于本算法應用于無人機自主精準降落，對第一幀降落目標的自主準確獲取至關重要，同時后續長期的目標跟蹤準確率也需得到保證，故而本文算法采用基于HOG和SVM的檢測自矯正模塊，以固定頻率檢驗并矯正跟蹤算法得到的目標位置。

3.1 基于KCF算法的跟蹤模塊

本文算法引入KCF 算法作為跟蹤器，KCF 跟蹤算法的核心思想是將跟蹤目標區域進行循環移位，從而構造大量的樣本來訓練分類器；通過核函數來計算候選區域與跟蹤目標的相似程度，選取相似度最大的候選區域為新的跟蹤目標；同時利用離散傅里葉變換降低分類器訓練和檢測過程中的運算量。

3.1.1 訓練樣本集合

KCF 算法中一張目標區域的樣本圖樣x 需要在訓練分類器的過程中使用，記x 是l×n 的向量。但KCF算法與其他判別算法的不同點在于，在分類器的訓練過程中，KCF算法并不嚴格區分正樣本和負樣本。

使用置換矩陣P 對唯一的目標區域樣本圖像進行循環移位，得到訓練樣本集合其中：

記Xi為循環移動i 位后的訓練樣本，Xi=Pix,?i=0,1,…,n-1 構成循環矩陣X：

對于訓練的樣本Xi，賦予標簽γi（γi值服從高斯分布）。

3.1.2 分類器訓練

在KCF 算法中，分類器可以計算出所有候選區域成為跟蹤目標的概率，判定概率最大值的候選區域為跟蹤目標。訓練分類器的過程可以用以下數學公式描述：

圖2 本文算法整體結構

即找到最優的w，使得代價函數（4）最小。其中λ 用于控制系統的結構復雜性。

由文獻[16]可知：

其中，αi為對應訓練樣本Xi的系數；φ(x)是將訓練樣本x 映射到高維度特征空間的函數，任意兩個樣本x和x*在高維度特征空間的相關性或相似度為φT(x)φ(x*)=κ(x,x*)，其中κ 為高斯核函數。

其中，F 為離散傅里葉變換；F-1為離散傅里葉逆變換。由所有訓練樣本Pix(i=0,1,F,n-1)構造該矩陣K，K 的元素Ki,j=κ(Xi,Xj)，由文獻[16]可得：

其中a=[a1,a2,…,an]。對上式進行傅里葉變換：

3.2 TLD檢測模塊及學習模塊

TLD檢測模塊采用掃描窗口對每一幀進行處理，并給出其中是否含有待檢測目標。如此一來，檢測部分可以得到目前為止所有目標的特征，而且在必要的時候矯正跟蹤位置，不斷修正跟蹤器，檢測模塊部分其實是一種級聯分類器結構，每個可能出現待檢測目標的區域，依次經過方差分類器、集成分類器和最鄰近分類器，上述任何一個分類器都可以判斷當前檢測區是否含有檢測目標，但是只有這三個分類器均判斷含有目標才能被確認當前檢測區域含有檢測目標。

學習模塊[18]是TLD算法框架中的亮點和重點，該模塊的作用是提高檢測器的性能。學習器是一個在線的過程，在視頻的每一幀中，學習器希望能夠評估當前檢測器，判斷其是否出現錯誤并及時更新以避免將來出現類似的錯誤。該模塊采用半監督的P-N學習模式，即當檢測器對樣本分類產生錯誤時，針對不同的錯誤提供不同的模型來進行糾正，其中P模型針對檢測時漏檢的正樣本進行改正；N模型針對檢測時誤檢的正樣本進行改正。

3.3 基于HOG和SVM的檢測自矯正模塊

無論是TLD 算法還是核相關濾波算法，均為半主動跟蹤，即沒有目標的先驗信息，需要外部的初始化，而在無人機自主精準降落的過程中，需要實現主動跟蹤，即自動實現先驗信息初始化。在本文的方法中，將通過邊緣檢測和輪廓提取的方法，確定有形狀特征跟蹤目標的先驗信息，實現初始化。但在實際定位過程中，由于光照、移動、遮擋、尺寸變化等原因，跟蹤目標的初始化往往會出現一些問題，因此本文采用了如圖3所示的基于HOG[19]和SVM[20]的檢測自矯正模塊對先驗信息進行矯正，以保證后續跟蹤檢測的準確度。

無人機降落過程中獲得的圖片通過上述流程后，將得到的預測結果同經過邊緣檢測和輪廓提取方法獲得的跟蹤目標信息相比較，計算兩種結果的重合度，從而判定是否需要進行矯正，如若需要，則將最終通過矯正模塊獲得的結果作為初始化信息。

同時由于目前的跟蹤算法都無法在長時間的跟蹤過程中實現可靠的效果，本文還設置一定的時間節點（本文采用25 幀圖片序列）進行檢測矯正，重新檢測跟蹤目標，獲得最小外接矩形框，同時調用本模塊獲得目標信息并計算重合度。此時，當出現跟蹤失敗的情形時，即兩種結果重合度低于閾值時，可以實現及時對跟蹤結果的矯正。

在無人機反復實現降落的過程中，本校正模塊將在不同條件下獲得的降落目標圖像信息進行在線學習，不斷提高本模塊的矯正精度，為無人機的精準降落提供有力支持。

4 實驗結果分析

圖3 基于HOG和SVM的檢測自矯正模塊

為了驗證本文改進算法（標記為Ours）的有效性，對其進行了定性及定量分析，最后還進行了無人機實際降落測試。實驗的軟件環境為Matlab2014a、Visual Studio 2013，測試硬件環境為Intel?Core?i7 2.8 GHz。用于進行實驗對比的TLD 算法和KCF 算法均采用基于opencv3 的C++語言實現，且上述算法的源碼均從其作者提供的網站上獲得，被跟蹤的目標均是由邊緣檢測及輪廓提取處理第一幀視頻獲得。為了驗證本文算法的優越性，拍攝了模擬無人機實際降落至特定目標位置時的視頻進行測試，這些視頻均在同一拍攝條件、拍攝環境下完成，涵蓋了目標快速移動、目標遮擋、相似目標干擾、目標尺度變化、目標旋轉、目標出視野及光照強度變化等復雜情況，共計7 類視頻序列40 組視頻序列。實驗中對于所有的測試視頻，算法中的參數均保持不變。

4.1 定性分析

對本文算法在已有的40 組視頻序列上進行測試，并與其他三種算法進行了比較，這三種算法分別：KCF、TLD和KCF+TLD，為了更直觀地對算法進行定性分析，本文選取了組具有代表性的視頻用于展示，圖4為各組視頻序列實驗結果的部分截圖。

目標遮擋：在名為Person、Paper、Similar-paper 的三類視頻序列組中，目標均存在被遮擋的現象。以Person-1 為例進行分析，如圖4（a）所示，目標被人遮擋后再次出現，KCF 將不能跟上重新出現在視野中的目標，而是將移動的目標判斷為跟蹤目標，表明本文算法相較于KCF而言跟蹤效果更好。

目標旋轉：在名為PR45、PR90、PR180、PR360 的四類視頻序列組中，目標均存在旋轉的現象，并旋轉了不同的角度。以PR180-1、PR360-2 為例進行分析，如圖4（b）及圖4（c）所示，目標在進行不同程度的旋轉后，只有本文算法能夠精準地將目標包含在跟蹤框內，其他算法均在一定程度上將多余的部分包含入目標框。

尺度變化：在名為SV 的這類視頻序列組中目標均發生了尺寸變化，以SV-M 為例進行分析，如圖4（d）所示，在目標的尺度逐漸變大的過程中，只有本文算法及KCF+TLD能準確的將目標包含在跟蹤框內。

目標移出視野：在名為OV的這類視頻序列組中目標有較長一段時間以不同次數消失在視野中，以OV-2分析為例，如圖4（e）所示，可以看到只有本文算法能夠從始至終的跟蹤目標，跟蹤結果不會因為目標移出視野受到影響。

光照強度：在名為LR 的這類視頻序列組中目標受到的光照強度會發生變化且目標在LR-M 視頻序列中會發生移動，以LR-M分析為例，如圖4（f）所示，可以看到只有本文算法能夠始終對目標保持穩定的跟蹤。

復雜背景：在名為BC-person、BC-box、BC-pbox 的三類視頻序列組中，目標均處于背景復雜的環境中，且在BC-pbox及BC-person視頻序列中背景中均有移動物體，分別為人與紙箱。以BC-pbox1分析為例，如圖4（g）所示，可以看到本文算法與其他算法跟蹤效果均不錯，始終可以對目標保持穩定的跟蹤，不受移動的復雜背景影響。

4.2 定量分析

圖4 跟蹤算法的定性比較

定量分析采用的兩種定量評價方式為：精度曲線（precision plot）和成功率曲線（success plot），評價時需要用到的兩個指標是中心位置誤差和重疊率，中心位置誤差（Center Location Error，CLE）指的是目標跟蹤位置與目標真實位置之間的平均歐氏距離，重疊率（Overlap Rate，OR）指的是跟蹤目標區域和實際目標區域的交集與并集之比。精度曲線描述的是中心位置誤差小于給定閾值的視頻幀數占總幀數的比值，成功率曲線描述的是重疊率大于給定閾值的視頻幀數占總幀數的比值。在本文中精度曲線和成功率曲線的閾值分別設置為20 pixel和0.5。

圖5 為利用OTB2013 測試平臺原理[21]在MATLAB軟件平臺上運行得到的精度曲線與成功率曲線對比圖。由圖可知，本文算法的精度和成功率在所有算法中均排第一，分別達到了90.80%和79.26%，較KCF算法提高了6.07%和7.06%，較TLD算法提高了6.54%和15.19%，較KCF+TLD算法提高了10.62%和5.27%。

圖5 OTB2013測試標準得到的精度曲線與成功率曲線

表1、2描述了所有算法在本測試數據的7個屬性上取得的精確度與成功率。由表可知，本文算法在尺度變化（SV）、快速運動（FM）、出視野（OV）、復雜背景（BC）、目標旋轉（PR）和光照強度（LR）這6個屬性上的跟蹤精度及成功率均排第一，目標遮擋（OCC）這一屬性上，兩項指標以0.079和0.15的劣勢僅次于KCF。

在跟蹤速度上，各算法在7 類視頻序列共計40 組視頻序列上的平均幀率如表3所示，本文算法的平均幀率達到31.47 f/s，雖然本文算法的平均幀率并非最高，但本文算法相較于傳統算法在各項屬性及平均幀率上的綜合表現，仍可認為本文算法取得了較好的實時跟蹤效果。

表1 不同屬性上各算法的精度對比

表2 不同屬性上各算法的成功率對比

表3 各算法的平均幀率對比（f·s-1）

5 自主降落實驗驗證

為測試算法在真實環境下的性能效果，搭建了室內及室外的實驗環境，如圖6、7 所示，并進行了多次測試。實驗采用的是型號為M100的大疆四旋翼無人機，降落圖像信息通過無人機機載云臺獲取并通過圖傳設備進行傳輸，飛控系統和計算機之間通過無線數傳進行通信。

圖6 無人機在室內環境進行降落

圖7 無人機在室外環境進行降落

無人機收到計算機給出的起飛指令后，按照既定路線飛行后到達降落地點（視野內出現特定降落目標），從距離地面5 m的高度開始進入自主精準降落程序，云臺將含有降落目標的圖像信息傳給計算機，實時計算出無人機與降落目標的相對位置，再由無線傳輸將相對位置目標告知飛控系統，飛控系統控制無人機完成整個自主降落過程。

本文通過同一四旋翼無人機在同一飛控系統的控制下，分別在室外及室內實驗環境下進行自主降落實驗。為防止結果的偶然性，本文在室內或室外的同一環境下，每種算法均進行8次實驗，總共進行了64次實驗，每次實驗過程中，上述的7項屬性均在不同程度上對無人機的降落條件進行改變，同時在室外實驗過程中，風速大小也將影響降落過程，此時對算法的實時性及精準性有較高的要求。降落結果評價方式分為平均降落時間、平均降落精度及降落成功率，其中降落精度為無人機云臺中心與降落目標中心之間的水平距離。

圖8 為實驗過程中環境發生典型變化時無人機云臺所獲取的圖像信息，表4則描述了各算法在室內及室外環境中分別進行實驗的結果。由表4可知，雖然傳統算法在部分實驗過程中降落精度及降落時間優于本文算法，但傳統算法均會在目標移動、旋轉、遮擋等因素的影響下發生跟蹤失敗從而降落過程被迫中斷的情況，如KCF算法在目標上方出現移動遮擋物后，將出現跟蹤錯誤目標的情況；TLD 算法則由于其實時性較差，若在室外實驗的過程中風速較大，無人機將難以控制其保持在降落區域，從而降落時間較長，甚至最終完全偏離降落地點；KCF+TLD 算法在多數情況下雖然能夠較為快速而精準的降落，但面對一些干擾，如降落目標移動、遮擋物遮擋等，仍會出現跟蹤錯誤的情況，由于沒有檢測自矯正模塊，無人機仍將跟蹤錯誤從而降落失敗。本文算法在數次實驗中出現失敗在于降落階段風力超過4 級（吹起塵土、沙粒、降落目標紙張等），即使算法的實時性能夠滿足要求，飛控系統也較難控制無人機實現精準降落。綜上，通過實際實驗驗證，本文算法的魯棒性、實時性和精準度均優于其他算法，能夠有效地實現無人機全自主精準降落。

圖8 無人機在變化環境下降落的云臺信息

6 結束語

本文針對在光照變化、運動模糊以及目標遮擋等復雜情況下，傳統TLD算法及KCF算法易出現跟蹤失敗、實時性較低等問題，在TLD 算法框架下引入了KCF 跟蹤器，并根據無人機實際降落需求及流程，增加了基于HOG和SVM的檢測自矯正模塊，提高了長時間下跟蹤算法中心位置點確定的精準度即跟蹤的準確性，同時算法的實時性也得到了提高，為后續無人機得到相關位置信息從而進行控制打下了堅實的基礎。本文對改進的算法利用OTB2013測試標準及測試視頻序列組進行評價，結果顯示改進算法的跟蹤精度與成功率分別達到了90.80%和79.26%，在所有測試視頻上的平均幀率達到了31.47 f/s。對本文改進算法在數據集中各個屬性上的定性分析表明，在尺度變化、快速運動、出視野、復雜背景、目標旋轉和光照強度變化這幾種復雜情況下，改進算法與其他三種算法相比，具有更好的準確性與魯棒性。通過在室內及室外進行自主降落實驗，驗證了本文算法在不確定環境下相較于其他算法的良好降落性能。

表4 各算法的降落結果對比