基于計算機視覺的無人機物體識別追蹤

李杰 劉子龍

摘 要：提出一種將ROS系統的AR.Drone飛行器作為載體，基于飛行器實現物體識別追蹤的具體優化方案。在計算機視覺方面，結合物體識別OpenCV模塊中的Haar級聯分類器與卡爾曼濾波，實現無人機的目標識別以及對錯誤目標的過濾功能，使飛行器在搭載攝像頭模塊后，可結合現有視覺模型完成目標識別要求，算法融合后的系統性能具有良好的魯棒性;在飛行器控制方面，結合飛行器自身的反饋控制模塊與基于相對位置控制的PD位置控制器，優化飛行器自身姿態及目標追蹤過程中的動態參數調節優化功能，使飛行器在目標追蹤過程中具有良好的自適應性。基于以上兩點優化方案建立實驗模型，取得了較好的實驗效果。具體相對位置估計均方根誤差實驗結果為：在x方向上為0.124 Sm，在v方向上為0.243 7m，在z方向上為0.176 8m，證明了該優化方案的實用性。

關鍵詞：計算機視覺;無人機;目標識別;目標追蹤;ROS系統;OpenCV

DOI： 10. 11907/rjdk.191475

開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP301

文獻標識碼：A

文章編號：1672-7800（2020）001-0021-04

0 引言

在計算機視覺領域，物體識別算法框架的發展已趨于穩定，目前的計算機視覺已能夠應用于大部分場景[1-6]。無人駕駛飛行器[7-8]（ Unmanned Aerial Vehicle，UAV）是一種兼具飛行、垂直起降等功能，具有較好機動性的小型機器人，在融合計算機視覺技術后，廣泛應用于無人機導航、定位著陸、飛行避障、視覺同步定位與建圖（ Simultaneous Lo-calization and Mapping，SLAM）等方面。無人機物體識別追蹤技術利用無人機作為載體，結合計算機視覺技術，在飛行過程中結合飛行高度與視角，提取目標物體圖像特征并對特征信息進行處理，同時結合相對位置控制算法，實現追蹤功能。

無人駕駛飛行器在發展過程中，必然會經歷具備自主飛行能力的階段，而在自主飛行技術中，視覺追蹤技術是其中最為重要的。無人機由軍用與民用飛機演變而來，在定位方面，飛機上通常采用ADS-B廣播式自動相關監視系統與掃描雷達系統相融合實現自身定位，而早期大型無人機也沿用這種思路，通過GPS衛星確定飛機自身位置，定期向外廣播自身位置與航向。由于GPS衛星及雷達的成本非常高，隨后出現一種通過“看見”目標佩戴的GPS跟蹤器實現追蹤目的的特殊無人機，類似Lily Camera。該技術識別目標的能力較強，但也有著明顯缺點，受額外GPS追蹤器的限制，使其暫時難以得到廣泛應用。另一種方案是使用攝像頭與超聲波接發裝置，使無人機能用光學或聲學方式掃描周圍空間。如大疆的高端無人機“悟”，即憑借該技術可以在沒有GPS的室內進行簡單的懸停。但無論是光學攝像頭還是超聲波，都要依靠信號差進行判斷，因而無力應對反差小或者消聲、吸光的地面狀況。近年來隨著深度學習技術在計算機視覺領域的快速發展，使無人機依靠高性能芯片自主提取與識別跟蹤目標特征，從而實現物體的自動識別追蹤成為可能。

本文融合計算機視覺領域與機器人領域技術，提出飛行器在目標識別追蹤[9-13]過程中的一種優化模型。該模型改進了飛行器在目標識別追蹤過程中的視覺估計誤差匹配精度，達到了更好的人機交互效果。

1 整體系統描述

本實驗采用四旋翼飛行器AR.Drone Parrot，飛行器模型見圖1。

由于該飛行器體積小、質量較輕，并且有泡沫機身保護，因而可以很好地應對個人實驗項目。在硬件設施上，該無人機配備有三軸陀螺儀與加速度計、超聲波高度計、氣壓傳感器和磁羅盤。此外，其包含兩個攝像頭：飛行器前部有帶90。角鏡頭的攝像頭，分辨率為1280×720像素，采樣頻率為30 fps，用于對實時視頻流與圖像進行記錄;飛行器底部有一個微型攝像頭，分辨率為320×240像素，采樣頻率為15 fps，可用于估算水平光流速度。飛機本身嵌入Linux系統，因此可通過WiFi使飛行器與手機等電子產品進行交互。但該飛行器的軟件和硬件都采用封閉式架構，需要使用一臺裝配ROS操作系統[14]的PC作為上位機，通過上位機各模塊節點實現對下位機驅動程序的控制。實驗模型控制流程見圖2。

2 視覺對象識別與跟蹤

2.1 物體識別算法

實驗過程中飛行器正前方攝像頭以BCR格式、30Hz速率傳輸圖像，通過上位機中的OpenCV庫進行視頻流分析，并使用內核為Sx5的模糊濾波器對圖像進行平滑處理，實現降噪功能，從而減少因高頻噪聲引起的誤報檢測次數。同時，使用直方圖均衡化改善圖像對比度。ROS系統調用OpenCV庫中的Haar分類器[15-17]對目標進行識別，并通過卡爾曼濾波器選擇跟蹤識別目標。目標識別追蹤流程見圖3。

Haar分類器是一種監督分類器，其通過圖像的不同級別級聯使用H aar-like特征進行檢測，以確定是否存在預先訓練的指定目標物體圖片。此外，Haar分類器還使用積分圖（Intergral Image）對Haar-like特征求值進行加速，采用AdaBoost算法訓練區分具有特定特征的強分類器，并使用篩選式級聯方式將強分類器級聯結到一起，以提高準確率。

2.2 目標追蹤模型構建

卡爾曼濾波[8-20j（ Kalman Filter）是一種高效率的遞歸濾波器（自回歸濾波器），其能夠從一系列不完全及包含噪聲的測量中，估計動態系統狀態。為了增強算法對抗遺漏檢測的穩健性，以及在離散時間內的類似場景都能識別出訓練過的目標對象，在目標追蹤分類器上考慮使用卡爾曼濾波器。隨著離散時間的增加，線性算子則會作用在當前狀態上，產生一個新的狀態，同時會帶入一些噪聲，并且系統一些已知控制器的控制信息也會被加入。

本文控制算法基于真實實驗模擬場景，見圖4。對于每個被跟蹤的目標，飛行器會在離散時間內對目標建立運動學模型。

在卡爾曼濾波處理中有兩個過程：當檢測窗口的值小于某個門限值時采用卡爾曼濾波器，否則采用修正后的卡爾曼濾波算法。當飛行器在識別過程中捕獲多個目標時，分類器會識別與先前估計值最接近的目標。若正確識別目標，則更新卡爾曼濾波估計值，并用選框標記出來進行追蹤，追蹤過程中會更新卡爾曼濾波測量矢量參數;若識別多目標時出現錯誤，則進行算法流程迭代，追蹤過程中更新卡爾曼濾波估計，最終正確識別目標并進行檢測。

2.3 相對位置控制模型

為了保證飛行器在目標追蹤過程中有良好的自適應性和魯棒性，獲得完整的目標狀態信息反饋，需要飛行器在飛行過程中對目標物體保持恒定距離。將飛行器相對位置控制轉換成具有時變參考的三維位置控制，可以使用PD位置控制器對控制回路進行補償，則飛行器動態模型如下：

3 算法實驗與分析

為了更好地研究飛行器在實際目標識別追蹤過程中的性能，采用基于室內和室外兩種不同背景條件的檢測方法。在室內條件下，由于實驗背景的單一性及外部噪聲較少，飛行器在目標識別與追蹤過程中可以實現快速響應，因此室內試驗條件可用于測試計算機視覺算法融合結果。在室外實驗條件下，飛行器受光照、風力、背景等噪聲干擾較大，對其目標識別與追蹤性能造成一定干擾，則可以測試動態視覺相對位置估計誤差。

3.1 計算機視覺算法融合結果分析

針對計算機視覺算法融合結果的分析，是指在卡爾曼濾波控制飛行器位姿基礎上，融合Haar級聯分類器對目標的視覺算法結果進行分析。Haar級聯分類器可以預先訓練目標識別權重，卡爾曼濾波則有助于過濾識別的錯誤目標，從而提高系統運算速度，并使其具有較好的魯棒性。實驗數據見圖5。

3.2 計算機視覺估計誤差結果分析

視覺估計誤差結果見圖6。從圖中可以看出，在離散時間內，飛行器基于自身姿態相對位置估計誤差值比較穩定。對實驗數據進行處理后可以得出，在x、y、z3個方向上，相對位置估計均方根誤差的實驗結果分別為0.124 5m、0.243 7m和0.176 8m。

本文提出的飛行器目標識別追蹤算法在實驗中表現出良好性能，不論是在室內還是室外環境中，飛行器都能較好地應對外界噪聲，證實了系統的有效性、自適應性與魯棒性。

同時，本次實驗也存在一些不足。首先本實驗基于計算機視覺技術識別目標物體，對特征不明顯或未經過訓練的目標會出現識別錯誤等情況;其次是在飛行器追蹤功能中，采用相對位置控制以保證飛行器始終能獲取目標特征，但對于偏航造成的目標特征丟失過程缺乏魯棒性;受實驗條件限制，本實驗飛行器追蹤速度恒定，不適用于追蹤移動速度較快的目標。

4 結語

本文基于一種能夠搭載ROS系統的飛行器實現目標識別與追蹤功能。硬件設備使用AR.Drone與一臺裝配了ROS機器人系統的上位機，通過上位機節點通信功能實現對飛行器的控制以及物體識別與追蹤。在計算機視覺算法中，目標識別可通過Haar級聯分類器加以實現，同時調用卡爾曼濾波追蹤被標記的目標。在飛行器追蹤過程中，通過PD控制模型使飛行器在離散時間內完成與目標物體的相對位置調節，最終完成狀態反饋。未來希望能夠在本實驗數據基礎上，通過融合機器人及計算機視覺領域相關技術，進一步改善人機交互過程，使智能機器人能夠更好地服務于人們的生產和生活。

參考文獻：

[1] CHEN C H.Handhook of pattern recognition and computer vision[Ml. USA： World Scientific. 2015.

[2]DONALD G，STUART G，NEIL H， et al.Visual tunng test for com-puter vision systems[Jl. PNAS March， 2015， 112（ 12）： 3618-3623.

[3]SURAJ S，RAVI K S，KONDA R M， et al.A taxonomy of deep convo-lutional neural nets for computer vision[J].Front.Robot.AI. 2016，2（36）：1-13.

[4]STANISLAV E，DMITRY M，ALEKSANDR I，et al.Multilayer cogni-tive architecture for UAV control [J]. Cognitive Systems Research，2016， 39： 58-72.

[5]曹美會，鮮斌，張旭，等.基于視覺的四旋翼無人機自主定位與控制系統[J].信息與控制，2015，44（2）：190-196.

[6] 劉錦濤，吳文海，李靜，等.四旋翼無人機風場擾動軌跡控制器設計[J].飛行力學，2016， 34（2）：47-54.

[7]郁一帆，王磊.無人機技術發展新動態[J].飛航導彈，2019（2）：34-42.

[8]LAV G，RAJ J，GABOR V.Survey of important issues in UAV com-munication net，vorks[J].IEEE Communications Survevs& Tutorials，2016， 18（2）：1123-1152.

[9]DAWEI D，YUANKAI Q， HONCYANC Y. et al.The unmanned aeri-al vehicle benchmark： object detection and tracking[C].The Europe-an Conference on Computer Vision（ ECCV）， 2018： 370-386.

[10]CUSTAV H， COUTAM B， MARTIN D.Combining visual trackingand person detection for long term tracking on a UAV [Jl. Interna-tional Symposium on Visual Computing， 2016， 10072： 557-568.

[11]L1 J，YE D H. CHUNG T，et al.Multi-target detection and trackingfrom a single camera in unmanned aerial vehicles（ UAVs）[ C]. 2016IEEE/RSJ International Conference on Intelligent Robots and Sys-tems （IROS）. IEEE， 2016

[12] 張音哲，劉貴喜，李斯，等.無人機多機動目標自主探測與跟蹤[J].控制理論與應用，2015，32（ 11）：1561-1566.

[13]朱曉鋼，楊兵，許華杰.支持無線傳感器網絡多目標跟蹤的最鄰近數據關聯算法研究[J].計算機科學，2011， 38（5）：67-70.

[14]ANIS K.Robot Operating System （ROS）[ M]. Saudi Arabia： Spring-er， Cham.2016.

[15] 閆河，王鵬，楊曉龍，等.一種新的AdaBoost人臉檢測方法[Jl.重慶理工大學學報：自然科學，2019， 33（2）：106-110， 161.

[16] 張雪芹，方婷，李志前.基于類Haar特征和AdaBoost的車輛識別技術[J].華東理工大學學報，2016，42（2）：260-265.

[17]張丹丹，李雷.基于PCANet-RF的人臉檢測系統[J].計算機技術與發展，2016， 26（2）：31-34.

[18]崔培林，周翟和，呂品，等.自適應誤差四元數無跡卡爾曼濾波四旋翼飛行器姿態解算方法[J].西安交通大學學報，2019， 53（3）：97-102. IlO.

[19]CARCIA R V， NICHOLAS D F O M. KUGA H K， et al.UnscentedKalman filter for spacecraft atitude estimation using modified Ro-drigues parameters and real data [Jl. Computational and AppliedMathematics. 2016.35（3）： 835-846.

[20]喬少杰，韓楠，朱新文，等.基于卡爾曼濾波的動態軌跡預測算法[J].電子學報，2018， 46（2）：418-423.

[21]YONGPINC P，HAOYONG Y， TAIREN S. Global asymptotic stabi-lization using adaptive fuzzy PD control[ J].

IEEE， 2015， 45（3）：574-582.

[22]TOLGAY K. ALI H M. Adaptive PD-SMC for nonlinear robotic ma-nipulator tracking control [Jl. Studies in Informatics and Control，2017. 26（1）：49-58.

（責任編輯：黃健）

基金項目：國家自然科學基金項目（ 61573246）

作者簡介：李杰（1994-），男，上海理工大學光電信息與計算機工程學院碩士研究生，研究方向為機器人控制、圖像處理;劉子龍（1972-），男，上海理工大學光電信息與計算機工程學院副教授、碩士生導師，研究方向為嵌入式系統、控制科學與控制理論、機器人控制。