基于機載機器視覺的無人機自主目標跟蹤研究

◆常 川 劉科成

?

基于機載機器視覺的無人機自主目標跟蹤研究

◆常 川1劉科成2

（1.武漢大學遙感信息工程學院 湖北 430072；2.上海交通大學電子信息與電氣工程學院 上海 200052）

目標跟蹤在軍事、民用等多個領域得到了廣泛的應用，通過無人機進行實時的目標跟蹤是近幾年研究的熱點。文章研究了四旋翼無人機對地面動態目標實時的檢測與跟蹤問題，設計實現了基于機載計算機的無人機跟蹤系統，使得無人機能夠實時處理攝像頭獲取到的視頻數據，并結合YOLO（You Only Look Once）目標檢測算法和核相關濾波（Kernerlized Correlation Filter, KCF）目標跟蹤算法，實現了快速穩定的目標跟蹤。最后在室外環境中對行人進行了跟蹤實驗，驗證了無人機目標跟蹤系統的有效性。

無人機；YOLO目標檢測算法；KCF目標跟蹤算法；機器視覺

0 引言

無人機通過自身搭載的攝像頭進行動態的目標跟蹤是計算機視覺領域和無人機領域的一個熱點問題[1]。無人機通過目標檢測算法[2]檢測跟蹤對象所在位置，并通過目標跟蹤算法[3]對跟蹤目標進行跟蹤，無人機跟隨跟蹤對象進行飛行，從而實現對特定目標的動態跟蹤[4]。

本文提出了基于機載計算機的無人機跟蹤系統，實現了對跟蹤場景的實時處理，并將目標檢測算法與目標跟蹤算法相結合，提升目標跟蹤的穩定性，從而實現了無人機進行動態目標跟蹤的自主化。

1 相關研究

目標檢測的常規方法是將每幀圖像分割成區域，并根據特征判斷每個區域中是否包含該對象[5]。英國杜倫大學采用卷積神經網絡和遷移學習來實現目標檢測，實驗表明YOLO[6]（You Only Look Once）、基于區域的快速卷積神經網絡（Faster-RCNN）[7]和基于區域的完全卷積網絡（R-FCN）經過遷移訓練后，可以實現對行李箱中非法物體的檢測[8]。YOLO是一種新的對象檢測算法，它可以“一眼”就能預測出物體是什么以及物體所在的位置[9]。

目標跟蹤旨在估計視頻中預定義目標的位置或運動狀態[10]，其在視頻監控、機器人技術和自動駕駛等方面有著廣泛的應用。核相關濾波（Kernelized Correlation Filter, KCF）算法是目標跟蹤中常用的算法[11]。中國科學院大學的研究人員提出了自適應學習率和遮擋檢測機制，改進了KCF算法的跟蹤效果和速度[12]。Henriques 和Caseiro提出了一種基于線性內核的快速多通道擴展的KCF算法，相比于Struck和TLD等跟蹤器，具有更快的速度，并且所需代碼數更少[13]。

基于機載計算機進行實時數據處理，并結合目標檢測算法和目標跟蹤算法，可以實現快速穩定的動態目標跟蹤。

2 系統設計

2.1 硬件系統設計

本文使用四旋翼無人機搭載單目攝像頭和機載計算機，實現實時的動態目標跟蹤。所使用的實驗設備為DJI M100無人機、機載計算機（妙算 Manifold： NVIDIA Tegra K1處理器，四核ARM和GPU CUDA核心，最高主頻2.2GHZ）、手持設備（普通智能手機）、遙控器、單目攝像頭（禪思Z3云臺相機，1080p分辨率），將各種設備進行系統集成后的結構圖如圖1(a)所示。在系統運行過程中，需要實現手持端和無人機機載端的通信，即將手持設備與遙控器進行連接，將機載計算機與無人機進行連接，即可通過數據透傳通道實現端到端通信，設備通信示意圖如圖1(b)所示。

將無人機硬件系統與軟件方案進行系統集成，需要分成兩部分進行：

（1）無人機機載端：將無人機與機載計算機連接后，在機載計算機上安裝ROS操作系統，并安裝部署無人機控制模塊、目標檢測模塊、目標跟蹤模塊，機載計算機基于消息通信機制實現各個模塊的調用。

（2）手持設備端：手持設備上安裝應用程序，完成無人機的手動控制、命令發布和結果顯示。

2.2 方案設計

如圖2所示，在室外環境中實現無人機對特定目標的動態跟蹤，需要分為以下步驟進行實現：

（1）通過手持設備發送目標跟蹤指令，機載計算機接收并解析指令。

（2）機載計算機調用目標檢測算法檢測跟蹤對象所在位置，并將檢測結果回傳至手持設備進行顯示。

（3）通過手持設備對跟蹤目標進行框選，機載計算機調用目標跟蹤算法對框選的跟蹤目標進行跟蹤。

（4）無人機根據跟蹤對象的位置變化，進行姿態調整和位置移動。

圖2 方案流程圖

3 基于機器視覺的目標檢測與跟蹤

實現無人機對特定目標的動態跟蹤，需要兩個模塊的協同作用：目標檢測模塊和目標跟蹤模塊。其中目標檢測模塊負責檢測跟蹤對象所在位置，并將檢測結果傳輸到目標跟蹤模塊，以輔助目標跟蹤模塊實現穩定的動態目標跟蹤，目標跟蹤模塊用于實時更新跟蹤對象的位置變化，并回傳信息以便進行無人機的飛行控制，流程圖如圖3所示。

圖3 流程圖

3.1 目標檢測

目標檢測算法基于YOLO v3[14]，其主要功能是檢測視頻中的對象，并找到對象所在位置（即提取邊界框）。目標檢測算法接受2D圖像作為輸入，輸出為檢測到的邊界框的坐標列表。

YOLO v3在進行對象類別預測時，使用獨立的logistic分類器替代softmax分類器，使得YOLO v3在分類上具有更好的性能，logistic分類器公式：

本文在YOLO v3的基礎上，進行了如下改進：

（1）使用Keras重新檢測網絡。

（2）輸出檢測到的對象所在包絡矩形的坐標列表（,,,），用于目標跟蹤算法的跟蹤框，提高目標跟蹤的魯棒性。

（3）將多個對象的檢測更改為單個對象的檢測，使得目標檢測算法只檢測單個對象，增加了算法的執行速度，也減少了檢測出的其他對象對目標監測的干擾。

3.2 目標跟蹤

目標跟蹤采用了KCF算法，KCF目標跟蹤算法通過線性脊回歸模型實時更新被跟蹤對象，使用循環矩陣和內核函數減少計算的次數，這使得KCF目標跟蹤算法達到了較快的速度。

通過循環矩陣的定義可知，式（7）為循環矩陣。

在進行目標跟蹤之前，需要手動選擇感興趣區域（Region of Interest, ROI)，選定后，目標跟蹤算法會對ROI中的對象進行跟蹤。

KCF算法存在的一個問題是：在算法運行過程中目標框的大小是固定的，而跟蹤的物體的大小可能發生變化，這會導致跟蹤框的漂移。本文的改進方案是在進行目標跟蹤之前，先進行目標檢測，使用檢測到的對象所在的矩形框坐標列表代替跟蹤框坐標，從而減少跟蹤框的漂移。

4 實驗結果與分析

4.1 實驗過程

本文在學校籃球場中進行無人機的跟蹤實驗：

（1）啟動無人機飛行至一定高度，通過手持設備向無人機發送目標檢測的指令，無人機對操場上的人群進行目標檢測，并回傳至手持設備進行顯示。

（2）在手持端框選出跟蹤的對象，并發送跟蹤命令至無人機。

（3）無人機跟隨跟蹤對象進行移動。

圖4 實驗場景

4.2 實驗結果與分析

如圖5所示，藍色矩形框為目標檢測的結果，黃色矩形框為跟蹤對象所在的跟蹤框，無人機飛行過程中，能夠檢測到特定對象所在位置，并能夠將檢測結果與目標跟蹤算法相結合，實現對目標的動態跟蹤。

圖5 無人機目標跟蹤結果

為了檢驗無人機在跟蹤過程中的穩定性，在籃球場實驗的基礎上，分別又進行了道路和室外停車場中無人機跟蹤實驗，跟蹤結果如表1所示，無人機在目標跟蹤過程中出現了較少的目標丟失，實現了較為穩定的目標跟蹤。

表1 跟蹤目標丟失情況

最后，對目標檢測模塊和目標跟蹤模塊的改進效果進行了分析：

（1）目標檢測模塊改進效果與分析

圖6 目標檢測結果

目標檢測模塊與目標跟蹤模塊的改進效果如圖6所示，圖6(a)是多目標檢測，使用Keras重寫的YOLO網絡進行目標檢測的結果，檢測評價結果如下：

①花費時間：2.88s。

②按從左到右、從上到下順序藍色包絡矩形中對象的置信度如圖7(a)所示。

圖7 (b)更改為單目標檢測，檢測評價結果如下：

①花費時間：2.56s。

②按從左到右、從上到下順序藍色包絡矩形中對象的置信度如圖6(b)所示。

改進效果分析：如上所示，基于Keras重寫的YOLO v3網絡，可以實現對場景中物體的檢測，得到檢測出的對象是相應物體的置信度，以及該物體所在位置坐標；在實現YOLO v3目標檢測功能的同時，也便于在研究過程中定制所需的功能，可以更方便的與目標跟蹤算法進行結合；將多類別的識別更改為單個類別，即只對人的識別，在一定程度上提高了算法的速度，檢測時間對比如圖7所示。

圖7 速度對比折線圖

（2）目標跟蹤模塊改進效果與分析

本文對單獨的KCF目標跟蹤算法以及結合了目標檢測的KCF目標跟蹤算法分別進行了測試：

圖8 動態目標跟蹤結果

單獨的KCF目標跟蹤算法，結果圖片如圖8(a)所示。結合了YOLO目標檢測算法的KCF目標跟蹤算法，結果圖片如圖8(b)所示。為了更好的顯示效果，采用把目標檢測算法的結果框值（,,,）做變換（+,+5,-10,-10）后作為目標跟蹤的跟蹤框，因此左邊藍色矩形框為目標檢測結果框，黃色矩形框即為目標跟蹤框。

改進效果分析：相比于單獨的KCF目標跟蹤算法，結合了YOLO目標檢測算法的KCF算法可以減少跟蹤過程中跟蹤框的漂移，使得跟蹤框與跟蹤對象大小同步變化，減少了負樣本的干擾，而且在一定程度上增加了跟蹤目標丟失時找回跟蹤目標的概率，達到更加穩定的目標監測效果。

5 結束語

本文設計了基于視覺的無人機跟蹤系統，完成了無人機硬件系統的搭建及核心算法的改進，并對室外場景中的行人進行了動態的跟蹤實驗。首先，基于機載計算機，實現了無人機實時處理和分析視頻數據，并融合改進的目標檢測算法和目標跟蹤算法，增加了目標跟蹤的穩定性，實現了室外場景中無人機目標跟蹤的穩定性。所設計的目標檢測與跟蹤算法雖然能夠實現對特定目標穩定、動態的跟蹤，但仍存在一定的不足，在跟蹤過程中如果發生目標丟失，系統缺少找回丟失目標的完備方案，后續的研究將進一步解決這個問題。

[1]劉亞偉, 李小民, 陳為元.基于改進CamShift融合Kalman濾波的無人機目標跟蹤研究[J].電光與控制, 2017(8):33-37.

[2]Song K C , Yan Y H , Chen W H , et al. Research and Perspective on Local Binary Pattern[J]. Acta Automatica Sinica, 2013, 39(6):730-744.

[3]Vo B N , Vo B T , Phung D . Labeled random finite sets and the bayes multi-target tracking filter[J]. IEEE Transactions on Signal Processing, 2014, 62(24):6554-6567.

[4]基于視頻圖像動態目標檢測與跟蹤算法的硬件實現研究[D].電子科技大學, 2012.

[5]Dong H , Shaorong X , Chao L I , et al. Target Detection and Tracking Based on ABCshift Algorithm[J]. Computer Engineering, 2011, 37(4):203-205.

[6]You Only Look Once: Unified, Real-Time Object Detection[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society, 2016.

[7]王黎, 陸慧娟, 葉敏超,等. Faster-RCNN的癌癥影像檢測方法[J].中國計量學院學報, 2018, v.29；No.90(02):30-35.

[8]Akcay S , Kundegorski M E , Willcocks C G , et al. Using deep Convolutional Neural Network architectures for object classification and detection within X-ray baggage security imagery.[J]. IEEE Transactions on Information Forensics & Security, 2018, PP(99):1-1.

[9]Du Juan. Understanding of Object Detection Based on CNN Family and YOLO (J). Journal of Physics Conference Series, 1004, 2018.

[10]姚紅革, 郝重陽, 雷松則,等.序列圖像中彩色目標跟蹤的加權顏色分布方法[J].中國圖象圖形學報, 2018, 14(1):99-105.

[11]Output Constraint Transfer for Kernelized Correlation Filter in Tracking[J]. IEEE Transactions on Systems Man & Cybernetics Systems, 2016, 47(4):693-703.

[12]Zhou T , Zhu M , Zeng D , et al. Scale Adaptive Kernelized Correlation Filter Tracker with Feature Fusion[J]. Mathematical Problems in Engineering, 2017, 2017:1-8.

[13]Henriques, Jo?o F, Caseiro R, Martins P , et al. High-Speed Tracking with Kernelized Correlation Filters[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 37(3):583-596.

[14] Redmon J , Farhadi A . YOLOv3: An Incremental Improvement[J]. 2018.