基于并行跟蹤檢測框架與深度學習的目標跟蹤算法

閆若怡 熊丹 于清華 肖軍浩 盧惠民

摘 要：在空地協同背景下，地面目標的移動導致其在無人機視角下外觀會發生較大變化，傳統算法很難滿足此類場景的應用要求。針對這一問題，提出基于并行跟蹤和檢測（PTAD）框架與深度學習的目標檢測與跟蹤算法。首先，將基于卷積神經網絡（CNN）的目標檢測算法SSD作為PTAD的檢測子處理關鍵幀獲取目標信息并提供給跟蹤子;其次，檢測子與跟蹤子并行處理圖像幀并計算檢測與跟蹤結果框的重疊度及跟蹤結果的置信度;最后，根據跟蹤子與檢測子的跟蹤或檢測狀態來判斷是否對跟蹤子或檢測子進行更新，并對圖像幀中的目標進行實時跟蹤。在無人機視角下的視頻序列上開展實驗研究和對比分析，結果表明所提算法的性能高于PTAD框架下最優算法，而且實時性提高了13%，驗證了此算法的有效性。

關鍵詞：并行跟蹤和檢測;目標跟蹤;深度學習;相關濾波;無人機

中圖分類號： TP242.62

文獻標志碼：A

Abstract： In the context of air-ground robot collaboration， the apperance of the moving ground object will change greatly from the perspective of the drone and traditional object tracking algorithms can hardly accomplish target tracking in such scenarios. In order to solve this problem， based on the Parallel Tracking And Detection （PTAD） framework and deep learning， an object detecting and tracking algorithm was proposed. Firstly， the Single Shot MultiBox detector （SSD） object detection algorithm based on Convolutional Neural Network （CNN） was used as the detector in the PTAD framework to process the keyframe to obtain the object information and provide it to the tracker. Secondly， the detector and tracker processed image frames in parallel and calculated the overlap between the detection and tracking results and the confidence level of the tracking results. Finally， the proposed algorithm determined whether the tracker or detector need to be updated according to the tracking or detection status， and realized real-time tracking of the object in image frames. Based on the comparison with the original algorithm of the PTAD on video sequences captured from the perspective of the drone， the experimental results show that the performance of the proposed algorithm is better than that of the best algorithm with the PTAD framework， its real-time performance is improved by 13%， verifying the effectiveness of the proposed algorithm.

Key words： parallel tracking and detection; object tracking; deep learning; correlation filter; drone

0 引言

隨著計算機視覺技術的發展，目標檢測與跟蹤技術被廣泛應用到各個領域，如無人機的軍事偵察、監控、打擊，電力巡檢，街景拍攝等。目標跟蹤作為計算機視覺領域的核心問題之一，大量的關于目標檢測與跟蹤的相關成果已經被提出和發表[1-3]。根據跟蹤過程有無目標檢測的參與，可將現有的跟蹤方法分為兩類： 基于生成模型的目標跟蹤方法和基于判別模型的目標跟蹤方法。基于生成模型的跟蹤方法一般首先構建目標的外觀模型，然后通過擬合該模型在圖像中找到最相似的區域作為目標區域;基于判別模型的跟蹤方法將目標跟蹤問題考慮為一個二分類問題，通過構建分類器來區分跟蹤目標和背景，與僅利用目標外觀信息的生成模型不同，基于判別模型的跟蹤子對目標和目標周圍環境都進行建模。也就是說，目標檢測可以看作是目標跟蹤的一個組成部分，主要是對目標狀態的初始化，基于視覺的目標檢測與跟蹤框架如圖1所示。

在基于目標檢測的跟蹤算法中，為訓練出合適的分類器，依靠在線學習的方式需要大量的計算資源，因此在實際目標跟蹤的應用中很難達到實時性要求。基于判別式的目標跟蹤方法能夠以較高幀率實現對目標的實時跟蹤，但是當目標模板存在漂移，尤其是當跟蹤的目標從相機視野中消失時常常會丟失目標且不能重新搜尋并跟蹤目標。因此，研究人員提出將跟蹤和檢測作為兩個模塊運行用于長時間的未知目標跟蹤。近年來主流的目標檢測與跟蹤算法：跟蹤學習檢測（Tracking-Learning-Detection， TLD）框架[4-5]在長時間的目標跟蹤方面具有較高的準確度和魯棒性，但是在實時性方面仍有待提高。受到并行跟蹤和建圖（Parallel Tracking And Mapping， PTAM）的啟發，熊丹[6]提出了并行跟蹤與檢測（Parallel Tracking And Detection，PTAD）框架，將跟蹤與檢測放在兩個線程運行，大大提高了跟蹤算法的實時性;而且該框架提供了開放接口，能夠集成整合不同的目標跟蹤和檢測算法，實現對移動目標的檢測和跟蹤，并能比較和測試不同目標跟蹤和檢測算法的性能。

在PTAD框架中，需要對給定的第一幀圖像中的運動目標進行標記，實現跟蹤算法的初始化，顯然預標記的訓練樣本并不充足;并且為提高跟蹤算法實時性，PTAD框架的檢測模塊跳過了一些圖像幀，加大了目標外觀變化對跟蹤算法性能的影響。實驗證明在無人機的視角下，當運動目標因移動而導致目標外觀發生變化時，算法的跟蹤框無法隨目標外觀自適應調整，跟蹤的準確度會降低;隨著目標在視野中由于角度的變化造成外觀的較大變化時，甚至可能丟失目標。文獻[6]提出的基于PTAD框架的目標跟蹤算法需要人工給定第一幀，手動標定帶來的不確定性會影響后續跟蹤，且不適用于無人機平臺。為了解決上述問題，同時提高跟蹤算法的精度和實時性，本文將深度學習算法引入到PTAD框架中，提出基于PTAD和深度學習的目標檢測與跟蹤算法，并通過對比實驗驗證了這一算法的可行性。

1 PTAD算法框架

從uav123數據集[7]中提取部分連續的圖像幀（如圖2所示為第111～119幀）可以看出，目標跟蹤過程中，運動目標（汽車）的外觀和運動環境的變化是緩慢漸進的，很少發生連續圖像幀突變的情況，因此在基于視覺的檢測與跟蹤算法框架中，檢測模塊不需要對圖像序列中每一幀的跟蹤狀態進行判斷并對跟蹤模塊進行校正。為了提高算法的運行速度、節省計算資源，熊丹[6]提出了PTAD算法框架。PTAD框架分成跟蹤和檢測兩部分，在兩個線程內獨立完成任務：一個線程以較高的速度處理連續圖像幀實現目標跟蹤;另一個線程進行在線半監督學習訓練分類器，從而更新目標模型并檢測跟蹤的目標。

PTAD框架中的跟蹤模塊和檢測模塊并行處理，其中跟蹤模塊通過目標在圖像序列前后幀之間的位置關系對目標進行定位，可以看成是PTAD框架的前端。跟蹤子計算資源需求少且實時性較好，但如果跟蹤失敗，它無法靠自身恢復跟蹤或初始化。檢測模塊分為分類和學習兩個部分，采用在線半監督學習算法為檢測模塊更新分類器，當跟蹤模塊丟失目標或出現大尺度漂移時，檢測模塊可以幫助其重新初始化和校正，這一部分看成是PTAD框架的后端。PTAD框架的架構如圖3所示。

基于PTAD框架的目標跟蹤過程如下：首先對第一幀圖像中的目標進行人工標定，訓練初始分類器，并初始化跟蹤模塊。接下來整個框架的執行流程可以劃分成一系列結構相同的執行塊（如圖3中粗實線框所示）。每個執行塊中的第一幀為關鍵幀，檢測子和跟蹤子會處理所有的關鍵幀。檢測子處理關鍵幀后得到檢測框的置信度以及檢測框處剪切的圖像塊，并根據這個置信度判斷檢測模塊的檢測狀態。跟蹤子處理關鍵幀得到跟蹤框、跟蹤框處剪切的圖像塊和跟蹤狀態，這些結果會輸入到檢測模塊得到跟蹤的置信度，而跟蹤子繼續處理圖像幀（僅由跟蹤子處理的幀稱為跟蹤幀，如圖3中細虛線框所示），檢測子將跳過這些幀，這也是PTAD框架的特點之一。它們處理的結果經過整合為檢測子提供更加可靠的訓練樣本，用于更新檢測模塊中的分類器，這樣訓練出來的分類器的誤分率較低。每個執行塊具體執行流程如圖4所示，其中KF、TFs分別為關鍵幀和跟蹤幀，tBox、tState分別為跟蹤子中的跟蹤框和跟蹤狀態，dBox、dState分別為檢測子的檢測框和檢測狀態，finalBox為框架輸出的跟蹤結果框。

2 基于PTAD和深度學習的目標跟蹤算法

2.1 基于深度學習的目標檢測算法

傳統目標檢測算法存在明顯的弊端，基于滑動窗口的區域選擇策略沒有針對性，導致出現窗口冗余且計算復雜度高的問題，因此基于候選區域的深度學習目標檢測算法被提出，大大降低了計算復雜度且獲取的候選窗口的質量要高于滑動窗口。Girshick等[10]設計了基于區域選擇的卷積神經網絡（Regions with Convolutional Neural Network features， R-CNN）目標檢測框架， 用候選區域和卷積神經網絡代替了傳統目標檢測算法，使得目標檢測取得了重大突破。為解決R-CNN算法檢測速度慢且占用大量內存資源的問題， He等[11]提出空間金字塔池化網絡（Spatial Pyramid Pooling in Deep Convolutional Networks， SPP-NET），減少了每幀圖像需要提取的特征，避免了大量的重復計算，并可以對不同大小的圖像產生相同大小長度的表示特征;但是整個框架與R-CNN一樣仍然有步驟繁瑣的缺點。Girshick[12-13]團隊又先后提出了Fast R-CNN和Faster R-CNN，將候選區域和卷積神經網絡統一到一個網絡中，使用端對端學習的方式進行目標檢測，雖然無法達到實時，但也較大地提高了精度和運行速度。為了達到目標檢測的實時性，基于單個網絡的實時目標檢測框架（You Only Look Once， YOLO）[14]和基于單網絡多層次預測框（Single Shoot multibox Detector， SSD）的目標檢測[15]算法被提出，它們是基于回歸方法的深度學習目標檢測算法。這類方法使用了回歸的思想，將目標檢測作為回歸問題求解，訓練和檢測都在一個單獨的網絡中，沒有分類部分，即給定輸入圖像后，直接在圖像的多個位置上回歸出這個位置的目標邊框及目標類別和置信度。實驗結果表明，在VOC數據集上進行目標檢測，SSD（512×512）算法的mAP（mean Average Precision）更高，YOLOv2算法的運行速度更快，SSD（300×300）算法的mAP和運行速度介于上述兩種算法之間[16]。

2.2 SSD算法

SSD算法是一種直接預測目標邊界框（bounding box）坐標和類別的目標檢測算法，它沒有生成候選區域的過程。算法的主網絡結構基于VGG16進行修改，將兩個全連接層改成卷積層再增加4個卷積層構造網絡結構，修改后的網絡結構圖如圖5所示。

當針對不同大小的物體檢測時，相比Faster R-CNN算法選擇多尺度的候選區域進行計算，SSD算法則利用不同卷積層的多個特征圖（feature map）自然地得到多尺度的檢測結果。SSD算法的核心是提出了默認框（default box）的概念（如圖6所示）， 算法同時采用高層和低層的feature map作檢測，網絡中有8×8和4×4兩種大小的feature map，在feature map的每個小格上都有一系列固定大小的框。 圖5中的五個卷積層（每一層的default box的數量是給定的）與兩個3×3的卷積核進行卷積，對每個default box得出預測所有物體類別的置信度和偏移。可以看出，default box在不同的feature map有不同的尺寸，在同一個feature map又有不同的長寬比，因此基本上可以覆蓋輸入圖像中各種形狀和大小的目標。從圖5及上述描述中可知，圖像經過網絡中的feature map能夠生成8732個default box，從而實現對不同尺寸的目標進行更為準確的檢測。最后經過非極大值抑制算法得到結果框bounding box。