基于事件相機的無人機目標跟蹤算法

朱強，王超毅，張吉慶，尹寶才，魏小鵬，楊鑫

（大連理工大學計算機科學與技術學院，遼寧 大連 116000）

0 引言

如今無人機已在各個領域發揮著不可替代的作用，而目標跟蹤是無人機一項極為重要的功能，當無人機僅搭載RGB相機時，無法有效適應較為復雜的跟蹤場景：（1）由于槳葉拉力和離心力產生共振和受外界風力影響，拍攝的圖像較模糊，無法有效利用計算機視覺算法進行單目標跟蹤；（2）無人機的工作環境較為復雜，用傳統相機結合視覺算法在復雜光照場景下魯棒性低，在夜間或過曝光場景下無法有效跟蹤物體。為解決上述無人機視角下的目標跟蹤問題，本文采用無人機搭載動態和有源像素視覺傳感器（DAVIS）事件相機［1］的方法進行目標跟蹤。利用DAVIS事件相機特殊的成像機制，避免因目標物體快速運動出現成像模糊，從而有效適應無人機抖動、特殊光照等復雜場景，采集的待跟蹤物體的邊緣信息較RGB相機更有效。據此，設計了基于事件與灰度圖的雙模態融合跟蹤網絡，有效利用事件域數據的邊緣信息和APS域數據的紋理信息。為更好地訓練事件與灰度圖雙模態融合跟蹤網絡，用運動捕捉系統Vicon制作了無人機視角下的目標跟蹤Event-APS 28數據集。實驗結果證明，設計的網絡能更好地適應無人機復雜的跟蹤場景。

1 國內外研究現狀

1.1 相關濾波跟蹤算法

相關濾波跟蹤算法最初在信號處理與分析領域用于描述2個信號之間的相似程度。BOLME等［2］最早提出最小平方誤差輸出總和（MOSSE）算法，將相關濾波應用于目標追蹤。對待跟蹤的目標視頻幀需要尋找其對應的濾波模板，并和視頻幀做相關性操作，得到響應圖。為加快運算速度，MOSSE算法還引入了快速傅里葉變換［3］操作，將卷積操作變換為點乘操作，從而大大降低了模型的計算量。

基于MOSSE算法的循環結構跟蹤相關濾波（CSK）算法［3］，在MOSSE算法基礎上加入了正則項，且為防過擬合，引入了核函數和循環矩陣。核化相關濾波（KCF）算法［4］將多通道梯度直方圖作為輸入，以提高目標跟蹤的精度，采用“嶺回歸”和“核函數”等技巧簡化運算，是對CSK算法的進一步改進。相關濾波跟蹤器具有較高的跟蹤速度，應用廣泛。

雖然相關濾波跟蹤方法在目標跟蹤中具有不錯的效果，但仍存在一些問題。首先，魯棒性較差，遇到遮擋等情況難以滿足跟蹤要求；另外，準確率不及深度學習跟蹤算法。

1.2 深度學習跟蹤算法

近年來，隨著深度學習的發展，單目標跟蹤領域涌現出很多優于傳統跟蹤方法的深度學習算法。BERTINETTO等［5］提出基于全卷積孿生網絡的單目標跟蹤算法（fully convolutional siamese network，SiamFC），顧名思義，孿生神經網絡的結構是對稱的，2個分支的輸入分別是第1幀的目標區域和待搜索的視頻幀，如果輸入的視頻幀不符合尺度要求，則需要用均值進行填充。SiamFC通過AlexNet［6］提取2個分支的圖像特征，并對得到的模板幀特征和搜索幀特征進行互相關操作，得到待搜索視頻幀的目標框。之后BO等［7］在SiamFC基礎上引入了區域推薦生成網絡（region proposal network，RPN），實現了多個尺度的圖像處理，準確回歸出目標位置。WANG等［8］提出的SiamMask，通過在SiamFC網絡上添加mask分支，以適應由物體形狀位置實時生成的包圍框。

基于循環神經網絡的目標跟蹤算法不同于基于卷積網絡的跟蹤算法，可針對視頻跟蹤序列的時序信息進行建模，利用循環神經網絡保存視頻的幀連續性信息［9］。經典的有結構關注網絡（SANet）、基于動態記憶網絡等跟蹤算法。

雖然基于深度學習的算法已表現出優異的性能，但由于RGB相機有限的幀率和有限的動態范圍，使得無人機在復雜光照場景下的魯棒性較差，在夜間低光照或過曝光場景下無法有效跟蹤目標。

1.3 事件相機

事件相機在流體力學、顯微鏡、粒子跟蹤、熒光成像、機器人等領域有廣泛應用［9］。傳統的RGB相機因受成像機制影響，存在數據冗余、欠采樣和處理延遲等不足，而仿生的事件相機其成像機制類似于視網膜，采用的是異步事件驅動機制，當某個像素的亮度變化累計達到一定閾值時，輸出一個“事件”。“事件”是具有橫縱坐標值、像素極性、時間戳的一個四維向量：

其中，posi為事件的像素坐標，ti為發生該事件的時間戳，pi為極性，其值為－1和+1，分別表示光強的減弱和增強。

2 方法綜述

首先，引入DAVIS事件相機，用其代替傳統的RGB相機，DAVIS事件相機既可以傳輸事件信息（Event圖像），又可以傳輸灰度圖（APS圖像）；其次，設計事件與幀圖像融合的目標網絡。在網絡中設計事件成像和APS成像的特征融合模塊，有效利用事件域和APS域的優點，以應對復雜光照、快速抖動等場景下無人機的目標跟蹤。為更好地訓練網絡，用事件相機和Vicon運動捕捉系統構建了無人機視角下的Event圖像和APS圖像跟蹤數據集。

2.1 Event-APS 28數據集制作

為同時利用事件域信息和APS域信息，設計了能融合2個模態的信息特征提取網絡，APS圖像能有效描述待跟蹤目標的紋理信息，而在低光照、快速運動場景下，Event圖像更注重目標物的邊界輪廓信息，且受光照影響較小。目前的開源目標跟蹤數據集中尚未見APS和事件相機相融合的數據集，為更好地訓練網絡，筆者制作了Event-APS 28目標跟蹤數據集。

本文用DAVIS事件相機和Vicon運動捕捉系統采集數據集，通過相機校準、創建對象、跟蹤拍攝等步驟得到數據集中待跟蹤物體的目標框，避免人工標注每幀的真值。Vicon主要基于計算機圖形學原理，通過用分布在空間不同角度的相機記錄待跟蹤目標物，得到不同時間維度的空間坐標(x，y，z)。用12個光學相機環繞場地，在待跟蹤物體的邊界用雙面膠粘貼“Marker”反光點［10］，運動捕捉系統的視覺識別設備實時記錄Marker在三維空間中的位置信息，當粘貼了Marker的物體運動時，相機會連續拍攝其運動圖像，并保存標志點的軌跡序列，事件相機也進行同步拍攝。對無法遙控的模型，用吊繩懸掛，通過牽引使其運動。

2.2 Event-APS 28數據集分析

為模擬無人機的視角目標跟蹤，選用28種目標模型物體制作Event-APS 28數據集，包括迷彩目標物體、工程車輛、民用交通工具、動物、其他常見運動物體5個類別，分別占28%，16%，24%，24%，8%。表1為Event-APS 28數據集與目前主流的事件數據集對比。

表1 Event-APS 28數據集與其他事件數據集對比Table 1 Comparison of Event-APS 28 dataset and other event datasets

Event-APS 28數據集分為正常光照、過曝光、運動模糊和低光照4種場景。圖1從上到下依次為這4種場景下數據集視頻序列展示圖，4種場景圖中，上方的為APS圖像，下方的為疊加Event圖像。

圖1 Event-APS 28數據集部分展示Fig.1 Partial display of the Event-APS 28 dataset

3 無人機目標跟蹤算法

3.1 網絡架構

借鑒ATOM網絡結構的設計思想，將目標跟蹤分為目標分類器和目標框回歸模塊兩部分。目標分類器用于目標分類，對目標進行粗跟蹤，目標框回歸模塊用于精細定位目標。圖2為本文設計的事件與灰度圖雙模態融合跟蹤網絡，該網絡包含2個孿生分支，上半部分為參考分支（reference），下半部分為測試分支（test）。參考分支輸入的為參考幀的灰度圖與兩幀之間疊加的事件域圖像；測試分支輸入的為當前視頻幀的灰度圖與兩幀之間疊加的事件域圖像。提取特征部分借鑒的是遷移學習的思想，即訓練網絡加在線微調的思想，其中預訓練網絡采用已在ImageNet［13］數據集上進行預訓練的VGG-16網絡。

圖2 事件與灰度圖雙模態融合目標跟蹤網絡架構Fig.2 Target tracking nework architecture of event and grayscale image dual-mode fusion

在參考分支中,APS域與事件域的特征提取網絡采用預訓練好的VGG-16網絡,提取VGG-16網絡第10個卷積層(低維特征)與第13個卷積層(高維特征)的中間結果輸出,分別得到參考分支APS域的低維特征與高維特征,參考分支事件域的低維特征與高維特征。通過特征融合模塊(feature fusion module),將對應維度的APS域特征與事件域特征融合,得到融合后的結果：

由于本文采用的是孿生網絡結構，參考分支與測試分支結構相同，同理可得測試分支低維特征信息與高維特征信息融合后的中間結果：

高維特征具有更強的語義信息，但分辨率很低，對細節的感知能力較差；而低維特征的分辨率較高，包含的細節信息更多［14］，故將2個分支的APS域和事件域的低維特征信息融合，得到低維特征圖，并將其輸入分類器，完成目標分類任務。分類器的網絡結構較為簡單，首先，對參考分支低維特征信息的中間結果進行卷積和精準區域池化（PrPooling）操作，將得到的中間結果視作卷積核，對測試分支融合后的低維特征信息進行卷積操作。分類器對輸入特征信息的操作可表示為

其中，C3代表對特征圖進行3×3卷積操作，Scorecls為概率矩陣。

在設計目標框回歸模塊時，綜合利用低維特征和高維特征的優點，將兩者共同作為輸入，將參考分支的特征信息經3×3卷積操作、通道注意力機制（CA）和PrPooling操作后，分別與通過3×3卷積操作的測試分支特征進行元素級乘，并將得到的特征圖分別經過一個全連接層（FC），得到中間結果φL，φH：

目標框回歸模塊，利用2個維度的中間結果進行連接組合操作，最后通過全連接層得到最終結果：

其中，中括號代表2個特征按照通道進行串聯組合的操作。

事件域與APS域雙模態融合網絡的損失函數為

其中，Loss由分類器的損失函數Lcls和目標框回歸模塊的損失函數共同組成，超參數μ為加權系數，用以平衡目標分類器和目標框回歸模塊2個分支，IoUi和IoUgt分別為目標框回歸模塊的預測值和真實值，Nreg為預測的IoU數。

雖然回歸模塊可提供精準的目標框，但為增強其判別能力［15］，本文增加了分類器模塊，為分類器模塊設計的L2目標函數為

其中，ω為網絡層權重，Ncls為預測模塊數，γm為對應訓練樣本的權重，描述其重要程度，xm和ym分別為網絡的輸入和輸出。為防止出現過擬合，在L2目標函數后添加了正則項，ρk為正則項系數。

3.2 特征提取模塊

為有效提取事件域和APS域圖像的特征，采取遷移學習中的預訓練網絡與在線微調的方法。用經ImageNet數據集預訓練的VGG-16網絡，提取事件域和APS域2個模態的信息特征，VGG-16網絡由13個卷積層加3個全連接層組成，采用的卷積核較小（3×3），其中比較特殊的1×1卷積核，可視作對圖像特征圖進行線性空間映射，網絡的前幾層為卷積層，后幾層為全連接層，最后為softmax層［16］。

通過VGGNet網絡提取的低層特征感受野較小，保留了細粒度的空間信息，便于跟蹤器精確定位待跟蹤物體；而高層特征的感受野較大，主要反映的是圖像的目標語義特征，對目標變化的魯棒性較好。本文在參考分支提取事件域和APS域特征時，用第10個卷積層的輸出作為低維特征信息、第13個卷積層的輸出作為高維特征信息（式（12）～式的計算式分別為：

由于本文采用孿生網絡結構，參考分支和測試分支具有相同的分支結構，同理可得測試分支APS域和事件域的低維與高維特征信息：

3.3 特征融合模塊

APS域包含更多待跟蹤物體的紋理信息，而DAVIS事件相機拍攝的事件域數據更關注目標的邊緣信息，為使網絡更好地適應無人機場景下的目標跟蹤，針對事件域與APS域成像的特點，設計了特征融合模塊（feature fusion module，FFM）。圖3為FFM的網絡架構圖，其本質是利用事件域信息引導APS域圖像的表達。

圖3 FFM網絡架構Fig.3 Network architecture of FFM

FFM的輸入為事件域特征E與APS域特征A，針對事件域的特征信息，求每個通道的均值，并用Sigmoid激活函數處理，Avg表示均值操作，得到特征圖τE：

將通過Sigmoid激活函數處理的特征圖τE與E進行元素級乘，得到的結果送入通道注意力（channel attention，CA）模塊，得到中間結果φE：

中間結果φE與輸入的APS域特征進行元素級乘，得到融合后的特征圖fout：

將融合后的低維特征圖fout作為后續分類器的輸入，融合后的高維與低維特征信息作為目標框回歸模塊的共同輸入。

為更好地融合事件域與APS域的特征信息，在FFM中引入CA。FFM在訓練網絡過程中會增加重要通道的權重，減小不重要通道的權重，從而有效提高網絡的性能。FFM中采用的CA機制網絡架構如圖4所示。

圖4 CA機制網絡架構Fig.4 Network architecture of CA mechanism

對輸入后的特征圖X，其特征的通道數為C0，用C個卷積核進行卷積得到特征圖U；對特征圖U，通道數為C，將通道數分為上、下2個分支，其中上分支中，一部分采用全局池化的方法將每個通道的二維特征(H×W)壓縮為一維特征，計算式為

通過對特征圖U(C×H×W)全局池化得到Z(1×1×C)；另一部分將生成特征圖Z中通道對應的權重值。首先通過全連接層，壓縮特征的維度，再通過ReLU函數激活，第2個全連接層負責將前面的特征值變為C個通道，最后通過Sigmoid函數激活。經Sigmoid函數激活處理，依次得到C個通道的權重，其中全連接層的參數隨損失函數更新。

3.4 網絡訓練

根據事件域與APS域融合跟蹤網絡的特點，為有效平衡學習率過大和過小問題，采用Poly策略對學習率進行動態更新：

其中lrnew表示當前學習率，lrbase表示初始學習率，iter表示當前訓練的迭代次數，itermax表示總的訓練迭代次數，power控制該函數曲線的凸凹性。

事件域與APS域雙模態融合跟蹤網絡在一臺配置了20核i9-10900K 3.7 GHz CPU，64GB RAM和NVIDIA RTX3090 GPU的電腦上進行訓練。網絡訓練選用自制的Event-APS 28數據集，用TenosrFlow網絡框架進行編寫，訓練的初始學習率為0.001，epoch為50，BatchSize為16，采用Poly策略實時更新學習率。

4 實驗結果與性能分析

4.1 實驗結果的定性分析

將拍攝的數據集分為正常光照、過曝光、運動模糊和低光照4種場景，每種場景均按7∶3的比例劃分訓練集和測試集，并在Event-APS 28數據集上將傳統方法和其他深度學習方法與本文方法進行比較，對 比 實 驗 中 的 傳 統 方 法 有MIL［17］、KCF、TLD［18］、MedianFlow；深 度 學 習 方 法 有SiamFC、CLNet［19］、ATOM、PrDiMP［20］。其中傳統方法通過OpenCV提供的工具包實現，深度學習的對比實驗利用了這幾種算法在Github的開源代碼［12］，由于上述深度學習方法并未結合事件域信息，因此，實驗時用APS域目標跟蹤視頻序列并進行對比。為有效對比各算法的優劣，繪制不同顏色、不同格式的矩形框，以便定性對比算法效果。

圖5為4類場景下各算法跟蹤結果的定性對比，其中，（a）為正常光照場景的跟蹤結果對比，場景為在跑道上運動的模型卡車，干擾因素為背景雜斑，傳統的MedianFlow、MIL、TLD算法跟蹤失敗，KCF算法能持續跟蹤，但精度和成功率不及深度學習算法。由于正常光照低速運動的場景較為簡單，APS域圖像可提供較為豐富的信息，因此在初始階段，幾種深度學習算法表現均較好，在后續跟蹤過程中，本文算法和PrDiMP算法效果相差不大，均略優于ATOM算法，SiamFC算法偏移較大。（b）為運動模糊場景的跟蹤結果對比，場景為在木質圖案壁紙下快速運動的模型油罐車，干擾因素為快速運動產生的運動模糊和目標尺度變化，傳統的TLD、MIL算法均無法跟蹤，由于目標物體運動速度較快，KCF和MedianFlow算法丟失目標，由于目標尺度發生變化，SiamFC、ATOM算法的預測精度大大降低，PrDiMP略優于SiamFC算法，雖然本文算法和PrDiMP算法均發生了不同程度的輕微漂移，但跟蹤效果明顯優于其他算法。（c）為過曝光場景的跟蹤結果對比，場景為在較強光強下運動的模型飛機，主要干擾因素為光強和目標物體的尺寸變化，其中MIL、KCF、TLD、MedianFlow、SiamFC、PrDiMP算法丟失跟蹤目標，ATOM跟蹤偏移較大，而由于本文算法事件域成像不受特殊光照強度影響，APS域圖像雖然丟失目標信息，但可在事件域的特征中學習目標位置信息，跟蹤結果優于其他算法。（d）為低光照場景的跟蹤結果對比，場景為在低光照條件下運動的球體，干擾因素為特殊光照強度、尺寸變化和場景中存在相似物體，在初始階段，本文算法和PrDiMP算法均保持前幾幀的學習特征對目標物體進行定位，隨著運動的持續，目標物體尺寸變小，捕捉難度增大，加上在低光照條件下目標紋理信息不豐富，PrDiMP算法出現定位不準確情況，進而丟失目標；KCF、TLD、MedianFlow、SiamFC、ATOM等算法均在后續的跟蹤中丟失目標；而本文算法由于事件相機不受特殊光照強度影響，在低光照條件下仍可從事件域中學習目標物體的位置信息，雖然預測框有輕微偏差，但跟蹤效果總體上優于同類算法。

圖5 不同算法跟蹤結果對比Fig.5 Comparison of tracking of different algorithms

4.2 實驗結果的定量分析

為客觀評價不同目標跟蹤網絡在Event-APS 28數據集上的性能，用目標跟蹤領域常用的2個評判指標：精確度（precision plot，PR）和成功率（success rate，SR）衡量跟蹤算法的優劣。PR是視頻序列中網絡預測的真值中心位置坐標和中心位置的距離誤差小于給定閾值的視頻幀數量的百分比［21］。對于SR，首先計算目標跟蹤視頻序列中幀的網絡預測目標框與該幀的真實值的重疊面積比，若該比值大于給定閾值，認為成功；反之，則認為失敗。

圖6為本文算法與其他8種算法在Event-APS 28數據集上的對比實驗曲線，其中，（a）為PR曲線，橫坐標為位置誤差閾值，縱坐標為PR；（b）為SR曲線，橫坐標為重疊率閾值，縱坐標為SR。由圖6可知，本文算法優于其他算法，本文算法能有效適應無人機場景下的目標跟蹤。

圖6 各算法對比實驗Fig.6 Comparative experimental of different algorithms

表2為各算法在低光照、運動模糊、過曝光和正常光照4種場景下低速運動時跟蹤的SR與PR對比，每欄的第1行為SR，第2行為PR，本文中SR的重疊率閾值選擇65%，PR的位置誤差閾值選擇20。由表2可知，在3種挑戰性場景下，本文算法均優于其他算法，在正常光照場景下，本文算法PR略低于PrDiMP算法。本文算法SR的整體性能指標達60.2%，PR的整體性能指標達81.6%，均優于其他算法。

表2 SR和PR對 比Table 2 Comparison of SR and PR

通過以上對實驗結果的定性和定量對比知，在常規場景下，本文算法和其他幾種深度學習算法性能相近，但在富有挑戰性的場景下，尤其是在受特殊光照影響丟失圖像信息時，本文算法可通過在事件域學到的物體位置信息彌補APS域的不足，從而具有更高的SR和PR。

5 結語

根據事件相機的成像特點，提出了無人機搭載事件相機進行單目標跟蹤的方法。由于目前開源的與事件相機相關的目標跟蹤數據集較少，本文利用DAVIS事件相機和運動捕捉系統Vicon制作了包含正常光照、過曝光、運動模糊和低光照4種場景的目標跟蹤Event-APS 28數據集。根據事件域信息特點，設計了事件與灰度圖雙模態融合的跟蹤網絡，將事件域和APS域的特征信息送入特征融合模塊進行融合，將低維特征信息送入目標分類器，低維和高維特征信息送入目標框回歸模塊，得到最終的預測結果。用PR和SR衡量跟蹤算法的優劣，實驗結果的定性和定量分析表明，在Event-APS 28數據集上，本文算法均優于其他目標跟蹤算法，尤其在富有挑戰性的場景下，APS域信息失效，本文算法仍可在事件域學習目標物體的輪廓信息，進而實現對目標的跟蹤。