結合核相關濾波器和深度學習的運動相機中無人機目標檢測

梁棟，高賽，孫涵，劉寧鐘

1.南京航空航天大學 計算機科學與技術學院，南京 211106 2.模式分析與機器智能工業和信息化部重點實驗室，南京 211106 3.軟件新技術與產業化協同創新中心，南京 211106

對于快速運動的小型無人機，在檢測時有兩個挑戰：① 無人機與相機的相對快速運動，容易產生成像運動模糊，導致無人機外觀特征改變或丟失；② 小型無人機或者距離較遠的無人機，其外觀特征不明顯，容易與飛鳥等類別產生混淆。

在視覺檢測問題中，以Faster RCNN(Regions with CNN feature)[1]為代表的兩階段檢測方法準確率高于以YOLO(You Only Look Once)[2]和SSD(Single Shot MultiBox Detector)[3]為代表的單階段檢測方法。兩階段檢測方法首先提取出候選區域，然后對候選框進行分類和回歸。因此，通常兩階段檢測方法比單階段檢測方法運算速度慢。RetinaNet[4]作為單階段檢測方法，采用Focal loss損失函數，有效解決了類不平衡帶來的準確度低的問題，同時也保持了較高的檢測速度。

在視覺跟蹤問題中，跟蹤主要有判別類和生成類兩種跟蹤方式。核相關濾波器(Kernelized Correlation Filters，KCF)[5]是一種典型的判別類跟蹤方法。初始化KCF時，由目標區域生成循環矩陣，利用循環矩陣在傅里葉域可對角化的性質，將空域上的卷積運算轉化為頻域上的相關運算，以此持續修正跟蹤框位置。該方法巧妙利用了循環矩陣對角化特性，大幅降低了計算量，提高了跟蹤速度。

然而，對于小型無人機的檢測任務，由于目標微小、觀測距離遠、背景復雜且運動速度快，常出現外觀信息缺失和運動模糊的問題，現有目標檢測方法往往難以確保無人機目標的逐幀檢測[6-9]。而對于上述情況，目標軌跡的持續跟蹤可以彌補目標檢測的不足。然而，現有目標跟蹤算法的不足在于，對下一幀目標的位置點估計通常局限于指定鄰域范圍內。一旦無人機和相機的相對快速運動導致了下一幀目標所在位置偏移過大時，將產生錯誤的跟蹤結果。因此，需要對場景進行運動補償或者對無人機進行重定位，以避免跟蹤錯誤。

文獻[6-7]首次針對運動相機下的無人機檢測問題開展了專門研究。利用在視頻幀序列中的運動信息提取出時空立方體[10]，進一步篩選時空立方體中的候選區域，再對目標候選框進行類別分類和軌跡回歸。在候選框軌跡回歸時，引入了運動補償機制，增強了回歸器的精度和魯棒性。上述工作的實驗結果表明，幀間運動信息的有效引入對無人機檢測算法的性能提升至關重要。

本文提出了RetinaNet與KCF結合的無人機檢測算法[11-12]。KCF跟蹤軌跡提供幀間目標運動信息，利用跟蹤軌跡抑制RetinaNet檢測器的虛警率，跟蹤結果同時彌補RetinaNet漏警而造成的目標丟失。另一方面，RetinaNet檢測結果間歇性提供可以持續修正跟蹤結果。針對觀測場景中小型無人機或者距離較遠的無人機其外觀特征不明顯的問題，在RetinaNet模型中引入低層特征信息，彌補高層特征層所忽略的圖像細節，使RetinaNet對小目標具有更強的檢測能力。針對KCF在特定場景下不適用的問題，引入對觀測場景紋理自適應的相機運動補償策略選擇對相機進行運動補償或對無人機重定位，增強了跟蹤器在極端場景下的魯棒性。

1 相關工作

1.1 RetinaNet目標檢測器

RetinaNet采用單階段檢測器[3,13-14]的思想，考慮到檢測精度和速度的均衡，主干網絡選用深度殘差卷積神經網絡ResNet[15]中的ResNet-50網絡結構。由于卷積運算過程中特征層的尺寸隨著網絡層的增加而減小，高層特征更注意全局信息而低層特征更注意細節信息。此方法采用高低層特征融合的特征金字塔結構，并在多層特征圖后接目標類別分類和檢測框位置回歸2個子網絡，使該檢測模型具有多尺度檢測的能力。

傳統的兩階段目標檢測算法在分類和檢測框回歸之前需要完成候選區域提取，單階段檢測算法無需候選區域提取過程，往往運行速度較快。然而，目標檢測問題是典型的類不平衡問題，由于開放場景下視頻背景的多樣性，訓練所需的負樣本(即視頻背景)的樣本數量往往遠大于正樣本數量(無人機目標)。然而，在以最小化損失函數為目的的模型訓練過程中，大量負類樣本的引入往往造成訓練過程中負類權重過大(即分類器更傾向于將樣本預測為負類)，導致檢測精度下降。為了解決類不平衡造成的檢測器性能下降問題，RetinaNet采用了如式(1)和式(2)的Focal loss作為損失函數：

(1)

loss=-α(1-Pt)γlgPt

(2)

式中：p為網絡預測是否為正類的概率值,p∈(0,1)。正類樣本標簽y=1，p的優化目標為趨近于1。負類樣本標簽y=-1，p的優化目標為趨近于0。通過Pt來描述p，等同于將所有樣本的Pt優化為1。

在式(2)中，α是正負樣本參數，在本系統中，因為目標檢測算法中負類樣本數量遠大于正類樣本，對于正類樣本，取α=1，對于負類樣本，取α=0.25，從而使得正樣本對于模型損失函數的影響大于負類樣本，解決正負樣本失衡的問題。γ是調節難易樣本對于損失函數貢獻的參數，對于困難樣本，Pt越小，那么(1-Pt)γ越大，從而產生相對大的損失。同理，對于簡單樣本，Pt越大，則(1-Pt)γ越小，從而產生小的損失，將模型訓練的重點放在困難的樣本上。

RetinaNet結構如圖1，C1～C5是ResNet網絡下采樣生成的特征圖，P3～P7是特征金字塔網絡。P5層由C5層得到，P4層由C5層上采樣結果與C4層相加得到，P3層由C4層上采樣結果與C3層相加得到，P6層則由P5層下采樣得到，P7層則由P6層下采樣得到。P3層和P4層通過2層特征相加的方式得到，既保留了高層特征，又融合了低層特征。P3～P7層都連接著檢測框分類子網和回歸框位置回歸子網，其中分類子網和回歸子網是2個全卷積層網絡[16]，輸入的特征圖有256個通道，與256個濾波器做4次卷積。在分類子網中，卷積4次后的特征圖與K×A個濾波器做卷積，得到K×A個通道特征圖；在回歸子網中，卷積4次后的特征圖與4×A個濾波器做卷積，得到4×A個通道特征圖。其中A表示每個點映射到原圖的候選框(稱之為anchor)數量，K表示目標種類。

圖1 RetinaNet網絡結構Fig.1 RetinaNet structure

1.2 KCF目標跟蹤器

KCF是一種判別式跟蹤方法，這類方法在跟蹤過程中訓練一個目標檢測器，使用目標檢測器去檢測下一幀預測位置是否是目標，然后再使用新檢測結果去更新訓練集進而更新目標檢測器。KCF使用目標周圍區域的循環矩陣采集正負樣本,利用脊回歸[17]訓練目標檢測器，并利用循環矩陣在傅里葉空間可對角化的性質將矩陣的運算轉化為向量的基本積，大大降低了運算量，提高了運算速度，使算法滿足實時性要求。

脊回歸模型：

f(x)=WTx

(3)

式中：x為輸入數據；W為回歸模型的參數矩陣。脊回歸的損失函數就是在最小二乘回歸的基礎上加上W的F范數作為懲罰項，即

(4)

式(4)對W求導，令導數等于0，得到脊回歸器：

W=(XHX+λI)-1XHy

(5)

式中：X為輸入數據，由循環矩陣得到;λ為懲罰項系數，不小于0;y為真值。

由基向量x生成循環矩陣X的過程為

循環矩陣基向量x：

x=[x1,x2,…,xn]

(6)

位移量q：

(7)

生成循環矩陣X：

m=0,1,…,n-1

(8)

(9)

通過核相關將線性回歸拓展到非線性回歸的回歸模型：

(10)

式中：β為在傅里葉域下的回歸系數，基于式(3)的最終回歸模型為

(11)

KCF利用循環矩陣在傅里葉域可對角化的性質，將空域上的卷積運算轉化為頻域上的相關運算，以此持續修正跟蹤框位置。該方法利用循環矩陣對角化特性，大幅降低了計算量，提高了跟蹤速度。

1.3 相機運動補償

相機運動補償的基本思路是設法求出相機在當前幀與歷史幀之間的運動偏移量。目前常用的相機運動補償方法包括隨機抽樣一致(Random Sample Consensus)算法[18]與相位相關[19-20]等。

圖2(a)中綠色框表示第n幀目標區域，黑色框表示目標區域2.5倍Padding的候選區域。候選區域中心點坐標為(x1,y1)。圖2(b)中黑色框由圖2(a)中候選區域得到，如果不進行運動補償，在第n+1幀處提取出與第n幀相同的候選區域時，無人機只有一部分在候選區域中。

圖3展示了修正圖2中候選區域位置的過程：第n幀圖片與第n+1幀圖片計算出偏移矩陣，偏移矩陣中包括水平方向和豎直方向平移量以及旋轉量等信息。利用偏移矩陣計算出第n幀候選區域中心點坐標(x1,y1)經過補償后對應于第n+1幀的坐標(x2,y2)，以(x2,y2)為中心點提取候選區域，無人機將全部位于候選區域內。

圖4展示了Ransac和相位相關方法計算偏移量的過程。如圖4(b)所示，提取出相鄰2幀圖片的特征點，完成2幀圖片的匹配并計算出偏移量。如圖4(c)所示，相位相關首先利用傅里葉變換，將相鄰2幀從圖像灰度域變換到頻域，利用相關定理，計算出頻域最大響應點，該點便是前后2幀位置差的響應，據此得到相機幀間運動偏移量。其中X和Y表示圖片坐標點，對應的Z表示該點處的狄拉克函數值。

但是，上述2種方法在空天背景下可能存在以下問題：Ransac進行特征點擬合時，對特征點數量有要求。然而當空天背景紋理較少時，提取的特征點數量往往不足，Ransac計算出的偏移量將存在較大誤差。相位相關算法通過全局圖像信息獲得幀間偏移量，避免了特征點提取，但也因此計算復雜度較高。

圖2 無人機只有一部分在取樣框內Fig.2 Only part of UAV in Padding_bbox

圖3 利用偏移矩陣修正候選區域位置Fig.3 Correction of candidate regions with offset matrix

圖4 Ransac與相位相關計算2幀偏移量Fig.4 Offset calculation of two frames by Ransac and phase correlation

2 RetinaNet與KCF結合的無人機檢測

RetinaNet有著較快的檢測速度和較高的精確率，但是針對小目標的檢測，如果不進行改進，則存在較高漏警率的問題。KCF是相對快速魯棒的跟蹤算法，對背景雜亂和旋轉等視頻都有較好的跟蹤結果。但是KCF跟蹤局限于上一幀目標鄰域內，如果相機或無人機快速運動，導致下一幀目標不在上一幀目標鄰域內，則無法跟蹤到目標，因此需要對相機進行運動補償或對無人機重定位。RetinaNet與KCF結合，可以發揮兩者的優點同時又能互相彌補不足。面對小目標或者特征丟失嚴重的目標，RetinaNet無法正確檢測時，可利用KCF實現持續軌跡跟蹤，避免目標漏警；當目標被遮擋，KCF將失去跟蹤目標，RetinaNet檢測到目標后可為KCF重新初始化，恢復跟蹤軌跡。

2.1 引入低層特征的RetinaNet

在檢測小目標無人機時，細節信息起到了關鍵作用。傳統RetinaNet對P3～P7層做分類和回歸。由于每個特征層的感受野不同，在設計anchor時，P3～P7層對應最佳原始尺寸為{32,64,128,256,512}, 每個尺寸的anchor對應3種不同的長寬比{1∶1,1∶2,2∶1}，同時又有3種不同的面積比例{20,21/3,22/3}，因此每層共有9種anchor。P3層anchor尺寸為32像素×32像素，因此難以檢測成像遠小于32像素×32像素的小目標無人機。每個特征層的anchor尺寸主要由感受野決定，如果強制將P3層anchor尺寸設置為16像素×16像素，則會出現在原圖中整個無人機提取得到的特征，經過P3層anchor回歸后只能得到整個無人機1/4區域的情況。P2層網絡有著比P3層更豐富的細節特征信息，如果對P2層也做分類和回歸，能彌補高層網絡丟失的細節特征信息。P2層anchor尺寸為16像素×16像素，加入P2層訓練的網絡，對小于32像素×32像素的無人機也有較高的識別率。在第4節中，將詳細探討使用不同特征層對小目標檢測的性能影響。實驗中驗證了加入P2特征層后能明顯提升對小目標無人機的檢測率。

2.2 RetinaNet與KCF具體交互方式

KCF與RetinaNet結合工作時，將RetinaNet設置一個較高的閾值，因此認為RetinaNet檢測到的結果是可靠的，利用檢測的結果去初始化KCF跟蹤器，檢測結果持續修正跟蹤器，跟蹤結果填補漏警的檢測結果，檢測與跟蹤結合流程如圖5所示，圖中:n表示圖片的序列號，總共有N幀;IOU(Rn+1,Kn+1)表示檢測結果與跟蹤結果的目標區域交并比；Luav表示無人機的位置區域；Area(Rn-1)表示檢測結果的目標區域面積；Area(Kn-1)表示跟蹤結果的目標區域面積。

初始化當RetinaNet檢測器過于敏感，可能出現虛警檢測結果，即背景中的其他目標被檢測為無人機，采用虛警的結果對KCF跟蹤器進行初始化，KCF后續的跟蹤都是不可信的。因此，RetinaNet采用較高的檢測閾值(在本文實驗中，采用置信度高于0.90的檢測結果)，以降低虛警的可能。同時，在對KCF初始化后，將KCF跟蹤結果與RetinaNet檢測結果作比較：

1) RetinaNet沒有檢測結果，則取KCF跟蹤結果作為最終無人機目標。

2) RetinaNet有檢測結果，則計算KCF跟蹤結果與檢測結果的交并比，判斷兩者的結果是否一致。如果檢測和跟蹤的結果高度一致，最終無人機目標取面積最大的結果；如果檢測結果與跟蹤結果不一致，最終無人機目標采用檢測結果，并用檢測結果對KCF跟蹤器進行初始化。

圖5 檢測與跟蹤結合工作流程圖Fig.5 Flow chart of detection and tracking combination

2.3 KCF不適用的情況

如圖2所示，初始化KCF時，對第n幀目標框進行了2.5倍的Padding操作，跟蹤時，在第n+1幀相同位置提取出和上一幀Padding框一樣大小的區域，并將圖像灰度域變換到頻域，利用相關定理找出最大響應點，從而確定目標位置。但是如果由于無人機快速運動或者相機快速運動，導致了無人機不在Padding框內或者只有一部分在Padding框內，則最大響應點處將不是無人機或者只包含一部分無人機。上述情況將導致跟蹤失敗，因此需要以合理方式實現相機運動補償和無人機重定位。

3 相機運動補償和無人機重定位

對相機進行運動補償或者對無人機重新定位，可以有效解決因無人機或相機快速運動使下一幀目標不在上一幀目標鄰域內,從而導致跟蹤失敗的問題。

3.1 光流法對無人機重定位

針對無人機快速運動造成的跟蹤丟失情況，可以采用光流法[21]對無人機重新定位。

如圖6所示，通過輸入相鄰2幀圖片，計算出光流場，根據光流場計算出每個像素點處運動速度的大小，該像素點的值表示速度的大小，將由速度大小組成的圖片二值化，利用最小外接矩形將運動區域切割出來。

在所有矩形區域中，找到無人機所在運動區域的步驟為首先找出在上一幀目標區域7.5倍Padding后的區域內的所有矩形(KCF在對上一幀目標區域進行2.5倍Padding，重定位時在此基礎上進行3倍Padding)，如圖7所示。其次，對滿足上述條件的矩形區域計算出每個矩形區域的運動角度Drect、每個矩形區域的運動速度大小Srect和原始目標的bbox 7.5倍Padding區域的運動角度Dframe；假設7.5倍Padding區域內共有m個矩形，用D[i]～D[m]存儲m個矩形的運動信息。

先找出m個矩形中運動角度與整個Padding區域運動角度不一致的矩形存儲在B[]中；接著在B[]中找出運動速度最大的矩形判定為無人機所在矩陣；如果所有矩形運動角度與整個Padding區域運動角度一致，則直接在D中找出運動角度最大矩形判定為無人機所在矩形。偽代碼為

圖6 光流法找出無人機所在區域Fig.6 Detection of UAV area with optical flow

無人機重定位偽代碼程序輸入:連續2幀 輸出:第2幀目標所在矩形區域1. 計算光流場,圖像二值化后求最小外接矩形。2. 計算出Drect、 Srect和Dframe。3. int i=0, j=04. for i in range(m)5. if(|Dframe-D[i]. Drect|>15)6. B[j]=D[i]7. j+=18. if (B[] 不為空)9. let B[k].Srect=max(B.Srect)10. uav=B[k]11. if (B[] 為空)12. let D[k].Srect=max(D.Srect)13. uav=D[k]

圖7 7.5倍Padding找出候選區域示意圖Fig.7 Detection of candidate area by 7.5 Padding

3.2 不同運動補償算法的優缺點

Ransac算法需要對圖片特征點進行匹配，如果圖片背景紋理少，則提取的特征點不滿足最低擬合條件，不能計算出偏移矩陣，無法進行運動補償。對于背景紋理多的場景，Ransac算法可以計算出偏移量從而對相機進行運動補償。

相位相關不需要提取圖片特征點，即使是紋理較少的場景，也能在頻域中找到最大相關峰值，計算出偏移矩陣，完成運動補償。但相位相關存在計算量較大的問題。

在背景紋理較多的場景中，采用光流法對目標重定位時，由于背景運動的干擾，最終得到的矩形區域中，無人機很可能與運動的背景混淆。當采用最小外接矩形進行運動區域分割時，無人機與背景存在被一個矩形區域包圍的可能性，從而導致錯誤的無人機重定位結果。

因此，上述基于光流法實現無人機重定位算法更適用于背景紋理少的場景，而在背景紋理豐富的場景中Ransac算法和相位相關法更為適用。

在第4節實驗中將進一步探討3種算法的性能。

3.3 場景紋理自適應的運動補償

針對上述運動補償算法的不足，本節提出了通過對紋理豐富度的觀測，自適應的選取運動補償或目標重定位的策略，具體的，在紋理較少的場景使用光流法對無人機重定位，在紋理較多的場景使用相位相關進行相機運動補償，在提高整體精確率的同時確保算法的穩定性。

為解決紋理豐富度的觀測問題，引入差分盒子計數法[22-23]統計出圖片紋理特征。對于一幅M×M的圖像，可以看成三維空間的一個曲面。長為M、寬為M、高為L，其中L為圖像的像素級數，一取L=256。將其所在平面(M×M)分為R×R大小的網格，在高度上也進行相同的劃分，不過劃分的單位為R×L/M。這樣，圖像所在三維空間就被劃分為很多盒子。這樣劃分的目的是使長寬方向和高度方向的劃分次數相同。在被劃分成的每個R×R個網格內，找出最大像素值u和最小像素值b，u處于高度方向上第m個盒子，b處于高度方向上第n個盒子，則該R×R區域需要(m-n+1)個盒子覆蓋所有灰度值。統計出所有盒子N，分形維數B=lgN/lgR。由于B是N和R對應直線的斜率，所以需要多次改變R，即網格大小，獲得多個樣本點，最后通過直線擬合求得最終的B。最終的補償方案便是通過差分盒子計數法統計圖片紋理復雜度：圖片紋理較少的使用光流法對無人機重定位；圖片紋理較多的使用相位相關對相機進行運動補償。

4 實 驗

4.1 實驗設置

在進行實驗時，標注了15個視頻3 500幀VOC格式的無人機訓練集，在測試時，選取了5種 不同場景的無人機飛行視頻用來做測試。這5種場景分別是：① 相機和無人機運動方向相反; ② 相機快速運動，無人機運動較慢; ③ 無人機快速運動，相機靜止; ④ 背景紋理較多; ⑤ 背景紋理較少。

文獻[6-7]是專門研究檢測小目標無人機的工作，YOLOv3[14]是單階段檢測方法。因此本文也與上述3種檢測方法做了對比實驗。

SiamRPN[24]、ECO(Efficient Convolution Operators for tracking)[25]、DiMP(Discriminative Model Prediction for tracking)[26]是基于深度學習的跟蹤方法，本文也與之做了對比實驗。

RetinaNet、文獻[6]方法、文獻[7]方法、YOLOv3、SiamRPN、ECO和DiMP算法都采用15個視頻的3 500幀數據集進行訓練。其中RetinaNet、SiamRPN、ECO和DiMP都采用ResNet50作為骨干網絡，其余參數為原文獻中推薦值。

設置的消融實驗如下：

方法1只用RetinaNet檢測。

方法2只用KCF跟蹤。

方法3RetinaNet與KCF結合的工作方式。

方法4RetinaNet與KCF結合并且采用相位相關做運動補償的工作方式。

方法5RetinaNet與KCF結合并且采用Ransac做運動補償的工作方式。

方法6RetinaNet與KCF結合并且采用光流法對目標重定位的工作方式。

方法7YOLOv3檢測方法。

方法8文獻[6]檢測方法。

方法9文獻[7]檢測方法。

方法10SiamRPN跟蹤方法。

方法11ECO跟蹤方法。

方法12DiMP跟蹤方法。

方法13本文方法。

4.2 分場景消融實驗

為了測試算法在不同場景下的表現，設計了分場景實驗如下：

場景1相機和無人機運動方向相反。

場景2相機快速運動，無人機運動較慢。

場景3無人機快速運動，相機靜止。

場景4背景紋理較多。

場景5背景紋理較少。

5種場景下的各方法的精確率如表1所示，召回率如表2所示。

精確率和召回率計算方式為

精確率(precision) = TP/(TP+FP)

召回率(recall) = TP/(TP+FN)

式中：TP為將正類預測為正類的數；FP為將負類預測為正類的數；TN為將負類預測為負類的數；FN為將正類預測為負類的數；

由表1可知，在上述5個場景中，其中的4個場景方法13(本文方法)有著最高的檢測精確率。由于Ransac算法做補償的特性，對于背景紋理較少的場景5，方法5不能正常工作，沒有結果。

對比方法3～方法6實驗結果，由表1和表2可知，在場景1和場景3中方法6精確率和召回率最高，在場景4中方法4精確率和召回率最高。場景4中方法3召回率只有0.341，說明存在檢測與跟蹤都失效的情況，而對比方法4～方法6結果，精確率和召回率都有很大提升。綜上表明在相機快速運動(場景1)或無人機快速運動的場景中(場景3、場景4)，運動補償算法或對目標重定位的引入有助于增強檢測算法的穩定性。注意到在場景1、場景2、場景3和場景5中場景紋理相對較少，使用光流法對無人機進行重定位時，相較2種背景補償方法(方法4和方法5)有著更高的精確率與召回率。在場景紋理最多的場景4中，由于背景運動的干擾，方法6結果最差，方法4結果最好。在3種方法中，方法5場景適應性相對較差，當場景紋理較少時，方法5失效(參見方法5場景5結果)。因此，考慮到檢測結果的精確率與召回率，以及對場景的適應性，本文提出的通過觀測場景紋理自適應選擇相位相關和光流法的工作方式結果最優。

在場景2和場景3中，由于相機或無人機快速運動，導致了無人機成像模糊，表1中檢測方法在這2個場景中有著較高的精確率，但在表2中檢測方法有著最低的召回率。實驗表明針對成像模糊的場景，結合幀間運動信息輔助檢測有助于提高檢測率。

在場景1中，無人機和相機反向快速運動，引入相機運動補償后抵消了相機運動帶來的影響，但無人機快速運動仍影響了少部分跟蹤結果，因此本文方法比結果最好的方法11低5%的精確率和召回率。在場景2中，引入相機運動補償抵消了相機運動帶來的影響，但由于成像模糊，少部分無人機已經完全失去無人機特征，出現了部分跟蹤失敗的情況，本文方法比結果最好的方法11低3.33%的精確率和召回率。場景3、場景4和場景5中，無人機快速運動，本文方法使用光流法重定位時有著最高的精確率和召回率。

表1 不同場景下精確率Table 1 Precision in different scenarios

表2 不同場景下召回率Table 2 Recall rates in different scenarios

圖8為不同場景下本文方法與RetinaNet和KCF及其不同結合方法的軌跡圖比較。其中X和Y表示圖片中的坐標位置，T表示時間信息，對于連續的幀序列，幀的序號表示其處于的時間點。軌跡圖包含了無人機運動的時間信息和空間信息。通過對比檢測結果的軌跡與無人機真實運動的軌跡，可以直觀地判斷不同方法的檢測性能。

4.3 對RetinaNet改進的消融實驗

對RetinaNet進行改進時，對比了使用不同網絡層對小于32像素×32像素的小目標無人機的檢測精確率和召回率,如表3所示。

表3 不同網絡層組合的精確率和召回率

實驗表明，隨著不斷地加入低層網絡，小目標無人機的檢測率逐漸提高。P4層anchor為64像素×64像素，檢測小于32像素×32像素的無人機目標時有很高的漏警率。這一情況在加入P3層后得到了有效改善，P3層anchor為32像素×32像素，能檢測到32像素×32像素的小目標。但是如果無人機目標小于16像素×16像素則會出現漏警的情況，并且如果訓練集中的小目標數據較少，即使采用Focal loss損失函數也不能有效解決小目標類不平衡的問題。加入P2層網絡后，對小目標的檢測率進一步提高。

5 結 論

本文提出了一種檢測與跟蹤結合的無人機檢測算法，探究了不同網絡層組合對小目標的檢測率，證明了低層網絡信息的加入的確能提高對小目標的召回率。同時也提供了針對特定場景，采用特定網絡層組合的思路。改進的RetinaNet與KCF結合，RetinaNet檢測結果持續修正KCF跟蹤結果。針對RetinaNet產生的虛警結果，借助跟蹤結果的軌跡加以抑制。KCF跟蹤的結果彌補RetinaNet漏警的可能。

針對KCF跟蹤時可能遇到的極端情況，提出通過觀測場景紋理自適應的選擇對相機進行運動補償或對無人機進行重定位的策略，增強了KCF在極端情況下的魯棒性。即使在無人機或者相機快速運動的場景中，補償后的KCF算法依然能進行可靠的跟蹤。未來的工作將是采用更為魯棒有效的跟蹤方式，提高快速運動小目標的檢測精度。