結合幀間目標回歸網絡的無人機視頻車輛檢測

張 智，鄭 錦

(1.中國民航大學 計算機科學與技術學院，天津 300300；2.北京航空航天大學 計算機學院，北京 100191)

相較于傳統的固定視角監控視頻，無人機視頻具有視角靈活、時效性強、監視范圍廣等優點，使得無人機監控市場在近些年得到迅猛發展。如何有效利用無人機視頻的優點，成為智能監控的重要環節。其中，無人機視頻中車輛檢測作為智能監控的基礎，同時也是計算機視覺的熱點方向之一，被國內外研究者所關注。目前，無人機視頻目標檢測算法大致可以分為兩類：一類是單幀無人機圖像目標檢測，該類方法使用通用目標檢測網絡對無人機視頻中的每一幀進行特定目標的檢測；另一類是視頻目標檢測，該類方法利用視頻幀間的運動和時序信息，對視頻中的特定目標進行檢測。

在單幀無人機圖像目標檢測方法的研究中，LI等[1]借鑒基于區域候選網絡的實時目標檢測(Faster-Rcnn)[2]來提升無人機圖像中車輛檢測的精度。文獻[3]通過改進單階段多候選框目標檢測(SSD)[4]，并結合基于焦點損失的密集目標檢測(Focal loss)[5]來實現無人機圖像中目標的快速檢測。文獻[6-7]通過使用Yolov 3[8]的變體來實現無人機圖像中目標的快速檢測。這一類方法在單幀無人機圖像中優勢明顯，但是當目標存在遮擋時容易漏檢。此外，將單幀無人機圖像檢測器直接應用于視頻檢測時，由于無人機和車輛兩者的運動會導致目標光照、視角發生變化，使得同一目標在連續幀中檢測的置信度變化較大，甚至出現部分幀目標的漏檢，即檢測框“閃爍”現象。

相較于單幀圖像檢測方法，視頻目標檢測方法利用視頻連續幀的時序和運動信息來實現檢測精度的提升。目前基于深度學習的通用視頻檢測方法中，文獻[9]采用跟蹤結果對檢測結果進行修正，進而提高視頻檢測精度?；诠饬饕龑卣魅诤系囊曨l目標檢測(FAGA)[10]和基于運動感知的視頻目標檢測(MANET)[11]來利用光流進行運動估計，對當前幀的前后多幀進行特征融合，進而減弱目標遮擋的影響。這些方法在視頻目標檢測中性能優越，但主要針對通用目標檢測，且屬于離線檢測器，不能滿足無人機視頻車輛檢測實時處理的需求。

針對上述問題，筆者提出了結合視頻幀間目標回歸網絡的無人機視頻車輛檢測算法。該算法主要貢獻有以下3個方面：

(1) 針對無人機視頻中車輛密集分布且遮擋所造成的大量檢測框重疊問題，采用高斯加權衰減設計軟化非極大值抑制[12]處理，將其作為單階段全卷積目標檢測(FCOS)[13]檢測框合并策略，構成性能更優的單幀無人機車輛檢測器。

(2) 在單幀無人機車輛檢測器基礎上，設計幀間目標回歸網絡。利用視頻幀間連續性將相鄰多幀的目標特征進行有效融合，并與當前幀目標特征進行匹配回歸輸出預測結果，最后利用單幀檢測結果修正預測結果，形成無人機視頻車輛檢測算法，有效克服無人機平臺運動噪聲強的影響。

(3) 針對現有無人機數據集往往忽略小尺寸區域和靜止車輛目標的問題，通過對小尺寸區域和部分靜止車輛的補充標注來豐富現有數據集，并自采集、標注無人機視頻數據集來引入更多典型場景，構建了一個更全面的無人機視頻車輛數據集。在該數據集上的實驗結果表明，筆者提出的算法可有效提高無人機視頻車輛的檢測準確率。

1 基本原理

1.1 整體框架

文中提出的結合幀間目標回歸網絡的無人機視頻車輛檢測框架如圖1所示。圖1中上半部分的虛線框內為單幀無人機圖像檢測器，下半部分的虛線框內為幀間目標回歸網絡。單幀無人機圖像檢測器算法流程如下：首先對輸入的當前幀(第i幀)圖像采用骨干網絡殘差網絡(ResNet101)[14]+基于特征金字塔的目標檢測(FPN)[15]進行特征提?。蝗缓髮γ繉犹卣鬟M行分類、中心度和逐像素回歸；最后采用軟化非極大值抑制來更有效地從大量候選框中選取檢測結果。幀間目標回歸網絡算法流程如下：首先將當前幀圖像的單幀檢測結果和上一幀的最終檢測結果進行最近鄰匹配，獲取丟失目標，記為R；然后將目標R在前序多幀中對應位置處的特征擴展后融合，并將融合特征與目標R在當前幀預測位置處的特征共同輸入全連接層進行特征匹配，進而得出當前幀R的預測框；最后為了避免誤差累積，利用單幀檢測器的候選檢測結果進行修正，得到最終檢測結果。圖1中“⊕”表示特征像素值相加[15]的特征融合方式。

圖1 結合幀間目標回歸網絡的無人機視頻車輛檢測框架

1.2 單幀無人機圖像檢測器

針對無人機圖像中車輛目標分布密集且尺寸相對較小的特點，文中選取了單階段全卷積目標檢測[13]作為基礎目標框架。該框架采用ResNet101+FPN進行特征提取。與基于預定義的錨框(anchor)的算法不同，該框架屬于基于密集采樣無錨框的單階段目標檢測算法。在單階段全卷積目標檢測的特征提取階段采用FPN策略，將網絡中頂層強語義特征上采樣與低層強細節特征融合，從而引入對小目標尤為重要的低層特征。在檢測候選框產生的過程中采用中心度快速過濾負樣本，提高召回率和檢測性能。與單階段全卷積目標檢測原有后處理方式不同，文中提出高斯加權衰減的軟化非極大值抑制(Soft-NMS)，根據重疊度和距離重置候選檢測框的置信度分數，改進后的后處理策略可在一定程度上解決原有非極大值抑制(NMS)對遮擋目標候選框的置信度過度抑制造成的漏檢問題。

圖2 VisDrone[16]數據集中遮擋情況下的置信度選擇

如圖2所示，圖像中框出的兩輛車輛，后者被前者部分遮擋，其中前者的檢測置信度為0.98，而后者的檢測置信度為0.82。如果直接使用非極大值抑制，當兩個候選框的重疊面積大于交并比(IOU)所設定的閾值時，圖中便會只剩下置信度為0.98的候選框，若僅將其作為最終的檢測情況，則會發生漏檢。為解決這一問題，與原來使用非極大值抑制直接將重疊面積大于交并比閾值的置信度重置為0的思路不同，軟化非極大值抑制根據重疊面積、相隔距離降低其置信度分數，故而可以同時保留兩個候選框。原始非極大值抑制置信度分數重置函數為

(1)

其中，B={b1，…，bn}，為搜索范圍內的候選框的位置；S={s1，…，sn}，為與之對應的候選框的分數；M為非極大值抑制某一次循環中置信分數最高候選框的位置；Nt是非極大值抑制閾值；Iou為計算兩個候選框交并比的函數。從式(1)中可以看出，非極大值抑制采用硬閾值來決定是否保留相關聯的候選框。高斯加權衰減軟化非極大值抑制的置信度分數重置函數為

(2)

其中，σ為超參數。與前者采取暴力淘汰的方式不同，軟化非極大值抑制逐步衰減與M有重疊面積的候選框的置信度分數。對與M重疊面積大、距離近的候選框，衰減權重就大；反之，重疊面積小、距離遠的候選框，衰減權重就小。

1.3 幀間目標回歸網絡

當直接使用上文中單幀無人機圖像目標檢測器對視頻進行檢測時，會發現整段視頻中部分車輛目標的檢測置信度如圖3中曲線所示，起伏變化明顯。原因在于連續幀中無人機和車輛目標同時運動，車輛目標在運動過程中發生了遮擋及視角變化，使得檢測置信度發生波動。針對這一情況，文中設計了基于視頻幀間連續性的幀間目標回歸網絡。如圖1所示，該網絡分為3個部分：第1部分為采用最近鄰匹配的相鄰幀間目標匹配，獲得當前幀中的丟失目標，如圖1中上一幀檢測結果的目標R；第2部分為幀間目標融合算法設計，利用視頻幀間信息連續性將前序的連續多幀目標特征進行有效融合，并與目標R在當前幀預測位置處的特征進行匹配回歸，輸出預測結果；第3部分為檢測結果修正，對預測結果和單幀檢測器的候選檢測結果，使用軟化非極大值抑制策略進行結果修正，以避免誤差累計，得到最終的檢測結果。

圖3 視頻幀間目標置信度變化示意圖

1.3.1 相鄰幀間目標匹配

依據視頻幀間信息的連續性特點[17]，同一目標在連續幀之間的位置應該由背景運動和目標運動的相對運動決定；除了背景特別劇烈的運動以外，一般情況下，目標中心點位置在連續幀的變化不會太大。故而可以通過最近鄰匹配思路，依據相鄰兩幀目標檢測框的重疊面積來構建相對應的匹配關系。具體過程如下：

(1) 從i-1幀中選取目標R，假設其中心點坐標為c=(cx，cy)，檢測框的大小為w×h，以中心點坐標c為中心，分別將寬度和長度拓展為kw和kh，此處k=1.5。

(2) 在i幀中，將以c為中心、kw×kh面積內所有檢測框與i-1幀中目標R計算交并比，并排序。

(3) 從排序的檢測框中選取第1個滿足交并比值大于閾值N且未被標記的檢測框(已與其他目標匹配則進行標記)作為R的匹配目標，并進行標記。若沒有滿足條件，則將其標記為丟失目標。重復(1)、(2)，直至結束。

(4) 在i幀中未被標記的目標，則確定為新目標。

(5) 若當前幀沒有出現丟失目標，則采用單幀無人機圖像檢測結果作為最終輸出結果。

1.3.2 幀間目標特征融合算法設計

為了實現對當前幀丟失目標R的回歸預測，需要將當前幀丟失目標特征和對應的前序幀該目標的融合特征進行特征匹配回歸。在進行特征匹配回歸之前，需要確定兩者的具體輸入。假設上一幀丟失目標R的中心點位置為c=(cx，cy)，則上一幀與當前幀的目標中心點位置、目標寬度和高度可建立如下公式：

c′x=cx+wΔx，c′y=cy+hΔx，w′=wγw，h′=hγh，

(3)

其中，c′= (c′x，c′y)，為當前幀的目標中心點位置；w、h、Δx、 Δy分別是上一幀目標的寬度、高度以及x、y方向上的相關隨機變化值；w′、h′、γw、γh分別是當前幀目標的寬度、高度以及與x、y相關的隨機變化值。同時Δx、Δy服從μ=0、b=0.2，γw、γh服從μ= 1、b=1/15的拉普拉斯分布[17]。拉普拉斯分布的概率密度函數為

(4)

由上述可以確定當前幀中丟失目標的位置及大小，進而將該位置及大小作為當前幀目標所在位置和大小，確定當前幀丟失目標特征。

融合特征由當前幀丟失目標R在前n幀中所在位置的特征融合而來。具體過程為：① 采用節1.3.1中的相鄰幀間目標匹配方法確定丟失目標R在前n幀中的位置；② 將丟失目標R在前n幀中的大小進行擴展，大小與丟失目標在當前幀中所確定的目標大小一致，原因在于全連接層的輸入和特征融合都需要統一大??；③ 提取丟失目標在前n幀中對應位置處的特征，并進行像素值相加的特征融合，其中融合權重按前序幀與當前幀距離的遠近分配，如融合總幀數為K，則當前幀i的前n幀，即第i-n幀特征權重為1-(i-(i-n))/K。

最后，將i幀丟失目標預測位置特征和融合特征輸入到全連接層得到預測結果。上述幀間目標特征融合方法見算法1。

算法1幀間目標特征融合方法。

輸入：視頻序列{Ii}，融合幀數范圍K。

fori=2 to ∞ do：

forr=1 toudo

forj=max(2，i-K) toido

提取拓展后圖像的特征；

else

end if

計算融合權重W=1-{i-j}/K；

采用像素值相加方式進行特征融合；

end for

end for

end for

2 實驗驗證

2.1 數據集構建

一個高質量的數據集可以對算法性能進行更全面的評價。目前已有的無人機視頻車輛數據集存在一些問題：① 數據集中將尺寸較小的目標標記為忽略區域，但其中部分車輛目標相對清晰。對較小車輛的檢測也是對算法評測的一個重要方面；② 標記道路上的運動車輛，但對部分靜止車輛不進行標記；③ 數據中的場景主要集中在交通路口，而場景數據的多樣性可以使得算法具有更好的泛化性能。針對這些問題，文中基于VisDrone[16]數據集、航空圖像中的車輛檢測(VEDAI)[18]數據集及自采集標注的數據集，通過補充標注、篩選和融合，構成高質量的無人機視頻車輛數據集，數據集下載地址：https：//pan.baidu.com/s/1umAfY9I3wEVtJUQDIiZT0g，提取碼：drjk。具體操作包括：① 從VisDrone-VDT數據集中去除主要為行人數據的視頻，對篩選后視頻中未標記的車輛進行補充標記；② 引入VEDAI數據集作為訓練集，該數據集中的車輛目標尺寸主要集中在10×10～40×40像素，尺寸較小，同時該數據集的拍攝方式和高度均與VisDrone數據有一定差異性；③ 引入自采集標注的數據集，其中包括車輛高度密集分布的大型停車場及斜視的無人機車輛視頻。最終文中構建的無人機視頻車輛數據集有以下幾個特性：① 訓練集包括視頻40段，共27 346幀。外加VEDAI的1 268張圖片。測試集8段，共6 127幀；② 圖像大小主要為1 904×1 071像素和2 704×1 520像素兩種；③ 車輛目標大小尺寸主要分布在10×10～320×320像素。

2.2 實驗設置

文中算法在訓練過程中采用了包括翻轉、裁剪及隨機平移等數據增強方式。訓練過程分為兩部分，在單幀無人機圖像檢測器中輸入圖像大小為800×1 280像素，批處理大小設置為4，學習率初始值設置為0.01，每10個輪(epchos)變為原來的1/10，學習率最小值為0.000 1。優化過程采用隨機梯度下降(SGD)算法，其中動量設置為0.9。soft-NMS的超參數σ設置為0.3。幀間目標回歸網絡中輸入圖像大小為224×224像素，批處理大小設置為4，優化過程同樣采用SGD來更新網絡參數，在后一部分訓練中只使用視頻測試集。

與文中方法進行比較的算法中，Faster-Rcnn[2]、Yolov 3[8]、FGFA[10]采用的優化器為SGD，動量設置為0.9，初始學習率為0.001，權重衰減正則項系數為0.000 5，批處理大小為4。RetinaNet[5]采用的優化器為自適應矩估計(Adam)，初始學習率為0.01，計算梯度以及梯度平方的運行平均值的系數分別為0.9、0.999，批處理大小為4。文中測試平臺硬件配置為CPU i7-9700，GPU為GTX 1080Ti×2，內存為16 GB；軟件配置為CUDA 9.0、cudnn 7.1。

2.3 實驗結果及驗證

表1 在無人機視頻車輛數據集的結果對比

表2 與現有算法的比較

為了進一步分析評價算法性能，這一節的消融實驗分別從軟化非極大值抑制對單階段全卷積目標檢測的影響、幀間目標網絡中融合幀數的多少對算法的影響兩方面進行分析。與此同時，為了更全面地和現有算法進行比較，文中選取了包括單幀無人機圖像目標檢測器和視頻檢測器兩類現有算法同時比較。圖4對文中算法的檢測結果進行表示，具體對比結果見表1和表2。

從表1中的實驗結果可以看出，在無人機視頻車輛數據中，Soft-NMS的后處理方式對單階段全卷積目標檢測這種單幀無人機圖像檢測器的性能有明顯提升。從圖4(a)中也可以看出，其對相互重疊的密集車輛同樣有較好的檢測結果。在引入幀間目標回歸網絡后，相較于單幀圖像檢測器，精度(AP)值提升了1個百分點左右。與此同時，從圖4(c)中可以看出，在目標相對較小且存在夜間強光干擾的情況下，文中算法也沒有出現閃爍的現象。

從表1的實驗結果還可以看出，在融合1幀、5幀和10幀的情況下，算法的檢測性能是高于不融合的，說明融合特征可以有效提升幀間目標回歸網絡的性能。但是從表中可以看出，當融合幀數逐步加多時，在時間和內存代價更大的情況下，檢測性能反而下降。說明前序幀特征過多引入，不僅增加了有效特征，同時也帶來了更多的噪聲，減弱了網絡的性能。故文中算法最終選擇融合5幀的幀間目標回歸網絡。

從表2中可以看出，在與現有方法的比較中，無論是與單階段全卷積目標檢測思路一樣的端到端目標檢測器RetinaNet、Yolov 3，還是與經典級聯目標檢測器Faster-Rcnn在內的通用單幀圖像目標檢測器相比，在骨干網絡同樣采用ResNet 101+FPN的情況下，文中提出的更有針對性的FCOS+Soft-NMS單幀無人機圖像檢測器的性能更勝一籌。更進一步，與FGFA這一結合光流特征的視頻檢測性能相比，文中增強了單幀檢測器的性能，在針對靜止及尺寸較小的目標時性能更加魯棒；而且引入基于視頻幀間信息連續性的幀間目標回歸網絡，使得整體算法在數據集上呈現出更為優秀的實驗結果。從圖4(b)和(d)的實驗結果中也可以看出，文中算法在完全俯視角度、車輛目標較小和車輛存在樹木遮擋等情況下都具有優異表現。綜上所述，文中提出的結合幀間目標回歸網絡的無人機視頻車輛檢測算法具有良好的魯棒性和泛化性能。

圖4中4組圖中上面一行為部分挑戰視頻序列幀的檢測結果，下面一行為這些視頻序列幀檢測結果的局部放大圖。

圖4 算法檢測結果展示

3 結束語

筆者提出的結合幀間目標回歸網絡的無人機視頻車輛檢測算法，采用Soft-NMS作為FCOS的檢測框后處理策略，構建更適合無人機車輛分布特點的單幀無人機視頻車輛檢測算法；針對前者應用于無人機視頻檢測出現的閃爍情況，設計基于視頻幀間信息連續性的幀間目標回歸網絡；為了更客觀分析評價算法，構建了更高質量更全面的無人機視頻車輛數據集。實驗結果表明，文中所提算法有效地提高了無人機視頻車輛檢測的性能。