基于多階運(yùn)動(dòng)參量的四旋翼無人機(jī)識(shí)別方法

劉孫相與 李貴濤 詹亞鋒 高 鵬

“低慢小”(飛行高度低、飛行速度慢、目標(biāo)小)目標(biāo)以其難以被探測、便于隱藏、適用場景廣泛的特點(diǎn),一直以來都是軍事以及科研領(lǐng)域中的研究重點(diǎn)[1-4],其中 “低慢小”目標(biāo)的探測識(shí)別更是相關(guān)課題中的核心和基礎(chǔ)問題.近年來,四旋翼無人機(jī)為代表的新興 “低慢小”飛行器因其成本低廉、操縱簡單、難以被發(fā)現(xiàn)的特點(diǎn),在航拍、探測、檢測等多個(gè)領(lǐng)域被廣泛應(yīng)用.但隨之而來也帶來諸多安全隱患,如成都機(jī)場無人機(jī) “黑飛”逼停客機(jī)、默克爾總理競選會(huì)無人機(jī)潛入、敘利亞自制 “武裝無人機(jī)”自殺式襲擊等.這些已有公共安全事件說明無序飛行的 “低慢小”無人機(jī)已經(jīng)嚴(yán)重威脅到社會(huì)秩序和公共安全.

近年來,人工智能和計(jì)算機(jī)視覺的發(fā)展,使得基于圖像/視頻的小目標(biāo)檢測與識(shí)別方法的性能有了較大的提升,成為研究此類問題的新手段[5-8].相比于以往基于聲譜特征[3-4]、光譜特征[5-6]、射頻和雷達(dá)[1,9-10]等方法,基于機(jī)器視覺的方法具備系統(tǒng)簡單、硬件體積小、場景普適性強(qiáng)、探測距離遠(yuǎn)、識(shí)別粒度細(xì)等優(yōu)點(diǎn).基于機(jī)器視覺的 “低慢小”目標(biāo)識(shí)別方法主要包括表觀特征方法[11-26]、運(yùn)動(dòng)特征方法[27-35]以及混合方法[15,36-45].

基于表觀特征的方法,如部件模型(Discriminatively-trained part model)[11]、Faster RCNN 神經(jīng)網(wǎng)絡(luò)[12]、SSD(Single shot multibox detector)神經(jīng)網(wǎng)絡(luò)[26]、積分通道(Integral channel)[13]等在許多常見目標(biāo)以及一些小目標(biāo)識(shí)別任務(wù)中顯著提升了識(shí)別精度.Zahangir 等[24]改進(jìn)循環(huán)卷積神經(jīng)網(wǎng)絡(luò),融合Inception-V4 和殘差網(wǎng)絡(luò)結(jié)構(gòu),形成IRRCNN識(shí)別網(wǎng)絡(luò)完成對(duì)輸入圖像的目標(biāo)識(shí)別,在多個(gè)數(shù)據(jù)集上,如 CIFAR-10、CIFAR-100、TinyImageNet-200 以及CU3D-100,達(dá)到最佳識(shí)別精度.對(duì)于無人機(jī)目標(biāo)來說,Schumann 等[17-18]提出了采用Faster RCNN網(wǎng)絡(luò)進(jìn)行識(shí)別的方法,并在其建立的數(shù)據(jù)集上進(jìn)行訓(xùn)練,識(shí)別鳥類和無人機(jī)兩類目標(biāo),在AVSS2017[23]測試集上取得了最高精度;Saqib 等[25]測試了不同結(jié)構(gòu)的卷積神經(jīng),得出采用VGG16結(jié)構(gòu)的Fasster-RCNN 神經(jīng)網(wǎng)絡(luò)具備最高識(shí)別精度;Aker 等[14]提出了將鳥類和無人機(jī)在不同背景下合成的數(shù)據(jù)集生成方法,用以訓(xùn)練無人機(jī)識(shí)別神經(jīng)網(wǎng)絡(luò);Wu 等[28]提出通過將顯著性方法引入至卡爾曼濾波器,完成對(duì)運(yùn)動(dòng)小目標(biāo)的跟蹤和定位,該方法對(duì)于四旋翼無人機(jī)的跟蹤也具有較高精度.Carrio 等[20-21]在深度圖中采用神經(jīng)網(wǎng)絡(luò)方法完成四旋翼無人機(jī)的識(shí)別,并在Airsim 飛行仿真軟件中建立深度圖數(shù)據(jù)集,用以訓(xùn)練識(shí)別方法,得到了其數(shù)據(jù)集上的最優(yōu)識(shí)別精度.但該方法對(duì)目標(biāo)的表觀和運(yùn)動(dòng)特征均未直接使用,對(duì)于常見的識(shí)別場景適用性較差、識(shí)別精度相對(duì)較低.

基于運(yùn)動(dòng)特征的方法,主要分為兩類,一類是基于背景減除;另一類是基于流方法.背景減除類方法的前提是假設(shè)相機(jī)不動(dòng)或者僅有很小移動(dòng).通過對(duì)背景進(jìn)行建模,從而達(dá)到僅在圖像中留下前景目標(biāo)的目的,此類方法[27,30-31]計(jì)算復(fù)雜度低、適用場景廣泛,但僅能在背景簡單下具備足夠精度;流方法[6,32-34]依賴于流向量的計(jì)算,其適用于多目標(biāo)場景、在復(fù)雜場景中也具備較高召回率,但對(duì)于識(shí)別任務(wù)來說,針對(duì)小目標(biāo)或者復(fù)雜場景計(jì)算精度不足,計(jì)算復(fù)雜度和虛景率也較高.基于深度網(wǎng)絡(luò)的光流提取方法提高了光流向量的計(jì)算精度,Dosovitskiy 等[33-34]提出FlowNet、FlowNet2.0 等結(jié)構(gòu),采用U-Net 架構(gòu),并融合多種網(wǎng)絡(luò)結(jié)構(gòu),取得了目前最優(yōu)光流提取性能.

融合運(yùn)動(dòng)以及表觀特征的方法,目前多以深度網(wǎng)絡(luò) (Deep neural network,DNN)為基礎(chǔ)框架,主要包括卷積神經(jīng)網(wǎng)絡(luò) (Convolutional neural network,CNN)[37-41]和循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent neural network,RNN)[42-43,46].T-CNN (Tublet CNN)[37]借用Faster RCNN 中RPN (Region proposal network)的高效結(jié)構(gòu),提出Tubelet 結(jié)構(gòu)關(guān)聯(lián)上下文特征,即通過光流法得到的在連續(xù)多幀中同一目標(biāo)識(shí)別矩形框,并采用LSTM (Long short-term memory)[46]網(wǎng)絡(luò)作為分類器完成分類.此方法能夠抑制虛景目標(biāo),提升正樣本的識(shí)別概率,但對(duì)于小目標(biāo)召回率較低.DFF (Deep feature flow)[38]使用基于深度網(wǎng)絡(luò)框架的FlowNet[33]方法提取光流特征,通過目標(biāo)運(yùn)動(dòng)過程聯(lián)系上下幀并篩選關(guān)鍵幀,節(jié)省了對(duì)非關(guān)鍵幀特征提取和識(shí)別的計(jì)算過程.Zhu 等[39]在像素級(jí) (Pixel-level)融合通過FlowNet計(jì)算得到的光流區(qū)域的特征圖,融合相鄰多個(gè)特征圖并輸入到最終的判別網(wǎng)絡(luò)中.與以上兩個(gè)工作類似,本文方法也采用了光流法提取上下幀目標(biāo)的運(yùn)動(dòng)過程,但并非綜合運(yùn)動(dòng)過程中變化的外觀特征,而是重建目標(biāo)運(yùn)動(dòng)過程中的運(yùn)動(dòng)學(xué)參數(shù).Bertasius 等[40]引入可變尺寸卷積 (Deformable convolution)對(duì)上下幀中目標(biāo)運(yùn)動(dòng)引入的額外特征進(jìn)行融合,而非采用光流聯(lián)系上下幀.Luo 等[41]融合區(qū)域級(jí)特征(Proposal-level)而非像素級(jí),其考慮候選區(qū)域內(nèi)的語義特征,并綜合相鄰兩幀語義特征、位置特征以及時(shí)間特征完成識(shí)別,取得了ImageNet VID[47]數(shù)據(jù)集中的最優(yōu)性能.以上方法主要以Faster RCNN或RPN 為主要框架,近年來,以RNN 為框架的方法[41-44]在計(jì)算效率以及精度上也達(dá)到了較高水平,Xiao 等[42]利用ConvGRU結(jié)構(gòu)融合時(shí)空特征,在ImageNet VID 數(shù)據(jù)集上,曾取得最優(yōu)性能.Chen等[43]提出的基于ConvLSTM[44]和SSD (Single shot multibox detector)[26]網(wǎng)絡(luò)結(jié)構(gòu),并融合注意力機(jī)制的方法,綜合了多尺度的特征 (像素級(jí)和目標(biāo)級(jí)),是目前綜合計(jì)算速度與精度的高性能方法.本文方法也采用了基于RNN 結(jié)構(gòu)的GRU (Gated recurrent unit)網(wǎng)絡(luò)[43-44]作為分類器,但其輸入為運(yùn)動(dòng)參量,而非圖像.

特別地,對(duì)于 “低慢小”目標(biāo)的混合識(shí)別方法,Lv 等[29]通過融合時(shí)空兩種特征,完成了對(duì)弱小飛行器目標(biāo)的探測;Shi 等[36]提出采用改進(jìn)粒子濾波的方法探測低速飛行小目標(biāo),對(duì)于海面背景的飛行器目標(biāo)來說,其相較與分型方法 (Fractal-based)和三特征方法 (Tri-feature-based)性能更佳.對(duì)于無人機(jī)目標(biāo)來說,Farhadi 等[23]提出將前景檢測結(jié)合目標(biāo)形狀進(jìn)行識(shí)別的方法,在綜合指標(biāo)上,取得了AVSS2017[14,16,23]方法中第二高精度的性能.Sapkota 等[19]提出利用級(jí)聯(lián)檢測的思路,識(shí)別無人機(jī)后利用混合高斯概率假設(shè)密度濾波器跟蹤無人機(jī)飛行軌跡,實(shí)現(xiàn)了兩架無人機(jī)的實(shí)時(shí)跟蹤.Rozantsev等[15]融合了表觀特征以及運(yùn)動(dòng)特征,利用目標(biāo)運(yùn)動(dòng)補(bǔ)償來提高識(shí)別精度,即通過決策樹和卷積神經(jīng)網(wǎng)絡(luò)估計(jì)目標(biāo)在像平面的運(yùn)動(dòng),進(jìn)而采用卷積神經(jīng)網(wǎng)絡(luò)識(shí)別獲得的圖像立方體中的目標(biāo).該方法在其提供的測試集中取得了目前最優(yōu)結(jié)果.但該方法未考慮多干擾目標(biāo)和多類別的識(shí)別,難以應(yīng)用在實(shí)際場景中.

相較于以往工作,與文獻(xiàn)[15]相似,本文方法也基于融合表觀和運(yùn)動(dòng)特征的思想,采用了文獻(xiàn)[6,32-36]中所涉及到的光流法進(jìn)行運(yùn)動(dòng)特征提取,并利用文獻(xiàn)[42-43,46]等工作中提及的GRU 網(wǎng)絡(luò)完成目標(biāo)判別.但不同的是本文從運(yùn)動(dòng)學(xué)角度直接提取目標(biāo)的運(yùn)動(dòng)特征,而非僅采用運(yùn)動(dòng)特征輔助串聯(lián)前后幀表觀特征的提取.并且本文采取決策融合的方式而非特征融合,這樣能針對(duì)性地充分考慮運(yùn)動(dòng)和表觀兩個(gè)不同維度的特征.從算法適用條件及精度來說,以往工作都在一定程度上實(shí)現(xiàn)了無人機(jī)的跟蹤和目標(biāo)的識(shí)別,但基本都要求單一純凈背景下的單目標(biāo)作為前提條件.而對(duì)于低空干擾目標(biāo)較多、背景較復(fù)雜這一現(xiàn)實(shí)約束,這些方法均無法做到高精度識(shí)別.此外,以往工作均采用對(duì)常見物體識(shí)別使用的通用框架,并未意識(shí)到無人機(jī) “低慢小”的特殊之處,也未對(duì)此特點(diǎn)加以利用.在構(gòu)建相關(guān)實(shí)驗(yàn)數(shù)據(jù)集時(shí),也未考慮無人機(jī)的特征,涵蓋的飛行場景較少.

本文以典型四旋翼無人機(jī)探測為目標(biāo),綜合其表觀和運(yùn)動(dòng)特征,提出了一種基于目標(biāo)多階運(yùn)動(dòng)參量的識(shí)別方法 (Multi-order kinematic parameters based detection method,MoKiP).本文中,多階運(yùn)動(dòng)參量是指一個(gè)運(yùn)動(dòng)參數(shù)的集合,包括零階運(yùn)動(dòng)參量(表觀特征),一階運(yùn)動(dòng)參量(速度、角速度),二階運(yùn)動(dòng)參量(加速度、角加速度),以及更高階的運(yùn)動(dòng)參量.

如圖1 所示,該方法的核心思想如下:首先提取并跟蹤運(yùn)動(dòng)候選區(qū)域,并估計(jì)候選區(qū)域的深度信息,然后計(jì)算出相應(yīng)的非零階運(yùn)動(dòng)參量,之后,采用梯度提升決策樹以及記憶神經(jīng)網(wǎng)絡(luò)完成基于運(yùn)動(dòng)特征的短期和長期識(shí)別.同步地,采用Faster RCNN[12]深度網(wǎng)絡(luò)對(duì)零階運(yùn)動(dòng)參量(表觀特征)進(jìn)行識(shí)別.最后,將零階和非零階兩部分識(shí)別結(jié)果,按照識(shí)別概率加權(quán)平均融合,得到最終的判別結(jié)果和類別概率.

圖1 本方法整體流程圖Fig.1 The overall flowchart of our method

實(shí)驗(yàn)證明,在目標(biāo)像素較少、背景復(fù)雜以及干擾目標(biāo)較多的情況下,相比于以往方法,本文提出的方法具有更高的識(shí)別精度.此外,通過靈敏度分析,本文進(jìn)一步定量分析了各階運(yùn)動(dòng)參量對(duì)識(shí)別精度的貢獻(xiàn)程度,并發(fā)現(xiàn)二階參量、重力方向參量是識(shí)別過程中影響較大的重要特征.

本文的主要貢獻(xiàn)如下:

1)提出基于多階運(yùn)動(dòng)參量的 “低慢小”識(shí)別方法.較好地處理了低空、復(fù)雜背景以及多目標(biāo)場景下的識(shí)別問題.

2)發(fā)現(xiàn)了二階運(yùn)動(dòng)參量以及沿重力方向的運(yùn)動(dòng)參量最能反映無人機(jī)與其他干擾目標(biāo)在運(yùn)動(dòng)特征上的差異.

3)建立了多尺度無人機(jī)數(shù)據(jù)集.包含四旋翼無人機(jī)以及行人、車輛、鳥類等干擾目標(biāo)的相關(guān)數(shù)據(jù).并為其它干擾目標(biāo)進(jìn)行了數(shù)據(jù)采集和標(biāo)定.

1 基于多階運(yùn)動(dòng)參量的無人機(jī)識(shí)別方法

1.1 總體識(shí)別流程

本文在充分挖掘無人機(jī)運(yùn)動(dòng)信息的基礎(chǔ)上,提出了一種基于多階運(yùn)動(dòng)參量判別融合的無人機(jī)識(shí)別方法.其輸入為場景的視頻片段,輸出為目標(biāo)的識(shí)別矩形框和所屬類別概率.該方法的流程如圖1 所示:首先,利用ViBe+(Visual background extractor)[30]法,提取候選運(yùn)動(dòng)區(qū)域.然后,分別提取無人機(jī)的表觀特征和運(yùn)動(dòng)特征,并分別根據(jù)這兩類特征識(shí)別目標(biāo)類別.最后,融合兩個(gè)識(shí)別結(jié)果,給出最終識(shí)別的概率.

本文中定義物體的表觀特征為零階運(yùn)動(dòng)參量.其處理流程如圖1 下半分支所示.利用Faster RCNN 深度神經(jīng)網(wǎng)絡(luò),根據(jù)輸入視頻獲得目標(biāo)圖像特征的識(shí)別矩形框和類別概率.圖1 上半分支根據(jù)目標(biāo)運(yùn)動(dòng)特征,即非零階運(yùn)動(dòng)參量進(jìn)行識(shí)別.該方法首先利用ViBe+法提取運(yùn)動(dòng)區(qū)域,其次,通過單目估計(jì)或物理測量等方法獲得運(yùn)動(dòng)目標(biāo)區(qū)域深度值.之后,根據(jù)深度圖,估計(jì)運(yùn)動(dòng)區(qū)域內(nèi)目標(biāo)的零階以上運(yùn)動(dòng)參量.然后,訓(xùn)練得到基于運(yùn)動(dòng)參量的GBDT決策樹 (Gradient boosting decision tree)[48]和GRU (Gated recurrent unit)[46]記憶網(wǎng)絡(luò),分別實(shí)現(xiàn)對(duì)無人機(jī)的短時(shí)和長期的識(shí)別,并得出識(shí)別矩形框和所屬類別概率.最后,將零階和非零階兩部分識(shí)別結(jié)果,按照識(shí)別概率進(jìn)行加權(quán)平均融合,得到最終結(jié)果和類別概率.

1.2 基于零階運(yùn)動(dòng)參量的特征提取方法

零階運(yùn)動(dòng)參量代表了目標(biāo) “不動(dòng)”時(shí)所傳遞的信息,也就是其表觀特征.以往工作中已經(jīng)有了很多成熟有效的算法[11-13,26,46,49]進(jìn)行表觀特征提取,本文采用了以提取區(qū)域候選網(wǎng)絡(luò) (Region proposal network,RPN)為前端的兩階段Faster RCNN[12]神經(jīng)網(wǎng)絡(luò).其在Pascal VOC[11]、ImageNet[47]等公開數(shù)據(jù)集中,均取得了最優(yōu)性能 (State-of-the-art,SOTA).本文使用基于Resnet101[49]框架的Faster RCNN 網(wǎng)絡(luò),以獲得目標(biāo)識(shí)別的矩形框,以及5 類目標(biāo)的識(shí)別概率.所采用的Resnet101 結(jié)構(gòu)在ImageNet 數(shù)據(jù)集中預(yù)訓(xùn)練,并在本文多尺度無人機(jī)數(shù)據(jù)集 (Multi-scale UAV dataset,MUD)中參數(shù)細(xì)調(diào) (Fine-tune).對(duì)于RPN 網(wǎng)絡(luò)的訓(xùn)練,尺度參數(shù)設(shè)置為5 (2,4,8,16,32),3 個(gè)矩形框比例分別設(shè)為(0.5,1,2),總共15 個(gè)錨 (Anchors).在訓(xùn)練時(shí),使正負(fù)樣本數(shù)比例達(dá)到1:1.

在使用本文融合方法進(jìn)行識(shí)別時(shí),采用按訓(xùn)練識(shí)別概率加權(quán)[50]的方法,融合基于零階與下文非零階的識(shí)別結(jié)果,得到最終判別結(jié)果.具體來說,對(duì)于某一候選區(qū)域、某一類別的識(shí)別概率為分別采用零階、非零階運(yùn)動(dòng)參量方法識(shí)別得到的概率按測試集(在調(diào)參時(shí)按訓(xùn)練集)準(zhǔn)確率加權(quán)求和的結(jié)果.若某一區(qū)域僅被零階或非零階中的一種方法所識(shí)別,則另一方法識(shí)別概率按零計(jì)算.

1.3 基于非零階運(yùn)動(dòng)參量的特征提取方法

圖2 給出了基于非零階運(yùn)動(dòng)參量識(shí)別的詳細(xì)流程,其輸入為運(yùn)動(dòng)區(qū)域的圖像流,輸出為識(shí)別得到的識(shí)別矩形框與類別概率.以下各小結(jié)將根據(jù)運(yùn)動(dòng)特征識(shí)別的流程,依次闡述識(shí)別過程中的各個(gè)環(huán)節(jié).主要包括目標(biāo)運(yùn)動(dòng)區(qū)域提取、運(yùn)動(dòng)參數(shù)辨識(shí)、候選目標(biāo)姿態(tài)測量、目標(biāo)類別與運(yùn)動(dòng)參量的條件概率密度函數(shù)估計(jì)等.其中,參數(shù)辨識(shí)過程包括了相機(jī)運(yùn)動(dòng)的識(shí)別與補(bǔ)償、水平面估計(jì)、深度估計(jì)等.對(duì)于條件概率密度函數(shù)的估計(jì),本文利用梯度提升樹完成相鄰幾幀的短時(shí)識(shí)別;利用GRU 記憶網(wǎng)絡(luò)完成長時(shí)識(shí)別.在描述每一步處理的過程中,本文也將分析每個(gè)環(huán)節(jié)對(duì)最終識(shí)別效果的影響.

圖2 基于多階運(yùn)動(dòng)參量的目標(biāo)識(shí)別方法流程圖(MoKiP)Fig.2 Flowchart of multi-order kinematic parameters based detection method (MoKiP)

1.3.1 運(yùn)動(dòng)目標(biāo)區(qū)域提取

疑似目標(biāo)區(qū)域提取是本文所述識(shí)別方法的第1 步.在無人機(jī)識(shí)別問題中,目標(biāo)所處的環(huán)境復(fù)雜多樣,反映到圖像,則會(huì)導(dǎo)致目標(biāo)圖像具有背景變化劇烈、多目標(biāo)的特點(diǎn).所以本文采用目前在多數(shù)常見場景都具備高召回率的ViBe 改進(jìn)算法ViBe+[30]提取運(yùn)動(dòng)區(qū)域.其主要流程為:

1)背景初始化建模

給每一個(gè)像素點(diǎn)建立像素樣本集.一般為從該點(diǎn)鄰域以及過去時(shí)刻鄰域像素中隨機(jī)選取20 個(gè)點(diǎn).鄰域點(diǎn)即與該像素點(diǎn)相鄰的8 個(gè)像素點(diǎn).

2)前景檢測

設(shè)置閃爍閾值以及更新因子.對(duì)于本時(shí)刻某點(diǎn)鄰域內(nèi),若鄰域點(diǎn)中像素值大于閃爍閾值的點(diǎn)的個(gè)數(shù)超過更新因子,則將該點(diǎn)設(shè)為前景點(diǎn).

3)背景模型更新

某像素點(diǎn)只有被分為背景樣本時(shí),才能被包含在背景模型中,而前景點(diǎn)不能被用于構(gòu)成背景模型.更新過程遵循時(shí)間和空間的隨機(jī)性.空間隨機(jī)性是更新的像素隨機(jī)替代樣本中任意像素,時(shí)間隨機(jī)性是指當(dāng)一個(gè)像素點(diǎn)被判定為背景時(shí),它有 1/rate的概率更新背景模型.rate為更新因子,根據(jù)更新需要設(shè)置為1、5 或者16 等值,由于本文所涉及的場景背景有較快速變化,此處設(shè)置rate=5;如果某個(gè)像素點(diǎn)連續(xù)N次被檢測為前景,則將其更新為背景點(diǎn),一個(gè)像素點(diǎn)在本時(shí)刻不被更新的概率為(N-1)/N,在本文設(shè)置N=15.

另外,加入關(guān)于Ghost 區(qū)域的消除、除去不完整目標(biāo)、自適應(yīng)閾值等改進(jìn),其余參數(shù)詳見文獻(xiàn)[30].通過Vibe+方法提取的運(yùn)動(dòng)區(qū)域如圖3 示意.

Movi表示提取出的運(yùn)動(dòng)區(qū)域(目標(biāo)包絡(luò)線以內(nèi));如圖3 所示,采用一個(gè)能夠包含此區(qū)域的最小矩形包圍框,作為待檢測目標(biāo)區(qū)域候選矩形框.則候選窗口可以用式(1)表示:

圖3 運(yùn)動(dòng)區(qū)域提取示意圖Fig.3 An illustration of the extracted motion ROI(Region of interest)

其中,Rec(t,Movi)表示在t時(shí)刻包括運(yùn)動(dòng)區(qū)域i的最小矩形框;Rm為最小矩形框所形成的二值掩碼矩陣.

1.3.2 運(yùn)動(dòng)參量辨識(shí)

快速且精確的運(yùn)動(dòng)參量辨識(shí)過程是本文提出方法的核心.如不加特殊說明,本文中所有運(yùn)動(dòng)參量均以地面坐標(biāo)系為基準(zhǔn)(X軸與圖像平面坐標(biāo)系中u軸方向保持一致,Z軸鉛垂向上,Y與X和Z軸構(gòu)成的平面垂直,構(gòu)成右手坐標(biāo)系),并根據(jù)其相機(jī)坐標(biāo)系下的測量分量,通過水平面估計(jì)矩陣轉(zhuǎn)換至地面坐標(biāo)系下對(duì)應(yīng)的分量.本節(jié)所述的一階和二階運(yùn)動(dòng)參量包括三軸平動(dòng)速度、三軸角速度,以及對(duì)應(yīng)的加速度、角加速度.三階及三階以上的參量較為特殊,將在第3.6 節(jié)中單獨(dú)闡述.

本文假設(shè)相機(jī)始終保持靜止.對(duì)于場景中的運(yùn)動(dòng)目標(biāo),首先獲取目標(biāo)運(yùn)動(dòng)區(qū)域內(nèi)的深度值;然后,進(jìn)行水平面的矯正;最后,采用差分估計(jì)提取得到目標(biāo)的運(yùn)動(dòng)參量.

1)運(yùn)動(dòng)區(qū)域深度圖

目標(biāo)在圖像平面內(nèi)的運(yùn)動(dòng)和其對(duì)應(yīng)的深度值共同決定了目標(biāo)在三維空間內(nèi)的真實(shí)運(yùn)動(dòng)規(guī)律.因此需要首先獲取目標(biāo)的深度信息.

目前獲得深度圖的手段有激光測距、立體視覺、圖像估計(jì)等方法.根據(jù)不同識(shí)別場景的需求,應(yīng)選取不同方法獲得深度圖,在獲得的深度圖中,每個(gè)像素代表該圖像位置的深度值,此外還可能包含深度測量的置信度或誤差等信息.對(duì)于常見的識(shí)別場景,從圖像中直接估計(jì)深度信息的方法具備更強(qiáng)的適用性,所以本文選擇采用目前單目深度估計(jì)方法中具備最佳精度的DORN (Deep ordinal regression network)[51]方法.

2)水平面方向估計(jì)

考慮到相機(jī)仍存在旋轉(zhuǎn),為了更加準(zhǔn)確的估計(jì)運(yùn)動(dòng)參量,需要補(bǔ)償相機(jī)旋轉(zhuǎn)對(duì)參量估計(jì)的影響,修正深度方向至與相機(jī)所在世界坐標(biāo)系保持一致.本文采用改進(jìn)隱馬爾科夫[52]方法進(jìn)行估計(jì),獲得水平面旋轉(zhuǎn)修正矩陣.該方法能夠在多種場景下魯棒地估計(jì)水平面方向,并具有相比于以往文獻(xiàn)較高的精度.對(duì)于本文的識(shí)別問題,當(dāng)探測場景為低空?qǐng)鼍皶r(shí),直接采用此方法進(jìn)行水平面修正.而當(dāng)探測場景為對(duì)空?qǐng)鼍皶r(shí),場景中無地平線作為參考,因此無法獲取估計(jì)所需的特征.此情況下,可近似認(rèn)為深度方向即為海拔高度方向.

3)一階和二階運(yùn)動(dòng)參量提取

根據(jù)以上章節(jié)獲得的候選區(qū)域逐點(diǎn)深度信息,及其在像平面內(nèi)的軌跡,本節(jié)將從這些信息中提取運(yùn)動(dòng)區(qū)域內(nèi)目標(biāo)的特征點(diǎn),然后計(jì)算其一階和二階運(yùn)動(dòng)參量.

首先,本方法采用具有快速和魯棒特性的ORB (Oriented fast and rotated brief)[53]算法提取Movi內(nèi)的目標(biāo)特征點(diǎn).設(shè)當(dāng)前第t幀中運(yùn)動(dòng)區(qū)域Movi內(nèi)提取的第i個(gè)特征點(diǎn) (ORB 算法具備足夠檢出速度和特征點(diǎn)魯棒性) 在圖像坐標(biāo)系下為深度為, 其在t-1 幀,對(duì)應(yīng)的匹配點(diǎn)為其深度為其在t+1幀對(duì)應(yīng)的匹配點(diǎn)為深度為相機(jī)焦距為f,幀率為F,總共特征點(diǎn)個(gè)數(shù)為N,根據(jù)相機(jī)幾何,則此時(shí)刻第i個(gè)目標(biāo)特征點(diǎn)在三維空間中的坐標(biāo)為,相機(jī)坐標(biāo)系下坐標(biāo)為.

運(yùn)動(dòng)區(qū)域Movi內(nèi)待提取的運(yùn)動(dòng)參數(shù)ρ=(v,a,ω,α),分別代表目標(biāo)運(yùn)動(dòng)的平動(dòng)速度,平動(dòng)加速度,角速度,角加速度矢量,即目標(biāo)作為剛體運(yùn)動(dòng)時(shí)的運(yùn)動(dòng)學(xué)參數(shù).為估計(jì)這些運(yùn)動(dòng)參量,第1 步是獲得目標(biāo)的位移向量以及旋轉(zhuǎn)矩陣

若運(yùn)動(dòng)區(qū)域內(nèi)相鄰幀匹配特征點(diǎn)N≥4 時(shí),采用EPnP (Efficient perspective n point)[54]方法,則空間中點(diǎn)其圖像中匹配點(diǎn)為ui=(xi,yi), 四個(gè)控制點(diǎn)的坐標(biāo)為cj,j=1,···,4,世界坐標(biāo)系下的任意三維點(diǎn)可表示為

通過齊次質(zhì)心坐標(biāo)αij,將上式可以寫成齊次坐標(biāo)形式

則對(duì)于任意匹配的空間三維點(diǎn)Pi,相機(jī)投影模型可重寫為如下形式

根據(jù)相機(jī)投影模型(5),在不考慮外參數(shù)矩陣[R|T]的情況下,求解控制點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo),消去式(5)中最后一行.

其中除相機(jī)內(nèi)參數(shù)fx、fy、cx、cy,以及已知匹配點(diǎn)坐標(biāo)ui=(xi,yi) 外,4 個(gè)控制點(diǎn)共計(jì)12 個(gè)未知參數(shù).根據(jù)中間變量法以及近似線性化的約束,將所有N個(gè)特征點(diǎn)作為輸入,可以解得P0,得到質(zhì)心坐標(biāo).于是,問題就簡化為點(diǎn)匹配的ICP (Iterative closest point)問題,即將質(zhì)心偏移矩陣SVD 分解,得到本時(shí)刻的旋轉(zhuǎn)和平移矩陣 [Rt|T t],詳細(xì)計(jì)算過程參見文獻(xiàn)[54].

根據(jù)所獲得的平移和旋轉(zhuǎn)矩陣,則本運(yùn)動(dòng)區(qū)域在當(dāng)前時(shí)刻的速度vt,沿第1.3.2 節(jié)約定的X、Y、Z軸三方向的分量分別為則

對(duì)于已得到的速度向量,根據(jù)中心差分,設(shè)at三方向分量為則

由式(2)～(8),本文獲得了候選目標(biāo)的平動(dòng)參數(shù).

對(duì)于轉(zhuǎn)動(dòng)參量,由羅德里格斯變換,相鄰兩幀的旋轉(zhuǎn)角度φ為

其中, tr(Rt)為矩陣Rt的跡.則根據(jù)式(9),轉(zhuǎn)軸u=(ux,uy,uz)(單位向量)的反對(duì)稱矩陣 [u]x為

其中,RT為R的轉(zhuǎn)置.則角速度ωt可表示為

基于此,采用中心差分,角加速度可表示為

至此就得到了目標(biāo)所有的一階與二階運(yùn)動(dòng)參量.

1.3.3 運(yùn)動(dòng)參量決策樹

至此,用于描述物體運(yùn)動(dòng)特征的一階與二階運(yùn)動(dòng)參量都已獲得.在本節(jié)中,本文將基于運(yùn)動(dòng)參量建立無人機(jī)識(shí)別模型.由于參量數(shù)量較多且相互關(guān)系復(fù)雜,直接估計(jì)每一類別關(guān)于運(yùn)動(dòng)參量的后驗(yàn)概率較為困難(其中,參數(shù)分別為目標(biāo)的速度、加速度、角速度以及角加速度).因此,本文方法將識(shí)別過程分解為短期和長期兩個(gè)步驟.短期預(yù)測以快速檢測為目的,對(duì)于輸入視頻完成實(shí)時(shí)處理,適用于實(shí)時(shí)性要求較高的場景.長期識(shí)別以高精度檢測為目的,當(dāng)在視頻時(shí)長足夠的情況下,確保算法具備較高的識(shí)別精度.

其中,梯度提升樹(Gradient boosting decision tree,GBDT)完成短時(shí)識(shí)別并篩選關(guān)鍵運(yùn)動(dòng)參量.而具有更高識(shí)別精度的LSTM 網(wǎng)絡(luò)則被用來完成長期識(shí)別.該方式能夠根據(jù)需求選擇不同的針對(duì)性方法,在實(shí)時(shí)性和高精度之間保持較好的平衡.

當(dāng)前幀以及相鄰前兩幀的所有運(yùn)動(dòng)學(xué)參數(shù)共計(jì)36 個(gè),以這些參數(shù)作為分量建立描述這些參數(shù)的GBDT 分類樹.選擇CART 樹作為弱分類器,采用交叉熵作為損失函數(shù)

其中,Xk={0,1}表示是否屬于第k類,1 表示是,0表示否,k=1,2,···,K為總共類別數(shù)(本文類別包含四旋翼無人機(jī)、行人、車輛、鳥類、以及其他,共5 類,則K=5 ),ρ=(v,a,ω,α) 為所采用的運(yùn)動(dòng)參數(shù).pk(ρ) 為該樣本屬于每個(gè)類別的概率

對(duì)于輸入的訓(xùn)練T={(ρ1,X1),···,(ρN,XN)}的每個(gè)樣本i=1,2,···,N,其偽殘差為

利用 (ρi,rk,i)(i=1,2,···,N) 擬合一棵分類CART (Classification and regression tree)樹[48],得到第m=1,2,···,M棵樹共J個(gè)葉子節(jié)點(diǎn)權(quán)值的最佳負(fù)梯度擬合值為

則更新強(qiáng)分類器為

其中Fk,m(ρ)為更新得到的強(qiáng)分類器,1(ρ∈Rm,k,j)表示當(dāng)前參數(shù)節(jié)點(diǎn)是否屬于本次迭代殘差構(gòu)建的CART 樹的葉節(jié)點(diǎn).

當(dāng)殘差滿足一定數(shù)值或達(dá)到迭代次數(shù)時(shí),決策樹構(gòu)建完成.第2.5 節(jié)將分析設(shè)置不同參數(shù)對(duì)識(shí)別性能的影響.

2 實(shí)驗(yàn)與結(jié)果分析

本文所提出的多階運(yùn)動(dòng)參量識(shí)別方法(Multiorder kinematic parameters based detection method,MoKiP)需要目標(biāo)存在足夠長的運(yùn)動(dòng)行程以提取運(yùn)動(dòng)學(xué)參數(shù),并要求輸入視頻盡可能達(dá)到較高的幀率.因此,本文采集補(bǔ)充了以往數(shù)據(jù)集中缺失的若干常見場景數(shù)據(jù),共同形成無人機(jī)多階運(yùn)動(dòng)參量數(shù)據(jù)集 (Multi-scale UAV dataset,MUD).本文將在該數(shù)據(jù)集上分析MoKi 算法的有效性并從識(shí)別精度上與以往方法進(jìn)行對(duì)比,得出本文方法的優(yōu)缺點(diǎn).

2.1 實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)所使用數(shù)據(jù)包括兩部分:1)公開數(shù)據(jù)集;2)本文采集的近地UAV 數(shù)據(jù)集.本文將獲得的視頻以是否包含地面分為兩大類,一類是近地場景,一類是對(duì)空?qǐng)鼍?近地場景的視頻中包含部分地面以及地面物體,如建筑、植物等;對(duì)空?qǐng)鼍暗囊曨l中,背景完全為天空,不涉及地面部分.

公開數(shù)據(jù)集包括AVSS2017 無人機(jī)識(shí)別挑戰(zhàn)數(shù)據(jù)集 (Drone-bird dataset,DBD)[23]以及運(yùn)動(dòng)相機(jī)飛行器探測數(shù)據(jù)集(UAV-aircraft dataset,UAD)[15].其中,DBD 包含6 段對(duì)空無人機(jī)飛行的視頻,共2 130幀,背景簡單,干擾目標(biāo)為鳥類;UAD 包含20 段無人機(jī)和飛行器近地飛行的視頻,共4 000 幀,背景相對(duì)復(fù)雜,但無干擾運(yùn)動(dòng)目標(biāo).

以上數(shù)據(jù)集中考慮了四旋翼無人機(jī)外觀和光照的多樣性.但對(duì)于無人機(jī)常見飛行場景來說,其他影響識(shí)別的重要因素,如多種干擾目標(biāo)、目標(biāo)尺度多樣性、不同遮擋程度、不同背景復(fù)雜程度等都未得到體現(xiàn),因此不能充分反映無人機(jī)在日常場景中的飛行特性.

所以,在此基礎(chǔ)上,本文以目標(biāo)尺度為依據(jù),補(bǔ)充了室內(nèi)場景、城市場景以及部分野外場景的無人機(jī)飛行視頻.新加入的數(shù)據(jù)集不僅包含目標(biāo)類別和矩形框等簡單標(biāo)注,而且還標(biāo)記了目標(biāo)的深度信息、飛行高度、相機(jī)拍攝角度以及運(yùn)動(dòng)參數(shù)等,形成多尺度無人機(jī)數(shù)據(jù)集 (Multi-scale UAV dataset,MUD).

干擾目標(biāo)的數(shù)據(jù)來自于KITTI 車輛檢測數(shù)據(jù)集[55]、RGB-D Pedestrian 行人檢測數(shù)據(jù)集[56]、MoveBank[57]和NABirds 鳥類飛行探測數(shù)據(jù)集[58].表1 對(duì)比了本文采集的數(shù)據(jù)、標(biāo)注情況,以及常見數(shù)據(jù)集.本文所采集數(shù)據(jù)的部分圖片如圖4(c)所示,所涉及的主要采集設(shè)備以及參數(shù)如表2 所示.

表2 MUD 數(shù)據(jù)集采集設(shè)備說明Table 2 Main equipment for acquisition of multi-scale UAV dataset (MUD)

圖4 本文實(shí)驗(yàn)所用數(shù)據(jù)集示意圖Fig.4 Illustration of parts of MUD used in our work

表1 本文所采集數(shù)據(jù)與其他運(yùn)動(dòng)目標(biāo)數(shù)據(jù)集的對(duì)比Table 1 Comparison of different datasets for moving objects

本文所采集數(shù)據(jù)集相比于以往無人機(jī)和常見數(shù)據(jù)集,增加了姿態(tài)、深度、視角、遮擋以及誤差的標(biāo)注信息,其中誤差信息為采集設(shè)備的誤差.本文所涉及的目標(biāo)以及干擾目標(biāo)為無人機(jī)、行人、車輛、鳥類.此外,為了更好的使用這些數(shù)據(jù),本文以是否包含地面為標(biāo)準(zhǔn),將這些視頻重新組織為兩大類,一類稱為近地場景,即圖像中包含部分地面以及地面物體,如建筑、植物等;一類是對(duì)空?qǐng)鼍?背景完全為天空,基本不包含可識(shí)別的地平線特征.

2.2 運(yùn)動(dòng)目標(biāo)區(qū)域提取結(jié)果

作為本文方法流程的第1 步,根據(jù)第1.3.1 節(jié)的方法,采用運(yùn)動(dòng)目標(biāo)提取Vibe+[30]法中設(shè)置參數(shù)前景孔洞最小尺寸為5 像素,每像素樣本量為10,其余參數(shù)與文獻(xiàn)[30]中保持一致.得到提取運(yùn)動(dòng)目標(biāo)區(qū)域以及相機(jī)運(yùn)動(dòng)補(bǔ)償結(jié)果如圖5.

圖5 為室外/室內(nèi)兩個(gè)場景下運(yùn)動(dòng)區(qū)域提取結(jié)果.其中標(biāo)出的矩形窗口為獲得的待識(shí)別目標(biāo)的區(qū)域.由于目標(biāo)為獲得更高的召回率,或在召回率相近的情況下,提取出的運(yùn)動(dòng)區(qū)域更少.所以,為對(duì)比不同運(yùn)動(dòng)提取方法,所有采集視頻被劃分為固定長度片段,并以召回率、矩形框數(shù)量以及單位數(shù)量區(qū)域下的目標(biāo)召回率(單位召回率)為指標(biāo),對(duì)比不同方法得到下表3.

表3 運(yùn)動(dòng)目標(biāo)區(qū)域提取算法性能對(duì)比Table 3 Comparison between performance of different motion ROIs

圖5 運(yùn)動(dòng)目標(biāo)區(qū)域提取結(jié)果圖Fig.5 Extraction result of motion ROIs

從3 個(gè)指標(biāo)來看,Vibe+法具有更高的召回率.幀差法和光流法雖召回率也較高,但召回的假目標(biāo)較多,單位召回率較低;混合高斯法召回率較低.所以對(duì)于隨后的處理和識(shí)別,本文采用Vibe+法作為待識(shí)別區(qū)域提取的方法,并采用高斯混合概率假設(shè)密度濾波算法 (Gaussian mixture-probability hypothesis density,GM-PHD)方法對(duì)其進(jìn)行跟蹤,算法實(shí)施過程中目標(biāo)檢測概率、目標(biāo)生存概率、平均雜波數(shù)、高斯元門限值等參數(shù)與文獻(xiàn)[62]中保持一致.

2.3 目標(biāo)深度提取

按第1.3.2 節(jié)所述,利用DORN 方法估計(jì)場景深度.對(duì)MUD 數(shù)據(jù)集中街道場景中某幀計(jì)算得到的深度圖如圖6 所示.其中深度真值為數(shù)據(jù)集中的標(biāo)注值或通過激光測距的測量值.

圖6 中,(a)為輸入圖像,(b)為深度估計(jì)結(jié)果,(c)為目標(biāo)區(qū)域深度真值.其中白色區(qū)域?yàn)樯疃瘸^100 米的位置,可以認(rèn)為無窮遠(yuǎn)背景,不予計(jì)算;對(duì)比估計(jì)結(jié)果與真值圖可以看出,對(duì)于遠(yuǎn)處行人以及空中無人機(jī),深度的估計(jì)結(jié)果與真值相符,以下將具體給出該算法以及其他算法的估計(jì)誤差.

圖6 深度估計(jì)結(jié)果圖Fig.6 Result of depth estimation

表4 以不同估計(jì)誤差參數(shù)對(duì)比了目前不同深度估計(jì)方法在本文所采用數(shù)據(jù)中的估計(jì)精度,其中誤差參數(shù)定義如文獻(xiàn)[51].其中誤差項(xiàng)參數(shù)越小精度越高,涉及δ的誤差項(xiàng)越大精度越高.從表中可以看出,相比于激光測距的精度,深度估計(jì)的算法誤差隨對(duì)探測距離的增加而明顯增大.多目視覺方法在近距離的深度測量中具備較高精度以及較低的時(shí)間復(fù)雜度,但隨深度的增加深度測量精度嚴(yán)重下降,更適合于在室內(nèi)場景中使用.DORN 方法具有當(dāng)前方法中最佳的精度和魯棒性.

表4 不同深度估計(jì)方法誤差對(duì)比Table 4 Error of different depth estimation methods

深度估計(jì)的方法亦可根據(jù)場景和需求選擇其他方法.

2.4 運(yùn)動(dòng)參量提取

根據(jù)以上小節(jié)所得到的運(yùn)動(dòng)區(qū)域深度值,利用第1.3.2 節(jié)中的估計(jì)方法,可以提取出運(yùn)動(dòng)區(qū)域中的運(yùn)動(dòng)參數(shù)ρ=(v,a,ω,α),對(duì)于各個(gè)運(yùn)動(dòng)參量的定義和坐標(biāo)設(shè)定與第2.3 節(jié)中保持一致.運(yùn)動(dòng)參數(shù)以及姿態(tài)真值由無人機(jī)自帶的實(shí)時(shí)動(dòng)態(tài)差分系統(tǒng)(Real-time kinematic,RTK)以及運(yùn)動(dòng)捕捉系統(tǒng)(Motion capture system,MCS)給出.其測量精度為:當(dāng)GPS 正常工作時(shí),垂直方向定位精度為±0.5 m, 水平方向定位誤差為±1.5 m;若視覺定位也正常工作,則垂直方向定位精度為±0.3 m,水平方向定位誤差為±0.5 m.

從圖像中提取的參數(shù),其與標(biāo)定值誤差如圖7所示.表5 中為圖7 各參數(shù)的說明.圖7 中分別為目標(biāo)速度、加速度、角速度、角加速度的三方向分量的估計(jì)誤差以及空間定位誤差,其中紅色標(biāo)點(diǎn)為典型異常值,右表為圖中各符號(hào)說明.圖中,采用本文方法估計(jì)得到的速度、加速度、角速度、角加速度的最小誤差、最大誤差以及平均誤差百分?jǐn)?shù)分別為:0.0,12.7,3.4 (速度參量);0.1,20.1,6.9 (加速度參量);0.0,21.2,8.3 (角速度參量);2.1,27.8,12.1 (角加速度參量).從整體來看,平動(dòng)參量(速度、角速度)估計(jì)誤差低于轉(zhuǎn)動(dòng)參量(角速度、角加速度),估計(jì)精度更高;一階參量(速度、角速度參量)的X、Y、Z三方向分量估計(jì)精度相比于相應(yīng)的二階參量具有更高的精度.運(yùn)動(dòng)參量在X、Y軸方向分量的估計(jì)精度相比于Z軸相應(yīng)參量分量的精度更高,估計(jì)誤差的標(biāo)準(zhǔn)差也更小,所有參量中,速度參量的X、Y軸分量的估計(jì)精度最高,誤差在5%以下;角加速度參量的Z軸分量誤差最大,約為20%.

表5 圖7 中參數(shù)對(duì)照表Table 5 Illustrations of parameters in Fig.7

圖7 運(yùn)動(dòng)參量估計(jì)誤差箱圖Fig.7 Boxplot for motion parameter error estimation

由于平動(dòng)為無人機(jī)運(yùn)動(dòng)的主要方式,反映在圖像中,目標(biāo)的特征點(diǎn)在幀間產(chǎn)生明顯的位移,定位的偏差相對(duì)于目標(biāo)的位移相對(duì)較小,所以估計(jì)誤差相對(duì)較小.而因轉(zhuǎn)動(dòng)產(chǎn)生的特征點(diǎn)位移較小,對(duì)特征點(diǎn)定位精度敏感,定位誤差產(chǎn)生的轉(zhuǎn)動(dòng)參量估計(jì)的偏差會(huì)更大.

另外,二階參量估計(jì)是在一階參量基礎(chǔ)上完成的,所以一階參量的估計(jì)誤差會(huì)累積到二階參量的估計(jì)中,導(dǎo)致二階參量的估計(jì)誤差更高.

2.5 基于運(yùn)動(dòng)參量的無人機(jī)識(shí)別方法結(jié)果與分析

2.5.1 基于運(yùn)動(dòng)參量的梯度提升樹模型的識(shí)別結(jié)果

本文采用決策樹模型,利用運(yùn)動(dòng)學(xué)參數(shù)進(jìn)行目標(biāo)識(shí)別.根據(jù)文獻(xiàn)中常用參數(shù)搭配[48]通過網(wǎng)格搜索法(Grid search)選擇較優(yōu)的參數(shù)組合,設(shè)置不同的決策樹深度D、決策樹數(shù)量M(弱學(xué)習(xí)器最大數(shù)量)、葉子結(jié)點(diǎn)數(shù)量J,獲得訓(xùn)練集上識(shí)別精度最高的參數(shù)組合.在不同參數(shù)取值下得到無人機(jī)分類器判決接收者操作特征曲線 (Receiver operating characteristic curve,ROC) 如下.其橫坐標(biāo)為假陽率(False positive rate),縱坐標(biāo)為真陽率 (True positive rate),用于評(píng)價(jià)模型的判決能力.ROC 曲線下面積 (Area under curve,AUC)值在 0～1 之間.越大其分類正確率越高.

如圖8(a)、(b) 為設(shè)置不同的D、M、J參數(shù)時(shí),梯度提升樹訓(xùn)練后的ROC 曲線.圖8(a)中為按訓(xùn)練后分類器的性能得到若干典型參數(shù)組合;圖8(b)中為獲得固定D、M、J參數(shù)中的兩個(gè)時(shí),另外一個(gè)單一變量對(duì)ROC 曲線的影響,用以篩選出最優(yōu)參數(shù).在圖8(b)中,當(dāng)固定M、J參數(shù)時(shí),隨D(決策樹深度)的增大,ROC 曲線上移,說明分類器的準(zhǔn)確率上升,但當(dāng)增加到D=20后,再增大D,ROC 曲線不再上移,說明該分類器接近性能上限;當(dāng)固定D、J參數(shù)時(shí),隨M(決策樹數(shù)量)的增大,ROC 曲線持續(xù)上移,曲線下面積(Area under curve,AUC)從0.580 上升至0.825,但上升的幅度越來越小,M=80至M=100 相比于之前相鄰曲線面積增加的0.134,下降至0.065,增長率從16.2%下降至6.7%;當(dāng)固定M、D增加J(葉子節(jié)點(diǎn)數(shù)量)時(shí),ROC 曲線仍上移,但當(dāng)增至J=128 時(shí),增長率相比于之前增長率下降至7.1%.總結(jié)圖8(a)、(b)中各參數(shù)組合的ROC 曲線,為盡量保證訓(xùn)練時(shí)分類器具備較高精度,并防止過擬合現(xiàn)象,最終梯度提升樹的參數(shù)值為D=20,M=80,J=64 (其曲線下面積AUC 值為0.812).學(xué)習(xí)率設(shè)置為0.6,子采樣系數(shù)設(shè)置為0.8,損失函數(shù)為對(duì)數(shù)損失.以下是在該參數(shù)組合下,不同場景目標(biāo)的識(shí)別結(jié)果.

圖8 不同參數(shù)組合的ROC 曲線單參數(shù)變化時(shí)的ROC 曲線(左中右分別為 D、M、J 單獨(dú)變化)Fig.8 ROC curves of different GBDT parameter combinations (The subplots from left to right are corresponding to D、M、J respectivly)

圖9 為室內(nèi)、對(duì)空、以及低空野外3 個(gè)不同場景下的識(shí)別結(jié)果示意.場景中除目標(biāo)外,同時(shí)還包括本文所涉及的主要干擾目標(biāo),包括鳥類、行人、車輛和其他干擾目標(biāo).不同目標(biāo)以不同顏色予以標(biāo)識(shí),并給出識(shí)別結(jié)果以及類別概率.從后兩段識(shí)別結(jié)果來看,即使外觀特征不顯著的情況下,本方法也能夠在運(yùn)動(dòng)過程中動(dòng)態(tài)辨識(shí)目標(biāo),類別概率會(huì)隨著目標(biāo)的運(yùn)動(dòng)而變化.當(dāng)出現(xiàn)典型的運(yùn)動(dòng)方式時(shí),符合該運(yùn)動(dòng)方式的目標(biāo)類別概率會(huì)明顯上升,錯(cuò)誤的類別概率就會(huì)逐漸下降,當(dāng)類別概率超過50%時(shí),則框出該目標(biāo)為此類別.為消除系統(tǒng)累積誤差,本方法將在每20 秒初始化1 次.

圖9 基于運(yùn)動(dòng)參量決策樹的無人機(jī)識(shí)別結(jié)果Fig.9 Results of MoKiP by using GBDT

訓(xùn)練得到的包括無人機(jī)、鳥類、行人、車輛以及其他類別的多分類器,其混淆矩陣如表6 所示.其中數(shù)字表示預(yù)測正確的樣本所占該類樣本總數(shù)的比例.從表中可以看出,無人機(jī)、行人、車輛的識(shí)別精度較高;鳥類的識(shí)別精度最低,混淆率較高,更容易與無人機(jī)以及其他物體飛行物體所混淆.相比于鳥類,無人機(jī)的識(shí)別精度更高,不易被其他飛行物體所干擾,但其主要干擾目標(biāo)仍為鳥類.行人和車輛識(shí)別精度最高,主要由于其運(yùn)動(dòng)復(fù)雜度低、運(yùn)動(dòng)變化少,運(yùn)動(dòng)特性明確.總的來說,根據(jù)運(yùn)動(dòng)參量決策樹對(duì)本文涉及的類別識(shí)別正確率(對(duì)角線數(shù)值)均能達(dá)到0.55 以上.

表6 運(yùn)動(dòng)參量的決策樹模型識(shí)別結(jié)果混淆矩陣Table 6 Confusion matrix of MokiP by using GDBT

2.5.2 與以往方法對(duì)比分析

為對(duì)比本方法與以往不同方法的識(shí)別性能,本節(jié)以PR 曲線 (Precision-recall curve)和識(shí)別精度AP (Average precision)值為指標(biāo)[11-17],給出本方法與目前幾種主要 “低慢小”運(yùn)動(dòng)目標(biāo)識(shí)別方法的性能對(duì)比,如圖10 所示.

在圖10 繪出了包括本文方法在內(nèi)的多種目前具備較優(yōu)性能的 “低慢小”識(shí)別方法在所述MUD數(shù)據(jù)集上的識(shí)別PR 曲線,所涉及方法為:基于深度光流特征的FlowNet 2.0[34]運(yùn)動(dòng)特征方法、Xiao等[42]采用ConvGRU(RNN)結(jié)構(gòu)融合時(shí)空特征的混合方法、Schumann 等[17-18]基于Faster RCNN[12]并根據(jù)四旋翼無人機(jī)訓(xùn)練的改進(jìn)表觀特征方法、Luo等[41]引入語義信息關(guān)聯(lián)相鄰幀目標(biāo)框的時(shí)空特征混合方法(ImageNet VID 數(shù)據(jù)集中目標(biāo)的最優(yōu)方法SOTA)、Rozantsev 等[15]引入相機(jī)補(bǔ)償?shù)母倪M(jìn)Faster RCNN 方法(四旋翼無人機(jī)目標(biāo)識(shí)別的最優(yōu)方法SOTA)以及本文MoKiP 方法采用GBDT、GRU 神經(jīng)網(wǎng)絡(luò)的兩種實(shí)現(xiàn)和融合方法.圖中每條PR 曲線繪出隨某算法召回率上升時(shí),準(zhǔn)確率的變化情況.每條曲線頭部保持平直,準(zhǔn)確率基本保持不變,保持在高準(zhǔn)確率;當(dāng)?shù)竭_(dá)轉(zhuǎn)折點(diǎn)時(shí)開始下降,尾部為下降過程.

圖10 中曲線頭部為識(shí)別方法能夠達(dá)到的最高準(zhǔn)確率.對(duì)于本文所研究的目標(biāo)和數(shù)據(jù)集,以往基于運(yùn)動(dòng)特征的最優(yōu)方法FlowNet2.0[34]的最高準(zhǔn)確率為0.68,基于表觀特征的最優(yōu)方法Luo[41]的最高準(zhǔn)確率為0.83,混合方法中的最優(yōu)方法,即目前最優(yōu)方法Rozantsev[15]的最高準(zhǔn)確率為0.88.本文基于運(yùn)動(dòng)特征的方法(非零階運(yùn)動(dòng)參量)最高準(zhǔn)確率為0.76,混合方法最高為0.92.通過對(duì)運(yùn)動(dòng)特征的充分提取和細(xì)化,相比與以往基于運(yùn)動(dòng)和混合方法,本文方法在最高準(zhǔn)確率(曲線頭部部分)分別有0.06和0.04 的提升.但是基于非零階運(yùn)動(dòng)參量的方法相對(duì)于以往表觀識(shí)別方法[18,41],曲線頭部準(zhǔn)確率有0.06 左右的下降.這是由于,在低召回率的情況下,最先被召回的目標(biāo)主要是像素量高、細(xì)節(jié)豐富的目標(biāo),直接利用深度網(wǎng)絡(luò)的表觀識(shí)別方法精度更高,

圖10 不同識(shí)別方法的性能對(duì)比圖Fig.10 Comparison of performance for different detection methods

圖10 表示出本文多階運(yùn)動(dòng)參量融合識(shí)別方法PR 曲線在準(zhǔn)確率下降到95%時(shí)的轉(zhuǎn)折點(diǎn)位置.結(jié)合表7,根據(jù)95%轉(zhuǎn)折點(diǎn)位置可以看出,以往方法最大值位置為Recall=0.57 (方法[42]),本文基于非零階和多階運(yùn)動(dòng)參量的95%轉(zhuǎn)折點(diǎn)分別為Recall=0.73和Recall=0.82.以往方法的PR 曲線(方法[15,18,34,41-42])都位于本文方法PR 曲線的左側(cè),說明本文方法隨召回率升高仍能保持較高的準(zhǔn)確率,魯棒性強(qiáng).在高召回率時(shí)主要為以往方法難以識(shí)別的困難目標(biāo),其主要表現(xiàn)為微像素量(目標(biāo)總像素量少于150)、外觀呈現(xiàn)形式多樣、遮擋部分多,往往出現(xiàn)在多目標(biāo)干擾的復(fù)雜背景中.但這些在表觀特征中的識(shí)別困難,在本文通過運(yùn)動(dòng)參量形成的運(yùn)動(dòng)特征空間中,不同目標(biāo)的運(yùn)動(dòng)模式差距較大,而同類目標(biāo)即使外觀的千差萬別,卻具備相似的特征運(yùn)動(dòng)模式.

表7 不同識(shí)別方法性能指標(biāo)對(duì)比表Table 7 Comparison of performance indexes for different detection method

PR 曲線95%轉(zhuǎn)折點(diǎn)后下降部分為其尾部.本文采用尾部下降梯度參數(shù)衡量識(shí)別方法退化速度,即由95%轉(zhuǎn)折點(diǎn)下降至準(zhǔn)確率為0.1 位置連線的斜率,見表7.以往工作中具備較高精度的神經(jīng)網(wǎng)絡(luò)方法,包括文獻(xiàn)[15,18,24],尾部下降梯度大于10,當(dāng)在網(wǎng)絡(luò)中加入語義以及時(shí)空約束后,方法[41]尾部梯度為7.70,相比于直接采用神經(jīng)網(wǎng)絡(luò)方法梯度下降較小.以運(yùn)動(dòng)特征為基礎(chǔ)的方法[34]以及以RNN 為基礎(chǔ)框架的方法[42],尾部梯度分別為2.87和2.34,具備最緩的下降速度,魯棒性強(qiáng).本文基于非零階運(yùn)動(dòng)參量的方法和多階運(yùn)動(dòng)參量方法尾部梯度分別為5.34 和6.54,為文獻(xiàn)中最優(yōu)方法[15](尾部梯度為14.10)的40%左右,下降速度更慢.這說明隨著目標(biāo)識(shí)別困難的增加,本文識(shí)別方法退化速度慢,魯棒性強(qiáng).

以下,本文從具體指標(biāo)上,對(duì)比了不同 “低慢小”識(shí)別方法,如表7 所示.

表7 比較了本文與以往文獻(xiàn)方法在AP 精度(AP50、AP90)、95%轉(zhuǎn)折點(diǎn)、尾部梯度等參數(shù)上的性能差異,AP 精度數(shù)值皆為百分?jǐn)?shù).其中,文獻(xiàn)[34]為基于運(yùn)動(dòng)特征的識(shí)別方法;方法[18,24,41]是以深度卷積網(wǎng)絡(luò)為框架的基于表觀特征的識(shí)別方法,文獻(xiàn)[42]為以RNN 為框架的混合識(shí)別方法;文獻(xiàn)[15]為融合運(yùn)動(dòng)與表觀特征混合的最高精度方法.從表中可以看出,本文根據(jù)四旋翼無人機(jī)非零階運(yùn)動(dòng)參量(運(yùn)動(dòng)特征)的識(shí)別方法相比于當(dāng)前最優(yōu)運(yùn)動(dòng)特征方法[34]、最優(yōu)表觀特征方法[41]和最優(yōu)混合方法[15]分別提升33.4 (103%)、8.4 (14%)和3.5 (5%).本文融合表觀特征和運(yùn)動(dòng)特征的多階運(yùn)動(dòng)參量方法在AP 識(shí)別精度上達(dá)到78.5,相比于當(dāng)前具備最高精度的混合方法[15],提升了16.4 (26%).進(jìn)一步從AP50、AP90 精度來看,即當(dāng)IoU 閾值分別設(shè)為50%和90%得到的識(shí)別AP 精度值,當(dāng)前最優(yōu)方法[15]僅在AP50 指標(biāo)上具備較高精度,其余指標(biāo)皆為本文方法更優(yōu).總的來說,從各項(xiàng)精度指標(biāo)來看,本文提出的多階運(yùn)動(dòng)參量識(shí)別方法(MoKiP)對(duì)于四旋翼無人機(jī)目標(biāo)相比于以往方法具備更高識(shí)別精度.

2.6 一階、二階以及多階運(yùn)動(dòng)參量的識(shí)別顯著性

為進(jìn)一步分析不同運(yùn)動(dòng)參量對(duì)識(shí)別精度的影響,本節(jié)對(duì)上文所獲得決策樹中的不同運(yùn)動(dòng)參量進(jìn)行統(tǒng)計(jì),并分別使用不同的參量組合對(duì)目標(biāo)進(jìn)行識(shí)別,最終得到不同運(yùn)動(dòng)參量對(duì)識(shí)別的敏感度分析.

圖11 是根據(jù)第1.3.3 節(jié)所述過程以及第2.5.1節(jié)參數(shù)訓(xùn)練得到的一棵決策樹,紅色和藍(lán)色分別是根據(jù)一階和二階運(yùn)動(dòng)參量的預(yù)測分支.

圖11 訓(xùn)練得到的梯度提升樹示意圖Fig.11 A single tree from the trained GDBT

每個(gè)節(jié)點(diǎn)包括本分支的樣本總量、各類別樣本數(shù)量、基尼系數(shù)以及判別條件.

對(duì)訓(xùn)練得到的所有決策樹,按照運(yùn)動(dòng)參量的階數(shù)以及性質(zhì)進(jìn)行統(tǒng)計(jì),通過基尼系數(shù)衡量每一類運(yùn)動(dòng)參數(shù)對(duì)識(shí)別的重要程度,則參量貢獻(xiàn)度D被定義為:

Giniρ為在所有訓(xùn)練得到的決策樹中采用某類參量ρ為切分變量的節(jié)點(diǎn)的基尼系數(shù).按參量不同性質(zhì),得到參量貢獻(xiàn)度占比表,見表8、表9 所示.

表8 運(yùn)動(dòng)參量的性質(zhì)對(duì)無人機(jī)識(shí)別的影響表Table 8 Impact of the parameter properties on UAV detection

表9 運(yùn)動(dòng)參量的方向?qū)o人機(jī)識(shí)別的影響表Table 9 Impact of the parameter direction on UAV detection

表8 中所涉及的一階參量包括速度、角速度,二階參量包括加速度、角加速度;平動(dòng)參量包括速度和加速度,旋轉(zhuǎn)參量包括角速度和角加速度.其中一階平動(dòng)參量和旋轉(zhuǎn)參量分別占7.2%和20.1%的貢獻(xiàn)度;二階平動(dòng)參參量和旋轉(zhuǎn)參量分別占34.1%和38.6%的貢獻(xiàn)度.在表中所涉及的參量中,一階平動(dòng)參量貢獻(xiàn)度最低,二階旋轉(zhuǎn)參量貢獻(xiàn)度最高,相同階數(shù)的旋轉(zhuǎn)參量比平動(dòng)參量貢獻(xiàn)度更高.從總和來說,二階運(yùn)動(dòng)參量對(duì)本文提出模型的貢獻(xiàn)度最大,達(dá)到72.7%;一階參數(shù)貢獻(xiàn)度為27.3%,僅為二階參量的38%,說明在識(shí)別過程中二階運(yùn)動(dòng)參量起了更重要的作用.從運(yùn)動(dòng)方式來說,旋轉(zhuǎn)參量相對(duì)于平移參量,能更大程度上反映出目標(biāo)的特征.綜上,二階參量是無人機(jī)識(shí)別過程中的重要參量,精確估計(jì)二階旋轉(zhuǎn)參量是本文識(shí)別方法的基礎(chǔ).

表9 顯示了運(yùn)動(dòng)參量的方向性對(duì)識(shí)別的影響,其中所述沿X、Y、Z軸方向參量與第1.3.2 節(jié)保持一致.表中沿X軸方向平動(dòng)參量貢獻(xiàn)度最小為8.3%,沿Z軸(即重力方向)方向的平移參量貢獻(xiàn)度最大為24.2%.沿X軸和Y軸的運(yùn)動(dòng)參量在各貢獻(xiàn)度數(shù)據(jù)上都相近,并均低于相應(yīng)Z軸方向運(yùn)動(dòng)參量,其中平移參量在數(shù)值上低15.4%,旋轉(zhuǎn)參量低3.4%.從總貢獻(xiàn)度來看,Z軸方向參量總貢獻(xiàn)度比Y軸總貢獻(xiàn)度高68.1%.這說明Z軸方向運(yùn)動(dòng)參量為識(shí)別過程中的主要參量,沿Z軸方向的運(yùn)動(dòng)是無人機(jī)區(qū)別于其他目標(biāo)的主要運(yùn)動(dòng)方式.

進(jìn)一步,本節(jié)通過剝離實(shí)驗(yàn),采用不同的運(yùn)動(dòng)參量組合對(duì)四旋翼無人機(jī)進(jìn)行識(shí)別,獲得以下識(shí)別結(jié)果.

圖12 中,圖12(a)、(b)為采用本文所涉及的一、二階運(yùn)動(dòng)參量組合進(jìn)行識(shí)別的結(jié)果;圖12(c)、(d)為采用二階以上高階運(yùn)動(dòng)參量識(shí)別結(jié)果.圖中X、Y、Z軸方向與第1.3.2 節(jié)中保持一致.圖12(a)為單獨(dú)采用單一運(yùn)動(dòng)參量(分量)進(jìn)行識(shí)別的結(jié)果,其中藍(lán)綠黃色分別代表沿運(yùn)動(dòng)參量X、Y、Z軸分量結(jié)果.其中單獨(dú)使用速度參量Y軸分量識(shí)別的精度最低,為0.07;單獨(dú)使用加速度Z軸分量識(shí)別的精度最高,為0.22.單獨(dú)使用二階參量均高于單獨(dú)使用一階參量的識(shí)別精度;單獨(dú)使用Z軸方向分量的識(shí)別精度高于相應(yīng)參量在X、Y軸分量的精度.這也從另一側(cè)面印證了表7、8 的結(jié)論,即二階運(yùn)動(dòng)參量以及運(yùn)動(dòng)參量的Z軸分量是無人機(jī)識(shí)別過程中的重要參量.

圖12 不同參量組合的識(shí)別結(jié)果圖Fig.12 Detection results of different parameter combinations

圖12(b)為采用本文所涉及的運(yùn)動(dòng)參量不同組合進(jìn)行識(shí)別的精度對(duì)比.其中,基礎(chǔ)運(yùn)動(dòng)參量為一階、二階、平動(dòng)、旋轉(zhuǎn)等參量組合,再將不同的其他參量加入到基礎(chǔ)運(yùn)動(dòng)參量中后,得到不同參量組合的識(shí)別結(jié)果.兩參量組合的基礎(chǔ)運(yùn)動(dòng)參量結(jié)果體現(xiàn)出與表7 一致的結(jié)論,使用二階參量(0.48)相比于一階參量(0.31)識(shí)別精度更高,在識(shí)別中的貢獻(xiàn)度更大,為更重要的運(yùn)動(dòng)參量;旋轉(zhuǎn)參量(0.47)稍高于平動(dòng)參量(0.41)的識(shí)別精度.在三參量組合中,組合識(shí)別精度最高為0.60,高單精度最低為0.51.在基本參量中,相比于加入速度和角速度參量的最大提升0.10 (24.3%),加入加速度、角加速度參量的提升更大,最小提升為0.13 (27.6%).進(jìn)一步說明二階參量在識(shí)別過程中為更重要的參量、更顯著地影響識(shí)別效果.

圖12(c)、(d)繪出了使用不同階運(yùn)動(dòng)參量識(shí)別的結(jié)果.圖12(c)為單獨(dú)使用某一階運(yùn)動(dòng)參量識(shí)別的精度結(jié)果;圖12(d)為使用前若干階運(yùn)動(dòng)參量識(shí)別的精度結(jié)果.由于在運(yùn)動(dòng)學(xué)中描述物體運(yùn)動(dòng)均采用一階和二階運(yùn)動(dòng)參量,所以本文也主要使用二階及以下運(yùn)動(dòng)參量進(jìn)行識(shí)別.但從參數(shù)辨識(shí)和運(yùn)動(dòng)特征提取的角度來說,由于采集得到的均是離散的數(shù)據(jù),想要盡可能精確地估計(jì)得到運(yùn)動(dòng)參量或者恢復(fù)目標(biāo)整個(gè)運(yùn)動(dòng)過程,只能基于近似的方法.根據(jù)泰勒展開,任意運(yùn)動(dòng)軌跡上的一點(diǎn)的位置均可由其在選定點(diǎn)多階導(dǎo)數(shù)形成的多項(xiàng)式進(jìn)行逼近,而所涉及的多階導(dǎo)數(shù),即為本文所涉及的一階、二階以及高階運(yùn)動(dòng)參量.同樣,對(duì)于整個(gè)轉(zhuǎn)動(dòng)過程也需要利用多階旋轉(zhuǎn)參量進(jìn)行逼近.另一方面,越高階的運(yùn)動(dòng)參量越能夠反映目標(biāo)在更長一段時(shí)間內(nèi)運(yùn)動(dòng)的整體特征.所以,在識(shí)別過程中使用高階運(yùn)動(dòng)參量是有必要的.

從圖12(c)中看出,單獨(dú)使用一階運(yùn)動(dòng)參量精度為0.311,單獨(dú)使用二階運(yùn)動(dòng)參量精度為0.480,單獨(dú)使用三階參量精度下降至0.059,四階參量精度下降69.5% 至0.018,到六階的識(shí)別精度僅為0.003,說明三階以上運(yùn)動(dòng)參量識(shí)別貢獻(xiàn)度顯著降低.再結(jié)合圖12(d)前若干階參量總識(shí)別精度來看,使用一、二階參量識(shí)別精度為0.656,三階參量引入后識(shí)別精度上升至0.681,增幅3.8%;四階參量引入后,增幅僅為1.3%;至六階參量引入,總識(shí)別精度為0.697,增長為0.2%.總的來說,三階以上總識(shí)別精度未有顯著增長,一、二階運(yùn)動(dòng)參量能較完整的包含目標(biāo)的全部運(yùn)動(dòng)特征.

3 結(jié)論

本文提出了一種基于運(yùn)動(dòng)參量建模的 “低慢小”目標(biāo)識(shí)別方法.相比于以往方法,本方法進(jìn)一步完善了運(yùn)動(dòng)特征的描述,并在所涉及的數(shù)據(jù)集上,相比于以往文獻(xiàn)中的方法,顯著地提升了四旋翼無人機(jī)的識(shí)別精度.在實(shí)驗(yàn)中本文也發(fā)現(xiàn),二階參量、旋轉(zhuǎn)參量、以及重力方向的運(yùn)動(dòng)參量是四旋翼無人機(jī)識(shí)別過程中的重要參量,反映出目標(biāo)在運(yùn)動(dòng)模式上的差異.