距離選通成像在無(wú)人機(jī)識(shí)別分類中的應(yīng)用

范有臣,劉寶林,秦明宇,郭惠超,王明乾

(航天工程大學(xué),北京 101416)

1 引 言

無(wú)人機(jī)的開發(fā)應(yīng)用廣泛,諸多行業(yè)對(duì)無(wú)人機(jī)的需求與日俱增,在農(nóng)業(yè)監(jiān)測(cè)、協(xié)助救援、考古監(jiān)控等領(lǐng)域發(fā)揮不可替代的作用,帶來(lái)極大社會(huì)價(jià)值的同時(shí)也有很多負(fù)面問(wèn)題和隱患,為了更好地發(fā)揮無(wú)人機(jī)的正面作用,全天時(shí)全過(guò)程快速準(zhǔn)確識(shí)別無(wú)人機(jī)非常重要。旋翼無(wú)人機(jī)體積小、成本低、操作簡(jiǎn)單、穩(wěn)定性高[1],隨著技術(shù)越來(lái)越成熟,帶動(dòng)了無(wú)人機(jī)產(chǎn)業(yè)的整體飛速發(fā)展,促使消費(fèi)級(jí)和工業(yè)級(jí)無(wú)人機(jī)的使用門檻逐漸降低,民用無(wú)人機(jī)市場(chǎng)呈現(xiàn)出迅猛增長(zhǎng)態(tài)勢(shì),在航拍測(cè)繪、電力巡檢、交通監(jiān)測(cè)、監(jiān)控安保、物流配送、救災(zāi)救援等領(lǐng)域[2]應(yīng)用廣泛。無(wú)人機(jī)經(jīng)常是超低空飛行,起飛隨意性大,不容易被探測(cè),處置上較為困難,給各行各業(yè)帶來(lái)便利的同時(shí),易被敵對(duì)分子和恐怖分子用在非法測(cè)繪、恐怖襲擊等非法行動(dòng)[3],引發(fā)各類安全事故多發(fā)頻發(fā),有的已經(jīng)造成了嚴(yán)重的危害。為了更好的發(fā)揮無(wú)人機(jī)的正面作用,全天時(shí)全過(guò)程快速準(zhǔn)確識(shí)別無(wú)人機(jī)非常重要。

目前,無(wú)人機(jī)識(shí)別的手段主要有聲學(xué)傳感器、無(wú)線信號(hào)、有源雷達(dá)和計(jì)算機(jī)視覺等[4]。基于聲學(xué)傳感器是基于無(wú)人機(jī)的聲學(xué)特性[5],需要建立無(wú)人機(jī)的聲學(xué)數(shù)據(jù)庫(kù)并使用模式匹配,但該方法易受環(huán)境噪聲的干擾,很難在嘈雜的環(huán)境中識(shí)別無(wú)人機(jī)。基于有源雷達(dá)是利用雷達(dá)截面來(lái)檢測(cè)無(wú)人機(jī)[6],該方法受雷達(dá)截面的影響較大,但無(wú)人機(jī)的雷達(dá)截面一般較小,所以基于有源雷達(dá)的方法不穩(wěn)定。基于無(wú)線信號(hào)利用無(wú)線電設(shè)備實(shí)時(shí)采集無(wú)人機(jī)電磁發(fā)射方向[7],從而識(shí)別無(wú)人機(jī),但基于無(wú)線電的探測(cè)設(shè)備造價(jià)高昂,難以普及。基于計(jì)算機(jī)視覺[8]主要針對(duì)可見光、紅外傳感器和激光傳感器等手段獲取的無(wú)人機(jī)視頻和圖像進(jìn)行識(shí)別。

基于計(jì)算機(jī)視覺的目標(biāo)檢測(cè)算法可分為one-stage和two-stage兩類。two-stage算法主要通過(guò)一個(gè)卷積神經(jīng)網(wǎng)絡(luò)來(lái)完成目標(biāo)檢測(cè)過(guò)程,其提取的是CNN卷積特征,進(jìn)行候選區(qū)域的篩選和目標(biāo)檢測(cè)兩部分。網(wǎng)絡(luò)的準(zhǔn)確度高、速度相對(duì)較慢,代表網(wǎng)絡(luò)有Fast R-CNN[9]、Faster R-CNN[10]等。One-stage的算法直接通過(guò)主干網(wǎng)絡(luò)給出目標(biāo)的類別和位置信息,沒有使用候選區(qū)域的篩選網(wǎng)路,這種算法速度快,但是精度相對(duì)two-stage目標(biāo)檢測(cè)網(wǎng)絡(luò)降低了很多,代表網(wǎng)絡(luò)有SSD[11]和YOLO[12]系列算法。YOLO方法將待檢測(cè)圖區(qū)分若干個(gè)格子,如果對(duì)象的中心落在一個(gè)格子,由該格子預(yù)測(cè)目標(biāo),在同一卷積網(wǎng)絡(luò)中完成特征提取、候選框邊界回歸和分類,因此YOLO相比于SSD算法擁有更好的全局感受野。同時(shí),YOLO相比傳統(tǒng)目標(biāo)檢測(cè)方法的最大優(yōu)勢(shì)在于模型結(jié)構(gòu)簡(jiǎn)單、速度快,較好的滿足了實(shí)時(shí)檢測(cè)需求,基于此,本論文選用最新的YOLOv5[13]算法來(lái)識(shí)別無(wú)人機(jī)。

2 距離選通成像原理

激光作為照明所使用的激光波長(zhǎng)比普通微波雷達(dá)短,可應(yīng)用于目標(biāo)的探測(cè)識(shí)別。激光主動(dòng)成像因?yàn)槌上褓|(zhì)量不高,后來(lái)發(fā)展成距離選通成像,使激光主動(dòng)成像系統(tǒng)工作于距離選通模式,以到達(dá)成像探測(cè)器的時(shí)間先后區(qū)分不同目標(biāo)的回波信號(hào),利用精準(zhǔn)的延時(shí)和選通門控制,接收目標(biāo)距離景深范圍內(nèi)的反射信號(hào),把目標(biāo)距離以外的散射信號(hào)物理隔絕在成像的范圍外[14-15]。距離選通成像是克服激光主動(dòng)成像后向雜散波的有效方法,激光器發(fā)射高單脈沖能量的信號(hào),可以提高系統(tǒng)的有效作用距離,獲得有效作用距離上的高分辨率圖像。不同距離上目標(biāo)反射圖像是通過(guò)設(shè)定不同的時(shí)間延遲得到的。

激光距離選通成像原理(藍(lán)綠激光雷達(dá)海洋探測(cè),距離選通水下激光成像作用距離簡(jiǎn)化核算方法)如圖1所示,高峰值功率脈沖激光器向目標(biāo)發(fā)射激光脈沖,脈沖時(shí)間比激光往返成像探測(cè)器所用的時(shí)間短得多,在激光往返于目標(biāo)與成像器件之間時(shí),有用信號(hào)會(huì)被空氣中雜散粒子后向散射光淹沒,成像探測(cè)器接收光飽和,圖像信噪比很大,探測(cè)器選通門關(guān)閉,隔絕了后向散射；目標(biāo)反射回波達(dá)到成像探測(cè)器,高精度門控電路控制快門開啟,保持選通時(shí)間(一般為納米量級(jí)),面陣成像探測(cè)器接收目標(biāo)距離的反射光,選通時(shí)間越短條件下對(duì)背景噪聲的抑制效果越好,圖像信噪比越高,但越短的時(shí)間,探測(cè)器接收的反射光越少,會(huì)影響到成像的質(zhì)量。激光在往返目標(biāo)期間,探測(cè)器快門的關(guān)閉狀態(tài)有效抑制背景噪聲及大氣散射噪聲的干擾,提高遠(yuǎn)處暗小目標(biāo)的識(shí)別能力。圖像與距離切片相對(duì)應(yīng),通過(guò)這些序列切片得到圖像的距離信息。

圖1 激光距離選通成像原理Fig.1 Laser distance gated imaging principle

對(duì)遠(yuǎn)距離的目標(biāo)進(jìn)行探測(cè)時(shí),后向散射雜波隨機(jī)分布增大了探測(cè)器接收的信噪比,距離選通技術(shù)對(duì)脈沖時(shí)間和選通門的寬度有很高的要求,控制延遲時(shí)間、選通門的開啟時(shí)間點(diǎn)這兩個(gè)時(shí)間的準(zhǔn)確性是距離選通成像系統(tǒng)的關(guān)鍵,這兩個(gè)時(shí)間寬度越短,精準(zhǔn)的延時(shí)控制信號(hào)使接收系統(tǒng)只收到目標(biāo)附近的反射光,避免其他雜散光進(jìn)入選通門中,將有用信號(hào)和雜波信號(hào)在時(shí)間上分開,選通門寬要大于或等于激光器脈寬,確保接收到全部目標(biāo)回波信號(hào)。

3 YOLOv5框架

YOLO是通過(guò)回歸思想檢測(cè)目標(biāo)的位置和類別,有著良好的性能和較短的檢測(cè)時(shí)間,是目前用于目標(biāo)檢測(cè)最流行的深度卷積模型之一。2020年發(fā)展到了YOLOv5,其在識(shí)別分類上精度最高。YOLOv5網(wǎng)絡(luò)分為四種模型,其中s模型最小,m、l和x的模型大小遞依次增,特征提取能力也更強(qiáng)。YOLOv5權(quán)重大小比YOLOv4小近90 %,YOLOv5更方便在手機(jī)、無(wú)人機(jī)等嵌入式設(shè)備中使用。YOLOv5網(wǎng)絡(luò)分為輸入端、Backbone、Neck、預(yù)測(cè)端四個(gè)部分[16]。

(1)輸入端

輸入端采用Mosaic對(duì)數(shù)據(jù)增強(qiáng),4張圖像的縮放、裁剪、分布都以隨機(jī)完成,并隨機(jī)拼組在一起。隨機(jī)縮放增加了目標(biāo)數(shù)量,充實(shí)了數(shù)據(jù)集,減小占用GPU內(nèi)存量,提高了魯棒性和訓(xùn)練速度。算法的錨框長(zhǎng)寬對(duì)不同的數(shù)據(jù)集都有確定的先驗(yàn)值,網(wǎng)絡(luò)在初始錨框基礎(chǔ)上計(jì)算預(yù)測(cè)框與真實(shí)框的差值,然后通過(guò)反向更新迭代網(wǎng)絡(luò)參數(shù)。

(2)Backbone

有切片操作功能的Focus結(jié)構(gòu)被用在了主干網(wǎng)絡(luò)中,切片示意如圖2所示,圖像大小4×4×3的切片為2×2×12的特征圖后,對(duì)圖像進(jìn)行特征提取。CBL由Conv、Bn和Leaky_relu激活函數(shù)三者組成。YOLOv5中包括了CSP1_X、CSP2_X結(jié)構(gòu),兩種結(jié)構(gòu)分別應(yīng)用于Backbone和Neck中。網(wǎng)絡(luò)通過(guò)CSPDarknet提取圖像中的信息特征,CSPNet從開始到結(jié)尾將梯度變化集成到特征圖中,降低了模型的FLOPS數(shù)值和參數(shù)數(shù)量,既確保了推理速度和準(zhǔn)確率,又可以把模型的規(guī)模減小。CSPNet把基礎(chǔ)層的映射特征圖復(fù)制后,用Densblock把副本發(fā)給下一階段,分離了基礎(chǔ)層的特征映射圖。SPP實(shí)現(xiàn)多尺度融合,用了1×1,5×5,9×9,13×13的最大池化的方式。

圖2 切片操作示意圖Fig.2 Schematic diagram of slicing operation

(3)Neck

特征金字塔是識(shí)別系統(tǒng)的基本組成部分,用于檢測(cè)尺度不同的目標(biāo)。Neck模塊用來(lái)生成特征金字塔,實(shí)現(xiàn)提取融合特征能力。普遍認(rèn)為PANET適合YOLO特征融合網(wǎng)絡(luò),YOLOv5中采用了特征金字塔(Feature Pyramid Networks,FPN)和路徑聚合網(wǎng)絡(luò)(Path Aggregation Network,PAN)的結(jié)構(gòu),為了改進(jìn)低層特征傳播,增強(qiáng)網(wǎng)絡(luò)向前的路徑,在特征提取層采用新的FPN結(jié)構(gòu)。CSP2結(jié)構(gòu)應(yīng)用在Neck中,提高了特征融合能力。

(4)預(yù)測(cè)端

檢測(cè)目標(biāo)通常包括分類損失和回歸損失兩類函數(shù),預(yù)測(cè)端采用可解決相交情況不同的GIoU Loss作為Bounding box的損失函數(shù),使用了加權(quán)非極大值抑制(Non Maximum Suppression,NMS)的方式,比較重疊面積時(shí),NMS操作按照推測(cè)的置信度賦予不同的權(quán)值計(jì)算。

YOLOv5的優(yōu)點(diǎn)是用了Pytorch這種簡(jiǎn)練高能的框架,相比YOLOv4使用Darknet框架,YOLOv5可方便訓(xùn)練自己的數(shù)據(jù)集。模型代碼易讀,可快速訓(xùn)練模型,可在視頻輸出端口對(duì)圖像批量處理。

4 圖像數(shù)據(jù)集

YOLOv5分類識(shí)別的前提是對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練,目前還沒有無(wú)人機(jī)的激光圖像數(shù)據(jù)集,為了實(shí)現(xiàn)對(duì)無(wú)人機(jī)的分類識(shí)別,需要采集無(wú)人機(jī)激光圖像數(shù)據(jù)集,本節(jié)利用采集的五種無(wú)人機(jī)激光圖像數(shù)據(jù)集進(jìn)行訓(xùn)練和類型的識(shí)別。

為了滿足實(shí)驗(yàn)的需要,采集了4種四旋翼無(wú)人機(jī)、1種六旋翼無(wú)人機(jī)激光成像視頻,分別提取成圖片,作為激光圖像的數(shù)據(jù)集。5種無(wú)人機(jī)激光圖像標(biāo)注總數(shù)為9886張。無(wú)人機(jī)圖像和激光圖像如圖3所示,數(shù)據(jù)集情況如表1所示。

圖3 五種無(wú)人機(jī)圖像及激光圖像Fig.3 Five types of drone images and laser images

表1 標(biāo)注數(shù)據(jù)集情況Tab.1 Annotate the data set situation

5 實(shí)驗(yàn)分析

實(shí)驗(yàn)是在安裝Window10的服務(wù)器上完成,服務(wù)器的CPU:Intel(R)Xeon(R)Silver 4116 CPU @2.1GHz 2.1GHz(2處理器),內(nèi)存32GB,顯卡NVIDIA GeForce RTX-3090 32 GB,cuda11.1.0_456.43_win10,cudnn-11.1-windows-x64-v8.0.4.30,Aanconda3-2020.02-Windows-x86_64版本搭建Pytorch1.7,python 3.7.6,pycharm-community-2020.1.3 x64。初始學(xué)習(xí)率為0.01,類別數(shù)量為1,最終學(xué)習(xí)率為0.1,權(quán)重衰減為0.001,動(dòng)量Momentum為0.95,batch-size為24。

5.1 數(shù)據(jù)集的訓(xùn)練

選擇五種無(wú)人機(jī)凈空背景數(shù)據(jù)集,按比例6∶2∶2劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集,分別用YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x四種模型訓(xùn)練,初始學(xué)習(xí)率為0.01,類別數(shù)量為5,最終學(xué)習(xí)率為0.1,權(quán)重衰減為0.001,動(dòng)量Momentum為0.95,batch-size為4,epoch為100,得到Y(jié)OLOv5的四種模型對(duì)無(wú)人機(jī)數(shù)據(jù)集訓(xùn)練準(zhǔn)確率及損失率曲線如圖4所示。

(a)準(zhǔn)確率

從四種模型對(duì)數(shù)據(jù)訓(xùn)練結(jié)果可以看出,四種模型訓(xùn)練100個(gè)epoch的準(zhǔn)確率都是99.73 %,對(duì)無(wú)人機(jī)類別檢測(cè)識(shí)別效果比較理想。四種模型epoch的損失率分別為0.008106、0.007744、0.007598、0.00752,損失率都在1 %以內(nèi)。對(duì)識(shí)別無(wú)人機(jī)來(lái)說(shuō),訓(xùn)練100個(gè)epoch得到的權(quán)重參數(shù)已經(jīng)能夠滿足檢測(cè)識(shí)別的要求。其中YOLOv5s模型最小,檢測(cè)速度快,因此選用YOLOv5s模型訓(xùn)練結(jié)果對(duì)激光圖像檢測(cè)。

5.2 無(wú)人機(jī)的分類識(shí)別

采用YOLOv5s權(quán)重,對(duì)數(shù)據(jù)訓(xùn)練100個(gè)epoch,并且設(shè)置置信度為0.20,識(shí)別五種無(wú)人機(jī)測(cè)試圖像,部分識(shí)別結(jié)果如圖5所示。

圖5 無(wú)人機(jī)識(shí)別結(jié)果Fig.1 UAV recognition results

五種無(wú)人機(jī)測(cè)試數(shù)量分別為648、333、168、380、350幀,識(shí)別的數(shù)量分別為622、315、160、364、334幀,平均識(shí)別率為96 %、94.6 %、95.2 %、95.7 %、95.4 %,識(shí)別準(zhǔn)確率較高,未識(shí)別的原因是目標(biāo)運(yùn)動(dòng)模糊帶來(lái)特征改變。沒有背景干擾的測(cè)試集無(wú)人機(jī)特征明顯,檢測(cè)網(wǎng)絡(luò)對(duì)無(wú)人機(jī)識(shí)別效果較好。

6 總結(jié)與展望

本文采用基于YOLOv5的網(wǎng)絡(luò)模型對(duì)夜間無(wú)人機(jī)進(jìn)行分類識(shí)別,達(dá)到了較好的識(shí)別準(zhǔn)確率。同時(shí)針對(duì)無(wú)人機(jī)激光圖像沒有公開數(shù)據(jù)集的情況,使用距離選通成像器件對(duì)五種型號(hào)的無(wú)人機(jī)拍攝,拍攝環(huán)境為簡(jiǎn)單無(wú)背景的黑夜,構(gòu)建五種無(wú)人機(jī)數(shù)據(jù)集,并對(duì)五種無(wú)人機(jī)使用labelImg進(jìn)行標(biāo)注。然后使用YOLOv5四種模型對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練,識(shí)別分類準(zhǔn)確率較高,未識(shí)別的原因是目標(biāo)運(yùn)動(dòng)模糊帶來(lái)特征改變。

夜間無(wú)人機(jī)的分類檢測(cè)研究是一個(gè)新的研究熱點(diǎn),夜間無(wú)人機(jī)激光圖像難以獲得是研究的難題,通過(guò)距離選通成像系統(tǒng),對(duì)無(wú)人機(jī)的激光圖像獲得提供了一條新的道路。除了凈空背景以外,無(wú)人機(jī)所處的環(huán)境千變?nèi)f化,有樹木遮擋,建筑遮擋等問(wèn)題。所以下一步的研究重點(diǎn)將會(huì)放在復(fù)雜背景下無(wú)人機(jī)激光圖像的識(shí)別。