基于無線探測與光電探測的機場無人機探測與定位系統(tǒng)研究

張力波，甄軍平，曹 鐵，房天謀

（民航成都電子技術(shù)有限責任公司，成都 610041）

0 引言

隨著無人機技術(shù)的快速發(fā)展，民用無人機呈現(xiàn)出種類日益增多、性能日益提升、使用領(lǐng)域不斷擴展、使用門檻不斷降低、獲得渠道不斷增多的特點。民用無人機普及程度的不斷提升也帶來了擾航事件的增多。2017年發(fā)生在成都雙流機場、重慶機場和杭州蕭山等機場的無人機擾航事件將無人機“黑飛”行為推到了輿論的風口浪尖。“黑飛惡飛”無人機事件不僅嚴重干擾機場的正常運行秩序，而且嚴重威脅著乘客和航空器的安全。2019年11月1日，《民航局關(guān)于促進機場新技術(shù)應用的指導意見》的新技術(shù)目錄中明確提出對無人機等“低慢小”目標的探測與反制技術(shù)。

當前無人機探測的主要傳感方式有雷達、無線和光電。雷達探測是雷達向外發(fā)射電磁波，通過對回波進行處理得出無人機的探測信息，這些信息包括距離、角方向、徑向速度以及微多普勒特征等。無線探測是通過探測無人機的通訊無線電信號來對無人機進行識別和定位，具體地，識別方面，運用射頻識別技術(shù)來監(jiān)測無人機傳輸信號，提取信號的頻譜特征，并與無人機特征庫中的頻譜特征進行匹配，實現(xiàn)對無人機品牌與型號的識別；定位方面，運用到達時間差法（簡稱TDOA）以及無線電測向技術(shù)對無人機進行定位。光電探測主要是運用攝像機等光電設備采集無人機圖像，并結(jié)合深度學習算法從圖像中識別出無人機。

由于機場對電磁環(huán)境有嚴格要求，本文選擇不產(chǎn)生額外電磁干擾的無線探測和光電探測設備，研究基于TDOA定位技術(shù)與深度學習識別技術(shù)的無人機探測與定位系統(tǒng)。

1 系統(tǒng)概述

1.1 系統(tǒng)組成

如圖1所示，本文所設計的無人機探測與定位系統(tǒng)主要包含無線探測設備、光電探測設備、服務器以及顯示設備。其中，無線探測設備持續(xù)對監(jiān)測環(huán)境范圍內(nèi)的無人機進行探測與定位，并把探測結(jié)果發(fā)送至服務器；服務器在接收到無人機定位信息后，控制光電探測設備朝向無人機方向并以適當?shù)姆糯蟊堵蔬M行圖像采集，并將采集的圖像發(fā)送給服務器；服務器上部署的深度學習算法從圖像中識別出無人機；最終在顯示設備上顯示探測到的無人機類型、在地圖中的位置以及帶有無人機識別結(jié)果的光電圖像。

圖1 系統(tǒng)組成

1.2 無線探測模塊

無線探測模塊所用設備為三臺無線電探測設備，無線電探測設備不發(fā)射電磁波，通過陣列天線和多通道無線電接收機被動截獲和接收無人機及操作者發(fā)射的遙控和圖傳信號，對收到的信號分選識別后加以確認，單臺設備可對信號實現(xiàn)參數(shù)測量和高精度測向，同時識別出無人機的型號。多臺設備組網(wǎng)運用TDOA算法可以實現(xiàn)對無人機的高精度定位，最終結(jié)合地圖實現(xiàn)無人機型號、位置和航跡等信息的可視化。

TDOA算法原理如圖2所示，無人機對外發(fā)送無線電信號，距離不同的探測設備收到信號的時間點不同，因此利用多個探測設備接收到信號的時間差△來確定無人機的位置。對每兩臺探測設備來說，無人機與兩臺探測設備間的距離差△=×△，其中為電磁波傳播速度。據(jù)此可在兩探測設備之間繪制出關(guān)于距離差值的雙曲線，三臺設備可形成三組雙曲線，三組雙曲線共同的交點即是無人機的位置。

圖2 TDOA算法原理圖

1.3 光電探測模塊

光電探測模塊是無線探測模塊的必要補充，依靠光電探測模塊可直觀評價系統(tǒng)對無人機的探測結(jié)果，同時結(jié)合基于深度學習的目標檢測與跟蹤算法，可實現(xiàn)在無線探測設備探測到無人機后，依靠光電探測模塊對無人機進行確認與跟蹤。由于無人機體積小，相對于雷達探測，可見光探測無人機的距離較短。為了提高光電探測設備對無人機的探測精度，需選用高倍率、高分辨率攝像機作為光電探測設備。市面上已推出了在光學倍率和數(shù)字倍率的配合下實現(xiàn)目標放大1280倍的激光重載云臺，具備2560×1440的輸出圖像尺寸。以大疆御2民用小型無人機為例，其展開尺寸為183×253×77 mm，如圖3所示，激光重載云臺可在2km范圍內(nèi)明顯發(fā)現(xiàn)該型號無人機。

圖3 2 km處的無人機探測圖像

2 基于深度學習的無人機識別算法研究

隨著深度學習技術(shù)的快速發(fā)展，卷積神經(jīng)網(wǎng)絡在目標檢測方面表現(xiàn)出卓越性能，特別是YOLO系列，其推理速度越來越快，檢測精度越來越高，早已達到了工業(yè)應用水平。本次研究選用2021年曠視科技推出的YOLOX作為攝像機圖像下的無人機檢測算法，該算法在目前的YOLO系列算法中取得了最佳效果。

2.1 網(wǎng)絡結(jié)構(gòu)

目標檢測模型的網(wǎng)絡結(jié)構(gòu)一般由三部分構(gòu)成，即提取特征的骨干網(wǎng)絡（backbone）、用于預測的頭部（head）以及介于之間的頸部（neck）。相對于YOLOv3～YOLOv5，YOLOX算法最主要的改進在于模型的檢測頭，如圖4所示，YOLOv3～YOLOv5采用耦合檢測頭，即目標的分類任務（Cls）和目標位置的回歸任務（Reg）共用一個檢測頭，但因分類和回歸任務沖突，耦合檢測頭會損害性能。因此，YOLOX對檢測頭做了解耦，不僅改善了收斂速度，還使AP提升了4.2%。

圖4 YOLOX網(wǎng)絡head部分的改進措施

2.2 優(yōu)化措施

2.2.1 圖像分塊識別

YOLOX網(wǎng)絡的圖片輸入尺寸是640×640像素，任意尺寸的圖片在送入網(wǎng)絡前都會放大或縮小至640×640像素后再進行推理。由于遠處的無人機尺寸小，如果直接將重載平臺采集的2560×1440像素圖片送入網(wǎng)絡，經(jīng)過縮放后的無人機將難以識別。因此，為了降低縮放比例，本研究將2560×1440像素的圖片拆分成4×3張720×720像素的圖片，如圖5所示，相鄰切分圖像之間保留部分重疊區(qū)域，以防止無人機正好被拆成兩部分而不能被識別。

圖5 檢測圖片切分

在識別到無人機后，算法會返回無人機在各切分圖像中的位置，因此需根據(jù)偏移量將無人機的識別位置映射回原圖中的位置。為了避免無人機處在切分重疊區(qū)域時出現(xiàn)重復識別問題，需對無人機的識別結(jié)果進行非極大值抑制處理（簡稱NMS）。處理后的結(jié)果如圖6所示。

圖6 處理后的結(jié)果

2.2.2 基于TensorRT的推理優(yōu)化

相比于只識別一張圖片，將一張圖像切分成12張圖像后進行圖像識別，識別速度將會大大降低，為了確保無人機識別的實時性，需對算法的推理速度進行優(yōu)化。TensorRT是Nvidia公司推出的旨在極致優(yōu)化GPU資源使用的深度學習推理計算框架，它對深度學習模型主要進行兩方面的優(yōu)化，一是模型量化，通過數(shù)據(jù)精度校準模塊，在保證模型推理精度的前提下，將模型中數(shù)據(jù)類型為FP32的參數(shù)通過映射操作降為FP16或INT8的數(shù)據(jù)類型，減少模型推理計算量；二是對模型進行重構(gòu)，以如圖7所示的網(wǎng)絡結(jié)構(gòu)為例，用于圖像檢測的深度學習算法，其網(wǎng)絡結(jié)構(gòu)通常包含很多的由卷積層（conv）、偏置層（bias）以及激活函數(shù)層（如Relu）組成的塊結(jié)構(gòu)（block），TensorRT通過層間融合將該塊結(jié)構(gòu)合并成一個CBR層；并通過張量融合將多個結(jié)構(gòu)相同的層合并成一個更寬的層；并且ten?sorRT可以自動實現(xiàn)連接層（concat），不用專門計算。通過對模型重構(gòu)減少模型對GPU的CUDA核心占用量以及調(diào)用頻率，使得整個模型結(jié)構(gòu)更小，更快，更高效。

圖7 TensorRT對網(wǎng)絡結(jié)構(gòu)的優(yōu)化示例

因此，按照TensorRT模型優(yōu)化流程，將訓練好的YOLOX模型轉(zhuǎn)化為通用的ONNX模型格式，再運用TensorRT對模型進行量化以及結(jié)構(gòu)優(yōu)化，最終生成engine格式文件，通過調(diào)用en?gine格式文件來識別圖像中的無人機。如表1所示，經(jīng)過推理優(yōu)化后，重載云臺輸入一張2560×1440尺寸的圖像，對圖像進行標準化、切分、縮放等預處理操作的總耗時為平均6.25 ms；經(jīng)推理優(yōu)化后的YOLOX模型對12張切分圖像同時推理的總耗時為平均24.71 ms；將算法的識別結(jié)果處理成業(yè)務所需結(jié)果，需經(jīng)過格式轉(zhuǎn)化、非極大值抑制等后處理操作，其耗時為平均8.90 ms；從重載云臺輸入圖像至最終結(jié)果輸出總耗時為平均39.86 ms，低于40 ms，滿足實時性要求。

表1 無人機識別過程耗時表

3 結(jié)語

所搭建的基于無線探測與光電探測的機場無人機探測與定位系統(tǒng)，能夠?qū)崿F(xiàn)直徑2 km范圍內(nèi)的無人機定位與圖像識別。無線探測設備的探測能力會受周圍障礙物遮擋的干擾。基于光電探測設備和深度學習的無人機識別方面，由于網(wǎng)上并無此種需求條件下的無人機數(shù)據(jù)集，本次研究通過自飛御2無人機，在不同時間段和不同距離條件下采集了523張圖片，并結(jié)合COCO數(shù)據(jù)集在預訓練模型的基礎上進行訓練。雖然對不同類型無人機的識別效果尚不能給出具體評價結(jié)果，但驗證了結(jié)合光電探測設備和深度學習遠距離識別無人機的可行性。在后續(xù)的工作中繼續(xù)采集無人機、鳥、飛機等空中物體圖片，增強基于光學圖像的無人機識別性能，并結(jié)合目標跟蹤算法完善系統(tǒng)。