基于深度學習的無人機自主降落標識檢測方法

摘 要：為提高無人機自主降落的實時性和準確性，提出了一種基于深度學習的降落標識檢測方法。首先，采用輕量級網絡MobileNetv2作為主干網絡，完成特征提取任務。其次，借鑒YOLOv4的網絡結構，引入深度可分離卷積代替部分標準卷積，在基本不影響模型性能的情況下降低計算量。然后，提出了一種基于跳躍連接結構的特征金字塔模塊，將主干輸出的特征圖進行拼接，融合目標細節信息和語義信息，得到表征能力更強的特征。最后，基于深度可分離卷積對YOLOv4的檢測頭進行優化，完成目標檢測任務。在Pascal VOC數據集和降落標識數據集上分別進行實驗，結果表明，改進的檢測算法有效降低了模型的計算量和參數量，提高了檢測速度，且能夠滿足無人機自主降落的精度需求。

關鍵詞：無人機； 視覺引導； 自主降落； 標識檢測； 深度學習

中圖分類號：TJ760； V279

文獻標識碼： A

文章編號：1673-5048（2023）05-0115-06

DOI： 10.12132/ISSN.1673-5048.2023.0063

0 引" 言

人工智能技術的井噴式發展正在加速推動新一輪軍事變革，未來戰爭正由信息化向智能化、體系化轉變，異構裝備一體化協同作戰將是新常態。無人機成本低、體積小、靈活性高，在與無人車/無人艦艇等協同完成突擊上陸、集結裝載、反潛、航渡等任務時，能夠前出岸灘/登陸場上空隱蔽火力點或淺近縱深隱蔽火力點實施廣域偵察和精準探測，引導后方火力支援實施火力壓制、精確破障或打擊［1］。無人機的有限重復利用被認為是提高效費比的最佳手段，尤其是對于需要重復飛行作業而無法進行人工干預的任務，自主降落是無人機必不可少的關鍵能力。

視覺導航能夠提供豐富的環境信息，善于捕捉運動信息，且具有設備體積小、成本低、能耗低、精度高、自主性強等優點。此外，視覺信號由于其無源特性具有較強的抗干擾能力，這在軍事隱蔽偵察中尤為重要。視覺引導無人機自主降落一般分為兩種，一種是基于人工設計的降落標識實現自主降落，另一種是基于場景信息實現自主降落。當下，前者是最主要的研究方向，這使得對降落標識的準確識別成為無人機在動、靜平臺自主降落的決定性因素。

圍繞無人機自主降落問題，國內外大量專家學者開展了廣泛研究，取得豐碩的研究成果［2-4］。文獻［5-7］對該方面的研究做了系統性梳理和總結； 文獻［8-13］針對這一課題開展研究，并取得了一系列成果。但這些研究大多針對特定標識，采用傳統目標檢測方法或根據傳統檢測方法進行優化完成標識檢測。

自Hinton等［14］掀起人工神經網絡的研究熱潮后，深度學習蓬勃發展，應用領域迅速擴張。近年來，有研究人員將深度學習思想用于標識檢測任務，利用其優秀的特征提取能力提高環境適應性。如Nguyen等［15］于2017年提出的LightDenseYOLO算法，能夠實現50 m高空下的標識檢測。文獻［16］將去模糊算法 SlimDeblurGAN與YOLOv2結合，用于完成快速運動過程中的標識檢測任務。文獻［17］將SSD［18］（Single Shot MultiBox Detector）檢

測算法與核相關濾波（Kernel Correlation Filter，KCF）跟蹤算法進行融合，檢測成功率達到91.1%。此外，文獻［19-21］均采用基于深度學習的檢測算法完成了標識檢測任務。

在無人機自主降落過程中，不可避免地遭遇高度變化、位置變化、角度變化、姿態變化、抖動等情況，導致傳感器采集的圖像中標識尺寸不同、位置不同、模糊、變形等。傳統的檢測算法基于圖像分割或人工提取的淺層特征，魯棒性缺乏、可移植性較差、環境適應性不足。基于深度學習的檢測算法通過不同工況下采集的大量數據學習得到圖像特征，魯棒性好、精度高、環境適應性強，具有一定的優勢。然而，基于深度學習的檢測算法存在模型復雜度高、檢測精度與檢測速度不平衡等問題，適用于無人機平臺的兼顧檢測精度與檢測速度的輕量化檢測算法仍有很大研究空間。

針對上述問題，本文借鑒YOLOv4［22］目標檢測算法的原理及結構，以無人機自主降落標識檢測的實際需求為牽引，提出一種基于深度可分離卷積和跳躍連接結構的輕量化標識檢測算法，在滿足檢測精度要求的情況下，有效提高了檢測速度。通過課題組自制的降落標識數據集驗證了檢測算法基本能夠滿足無人機自主降落的實時性和精度要求。

1 YOLOv4目標檢測算法

YOLOv4算法的核心思想是將目標檢測問題統一為回歸問題，采用卷積神經網絡直接從輸入圖像預測目標的類別概率和位置信息，從而實現端到端的目標檢測。具體來說，首先將輸入圖像隱式地劃分為S×S個網格單元，每個網格負責檢測中心點落在該網格內的物體，然后預測邊界框的位置坐標和置信度，采用非極大值抑制算法選出最優邊界框。

YOLOv4的整體網絡結構如圖1所示，由主干網絡CSPDarknet53、空間金字塔池化模塊SPP（Spatial Pyramid Pooling）、路徑聚合網絡PANet（Path Aggregation Network）和檢測頭四部分組成。CSPDarknet53由YOLOv3［23］的主干網絡Darknet53和CSP（Cross Stage Partial）結構組成，Darknet53由5個大殘差塊構成，每個大殘差塊分別包含1，2，8，8，4個小殘差塊。CSP結構將卷積層輸出的特征分為兩部分，分別執行不同運算后進行融合，能夠將特征圖快速降維，在提高檢測速度的同時保證優秀的特征提取效果。

2 輕量化標識檢測算法

為適應無人機平臺標識檢測的高精度和實時性要求，提出一種基于深度可分離卷積和跳躍連接結構的檢測算法，其整體網絡結構如圖2所示。所提算法主要借鑒YOLOv4的結構，采用輕量級網絡MobileNetv2［24］作為主干網絡，完成圖像特征提取任務。該網絡采用深度可分離卷積進行特征提取，使得模型的參數量和計算量大幅減少。保留了YOLOv4的SPP模塊完成不同尺寸的池化操作，獲取不同的語義信息，然后將池化層的輸出與輸入特征進行拼接融合。將SPP模塊前后的部分卷積替換為深度可分離卷積，在基本不影響特征質量的前提下，降低模型的參數量。此外，提出一種基于跳躍連接結構的特征金字塔模塊。該模塊由卷積層、上采樣層、下采樣層和特征融合層組成，將主干網絡輸出的三種尺寸的特征圖拼接，完成多尺度特征融合。最后在融合輸出的兩幅特征圖上進行目標檢測，采用深度可分離卷積對檢測頭進行優化，完成目標類別和位置信息的預測任務。

2.1 深度可分離卷積

文獻［25］指出，增加卷積神經網絡的層數能夠提高模型分類的準確性。標準卷積的計算過程如圖3所示，采用與輸入數據通道數相同的卷積核在整個特征圖通道上進行乘法累加運算，得到單通道輸出特征圖。若采用N個卷積核參與運算，則得到N通道的輸出特征圖。然而，標準卷積的計算量和參數量隨著網絡深度的增加而成倍增長［26］，這使得深層網絡在嵌入式平臺的應用面臨很大挑戰。

深度可分離卷積通過因式分解的方式， 將標準卷積拆分為深度卷積（Depthwise Convolution）和點卷積（Pointwise Convolution），極大地降低了模型的計算量和參數量，其運算過程如圖4所示。深度卷積采用深度為1的卷積核與輸入圖像的每個通道進行獨立卷積運算，卷積核的數量與輸入特征圖的通道數相同。為充分利用空間特征信息，采用數量與深度卷積的輸入特征圖通道數相同、尺寸為1×1的卷積核進行點卷積，從而得到與標準卷積輸出特征維度相同的特征圖。

2.3 基于跳躍連接結構的特征金字塔

YOLOv4的特征融合網絡PANet由上采樣、下采樣、多維卷積和Concat特征融合操作組成，多維卷積和Concat操作導致網絡前向傳播過程中產生較大的計算量和參數量。為實現模型輕量化，提高模型檢測速度，提出一種基于跳躍連接的特征金字塔，網絡結構如圖5所示。該模塊采用標準卷積和上采樣完成特征圖的尺度變換，為減少運算過程中的計算量，采用Add拼接操作完成特征融合，使用深度可分離卷積完成下采樣。同時，為盡可能保留圖像的細節信息，將經過卷積、上采樣、Add拼接、下采樣得到的特征圖與原特征圖進行跳躍連接，減少信息丟失。

主干網絡輸出13×13，26×26和52×52三種尺寸的特征圖，經過該特征金字塔結構，得到兩種尺寸的輸出特征圖，傳遞給輕量化的檢測頭，完成目標信息的預測。主要過程為： 首先在三種尺寸的特征圖中進行卷積和上采樣運算，并進行逐像素相加，實現三種尺度的特征圖融合。為充分保留特征圖的細節信息，將特征融合的結果與主干輸出的原特征圖進行跳躍連接，作為該特征金字塔模塊的一個輸出Out1。然后，將Out1進行下采樣，并與主干輸出的26×26的原特征圖進行跳躍連接，得到特征金字塔的另一個輸出Out2。Out1和Out2均為上一級特征融合結果與原特征圖跳躍連接得到的結果，能夠充分保留圖像的細節信息。最后，將Out1和Out2傳遞給檢測頭，用于完成目標類別和位置信息的預測。

3 實驗驗證與分析

3.1 數 據 集

分別在公開數據集Pascal VOC和實驗室自制的降落標識數據集上進行了驗證實驗。采用VOC2007和VOC2012的訓練集和驗證集共同作為模型的數據集，按比例劃分為訓練集和驗證集，使用VOC2007的測試集進行模型性能測試。此外，選擇由六邊形和同心圓環組成的合作目標作為降落標識，考慮無人機降落過程中存在抖動、姿態、角度、位置、高度、亮度等因素影響，采用實際拍攝加數據增強的方式構建了包含2 400張圖像的標識數據集。

3.2 算法模塊可行性分析

為了驗證算法模塊的有效性，在相同的實驗條件下，采用Pascal VOC07+12數據集進行消融實驗，用于評估不同改進方法對模型性能的影響。其中模型Ⅰ采用YOLOv4網絡； 模型Ⅱ將YOLOv4的主干網絡改為MobileNetv2，特征融合模塊和檢測頭仍采用YOLOv4的結構； 模型Ⅲ將模型Ⅱ的Neck部分的部分標準卷積替換為深度可分離卷積； 模型Ⅳ為本文所提算法，由主干網絡MobileNetv2、SPP模塊、基于跳躍連接結構的特征金字塔模塊和輕量化的檢測頭構成，即在模型Ⅲ的基礎上將特征增強模塊改進為本文提出的基于跳躍連接結構的特征金字塔模塊，同時，將檢測頭的個數減少為2個，每個檢測頭的1個標準卷積替換為深度可分離卷積。實驗結果如表2所示。

由表2可以看出，采用輕量級主干網絡后，模型Ⅱ的檢測速度相比于YOLOv4得到有效提高，模型復雜度顯著降低； 采用深度可分離卷積代替部分標準卷積后，對于Pascal VOC數據集，模型Ⅲ基本能保持與模型Ⅱ同等的檢測精度和速度，且計算量和參數量大幅下降； 模型Ⅳ相比于模型Ⅲ，在Pascal VOC數據集上的檢測精度略微下降，但檢測速度得到明顯提升，說明本文提出的特征金字塔模塊能夠在基本保證模型性能的前提下，有效提高推理速度。相比于YOLOv4，模型Ⅳ在犧牲了少許檢測精度的同時，檢測速度提高了87.5%，模型復雜度降低了約90%，顯存占用量降低為原來的50%。

模型的輕量化和檢測速度的大幅提高，使得該模型能夠較好地應用于計算能力和存儲能力有限的嵌入式平臺。由于本文所提模型使用了輕量化的主干網絡和檢測頭，且采用了大量的深度可分離卷積操作，因此不可避免地造成精度略微降低。另外，該實驗結果針對Pascal VOC數據集中的20類目標，目標之間差異較大，單幅圖像內容多變，目標數量和種類豐富，因此目標檢測難度較大，對于算法模型提出更高的要求。對于實際應用中特定的目標檢測任務，目標種類和數量有限的場景下，本文所提算法基本能夠滿足需求。

3.3 不同算法對比實驗

為了驗證所提算法的綜合性能，將本文算法與當前主流目標檢測算法進行對比實驗。在同一平臺下，采用Pascal VOC07+12數據集進行模型訓練與評估。進行對比的主流目標檢測算法包括Faster R-CNN［27］，SSD，YOLOv3，YOLOv4。實驗中，采用平均檢測精度、檢測速度、計算量、參數量等指標評估算法性能。

不同算法的性能指標如表3所示。針對無人機平臺的實際需求，從模型復雜度和檢測實時性的角度綜合來看，本文所提檢測算法性能優秀。在Pascal VOC數據集上的平均檢測精度略低于YOLOv4，接近于YOLOv3，檢測速度遠高于Faster R-CNN，實時性達到最優。在所有的對比實驗中，本文算法的參數量和計算量均為最少，且相比于其他算法，實現了大幅降低。本文所提的檢測算法主要完成降落標識檢測任務，旨在輔助無人機完成自主降落，因此，在保證檢測精度的前提下，復雜度低、檢測速度快的算法更具優勢。

本文所提算法在降落標識數據集上的測試結果如表4所示。可以看出，其檢測精度達到了96.96%，檢測速度達到75幀/秒，基本能夠滿足標識檢測的精度和實時性要求。

部分可視化檢測結果如圖6所示。該算法能夠很好地檢測出不同尺寸、不同角度拍攝的標識目標，對應于實際應用中機載相機在不同高度、不同角度采集的場景信息，能夠滿足實際應用需求。

4 結" 論

針對視覺引導無人機自主降落對標識檢測的高實時性和高精度要求，考慮嵌入式平臺對模型復雜度的限制，提出了一種基于深度可分離卷積和跳躍連接結構的輕量級檢測算法。本文算法在公開數據集和標識數據集上表現出優秀的檢測效果，檢測速度、檢測精度及模型復雜度得到有效平衡，基本滿足無人機自主降落的實際需求。未來，將檢測算法與圖像去霧、去雨、去模糊等算法相結合，開發適用于霧霾和雨雪天氣、快速運動等復雜場景的一體化檢測算法，滿足無人機在惡劣天氣及復雜環境的自主降落需求。

參考文獻：

［1］ 孟祥輝， 劉青峰， 李晨陽， 等. 兩棲作戰無人裝備跨域協同運用研究［J］. 中國電子科學研究院學報， 2022， 17（10）： 1032-1036.

Meng Xianghui， Liu Qingfeng， Li Chenyang， et al. Amphibious Operation Unmanned Equipment Cross-Domain Collaboration Application Research［J］. Journal of China Academy of Electronics and Information Technology， 2022， 17（10）： 1032-1036. （in Chinese）

［2］ 張咪， 趙勇， 布樹輝， 等. 基于階層標識的無人機自主精準降落系統［J］. 航空學報， 2018， 39（10）： 322150.

Zhang Mi， Zhao Yong， Bu Shuhui， et al. Multi-Level Marker Based Autonomous Landing System for UAVs［J］. Acta Aeronautica et Astronautica Sinica， 2018， 39（10）： 322150.（in Chinese）

［3］ 潘思， 谷豐， 狄春雷， 等. 基于多站測距定位的無人直升機自主降落引導方法研究［J］. 航空兵器， 2020， 27（6）： 36-42.

Pan Si， Gu Feng， Di Chunlei， et al. Research on Autonomous Landing Navigation of Unmanned Rotorcrafts on Moving Ships Based on Multi-Station Ranging and Positioning［J］. Aero Weaponry， 2020， 27（6）： 36-42.（in Chinese）

［4］ 劉飛， 單佳瑤， 熊彬宇， 等. 基于多傳感器融合的無人機可降落區域識別方法研究［J］. 航空科學技術， 2022， 33（4）： 19-27.

Liu Fei， Shan Jiayao， Xiong Binyu， et al. Research on the Identification Method of UAV Landing Area Based on Multi-Sensor Fusion［J］. Aeronautical Science amp; Technology， 2022， 33（4）： 19-27.（in Chinese）

［5］ 沈林成， 孔維瑋， 牛軼峰. 無人機自主降落地基/艦基引導方法綜述［J］. 北京航空航天大學學報， 2021， 47（2）： 187-196.

Shen Lincheng， Kong Weiwei， Niu Yifeng. Ground and Ship-Based Guidance Approaches for Autonomous Landing of UAV［J］. Journal of Beijing University of Aeronautics and Astronautics， 2021， 47（2）： 187-196.（in Chinese）

［6］ Kong W W， Zhou D L， Zhang D B， et al. Vision-Based Autonomous Landing System for Unmanned Aerial Vehicle： A Survey［C］∥International Conference on Multisensor Fusion and Information Integration for Intelligent Systems （MFI）， 2014： 1-8.

［7］ 趙良玉， 李丹， 趙辰悅， 等. 無人機自主降落標識檢測方法若干研究進展［J］. 航空學報， 2022， 43（9）： 025882.

Zhao Liangyu， Li Dan， Zhao Chenyue， et al. Some Achievements on Detection Methods of UAV Autonomous Landing Markers［J］. Acta Aeronautica et Astronautica Sinica， 2022， 43（9）： 025882.（in Chinese）

［8］ Saripalli S， Sukhatme G S. Landing on a Moving Target Using an Autonomous Helicopter［M］∥Springer Tracts in Advanced Robo-tics." Heidelberg： Springer， 2006： 277-286.

［9］ Lange S， Sunderhauf N， Protzel P. A Vision Based Onboard Approach for Landing and Position Control of an Autonomous Multirotor UAV in GPS-Denied Environments［C］∥International Conference on Advanced Robotics， 2009： 117-122.

［10］ Chen X D， Phang S K， Shan M， et al. System Integration of a Vision-Guided UAV for Autonomous Landing on Moving Platform［C］∥12th IEEE International Conference on Control and Automation （ICCA）， 2016： 761-766.

［11］ Xu C， Qiu L K， Liu M， et al. Stereo Vision Based Relative Pose and Motion Estimation for Unmanned Helicopter Landing［C］∥IEEE International Conference on Information Acquisition， 2006： 31-36.

［12］ Bagen W L， Hu J Z， Xu Y M. A Vision-Based Unmanned Helicopter Ship Board Landing System［C］∥2nd International Congress on Image and Signal Processing， 2009： 1-5.

［13］ Yuan H W， Xiao C S， Xiu S P， et al. A Hierarchical Vision-Based UAV Localization for an Open Landing［J］. Electronics， 2018， 7（5）： 68.

［14］ Hinton G E， Salakhutdinov R R. Reducing the Dimensionality of Data with Neural Networks［J］. Science， 2006， 313（5786）： 504-507.

［15］ Nguyen P H， Arsalan M， Koo J H， et al. LightDenseYOLO： A Fast and Accurate Marker Tracker for Autonomous UAV Landing by Visible Light Camera Sensor on Drone［J］. Sensors， 2018， 18（6）： 1703.

［16］ Truong N Q， Lee Y W， Owais M， et al. SlimDeblurGAN-Based Motion Deblurring and Marker Detection for Autonomous Drone Landing［J］. Sensors， 2020， 20（14）： 3918.

［17］ Li J H， Wang X H， Cui H R， et al. Research on Detection Technology of Autonomous Landing Based on Airborne Vision［J］." Earth and Environmental Science， 2020， 440（4）： 042093.

［18］ Liu W， Anguelov D， Erhan D， et al. SSD： Single Shot MultiBox Detector［C］∥European Conference on Computer Vision， 2016： 21-37.

［19］ Chen J J， Miao X R， Jiang H， et al. Identification of Autonomous Landing Sign for Unmanned Aerial Vehicle Based on Faster Regions with Convolutional Neural Network［C］∥Chinese Automation Congress （CAC）， 2017： 2109-2114.

［20］ Yu L J， Luo C， Yu X R， et al. Deep Learning for Vision-Based Micro Aerial Vehicle Autonomous Landing［J］. International Journal of Micro Air Vehicles， 2018， 10（2）： 171-185.

［21］ Yang T， Ren Q， Zhang F B， et al. Hybrid Camera Array-Based UAV Auto-Landing on Moving UGV in GPS-Denied Environment［J］. Remote Sensing， 2018， 10（11）： 1829.

［22］ Bochkovskiy A， Wang C Y， Liao H Y M. YOLOv4： Optimal Speed and Accuracy of Object Detection［EB/OL］.（2020-04-23）［2023-04-09］. https：∥ arxiv.org/abs/2004.10934.

［23］ Redmon J， Farhadi A. YOLOv3： An Incremental Improvement［EB/OL］. （2018-04-08）［2023-04-09］. https：∥arxiv.org/abs/1804.02767.

［24］ Sandler M， Howard A， Zhu M L， et al. MobileNetV2： Inverted Residuals and Linear Bottlenecks［C］∥IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2018： 4510-4520.

［25］ Szegedy C， Liu W， Jia Y Q， et al. Going Deeper with Convolutions［C］∥IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2015： 1-9.

［26］ Howard A G， Zhu M L， Chen B， et al. MobileNets： Efficient Convolutional Neural Networks for Mobile Vision Applications［EB/OL］.（2017-04-17）［2023-04-09］. https：∥arxiv.org/abs/1704.04861.

［27］ Ren S Q， He K M， Girshick R， et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149.

Detection Method of Autonomous Landing Marker for UAV

Based on Deep Learning

Li Dan1， Deng Fei2， Zhao Liangyu3， Liu Fuxiang3*

（1. Chinese Aeronautical Establishment， Beijing 100029， China;

2. North China Institute of Science and Technology， Langfang， 065201， China;

3. Beijing Institute of Technology， Beijing 100081， China）

Abstract： Aiming at improving the real-time performance and accuracy of UAV autonomous landing， a landing marker detection method based on deep learning is proposed. Firstly， the lightweight network MobileNetv2 is used as the backbone network for feature extraction. Secondly， drawing on the network structure of YOLOv4， depthwise separable convolution is introduced to reduce the number of parameters without affecting model performance. Then， a feature pyramid module based on skip connection structures is proposed. With this module， the feature maps output from the backbone can be stitched and the detail information and semantic information can be fused to obtain features with stronger characterization capability. Finally， the detection head is optimized by depthwise separable convolution to complete the target detection task. Experiments are conducted on the Pascal VOC dataset and the landing marker dataset. The results show that the improved detection algorithm effectively reduces the computational and parameter complexity of the model， improves the detection speed， and can meet the accuracy requirements of autonomous UAV landing.

Key words： UAV; visual guidance; autonomous landing; marker detection; deep learning