基于移動起降平臺的無人機(jī)定點(diǎn)降落混合模式探究

史欣茹 龍澤宇 鄒哲之 劉亦博 周 航

中國民航大學(xué)中歐航空工程師學(xué)院 天津 300300

一、概述

(一)研究背景

無人機(jī)是利用無線電控制技術(shù)和機(jī)載自動化控制裝置操縱的無人飛行器。近年來,無人機(jī)在長時監(jiān)控、航空拍攝、電力巡檢、城市交通監(jiān)控、災(zāi)難現(xiàn)場搜救等任務(wù)中展現(xiàn)出了優(yōu)秀的應(yīng)用性能,其中無人機(jī)對可移動目標(biāo)的追蹤定位問題一直是無人機(jī)技術(shù)研究的熱點(diǎn)。此技術(shù)在現(xiàn)實生活中有廣闊的應(yīng)用空間和技術(shù)需求。例如,用于城市反恐中對犯罪車輛的跟蹤、通過無人機(jī)對風(fēng)電葉片進(jìn)行巡檢[1]。

同時,無人機(jī)追蹤定位技術(shù)始終存在技術(shù)局限,比如在復(fù)雜環(huán)境中進(jìn)行人員搜捕時,或在對可移動目標(biāo)進(jìn)行追蹤巡航時,無人機(jī)只能追蹤帶有特定明顯特征的物體,無法追蹤沒有標(biāo)識的目標(biāo)。由于無人機(jī)載荷小、續(xù)航能力弱,飛行高度有限,其應(yīng)用場景與使用范圍也具有局限性,難以完成遠(yuǎn)距離載重任務(wù),在結(jié)冰等極端天氣環(huán)境下的飛行高度與續(xù)航能力更大幅降低[2]。

無人載具的出現(xiàn)和應(yīng)用,為解決無人機(jī)續(xù)航力短問題提出了新的思路:利用小型無人載具搭載無人機(jī)抵近目標(biāo),再在起降平臺上完成起飛,可有效彌補(bǔ)無人機(jī)續(xù)航缺陷,拓寬應(yīng)用場景。在無人機(jī)與移動載具相結(jié)合方面,人們曾做出許多嘗試,該技術(shù)更多是用在軍事和城市治安上。例如,美研究人員構(gòu)想未來軍事上將依靠空中/地面自主無人裝備,在無需士兵干預(yù)的情況下執(zhí)行任務(wù)[3];無人機(jī)與熱成像動作捕捉技術(shù)相結(jié)合,可自動識別追蹤目標(biāo),善于發(fā)現(xiàn)隱蔽目標(biāo)[4];中國防務(wù)公司發(fā)布的“空頭戰(zhàn)術(shù)機(jī)器狗”,利用機(jī)器狗攜帶武器,再由無人機(jī)運(yùn)送,戰(zhàn)術(shù)上具備很高的潛力。

而在風(fēng)電行業(yè)領(lǐng)域,無人機(jī)多用于風(fēng)電巡檢,主要是對葉片的檢測。隨著風(fēng)電生產(chǎn)管理向精細(xì)化發(fā)展,對風(fēng)機(jī)組核心部件的運(yùn)行維護(hù)水平提出了越來越高的要求。傳統(tǒng)的集電線路巡視都是靠人工步行或開車沿著線路路徑進(jìn)行檢查,費(fèi)人費(fèi)力費(fèi)時,而利用無人機(jī)巡檢結(jié)合移動載具,可提前規(guī)劃飛行路徑,且避免地形地勢影響,大幅提高工作效率。因此,在無人機(jī)結(jié)合移動起降平臺背景下,研究一種在室外實現(xiàn)精確、魯棒的垂直降落系統(tǒng)十分必要。

(二)國內(nèi)外研究現(xiàn)狀

無人機(jī)定點(diǎn)降落技術(shù)應(yīng)用面廣,吸引大批國內(nèi)外學(xué)者及研究團(tuán)隊對其進(jìn)行研究,在無人機(jī)視覺識別下降理論和實踐方面都取得了很多成果。

2019年,Miller等[5]針對下降過程中無人機(jī)數(shù)據(jù)精度的不準(zhǔn)確性提出了計算機(jī)視覺——光流法,之后SANI等[6]基于單目相機(jī)與卡爾曼濾波開發(fā)了一種無人機(jī)精確降落新方法,通過PID反饋不斷調(diào)節(jié)無人機(jī)位置。同年,Palafox等[7]通過搭載機(jī)載處理器對圖像信息進(jìn)行實時處理,避免了離線處理的傳輸延時。Respall等[8]提出了一種檢測與跟蹤相結(jié)合的高效檢測框架,利用視覺目標(biāo)跟蹤算法持續(xù)跟蹤目標(biāo)位置,具有更高效率。

國內(nèi)關(guān)于無人機(jī)在可移動平臺上的自主降落技術(shù)研究起步時間晚于國外,但在近幾年也同樣取得了一些突破。

2009年清華大學(xué)Zeng Fucen[9]等,通過采用模板匹配算法進(jìn)行檢測識別,自適應(yīng)閾值分割算法來提升算法精確度。2012年韓利華[10]提出將視覺與慣性導(dǎo)航融合的方法,2016年國防科學(xué)技術(shù)大學(xué)金紹港[11]提出利用ROI區(qū)域選擇法及CMT目標(biāo)跟蹤算法進(jìn)行圖像檢測,縮小圖像遍歷像素。2018年學(xué)者Feng Yi等[12]在文章中模擬預(yù)測控制方法應(yīng)用于無人機(jī)降落問題,使用了仿真環(huán)境進(jìn)行模擬驗證,效果良好。

綜上可知,無論國外還是國內(nèi)在無人機(jī)基于可移動平臺的自主降落技術(shù)上已有大量研究。然而在室外復(fù)雜環(huán)境中,如何確保圖像定位識別準(zhǔn)確性,避免不同時段光線強(qiáng)弱、風(fēng)力、相似標(biāo)志等環(huán)境因素的干擾,在著陸過程中對無人機(jī)進(jìn)行穩(wěn)定控制,同時做到盡可能提高圖像處理速度,縮短響應(yīng)時間,仍有待進(jìn)一步研究。

本文研究無人機(jī)在可移動平臺上實現(xiàn)由遠(yuǎn)及近的自主降落的一種混合模式。首先應(yīng)用可移動載具與無人機(jī)的位置信息交互進(jìn)行粗定位,再利用對機(jī)器狗的目標(biāo)識別進(jìn)行精準(zhǔn)定位,最后利用二維碼作為關(guān)鍵參照物,通過無人機(jī)視覺精準(zhǔn)降落方法與技術(shù),完成無人機(jī)的自主精準(zhǔn)降落。

二、基于移動起降平臺的無人機(jī)定點(diǎn)降落混合模式概述

為了使得無人機(jī)在野外能夠自主完成移動平臺上的起降,我們提出基于移動起降平臺的無人機(jī)定點(diǎn)降落混合模式。由衛(wèi)星導(dǎo)航粗定位、目標(biāo)識別、二維碼精準(zhǔn)降落三部分組成。

(一)衛(wèi)星導(dǎo)航粗定位

由于無人機(jī)攜帶的視覺設(shè)備可觀察范圍受限,因此在遠(yuǎn)程導(dǎo)引階段,即在視覺設(shè)備因為距離問題而無法捕獲標(biāo)識信息時,采用衛(wèi)星導(dǎo)航等方式將無人機(jī)引導(dǎo)到機(jī)械狗附近。基站通過預(yù)定算法對無人機(jī)進(jìn)行運(yùn)動控制,使機(jī)械狗處于視覺設(shè)備可觀察范圍之內(nèi)。

(二)YOLOv5識別完成對機(jī)械狗的跟蹤

無人機(jī)攜帶的視覺傳感器對機(jī)械狗所在區(qū)域掃描拍攝,經(jīng)過圖像的預(yù)處理后,由所配置的YOLOv5程序進(jìn)行識別,判斷機(jī)械狗的準(zhǔn)確位置,在程序評分較高的條件下生成無人機(jī)和機(jī)械狗之間的相對位置和相對運(yùn)動關(guān)系。基站根據(jù)相對位置和運(yùn)動關(guān)系生成導(dǎo)引指令,遞交給無人機(jī)的飛行控制系統(tǒng)使其以合適的方位和速度靠近機(jī)器狗。

(三)二維碼引導(dǎo)的精準(zhǔn)降落

在二維碼進(jìn)入相機(jī)視野范圍內(nèi)后,利用P4P等圖像處理技術(shù),對二維碼圖像進(jìn)行采集,邊緣處理,將處理后的二維碼信息反饋給無人機(jī)飛行控制系統(tǒng),并完成分別以機(jī)械狗、云臺相機(jī)和無人機(jī)為參考系的坐標(biāo)轉(zhuǎn)換,得到無人機(jī)與平臺的相對位置,控制無人機(jī)迅速且準(zhǔn)確地達(dá)到期望狀態(tài),如此不斷進(jìn)行反饋,使無人機(jī)沿著以機(jī)械狗為參考系的指定線路抵近,到達(dá)二維碼正上方進(jìn)行降落,最后在到達(dá)安全高度后關(guān)閉電機(jī),完成降落。

由上述可得無人機(jī)降落基本流程如圖1所示,在后續(xù)三個章節(jié)中將詳細(xì)論述三個過程采用的具體方法。

圖1 無人機(jī)由遠(yuǎn)及近的基本降落流程圖

三、衛(wèi)星導(dǎo)航信息交互

無人機(jī)在飛行過程中,其狀態(tài)要實時反饋,為了精準(zhǔn)和及時對無人機(jī)發(fā)出指令,我們要獲取無人機(jī)的飛行位置。目前無人機(jī)多采用GPS方法定位,因為GPS的精確度不足以支持無人機(jī)進(jìn)行精準(zhǔn)操作,且準(zhǔn)確度易受到復(fù)雜天氣影響,故在定位時往往采用GPS+的模式。

全球衛(wèi)星定位系統(tǒng)(GPS)的應(yīng)用是基于衛(wèi)星發(fā)射信號給定位端,當(dāng)定位端同時收到4顆以上的衛(wèi)星信號后,再根據(jù)相關(guān)的定位算法算出其當(dāng)前所處位置的三維坐標(biāo)、速度和時間等,如圖2所示。

圖2 衛(wèi)星導(dǎo)航原理示意圖

無人機(jī)在向可移動平臺(機(jī)器狗)移動過程中,我們要實時定位無人機(jī)與機(jī)器狗的位置。地面控制站先對無人機(jī)進(jìn)行數(shù)據(jù)采集、數(shù)字變換、圖像處理、隨后存入地面控制站計算機(jī),建立數(shù)字地圖庫,再將建立的無人機(jī)電子模型傳遞到用戶端,用戶端根據(jù)需求對無人機(jī)發(fā)出調(diào)整指令。最后,由無人機(jī)的飛行控制伺服系統(tǒng)根據(jù)指令完成對無人機(jī)姿態(tài)和方位的調(diào)整,由此獲得無人機(jī)的實時位置。

在對無人機(jī)和機(jī)器狗利用GPS進(jìn)行粗定位后,我們獲得兩者的大致位置,隨后使無人機(jī)移動至機(jī)器狗附近,如圖3所示。

圖3 衛(wèi)星導(dǎo)航粗定位流程圖

圖4 機(jī)器狗識別框架

四、目標(biāo)識別方法

在完成衛(wèi)星導(dǎo)航粗定位后,無人機(jī)需對目標(biāo)平臺進(jìn)行進(jìn)一步精確定位。考慮到Y(jié)OLO在模型快速部署上占據(jù)極大優(yōu)勢且在靈活性與速度上也強(qiáng)于其他目標(biāo)檢測模型,NVIDIA平臺在運(yùn)行深度學(xué)習(xí)方面擁有成熟的技術(shù)。本部分首先介紹YOLOv5[13]對特定目標(biāo)識別的基本原理,再結(jié)合Unitree機(jī)器狗以及NVIDIA的Jetson Nano/Tx2芯片,使無人機(jī)能完成對機(jī)器狗的識別。

(一)YOLOv5目標(biāo)識別

YOLO算法是目前深度學(xué)習(xí)中的一種目標(biāo)檢測算法,這個算法由Redmon等[14]提出,通過一個網(wǎng)絡(luò)實現(xiàn)了目標(biāo)檢測的分類以及定位,現(xiàn)在YOLO算法在目標(biāo)檢測中得到了廣泛的應(yīng)用,YOLOv5于2020年推出,具有體積小、速度快和精度高的優(yōu)點(diǎn),并且完全可以在具有成熟生態(tài)的PyTorch中實現(xiàn)。因此我們選取YOLOv5目標(biāo)檢測算法對Unitree機(jī)器狗數(shù)據(jù)集進(jìn)行檢測與識別。

(二)機(jī)器狗推理模型

該模型如圖所示分為兩個部分:訓(xùn)練階段和測試階段。在訓(xùn)練階段,將訓(xùn)練集輸入模型進(jìn)行訓(xùn)練。在測試階段,模型完成對輸入圖像的機(jī)器狗檢測。該模型對Unitree機(jī)器狗預(yù)測得分進(jìn)行處理,然后將預(yù)測的機(jī)器狗得分繪制在輸出圖像上。

(三)數(shù)據(jù)集以及訓(xùn)練權(quán)重

構(gòu)建一個機(jī)器狗數(shù)據(jù)集。目前研究中沒有公開、通用的Unitree機(jī)器狗數(shù)據(jù)集,因此我們在Google等搜索引擎以及自主拍攝收集了約一千三百張Unitree機(jī)器狗照片,為了避免數(shù)據(jù)的重復(fù)和錯誤,我們從不同的角度、距離以及姿態(tài)選取機(jī)器狗照片。隨后建立樣本庫,為獲取的圖像標(biāo)記類別。在此數(shù)據(jù)集中,利用標(biāo)記工具Labelimg對圖片中的Unitree機(jī)器狗進(jìn)行了標(biāo)記:首先從數(shù)據(jù)集圖片中利用矩形框框選出相應(yīng)的目標(biāo);Labelimg自動將標(biāo)記后的標(biāo)簽儲存為TXT格式的文件;最后將標(biāo)簽完成的數(shù)據(jù)集按照一定比例劃分為訓(xùn)練集和測試集。

對本文YOLOv5s算法模型進(jìn)行訓(xùn)練,訓(xùn)練后的Precision、Recall和mAP如圖5所示。

圖5 訓(xùn)練結(jié)果

在前20epochs,機(jī)器狗的訓(xùn)練模型的Precision、Recall和mAP上升都比較快,在訓(xùn)練100epochs后已經(jīng)達(dá)到一定的精度,在訓(xùn)練200epochs后已經(jīng)接近最優(yōu)值,達(dá)到可以作用于無人機(jī)上對機(jī)器狗進(jìn)行檢測的效果。

(四)作用在無人機(jī)上的方法

在基站的工作臺內(nèi)配置YOLOv5環(huán)境,導(dǎo)入在上一階段中已經(jīng)訓(xùn)練好的機(jī)器狗權(quán)重文件,通過無人機(jī)搭載的視覺傳感器,將捕捉后經(jīng)過預(yù)處理的機(jī)器狗圖像傳輸?shù)交尽Ｓ苫旧纤钶d的Jetson Nano/Tx2芯片對傳輸回來的圖像進(jìn)行分析,根據(jù)分析結(jié)果所得的分?jǐn)?shù)判斷目標(biāo)是否為目標(biāo)機(jī)器狗。當(dāng)所得分?jǐn)?shù)較低時,基站傳達(dá)指令要求無人機(jī)重新進(jìn)行衛(wèi)星定位校準(zhǔn)目標(biāo)。所得分?jǐn)?shù)較高時,基站向無人機(jī)傳達(dá)指令執(zhí)行降落流程。

五、二維碼識別降落

通過基于YOLOv5的目標(biāo)識別方法,無人機(jī)逼近目標(biāo)附近并懸停至移動平臺(機(jī)器狗)正上方,此時利用二維碼識別技術(shù),進(jìn)行最終降落。本文的二維碼采用的是廣泛應(yīng)用于增強(qiáng)現(xiàn)實標(biāo)記的ArUco碼,如圖6所示。

圖6 典型ArUco碼

圖7 組合二維碼及排列式二維碼

此標(biāo)記碼本質(zhì)上是編有漢明碼的黑白格子圖,由于漢明碼有獨(dú)特的數(shù)據(jù)編碼方法,可以利用奇偶校驗位的概念很好地檢測編碼數(shù)據(jù)的有效性,同時也能保證二維碼檢測的可靠性。為了進(jìn)一步提高二維碼檢測的效率與范圍,本文給出兩種可行的二維碼組合方式。

通過二維碼識別的流程如下:當(dāng)無人機(jī)識別到機(jī)器狗搭載的二維碼時,先要對輸入視頻的圖像進(jìn)行預(yù)處理。使用一次金字塔濾波濾除圖像噪聲。隨后無人機(jī)利用P4P算法識別檢測二維碼,可識別圖像上所有特征點(diǎn)的坐標(biāo)值,完成檢測后輸出檢測匹配二維碼的四個角點(diǎn)坐標(biāo)值。利用四個角點(diǎn)的數(shù)據(jù)能夠解算相機(jī)的內(nèi)參矩陣R、T。再通過內(nèi)參矩陣把機(jī)器狗的位置坐標(biāo)轉(zhuǎn)化到大地坐標(biāo)系。在大地坐標(biāo)系中,無人機(jī)飛行速度與飛行距離成正比,將得到的位姿數(shù)帶入PID算法,從而能實現(xiàn)跟蹤并且與機(jī)器狗相對靜止的目標(biāo)。當(dāng)無人機(jī)能夠穩(wěn)定保持在機(jī)器狗正上方時,無人機(jī)會以人工所設(shè)定的頻率自動下降一定高度,隨后再通過PID算法調(diào)整與無人機(jī)的位置,以此為循環(huán)。直至無人機(jī)到達(dá)人工所標(biāo)定的機(jī)器狗高度后,無人機(jī)自動關(guān)機(jī),整個降落流程結(jié)束。

結(jié)語

本文針對基于移動起降平臺的無人機(jī)定點(diǎn)降落問題,提出由遠(yuǎn)及近的混合降落模式,由GPS衛(wèi)星導(dǎo)航系統(tǒng)實現(xiàn)無人機(jī)與起降平臺(即機(jī)器狗)的粗定位,再利用YOLOv5目標(biāo)識別算法,使無人機(jī)識別并逼近目標(biāo)平臺,最后利用P4P等圖像檢測技術(shù),完成基于二維碼圖像識別的精準(zhǔn)降落過程,從而解決無人機(jī)靠近平臺與無人機(jī)在指定點(diǎn)位精準(zhǔn)降落兩部分難題,為無人機(jī)在風(fēng)電場復(fù)雜環(huán)境中的定點(diǎn)降落提供可行思路與理論支撐。