無人機自主降落標識檢測方法若干研究進展

趙良玉,李丹,趙辰悅,蔣飛

1. 北京理工大學 宇航學院,北京 100081 2. 武警研究院,北京 100012

隨著科學技術的飛速發展和軍事變革的持續推進,戰爭的全域化、閃擊化、無人化、未知化、非對稱化、遠程打擊化和高精準化要求日益突出,如何構建海、陸、空、天、電全要素作戰力量體系,將成為各軍事強國亟需解決的重大問題。由于無人平臺具備執行“枯燥的、惡劣的、危險的、縱深的”(Dull, Dirty, Dangerous, Deep, 4D)任務的特性,異構無人裝備一體化協同作戰被認為是推動未來戰爭從信息化向智能化轉變的關鍵理念之一。此外,利用無人機(Unmanned Aerial Vehicles, UAV)實施非接觸空中精確打擊正在逐漸成為局部或小規模戰爭的主要手段,并成為當前跨域無人系統的研究熱點。無人機與無人車/無人艇的協同作為一種新的裝備戰術運用方法可以將異構平臺優勢互補,有效彌補車輛等運動體的環境感知能力有限這一缺陷,增強其戰場態勢感知能力和行為能力,有效擴大偵察范圍,最大化綜合作戰效能。除軍事用途外,無人機與無人車/無人艇等無人裝備的協同也成為輔助人類監測環境、探索自然、維護社會安全、參與救災搶險等重大任務過程中不可或缺的技術支撐。

作為一種可有限重復使用的飛行器,對完成工作任務的無人機進行回收,最大程度保證其自主復飛能力,增強系統自組織和自適應能力,是提高其效費比和協同能力的前提,這使得無人機能否自主精準降落成為影響其協同作業的關鍵,也是飛行控制領域的研究熱點和難點。美國國防部2004年公布的技術報告指出,美國的固定翼無人機,如“獵人”和“先鋒”,有近50%在自主降落過程中出現事故。降落過程作為無人機事故頻發的一個階段,如何實現魯棒的自主降落成為無人機協同任務研究中最重要和最具挑戰性的課題之一。

無人車/無人艇等平臺具有運動速度快、區域小、干擾多等特點,這就要求系統在回收末端具備高精度的導航定位能力。由于視覺導航所具有的自主性強、抗干擾性好、精度高等優點,已成為近年來無人機自主著陸段導航方法的首選。視覺引導無人機自主降落一般分為2種,一種是基于人工標識檢測實現自主降落,另一種是基于場景識別的自主降落。當下,前者是最主要的研究方向,這使得對降落標識準確識別成為實現無人機在靜、動平臺自主降落的基礎。

國外對基于視覺的無人機自主降落技術的研究起步較早,并取得了豐碩的成果,美國、日本、法國等國家的研究走在世界前列。近些年,國內許多研究機構及學者也致力于無人機與無人車/無人艇協同方面的研究,自2004年舉辦第一屆中國空中機器人大賽以來,陸續實現了無人機的自主起飛、自主飛行和自主降落。北京理工大學在2017年國際機器人挑戰賽(Mohamed Bin Zayed International Robotics Challenge, MBZIRC)中斬獲移動車輛自主降落項目的冠軍,上海交通大學于2018年在國內最早實現基于視覺的旋翼無人機自主水上精準降落,華中科技大學于2019年成功完成無人機/無人艇協同起降試驗,進一步推動國內無人機/無人艇協同技術的發展。除此之外,瑞士、奧地利、新加坡等其他國家也一直在從事該方向的研究。

近年來,人工智能技術的快速發展和目標檢測方法的不斷創新,相關學術論文和技術報告快速涌現,如國內外專家學者針對通用目標檢測方法、無人機目標檢測技術、機艇協同技術、無人機自主著陸、無人機自主著艦等進行了綜述。然而,目前已公開發表的針對無人機自主降落過程中標識檢測方法的系統性介紹還比較少,文獻[19-20]也只是簡要梳理綜述了近年來基于人工標識的自主降落方法,并沒有針對標識檢測算法進行詳細介紹。為了進一步促進中國無人機與無人車/無人艇協同領域的研究和發展,有必要對無人機自主降落標識檢測方向的研究成果和進展進行梳理。為此,本文將重點介紹近年來無人機自主降落標識檢測技術的研究進展,歸納和總結代表性的標識檢測方法及成果。同時,結合具體應用場景,對該領域當前研究中存在的問題及未來發展趨勢進行展望。

1 視覺引導無人機自主降落流程

無人機與無人車/無人艇的協同工作中,當無人機完成工作任務進行回收時,應盡可能減少平臺輔助設備的使用,減少無人機回收對載體平臺正常工作的影響,同時最大程度保證其復飛能力。因此,實現全自主精準降落是無人機與無人車/無人艇異構平臺協同作業的關鍵,對于保證全天候任務可靠執行具有重要意義。

以圖1所示基于人工標識的旋翼無人機降落艦艇為例,簡單介紹視覺引導無人機自主降落任務的流程。由于視覺設備可觀察范圍有限,在遠程導引階段,即視覺設備無法捕獲標識信息時,采用衛星導航等方式將無人機引導到降落區域,之后采用視覺導引方法進行降落。視覺引導無人機自主降落流程主要包括標識檢測、導引飛行和受控降落3個階段：

1) 由無人機攜帶的相機等視覺傳感器對降落區域的圖像信息進行采集,經圖像預處理、特征提取、特征匹配等實現標識的檢測和跟蹤,并不斷生成無人機和標識之間的相對位置和相對運動關系。

2) 無人機的飛行控制系統根據上述相對位置和運動關系生成導引指令,引導無人機以合適的方位和速度向標識指定區域抵近。

3) 同樣是無人機的飛行控制系統將導引指令轉化為其飛行姿態和速度的控制指令,控制無人機精準、快速達到期望狀態,如此循環,直到無人機到達標識指定位置,完成降落任務。

圖1 基于人工標識的旋翼無人機自主降落Fig.1 Flow chart of rotorcraft autonomous landing based on artificial markers

可以看出,降落標識的檢測是實現無人機自主降落任務的前提,其檢測結果直接影響無人機自主降落任務的整個過程。其中,標識檢測的準確性決定了無人機自主降落任務的成敗,標識檢測的實時性決定了無人機降落過程中的機動強度和能量需求。

2 標識檢測方法

目標檢測是計算機視覺及圖像處理領域的一個重要研究方向,其基本思想是“what is where”,即在圖像中快速準確地識別出待檢測目標的類別并精確確定目標的位置。標識檢測是目標檢測在無人機降落任務中的特殊應用,將目標限制為人工設計的特定標識,通過檢測算法快速識別出降落標識并確定其位置信息。從發展歷史來看,標識檢測技術的進步離不開通用目標檢測技術的發展；從檢測算法來看,標識檢測算法大多沿用通用的目標檢測算法,由于基于深度學習的目標檢測算法存在計算量大、模型復雜等問題,基于深度學習的標識檢測算法大多根據實際應用場景由目標檢測算法修改而來。因此,本節在梳理標識檢測方法的同時,簡要介紹了基于深度學習的目標檢測技術的發展脈絡,歸納總結了基于圖像分割的標識檢測方法、基于分類器的標識檢測方法和基于深度學習的標識檢測方法。

2.1 基于圖像分割的標識檢測方法

圖像分割是根據圖像的灰度、紋理、邊緣等特性,將圖像分割為多個區域。常用的圖像分割方法有：最大類間方差法(OSTU)、最大熵法(Maximum Entropy Principle, MEP)、K均值聚類算法(K-means Clustering Algorithm, K-means)等。基于圖像分割的檢測方法的基本思想是在圖像分割的基礎上,對標識圖像進行特征提取,將提取的特征與模板圖像進行匹配以識別標識,再對識別的標識進行定位,達到標識檢測的效果。特征的選取主要有：根據標識尺寸信息得到的統計特征；紋理、形狀等視覺特征；霍夫變換(Hough Transform, HT)、小波變換(Wavelet Transform, WT)等變換特征。然而,基于分割的標識檢測方法只適用于單一場景,針對背景雜亂、快速運動和遮擋等復雜場景檢測效果較差,難以滿足實際復雜環境下標識檢測的快速性和準確性要求。

2.2 基于分類器的標識檢測方法

基于分類器的標識檢測與其他目標的檢測任務相似,是滑動窗口(Slide Window, SW)和機器學習相結合的方法,對于每一個窗口內的圖像,提取其特征作為分類器的輸入,訓練得到最終的學習模型,從而對未知圖像進行檢測。經典的用于生成特征描述子的算法有：尺度不變特征變換(Scale Invariant Feature Transform, SIFT)匹配算法、加速魯棒特征(Speeded Up Robust Features, SURF)算法、梯度方向直方圖(Histogram of Oriented Gradient, HOG)等；常用的分類器有：支持向量機(Support Vector Machine, SVM)、AdaBoost、K最鄰近法(K-Nearest Neighbor, KNN)等。在降落標識檢測中,通常根據背景信息與標識圖像提取不同特征,或采用聯合多個特征的方式進行標識檢測,雖然這類方法在一定情況下檢測精度較高,但人工提取的局部淺層特征缺乏魯棒性,且對于不同應用場景下的不同標識,需要設計不同的特征提取方法,算法可移植性較差。此外,這類方法大多基于滑動窗口的方式提取特征,會造成數據冗余和速度減慢,在無人機自主降落中具有一定的局限性。

2.3 基于深度學習的標識檢測方法

為了讓計算機模擬人類提取特征的過程,更自然地提取圖像信息,研究人員不斷進行嘗試。2006年,機器學習專家Hinton教授在《Science》上發文,提出深度神經網絡能夠從大量數據中學習高層語義特征的思想,掀起了工業界和學術界對人工神經網絡的研究熱潮。隨著深度學習的迅速發展,卷積神經網絡(Convolutional Neural Networks, CNN)與傳統目標檢測算法相融合,并引入遷移學習的概念,其應用領域迅速擴展,取得優異的成果。Lecun等于2015年在《Nature》上的文章也肯定了深度學習在語音識別、目標檢測等領域的貢獻。

基于深度學習的目標檢測算法主要分為基于候選區域的二階段檢測算法和基于回歸的一階段檢測算法,發展路線如圖2所示,時間軸上方展示了二階段檢測算法的發展歷程,時間軸下方展示了一階段檢測算法的發展歷程。基于候選區域的檢測算法的基本思想是：首先通過SS、Edge boxes等方法,生成目標候選區域,然后利用深度卷積神經網絡提取目標候選區域的深層特征,使用這些特征進行目標分類和真實邊界框擬合。最具代表性的是Girshick等提出的R-CNN系列檢測算法,目前使用較成熟的是Faster R-CNN網絡。基于回歸的目標檢測算法直接從完整圖像中預測出目標的類別概率和位置信息,是一種端到端的網絡,可以實現檢測性能端到端優化。這類算法中最經典的是YOLO系列算法和SSD系列算法。為便于比較各種算法的檢測性能、優缺點和適用場景,對經典的目標檢測算法進行梳理,匯總于表1,可以看出,一階段檢測算法的速度遠遠高于二階段檢測算法,但檢測精度相對較低。

圖2 基于深度學習的目標檢測算法發展路線Fig.2 A route for development of deep learning-based object detection algorithms

表1 基于深度學習的目標檢測算法對比[13,33-40]

基于深度學習的目標檢測技術的快速發展,為標識檢測的研究注入了新血液。考慮機載設備的計算能力約束和實時檢測需求,基于深度學習的標識檢測算法大多在現有目標檢測算法的基礎上進行優化,以達到兼顧檢測速度和檢測精度的效果。文獻[43]對YOLOv2的特征提取網絡進行優化提出LightDenseYOLO算法；文獻[44]將改進的SSD與核相關濾波(Kernel Correlation Filter, KCF)算法融合,達到檢測速度和檢測精度的平衡；文獻[45]融合SlimDeblurGAN和YOLOv2算法,解決了自主降落過程中易產生的運動模糊問題。另外,近些年提出的輕量化檢測算法如EfficientDet、Gaussian YOLOv3、SlimYOLOv3、Mixed YOLOv3-LITE等,檢測速度與精度不斷提升,更適用于無人機平臺。

簡而言之,基于深度學習的標識檢測算法的基本思想是：從檢測速度、檢測精度和模型輕量化的角度對目標檢測算法進行優化,融合去霧、去模糊等算法以適應實際應用中的復雜場景,達到標識檢測的高精度和高實時性要求。與傳統標識檢測算法相比,基于深度學習的標識檢測算法泛化性好,對特定標識的依賴性小,魯棒性高,具有廣闊的應用前景。

3 自主降落標識檢測研究機構及成果

無人機作為無人車/無人艇的重要協作平臺,在跨域協同工作中發揮著巨大的作用,國內外很多研究機構及學者圍繞無人機自主降落方向開展研究,并在諸多關鍵技術領域取得十分豐富的成果。

由于車輛、艦艇等平臺在無人機降落時可能處于靜止和運動2種狀態,相較于平臺靜止狀態下標識固定、檢測直接,車輛、艦艇等的運動狀態則通常具有多維特征,故而增加了很多技術難點和挑戰。如運動過程帶來的視野變化,要求無人機具有更廣闊的視野范圍,并能夠從不同角度實現標識檢測。同時,無人機在進行運動標識檢測時,將不可避免地受到更多環境干擾,如背景雜亂、遮擋、光照變化等,這都對標識檢測系統提出了更高的技術要求。另外,相比于靜平臺自主降落任務,如何克服快速運動導致的運動模糊問題也是一大技術難點。為此,本節分別針對靜平臺和動平臺自主降落標識檢測研究機構及成果進行歸納,并對當前常用的降落標識及其檢測方法和效果進行梳理總結。

3.1 靜平臺

針對靜平臺的無人機自主降落研究起步較早。加州大學伯克利分校的Shakernia等在1999年就進行了相關研究。2001年,團隊設計了一種由6個白色矩形和1個黑色矩形組成的合作目標,通過圖像處理及分割算法檢測降落標識,飛行試驗表明,系統軸向定位精度為5 cm,姿態角精度誤差在5°范圍內。美國南加州大學機器人學與嵌入式系統研究室的Saripalli等采用“H”形圖標作為降落標識,利用先驗知識在預處理后的圖像中分割出可能包含目標的區域,通過提取不變矩特征篩選出正確標識,最后利用透視投影不變性完成飛行參數估計。大量測試結果表明,該算法具有一定的準確性和可重復性,這在當時被很多研究者認為是一個突破性的工作,但系統依賴于以下2點假設：① 標識具有明確的幾何形狀；② 著陸標識的所有特征點共面。清華大學Zeng等利用自適應閾值實現圖像分割,通過圖像配準識別“H”字符,利用Hough直線檢測和面積關系識別三角形以確定航向,算法具有快速、魯棒、計算成本低的優點,平均檢測成功率為97.42%,在2008年的中國機器人大賽中,獲得空中機器人組的金獎。

然而基于視覺的自主降落存在一定的局限性,無人機飛行高度較高時,由于標識在相機拍攝的圖像中像素占比較小,容易丟失目標,當高度較低時,由于標識成像不完整,也會影響到檢測效果。為此,很多研究機構及學者從設計復雜的標識和提出新的檢測策略等方向開展研究,如斯坦福大學航空機器人實驗室的Lange等圍繞視覺引導無人機自主著陸課題進行研究,設計了由內外徑比值不同的同心圓環組成的降落標識,其主要思路是對207 WM攝像機采集的無失真圖像進行輪廓提取,然后進行圓環和圓度檢測,通過計算圓環內外輪廓中心的距離確定出降落標識,最后通過計算內外環面積比確定環數。測試結果表明,該系統平均定位偏差為3.8 cm,并且可以在不同高度下實現降落標識的實時檢測。武漢理工大學的Yuan等設計了一種基于視覺分層的定位方法,將降落過程分為“目標靠近”“位姿調整”和“穩定接觸”3個階段,在不同階段提取不同尺度的視覺特征,測試結果表明,該系統與其他定位精度同為厘米級的著陸系統相比,檢測距離較高,可以實現20 m范圍內的標識檢測與定位。比利時安特衛普大學的Wubben等提出一種基于組合ArUco標識的著陸方案,可以在30 m的高度準確檢測到著陸位置,實驗結果表明,在引入較小額外時間開銷的同時,平均著陸誤差為11 cm。韓國科學技術院航天工程系的Jung等針對近距離相機視野下標識顯示不完全和圖像畸變等問題,設計了一種由同心圓和字母“H”組成的新型合作目標,提出使用基于直接最小二乘的橢圓擬合方法(Direct Least Squares Fitting of Ellipses, DLS)近距離檢測標識,解決了近距離成像不完整問題,但當圖像中僅顯示小部分圓時,參數計算誤差較大。

除相機高度帶來的影響外,標識遮擋、光照變化等復雜環境因素也是需要考慮的內容。西北工業大學的張咪等對無人機自主降落系統開展研究,提出通過識別多層嵌套二維編碼的降落標識達到在多尺度上定位的效果。仿真與飛行測試表明,該系統魯棒性好,不易受光照、溫度、噪聲等環境干擾,對計算性能要求低,但系統依托于階層標識進行相對定位,未充分利用其他環境信息。西班牙國立遠程教育大學的García-Pulido等設計了一個由圓和橢圓組成的復雜標識,該標識由于其嵌套設計,在部分遮擋的情況下仍能有效檢測。南京航空航天大學的梅立春等設計了一種級聯三角形標識,檢測算法的核心思想是采用Suzuki-Abe算法對預處理后的圖像提取嵌套輪廓,然后利用改進的Douglas-Peucker算法進行多邊形擬合檢測角點,該方法大大減少了計算量,降低了算法的時間復雜度,角點檢測效率是Shi-Tomasi算法的7倍,且在距離較遠及標識部分缺失的場景下仍能有效檢測,適用于硬件配置有限的無人機平臺。

部分學者將基于深度學習的檢測方法與其他算法結合,以降低實際應用中的硬件成本,克服傳統檢測方法受限于特定標識這一局限性,提高算法的準確率和泛化能力,如韓國的Nguyen等針對2017年研究中存在的遠距離標識難以檢測問題,提出一種速度與精度平衡的LightDenseYOLO算法,充分利用了LightDenseNet良好的特征提取能力和YOLOv2的快速檢測能力,實現50 m高度下的標識檢測。LightDenseYOLO在臺式機上的計算速度為50 FPS,在Snapdragon 835平臺約25 FPS。Truong等提出使用LightDenseYOLO和超分辨率重建策略檢測自定義的降落標識,該方法依靠成本低廉、分辨率較低的可見光相機即可完成任務,并且一定程度上提高了檢測距離,但算法在Jetson TX2普通模式下的運行速度僅4.4 FPS,在Snapdragon 835平臺約12 FPS。Chen等設計了一種由同心圓和五邊形組成的降落標識,提出使用Faster R-CNN進行標識檢測,然后基于最小二乘橢圓擬合方法和Shi-Tomasi角點檢測算法估計位置和方向,標識檢測速度接近每幀81 ms,準確率達到97.8%,可以滿足實時著陸要求。中國石油大學的Yu等設計了一種基于CNN的端到端檢測算法,模型的輸入是機載攝像頭捕獲的RGB三通道圖像,經過4個由卷積層和池化層組成的復合層、一個全連接層和一個檢測層,最后輸出標識的位置信息,檢測速率達21 FPS,算法對于不同的標識均表現出良好的檢測效果,并且對不同的背景和光照均具有較好的魯棒性。

在無人機自主降落任務中,除使用通用降落標識外,設計與環境區分度較高的標識可以在一定程度上提高檢測精度。針對無人機飛行高度過高或過低導致的標識丟失和成像不完整問題,設計級聯標識或采用視覺分層的檢測策略,可以有效改善不同高度下的標識檢測效果,增大檢測距離。并且,由于嵌套標識包含豐富的視覺信息,在部分遮擋等環境因素影響下仍能有效檢測標識。此外,基于深度學習的檢測方法相比傳統方法具有更好的泛化能力,能克服傳統檢測方法受限于特定標識這一局限性,與其他算法融合提高檢測效率可以在一定情況下降低硬件成本,具有廣闊的發展前景。

3.2 動平臺

3.2.1 車載動平臺

無人機在執行偵察、打擊等任務過程中,在車輛等動平臺實現自主降落將很大程度上增大其作業范圍。美國南加州大學的Saripalli等在文獻[52-53]的基礎上進一步研究,在假設相機平面與標識平面平行且標識僅在和方向移動的前提下,通過提取Hu不變矩特征實現了慢速運動下降落標識的檢測。中山大學的Cheng等利用基于霍夫變換的檢測算法實現地面無人車(Unmanned Ground Vehicle, UGV)上白色圓形降落標識的識別,由于其圖像處理算法在筆記本電腦上運行,然后通過數據鏈發送到無人機,因此只能在UGV速度較慢的情況下完成自主降落。新加坡國立大學的Chen等提出一種基于視覺與激光雷達的定位與跟蹤算法,設計了由紅色矩形和藍色圓形組成的降落標識,通過矩形檢測與圓檢測實現標識識別,利用激光雷達掃描測距儀來確定高度,飛行測試驗證了該系統在速度為1 m/s 的運動平臺降落的有效性。捷克技術大學的Baca等在2017年國際機器人挑戰賽中,利用圖像分割和幾何形狀約束完成降落標識的檢測,最終無人機在25 s內成功降落在速度為15 km/h 運動車輛上,獲得MBZIRC競賽團隊總分第一名。

針對環境影響這一問題,Lee等設計了一種運動車輛上無人機自主降落系統,采用貨車搭載與環境對比較大的紅色標識,利用HSV顏色分割方法進行識別,最后通過戶外飛行測試進行驗證,但該方法在周圍環境中存在其他紅色矩形區域時容易產生誤檢。Benini等設計了一組圓形組成的降落標識,標識檢測算法分為標識主體結構搜索和內橢圓檢測2個階段,采用GPU并行計算的方式完成。實驗結果表明,該算法能夠在幀率為30 FPS的情況下,檢測誤差小于標識直徑的8%,并且在背景雜亂的環境中仍能有效檢測降落標識。

此外,有研究人員通過設計復雜的組合降落標識以增大運動平臺標識檢測的距離,如克蘭菲爾德大學的Araar等提出通過檢測由28個二維碼組成的標識來擴大檢測距離,增強系統對環境變化的魯棒性。北京理工大學的邢伯陽等圍繞復合標識導航的自主降落優化方法開展研究,設計了一種由圓環和二維碼組成的降落標識,實現了相機距離在0.5～6.0 m內的完整定位,且分別在動平臺處于直線運動和圓周運動的情況下完成飛行測試,定位精度最高0.1 m。

將基于深度學習的檢測算法與硬件模塊和其他算法結合,可以獲得更好的性能,解決運動場景中的視野變化和運動模糊等問題。西北工業大學的Yang等設計了一個基于混合相機陣列的相對位置估計系統,如圖3所示。其中,表示相機的內部參數;表示相機的畸變系數;和為相機的外部參數,為旋轉矩陣,為平移矩陣。該系統主要包括2個部分：混合相機陣列成像模塊和UAV自主著陸算法模塊,擴大了相機視野范圍。系統采用改進的YOLOv3算法檢測ArUco標識,仿真驗證了該方法可以高效、魯棒地引導無人機著陸,其中檢測模塊對于單張圖像平均耗時為51.24 ms,但該系統在背景為白色或紋理不明顯時效果較差。2020年,Truong等考慮著陸階段的運動模糊問題,提出一種結合運動去模糊和標識檢測的兩階段框架系統,設計了SlimDeblurGAN算法用于去除快速運動過程中產生的模糊現象,采用YOLOv2模型對去模糊后的圖像進行標識檢測,實驗結果表明,該系統可以很好地處理著陸階段的模糊問題,并可應用于嵌入式平臺,但僅對算法進行推理仿真,并未進行飛行測試。與文獻[63]一樣,未來可考慮將2個網絡結合到1個模型,減少網絡層數和參數量,提高算法效率。

圖3 基于混合相機陣列的著陸系統框架[74]Fig.3 Overview of the hybrid camera array-based landing system[74]

3.2.2 艦艇平臺

不同于車輛的二維運動,艦艇受不同等級海況影響運動呈現三維特征,無人機在自主降落過程中需獲得與艦艇的6自由度相對姿態信息,同時,海上水霧等惡劣環境會嚴重降低圖像質量,影響標識檢測效果,大大增加了自主降落的難度。因此,大量研究人員針對無人機在艦艇甲板上的降落問題開展研究,如北京航空航天大學邱力為等于2003年提出的一種用于無人機自主著艦的雙目立體視覺系統,已經達到無人直升機自主著艦的實時性和實用性要求。Bagen等采用由5個圓和1個“H”組成的降落標識,利用仿射不變矩特征和模糊識別方法進行檢測。

針對可見光圖像對光照依賴性較高,無法實現全天候標識檢測問題,南京航空航天大學的Xu在“T”形標識上安裝加熱模塊,利用紅外相機實現夜間標識識別,測試結果顯示,該系統的平均識別時間為17.2 ms,檢測準確率為97.2%。同年,夏正浩等針對濃霧天氣下著艦過程中的紅外目標分割問題,提出一種新的分割改進方法,首先根據圖像的能量信息分割出感興趣區域,同時采用雙OSTU算法對原圖像進行分割,將兩者的結果進行邏輯“與”運算以得到最終結果。與單獨使用經典OTSU算法和最大熵算法相比,該算法能夠同時克服OSTU算法的誤分割問題和最大熵算法帶來的干擾噪聲問題,分割效果得到明顯改善。雖然采用紅外標識可以一定程度上克服水霧等惡劣環境影響,但紅外標識的檢測結果受溫度影響,在實際著艦場景中也具有一定的局限性。

針對著艦過程中的環境干擾及海浪影響,亞利桑那州立大學的Sanchez-Lopez等提出利用Hu不變矩特征以及包含多層感知機和其他幾何性質的決策樹判別單元檢測國際通用著陸標識,在實驗室場景下測試顯示,該算法在不同高度和角度以及部分遮擋的情況下均能準確檢測標識,并且對光照變化不敏感。Polvara等圍繞無人機艦艇甲板著陸問題開展研究,采用AR Drone2.0和Husky A200移動機器人來模擬著艦場景,選用高對比度的增強現實(Augmented Reality, AR)標記作為著陸標識,理論上系統可獲得無人機與標識的六自由度相對姿態信息,但由于試驗條件限制,沒有對算法進行完整測試。隨后于2018年Polvara等進一步研究,通過模擬真實海上運動場景對文獻[80]提出的方法進行測試,試驗結果表明系統在添加不同干擾的情況下均具有較好的魯棒性。

另外,有研究人員將基于深度學習的檢測算法用于艦艇平臺的標識檢測,憑借其優秀的特征提取能力解決實際應用中因高度變化帶來的問題,如南京航空航天大學的Li等針對無人直升機滑翔過程中機載相機視野中目標尺寸小、尺度變化大等問題開展研究,在SSD算法框架的基礎上提出一種新的特征提取結構,以增強模型對中小目標的檢測能力,改進后的算法檢測準確率達到93.3%。為充分結合深度學習算法的高精度和核相關濾波(Kernel Correlation Filter, KCF)算法的強實時性,系統采用互補濾波融合策略,用改進SSD算法的檢測結果對KCF算法進行修正,提出的融合檢測算法成功率達到91.1%,平均處理速度為9 ms,基本滿足了無人機在艦艇平臺自主降落要求。

對于無人機在動平臺的自主降落,同樣通過設計嵌套標識或分級檢測策略來增大檢測距離。不同于靜平臺自主降落,無人機在運動平臺降落時,由于車輛或艦艇存在的二維或三維運動特征,不可避免地受到更多環境干擾或海浪影響,設計與環境對比鮮明的標識至關重要。同時,采用基于深度學習的檢測算法與去模糊算法融合可以有效解決快速運動導致的運動模糊問題。采用紅外標識可以一定程度上克服水霧影響,但在實際場景中具有一定的局限性,可將基于深度學習的檢測算法與去霧算法融合,提高惡劣天氣下的檢測精度。然而,當前的檢測算法大多關注降落標識本身,缺乏對運動平臺的考慮,擴展對動平臺整體的檢測識別將有效增大檢測距離、提高視覺算法的環境適應性和檢測效率。

總的來說,目前常用的降落標識可以分為以下5類：T形、H形、圓形、矩形和組合標識。為便于對比各研究機構采用的檢測方法及識別效果,對視覺引導無人機自主降落的相關文獻進行梳理,匯總于表2,部分標識圖像如圖4所示。

表2 標識類型、檢測方法及結果對比Table 2 Comparison of markers’ shapes, detection methods, and results

續表2

圖4 部分降落標識[51-53, 58, 69, 77, 85]Fig.4 Some markers with variations[51-53, 58, 69, 77, 85]

4 存在的問題及未來發展思考

1) 當前及未來復雜環境下,實現對降落標識的精細化檢測與識別,達到檢測速度與精度的同步提升,仍有很大的研究空間。針對實際場景中霧霾和雨雪天氣、快速運動、水面反光等問題,除了根據實際環境設計對比度更高的標識,融合去霧、去模糊等算法,提出更輕量的高精度一體化檢測算法,克服惡劣環境對圖像采集質量的影響,保證檢測算法的高魯棒性和環境適應性,是未來的重要發展方向。

2) 無人機與無人車/無人艇協同作業過程中,如何精準檢測運動體搭載的降落標識非常關鍵,目前研究人員大多關注于檢測標識本身,缺乏對運動平臺的考慮,對于快速運動的降落標識準確檢測是無人機自主降落研究的短板。擴展對動平臺整體的檢測識別將對于增大檢測距離、提高視覺算法的環境適應性和檢測效率起到至關重要的作用。

3) 目前基于深度學習的標識檢測方法是一種有監督學習的方式,具有訓練所需樣本量大、網絡參數多、主干網絡設計復雜等局限性,并且在實際工程應用中,樣本的采集受到環境限制,針對某一任務設計一個最優的網絡架構工作復雜。為此,在有限的計算資源和復雜的環境影響下,基于小樣本的輕量化標識檢測算法的研究還有很大提升空間,采用自動神經結構搜索方法提升標識檢測效率是未來的關鍵。

4) 采用單一傳感器獲取降落標識圖像具有一定的局限性,如光學圖像分辨率高但易受天氣影響,紅外圖像能實現全天候標識檢測但易受溫度影響,充分利用不同數據間的優勢互補信息具有很大的必要性。融合不同源圖像實現高精度全天候標識檢測,通過多源數據間冗余信息增強標識檢測的可靠性將可能成為研究熱點之一。

5) 對于無人機載標識檢測系統,除了軟件算法的效率之外,硬件系統的成本也是一個值得考慮的問題,目前選用低成本的硬件在一定程度上需要軟件算法的突破來進行補償。未來,綜合考慮無人機平臺的負載能力與計算能力,如何在保證信息采集質量的同時,實現硬件系統的微型化和低成本化仍有待探索。

6) 總的來說,目前基于人工標識的無人機自主降落是主流研究方向,提高標識檢測算法的泛化性,增強系統對快速運動及復雜環境的適應性是未來的發展趨勢。然而,關于未知、非合作環境下無人機自主降落系統的研究鳳毛麟角,現有的非深度學習方法本質上對環境的魯棒性較低,在利用深度學習的思路進行安全降落區域檢測這一方向,尚缺乏可工程實用的研究成果。因此,未來可考慮將深度學習的思想用于未知環境中安全降落區域檢測,增強檢測算法對環境的魯棒性,克服自主降落依賴人工標識這一局限性,提高在不可預見的條件下自主降落系統的總體性能,對于未來復雜戰場環境下、突發任務及異常狀態下無人機緊急迫降和抗災救援等方面,將具有重大的工程應用價值。

5 結束語

近年來,隨著無人系統向智能化、數字化、自動化、集群化的方向快速發展,無人機與無人車/無人艇的協同不僅在民用領域具有較大的應用價值,也將很大程度上改變未來海/陸空作戰體系,很有必要對基于視覺的無人機自主降落技術開展深入研究。針對視覺引導無人機自主降落問題,本文在簡要介紹通用目標檢測方法的基礎上,梳理和歸納了當前自主降落標識檢測技術的若干研究進展。從目前的研究成果來看,國外在該方向的研究領先于國內,但公開發表的國內外研究成果針對靜平臺自主降落研究較多,部分學者提出了運動車輛/艦船等動平臺降落方案,但檢測算法大多關注于標識本身,較少涉及動平臺自身的檢測問題。此外,無人機平臺自身存在的負載及計算資源有限等問題,以及實際應用場景的復雜性,使得該方向的研究仍面臨較多困難,許多研究成果仍停留在實驗室仿真階段,缺乏有效的飛行驗證和實際應用考證。

針對無人機在動/靜平臺自主降落的基礎理論和工程應用方面的難點,如果能抓住現有研究問題中存在的主要矛盾,順應深度學習等人工智能技術的發展潮流,在標識檢測技術上取得突破性進展,將極大促進無人機與無人車/無人艇協同技術的發展。未來,在致力于系統輕量化及微型化的同時,進一步提高檢測算法的準確性、實時性和魯棒性,提高系統在各種復雜環境下的自適應與學習能力,將具有十分重要的實用價值。軟件算法的不斷突破與硬件設備的快速革新,必將促進視覺引導無人機自主降落技術的飛速發展,推動海/陸空跨域協同技術發展到一個新臺階。