低空小型無人機空域沖突視覺感知技術研究進展

張洲宇，曹云峰, *，范彥銘

1. 南京航空航天大學 航天學院，南京 210016 2. 中航工業沈陽飛機設計研究所，沈陽 110035

國家空域系統是指由飛行器和空中交通管制相互作用而形成的復雜系統，傳統意義上國家空域系統中的飛行器只包含有人機。近年來隨著無人機的快速發展，各種類型的無人機已經開始進入到社會生活的方方面面，在世界各國都受到了廣泛的重視。

與此同時，無人機的全空域、無限制使用給整個國家空域系統帶來了巨大威脅，如何將無人機安全地集成到國家空域系統，是世界各國的空域管理都需要共同面對的問題。無人機空域沖突感知技術是國家空域集成中最具挑戰性的關鍵技術，在現有的空域沖突感知技術中，適用于低空小型無人機的空域沖突視覺感知技術因具備非合作目標感知能力、安全的工作模式、低尺寸/重量/能耗等優勢，受到了世界各國尤為廣泛的關注。

本文針對小型無人機在低空空域應用愈加廣泛、迫切需要融入低空空域的背景，綜述了低空小型無人機空域沖突視覺感知技術的研究進展。第1節論述了空域沖突感知技術的研究現狀與發展趨勢；第2節介紹了低空小型無人機的應用現狀，歸納了低空空域環境與小型無人機的典型特征；第3節根據感知對象的類型，將空域沖突感知設備分為協同式與非協同式2類，由此總結出適用于低空小型無人機的空域沖突感知設備應該具備的特點；第4節介紹了視覺信息預處理、入侵目標視覺檢測、入侵目標相對距離估計這3項空域沖突視覺感知關鍵技術的最新研究進展；第5節總結了該領域有待進一步解決的難點，并對未來的發展方向進行展望。

1 空域沖突感知技術的發展現狀

圖1展示了北美無人機產業市場規模的迅猛發展，預計到2025年北美無人機的市場規模將達到6 000億美元以上。美國聯邦航空局的統計數據顯示，2016年美國民用無人機保有量是190萬臺，到2021年將達到430萬臺。

圖1 2014—2025年北美商用無人機市場 規模(單位：億美元)Fig.1 Market size of commercial UAV in North America from 2014 to 2025 (unit: one hundred million dollar)

現有無人機的重量從幾百克到幾十噸不等，飛行高度覆蓋范圍從近地面的幾十米到幾萬米高空，典型無人機的分類如圖2所示，與無人機類型對應的航時、航程、飛行高度等指標如表1所示，、、、分別表示重量、續航時間、飛行半徑、最大升限。總體而言，無人機的全空域、無限制使用給整個國家空域系統帶來了巨大的威脅。因此，如何將無人機安全的集成到國家空域系統，與有人機共享空域是世界各國的空域管理都需要面對的一個共同問題。

圖2 典型無人機分類Fig.2 Classification of UAV

表1 與無人機類型對應的航時、航程、飛行高度

美國在《2009—2040年無人機路線圖》中分析指出：現有無人機飛行過程中的災難性事故率比有人軍用飛機高出1～2個數量級，提高無人機飛行的安全性與適航性刻不容緩。為此，如圖3所示，美國聯邦航空管理局針對現有空域的特點制定了適用于無人機的國家空域系統集成方案，其中最外層的空域沖突感知依賴現有的空中交通控制系統，而最內層的空域沖突感知主要依賴于無人機自身的機載設備。

圖3 美國聯邦航空管理局制定的國家空域系統集成方案Fig.3 National aerospace system integration scheme made by federal aviation administration

顯然，無人機的國家空域系統集成是一個龐大的工程，不僅涉及空中交通管理相關法律法規的制定，也包含無人機空域沖突感知技術的研究與應用。在技術層面上，無人機空域沖突感知技術是國家空域集成中最具挑戰性的關鍵技術，美國聯邦航空管理局在《2009—2040年無人機路線圖》對無人機空域沖突感知技術作出了如下的明確定義。

無人機空域沖突感知技術為無人機提供在飛行過程中探測潛在威脅的功能，需要達到類似于有人機飛行員用人眼發現入侵目標并目測相對距離的能力。

近10年來，無人機空域沖突感知技術受到了尤為廣泛的關注，美國、加拿大、意大利、匈牙利等國家的研究機構先后針對無人機空域沖突感知技術開展了大量的深入研究。為此，眾多學者開展了無人機空域沖突感知技術的綜述工作，其中最具代表性的綜述文獻及其內容如表2所示。在現有的綜述中，絕大部分綜述文獻都將適用于所有無人機類型的空域沖突感知技術包含在內統一進行對比分析，缺乏對適用于某一特定空域、特定類型無人機的空域沖突感知技術的深入探討。例如，文獻[7]對空域沖突感知技術中的感知、決策、避障3個功能模塊進行全面梳理，文獻[9]從硬件實現的角度綜述了空域沖突感知技術的幾種典型方案，文獻[10]綜述了無人機感知與規避的概念、核心技術和系統設計，文獻[8]梳理了空域沖突視覺感知技術的硬件實現方案；部分綜述文獻側重于闡述現有空中交通管理的法律法規對無人機空域沖突感知技術的兼容性，例如，文獻[6]從政策、法規、標準3個角度系統地闡述了空域沖突感知的需求與挑戰；部分綜述文獻只討論了空域沖突感知技術中的一個較小的組成部分，例如，文獻[11]綜述了入侵目標檢測識別算法的研究進展。

然而隨著時間的推移，無人機空域沖突感知技術的發展可謂日新月異，每年在《Progress in Aerospace Sciences》《IEEE Transactions on Aerospace & Electronic Systems》《Aerospace Science and Technology》等航空航天領域的頂級期刊和IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)、IEEE Intern-ational Conference on Robotics & Automation (ICRA)、American Institute of Aeronautics and Astronautics (AIAA)、International Conference on Unmanned Aircraft Systems (ICUAS)等無人機與機器人領域的頂級會議上公開的研究成果層出不窮，圖4給出了過去10年無人機與機器人領域的頂級會議與Web of Science收錄的期刊上發表的有關空域沖突視覺感知的論文數量統計。截至2021年，適用于低空小型無人機的空域沖突視覺感知技術已經可以作為一個獨立的專題進行深入研討，及時地總結梳理將有效推動無人機空域沖突感知技術的進一步發展。為此，本文針對小型無人機在低空空域應用愈加廣泛、迫切需要融入低空空域的背景，綜述了低空小型無人機空域沖突視覺感知技術的研究進展。

表2 無人機空域沖突感知技術的代表性綜述文獻Table 2 Representative survey papers of UAV aerospace conflict sensing technologies

圖4 過去10年無人機與機器人領域的頂級會議與Web of Science收錄的期刊上發表的有關空域沖突視覺感知的論文數量統計Fig.4 Papers related to vision based aerospace conflict sensing published in top conferences on UAV and robotics and indexed in Web of Science during past decade

2 低空小型無人機的應用現狀

如圖5所示，在現有空中交通管理系統中，根據飛行與管制規則的不同，整個空域被劃分為6類：

A6 000～20 000 m高度空域，現有民航運輸類飛機主要飛行區域，嚴格按照現有空管規則進行飛行。

B主要機場周邊高度低于3 000 m空域。

C次于B類機場的繁忙機場周邊高度低于1 200 m的空域。

D有塔臺的機場周邊高度低于800 m的空域。

E從地面開始，A～D類外的空域。

G非管制空域。

一般而言，空中交通管理系統中的低空空域主要是指除A類空域以外的B、C、D、E、G類空域。

結合圖2與表1給出的無人機分類可知：在上述6類空域中，能夠在A類空域飛行的無人機占現有無人機總數的比例極小，且多數為大型軍用無人機，其成本較高、各種探測與感知設備完備，自身一般都具備有人機駕駛員所具有的“感知與規避(Sense and Avoid, SAA)”能力，加之這一空域范圍巨大，在此空域飛行的各類飛行器數量有限，由無人機所引起的安全事故極少。

但是，對于B、C、D類等低空空域而言，飛行在這一區域無人機主要是圖2中示出的小型/微小型無人機(本文統一稱之為小型無人機)，其共同特點可歸納為：

1) 數量巨大,低空小型無人機因為成本低廉、操作簡單、起降便捷等優勢受到了尤為廣泛的青睞，目前已有相當數量的這一類型的無人機投入實際應用，為實際監管帶來了巨大的挑戰。

2) 操作簡便,不需要對地面操縱人員進行系統培訓就可以直接操縱無人機，這也導致操縱人員素質參差不齊，相關由操縱人員引起的安全事故屢有發生。

圖5 空中交通管理系統中的空域劃分Fig.5 Aerospace classification in aerospace traffic control system

3) 負載較低,絕大多數的低空無人機的自重在200 kg以下，其中中型無人機小于200 kg，小型無人機小于50 kg，微小型無人機小于5 kg，其有效載荷小于其自重，故其有效搭載能力有限。但是，幾乎所有此類無人機都裝備了機器視覺傳感器，即光學相機，并將其作為主要任務載荷。

總體而言，在B、C、D類等低空空域飛行的無人機數量巨大，且絕大多數為低成本、低負載的小型無人機，其自身完全不具備SAA能力。因此，低空小型無人機在B、C、D類低空空域對民航飛機起飛、進近與著陸安全帶來了巨大安全隱患，在國內外引發的航空安全事故層出不窮：如圖6所示，2017年1月7日，莫桑比克航空(LAM Mozambique Airlines, LAM)的波音737-700客機在馬普托飛往太特的航行途中與一架無人飛行器發生碰撞，碰撞導致波音737-700的鼻錐嚴重受損。2017年2月2日晚近22點，一架疑似無人機的飛行器進入四川綿陽機場凈空保護區，導致3架飛機備降。2017年2月6日下午，一架軍機在降落臺北松山機場過程中發現在飛機下滑通道上有無人機，且高度與飛機相當，導致松山機場暫停了所有航班的起降。

圖6 莫桑比克航空的波音737-700客機受損情況[15]Fig.6 Damage of Boeing 737-700 of LAM[15]

綜上所述，由低空小型無人機所引起的安全事故或事故征候給包括空中交通管理系統在內的整個航空運輸安全體系帶來了巨大的挑戰和威脅。為此，2013年美國FAA和歐洲無人機系統指導小組分別制定了無人機集成國家空域系統的路線圖，2018年美國FAA又進一步完善了無人機集成國家空域系統路線圖。美國和歐洲空管部門制定的路線圖都明確指出發展新的空域沖突感知技術是民用無人機系統集成進入現有空域管理體系的關鍵。

3 空域沖突視覺感知的優勢

根據感知對象是否可以進行信息交互，現有機載空域沖突感知設備可以分為2類：① 針對合作目標的協同式感知設備，如空中交通預警與防撞系統(Traffic Alert and Collision Avoidance System, TACAS)，廣播式自動相關監視(Automatic Dependent Surveillance Broadcast, ADS-B)等，該類感知設備通常是指包含探測設備與應答設備在內的一組設備，需要通過探測設備與應答設備的相互配合實現對空域入侵目標的感知；② 針對非合作目標的非協同式感知設備，如合成孔徑雷達(Synthetic Aperture Radar, SAR)、超聲系統、激光雷達、機器視覺等，該類感知設備只包含探測設備，無需應答設備的配合即可實現空域入侵目標的感知。

協同式感知設備與非協同式感知設備在感知距離、可提供的信息、目視氣象條件(Visual Meteorological Conditions, VMC)下能否工作、儀表氣象條件下(Instrument Meteorological Conditions, IMC)下能否工作、SWAP(Size, Weight and Power)特征等方面的比較如表3和圖7所示。

表3 機載感知設備的各類特性對比Table 3 Comparison of features of airborne sensing equipment

圖7 機載感知設備的感知距離Fig.7 Sensing ranges of airborne sensing equipment

總體而言，協同式感知設備的優勢是可以實時魯棒地獲取空域入侵目標的類型、高度、速度、位置信息，但是要求感知對象必須是安裝有應答裝置，因此其共同不足可歸納為：① SWAP特征不佳，因此對載荷的要求較高，低空小型無人機往往不具備搭載協同式感知設備的能力；② 缺乏非合作目標的感知能力，不適用于低空空域。因此，低空小型無人機一般不考慮采用協同式感知設備。

非協同式感知設備的優勢是無需應答裝置，具有較強的適用性，但是基于非協同式感知設備的空域沖突感知效果極大地依賴于算法的設計。

在上述6種空域沖突感知設備中，采用機器視覺作為低空小型無人機空域沖突感知的感知設備具有如下3點與眾不同的優勢：

1) 非合作目標感知能力

如第2節所述，低空空域存在著大量的非合作目標，機器視覺以光學圖像為輸入信息，在視覺目標檢測算法的基礎上無需探測設備與應答裝置的相互配合即可實現對影響飛行安全的入侵目標的感知。

2) 安全的工作模式

機器視覺傳感器的被動工作模式不需要向外發射信號，也不需要接收信號，因此裝備視覺傳感器的無人機不會不占用無線電頻段，從而與國家空域系統內的其他飛機相互干擾，在敵對環境下也不易被敵方探測。

3) 良好SWAP特征

如圖2所示，小型無人機的自重決定了對于空域沖突感知設備的掛載要求極高。在上述6種空域沖突感知設備中，TACAS與ADS-B這2類協同式感知設備一般是作為民航客機的空域沖突感知使用的，明顯不符合低空小型無人機的掛載要求；而SAR、超聲系統、激光雷達這3類非協同式感知設備的共同不足包括：機載設備自重大、獨立天線、設備昂貴、能耗高，均無法滿足低空小型無人機的載荷要求。相比之下，機器視覺成像設備重量輕、尺寸小、能耗低、信號穩定可靠，符合低空小型無人機的掛載要求。

4 無人機空域沖突視覺感知的關鍵技術

根據現有的研究工作，無人機空域沖突視覺感知技術的工作原理可歸納為如圖8所示的框架，進一步又可以分為3項逐次遞進的關鍵技術：視覺信息預處理、入侵目標視覺檢測、基于視覺的避障路徑規劃，圖9給出了過去10年頂級會議與期刊上發表的論文針對上述3項關鍵技術的研究方向統計。無人機空域沖突視覺感知技術的具體工作原理是：首先通過機載視覺傳感器獲取視覺信息，通過視覺信息預處理模塊對原始視覺信息進行預處理，從而滿足空域沖突感知的基本要求；其次，通過入侵目標視覺檢測模塊完成圖像中入侵目標的定位，作為避障路徑規劃的基礎；接著，基于視覺的避障路徑規劃模塊將根據目標檢測的結果估計相對距離，并計算一條安全的避障路徑；最后，無人機飛行控制系統和無人機動力學模型將共同配合，跟蹤期望的避障路徑。本節將依次介紹上述3項關鍵技術的研究進展。

圖8 無人機空域沖突視覺感知技術的工作原理Fig.8 Operation procedure of vision based UAV aerospace conflict sensing technology

圖9 過去10年頂級會議與Web of Science收錄期刊上發表的論文研究方向統計Fig.9 Census about research fields of papers published in top conferences and indexed in Web of Science during past decade

4.1 視覺信息預處理

視覺信息預處理的作用是：對機載視覺傳感器獲取的初始圖像/視頻等信息進行初步處理，以滿足空域沖突感知的基本需求。現有的研究中，空域沖突視覺感知的視覺信息預處理方法主要包括：天地分割、圖像配準、圖像融合，圖10～圖12分別示出了上述3種方法研究現狀的體系結構，表4進一步歸納了視覺信息預處理的典型方法分類與對比。

圖10 天地分割方法的體系結構Fig.10 Structure for sky and ground segmentation

圖11 圖像匹配方法的體系結構Fig.11 Structure for image matching

圖12 圖像融合方法的體系結構Fig.12 Structure for image fusion

4.1.1 天地分割

天地分割是通過檢測機載圖像中的地平線將初始圖像分割為天空區域與地面區域2個部分，其目的是減少初始圖像的面積，從而降低后續算法的計算復雜度。因此，天地分割方法的核心為機載圖像中的地平線檢測，如圖10所示，現有的天地分割方法可分為：基于Hough變換、基于邊緣組合、基于相似梯度3類。

Hough變換是地平線檢測最為常見的方法之一，于1962年由Hough本人首次提出，其初衷是在笛卡爾坐標系中將離散的點轉化到參數空間，從而確定直線方程。然而，最初的Hough變換方法存在的缺陷在于無法表征直線斜率的極值，因此后續文獻提出了標準Hough變換方法(Standard Hough Transform, SHT)，將Hough變換的思想轉化到極坐標系下，從而克服了斜率無法取極值的不足。SHT算法首先對初始圖像進行邊緣檢測，在此基礎上通過Hough變換確定圖像中的直線方程，最后根據預設期望直線段的閾值(長度、角度等)提取所需要的直線段。文獻[36]采用SHT對初始機載圖像進行天地分割，在此基礎上采用簡單的紋理濾波器即可實現入侵目標檢測。基于Hough變換的天地分割算法的優點在于通過集成全局的圖像信息生成方向穩定的直線段，其缺點在于僅通過直線方程難以精確地確定地平線的起止點，因此在地平線檢測過程中常需要結合圖像的紋理、梯度等信息綜合判斷。

相比之下，基于邊緣組合與基于相似梯度的天地分割算法都是先提取圖像中的局部信息，通過局部信息的一致性、相似性等約束條件來確定地平線。邊緣組合算法首先通過Canny等邊緣檢測算子提取初始圖像中的邊緣信息，通過將方向一致的局部邊緣首位相連組合為直線段。邊緣組合算法的優點在于運行速度快、抗噪性能好，但是其缺點在于非常依賴機載圖像的邊緣豐富程度，當機載圖像中的邊緣信息不夠豐富時，邊緣組合算法的天地分割效果會受到較大的影響。為了彌補這一不足，考慮到圖像中的梯度信息比邊緣信息更穩定可靠，文獻[49]提出了基于相似梯度的直線段檢測(Line Segment Detector, LSD)算法，首先計算初始圖像中每個像素點的梯度方向與幅值，在此基礎上選擇梯度最大的像素點作為起始點進行區域生長，將矩形區域近似等價為直線段。對于機載圖像而言，基于相似梯度的地平線檢測算法優點在于只需要圖像的梯度信息，因此對紅外、可見光等多種源圖像都可以獲得不錯的效果，但是缺點在于易產生過分割。

4.1.2 圖像配準

圖像配準預處理的用途包括2個方面：① 匹配2個機載視覺傳感器獲取的異視角圖像，從而便于后續的入侵目標檢測、深度圖獲取等處理；② 匹配同一個機載視覺傳感器前一時刻與后一時刻獲取的序列圖像，從而便于后續提取序列圖像中的時域信息。如圖11所示，現有的圖像匹配方法可分為：基于灰度、基于特征、基于深度學習3類。

基于灰度的圖像匹配方法的核心思想是將灰度信息作為機載圖像的相似性度量指標，其基本步驟包括：灰度信息的計算、灰度相似度檢測、匹配區域確定。因此，相似度檢測算法的性能是制約該方法效果的關鍵，目前機載圖像常用的相似度檢測算法包括平均絕對差、主成分分析(Principal Component Analysis, PCA)等。總體而言，基于灰度的圖像匹配方法原理簡單、易于實現，然而該方法對于幾何形變的魯棒性明顯不足，且計算復雜度完全取決于圖像的尺寸。

基于特征的圖像匹配方法是最經典、應用最為廣泛的圖像匹配方法，其核心思想是將圖像中的點、線、區域等特征作為機載圖像的相似度度量指標，因此，其性能直接取決于所選用的特征。常用的點特征包括SIFT (Scale-Invariant Feature Transform)及其衍生出的特征檢測算子，線特征包括直線、輪廓曲線等，區域特征包括Hu不變矩等。總體而言，基于特征的圖像匹配方法對幾何形變及遮擋具有較好的魯棒性，但是其缺點在于匹配性能受圖像中提取到的特征豐富度的極大制約，如何根據圖像的類型選取恰當的特征是該方法的關鍵。

隨著卷積神經網絡(Convolutional Neural Networks, CNN)相關理論的發展，基于深度學習的圖像匹配方法近年來開始逐步出現，相比于CNN在目標檢測、圖像分割等領域的應用，CNN應用于圖像匹配需要增加一個額外的功能組件：度量網絡。MatchNet是卷積神經網絡在圖像匹配中成功應用的代表算法，通過卷積神經網絡對2幅初始圖像分別提取特征，然后通過度量網絡衡量特征的相似度，利用帶標簽的數據聯合訓練特征提取網絡與度量網絡。DeepCompare在MatchNet的基礎上進一步增加了空間金字塔池化模塊(Spatial Pyramid Pooling, SPP)，從而可以處理任意尺寸的輸入圖像。總體而言，基于深度學習的圖像匹配方法是提升圖像匹配精度的有效方案，且卷積神經網絡的工作機制更符合人類視覺皮層的認知過程，但是其缺點在于依賴大量帶有標注的訓練樣本，訓練時間較長。

4.1.3 圖像融合

圖像融合預處理的作用是為了提升低照度條件下視覺感知的可用性，低照度條件下的可見光圖像幾乎無法捕獲入侵目標，但是可以獲取燈光等細節信息；與此互補的是，紅外圖像可以準確地捕獲入侵目標，但是對于地面紋理、燈光等信息的獲取能力明顯不足；而融合圖像可以較好地保留兩者的優點，提升低照度條件下的視覺質量。如圖12所示，圖像融合方法根據其發展的歷史可分為：基于多尺度變換、基于壓縮感知、基于深度學習3類。

基于多尺度變換的圖像融合方法的核心思想是利用一組手工設計的基函數對初始圖像進行圖像變換，在變換域對圖像的表示系數進行融合，最后利用基函數對融合后的系數進行重建，獲取融合結果。顯然，基函數的設計是多尺度變換方法的核心，直接決定了最終圖像融合的效果，常用的多尺度變換方法包括小波基、金字塔基等。總體而言，基于多尺度變換的圖像融合方法原理簡單，且克服了最初空間域融合方法的不足，但是其最大的缺點在于基函數的圖像表示能力有限，無法挖掘圖像內在的語義信息。

壓縮感知理論的出現在一定程度上克服了多尺度變換理論的不足，其最大的改進在于采用從自然圖像中訓練得到的過完備字典對初始圖像進行稀疏表示。相比于人工設計的基函數，過完備字典的圖像表示能力大幅提升。因此，基于壓縮感知理論的圖像融合方法在融合效果上有較大的改善，因此一度成為圖像融合領域的SOTA(State Of The Art)算法。但是，由于過完備字典維度的限制，壓縮感知理論只能處理尺寸有限的圖像，因此往往需要先對源圖像進行網格化的分割處理，然后對分割后的圖像塊逐一進行圖像變換，這種局部建模的方式打破了圖像的語義結構，并對匹配精度提出了嚴苛的要求。

深度學習的出現進一步推動了圖像融合方法的發展，相比于壓縮感知理論，深度學習應用于圖像融合的優勢在于：通過全局變換的方式最大程度地保留了初始圖像的語義結構。基于深度學習的圖像融合方法可以分為：基于卷積神經網絡與基于卷積稀疏表示2類。基于卷積神經網絡的圖像融合方法目前采用的網絡類型包括回歸式卷積神經網絡與分類式卷積神經網絡，回歸式卷積神經網絡采用全卷積網絡(Fully Convolutional Networks, FCN)結構從初始的異源圖像直接獲取端到端的融合結果，其優勢在于無需人工設計融合規則，但是目前最大的難點在于無法直接獲取用于網絡訓練的監督數據；分類式卷積神經網絡采用圖像分類任務的預訓練網絡對初始的異源圖像提取卷積圖，將卷積圖作為圖像融合的判據，其優勢在于可以直接借鑒VGGNet等分類式預訓練網絡，但是缺點在于依然需要手工設計融合規則。基于卷積稀疏表示的圖像融合方法可以視為壓縮感知理論的進一步延伸與拓展，相比于壓縮感知理論所采用的過完備字典，卷積稀疏表示采用的卷積字典濾波器可以直接對初始源圖像進行全局變換，由此克服了壓縮感知理論應用于圖像融合的不足，但是其缺點在于需要手工設計融合規則。

表4 視覺信息預處理的典型方法分類與對比Table 4 Classification and comparison of typical visual pre-processing methods

4.2 基于視覺的入侵目標檢測

基于視覺的入侵目標檢測的作用是：在視覺信息預處理的基礎上，從視覺信息中提取對無人機可能存在威脅的入侵目標，為后續的避障路徑規劃提供參考信息。

區別于一般的視覺目標檢測任務，入侵目標視覺檢測存在如下3點特殊性。

1) 三維運動環境帶來的軌跡不可預測性

三維運動環境帶來的第1個問題是目標的運動軌跡完全無法預測。如圖13(a)所示，基于視覺的車輛與行人運動預測方法目前已經得到了廣泛的研究，目標運動的預測可以極大地降低視覺檢測的難度，因此在車輛與行人視覺檢測等任務中，部分研究采用了運動預測模塊來提升檢測算法的精度。然而，由于空域入侵目標的三維運動環境，很難通過引入運動預測來提升算法精度。

2) 入侵目標外觀差異帶來的類內差異性

與車輛視覺檢測、行人視覺檢測等傳統任務不同，入侵目標的外觀具有較大類內差異性。如圖13(b)所示，盡管四旋翼無人機、無人直升機、固定翼無人機的外觀差異明顯，但三者都有可能成為入侵目標；另一方面，同一入侵目標的外觀也有可能因為姿態的調整而發生較大的改變。在過去10年中，手工設計的特征都在某一類特定的視覺檢測任務場景中得到了廣泛的應用，例如梯度直方圖(Histogram of Oriented Gradients, HOG)適用于檢測行人、車輛等具有中心對稱性的物體，SIFT適用于處理尺度變化等。盡管現有的研究也嘗試過采用這些手工設計的特征來檢測入侵目標，但是都存在驗證場景過于理想的不足，未能解決入侵目標外觀差異帶來的挑戰。因此，僅依賴手工設計的特征難以應對入侵目標的外觀差異，有必要采用特征學習的手段來獲取更具判別力的特征表達。

3) 避障任務帶來的小目標檢測難題

一般的目標視覺檢測都是致力于檢測圖像中出現的所有目標，而空域沖突視覺感知所需解決的入侵目標檢測是由避障任務驅動的。因此，當無人機與入侵目標之間的接近速度很大時，需要在盡可能遠的距離檢測入侵目標。如圖13(c)所示，在距離很遠的情況下，入侵目標一般呈現為極小的像素圖案，因而引出了小目標(Dim Target)檢測的問題。因此，在這種情況下入侵目標的時間域信息對于小目標的視覺檢測具有重要的意義。

圖13 入侵目標視覺檢測問題的3點特殊性Fig.13 Three specificities of vision based intruder detection

現有的研究中，基于視覺的入侵目標檢測方法主要包括：采用空間域特征的目標檢測、采用時間域特征的目標檢測，表5歸納了基于視覺的入侵目標檢測典型方法分類與對比。

表5 入侵目標視覺檢測的典型方法分類與對比Table 5 Classification and comparison of typical methods for vision based intruder detection

4.2.1 采用空間域特征的目標檢測方法

采用空間域特征提取的目標檢測方法主要是針對單幅圖像，利用從單幅圖像中提取的空間域特征完成目標檢測。如圖14所示，現有采用空間域特征的目標檢測方法可分為：傳統方法、基于深度學習的方法2類。

圖14 采用空間域特征的目標檢測方法體系結構Fig.14 Structure for spatial feature based object detection

傳統基于空間域特征的目標檢測方法包含2個獨立的環節：離線訓練與在線檢測。離線訓練環節的目的是為了獲取分類器的參數，在線檢測環節包含3個步驟：候選區域提取、特征提取、候選區域分類。候選區域提取是利用紋理、邊緣等信息從初始圖像中提取出潛在的、可能包含待檢目標的區域，其目的是避免對初始圖像進行遍歷搜索，提升算法的速度，常見的候選區域提取算法包括EdgeBoxes、SelectiveSearch；特征提取在選定候選區域的基礎上進一步提取特征向量，其目的是將候選區域從圖像空間映射到特征空間，以便進一步分類，常見的空間域特征包括SIFT、局部二值模式(Local Binary Patterns, LBP)等底層特征以及采用稀疏表示進一步學習得到的空間金字塔特征；分類器設計根據所提取的特征，利用分類算法完成對特征類別的判斷，最終確定候選區域是否為待檢目標，常見的分類器包括支持向量機(Support Vector Machine, SVM)等。總體而言，傳統基于空間域特征的目標檢測方法設計思路清晰，易于解釋與理解，但是其缺點在于在線檢測3個步驟相互依賴，需要對每個步驟分別調試才能獲得最佳的檢測效果。

基于深度學習的空間域特征目標檢測方法又可以進一步分為無候選區域的方法(又稱單步法)和采用候選區域的方法(又稱雙步法)。單步法的核心思想是采用卷積神經網絡同時完成候選區域的分類與回歸，由于簡化了候選區域提取這個步驟，因此單步法在目標檢測速度上得到了很快的提升。YOLO系列算法是單步法最為經典的代表，首先對初始圖像進行網格化分割，每個網格都要預測一定數量的邊框，邊框不僅包含了位置信息也包含了置信度信息，從而將候選區域的提取與預測合二為一，YOLO系列算法通過這種機制減少對同一個目標的重復檢測，因此速度大幅提升。單步法的優勢在于目標檢測的速度較快，但是早期的單步法均存在檢測精度不足、對小目標的檢測效果不夠理想等不足。雙步法則繼承了傳統基于空間域特征的目標檢測方法的框架，最初的雙步法如RCNN等算法，其框架與傳統目標檢測算法完全一致，將CNN作為一個單獨的特征提取器來使用，結合SelectiveSearch與SVM來完成目標檢測。后續算法對RCNN進行了相應的改進，如Fast RCNN實現了只需對全圖提取一次特征從而實現加速的改進，Faster RCNN進一步增加了區域建議提取網絡(Region Proposal Network, RPN)模塊，進一步提升了算法的速度。雙步法的優勢在于目標檢測的精度更高，但是由于需要首先提取候選區域，因此速度普遍較單步法更慢。

4.2.2 采用時間域特征提取的目標檢測方法

采用時間域特征的目標檢測方法主要是針對序列圖像，利用從連續圖像的幀與幀之間提取到的時間域特征完成目標檢測。如圖15所示，現有的采用時間域特征的目標檢測方法可分為：背景減除法、幀差法、光流法3類。

圖15 采用時間域特征的目標檢測方法體系結構Fig.15 Structure for temporal feature based object detection

背景減除法最適用于視覺傳感器完全靜止不動的情況，由于背景始終固定，因此只需要對先后幀圖像做簡單的差分即可提取目標。由于機載視覺傳感器始終處于運動狀態，因此背景減除法并不適用于空域沖突感知的應用背景。

背景減除法的應用場景過于局限，幀差法的基本思路是將背景減除法擴展到視覺傳感器運動的情況，通過對前后幀圖像進行運動估計從而補償前后幀之間的相對運動，在此基礎上進一步做差分提取目標。幀差法的經典算法包括魯棒主成分分析(Robust Principal ComponentsAnalysis, RPCA)、前后向運動歷史圖(Forward and Back Motion History Image, FBMHI)等，其主要缺點在于無法有效地檢測出慢速運動目標。

光流法尤其適用于目標與背景之間存在相對運動的情況，通過提取圖像中每個像素點在不同時刻的光流矢量確定圖像中可能存在目標的區域，其經典算法包括Lucas-Kanada等。光流法的優勢在于不僅可以檢測目標，還可以獲取目標的運動速度大小、運動方向等信息，但同樣存在計算耗時、對亮度變化敏感等不足。

4.3 基于視覺的避障路徑規劃

基于視覺的避障路徑規劃的作用是：在入侵目標視覺檢測的基礎上，通過視覺測量手段獲取入侵目標與無人機之間的相對位置關系(包括距離、角度等)，由此完成入侵目標的威脅度評估，并根據威脅度評估的結果規劃安全的避障路徑。

區別于一般意義上的路徑規劃，基于視覺的避障路徑規劃的主要難點在于，路徑規劃算法需要充分考慮視覺感知的特點。

圖16展示了基于視覺的避障路徑規劃與基于ADS-B的路徑規劃的主要區別，圖中為機體坐標系，原點位于單目相機的光心；()()()()(=1,2,…,)為固連在入侵目標上的相對世界坐標系，其中為每個時刻檢測到的入侵目標總數；′′′′為固定在地面的絕對世界坐標系。

如圖16(a)所示，當采用相對世界坐標系進行避障路徑規劃時，絕對世界坐標系′′′′主要用于無人機的導航定位，借助GPS等手段，可以確定機體坐標系相對于絕對世界坐標系′′′′的轉換關系。而相對世界坐標系則用于獲取無人機與侵入目標之間的相對位置關系，從而完成避障路徑規劃的目的。在數學意義上，由于無法獲取空域內所有侵入目標的位置信息，相對世界坐標系下的避障路徑只能達到局部最優。

如圖16(b)所示，當采用絕對世界坐標系進行避障路徑規劃時，首先，借助于GPS提供的定位數據，空域內所有的飛行器(包含無人機與其他侵入目標)都可以獲取其自身在絕對世界坐標系′′′′下的坐標；其次，借助于地面站和機載雷達及接收機，無人機可以獲取空域內所有侵入目標在絕對世界坐標系下的坐標；最后，利用絕對世界坐標系下的全局信息，規劃出一條避障路徑。在數學意義上，絕對世界坐標系下的避障路徑可以實現全局最優。

圖16 基于視覺的避障路徑規劃問題與基于ADS-B的避障路徑規劃問題對比Fig.16 Comparison of vision based and ADS-B based collision avoidance trajectory planning

綜上所述，基于視覺的避障路徑規劃不僅需要充分考慮通過視覺獲取相對距離的特點，還要在此基礎上結合視覺感知的特點設計避障路徑規劃算法。因此，現有研究中，基于視覺的避障路徑規劃方法包括：基于視覺的相對位置估計、避障路徑規劃，圖17和圖18分別示出了上述2個方法研究現狀的體系結構，表6進一步歸納了基于視覺的避障路徑規劃方法的分類與對比。

圖17 基于視覺的相對位置估計方法體系結構Fig.17 Structure for vision based relative position estimation

圖18 避障路徑規劃方法體系結構Fig.18 Structure for vision based collision avoidance path planning

表6 基于視覺的避障路徑規劃問題的典型方法分類與對比Table 6 Classification and comparison of typical methods for vision based collision avoidance trajectory planning

4.3.1 基于視覺的相對位置估計

基于視覺的相對位置估計是指利用機載視覺傳感器獲取的圖像信息，采用三維重建的手段獲取入侵目標與無人機之間的相對位置關系。如圖17所示，現有基于視覺的相對位置估計方法可分為：基于單目視覺的相對位置估計、基于立體視覺的相對位置估計2類。

基于單目視覺的相對位置估計是指僅利用一個視覺傳感器采集的單幀圖像或圖像序列完成距離估計，因此又可以進一步分為基于單幀和基于多幀的相對位置估計方法。基于單幀的相對位置估計方法就是只采用一幅圖像完成目標的定位，通過提取在場景中預先設置的特征標志物，利用幾何約束關系結合相機的內參數完成相對位置的解算。因此，特征標志物的設定與提取是該方法的關鍵，現有研究中的特征標志物包括點、直線段、曲線段等。總體而言，基于單幀的相對位置估計方法具有所需圖像信息少的優勢，但是其不足之處在于對先驗知識的要求較高，當場景中不包含特征標志物時無法采用該方法進行定位。基于多幀的相對位置估計方法是通過視覺傳感器采集同一個場景不同時刻的圖像，利用幀與幀之間每個像素點的位置偏差實現目標的定位。運動視覺里程計(Dynamic Visual Odometry, DVO)是該方法的代表性算法，在DVO的基礎上又進一步衍生出了多運動視覺里程計(Multi-motion Visual Odometry, MVO)，通過幀間動態目標的特征點匹配，實現了多目標的距離估計。總體而言，基于多幀的方法克服了單幀方法對于先驗知識的依賴，但是存在計算復雜度高、實時性差的不足。

基于立體視覺的相對位置估計在原理上最初受到了仿生視覺的啟發，通過模仿生物的雙目感知系統從不同的方位獲取異視角圖像，最終利用三角測距原理完成目標的定位，Marrd和Poggio提出的視覺理論為立體視覺奠定了堅實的理論基礎。基于立體視覺的相對位置估計首先需要對異視角圖像進行校正，確保異視角圖像的共軛極線位于同一水平線上，在此基礎上完成異視角圖像的匹配，最后利用三角測距原理完成每個像素點的位置估計。根據視覺傳感器的安置方式，基于立體視覺的相對位置估計包括平行式光軸與匯聚式光軸2種模式。平行式光軸的相機拍攝角度完全相同，光軸平行，這種模式極大地降低了圖像匹配的難度，但是存在重疊視場有限的不足；匯聚式光軸相當于是將平行式光軸的左右相機分別向內或向外旋轉一定的角度，匯聚式光軸可以擴大重疊視場的范圍，但是極大地增加了圖像匹配的難度。總體而言，基于立體視覺的相對位置估計可以穩定地獲取位置信息，但是針對空域沖突視覺感知的應用背景，其不足之處在于位置估計的精度受基線寬度的制約，無法實現對遠距離小目標的精確位置估計。

4.3.2 避障路徑規劃

避障路徑規劃是根據相對位置估計的結果計算安全的避障路徑，本節開頭已經指出基于視覺的避障路徑規劃需充分考慮視覺感知的特點，采用全局信息的避障路徑規劃算法無法適用于空域沖突感知的應用背景。因此，如圖18所示，現有避障路徑規劃方法均只采用了視覺感知獲取的局部信息，可分為：基于人工勢場、基于幾何約束、基于強化學習3類。

基于人工勢場的路徑規劃(Artificial Potential Field, APF)核心思想是借鑒物理學中的原子間的互吸、互斥關系完成對避障路徑規劃的數學建模，具體而言，采用引力場描述無人機與目的地之間的關系，采用斥力場描述無人機與障礙物之間的關系，由此確定無人機的實時運動方向與速度，求解避障路徑。顯然，引/斥力函數的設計是基于APF的避障路徑規劃方法關鍵，文獻[128]結合空域沖突感知的應用背景，設計了一種快速響應的APF函數，并考慮了無人機的轉彎半徑等運動特點。總體而言，基于APF的避障路徑規劃方法原理簡單、易于實施與計算，然而其不足之處在于容易陷入局部最優。

基于幾何約束的避障路徑規劃是在無人機避障中應用最為廣泛的方法，通過無人機與外部環境之間的幾何關系來檢測碰撞，最終實現避障路徑的求解。該方法的經典算法包括比例導引(Proportional Guidance)、最小接近距離(Closest Point of Approach, CPA)、沖突核(Collision Core)等，其共同特點都是通過定義空域沖突的幾何約束關系設計避障規則，而基于視覺的相對位置估計是設計避障規則的基礎。針對單目視覺難以獲取距離信息的不足，文獻[109] 進一步模擬人類感知系統設計了基于相對視線角變化率的避障規則。總體而言，基于幾何約束的避障路徑規劃是一種直觀高效的方法，但是三維空間中的避障幾何約束設計復雜，導致該方法的計算負荷偏高。

強化學習(Reinforcement Learning, RL)是一種直接與環境進行互動，通過不斷地試錯來選擇最優動作的人工智能算法。當應用于空域沖突感知時，首先需要將測量的感知數據映射到控制系統的狀態空間，然后通過Q學習選擇最優的避障動作，最后通過組合一系列的動作完成避障路徑的求解。最初的強化學習算法受限于動作和樣本空間的維度，無法處理復雜的實際問題，因此后續算法將深度學習與強化學習結合，提出了深度Q網絡(Deep Q Network, DQN)，深度強化學習最大的優勢在于可以直接從圖像信息中解算得到避障路徑。文獻[135]采用深度強化學習模仿基于幾何約束的避障路徑規劃，在群智能感知的框架下取得了理想的效果，文獻[136]在此基礎上改進了獎勵函數，進一步增強了避障性能。總體而言，基于強化學習的避障路徑規劃通過與環境之間的不斷互動，相比于其他2類方法在避障效率方面得到了增強，但是其不足之處在于需要調試獎勵函數和學習策略才能獲得理想的效果。

5 總結與展望

低空小型無人機空域沖突視覺感知至今仍然是世界各國亟待突破的技術瓶頸，具體而言，包含3項逐次遞進的關鍵技術有待進一步解決：視覺信息預處理、入侵目標視覺檢測、基于視覺的避障路徑規劃。視覺信息預處理是對機載視覺傳感器獲取的初始圖像/視頻等信息進行初步處理，以滿足空域沖突感知的基本需求；基于視覺的入侵目標檢測是在視覺信息預處理的基礎上，從視覺信息中提取對無人機可能存在威脅的入侵目標，為后續的避障路徑規劃提供參考信息；基于視覺的避障路徑規劃是在入侵目標視覺檢測的基礎上，通過視覺測量手段獲取入侵目標與無人機之間的相對位置，由此規劃安全的避障路徑。

基于本文所聚焦的關鍵技術，結合當前的技術發展趨勢，未來還有以下問題值得進一步探討：

第一，在視覺信息預處理方面，現有的研究工作主要包括圖像分割、圖像配準、圖像融合，其核心目的都是為了提升圖像質量，為后續的進一步圖像處理提供高質量的視覺信息。然而在實際應用中還存在大量亟待解決的視覺信息預處理難題，如：去除圖像中的運動模糊、圖像去雨/霧/塵、過曝光/欠曝光圖像的后處理等等。后續研究應該著眼于建立一個適用于多種條件下視覺信息增強的統一范式，并給出視覺感知的圖像質量評價體系。

第二，在入侵目標視覺檢測方面，現有的研究工作主要包括基于空間域特征提取的目標檢測、基于時間域特征提取的目標檢測，由于入侵目標視覺檢測的3點特殊性，現階段單一的空間域特征與時間域特征都無法完全滿足入侵目標視覺檢測的需求。后續研究可以通過機器學習的手段，自動獲取空時域上下文概率圖的融合權重，從而增強不同條件下入侵目標檢測的魯棒性。

第三，在基于視覺的避障路徑規劃方面，現有的研究主要包括基于視覺的相對位置估計、路徑規劃算法，其中路徑規劃算法的設計需要充分考慮通過視覺獲取相對距離的特點。近年來單目視覺圖像中的場景深度信息提取得到了愈發廣泛的關注，場景深度信息同樣可以作為入侵目標位置的觀測信息。后續研究可以針對場景深度信息在避障路徑規劃中的應用展開研究，設計與之對應的避障規則。