入侵目標視覺檢測與識別的研究進展

(南京航空航天大學 航天學院，南京 210016)

0 引言

隨著無人機的飛速發展，無人機的飛行、導航和執行有用任務的能力是卓越的，而且比起有人機來說，體積小，成本低，使用靈活，還能完成一些有人機無法完成的任務。因此近年來無人機受到了世界各國的重視，紛紛研制各種各樣類型的無人機應用于軍用領域和民用領域[1-7]。民用無人機主要包括消費級與工業級兩類，消費級無人機側重于航拍，而工業級無人機則大量使用于植保、安防、勘測等各個行業[8-9]。2016年全球無人機統計數據表明，民用無人機與軍用無人機的占比分別為11%和89%。隨著無人機在民用領域的迅速發展，預計在2024年，民用占比可達到14%。無人機在民用領域的應用的迅速發展意味著在人類活動的區域中飛行的無人機越來越多，更多的無人機與有人機共享同一片國家空域。但是與此同時，無人機數量的躍增使國家空域變得逐漸擁擠，空域安全性正在逐漸降低。

歐洲航空安全局(The European Authority for aviation safety, EASA)截至2016年的統計報告表明，歐洲范圍內由無人機導致的危險事件高達1000起，造成了不同程度的飛機損壞和經濟損失。從2014年到2016年8月，美國聯邦航空局(Federal Aviation Administration, FAA)的統計報告指出，由無人機引發的安全事故呈現出上升趨勢，多達650起。

隨著國內無人機行業的迅速發展，國內同樣發生了多起無人機入侵機場的危險事件。據統計，自2017年以來，杭州、南京、成都等多個國內大型機場曾多次因為無人機飛入機場凈空保護區干擾機場航班運行，導致了重大的經濟損失。為了消除無人機頻繁入侵對國家空域系統造成的不良影響，探索實現無人機與有人機安全地共享國家空域是目前的迫在眉睫的關鍵問題。感知與規避(Sense and Avoid, SAA)是將無人機集成到國家空域的最大關鍵技術，該技術是實現無人機和有人機安全共享空域的重要手段。

感知與規避技術是指無人機通過機載設備在件事空域范圍內檢測是否存在其他入侵目標，通過分析入侵目標和自身無人機的運動狀態，判斷感知與規避機動的必要性，再進行分析和決策，最后無人機通過適當的規避機動來解除入侵目標對自身的威脅。如圖1所示，感知是規避的前提，規避是感知的歸宿和目的[10]。無人機感知指的是利用機載傳感器實現入侵目標的檢測識別，為規避提供參考。無人機感知技術可分為協同式與非協同式兩類[6]。由于協同式感知存在高成本、高負荷、應用范圍有限等缺陷，使用非協同式感知技術完成無人機感知入侵目標成為了當前的趨勢。在非協同感知技術中，機器視覺相比于合成孔徑雷達[11]、激光探測系統[12]、紅外傳感器[13]在負載、成本、能耗和自主性上有一定的優勢，而且生成的光學圖像直觀易理解，空間分辨率比較高，圖像內容豐富，目標結構特征明顯，因此視覺的入侵目標檢測與識別成為感知與規避技術中研究感知部分的熱點課題。

圖1 感知與規避系統的功能模塊

1 基于機器視覺的感知與規避

無人機所需感知的目標是各類存在潛在威脅的飛行器，由于無人機的負載約束，難以配備在有人機上應用的交通碰撞規避(Traffic Collision Avoidance System, TCAS)[17]及自動相關監視(Automatic Dependent Surveillance-Broadcast, ADS-B)[18]。為了彌補這一不足，以機器視覺為代表的非協同傳感器為實現無人機感知規避提供了一條行之有效的思路[19]。感知與規避技術中的入侵目標視覺檢測與識別有如下特點：1)圖像數據量大：隨著無人機機載視覺傳感器技術的發展，光學機載圖像分辨率的提高，使得光學機載圖像的數據量越來越大;2)光學機載圖像的獲取過程中受到許多條件影響，比如獲取圖像的機載視覺傳感器性能、圖像分辨率、外部條件(天氣、光照等)、無人機飛行速度等，這些因素都會影響光學機載圖像的成像效果。3)入侵目標的類型不同、顏色、尺寸、形狀、紋理等特征不同，使得無人機獲取的光學機載圖像中的入侵目標所呈現出來的特征也有所不同。

目前感知與規避技術中的對入侵目標視覺檢測與識別的研究一般采取面向對象的概念，而且光學機載圖像中的背景對很多入侵目標檢測方法造成比較大的影響，因此可以將基于機載圖像對入侵目標檢測識別方法分為兩類：基于天空背景下的入侵目標檢測識別方法，如圖2所示；基于天地背景中的入侵目標檢測識別方法，如圖3所示。

圖2 基于天空背景的入侵目標檢測與識別方法

圖3 基于天地背景的入侵目標檢測與識別方法

圖1的基于天空背景的入侵目標檢測與識別方法的主要包括對獲取的機載圖像進行預處理，對機載圖像中的空中入侵目標進行檢測，并對其分類識別。對機載圖像中的入侵目標檢測和入侵目標分類識別是最關鍵的兩個部分，入侵目標檢測部分還包括了空中入侵目標感興趣區域的提取和入侵目標的確認組成。然而圖2的基于天地背景的入侵目標檢測與識別方法除了預處理之外還包括了對機載圖像進行天地分割、入侵目標檢測和分類識別。其中入侵目標檢測由空中入侵目標感興趣區域的提取、地面入侵目標感興趣區域的提取和入侵目標確認組成。空中入侵目標感興趣區域是指無人機在飛行過程中遇到處于天空背景的入侵目標可能存在的區域；地面入侵目標感興趣區域即無人機在低飛過程中遇到的入侵目標處可能存在地面背景中的區域；對光學機載圖像中的入侵目標確認主要對入侵目標感興趣區域所包含的潛在入侵目標進行識別確認，去掉錯誤的潛在目標，找到正確的入侵目標，從而降低因為虛假目標引起的預警機動概率，即降低虛警率。對機載圖像的入侵目標分類識別部分主要對確認的入侵目標進行分類識別，通過不同的特征(比如尺寸大小、顏色、紋理等)來判斷入侵目標的類型。

下面從天地分割、入侵目標檢測和入侵目標分類識別三個方面進行梳理和分析技術發展現狀。

2 天地分割

由于地面背景信息多樣化，而且同一個背景也存在變化，因此基于地面先驗信息的方法是不適用與天地分割的，常常采用圖像分析方法提取天空或者地面圖像區域，完成天地分割。一般在分辨率不太高的光學機載圖像中，相對于地面的灰度值而言，天空的灰度值比較低，而且分布比較均勻，一般利用灰度閾值分割的方法可以有效地將天空分割出來。但是在分辨率較高的光學機載圖像中，天空的灰度值就沒有那么均勻了。因為天氣、云朵和視角等因素，導致天空灰度值變得復雜，而且入侵目標因為種類不同形狀不同所表現的灰度值也有所不同。如果采用一般的閾值分割方法可能會降低分割效果甚至出現錯誤的分割結果。下面歸納用于天地分割的一些方法。

1) 閾值法。閾值法是圖像分割方法中最基本最經典的方法。通過計算圖像中的灰度值或者梯度直方圖，并根據天空和地面的灰度特性，設定合適的閾值將天空和地面分割開來。因此天地分割部分最為關鍵的因素是設定一個合適的分割閾值，而常用的閾值設定方法有：大津算法[20]、最大熵法[21]等。

2) 基于聚類的方法。基于聚類的方法一般都是通過一定的規則將屬性相似的圖像塊或者是近似的像素點聚集起來，完成基于聚類的圖像分割。由于天空背景比較簡單，像素也相近，因此可以通過聚類的方法將簡單的天空背景和復雜的地面背景分割開來。一般常用的基于聚類的方法有K-Means聚類、區域生長法、分裂合并法等[22-23]。

3 入侵目標檢測

入侵目標檢測的技術思路主要分為兩類，一類是增強目標特征；另一類是抑制背景噪聲和雜波。

基于光流的目標檢測通過光流技術計算每個像素點的速度矢量[24]，借助運動模型估計獲取光流場的運動，若光流矢量恒定則沒有目標，反之光流矢量異常的區域則可能出現目標。光流法的缺點在于實時性較差，且對于光照變化十分敏感。基于隱馬爾可夫濾波(Hidden Markov Model, HMM)通過在檢測之前設定閾值，從而實現初始目標檢測[25]。HMM濾波的缺陷在于檢測閾值的選取對于最終的檢測結果有著至關重要的作用[26]，為了克服這一不足，HMM一般與檢測前跟蹤技術相結合[27]，提出了一種HMM組合濾波方法，實驗結果表明HMM組合濾波比單一的HMM濾波器性能更為優越。然而，由于HMM濾波器與HMM濾波器組均難以實現識別功能，因此無法避免虛警發生率。基于預訓練分類器的形態學濾波方法對于降低虛警率效果顯著[28]，然而與此同時付出的代價是復雜分類器帶來的計算資源消耗[29]。基于區域建議的目標檢測方法在平衡檢測率與虛警率方法有著較好的效果[30-32]，在輸入圖像確定的情況下，輸出可能包含目標的潛在區域。

3.1 入侵目標感興趣區域提取

提議區域的檢測方法一般可以分為兩種類型：分組法和窗口打分法。分組法的提出基于早期提出的分割搜索法[33]，常用的算法有SelectiveSearch[33]，MCG[34]等。窗口打分法的提出是基于早期提出的似物性提議區域方法[29]，常用的算法有Edge-Boxes[35]，Objectness[29]，Bing[36]等。

3.2 入侵目標候選區域篩除

入侵目標確認主要是對入侵目標感興趣區域所包含的潛在目標進行排查確認，去掉錯誤的潛在目標，找到正確的入侵目標，從而降低虛警率。入侵目標一般包括不同類型的飛行器、鳥類、地面障礙物(無人機低空飛行時的山丘和樹木等)，入侵目標的特征一般有灰度、尺寸、形狀和紋理等特征。在對入侵目標進行確認過程中,通常采用提取特征和分類器結合來識別出真正的入侵目標，降低虛警發生率。在進行入侵目標確認的過程中需要描述入侵目標感興趣區域包含的潛在目標的特征。由于入侵目標具有灰度、尺寸、形狀、紋理等特征，因此常用的一些圖像特征有：尺寸統計特征、紋理特征、邊緣特征、形狀特征、小波變換特征[37]、Hough變換特征[38]等。

4 入侵目標分類與識別

視覺感知與規避的難點在于檢測率太低而虛警率太高。如何在確保檢測率的同時降低虛警率是視覺感知規避的關鍵。入侵目標檢測部分主要是確定入侵目標的位置和大小，而入侵目標識別部分主要是確定入侵目標的類型。識別模塊的引入主要是為了降低虛警發生率。

4.1 特征提取

基于光學機載圖像的入侵目標識別分為在線識別和離線訓練兩階段。離線訓練又可分為特征提取與分類器訓練兩個步驟，通過特征提取獲取目標的特征描述，再通過分類器訓練獲取目標在特征空間上的分界面。在線識別同樣需要提取目標的特征描述，在此基礎上通過計算出目標相對于分界面的位置獲取入侵目標的類型。因此特征提取是入侵目標識別部分的核心。

入侵目標分類識別中一般用到的特征包括：顏色特征、形狀特征、梯度特征和模式特征，梯度特征通過對圖像塊提取方向和梯度來描述目標特征，包括尺度不變特征[39]以及梯度方向直方圖[40]等。模式特征通過分析圖像中局部區域之間紋理信息的區別獲得特征描述。與梯度特征相比，紋理特征的缺點在于特征維度較高，為后續的分類帶來的較大的計算負荷[41-43]。形狀特征通過提取目標的輪廓信息獲得目標的特征描述，該特征的優點在于尺度、旋轉和平移不變特性，但是缺乏目標的顏色與紋理特性[44-45]。顏色特征通過計算圖像灰度與顏色分布來獲取目標的特征描述，該類特征的穩定性較差，因此應用受到了限制[46]。

4.2 分類器設計

在對入侵目標進行分類識別之前一般需要訓練合適的分類器，在識別過程中通過訓練得到的分類判別條件將入侵目標提取出來。選擇一個合適的SVM核函數則是保證SVM分類器良好性能的關鍵因素。常用的SVM核函數有Linear、Sigmoid、RBF、GussianRBF等[48]。

由于需要檢測與識別的入侵目標是各類飛行器、飛鳥、地形障礙(無人機低空飛行時的山丘和樹木等)，具有類內差異與類間相似性。其次，由于無人機與待檢測的入侵目標之間存在相對運動，因此目標的背景變化同樣會增加識別的難度，因此傳統的單個分類器已經難以滿足入侵目標識別的要求。為了解決這個問題，

可以取長補短地選擇多個不同的分類器，并有規則地聯合起來成為一個滿足需求的優良分類器。如何選擇聯合的子分類器，聯合分類器的規則如何設定都是影響著聯合分類器性能的關鍵因素。因此如何訓練一個好的分類器是入侵目標分類識別的一大難點問題。

5 總結

目前由于無人機的廣泛應用，人們對無人機的感知與規避技術進行了研究和發展，其中對于入侵目標檢測與識別方面也做了很多研究工作，取得了一些研究成果。但是目前關于入侵目標檢測與識別的方法還存在很多問題沒有得到解決，很多方法都是處于理論階段，離真正應用于軍用領域和民用領域還有很長的路要走。

1) 地面背景的入侵目標檢測

由于地面背景一般都比較復雜，包含不同顏色、不同形狀、不同大小、不同紋理的對象，同時入侵目標是多種類型具有不同的形狀大小、顏色紋理特征，因此入侵目標有可能與地面對象特征相似，難以將入侵目標從復雜的地面背景檢測出來。因此如何選擇合適的入侵目標特征表示方法成為了入侵目標檢測一個難點。

2) 具有通用性的入侵目標檢測方法

目前的入侵目標檢測算法一般都是針對特定入侵目標或者特定環境場景，但是實際上光學機載圖像的成像過程是復雜多變，天氣條件、光照條件、視角條件、入侵目標運動特性等多種因素的影響，使得光學機載圖像存在著許多干擾。因此研究具有通用性、克服不同干擾因素的入侵目標檢測方法是目前感知與規避技術中的入侵目標檢測技術需要解決的難點問題。

3) 入侵目標分類識別

天氣條件、光照條件、視角條件、入侵目標運動特性等多種因素的影響，導致光學機載圖像中的入侵目標呈現的特征有所偏差，可能出現入侵目標被遮擋、輪廓殘缺、形變、模糊等問題，為后續的分類識別工作增添難度。

隨著圖像處理技術、模式識別技術的發展，感知與規避技術中的入侵目標檢測與識別呈現出如下的研究熱點：

1) 基于多源圖像融合的入侵目標檢測與識別

一般每一種傳感器獲取目標圖像都是在特定的某些方面有著良好的效果，但是在另一方面則會存在著缺陷。比如合成孔徑雷達(SAR)圖像雖然不受天氣變化影響，但是機載圖像的分辨率很低；紅外圖像中對于運動的入侵目標有著很好的獲取效果對云層也有著穿透作用，但是分辨率也不高；而光學圖像對入侵目標有著良好的描述作用，可以提高豐富的圖像信息，分辨率高，但是容易受到天氣影響。

融合不同機載傳感器獲得的圖像來檢測和識別入侵目標，可以取長補短從而提高入侵目標檢測概率。結合合成孔徑雷達的全天候性、紅外圖像對運動目標的敏感性、光學圖像對入侵目標具體描述性等優點，對于光學圖像檢測出來的入侵目標感興趣區域進行下一步的確認和識別。

2) 特征融合的入侵目標分類識別

描述入侵目標的特征有很多，但是不同特征具有不同的特點，對入侵目標的描述效果以及耗費的時間也有所不同，因此為了得到更好的特征描述效果，可以通過融合不同特點的特征，優先使用時間短的特征進行粗略區分，再利用時間長的特征詳細描述入侵目標，既能綜合不同特征描述的優點，又能提高特征提取的時間效率，大大保證了入侵目標識別的良好性能。