基于軌跡和形態識別的無人機檢測方法

劉宜成,廖鷺川,張 勁,吳 浩,何 凌,戴弘寧,張 晗,楊 剛

(1.四川大學 電氣工程學院 自動化系,成都 610065; 2.成都空御科技有限公司,成都 610213; 3.澳門科技大學 咨訊科技學院,澳門 999078)

0 概述

民用無人機因體型小、易操作、機動性強等特點已被廣泛應用到消防、勘察、農業發展等領域,但其也給群眾隱私、公共設施和軍事安全構成了巨大威脅[1]。因此,有效的無人機檢測方法對解決無人機“黑飛”問題具有重要意義。由于無人機體型小,遠處目標體現在圖像中呈斑點狀,具有較少的外形信息,且在自然場景下存在大量噪聲和干擾,如晃動的樹葉和水波以及飛行的鳥類,這些因素都給無人機檢測帶來巨大困難。目前,基于可見光圖像檢測無人機的方法主要有深度學習方法和傳統特征提取方法兩大類。

深度學習方法已被廣泛應用在無人機檢測領域[2-3]。文獻[4]利用殘差網絡和多尺度融合方法對原始的YOLOv3[5]網絡進行優化,提出了改進的YOLOv3網絡,實現了低空無人機的檢測。文獻[6]設計出具有多通道和多隱藏層的檢測模型,提取無人機圖像的多尺度特征和深度信息用于無人機檢測。文獻[7]利用幀差法和區域生成法[8]檢測移動目標,然后運用卷積神經網絡(Convolutional Neural Network,CNN)分類器識別目標圖像。上述方法均要求無人機圖像具有一定的外形信息,而且基于深度學習的檢測方法一般難以滿足實時性要求[9]。

在圖像分辨率低和目標特征不明顯等情況下,傳統特征提取方法通常更適用于小目標檢測。文獻[10]利用全景圖像實現360°全方位的小目標檢測,能夠發現遠處的點狀無人機。文獻[11]提取了圖像中的天際線后,運用圖像差分法檢測移動目標,然后根據目標的運動特征和連通域信息來判別目標屬性。文獻[12]根據視覺注意機制,將多特征融合成視覺顯著圖像,實現了小目標無人機的檢測。文獻[13]通過聚類算法獲取目標軌跡,然后提取軌跡綜合特征,最后運用隨機森林[14](Random Forest,RF)識別出無人機軌跡。以上方法能夠檢測出視頻中的點狀無人機,但視頻中有大量飛鳥的情況下容易產生誤報。

針對無人機檢測過程中易出現誤報的問題,本文根據飛鳥和無人機的軌跡和形態差異性,提出一種基于軌跡和形態識別的無人機檢測方法。

1 無人機檢測追蹤系統

無人機檢測追蹤系統的硬件主要由相機、轉臺和無線電干擾器三部分組成,如圖1所示。相機包含可見光鏡頭(幀率為25 frame/s)和紅外鏡頭;轉臺位于相機正下方,能夠聯動相機追蹤目標;無線電干擾發射器位于轉臺兩側,能夠發射無線電波去干擾無人機信號。

圖1 硬件設備示意圖Fig.1 Schematic diagram of hardware equipment

在靜態背景下,本文采用自適應背景更新算法檢測移動物體,若環境中存在物體干擾或非目標飛行物,則該方法會在干擾物體附近和非目標飛行物處產生大量虛警。若目標圖像中包含足夠的細節信息,可以運用圖像識別方法[15]來排除干擾,但是當目標圖像呈點狀時,該方法并不適用。為解決上述問題,本文提出的基于軌跡和形態識別的無人機檢測方法能夠有效抑制自然噪聲,并快速識別出無人機和飛鳥軌跡。首先利用自適應背景更新算法檢測移動物體,然后采用軌跡聚類算法獲取潛在目標軌跡,繼而根據飛鳥和無人機飛行姿態的差異性提取軌跡特征和形態特征,接著運用人工神經網絡(Artificial Neural Network,ANN)識別目標,最后利用小范圍目標匹配算法跟蹤無人機,同時發射無線電定向干擾無人機的通信信號,持續打擊入侵無人機。系統結構如圖2所示。

圖2 無人機檢測追蹤系統結構Fig.2 Structure of UAV detection and tracking system

2 目標檢測與跟蹤

2.1 目標檢測

為加速圖像處理,本文采用自適應背景更新算法[16]檢測移動物體。首先以視頻前N幀圖像建立平均背景模型bg,并用bg初始化輔助背景sbg,計算公式如式(1)所示:

(1)

其中,fi(x,y)是第i幀圖像(x,y)坐標處的灰度值,bg(x,y)是平均背景模型(x,y)處的灰度值,N是用于背景建模的幀數。其次當前圖像f分別與bg和sbg做差,若同時滿足式(2)則為前景目標。

(2)

其中,fdif是差分圖像,th和ths是檢測閾值,通常th

(3)

bg′(x,y)=(1-α)bg(x,y)+α×f(x,y)

(4)

其中,α(0≤α≤1)是背景更新因子,α值越大則模型對背景變化的適應能力越強。

2.2 軌跡聚類算法

軌跡聚類算法[17]是一種根據自然噪聲與移動目標的時空特征差異性來聚合目標軌跡的算法。該算法以第1幀差分圖像的所有前景檢測點作為各條軌跡的起始點,并根據一定規則把后續圖像中符合條件的軌跡候選點加入軌跡序列,然后篩除噪聲軌跡,最后獲得連續的目標軌跡。

假設第n幀差分圖像有若干軌跡候選點pi(i=0,1,…,n),且已經存在多條軌跡Ti(i=0,1,…,n)。為加速軌跡聚類過程,軌跡Ti僅在其搜索框Si(xi±w,yi±h)內搜索距離坐標(xi,yi)最近的候選點加入軌跡,其中w和h分別是搜索框的寬和高。本文根據下面的3條規則完成軌跡聚類和噪聲篩除,最后獲得潛在目標軌跡。

點間位移的平均值。在一次軌跡聚類過程中,若某候選點最終未被關聯到現有軌跡,則以該候選點為起始點新建一條軌跡,并參與下次軌跡聚類。

2)與飛行物相比,樹枝和水波等干擾形成的噪聲呈現出不規則運動,其軌跡在水平方向上來回波動,且軌跡段外接矩形的縱橫比異于飛行物。如果軌跡段不滿足條件Snum<4或IFAR

3)由于檢測不穩定性和短時間遮擋等原因,目標軌跡可能在連續多幀圖像中關聯不到候選點,為增強軌跡的連續性,本文將連續6幀沒有關聯到候選點的軌跡定義為短軌跡。

軌跡聚類流程如圖3所示。

圖3 軌跡聚類流程Fig.3 Procedure of trajectory clustering

2.3 特征提取

鳥類在飛行時存在展翅動作,而大部分無人機依靠四旋翼飛行,由于飛行姿態的不同,它們的飛行軌跡和形態變化存在較大差異,因此本文從軌跡和形態兩個方向提取特征。

2.3.1 軌跡特征提取

圖4(a)記錄的是飛鳥和無人機的飛行軌跡,其中,T1、T2、T3是飛鳥軌跡,T4、T5、T6是無人機軌跡,圖4(b)是圖4(a)中矩形框的放大圖,圓點連線表示無人機軌跡,三角連線表示飛鳥軌跡,虛線框是軌跡段選取框。為加速軌跡特征提取,本文把整條軌跡劃分成若干軌跡段,每段包含n個軌跡點,其長度由軌跡選取框確定(見圖4(b)),其中包含6個軌跡點。從圖4(b)可以看出,與無人機軌跡相比,飛鳥軌跡在水平方向(X方向)上間距分布不均,豎直方向(Y方向)上存在較大波動,且相鄰三點構成的角度明顯更加尖銳。為此,本文根據上述3個差異性來提取軌跡特征。

圖4 軌跡特征提取結果Fig.4 Extraction results of trajectory characteristics

在X方向上,特征f1和f2分別是相鄰兩點間水平距離的標準差和極值比:

(5)

(6)

為突出飛鳥軌跡短時間內在Y方向上的波動,本文將長度為n的軌跡段拆分成k個長度為m的子軌跡,然后運用最小二乘法[18]擬合子軌跡的直線方程,最后以坐標點到擬合直線的垂直距離為基礎提取Y方向特征:

(7)

(8)

(9)

其中:

(10)

(11)

(12)

在式(7)～式(12)中,rj表示第j個子軌跡擬合直線的線性程度,其絕對值越接近1,擬合直線的線性關系越好,a和b分別為擬合直線的斜率和截距,di是子軌跡中第i個點到擬合直線的垂直距離。

假設軌跡中相鄰三點構成夾角的角度為θ,從圖4(b)可以看出,短時間內無人機軌跡的角度波動較小,飛鳥軌跡角度大部分小于無人機軌跡角度。因此,使用θ的標準差f6來描述角度變化的穩定性,并通過角度增強f7來突出飛鳥軌跡的差異性,由此得到以下兩個角度特征:

(13)

(14)

其中:

(15)

2.3.2 形態特征提取

如圖5所示,圖5(a)和圖5(b)分別是飛鳥和無人機連續6幀的形態變化,其中數字表示相應連通域的像素點數(δ)。

圖5 飛鳥與無人機形態變化Fig.5 Morphologic changes of birds and UAVs

從圖5可以看出,相比于無人機,飛鳥的形態變化更加劇烈,從而導致δ波動較大。因此,本文采用δ的標準差(f8)來衡量目標形態變化的劇烈程度。

(16)

(17)

其中,δi表示軌跡段內第i個坐標點對應的連通域像素點數。

2.4 基于人工神經網絡的軌跡識別

人工神經網絡[19]是一種模仿人類神經元結構發展而來的監督學習算法,其結構主要有輸入層、隱藏層和輸出層3個部分,如圖6所示,每層由若干神經元組成。

圖6 人工神經網絡結構Fig.6 Structure of artificial neural network

神經元節點將其所有輸入分別與不同權重相乘,然后相加并做一次偏移運算,最后通過非線性運算得到該神經元的輸出:

(18)

(19)

其中,WT是權重向量的轉置。為評估網絡訓練效果,網絡采用對數損失函數計算預測值與期望值的偏差:

cost(g(x),y)=-yloga(g(x)-1)-

(1-y)loga(1-g(x))

(20)

其中,y是輸入實例x的真實類別。

如果偏差值大于預期值,則利用反向傳播算法(Back Propagation,BP)[20]更新網絡的權重矩陣W,經過若干次迭代后得到軌跡分類模型。

2.5 目標追蹤和打擊

為預防目標飛出相機視場,系統會根據目標坐標自動調節轉臺追蹤目標,使目標保持在屏幕中心附近。根據生物視覺機制原理[12],短時間內無人機的形態和灰度信息相對穩定,且偏移量較小,所以本文采用小范圍目標搜索算法來追蹤目標,算法步驟如下:

1)根據圖像灰度梯度變化來檢測R′區域內的高頻信號,然后以高頻信號的極值點作為候選目標坐標。

2)根據高頻信號外接矩大小初步篩除噪聲點。

3)以候選坐標為中心截取相同大小區域用于統計灰度直方圖,然后對候選直方圖和目標直方圖進行歸一化,通過計算巴氏距離[21]來衡量它們的相似性,最后得出目標坐標。

4)更新目標坐標、外接矩大小和灰度直方圖。

2015年3月,工業和信息化部規定了在國內生產或進口到國內銷售的無人機的無線電頻段范圍[22],這極大地促進了我國的民用無人機監管和發展,同時也為無人機防御提供了一種可靠的途徑。因此,本文根據不同頻段定制了相應的干擾無線電,并利用干擾無線電迫使入侵無人機返航或迫降,從而達到防御的目的。

3 實驗結果與分析

3.1 數據處理和實驗參數

本文實驗的數據來源是20個包含飛鳥和無人機的視頻,它們均由固定相機拍攝得到,拍攝環境是存在較多飛鳥的湖面,天氣包含陰天(能見度約300 m)和晴天(能見度約800 m)。其中12個視頻包含8 900幀1 280像素×720像素分辨率圖像,記錄了大疆無人機(型號:DJI Phantom 3)在不同距離下的各種飛行狀態,其他8個視頻包含9 205幀1 280像素×720像素分辨率圖像,記錄了各種飛鳥在自然環境下的飛行狀態。

在獲取視頻后,采用2.1節描述的自適應背景更新算法檢測前景目標,設置背景更新閾值th和ths分別為10和15,背景更新因子α為0.7。然后根據軌跡聚類算法得到3 516個無人機軌跡段和3 805個飛鳥軌跡段,并對其進行人工標注(標簽為0表示飛鳥軌跡,標簽為1表示無人機軌跡)。由于軌跡特征和形態特征不屬于同一量綱,為提高特征的識別率和加速計算,本文實驗對所有特征集做均值為0方差為1的歸一化處理。最后隨機抽取70%特征集作為訓練樣本,30%作為測試樣本。

根據特征維度大小,本文實驗設置網絡輸入層節點數為8,包含3個隱藏層,每層有64個節點,采用Relu[23]作為激活函數,網絡的初始學習率為0.000 1,正則化系數為0.001,一階和二階矩向量的指數衰減速率分別為0.9和0.999,采用Adam[24]優化算法訓練神經網絡,最后經過約150次迭代計算后得到軌跡預分類模型。

3.2 結果分析

本文主要通過精準率(Precision,PR)、召回率(Recall,RE)和綜合評價指標(F1_score,F1_s)3個指標來衡量識別表現,計算公式如下:

(21)

(22)

(23)

其中,真正例(True Positive,TP)是預測為正的正樣本,假正例(False Positive,FP)是預測為正的負樣本,假負例(False Negative,FN)是預測為負的正樣本。

圖7是視頻中第57幀(左)、第364幀(中)、第379幀(右)的目標檢測結果,其中圖7(a)是自適應背景更新算法檢測得到的前景目標,可以看出,除了包含飛行物目標外還存在大量噪聲;圖7(b)是經過軌跡聚類和目標識別后的結果,可以看出,原來的噪聲點已經被全部清除,而且準確地識別出圖中的無人機和飛鳥,其中深色圈表示無人機,淺色圈表示飛鳥。

圖7 目標檢測結果Fig.7 Result of target detection

軌跡長度和分類器模型的不同可能會給識別準確率帶來影響。在相同計算環境下,分別用隨機森林、支持向量機(Support Vector Machine,SVM)[25]和人工神經網絡對不同長度軌跡的特征進行訓練和測試。表1記錄了各分類器對不同長度的無人機軌跡的測試結果,表中數據是6次測試結果的F1_s均值,加粗數據是當前行的最大值。從表1可以看出,軌跡長度達到24之前,隨著長度的增長各分類器模型的F1_s分數逐漸增加,當長度為24時表現最好,F1_s分數均達到0.993 1。但是,隨著長度的繼續增長,F1_s分數并沒有明顯提升,反而略微下降,其原因可能是隨著長度增加某些特征對識別效果產生負面影響?？傮w而言,ANN的表現略優于其他兩種方法,當軌跡長度為24時F1_s分數達到了0.996 9。

表1 各分類器對不同長度軌跡的識別結果Table 1 Recognition results of different lengthtrajectories by each classifier

表2記錄了以ANN為識別模型時,不同特征集對長度為24時的無人機軌跡判別表現,其中FX(f1,f2)是X方向特征集,FY(f3,f4,f5)是Y方向特征集,FA(f6,f7)是角度特征集,Fδ(f8)是形態特征,加粗數據是當前行的最大值。從表2可以看出,FY特征集3項指標值最大,表現明顯優于其他特征集,Fδ特征集的F1_s和RE最小,表現最差。這說明飛鳥和無人機軌跡的差異性主要體現在Y方向的波動,而形態特征表現差的原因可能是某些點狀目標的像素點數波動不明顯。

表2 不同特征集識別結果的定量分析Table 2 Quantitative analysis of recognition resultof different feature sets

為進一步說明本文方法的有效性,本文還與文獻[13]方法進行性能對比實驗。實驗采用相同視頻獲取無人機和飛鳥軌跡,軌跡段長度設定為24。表3是文獻[13]方法與本文方法的性能對比,可以看到,本文方法在PR、RE、F1_s這3項指標上分別提高了0.077 0、0.128 5、0.103 6。

表3 本文方法與文獻[13]方法的性能對比Table 3 Performance comparison between the proposedmethod and the literature[13] method

本文實驗在Windows 10系統計算機上完成,其配置為Inter?CoreTMi7-8550U CPU,8 GB內存。算法實現環境是Microsoft Visual Studio 2015,算法實現語言是C++。通過實驗驗證,本文算法處理一幀1 280像素×720像素圖像的平均時間約為27.7 ms。

4 結束語

本文針對在復雜環境下通過圖像序列難以發現小目標無人機的問題,提出一種基于軌跡和形態識別的無人機檢測方法,并搭建無人機檢測追蹤系統。通過軌跡聚類算法排除自然物干擾,根據飛鳥和無人機飛行軌跡和形態的差異性提取判別特征,并運用神經網絡進行判別。實驗結果表明,該檢測系統準確率達到99.53%,能準確檢測出視頻中的點狀無人機,且在發現無人機后,系統控制轉臺追蹤目標,同時運用無線電定向干擾無人機的通信信號,從而達到反制目的。該系統綜合檢測、識別、追蹤和反制于一體,能夠在復雜環境下迅速發現遠處的無人機,具有較好的應用前景。雖然本文方法能較早發現遠處的無人機,但檢測距離和效果容易受到天氣影響,且飛鳥在滑翔狀態下飛行軌跡和形態變化與無人機很相似,容易導致誤判,下一步將引入圖像識別模塊確認目標的屬性,從而降低誤判率。