基于深度學習的無人機入侵檢測方法①

陳 帥,尹 洋,楊全順

(海軍工程大學 電氣工程學院,武漢 430032)

近年來,隨著各行業信息化程度越來越高,航空技術的智能化程度得到了巨大的發展,各種遙控無人機(Unmanned Aircraft Vehicle,UAV),自主飛行器的應用更加廣泛,在無人機作戰,無人機攻防,航拍視頻,森林防火,環境勘探等領域發揮著重要作用.但同時,無人機黑飛濫用,用于恐怖襲擊,非法入侵等行為帶來許多威脅與安全隱患,為社會治安,邊境安全等造成了困擾[1–5].在美國華盛頓,白宮曾遭遇了一架四旋翼無人機的非法入侵,以極低的飛行高度越過了白宮圍墻;在法國,至少有14 座核電站被無人機非法窺探,作為核能依賴程度最高的國家,這不免讓法國人有所顧慮;在國內各大機場,已經發生多起無人機干擾航行的事件,導致了數百架航班迫降、延誤,造成巨大的經濟損失與安全隱患.

低空范圍的安全問題引起了越來越多的重視,反無人機低空防護技術主要分為無人機目標的偵測和無人機干擾反制兩個方面.其中,無人機干擾反制措施一般是利用大功率頻段電子干擾器和全球定位系統(Global Positioning System,GPS)欺騙進行攔截,相關技術發展迅速,許多成熟的產品設備都已用于對無人機目標的攔截;而無人機目標的偵測技術的相關研究較少,美國作為最早開展反無人機相關研究的國家,早在2015年就有相關公司推出了一款手持式反無人機設備無人機防衛者(drone defender),其外形類似于狙擊槍,由人為手動瞄準并啟動,通過對無人機的導航定位系統施加干擾信號,迫使無人機懸停或者返航.無人機防衛者的最大作用范圍為400 m,而且是否進行干擾完全依靠操作人肉眼觀察周圍情況,在天氣環境較差、夜晚可見度低或者長時間監控等情況下,容易出現判斷錯誤,無法進行有效防御.日本東京Alsok 安保公司設計了一種新型無人機偵測系統,利用無人機在低空飛行時表現出的音頻特征獲取入侵目標的方向,通過對不同型號無人機的聲紋建立數據庫,可以進一步確定入侵無人機類別,但是,該系統的最大監控范圍不超過150 m[6].國內最具代表性的研究為浙江大學提出的ADS-ZJU (Anti-Drone System at Zhejiang University)架構,它結合了3 種監視技術:音頻聲學探測陣列,可見光相機視頻監控和射頻信號探測設備,實驗結果表明系統在校園環境中,通過ADS-ZJU 系統可以檢測和定位入侵無人機,對于100 m 范圍內入侵的無人機目標具有良好的偵測效果,誤報率在3%以下.在必要的情況下,射頻干擾也可以起到有效的作用[1].目前的偵測手段存在不同的局限性,致使低空防護范圍有限,無法滿足無人監控的準確性要求[7,8].

1 無人機與探測方式特點

無人機的價格便宜,獲取渠道多,我國有超過500 家的公司企業在從事無人機的研發與銷售工作,但并沒有相關行業規范和具體法律法規制定,導致監管困難,大量無人機設備存在“黑飛”、“亂飛”的行為.無人機本身操作容易,鎂鋁結構機身具有體積小,重量輕,機動靈活,隱蔽性好等特點;另外,具有攝像功能的無人機可以用于情報竊取,非法窺探等,給某些敏感保密地區的安全性帶來威脅;裝載小型炸彈的無人機可以用于恐怖主義自殺式襲擊等.無人機目標在天空飛行時,其飛行高度較低,雷達散射截面(Radar Cross Section,RCS)小,飛行速度慢;由電池供電電機驅動使得其紅外特征不明顯;最大信號有效距離可達5–7 km,使得遠距離飛行時的聲音特征與無線通信信號不明顯[9–11].無人機具備的使用特點(如表1)與其飛行時的目標特點給防治無人機非法活動帶來了巨大的挑戰.

表1 無人機使用與目標特點

無人機引發的安全問題頻繁出現,促進了各類無人機探測傳感器的發展.包括雷達、RGB 相機、無線信號偵測等在內的多種探測方式應用到低空范圍內小目標偵測任務中.目前,雷達作為應用最廣泛的偵測設備,已經有許多團隊開始針對用于無人機偵測的雷達研究.武漢大學已經成功開發了一種專門用于無人機探測的數字多通道無源雙基地雷達(Passive Bistatic Radar,PBR)系統,并進行了實驗與測試,驗證了該數字多通道PBR 系統檢測無人機的實用性和前景[12];國防科技大學也進行了多次實驗,通過在1–4 GHz 頻率范圍內的仿真和測量來評估無人機的單靜態RCS,為使用常規雷達和無源雷達偵測無人機雷奠定了技術基礎[13].

光電傳感器也常用于目標入侵檢測,包括RGB 可見光相機、紅外相機等設備,通過光電傳感器捕獲的圖像可以獲得目標的外觀、姿態等特征.在計算機視覺和模式識別領域,基于光電傳感器的無人機檢測本質上是一個目標檢測問題.西北工業大學構建了一種基于地面隨機魚眼鏡頭陣列的新型anti-UAV 監視系統,提出了一種快速自校準的方法用于攝像機陣列的布局,并設計了一套基于魚眼鏡頭陣列的多目標檢測、跟蹤和3D 定位算法,實驗結果表明,系統可以有效地在沒有人工標記的情況下跟蹤無人機[14];另外,波蘭軍事科技大學提出了通過不同的熱成像系統進行無人機檢測的概念,進行了研究和測試,并概述了紅外傳感器的發展方向[15];高雄科技大學使用圖像視覺處理技術,傳感技術和兩軸步進電機控制技術,設計了用于偵測無人機的雙軸旋轉跟蹤平臺,為反無人機的關鍵技術之一提供了技術參考[16].

本文分析了目前主要探測方式特點如表2所示.

表2 不同無人機目標偵測傳感器特點

2 信息融合目標偵測方法

通過多源探測信息融合,可以彌補單個傳感器存在的局限性.多傳感器獲取的信息具備冗余性,可以提高對目標特性描述的精度與準確性,防止部分信息缺失或者出錯時對整個系統的決策造成影響.多傳感器獲取的信息同時具備互補性,豐富目標不同特征信息,有效地提高了系統的識別能力,擴展了時間和空間的覆蓋范圍[17–20].

單一傳感器在檢測無人機目標時,往往會出現準確性不高、實時性較差、抗干擾能力弱的不足.例如雷達在偵測無人機目標時可以得到低空范圍內目標的距離、方向、速度等信息,卻無法區分鳥類、氣球等其他目標;RGB 相機能得到目標外觀信息從而區分無人機,但是不能同時滿足大范圍、長距離監控,很難捕捉到可疑目標畫面;射頻(Radio Frequency,RF)、音頻探測設備極易受到周邊環境干擾,且探測距離較小.經過分析與實驗測試,本文采取以RGB 相機和雷達信息為主,射頻信號為輔助的融合方式.在保證特征信息獲取準確性的情況下,提高了探測覆蓋范圍與實時性,經過融合后信息基本滿足了判定無人機目標入侵的必要條件.

基于多源探測信息融合理論,本文提出一種多傳感器信息融合的目標偵測方法,將雷達與RGB 相機進行聯動控制,即雷達設備對低空范圍內的目標進行不間斷掃描,實時捕獲非法入侵可疑目標的基本特征,包括距離、高度、方向以及速度等,雷達觀測到天空中小目標出現時,先將目標距離、方向等信息傳遞到控制中心,若存在疑似無人機目標,控制中心依據可疑目標距離分別列入待檢測列表;否則,雷達繼續進行掃描與監控.

控制中心根據雷達提供待檢測列表中目標的距離、方向等信息旋轉RGB 相機設備的云臺,調整方向角與俯仰角,RGB 相機同時進行變焦與對焦,得到包含可疑目標的圖像畫面,射頻偵測設備開始偵測可疑目標及周圍范圍內的射頻信號,通過圖像信息與通信信號判斷是否存在無人機入侵.

多個傳感器在同時工作時,首先需要進行配準.包括時間配準和空間配準.對于時間配準,一般來說,雷達的工作周期相對較長,其他設備響應時間較快,所以本發明實施例依照雷達的時間為標準;對于空間配準,不同傳感設備的空間坐標系存在差別,只有將坐標系配準后才能進行信息融合,基于歐勒角對不同設備的坐標進行轉換,提高目標信息匹配的準確率.如圖1所示.

圖1 坐標系轉換

以雷達設備與RGB 相機云臺設備為例,若兩設備三維空間坐標系分別為O1X1Y1Z1和O2X2Y2Z2.依次按照繞O1Z1,O1Y1,O1X1旋轉的順序,對應X,Y,Z軸的歐勒角分別為εx,εy,εz,則其分別對應的旋轉矩陣Mx,My,Mz為:

則雷達坐標系到RGB 相機坐標系坐標轉換方程為:

一般來說,設備在安裝時按照統一方向對齊后,雷達與RGB 相機設備的旋轉角相差不大,εx,εy,εz,數值相對較小時,坐標轉換公式可以簡化為:

短視頻平臺中，用戶數最多的抖音2016年出現，2017年迅速爆發，已經成為新時代的移動社交平臺及移動互聯網終端流量入口之一。根據2017年5月-2018年4月搜集的艾瑞數據分析，抖音用戶數82%年齡都小于35歲。互聯網時代，年輕人越來越在意個性的凸顯，很多年輕人有較強的表現欲，他們需要一個平臺去展示自我，獲得關注和認可。

將不同探測源坐標等信息配準后,本文基于信息融合中基本的決策級、特征級、數據級等基本融合理論,使用一種混合制結構模型對天空背景下的無人機小目標進行探測,模型如圖2所示.

圖2 無人機小目標探測融合結構模型

多傳感器先偵測到無人機小目標的入侵,通過雷達傳感器備獲取到目標的位置、速度等信息,再通過RGB 相機與射頻探測器獲取到包含可疑目標的畫面與通信信號,最后系統決策判斷是否有無人機入侵.

反無人機低空防御的決策過程,類似于多特征屬性決策問題,是利用目標多種特征以及不同特征的特點來對目標威脅程度進行評估的過程.當系統開始工作時,探測到疑似非法入侵的無人機目標為xi∈{x1,x2,···,xn},針對目標做出是否進行干擾的決策.而判定依據為通過信息融合得到每個目標的m個特征屬性Qi∈{Q1,Q2,···,Qn},一般在無人機判定過程中,Q1,Q2,···,Qm代表可疑目標的距離、高度、速度和外觀形態等特征,每個屬性相互獨立.通過建立屬性與決策之間的聯系,選取最好的結果,決定是否通過干擾設備來執行反制措施.目前,絕大部分無人機在運行的過程中會表現出相似的特點,其飛行高度一般在100–500 m 之間,運動速度在3–15 m/s之間.根據雷達獲取到目標的高度特征Q1和速度特征Q2,篩選出其數值1 00

3 基于深度學習的無人機目標檢測

在計算機視覺領域中,尋找目標物體判別其具體類型,并對其在圖像中的位置進行定位的問題,即為目標檢測的問題.無人機的目標檢測則意味著系統不僅要判定圖像中的物體是否為無人機,而且要找到無人機在圖像中的具體位置,并用矩形框將其標出,同時解決定位與分類的問題.

3.1 數據集的建立

實現無人機的檢測,需要建立無人機目標的數據集作為訓練樣本.本文以VOC 格式數據集為基礎,收集了155 張包含無人機目標的圖像作為初始數據集,標注信息包括文件名、尺寸等信息.其中,部分數據如圖3所示.

圖3 無人機目標檢測數據集

為了提升SSD 模型預測的性能,豐富數據多樣性,提高模型的泛化能力,使用數據擴增來增加樣本數量,采用常見的裁剪、平移、改變亮度、加入噪聲、旋轉角度以及鏡像等方式對原始數據做出變換.如圖4所示.

圖4 圖像變換數據擴增

另外,本文提出一種目標遷移的方法.首先從包含無人機目標的圖像中提取無人機目標,然后將其對不含無人機目標的天空背景進行像素替換,并隨機旋轉一定角度,最后通過高斯濾波等方法對圖像進行平滑,得到新的數據.如圖5.

與真實無人機目標圖像相比,通過目標遷移后生成的無人機目標圖像視覺相似性較高.為了進一步驗證目標遷移后無人機圖像的真實性與多樣性,本文使用t-SNE (t-distributed Stochastic Neighbor Embedding)方法對生成的無人機圖片與真實圖像進行可視化.其中包括83 張真實無人機圖像,以及同一無人機目標遷移到不同背景后生成的10 張圖像,經過截取后無人機尺寸在畫面中所占比例都在60%～80%之間.可視化的結果如圖6所示.

圖5 目標遷移數據集擴展

圖6 擴增數據集相似性對比

3.2 模型訓練

目標檢測SSD 模型以VGG16 結構為基礎骨干網絡,通過在VGG16中選取,以及在網絡后增加更多的卷積層來獲取不同尺度的特征圖對目標做出預測.模型輸入300×300 圖像,經過卷積神經網絡一共選取了6個不同大小的特征圖,大小分別為(38,38),(19,19),(10,10),(5,5),(3,3),(1,1),每層特征圖中錨點對應先驗框的數目分別為4,6,6,6,4,4個,模型結構如圖7所示.所以最終對每類目標輸出8732個預測值,通過非極大值抑制得到最終的結果.

圖7 SSD 模型無人機目標檢測

完成訓練樣本的選擇之后,需要確定目標檢測的損失函數,主要包括定位Lloc和分類Lconf兩部分損失.整體表達式如下:

α為權重系數.由于本文主要關注可疑目標是否為無人機,對目標所在圖像中位置精度要求相對較低,所以將權重系數設置為0.8.同時,設置學習率learnrate=0.001,當訓練次數到達8000 次時,更新學習率為0.0001;權重衰減weight decacy=0.0005;一次訓練所選取的樣本數batch size=16;隨機梯度下降(Stochastic Gradient Descent,SGD)函數中的動量momentum=0.9.使用NVIDIA GTX1060 GPU 對模型進行訓練,訓練過程如圖所示,經過14 000 次訓練后,模型輸出的loss 維持在1%以下.無人機目標檢測訓練過程如圖8.

圖8 無人機目標檢測訓練過程

4 實驗分析

無人機入侵檢測方法要求能夠對低空范圍內的小目標進行實時監控,當有為獲批準的不明物體進入防護范圍內時,系統需要獲取其距離、方向以及高度等信息,同時根據外觀形態特征對其是否為非法入侵無人機做出判斷.為了驗證本文方法的有效性,搭建實驗驗證平臺,對無人機目標的入侵進行檢測.

實驗地點設置在武漢某試驗基地,周圍環境包括湖泊、社區、大橋等,干擾信號相對復雜,如圖9所示,最外層圓圈范圍表示雷達監控的范圍,對2 km 低空范圍內入侵的可疑目標進行實時監控;最內層圓圈范圍表示射頻探測設備工作的范圍,當可疑目標進入1 km范圍可以探測到無人機目標通信信號;中間圓圈區域表示RGB 相機設備監控范圍,其根據雷達提供的信息與危險等級劃分依次對可疑目標進行探測.

圖9 無人機入侵檢測試驗場地

使用無人機從不同距離起飛,并作入侵或逃離運動,雷達捕獲到目標位置、高度以及速度等信息,得到的目標雷達圖,再通過無人機目標和運動特點篩選出可能為無人機的目標點,無人機入侵檢測設備搭建平臺如圖10所示.

圖10 無人機探測設備搭建平臺

最后,根據雷達提供的目標方位、角度以及高度等信息,旋轉RGB 相機設備的云臺,并對設備進行變焦對焦,獲取到包含疑似無人機目標的畫面,并通過SSD 目標檢測模型定位和識別出無人機目標,如圖11.

圖11 運動目標誤判效果

5 結論與展望

為了偵測低空范圍內非法入侵的無人機目標,本文提出了一種基于深度學習的無人機入侵檢測方法.首先通過多傳感器信息融合獲取到低空范圍內可疑目標的方位、速度以及畫面信息,再利用訓練好的SSD深度學習模型對畫面中目標類別進行預測,判定可疑目標是否為無人機,實驗結果表明本文方法能夠有效檢測到無人機目標的入侵.在后續工作中,可以利用不同傳感器解決在黑夜、大霧天氣等情況下,RGB 相機無法做出有效決策的問題.