采用殘差神經網絡的無人機遙控信號識別監測算法

李彬,徐怡杭,羅杰

(1.西北工業大學電子信息學院,710072,西安;2.西安交通大學電子與信息學部,710049,西安)

近年來,無人機的快速發展與普及,在給人民生活帶來便利的同時,也出現了越來越多的“黑飛”事件,給國家和公眾都帶來了安全隱患和經濟損失。2017年4月,成都雙流機場有無人機非法入侵跑道,造成諸多航班停飛,帶來了巨大的經濟損失;2018年8月4日,委內瑞拉總統馬杜羅在公開演講時,被綁有炸藥的民用無人機襲擊;2019年9月14日,沙特兩處石油設施遭到無人機襲擊,量產減半;2021年2月22日,重慶軌道交通2號線遭無人機撞擊逼停[1-3]。如何反制無人機非法入侵的問題越來越受到各國的重視,而快速精確地識別無人機是實現反制的關鍵。

雷達低空監測無人機成本高昂,難以大規模部署,且由于其監測盲區較大、民用無人機體積過小,極易造成漏警;光學識別無人機易受光強、云霧、遮擋等干擾,且在夜間監測效果較差;聲紋識別無人機監測距離過短,且不適用于嘈雜的城市環境中[4-6];而利用無線電頻譜監測無人機遙控信號則成本較低、不受光強、云霧、遮擋、無人機體積等不利因素的影響,是對反無人機系統的有效補充。

一種解決方案是直接監測從1 MHz～6.8 GHz的廣泛頻譜,并將檢測到的任何未知射頻信號當作無人機控制信號[7],但由于未知的射頻信號不一定是無人機控制信號,這種方法會導致較高誤報概率。識別無人機的媒體訪問控制(MAC)地址也是一個可行的方法[8],但此方法僅能夠檢測具有MAC地址的無人機,且隨著無人機種類的不斷增加,構建和更新無人機MAC地址的完整數據庫變得越來越困難。此外,為了避免被檢測到,無人機的MAC地址往往具有欺騙性。

識別無人機遙控信號譜圖則是一個有效的解決方案。民用無人機遙控信號主要采用跳頻擴頻(frequency hopping spread spectrum,FHSS),屬于非平穩信號,可通過短時傅里葉變換STFT方法,將天線、接收機采集到的多個時刻的信號變換成信號譜圖[9-11]。無人機遙控信號帶寬通常小于3 MHz,常在以2.44 GHz為中心頻率的附近100 MHz頻帶內跳變[12],而5.775 GHz附近100 MHz的頻段有時也會被用于遙控,如大疆精靈Ⅲ型無人機的遙控信號,其遙控信號帶寬約為1 MHz[13]。

利用短時傅里葉變換將跳頻擴頻的無人機遙控信號轉換為譜圖后,就近似地將其等價為對于跳頻序列譜圖的識別問題。有許多學者曾研究過如何提取跳頻序列的跳頻特征[14-16],包括檢測跳頻序列周期、跳頻速率[17-18]等,或采用小波分解[19]、HOG-SVM[20]方法來識別跳頻序列,但實際的無人機遙控信號功率通常較小,當距離較遠時,受天線、接收機性能約束,可能造成跳頻序列捕捉不完整,傳統的跳頻特征提取方法難以適用,也難以通過提取到的跳頻特征判斷機型。此外,由于遙控信號功率較小,且背景噪聲會隨時間與場景變化,就要求遙控信號的頻譜檢測閾值,在低虛警概率下盡可能貼近背景噪聲,同時必須是自適應的,而無人機遙控信號常用的2.4 GHz與5.8 GHz頻段頻譜環境復雜,容易受到WiFi以及窄帶突發信號的干擾[21-22],所以如果要在工程中應用,算法須具有較強的魯棒性。

對此,本文提出了一種采用殘差神經網絡的無人機遙控信號識別監測算法(DRN-UAV),通過聯合自適應信號檢測閾值計算改進現有的閾值計算方法,并通過預處理操作來對抗窄帶與寬帶干擾,最后利用殘差神經網絡識別是否存在及其機型。本文算法具有良好的魯棒性與工程應用價值。

1 無人機遙控信號識別監測方法

無人機單次識別的流程如圖1所示,重復該步驟即可實現連續識別。

圖1 無人機單次識別的流程圖

DRN-UAV算法流程如下:①由譜圖Mt(Mt∈RN×S)計算出聯合自適應信號檢測閾值Ath,同時將譜圖Mt映射為二值化譜圖Ma(Ma∈{0,1}N×100);②將二值化譜圖Ma中的寬帶干擾所在頻點置零后抽出非零幀,由前100幀非零幀得到分辨率為100×100的待測譜圖Md(Md={0,1}100×100),不足100幀時用全零幀補足;③用得到的待測譜圖Md訓練神經網絡;④通過已訓練好的殘差神經網絡ResNet-34,識別出當前無人機是否存在及其機型。

1.1 采集無人機遙控信號時頻譜圖Mt

采用圖2所示的無人機遙控信號識別系統對中心頻率fc附近100 MHz帶寬(共S個頻點)進行N次連續的頻譜快照,形成具有N幀的單張譜圖Mt∈RN×S。因實驗設備無法一次性掃描100 MHz帶寬,故將連續采集的多段相鄰頻率的頻譜拼接成100 MHz,以此作為單次頻譜快照。滑動讀入譜圖Mt示意如圖3所錄,其中n=50,N=20n。

圖2 本文采用的無人機遙控信號識別系統

圖3 滑動讀入譜圖Mt示意圖

1.2 數據預處理

數據預處理包括計算聯合自適應閾值Ath、二值化譜圖Ma∈{0,1}N×100以及構造待測譜圖Md∈{0,1}100×100這3個步驟。

(1)

式中:E為均值;σ為標準差;erf(x)為誤差函數;P為恒定的虛警概率。但該方法不適用于復雜的電磁環境,會導致較多噪聲在檢測閾值之上,對無人機信號譜圖造成較大污染。

本文提出了一種新的聯合自適應閾值計算方法,在可接受的虛警概率范圍內,最大限度的將漏警率降到最低,即計算出的檢測閾值最低,盡可能貼近底噪,同時讓絕大部分噪聲低于信號檢測閾值。方法基本思路是采用兩種不同的閾值計算方法,最后取較低的閾值作為最后的檢測閾值Ath,該方法的優點是計算出的檢測閾值兼有較高的穩定度與精確度。

方法一在本課題組之前發表的論文[24]中提出了利用二次求平均值的方法計算檢測閾值,主要思路是先計算當前幀的第一次均值E1與標準差σ1。

(2)

(3)

(4)

方法一與方法二聯合求解取最小值后,可在保證檢測閾值精度的同時也保證其穩定性,即聯合自適應檢測閾值計算。

1.2.2 二值化譜圖Ma以對抗隨機噪聲與雜散信號 文獻[24]中提出了一種基于譜圖峰值尋找與帶寬計算的映射方法,該方法的好處是能夠精確計算出窄帶信號的帶寬,但無法測得Wifi等寬帶信號的峰值與帶寬,而本文算法中二值化譜圖Ma帶寬分辨率為1 MHz,對帶寬精度要求不高。為簡化運算,本文改為對每1 MHz帶寬進行一一檢索的方法,從而實現二值化映射。

(1)對抗隨機噪聲。將譜圖Mt高于閾值Ath的頻點置為1,其他頻點置為0。

(2)對抗雜散信號。首先,計算出Mt中每1 MHz所包含的頻點總數s1 MHz

(5)

然后,初始化Ma為全零矩陣,統計出當前幀(記為第i幀,1≤i≤N)第jMHz中數值高于檢測閾值Ath的頻點數,記為hj,并按照如下規則進行映射

Maij=1

(6)

具體映射過程如圖4所示。重復上述步驟,遍歷Mt即可將其映射為二值化譜圖Ma。

圖4 二值化映射示意圖

由于雜散信號帶寬極窄,而無人機遙控信號帶寬大于0.3 MHz,進一步增強了算法的魯棒性。

1.2.3 構造待測譜圖Md以對抗寬帶干擾 WiFi寬帶干擾往往不會充滿所有時刻,故可將WiFi干擾直接從檢測其存在的頻譜快照中剔除。

圖5 二值化譜圖Ma與的映射關系

1.3 用待測圖譜Md訓練殘差神經網絡

卷積神經網絡具有優異的分類性能,且隨著各層神經元個數的增加,或層數的加深,網絡性能往往能得到有效提升,深層網絡一般會比淺層網絡效果更好[25]。更深的網絡能學習到更加復雜的表達,更寬的網絡則意味著每一層映射能力會增強,但對網絡整體性能的提升有限。由于不同型號的無人機遙控信號的譜圖都存在差異,且隨著數據集中無人機機型的完善,需要神經網絡具有足夠的分類能力,故選擇采用更深層網絡。而神經網絡深度超過了一定層數后性能反而會出現退化,殘差神經網絡則是一個有效的解決方案[26]。殘差塊定義如圖6所示。

圖6 殘差塊的定義

圖6中F(x)表示殘差函數,記網絡輸出函數H(x)=F(x)+x,可得到

H(x)=F(x,{Wi})+Wsx

(7)

式中:F(x,{Wi})可表示x通過多個卷積層;Ws是為了保證(6)式中F(x,{Wi})與x維度相同而做的線性變換。由于殘差塊的組成包括兩個隱層,可得

H(x)=W2σ(W1x)+Wsx

(8)

式中,σ代表Relu函數

Relu(x)=max(0,x)

(9)

殘差神經網絡ResNet34主要由基本單元Ⅰ(殘差塊)、基本單元Ⅱ(下采樣殘差塊)構成,如圖7、圖8所示。

圖7 ResNet-34的基本單元Ⅰ

圖8 ResNet-34的基本單元Ⅱ

對于圖7、圖8中3×3卷積核,記輸入矩陣為x,單次卷積的輸出結果為ui,j,其計算公式如下

(10)

式中:w為卷積核權重;下標i、j與m、n都分別表示行、列號。

神經網絡識別遙控信號可避免跳頻周期、速率等特征難以準確提取的問題。而加入殘差結構能克服深層網絡性能退化的現象,增強網絡的分類和泛化能力,適用于多機型的遙控信號識別。

圖9為ResNet34網絡的結構圖。其中,Pool代表2×2的最大池化層,Avg pool指平均池化層,Fc是全連接層,Conv(3×3,d)代表卷積核大小為3×3的卷積層,d=64、256、128,512代表了通道數。網絡包括16個殘差結構和2個池化層,總計34層。

圖9 ResNet-34結構圖

2 實 驗

本文測試系統由天線、接收機及筆記本電腦組成,選取了大疆精靈Ⅲ、九鷹、Futaba T14SG、天地飛07等幾種國內常見型號的無人機遙控器,采用本文算法進行識別驗證,測試場景如圖10所示。

(a)測試大疆精靈Ⅲ遙控器

實驗中,系統連續掃描100 MHz帶寬頻譜(單次最大掃描帶寬為20 MHz,本實驗將連續5個時刻的相鄰的20 MHz頻譜拼接),中心頻率依次選擇為2.44 GHz與5.775 GHz。實驗結果表明,在50、25、1 kHz的頻譜分辨率帶寬下本文算法均能較為準確地識別到無人機遙控信號及其型號。此外,在信號發射源產生窄帶突發干擾、路由器產生WiFi寬帶干擾下,本文算法均取得了較好的識別效果,證明算法具有較強的魯棒性。

圖11展示了聯合自適應閾值計算法的實驗結果,根據實測數據比較了閾值計算方法一(利用二次求平均值)、方法二(基于最小值濾波器)、方法三(基于中值濾波器)計算出的閾值結果。從圖11可以看出閾值計算方法二在保證錯誤率相同的情況下,利用最小值濾波器求出來的閾值更貼近底噪。但閾值計算方法二在捕捉到遙控信號較為密集時,其閾值計算結果可能不夠穩定。方法一則相較于方法二更穩定。

圖11 不同方法的閾值計算結果比較

聯合閾值計算方法一與方法二求解,能夠使閾值足夠貼近底噪,且具有較強的魯棒性。

以大疆精靈Ⅲ型無人機遙控信號實測數據為例,圖12a是由N=1 000次頻譜快照形成的包含S=2 381個采樣頻點的100 MHz頻帶。圖12b則表示抽取N=100次包含遙控信號的頻譜快照形成的100 MHz頻帶,有S=100個采樣頻點。

(a)大疆精靈Ⅲ型實測遙控信號譜圖Mt

對比圖12a、12b不難看出,經過預處理后的待測譜圖Md特征更為明顯,隨機噪聲以及定頻、寬帶干擾都被有效壓制,相較于原始的譜圖Mt更易于識別到無人機遙控信號。

寬帶干擾的譜圖預處理結果如圖13所示,圖13a是大小為100×100的WiFi信號二值譜圖(由捕捉到的50余幀WiFi信號頻譜快照構成),圖13b為將圖13a剔除寬帶干擾后構成的待測譜圖Md。其中,橫坐標1～100分別代表100相鄰個頻點,縱坐標則依次代表100個時刻的頻譜快照,亮點代表該頻點值為1,其余頻點值為0。

(a)剔除全零幀后WiFi信號的二值譜圖

從圖13可以看出在檢測信號時,寬帶干擾信號的譜圖通過預處理后,基本得到剔除,對無人機遙控信號檢測影響較小。而對于包含定頻或突發窄帶干擾的譜圖,在預處理后對無人機遙控信號檢測基本不構成影響。

通過對包含不同類型無人機遙控信號以及包含寬帶干擾、突發窄帶干擾、定頻干擾的譜圖Mt預處理后,得到由多類待測譜圖Md構成的數據集,即UAV-STFT數據集。本次實驗中訓練集共包含1 980個樣本,驗證集443個樣本,測試集500個樣本。圖14a、b、d分別展示了兩種機型與預處理前后WiFi干擾信號的訓練樣本。

(a)大疆精靈Ⅲ的訓練樣本

用一位有效編碼規則為UAV-STFT數據集制作多類標簽。用標記好的數據集訓練方法中的給出的經預訓練的34層殘差神經網絡,優化算法使用Adam,經多次迭代后,ResNet34網絡的訓練結果如圖15所示。

圖15 ResNet-34訓練結果

由于現階段采集到的用于訓練的無人機遙控信號種類還較少,網絡較好地完成了分類任務。整個訓練集損失和測試集損失也是一直在呈現明顯下降的趨勢,說明網絡沒有出現過擬合。若需要識別更多的機型,可擴大UAV-STFT數據集,新增更多的無人機遙控信號類型標簽,然后在原先網絡的基礎上繼續訓練,微調網絡參數。ResNet殘差神經網絡具有較好的多分類效果,適用于解決多類無人機遙控信號分類。

在頻譜分辨率帶寬為25 kHz、中心頻率為2.44 GHz,在0～10 dB范圍的信噪比下,連續采集大量的九鷹、大疆精靈Ⅲ型無人機遙控信號實測數據進行測試,最終擬合計算出信噪比與檢測成功率的曲線,如圖16所示。

圖16 2種無人機的信噪比與檢測成功率關系曲線

識別過程中干擾信號強度對檢測算法沒有直接影響,干擾增強主要是通過增強底噪,進而影響閾值計算,最后間接影響本文提出的算法。如果識別過程中干擾信號增強沒有抬升底噪,則基本不影響閾值計算,經過二值化后,干擾將被剔除。

3 結 論

本文提出了一種采用殘差神經網絡來識別無人機遙控信號的算法,并搭建原型機系統測試。首先通過滑動時間窗來讀入時頻譜圖,并以聯合自適應的方法計算信號頻譜檢測閾值;然后對已讀入的時頻譜圖進行二值化、剔除干擾等預處理操作,構造待測譜圖;接著將大量實測的不同機型遙控信號待測譜圖作為數據集來訓練和測試殘差神經網絡。最終由訓練好的網絡實時識別當前遙控信號是否存在及其所屬機型。

(1)滑動地讀入譜圖,每更新20幀頻譜數據便可得到當前新的識別結果,耗時僅為原先單次識別的1/25。而直接處理譜圖計算量過于龐大,本文地將譜圖抽象為二值化的待測譜圖,變成了1萬個二值頻點,極大地簡化了運算。

(2)所提出的聯合自適應閾值計算,滿足了動態更新的特性,并在保證閾值計算穩定性的同時,增加了計算的精確性。在相同誤檢率下,DRN-UAV算法得到的信號頻譜檢測閾值相比傳統方法降低了1.4 dBm。

(3)本文算法的通過生成二值化譜圖與待測譜圖使算法和系統具有較強的魯棒性,當信噪比高于5.5 dB時,在單個窄帶定頻信號和WiFi干擾下,檢測錯誤率能達到0.01%以內。