基于AE-LSTM網(wǎng)絡模型的機場周界入侵報警及分類算法

許奕杰， 王 嶸， 萬永菁， 孫 靜

（1. 華東理工大學信息科學與工程學院，上海 200237；2. 上海卓希智能科技有限公司研發(fā)部，上海 201611）

隨著飛機逐漸成為人們出行的首選，機場的人流日趨密集，安全問題顯得尤為重要。機場周界是機場飛行區(qū)與外界隔離的第一道安全屏障，擔負著保障飛行區(qū)安全的重任[1]。

傳統(tǒng)的周界入侵報警系統(tǒng)所采用的探測技術(shù)大致可以分為4種類型：對射遮擋、依附探測、物理感應和智能視頻監(jiān)控[2]，主要包括紅外探測[3]、激光對射[4]、張力圍欄[5]、埋地電纜以及振動光纖[6]等。現(xiàn)階段各大機場采用的智能周界入侵報警系統(tǒng)均基于此類傳統(tǒng)探測技術(shù)，例如廣州白云機場采用振動電纜智能檢測技術(shù)并輔以微波對射檢測技術(shù)；昆明長水機場采用振動電纜智能檢測技術(shù)并輔以泄漏電纜檢測技術(shù)等。這些技術(shù)和所采用的設備受大風、暴雨、大雪等客觀條件的影響較大，極易產(chǎn)生誤報。同時，這類機場周界入侵報警系統(tǒng)僅僅只能實現(xiàn)報警的功能，而不能實現(xiàn)對具體入侵行為的識別。中國民用航空局2017年提出了新版本的《民用運輸機場安全保衛(wèi)設施》[7]，因此對周界入侵行為進行準確識別成為了機場安防領(lǐng)域最重要的研究方向之一。對于周界網(wǎng)振動信號，傳統(tǒng)的信號處理方法（例如傅里葉變換和小波變換）雖然可以提取信號時頻域上的特征，但在惡劣天氣的干擾下，提取到的特征極為相似，無法完成準確分類。而利用傳統(tǒng)的神經(jīng)網(wǎng)絡（例如BP神經(jīng)網(wǎng)絡）雖然可以提高一定的分類準確率，但依然無法達到行業(yè)應用要求。北京博睿視科技有限公司2017年公開了一種基于深度學習的周界報警算法[8]，通過卷積神經(jīng)網(wǎng)絡對監(jiān)控視頻幀進行分類，最終實現(xiàn)對人的識別，然而，該算法的研究依然停留在理論階段。基于這類情況，本文研究將機器學習技術(shù)引入機場安防領(lǐng)域。

長短時記憶（Long Short Term Memory，LSTM）網(wǎng)絡最初是為了解決傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡訓練過程中產(chǎn)生的梯度消失或梯度爆炸問題而被提出的，隨著LSTM的發(fā)展，越來越多的基于LSTM的網(wǎng)絡模型諸如深度雙向LSTM（DB-LSTM）[9]、卷積殘差記憶網(wǎng)絡（CRMN）[10]等被成功應用于語義識別、情感分析、股市預測等領(lǐng)域，證明了LSTM網(wǎng)絡在處理非穩(wěn)態(tài)時序信號上的優(yōu)越性。因此，本文以LSTM網(wǎng)絡為核心，搭建自編碼長短時記憶（AE-LSTM）網(wǎng)絡模型，對不同機場周界入侵行為進行分類，尤其是將極難區(qū)分的大風狀態(tài)與入侵行為區(qū)分開，令機場周界入侵報警系統(tǒng)在降低誤報率的同時，可以對不同的入侵行為進行準確識別。

1 機場周界入侵報警系統(tǒng)

1.1 系統(tǒng)架構(gòu)

機場周界入侵報警系統(tǒng)的整體架構(gòu)如圖1所示。系統(tǒng)將周界網(wǎng)的振動狀態(tài)分為5類，包括靜止狀態(tài)(Stillness)、大風狀態(tài)(Wind)、攀爬狀態(tài)(Climbing)、踢網(wǎng)狀態(tài)(Kicking)以及鋸網(wǎng)狀態(tài)(Sawing)，其中，靜止狀態(tài)和大風狀態(tài)為正常狀態(tài)，不需要報警；攀爬狀態(tài)、踢網(wǎng)狀態(tài)和鋸網(wǎng)狀態(tài)為入侵行為，需要報警，優(yōu)先級從高到低排列分別為鋸網(wǎng)狀態(tài)、攀爬狀態(tài)、踢網(wǎng)狀態(tài)。懸掛在周界網(wǎng)上的慣性測量單元（Inertial Measurement Unit，IMU）采集5類振動狀態(tài)的信號數(shù)據(jù)，IMU在周界網(wǎng)上的懸掛方式如圖1所示，其中灰色矩形為單個IMU。每個IMU輸出以X、Y、Z三軸為中軸的角速度數(shù)據(jù)，其中X、Z軸平行于網(wǎng)面，Y軸垂直于網(wǎng)面。以攀爬狀態(tài)為例，三軸輸出數(shù)據(jù)波形如圖1(a)、(b)、(c)所示。為了降低系統(tǒng)的運算量，選取含有最豐富振動信息的Y軸作為表征網(wǎng)面振動的信息源，構(gòu)建數(shù)據(jù)集。信號采集完畢后，將信號傳遞到對應的分組處理器中，每個分組傳感器負責處理相鄰3片網(wǎng)的振動信號，完成報警及對入侵行為的分類。每百米范圍存在一個區(qū)域控制器，負責收集范圍內(nèi)分組處理器和毫米波雷達的數(shù)據(jù)，其中，毫米波雷達用于對入侵行為進行預警。區(qū)域控制器和監(jiān)控攝像機的數(shù)據(jù)經(jīng)交換機匯總后，分別存入數(shù)據(jù)處理服務器和視頻服務器。計算機端的監(jiān)控軟件可以顯示機場周界全范圍即時的報警信息，并且可以隨時實現(xiàn)對數(shù)據(jù)的調(diào)用和查看。

圖1 機場周界入侵報警系統(tǒng)架構(gòu)Fig. 1 Framework of airport perimeter intrusion alarm system

1.2 機場周界入侵報警與分類算法

本文提出的機場周界入侵報警與分類算法嵌入在機場周界入侵報警系統(tǒng)中，其流程如圖2所示。在數(shù)據(jù)處理階段，首先采集5類周界網(wǎng)振動狀態(tài)的信號數(shù)據(jù)，選擇其中合適的信號數(shù)據(jù)進行預處理，包括濾波、歸一化和分幀；然后對處理后的信號進行數(shù)據(jù)增強，擴充算法的訓練集，使數(shù)據(jù)可以更加全面地覆蓋振動發(fā)生時的各種情況；最后將原始數(shù)據(jù)和增強后的數(shù)據(jù)合并，構(gòu)成算法的訓練集，并利用交叉驗證的方法從原始數(shù)據(jù)中抽取部分數(shù)據(jù)作為測試集。在模型訓練階段，利用AE-LSTM模型對訓練集進行訓練，模型的核心為LSTM網(wǎng)絡，通過其在時序上的記憶能力完成對不同入侵行為的分類。考慮到下層處理器的運算和存儲能力有限，需要盡可能地減少網(wǎng)絡的參數(shù)，而LSTM網(wǎng)絡的參數(shù)主要由輸入層的維度與隱含層的神經(jīng)元個數(shù)決定，因此，引入自動編碼器（Auto Encoder，AE）對原始輸入信號進行降維與特征提取，最終通過Softmax層輸出網(wǎng)絡的分類結(jié)果。

1.2.1 數(shù)據(jù)采集 通過安裝在周界網(wǎng)上的IMU采集周界網(wǎng)在不同振動狀態(tài)時的數(shù)據(jù)，采樣頻率為50 Hz。數(shù)據(jù)采集結(jié)果如圖3所示，其中每列為同類振動狀態(tài)的不同振動情況。

圖2 算法流程圖Fig. 2 Flowchart of algorithm

圖3 不同振動狀態(tài)波形圖Fig. 3 Waveforms of different vibration states

1.2.2 數(shù)據(jù)預處理 數(shù)據(jù)預處理包括濾波、歸一化和分幀3個操作。為了防止原始數(shù)據(jù)中存在偶然的波動干擾現(xiàn)象，采用5點中值平均濾波法，連續(xù)采樣目標點附近的5個數(shù)據(jù)，去掉其中的最大值和最小值，然后將目標點的原始數(shù)據(jù)替換為剩余的3個點的算數(shù)平均值；歸一化采用離差標準化方法，將原始數(shù)據(jù)映射到 [ 0,1] 之間；分幀操作采用滑動窗法，使用窗長為N的滑動窗以小幅Ns步進自左向右遍歷序列。通過觀察和實驗發(fā)現(xiàn)N=125 、Ns=20 時，分幀效果最佳。

1.2.3 數(shù)據(jù)增強 神經(jīng)網(wǎng)絡的訓練通常依賴大量數(shù)據(jù)，當訓練數(shù)據(jù)不足時，網(wǎng)絡將難以學習到不同分類的全局特征。因此對于小數(shù)據(jù)集，有必要進行數(shù)據(jù)增強，以擴充原數(shù)據(jù)未能覆蓋的輸入空間，增強神經(jīng)網(wǎng)絡模型的泛化能力。

對于本數(shù)據(jù)集的時間相關(guān)序列X，采用與時間無關(guān)的方法，通過對各個采樣點幅值進行微小的縮放，模擬振動的全局特征，如式(1)和式(2)所示。

式中：n為原始數(shù)據(jù)采樣點個數(shù)；S為隨機生成的縮放矩陣，服從均值 μ =1 、標準差為 σ 的高斯分布。其中， σ 取值太小會導致數(shù)據(jù)增強沒有效果，取值太大則會導致振動特性發(fā)生變化，最終選取 σ 為[0.2,0.5] 內(nèi)的隨機值。不同 σ 的數(shù)據(jù)增強效果如圖4所示，其中 σ =0 表示原始數(shù)據(jù)。

圖4 數(shù)據(jù)增強效果Fig. 4 Effect of data enhancement

圖5 AE-LSTM網(wǎng)絡模型結(jié)構(gòu)Fig. 5 Structure of AE-LSTM network model

1.2.4 AE-LSTM網(wǎng)絡模型 AE-LSTM網(wǎng)絡模型結(jié)構(gòu)如圖5所示。從圖5中可以看出，模型的第一部分為AE。AE可以看作是神經(jīng)網(wǎng)絡的一種，是一種無監(jiān)督學習算法，其嘗試逼近一個恒等函數(shù)，使得網(wǎng)絡的輸出無限接近于網(wǎng)絡的輸入，最終網(wǎng)絡的訓練誤差越小，則AE訓練的效果越好[11]。本文采用欠完備的AE，通過限制AE的隱含層神經(jīng)元個數(shù)小于輸入層神經(jīng)元個數(shù)，迫使AE捕捉最顯著的特征。設置AE為一個125×64×125的3層網(wǎng)絡，輸入層和輸出層均包含125個神經(jīng)元，令輸出層輸出結(jié)果{x?1,x?2,···,x?125} 等于輸入層的輸入 {x1,x2,···,x125} ，隱含層神經(jīng)元數(shù)目的選擇對模型的效率有一定的影響，經(jīng)實驗驗證，64為效果最好的隱含層神經(jīng)元個數(shù)。AE分為編碼器和解碼器兩部分，編碼器用于將輸入信號{x1,x2,···,x125} 編碼成為 {h1,h2,···,h64} ，編碼器的輸出結(jié)果可以表示為

式中：i=1,2,···,125 ；j=1,2,···,64 ；wij為對應的xi到hj的連接權(quán)值；bj為對應的hj上的偏置；f(·) 為Sigmoid激活函數(shù)。

解碼器用于將編碼器的輸出結(jié)果{h1,h2,···,h64}解碼成為 {x?1,x?2,···,x?125} ，解碼器的輸出結(jié)果可以表示為

式中：i=1,2,···,125 ；j=1,2,···,64 ；w′ji為對應的hj到x?i的 連 接 權(quán) 值；b′i為對 應的x?i上 的 偏 置；g(·)為Sigmoid激活函數(shù)。值，完成網(wǎng)絡的訓練。最終所得到的隱含層輸出結(jié)果 {h1,h2,···,h64} 即為輸入信號的隱含編碼特征。將連續(xù)5幀輸入信號的隱含編碼特征按時間順序組合，即形成樣本在時間上連續(xù)的融合特征向量矩陣。

模型的第二部分為LSTM網(wǎng)絡。LSTM是循環(huán)神經(jīng)網(wǎng)絡（RNN）的衍生，傳統(tǒng)的RNN由于其遞歸結(jié)構(gòu)，可以將時間序列的上下文信息聯(lián)系起來[12]，學習與時間相關(guān)的特征，但是當訓練的序列過長時，會出現(xiàn)梯度消失或者梯度爆炸的問題，而LSTM通過引入3個“門”的機制，選擇性地讓信息通過[13]，使網(wǎng)絡擁有更長時間上的依賴能力。單個LSTM細胞結(jié)構(gòu)如圖6所示。

圖6 LSTM細胞結(jié)構(gòu)Fig. 6 Structure of LSTM cell

遺忘門（Forget gate）決定在當前狀態(tài)中丟棄哪些信息。

結(jié)合遺忘門的信息，可以得到當前的細胞狀態(tài)Ct為

輸出門（Output gate）決定當前狀態(tài)輸出的內(nèi)容ht，由細胞狀態(tài)將要被輸出的部分ot和當前細胞狀態(tài)Ct確定。

式(5)～式(10)中： σ (·) 為Sigmoid激活函數(shù)；W?和b?分別為各激活函數(shù)的權(quán)重和對應的偏置，?∈{f,i,o,C}（即分別對應遺忘門、輸入門、輸出門、tanh層）；ht?1為上一時刻的輸出；xt為當前時刻的輸入；Ct?1為上一時刻細胞的狀態(tài)。

LSTM網(wǎng)絡中每個LSTM細胞包含一個隱含層，隱含層有128個神經(jīng)元。AE訓練完成后，將連續(xù)5幀信號的編碼器輸出結(jié)果 {h1,h2,···,h64} 縱向堆疊，形成時間上連續(xù)的融合特征向量矩陣，將該矩陣作為LSTM網(wǎng)絡的輸入，每次輸入1幀信號的隱含特征向量（即矩陣的1行），連續(xù)輸入5次。最終，取最后一個LSTM細胞的輸出結(jié)果，通過全連接層和Softmax層將最終分類結(jié)果以概率分布的形式輸出。

2 結(jié)果分析

2.1 樣本數(shù)據(jù)集

對于各分類的原始數(shù)據(jù)，進行振動狀態(tài)的端點檢測，選取信號中含振動信息的有效部分，然后按照上述方法進行數(shù)據(jù)預處理后，將連續(xù)5幀作為一個樣本，隨機選取部分樣本作為測試集，其余作為訓練集。隨后，對訓練集進行數(shù)據(jù)增強，構(gòu)成完整的數(shù)據(jù)集。數(shù)據(jù)集的詳細設置如表1所示。

表1 數(shù)據(jù)集各分類樣本數(shù)Table 1 Number of each classification sample in dataset

2.2 報警結(jié)果分析

本文采用多個不同的神經(jīng)網(wǎng)絡模型針對同一數(shù)據(jù)集的分類結(jié)果進行對比分析，采用的網(wǎng)絡模型分別為LSTM網(wǎng)絡模型、AE-BP網(wǎng)絡模型和BP網(wǎng)絡模型，其中，AE-BP網(wǎng)絡模型利用AE提取的特征進行BP神經(jīng)網(wǎng)絡的訓練，BP網(wǎng)絡模型則是直接利用原始信號數(shù)據(jù)進行訓練。各個網(wǎng)絡模型的基本參數(shù)如表2所示，除網(wǎng)絡最終的輸出層采用Softmax作為激活函數(shù)外，其余層均采用Sigmoid作為激活函數(shù)。

為了更全面地對網(wǎng)絡性能進行分析與評價，引入各個網(wǎng)絡模型針對測試集報警的精確率（Precision）、召回率（Recall）和F1值作為評價指標，計算公式如下：

表2 實驗網(wǎng)絡模型參數(shù)對比Table 2 Parameters comparison of network models

其中：TP表示正類判定為正類；FP表示負類判定為正類；FN表示正類判定為負類。評價指標對比結(jié)果如圖7所示。

從圖7中可以看出，使用基本的BP網(wǎng)絡模型直接進行報警的判斷效果很差，有大量的誤報和漏報現(xiàn)象。而增加了自動編碼器后，網(wǎng)絡模型的各項指標都得到了提升，表明自動編碼器可以很好地提取信號的隱含特征，所提取的特征也能很好地反映信號的特點。AE-LSTM網(wǎng)絡模型的召回率為1.00，表示完全杜絕了漏報的現(xiàn)象，精確率為1.00，表示同樣沒有誤報現(xiàn)象產(chǎn)生，達到了行業(yè)應用標準。而其余3種網(wǎng)絡模型召回率均沒有達到1.00，表示存在一定的漏報現(xiàn)象，這在安防領(lǐng)域是絕對不被允許的。綜合精確率和召回率計算得到了網(wǎng)絡模型的F1值，可以看出AE-LSTM網(wǎng)絡模型具有最良好的性能。

另外，本文通過網(wǎng)絡模型的參數(shù)數(shù)量和浮點運算次數(shù)（Floating Point Operations，F(xiàn)LOPs）比較模型的復雜度，結(jié)果如表3所示，其中，乘法與加法都記為一次浮點運算。

圖7 各網(wǎng)絡模型報警評價指標對比Fig. 7 Comparison of evaluation indicators for alarms of each network model

表3 網(wǎng)絡模型復雜度對比Table 3 Comparison of complexity between two network models

綜合分析圖7和表3可知，AE的引入不僅提高了網(wǎng)絡模型的識別準確率，同時為網(wǎng)絡模型減少了參數(shù)和運算量，減輕了處理器的負擔。

2.3 振動狀態(tài)分類結(jié)果分析

為了進一步比對模型在不同類別上的性能，選取F1值最高的兩個網(wǎng)絡模型，計算兩者對測試集的預測結(jié)果的混淆矩陣（Confusion matrix）并歸一化，結(jié)果如圖8和表4所示，其中，行為標簽類別，列為預測類別。

圖8中，值越大則顯示的顏色越接近白色，值越小則越接近黑色，左上到右下的對角線表示識別正確的情況，其余方格表示識別錯誤的情況。從圖8和表4中可以明顯看出，LSTM網(wǎng)絡模型在各類的識別準確率上均不如AE-LSTM模型，尤其對于大風狀態(tài)的識別很差，準確率僅有0.76，極易與踢網(wǎng)狀態(tài)和鋸網(wǎng)狀態(tài)混淆，在對其他狀態(tài)的識別中也存在較多識別錯誤的情況。而AE-LSTM模型對刮風狀態(tài)的識別準確率達到了0.98，在其他各個類別的識別上也都達到了很不錯的準確率，只有極個別識別錯誤的情況，很好地實現(xiàn)了對不同振動狀態(tài)的分類。

最后，將AE-LSTM網(wǎng)絡模型與文獻[8]的算法進行對比。該算法利用一個包含14個卷積層、4個池化層和3個全連接層的卷積神經(jīng)網(wǎng)絡學習連續(xù)的監(jiān)控視頻幀的特征，實現(xiàn)對入侵對象的判別，而本文的AE-LSTM網(wǎng)絡模型可以識別不同的入侵行為，更加符合機場安防的實際應用場景。另一方面，文獻[8]算法的網(wǎng)絡結(jié)構(gòu)也遠比本文提出的網(wǎng)絡模型復雜，因此，AE-LSTM網(wǎng)絡模型在機場周界入侵報警系統(tǒng)的實際應用中具有更大的優(yōu)勢。

圖8 AE-LSTM網(wǎng)絡模型與LSTM網(wǎng)絡模型混淆矩陣對比Fig. 8 Comparison between confusion matrixs of AE-LSTM and LSTM

表4 AE-LSTM網(wǎng)絡模型與LSTM網(wǎng)絡模型混淆矩陣對比Table 4 Comparison between confusion matrixs of AE-LSTM and LSTM

3 結(jié) 論

本文通過對機場周界網(wǎng)的振動信號的處理和分析，首度將機器學習方法引入了機場安防領(lǐng)域，提出了一種AE-LSTM網(wǎng)絡模型。在以LSTM網(wǎng)絡為核心進行識別的基礎(chǔ)上，通過引入AE的方式，在提取信號的隱含特征的同時減小網(wǎng)絡模型的復雜度。該模型在杜絕漏報的前提下，極大地降低了誤報率，使得機場的周界入侵報警系統(tǒng)更加準確與智能。與機場現(xiàn)有的周界入侵報警系統(tǒng)相比，AE-LSTM網(wǎng)絡模型可以在很大程度上降低機場的人力成本。同時，該模型在準確完成報警的前提下，進一步對入侵行為進行分類，達到了很高的分類準確率，根據(jù)分類結(jié)果可以排列入侵行為的優(yōu)先級，以提高對入侵問題進行處理的效率。現(xiàn)階段已實現(xiàn)了對入侵行為較為準確的分類，如何在更加復雜的場景，例如極惡劣天氣影響下完成準確分類并進一步提高系統(tǒng)的時效性將成為下一步的研究目標。