基于SE-TCN的無人機異常時間序列檢測

周激揚　康維新

關鍵詞：無人機；異常檢測；時序卷積神經網絡；通道注意力機制

一、引言

無人機以其機動性好、價格低廉、方便快捷、無人駕駛等優點受到世界各國的重視，并且在軍事和民用領域都得到了廣泛應用[1]。然而，無人機在飛行過程存在諸多影響因素，這些因素能夠對無人機飛行質量造成限制，同時降低無人機在各個領域應用價值，為從根本上解決這些因素的實際危害，異常檢測技術逐漸成為無人機的應用要點。傳感器所采集到的無人機數據通常以時間序列的形式展現，無人機數據是一系列與飛行和運行狀態相關的參數， 而無人機數據異常檢測技術旨在監測航空器關鍵部件的狀態、發現機組飛行操縱等問題，從而完成對無人機設備的故障預測與健康管理工作，有利于維修維護、消除安全隱患和確保飛行安全。隨著機器學習技術的發展，神經網絡被運用于處理數據量龐大的時間序列中，并且對于時間序列中數據所產生的異常進行檢測與預測。在機器學習模型進行時間序列建模過程中，時間序列預測可以判斷事物發展趨勢，高效的預測模型可為應用決策提供有力依據。

二、時序卷積神經網絡

時域卷積神經網絡（Temporal Convolution Network，TCN）是Shaojie Bai 等人在卷積神經網絡的基礎上提出的一種用于處理時間序列數據的網絡結構。TCN 網絡由多個殘差模塊組成，每個殘差模塊中包含空洞因果卷積（Dilated Causal Convolution）、非線性激活函數、Dropout 和恒等映射網絡。非線性激活函數、Dropout 和恒等映射網絡能夠有效抑制網絡過擬合，提高網絡學習速度和準確率。空洞因果卷積中的擴張因子和卷積核大小與TCN 感受野范圍有關，越大的擴張因子和卷積核，TCN 擁有越大的感受野。同時，擴張因子會隨著卷積層基于SE-TCN 的無人機異常時間序列檢測的加深呈現指數式增量，這保證TCN 能夠處理更長的時間序列數據[7]。

為了使TCN 不僅僅是一個過于復雜的線性模型，需要在卷積層的頂部添加ReLU 激活函數[8] 來引入非線性。非線性激活函數ReLU 在一定程度上解決了軟飽和的情況，當X ＞ 0 時可以保持梯度不降，使得梯度消失問題得到解決。同時，為了防止過擬合，在每個剩余塊的每個卷積層之后通過Dropout 引入正則化。

已經有研究證明，在時間序列預測和分類任務中，時間卷積網絡在多種任務和數據集上的性能優于LSTM、GRU 等典型的遞歸神經網絡，相比于遞歸神經網絡，TCN 可以記住更長的歷史信息，捕獲更全局的時間序列特征。

三、通道注意力機制

注意力機制作為一種人類處理信息時采用的機制，它能夠幫助模型更好地學習不同屬性之間的相互關系，防止神經網絡在訓練過程中給每一個預測因子賦予相同的權值，忽略其中的重要信息[9]。本文引入通道注意力機制，通過計算時序卷積神經網絡中各個隱藏層輸出的向量權重，對于不同的異常類型，突出影響較大的特征，從而提高異常檢測精確度。

由于輸入到網絡中的時間序列復雜多樣，一般經過傳統TCN 比較困難提取顯著性信息。為了使網絡模型更像人類感知系統一樣具有提取高價值，顯著性信息的能力，在模型中融入注意力機制具有重要意義。因此，本文設計了一種通道注意力模塊，在通道注意力的基礎上，加上了全局最大池化（Global Max Pooling ，GMP） 結構，使得網絡能夠重點關注最重要通道信息，增大顯著性特征的權重，提取顯著性特征，在特征通道維度上充分挖掘重要時間序列特征信息，提取到更加具有層次感和判別力的特征。

通道注意力機制分為以下三個部分：

（1）Squeeze（Fsq）：通過全局平均池化，將每個通道的二維特征（H×W）壓縮為1 個實數，將特征圖從 [h，w， c] ==> [1，1，c]。

（2）Excitation（Fex）：給每個特征通道生成一個權重值，論文中通過兩個全連接層構建通道間的相關性，輸出的權重值數目和輸入特征圖的通道數相同。[1，1，c]==> [1，1，c]。

（3）Scale（Fscale）：將前面得到的歸一化權重加權到每個通道的特征上，并逐一將通道乘以權重系數。[h，w，c]×[1，1，c] ==> [h，w，c]。

針對時序卷積神經網絡本身所具有時空特性，其每個隱藏層都能包含歷史時間序列的信息。對于隱藏層進行全局池化，針對各個隱藏層增加注意力，生成權重。對于各個隱藏層的權重值進行歸一化操作，取每個隱藏層輸出效果均值與分配的權重，得到最終檢測精度。

四、實驗與分析

（一）實驗環境

本文實驗采用Pytorch 深度學習框架，使用Python語言編程實現， 實驗運行環境為 JetBrains PyCharmCommunity Edition 軟件，操作系統為Windows 10（64 位），內存為16GB，通過RTX-2060 GPU 加速，完成實驗。

（二）數據獲取

在Ubuntu 系統中開啟的Ardupilot 無人機仿真器，針對微電機的電流數據、電池輸出電壓數據和傳感器的三軸加速度數據等數據進行仿真，得到正常數據集。對于完成仿真得到的無人機正常數據集進行異常注入。固定值零點漂移異常是指傳感器的輸出值在某一時刻開始出現一個常量偏置誤差的情況，這個常量大多情況是波動的，理想狀態下保持不變，該值可以為正值也可以為負值。

（三）參數選取

為了防止過擬合，通過訓練集訓練預測模型，并通過驗證集進行Early stop 以防止模型在訓練集出現Overfitting 的現象。每組樣本數Batch_Size = 100，Dropout 比率為0.2，優化 器選擇隨機梯度下降算法時，TCN 預測效果較好。Kernel Size 等于2，即每一層的輸入，是上一層的兩個時刻的輸出，Dilations = [1， 2， 4， 8]，即每一層的輸入的時間間隔有多大，Dilation=4，即上一層每前推4 個時間進一步地輸出，作為這一層的輸入，直到取夠Kernal size 個輸入。由于時間序列波動性較大，滑動窗口長度對應的預測效果好壞也有波動，綜合考慮預測時效以及預測準確度，這里選擇滑動窗口長度為128。

（四）結果對比

對于無人機仿真得到的正常數據集與三類完成故障注入的數據集進行基于TCN 網絡的時間序列異常檢測。同時，對于TCN 網絡添加通道注意力機制，設計對比實驗。

圖3 為了防止過擬合，通過訓練集訓練預測模型，并通過驗證集進行Early stop 以防止模型在訓練集出現Overfitting 的現象。由圖3 可知，時序卷積神經網絡在進行60 次迭代后，精確度與loss 值趨于收斂，且測試集的精確度上升速度略高于訓練集。

根據表1 可得，改進通道注意力機制的時序卷積神經網絡算法相比于傳統的時序卷積神經網絡算法，正常數據集與三類異常數據集的檢測精確度得到了一定的提高，因此改進算法具有明顯的優越性。

五、結束語

本文針對無人機時間序列異常行為檢測中的關鍵問題，主要提出了基于時序卷積神經網絡的算法，以提升對無人機時間序列上出現的異常行為檢測的準確率和效率。在無人機飛行時間序列的特征提取方面，根據時序卷積神經網絡中各隱藏層包含的空間特性結合通道注意力機制，并對改進后的時序卷積神經網絡的KernelSize、Dilation、滑動窗口等關鍵參數進行設置。進而，提出了結合通道注意力機制的時序卷積神經網絡異常檢測算法，對無人機異常行為進行檢測。仿真結果表明，本文所提出的方法可有效提高無人機異常行為檢測的準確性和效率。解決了無人機異常行為檢測中的關鍵性問題，進一步降低了無人機異常行為檢測難度。下一步，將在此方法的基礎上進行回歸實驗，并在原模型上進行改進以提升對于無人機時間序列數據的異常行為召回率，降低異常檢測的誤檢率和漏檢率。

作者單位：周激揚 康維新 哈爾濱工程大學