基于腦電信號的飛行員工作負荷識別研究

何金松 吳東蘇

摘 要：在不同的工作負荷情況中，大腦都處于不同的工作狀態。因此本文研究中提出了基于EEG信號使用機器學習的方法區分飛行員不同工作負荷程度。首先，本文通過主觀測評法確定實驗人員的工作負荷等級。同時采集被試人員的腦電信號，使用了熵特征提取方法，從每一路腦電信號中提取出樣本熵、近似熵、模糊熵以及融合特征四種特征組。通過SVM，RF，LR，KNN，DT，QDA和LDA七種單獨分類器比較各特征在不同分類器中的分類精度。并通過結果發現，使用模糊熵的識別準確率達到98%左右。認為本文腦電信號中使用熵特征有著識別工作負荷能力。

關鍵詞：飛行模擬；腦電信號；工作負荷；模糊熵；機器學習

中圖分類號：V323 文獻標識碼：A 文章編號：1671-2064（2019）05-0062-04

1 概述

當今社會，民航運輸在不斷發展進步，航空運輸作為一個人機高度耦合的系統，人在這個系統中發揮著重要作用的同時也帶來了復雜多變的影響，對保障航空安全起著關鍵的作用。在航空工業的不斷發展中，由于飛機自身設備的故障導致的飛行事故率已經非常低，而因為飛行員相關的自身誤操作等人為因素卻呈現了上升的趨勢。

眾所周知，飛行員的操作能夠直接影響飛行安全[1]。特別是飛控系統高度發達的今天，眾多的研究表明超過60%的飛行事故的主要誘因是飛行員的操作錯誤[2-4]。在飛行操縱的人為因素中，由于飛行員負荷程度過大從而誘發的駕駛誤操作是飛行事故成因中重要的因素。飛行員工作負荷過大會使飛行員在執行任務時工作效率下降，以及隨著時間的進行導致工作效率的不穩定性增大。由于長時間、不規律以及飛行任務的加重等因素，使飛行員易于積累過多的工作負荷，缺乏休息，飛行操作能力降低，引發航空安全隱患。因此，飛行員工作負荷程度的實時檢測仍是當下航空航天醫學研究的重點。對飛行過程中的工作負荷評估，或是能夠在線實時檢測出飛行員當下負荷情況，降低飛行員在高工作負荷的復雜環境下獲取最有效信息的難度，輔助飛行員進行注意力的合理分配以保證信息收集的全面性，準確性和及時性，并對負荷程度較高的飛行員提出警示，提高飛行安全[5-7]。這能夠預防飛行不安全事件，從而一定程度上避免了飛行事故。

腦電信號（EEG）能夠表現出人體腦細胞的電活動情況，進而從宏觀上體現腦功能所處狀態。相較于其它生理信號，EEG信號包含了更多的信息。通過對腦電信號進行各種算法處理，可以獲得其中蘊含的部分信息，從而應用到多種領域上：Wilson和Russell[8]結合了EEG信號和人工神經網絡，對模擬空管任務中的被試人員進行了分類；Murugappan等[9]人通過離散小波變換的方法，將腦電信號分解為三個頻段，并借助kNN的算法實現了情感識別，準確率達到了83.2%；腦電信號通過結合alpha節律可以進行病理學分析[10]，用以分析如中風[11]、抑郁癥[12]等多種疾病；J.F Hu等[13]人通過疲勞和正常下的不同腦電波信號，實現了對人體工作負荷、疲勞狀態進行區分識別。

本文主要研究內容是結合幾種常用機器學習算法模型，使用腦電信號對飛行員的工作負荷程度進行評估。包含了實驗設計，數據采集，預處理，特征提取和分類器比較驗證等階段。提出了結合機器學習算法利用飛行員的腦電熵特征的工作負荷識別方法，并針對方法可行性進行了驗證。

2 實驗對象與方法

2.1 實驗人員

為了驗證基于EEG信號區分飛行員負荷程度的有效性和可靠性，本實驗選擇20名年輕飛行員進行實驗（包括17名男性和3名女性）。被試人員人體狀況良好無疾病史，左右利手情況都是右手，并且每名被試人員均了解實驗詳情并簽署相關協議。

2.2 工作負荷主觀評測

對于飛行員工作負荷的劃分，采用主觀自主評測法。在本次模擬實驗進行中，每隔三分鐘暫停實驗設備，要求被試飛行員完成所提供主觀評測表[14]。通過一系列相對應的詞匯，當選擇權重分數為正代表產生一定工作負荷，選擇為負時代表正常情況，總得分為所有得分的均值。某位被試人員得分如圖1所示。

根據結果分析，飛行員的工作負荷主要體現在開始和結束前的起飛和著陸階段，這與實際飛行的事故多發于起降中也相類似。通過主觀分析，由于模擬設備和環境等多種原因，雖然轉彎操作也會在一定程度上引起工作負荷的增大，但是本次模擬飛行過程中引起工作負荷增大主要是在起降階段，由于后續應用需要使用帶有標簽的數據，因此對起降階段的飛行數據和平飛階段的飛行數據分別打上處于工作負荷狀態和正常狀態的標簽備注。

2.3 數據預處理

整個實驗過程中，被試人員被安排在不受外界干擾的實驗環境中。所有被試人員需要進行模擬五邊飛行訓練并記錄飛行全程的EEG信號。被試人員在實驗前先了解并試用實驗室飛行模擬設備，并于正式實驗前靜默三十秒。

本實驗采用德國Brain Products公司的BrainAmp系列設備采集腦電數據。使用了基于國際10-20系統的32通道腦電帽，以500Hz頻率進行采樣。

在收集到EEG信號之后，需要使用MATLAB中的EEGLAB工具箱進行腦電數據的預處理。先使用50Hz的陷波濾波器對得到的原始EEG數據進行濾波，之后通過0.15 -50Hz的帶通濾波篩選有效數據。每組數據又將各自的信號分割為1s滑動的短時時窗，從而20名被試人員中每一路腦電通道可以獲得到6700段數據集，其中1480段起降階段數據，5220段平飛階段數據。

2.4 特征提取

EEG信號是一種非平穩時間序列，然而大多數特征提取方法只能應用于平穩信號之中。本文為了解決這個問題，將EEG信號分割為短時時窗數據段，于是在這很小的數據段內，可以合理假設這段數據為平穩信號。但是由于飛行員在面對飛行任務劇變時產生工作負荷時，其腦電具有較為劇烈的瞬時跳變。為了平衡這種瞬時干擾對分類性能是的影響，所選擇的時窗窗口不能太短，本文選擇長度為5s的時窗進行特征提取。最終本文將信號分割為1s為單位的時窗，從而得到6700組數據。

識別飛行員負荷程度的能力主要取決于輸入分類器的特征向量的質量，本文通過加窗后EEG數據中進行熵特征提取，主要通過提取樣本熵（Sample Entropy）、近似熵（Approximate Entropy）和模糊熵（Fuzzy Entropy）的方法[15]。并通過比較融合三種特征組融合的結果判斷識別效果。

2.5 分析工具

此次數據采集后的實驗分析，本文采用scikit-learn工具箱進行數據訓練與測試。對每一分類器，在sklearn工具箱內需要調節相應參數。例如，對于隨機森林，在python中的sklearn庫中，需要提供以下分類器參數信息，包括：隨機森林中樹的個數；分類函數規則（默認為gini）；最大特征數；最大樹深度等等。對于支持向量機，使用的庫是sklearn.SVC.svm，所需分類器參數信息：懲罰系數C；支持向量機使用的核函數；核函數所使用的參數。對于邏輯回歸，使用的庫sklearn.linear_model.LogisticRegression，所需分類器參數信息：懲罰項，l1或者l2；參數C，代表梯度下降的學習率和懲罰值。對于決策樹，使用庫sklearn.tree.Decision TreeClassifier，所需分類器參數信息：最大樹深度；最小樣本數目；加權總和的最小加權權重（默認為0）。對于kNN，使用的庫是sklearn.neighbors.kNeighborsClassifier，所需分類器的參數：鄰位個數K。

3 結果分析

32路腦電信號中，與乳突相連的A1和A2通道作為參考電極使用，剩余30路有效通道信號。對不同飛行階段的30路通道腦電信號進行成對t檢驗發現，每路信號p<0.01，不同飛行階段所有通道信號在統計學上有顯著區別。PCA分析后得到的腦電地形圖進一步驗證了上述結論，所以30腦電信號都包含了有效特征。

由于不確定哪一種方法在本研究中是最有效的，在本文中主要選取六種基本分類器進行分類識別，其中有K近鄰（kNN）、邏輯回歸（LR）、支持向量機（SVM）、隨機森林（RF）、二次判別分析（QDA）和決策樹（DT）。

為了評估研究的可應用性，所以必須準確判定該方法的識別性能。本文采用十倍交叉驗證（10-fold cross-validation）的方法來評價識別飛行員疲勞程度的分類性能。將所獲得的6700組30路數據進行分類，隨機分出訓練集和測試集。在訓練階段中，10%的數據組被用作測試集，剩余90%數據組被用作訓練集。隨后重復上述步驟，直到所有數據都被用作測試集，最后取正確率的平均值。

分別使用SE，AE，FE和混合特征集（SE+AE+FE）組合特征向量，七種分類器的平均識別精度如圖2所示。

此外，對于分類器的表現性能，本文通過繪制ROC曲線來評測分類器性能。對一次測試結果，繪制每一種分類器的ROC曲線，并計算出AUC面積，來說明分類器的分類性能。各分類器和特征下的ROC曲線結果如圖3所示。

可以發現，混合特征集相較于其他特征表現要稍好，最高可以達到98.3%的平均正確率。在kNN，SVM和RF三種分類器下，熵特征都有著較好的識別結果，可以認為該方法在識別工作負荷上有著可靠性。

4 討論

我們的研究結果表明所提出的基于腦電信號的熵特征方法使用機器學習算法進行飛行工作負荷識別的方法是可行的。30路腦電數據的t檢驗結果和腦電地形圖表明，腦電信號的30路通道數據都包含了有效信息，在構造特征向量時不能隨意忽略，因為特征向量的好壞直接影響了分類器的識別性能。由于不同的腦域相對應的功能不同，雖然30路通道數據都是有效數據但其所占的權重是不同的，需要進一步的深入研究。

本次分析采用時域分析上的熵分析方法，腦電熵特征作為一種非線性指標可以很好的揭示大腦的混沌行為，信號越是復雜，熵值就越大[16]。在本文提取三種熵特征中，模糊熵的效果最好相對其他兩種熵特征效果最好。猜測是因為模糊熵是樣本熵算法的改進，在繼承其優點的同時以模糊化相似性度量公式，克服樣本熵原有局限性。同時發現，在融合特征下也分類性能也基本與模糊熵持平，認為熵特征之間的融合不能豐富本文識別任務的特征信息，對于本文識別任務性能的提升基本沒有幫助，在識別工作負荷任務上應使用模糊熵特征組進行。同時，由于真正的航空飛行中會遭遇各種突發情況的變化，本文使用風雨模擬下采集到的實驗數據進行驗證。風雨環境下的特征選擇為前文效果最好的模糊熵特征進行訓練識別，結果和前文同樣處理，如表1所示。

可以發現，在模糊熵特征下，風雨條件下的識別準確率最高達到98.2%，和正常情況下相差不大，因此認為本文識別方法有著一定泛用性，在飛行中的不同環境下都有著很好的效果。

5 結語

本文提出了一種基于EEG信號的熵特征使用機器學習算法進行的飛行員工作負荷評估方法。并通過分類器性能分析方法有著可行性。分析識別結果可以發現，在對于本文識別任務上，模糊熵特征有著很好的效果。對比融合特征下的識別結果，發現特征集的混合并不一定能提高識別精度，相似信息和無用信息的添加不僅會增加運算復雜度有時還會對識別產生干擾。最后，通過不同飛行環境下的驗證，證明的本文方法在識別工作負荷上有著一定的泛用性。同時，本文研究仍有一定的局限性。在針對工作負荷的判斷上，本文針對主觀評測方法評出了兩個等級，后續應更細致的劃分為多個等級；本文研究在實際民航飛行中，采集腦電信號會給飛行員的舒適性和操作性帶來一定影響，在實際應用中數據采集會有著一定的困難。但是相信，隨著當今科技不斷進步，這些問題也將解決并且在航空飛行中得到實際應用，保障航空安全。

參考文獻

[1] 莊達民.飛行員腦力負荷測量與應用[M].北京：科學出版社，2014.

[2] 吳鋒廣，牟海鷹.飛行疲勞表現、影響因素及監測技術[J].西安航空學院學報.2015，33（5）：40-42.

[3] Wang Lei，Sun Ruishan.Analysis on Flight Fatigue Risk and the Systematic Solution[J].Ergonomics and Health Aspects of Work with Computers，2011（6779）：88-96.

[4] Caldwell J A，Malli M M，Caldwell J L，et al. Fatigue countermeasures in aviation[J]. Aviation， Space，and Environmental Medicine，2009（1）：29-59.

[5] 劉偉，袁修干，莊達民，等.眼動測量系統及其在功效學中的應用[J].航空學報，2001（5）：385-389.

[6] 柳忠起，袁修干，劉偉，等.飛行員注意力分配的定量測量方法[J].北京航空航天大學學報，2006，32（5）：518-520+539.

[7] 柳忠起，袁修干，劉偉，等.在模擬飛機降落過程中的眼動分析[J].北京航空航天大學學報，2002，28（6）：703-706.

[8] Wilson GF， Russell CA.Operator Functional State Classification Using Multiple Psychophysiological Features in An Air Traffic Control Task [J].Human Factors，2003，45（3）：381-389.

[9] Murugappan M， Ramachandran N，Sazali Y. Classification of human emotion from EEG using discrete wavelet transform [J]. Engineering，2010，03（4）：390-396.

[10] Jianfeng，Hu， Zhendong，Mu， Ping，Wang. Multi-feature authentication system based on event evoked electroencephalogram[J]. Journal of Medical Imaging and Health Informatics，2015（5）：862-870.

[11] Cecile C，Susan M，Paul JA，et al..Continuous EEG monitoring during thrombolysis in acute hemispheric stroke patients using the brain symmetry index[J]. Journal of Clinical Neurophysiology，2008，25（2）：77-82.

[12] 劉雷，周仁來.一個測量抑郁癥的重要神經指標：靜息額葉腦電活動的不對稱性[J].心理科學進展，2015，23（6）：1000-1008.

[13] Jianfeng Hu.Comparison of different features and classifiers for driver fatigue detection based on a single EEG channel[J].Computational and Mathematical Methods in Medicine，2017（3）：1-9.

[14] 馬超，張政石.基于二維高斯混合模型的駕駛行為分析[J].硅谷，2011（5）：15-16.

[15] Michael J. Hogan，Liam Kilmartin，Michael Keane. Electrophysiological entropy in younger adults， older controls and older cognitively declined adults[J].Brain Research，2012（1445）：1-10.

[16] Richman Joshua S，Moorman J.Physiological time-series analysis using approximate entropy and sample entropy， American Journal of Physiology-Heart and CirculatoryPhysiology，2000（6）：H2039-49.