基于Stacking模型融合策略的腦力負荷等級評定方法

曹子軒 尹鐘 張建華

摘 要：腦力負荷是一種新興的可以反應操作者認知狀態(tài)的指標，其與事故風險及工作效率密切相關，所以實時且準確地評估操作者腦力負荷等級具有重要意義。Stacking模型融合策略可以較好地融合不同分類器與不同特征的學習能力?；?名參與者的腦電生理信號以及Stacking模型融合策略，設計了3種新型模型進行腦力負荷等級判別。在對新模型進行訓練與預測的同時，將其與其它主流分類器進行性能對比。實驗結果顯示，二維融合模型性能提升最為明顯。

關鍵詞：腦力負荷等級;Stacking;腦電生理信號

DOI： 10. 11907/rjdk.192365

開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP301

文獻標識碼：A

文章編號：1672-7800（2020）001-0080-04

0 引言

隨著時代的發(fā)展，人類在享受現(xiàn)代化便利的同時，其作業(yè)環(huán)境的復雜度也在增加[1]。人腦在從事高復雜度工作中容易因為經(jīng)驗、心態(tài)以及個人能力等因素的影響引發(fā)失誤或工作效率下降。如果操作者處于疲憊狀態(tài)或者工作量超出個人能力范圍，出現(xiàn)失誤及效率下降的概率會大大提升[2]，這種情況在一些關鍵工作中往往是致命的。所以對操作人員的認知狀態(tài)進行及時準確的評估與分類很有必要，而腦力負荷等級正是重要的衡量指標。

目前關于腦力負荷等級還沒有一個準確的定義[3]。腦力負荷可被視為任務要求占用的操作者認知資源量[4]。也有研究者認為，腦力負荷與任務期間的大腦活動、心理資源利用、壓力以及工作記憶密切相關[5]。高腦力負荷等級一般是由于工作量的增加并超過操作者處理能力而產(chǎn)生的，會導致操作者無法及時進行信息分析與決策[6];而低腦力負荷等級可能導致操作員懈怠從而降低工作效率[7-9]。

目前評估腦力負荷等級主要有3種方式：①主觀量表法;②任務性能測量法;③神經(jīng)生理信號法[10]。主觀測量法也被稱為主觀評定量表法，其中使用最廣泛的兩種方法是主觀工作負荷評估技術和美國國家航空航天局的任務負荷指數(shù)[2]。然而，主觀測量缺乏客觀性，且收集數(shù)據(jù)時受限于實驗的低時間分辨率[11];任務性能度量法則不適合隱式性能參數(shù)且無法在直接收集的任務環(huán)境中實施[12]。與兩種經(jīng)典方法不同，神經(jīng)生理信號法可利用腦電生理信號、心電生理信號、功能性近紅外光譜以及事件相關電位等，數(shù)據(jù)信息易于獲取且可實時在線處理[5]。其中，腦電生理信號靈敏度高、客觀性強，易于實施。相關研究中，腦電生理信號被證實與操作者的靈敏度及疲勞度密切相關[13-14]，比如在駕駛任務環(huán)境與核電廠任務環(huán)境中[15-16]。相當多的研究使用模式識別方法分析腦電生理信號。模式識別分類器可以挖掘出腦電生理信號與人類認知狀態(tài)之間的隱藏信息，并提高腦力負荷等級評估的準確性。Wang等[17]基于分層貝葉斯模型設計了一個使用腦電生理數(shù)據(jù)的工作負荷分類器，其識別準確率達到了80%;Ke等[18]通過支持向量機為n-back任務建立了跨任務腦力負荷識別模型;結合3-15hz頻帶內(nèi)功率譜的腦電信號特征以及線性判別分析法，D ornhege等[19]對不同困難等級的任務進行了研究;Vuckovic等[20]選擇了3種不同的神經(jīng)網(wǎng)絡框架進行實驗，其中學習矢量量化模型（LVQ）實現(xiàn)了最佳分類性能。

1 方法

本實驗數(shù)據(jù)通過自動化增強型機艙空氣管理系統(tǒng)收集，這項工作在以前的研究中已經(jīng)完成[21]。下面介紹Stacking融合模型策略原理及所選擇的幾種分類算法。

1.1 堆疊去噪自動編碼器

堆疊去噪自動編碼器中數(shù)據(jù)的可重復性通過自動編碼器實現(xiàn)。自動編碼器主要由三層神經(jīng)網(wǎng)絡結構（輸入層、隱藏層與輸出層）組成。其通過訓練實現(xiàn)輸入的等效變換獲得隱藏層的不同表示。自動編碼器中每兩層之間的轉換是線性轉換加非線性激活，其隱藏層到輸入層的映射由sigmoid激活函數(shù)定義。

本研究選用誤差反向傳播算法（BP）訓練模型。誤差反向傳播算法是一種用于多層神經(jīng)網(wǎng)絡訓練的經(jīng)典且有效的算法，它通過誤差函數(shù)計算每個神經(jīng)元的偏導來校正權重，直到達到預設的精度或最大學習次數(shù)。調整后的參數(shù)定義見式（3），其中誤差函數(shù)反映輸入與輸出的損失，由平方差成本函數(shù)表達，見式（4）。

自動編碼器的輸入層具有與輸出層相同數(shù)量的神經(jīng)元，其隱藏層的本質功能是提取輸入的降維表達。在訓練完一次自動編碼器之后，訓練好的隱藏層可以作為下一個自動編碼器的輸入層對其進行訓練，訓練后就可獲得原始輸入的二次降維表達。從結構上看此過程相當于將兩個自動編碼器的隱藏層相連。

基于此策略，經(jīng)過n次訓練后的第n個隱藏層激活向量可表示為：

對于某個待測樣本，分別計算不同分類標簽對應的后驗概率，后驗概率最大的標簽類別即為待測樣本類別。由于同一個待測樣本上分母部分都是相同的，因此只需計算并比較分子部分即可。

樸素貝葉斯基于概率論方法，因此分類結果較為穩(wěn)定，其對于小規(guī)模的數(shù)據(jù)集表現(xiàn)出色，并且適合多分類任務以及增量式訓練等。樸素貝葉斯假定數(shù)據(jù)特征是沒有聯(lián)系的，這也正是其名稱中“樸素”的由來。但是在現(xiàn)實生活中，往往很難有一個數(shù)據(jù)集特征是毫無關聯(lián)的，在不滿足這個條件時，其分類效果會有所降低。

1.3 K近鄰算法

K近鄰算法的核心思想是找到最接近測試樣本的k個訓練樣本，然后根據(jù)它們的標簽信息預測測試樣本的類別或值。樣本之間的距離通常由歐幾里德距離計算：

k值的選取對模型的準確性至關重要，通常使用枚舉法求得，即使用不同的k值分別計算樣本誤差，然后選取其中對應最小樣本誤差的k值。K近鄰算法作為應用十分廣泛的分類算法，原理簡單易懂，算法容易實現(xiàn)，同時分類效果也較為出色。但是K近鄰算法在分類時需要計算待預測樣本與所有樣本的距離，當樣本數(shù)量過于龐大時，此方法非常耗時，且需要很大的存儲空間。

1.4 Stacking模型融合策略

Stacking模型融合策略基于K折交叉驗證的思想，將模型集合在一起，通常K值設為5，這樣的優(yōu)點在于可以有效避免因數(shù)據(jù)量有限而導致的過擬合現(xiàn)象。Stacking本質上是一種與神經(jīng)網(wǎng)絡相似的分層結構，其有效性主要來自于特征提取。因此，Stacking對學習能力的提升主要來自于不同分類器對不同特征的學習能力疊加。然而堆疊層數(shù)的增加會伴隨嚴重的過擬合風險，因此堆疊通常僅使用兩層，即只將模型分為基分類器與二階分類器。

Stacking模型融合策略原理如圖1所示，分為6個步驟：①將訓練集均勻分割為5個子訓練集，并選取第1個子訓練集作為預測集，剩余的子訓練集作為訓練集訓練時選取的第1基分類器模型;②用訓練好的基分類器模型分別對第1個子訓練集以及測試集進行預測，并產(chǎn)生對應的預測值;③依次選取第2至第5個子訓練集作為預測集，剩余子集作為訓練集重新訓練基分類器，并重復上述步驟;④將子訓練集得到的預測值串聯(lián)，測試集得到的預測值求平均，并分別產(chǎn)生一個新的特征矩陣;⑤選用第2基分類器重復以上步驟，之后將兩個基分類器子訓練集產(chǎn)生的特征矩陣合并并替換原有訓練集特征，將兩個測試集產(chǎn)生的特征矩陣合并并替換原有測試集特征;⑥用二階分類器對新產(chǎn)生的訓練集與測試集進行模型訓練和測試。

2 結果

將每名參與者同一天4個階段的特征集串聯(lián)形成1 800x137的特征矩陣，其中對應于第2和第7階段的900個數(shù)據(jù)點被定為低腦力負荷等級，剩余數(shù)據(jù)點被定為高腦力負荷等級并添加對應的等級標簽。之后將這16個數(shù)據(jù)集合并，捆綁標簽打亂以消除數(shù)據(jù)順序對模型訓練的影響。形成維數(shù)為28 800x137的總特征矩陣后，選取其中80%的數(shù)據(jù)點用作訓練，其余20%的數(shù)據(jù)點用作測試。

本研究選用雙隱藏層式的堆疊去噪自動編碼器結構。通過改變兩個隱藏層神經(jīng)元的數(shù)量，模型可以獲得不同的訓練精度和測試精度。訓練精度和測試精度分別表示訓練完畢的模型預測訓練集和測試集正確率。經(jīng)過實驗發(fā)現(xiàn)，當?shù)?隱藏層神經(jīng)元的數(shù)量為110且第2隱藏層神經(jīng)元的數(shù)量為20時，模型具有最佳訓練與測試精度，分別為0.922 0和0.815 8。訓練中學習率為1，預訓練次數(shù)為20，mini-batch的每個batch大小為128。

K近鄰算法也可通過調節(jié)其參數(shù)獲得不同的訓練精度與測試精度。k值的選取一般采用枚舉法，選擇從1-30的值進行訓練，結果顯示當k值為20時，測試精度最佳，為0.765 8。

在接下來的實驗中，首先使用堆疊去噪自動編碼器、K近鄰算法以及樸素貝葉斯分別單獨對數(shù)據(jù)集進行訓練與預測;然后利用Stacking模型融合策略對它們進行集成化。其中將樸素貝葉斯、堆疊去噪自動編碼器分別作為基分類器，K近鄰算法作為二階分類器，得到兩個一維融合模型;最后將樸素貝葉斯、堆疊去噪自動編碼器同時作為基分類器，K近鄰算法作為二階分類器，得到一個二維融合模型。融合前后性能對比如表1所示。

從表1可以看出，基于樸素貝葉斯的一維融合模型效果并不理想，甚至比原來的樸素貝葉斯精度還有所下降。而基于堆疊自動編碼器的融合模型，相比堆疊自動編碼器與K近鄰算法，訓練精度也有所下降，但不同的是，其測試精度有一定的提高。在基分類器層面集成了堆疊去噪自動編碼器與K近鄰算法兩者的二維融合模型則取得了最佳訓練及測試精度，其測試精度為所有模型中的最高值，訓練精度也超過了除自動編碼器外的所有模型。

在測試時間上，K近鄰算法所用的測試時間最長，堆疊去噪自動編碼器所用的時間最短;融合模型中，二維融合模型所用時間最長，這一結果不同于事先所設想的基于堆疊自動編碼器的一維模型訓練時間要超過基于樸素貝葉斯的時間。K近鄰算法的劣勢在于其花費的訓練時間過長，通過集成其它訓練較快的模型有效改善了這一問題。之后選擇實驗結果較好的兩個融合模型，并與其它主流分類算法進行對比，如表2所示。

3 結語

本文基于Stacking模型融合策略提出了3種融合模型。通過比較3個模型性能發(fā)現(xiàn)，基分類器為樸素貝葉斯的一維模型性能最差，而二維融合模型性能最佳。隨后將它們與原先的模型及其它常見的主流分類模型進行對比，結果顯示，二維融合模型的分類精度超過了除堆疊自動編碼器與超限學習機外的所有模型.其訓練精度最佳。

融合模型的訓練精度較高，但是相比適合腦電生理數(shù)據(jù)分類的模型，比如堆疊去噪自動編碼器，融合模型的性能提升并不明顯，而且訓練精度始終沒有達到預期水平。Stacking模型融合策略的核心是K折交叉驗證法，避免了數(shù)據(jù)過度擬合，但也導致了單次訓練中訓練樣本數(shù)據(jù)量的減少。后續(xù)研究將尋找改進Stacking融合策略缺點的方法，同時嘗試一些更為優(yōu)秀或者適合生理數(shù)據(jù)分類的模型并將其融合，測試其分類性能。

參考文獻：

[1]王憲保，何文秀，王辛剛，等.基于堆疊降噪自動編碼器的膠囊缺陷檢測方法[J].計算機科學，2016，2（43）：64-67

[2] FALLAHI M， MOTAMEDZADE M，HEIDARIMOGHADAM R，eta1. Effects of mentalWorkload on physiological and subjective respons-es during traffic density monitoring：a field study[J]. Applied Ergo- nomics， 2016（52）： 95-103.

[3]YOUNGM S，BROOKHUISKA，WICKENS C D，et al.State of sci-ence： mental workload in ergonomics[J]. Ergonomics. 2015， 58（1）：1-17。

[4]ECGEMEIER F T，WILSON G F，KRAMER A F，et al.Workload as-sessment in multi-task environments [M]. London： Taylor & Fran-cis， 1991.

[5]MINC D， KE Y F， HE F， et al. Psychophysiological measures basedstudies on mental workload assessment and adaptive automation： re-view of the last 40 years and the latest developments [J]. Journal ofElectronic Measurement and Instrumentation ， 2015 ， 29 （ 1 ） ： 1-13.

[6]WILSON G F. Operator functional state assessment for adaptive auto- mation implementation[ J ] .

Biomonitoring for Physiological and Cogni-tive Performance During Military Operations ， 2005（ 56） ： 100-104.

[7]韓文民 ，葛倩 ，高龍龍 .基于腦電的輕裝作業(yè)操作者腦力負荷與績效的分析[J] .科學技術與工程 . 2019 ， 19（ 14） ： 110-117

[8]RYU K， MYUNG R. Evaluation of mental workload with a combined measure based on physiological indices during a dual task of trackingand mental arithmetic [ J ] . International Journal of Industrial Ergonom-ics， 2005 ， 35 （ 11） ： 991-1009.

[9]王禹，肖毅，周前祥，等，基于腦電信號的腦力負荷監(jiān)測技術研究現(xiàn)狀 [J].航天醫(yī)學與醫(yī)學工程 ， 2018. 31（ 5） ： 577-582.

[10] O'DONNELL C R D， ECCEMEIER F T. Handbook of perceptionand human performance [ M]. New York ： NY ： John wiley and sons，1986.

[11]YIN Z ， ZHANG J H. Cross-session classification of mental .vorkloadlevels using EEG and an adaptive deep learning model [ J] .

Biomedi-cal Signal Processing and Control， 2017（ 33 ） ： 30-47.

[12]HICKS T C， WIERWILLE W W. Comparison of five mental ，vork-load assessment procedures in a moving-base driving simulator [J].Human Factors ： The Journal of the Human Factors and ErgonomicsSociety， 1979， 21（ 2） ： 129-143.

[13]MAKEIG S. Lapses in alertness ： coherence of fluctuations in perfor-mance and EEG spectrum [J] . Electroencephalogry and Clinical Neu-rophysiology， 1993（ 86） ： 23-35.

[14]MAKEIC S. JUNC T. Changes in alertness are a principal compo-nent of variance in the EEG spectrum [J]. Neuroreport， 1995 （7） ：213-216.

[15]CHOI M K. LEE S M， HA J S， et al. Development of an EEG-basedworkload measurement method in nuclear power plants [Jl. Annalsof Nuclear Energy， 2018（ 111） ： 595-607.

[16]BORGHINI C， ASTOLFI L， VECCHIATO C， et al. Measuring neu-rophysiological signals in aircraft pilots and car drivers for the assess-ment of mental workload ， fatigue and drowsiness [ C ] . Neuroscience& Biobehavioral Reviews ， 2017 （ 44） ： 58-75.

[17]WANG Z H， HOPE R M. WANC Z G， et al. Cross-subject work-load classification with a hierarchical bayes model [ J] .Neurolmage ，2012. 59 （1） ： 64-69.

[18] KE Y F， QI H Z， ZHANC L X， et al. Towards an effectivecross-task mental workload recognition model using electroencepha-lography based on feature selection and support vector machine re-gression [Jl. International Journal of Psychophysiology， 2015， 98（ 2） ： 157-166.

[19]DORNHECE C， MILLAN J D， HINTERBERGER T， et al. Towardbrain-computer interfacing[ M ] . Massachusetts ： MIT Press . 2007.

[20] VUCKOVIC A， RADIVOJEVIC V. CHEN A CN， et al. Automaticrecognition of alertness and drowsiness from EEG by an artificial neu- ral network [J]. Medical Engineering & Physics， 2002， 24 （5） ：349-360.

[21]ZHANG J H ， YIN Z ， WANG R. Recognition of mental workload lev-els under complex human-machine collaboration by using physiologi-cal features and adaptive support vector machines[J] . IEEE Transac-tions on Human-Machine Systems， 2015 ， 45 （ 2） ： 200-214.

基金項目：國家自然科學基金項目（61703277）;上海楊帆計劃項目（17YF1427000）

作者簡介：曹子軒（1996-），男，上海理工大學光電信息與計算機工程學院碩士研究生，研究方向為生理信號處理;尹鐘（1988-），男，上海理工大學光電信息與計算機工程學院副教授、碩士生導師，研究方向為機器學習、模式識別;張建華（1971-），男，奧斯陸都市大學計算機科學系教授，研究方向為計算智能、智能系統(tǒng)與控制。