基于Stacking模型融合策略的腦力負荷等級評定方法

曹子軒 尹鐘 張建華

摘 要：腦力負荷是一種新興的可以反應(yīng)操作者認知狀態(tài)的指標(biāo)，其與事故風(fēng)險及工作效率密切相關(guān)，所以實時且準(zhǔn)確地評估操作者腦力負荷等級具有重要意義。Stacking模型融合策略可以較好地融合不同分類器與不同特征的學(xué)習(xí)能力。基于8名參與者的腦電生理信號以及Stacking模型融合策略，設(shè)計了3種新型模型進行腦力負荷等級判別。在對新模型進行訓(xùn)練與預(yù)測的同時，將其與其它主流分類器進行性能對比。實驗結(jié)果顯示，二維融合模型性能提升最為明顯。

關(guān)鍵詞：腦力負荷等級;Stacking;腦電生理信號

DOI： 10. 11907/rjdk.192365

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

中圖分類號：TP301

文獻標(biāo)識碼：A

文章編號：1672-7800（2020）001-0080-04

0 引言

隨著時代的發(fā)展，人類在享受現(xiàn)代化便利的同時，其作業(yè)環(huán)境的復(fù)雜度也在增加[1]。人腦在從事高復(fù)雜度工作中容易因為經(jīng)驗、心態(tài)以及個人能力等因素的影響引發(fā)失誤或工作效率下降。如果操作者處于疲憊狀態(tài)或者工作量超出個人能力范圍，出現(xiàn)失誤及效率下降的概率會大大提升[2]，這種情況在一些關(guān)鍵工作中往往是致命的。所以對操作人員的認知狀態(tài)進行及時準(zhǔn)確的評估與分類很有必要，而腦力負荷等級正是重要的衡量指標(biāo)。

目前關(guān)于腦力負荷等級還沒有一個準(zhǔn)確的定義[3]。腦力負荷可被視為任務(wù)要求占用的操作者認知資源量[4]。也有研究者認為，腦力負荷與任務(wù)期間的大腦活動、心理資源利用、壓力以及工作記憶密切相關(guān)[5]。高腦力負荷等級一般是由于工作量的增加并超過操作者處理能力而產(chǎn)生的，會導(dǎo)致操作者無法及時進行信息分析與決策[6];而低腦力負荷等級可能導(dǎo)致操作員懈怠從而降低工作效率[7-9]。

目前評估腦力負荷等級主要有3種方式：①主觀量表法;②任務(wù)性能測量法;③神經(jīng)生理信號法[10]。主觀測量法也被稱為主觀評定量表法，其中使用最廣泛的兩種方法是主觀工作負荷評估技術(shù)和美國國家航空航天局的任務(wù)負荷指數(shù)[2]。然而，主觀測量缺乏客觀性，且收集數(shù)據(jù)時受限于實驗的低時間分辨率[11];任務(wù)性能度量法則不適合隱式性能參數(shù)且無法在直接收集的任務(wù)環(huán)境中實施[12]。與兩種經(jīng)典方法不同，神經(jīng)生理信號法可利用腦電生理信號、心電生理信號、功能性近紅外光譜以及事件相關(guān)電位等，數(shù)據(jù)信息易于獲取且可實時在線處理[5]。其中，腦電生理信號靈敏度高、客觀性強，易于實施。相關(guān)研究中，腦電生理信號被證實與操作者的靈敏度及疲勞度密切相關(guān)[13-14]，比如在駕駛?cè)蝿?wù)環(huán)境與核電廠任務(wù)環(huán)境中[15-16]。相當(dāng)多的研究使用模式識別方法分析腦電生理信號。模式識別分類器可以挖掘出腦電生理信號與人類認知狀態(tài)之間的隱藏信息，并提高腦力負荷等級評估的準(zhǔn)確性。Wang等[17]基于分層貝葉斯模型設(shè)計了一個使用腦電生理數(shù)據(jù)的工作負荷分類器，其識別準(zhǔn)確率達到了80%;Ke等[18]通過支持向量機為n-back任務(wù)建立了跨任務(wù)腦力負荷識別模型;結(jié)合3-15hz頻帶內(nèi)功率譜的腦電信號特征以及線性判別分析法，D ornhege等[19]對不同困難等級的任務(wù)進行了研究;Vuckovic等[20]選擇了3種不同的神經(jīng)網(wǎng)絡(luò)框架進行實驗，其中學(xué)習(xí)矢量量化模型（LVQ）實現(xiàn)了最佳分類性能。

1 方法

本實驗數(shù)據(jù)通過自動化增強型機艙空氣管理系統(tǒng)收集，這項工作在以前的研究中已經(jīng)完成[21]。下面介紹Stacking融合模型策略原理及所選擇的幾種分類算法。

1.1 堆疊去噪自動編碼器

堆疊去噪自動編碼器中數(shù)據(jù)的可重復(fù)性通過自動編碼器實現(xiàn)。自動編碼器主要由三層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（輸入層、隱藏層與輸出層）組成。其通過訓(xùn)練實現(xiàn)輸入的等效變換獲得隱藏層的不同表示。自動編碼器中每兩層之間的轉(zhuǎn)換是線性轉(zhuǎn)換加非線性激活，其隱藏層到輸入層的映射由sigmoid激活函數(shù)定義。

本研究選用誤差反向傳播算法（BP）訓(xùn)練模型。誤差反向傳播算法是一種用于多層神經(jīng)網(wǎng)絡(luò)訓(xùn)練的經(jīng)典且有效的算法，它通過誤差函數(shù)計算每個神經(jīng)元的偏導(dǎo)來校正權(quán)重，直到達到預(yù)設(shè)的精度或最大學(xué)習(xí)次數(shù)。調(diào)整后的參數(shù)定義見式（3），其中誤差函數(shù)反映輸入與輸出的損失，由平方差成本函數(shù)表達，見式（4）。

自動編碼器的輸入層具有與輸出層相同數(shù)量的神經(jīng)元，其隱藏層的本質(zhì)功能是提取輸入的降維表達。在訓(xùn)練完一次自動編碼器之后，訓(xùn)練好的隱藏層可以作為下一個自動編碼器的輸入層對其進行訓(xùn)練，訓(xùn)練后就可獲得原始輸入的二次降維表達。從結(jié)構(gòu)上看此過程相當(dāng)于將兩個自動編碼器的隱藏層相連。

基于此策略，經(jīng)過n次訓(xùn)練后的第n個隱藏層激活向量可表示為：

對于某個待測樣本，分別計算不同分類標(biāo)簽對應(yīng)的后驗概率，后驗概率最大的標(biāo)簽類別即為待測樣本類別。由于同一個待測樣本上分母部分都是相同的，因此只需計算并比較分子部分即可。

樸素貝葉斯基于概率論方法，因此分類結(jié)果較為穩(wěn)定，其對于小規(guī)模的數(shù)據(jù)集表現(xiàn)出色，并且適合多分類任務(wù)以及增量式訓(xùn)練等。樸素貝葉斯假定數(shù)據(jù)特征是沒有聯(lián)系的，這也正是其名稱中“樸素”的由來。但是在現(xiàn)實生活中，往往很難有一個數(shù)據(jù)集特征是毫無關(guān)聯(lián)的，在不滿足這個條件時，其分類效果會有所降低。

1.3 K近鄰算法

K近鄰算法的核心思想是找到最接近測試樣本的k個訓(xùn)練樣本，然后根據(jù)它們的標(biāo)簽信息預(yù)測測試樣本的類別或值。樣本之間的距離通常由歐幾里德距離計算：

k值的選取對模型的準(zhǔn)確性至關(guān)重要，通常使用枚舉法求得，即使用不同的k值分別計算樣本誤差，然后選取其中對應(yīng)最小樣本誤差的k值。K近鄰算法作為應(yīng)用十分廣泛的分類算法，原理簡單易懂，算法容易實現(xiàn)，同時分類效果也較為出色。但是K近鄰算法在分類時需要計算待預(yù)測樣本與所有樣本的距離，當(dāng)樣本數(shù)量過于龐大時，此方法非常耗時，且需要很大的存儲空間。

1.4 Stacking模型融合策略

Stacking模型融合策略基于K折交叉驗證的思想，將模型集合在一起，通常K值設(shè)為5，這樣的優(yōu)點在于可以有效避免因數(shù)據(jù)量有限而導(dǎo)致的過擬合現(xiàn)象。Stacking本質(zhì)上是一種與神經(jīng)網(wǎng)絡(luò)相似的分層結(jié)構(gòu)，其有效性主要來自于特征提取。因此，Stacking對學(xué)習(xí)能力的提升主要來自于不同分類器對不同特征的學(xué)習(xí)能力疊加。然而堆疊層數(shù)的增加會伴隨嚴(yán)重的過擬合風(fēng)險，因此堆疊通常僅使用兩層，即只將模型分為基分類器與二階分類器。

Stacking模型融合策略原理如圖1所示，分為6個步驟：①將訓(xùn)練集均勻分割為5個子訓(xùn)練集，并選取第1個子訓(xùn)練集作為預(yù)測集，剩余的子訓(xùn)練集作為訓(xùn)練集訓(xùn)練時選取的第1基分類器模型;②用訓(xùn)練好的基分類器模型分別對第1個子訓(xùn)練集以及測試集進行預(yù)測，并產(chǎn)生對應(yīng)的預(yù)測值;③依次選取第2至第5個子訓(xùn)練集作為預(yù)測集，剩余子集作為訓(xùn)練集重新訓(xùn)練基分類器，并重復(fù)上述步驟;④將子訓(xùn)練集得到的預(yù)測值串聯(lián)，測試集得到的預(yù)測值求平均，并分別產(chǎn)生一個新的特征矩陣;⑤選用第2基分類器重復(fù)以上步驟，之后將兩個基分類器子訓(xùn)練集產(chǎn)生的特征矩陣合并并替換原有訓(xùn)練集特征，將兩個測試集產(chǎn)生的特征矩陣合并并替換原有測試集特征;⑥用二階分類器對新產(chǎn)生的訓(xùn)練集與測試集進行模型訓(xùn)練和測試。

2 結(jié)果

將每名參與者同一天4個階段的特征集串聯(lián)形成1 800x137的特征矩陣，其中對應(yīng)于第2和第7階段的900個數(shù)據(jù)點被定為低腦力負荷等級，剩余數(shù)據(jù)點被定為高腦力負荷等級并添加對應(yīng)的等級標(biāo)簽。之后將這16個數(shù)據(jù)集合并，捆綁標(biāo)簽打亂以消除數(shù)據(jù)順序?qū)δＰ陀?xùn)練的影響。形成維數(shù)為28 800x137的總特征矩陣后，選取其中80%的數(shù)據(jù)點用作訓(xùn)練，其余20%的數(shù)據(jù)點用作測試。

本研究選用雙隱藏層式的堆疊去噪自動編碼器結(jié)構(gòu)。通過改變兩個隱藏層神經(jīng)元的數(shù)量，模型可以獲得不同的訓(xùn)練精度和測試精度。訓(xùn)練精度和測試精度分別表示訓(xùn)練完畢的模型預(yù)測訓(xùn)練集和測試集正確率。經(jīng)過實驗發(fā)現(xiàn)，當(dāng)?shù)?隱藏層神經(jīng)元的數(shù)量為110且第2隱藏層神經(jīng)元的數(shù)量為20時，模型具有最佳訓(xùn)練與測試精度，分別為0.922 0和0.815 8。訓(xùn)練中學(xué)習(xí)率為1，預(yù)訓(xùn)練次數(shù)為20，mini-batch的每個batch大小為128。

K近鄰算法也可通過調(diào)節(jié)其參數(shù)獲得不同的訓(xùn)練精度與測試精度。k值的選取一般采用枚舉法，選擇從1-30的值進行訓(xùn)練，結(jié)果顯示當(dāng)k值為20時，測試精度最佳，為0.765 8。

在接下來的實驗中，首先使用堆疊去噪自動編碼器、K近鄰算法以及樸素貝葉斯分別單獨對數(shù)據(jù)集進行訓(xùn)練與預(yù)測;然后利用Stacking模型融合策略對它們進行集成化。其中將樸素貝葉斯、堆疊去噪自動編碼器分別作為基分類器，K近鄰算法作為二階分類器，得到兩個一維融合模型;最后將樸素貝葉斯、堆疊去噪自動編碼器同時作為基分類器，K近鄰算法作為二階分類器，得到一個二維融合模型。融合前后性能對比如表1所示。

從表1可以看出，基于樸素貝葉斯的一維融合模型效果并不理想，甚至比原來的樸素貝葉斯精度還有所下降。而基于堆疊自動編碼器的融合模型，相比堆疊自動編碼器與K近鄰算法，訓(xùn)練精度也有所下降，但不同的是，其測試精度有一定的提高。在基分類器層面集成了堆疊去噪自動編碼器與K近鄰算法兩者的二維融合模型則取得了最佳訓(xùn)練及測試精度，其測試精度為所有模型中的最高值，訓(xùn)練精度也超過了除自動編碼器外的所有模型。

在測試時間上，K近鄰算法所用的測試時間最長，堆疊去噪自動編碼器所用的時間最短;融合模型中，二維融合模型所用時間最長，這一結(jié)果不同于事先所設(shè)想的基于堆疊自動編碼器的一維模型訓(xùn)練時間要超過基于樸素貝葉斯的時間。K近鄰算法的劣勢在于其花費的訓(xùn)練時間過長，通過集成其它訓(xùn)練較快的模型有效改善了這一問題。之后選擇實驗結(jié)果較好的兩個融合模型，并與其它主流分類算法進行對比，如表2所示。

3 結(jié)語

本文基于Stacking模型融合策略提出了3種融合模型。通過比較3個模型性能發(fā)現(xiàn)，基分類器為樸素貝葉斯的一維模型性能最差，而二維融合模型性能最佳。隨后將它們與原先的模型及其它常見的主流分類模型進行對比，結(jié)果顯示，二維融合模型的分類精度超過了除堆疊自動編碼器與超限學(xué)習(xí)機外的所有模型.其訓(xùn)練精度最佳。

融合模型的訓(xùn)練精度較高，但是相比適合腦電生理數(shù)據(jù)分類的模型，比如堆疊去噪自動編碼器，融合模型的性能提升并不明顯，而且訓(xùn)練精度始終沒有達到預(yù)期水平。Stacking模型融合策略的核心是K折交叉驗證法，避免了數(shù)據(jù)過度擬合，但也導(dǎo)致了單次訓(xùn)練中訓(xùn)練樣本數(shù)據(jù)量的減少。后續(xù)研究將尋找改進Stacking融合策略缺點的方法，同時嘗試一些更為優(yōu)秀或者適合生理數(shù)據(jù)分類的模型并將其融合，測試其分類性能。

參考文獻：

[1]王憲保，何文秀，王辛剛，等.基于堆疊降噪自動編碼器的膠囊缺陷檢測方法[J].計算機科學(xué)，2016，2（43）：64-67

[2] FALLAHI M， MOTAMEDZADE M，HEIDARIMOGHADAM R，eta1. Effects of mentalWorkload on physiological and subjective respons-es during traffic density monitoring：a field study[J]. Applied Ergo- nomics， 2016（52）： 95-103.

[3]YOUNGM S，BROOKHUISKA，WICKENS C D，et al.State of sci-ence： mental workload in ergonomics[J]. Ergonomics. 2015， 58（1）：1-17。

[4]ECGEMEIER F T，WILSON G F，KRAMER A F，et al.Workload as-sessment in multi-task environments [M]. London： Taylor & Fran-cis， 1991.

[5]MINC D， KE Y F， HE F， et al. Psychophysiological measures basedstudies on mental workload assessment and adaptive automation： re-view of the last 40 years and the latest developments [J]. Journal ofElectronic Measurement and Instrumentation ， 2015 ， 29 （ 1 ） ： 1-13.

[6]WILSON G F. Operator functional state assessment for adaptive auto- mation implementation[ J ] .

Biomonitoring for Physiological and Cogni-tive Performance During Military Operations ， 2005（ 56） ： 100-104.

[7]韓文民 ，葛倩 ，高龍龍 .基于腦電的輕裝作業(yè)操作者腦力負荷與績效的分析[J] .科學(xué)技術(shù)與工程 . 2019 ， 19（ 14） ： 110-117

[8]RYU K， MYUNG R. Evaluation of mental workload with a combined measure based on physiological indices during a dual task of trackingand mental arithmetic [ J ] . International Journal of Industrial Ergonom-ics， 2005 ， 35 （ 11） ： 991-1009.

[9]王禹，肖毅，周前祥，等，基于腦電信號的腦力負荷監(jiān)測技術(shù)研究現(xiàn)狀 [J].航天醫(yī)學(xué)與醫(yī)學(xué)工程 ， 2018. 31（ 5） ： 577-582.

[10] O'DONNELL C R D， ECCEMEIER F T. Handbook of perceptionand human performance [ M]. New York ： NY ： John wiley and sons，1986.

[11]YIN Z ， ZHANG J H. Cross-session classification of mental .vorkloadlevels using EEG and an adaptive deep learning model [ J] .

Biomedi-cal Signal Processing and Control， 2017（ 33 ） ： 30-47.

[12]HICKS T C， WIERWILLE W W. Comparison of five mental ，vork-load assessment procedures in a moving-base driving simulator [J].Human Factors ： The Journal of the Human Factors and ErgonomicsSociety， 1979， 21（ 2） ： 129-143.

[13]MAKEIG S. Lapses in alertness ： coherence of fluctuations in perfor-mance and EEG spectrum [J] . Electroencephalogry and Clinical Neu-rophysiology， 1993（ 86） ： 23-35.

[14]MAKEIC S. JUNC T. Changes in alertness are a principal compo-nent of variance in the EEG spectrum [J]. Neuroreport， 1995 （7） ：213-216.

[15]CHOI M K. LEE S M， HA J S， et al. Development of an EEG-basedworkload measurement method in nuclear power plants [Jl. Annalsof Nuclear Energy， 2018（ 111） ： 595-607.

[16]BORGHINI C， ASTOLFI L， VECCHIATO C， et al. Measuring neu-rophysiological signals in aircraft pilots and car drivers for the assess-ment of mental workload ， fatigue and drowsiness [ C ] . Neuroscience& Biobehavioral Reviews ， 2017 （ 44） ： 58-75.

[17]WANG Z H， HOPE R M. WANC Z G， et al. Cross-subject work-load classification with a hierarchical bayes model [ J] .Neurolmage ，2012. 59 （1） ： 64-69.

[18] KE Y F， QI H Z， ZHANC L X， et al. Towards an effectivecross-task mental workload recognition model using electroencepha-lography based on feature selection and support vector machine re-gression [Jl. International Journal of Psychophysiology， 2015， 98（ 2） ： 157-166.

[19]DORNHECE C， MILLAN J D， HINTERBERGER T， et al. Towardbrain-computer interfacing[ M ] . Massachusetts ： MIT Press . 2007.

[20] VUCKOVIC A， RADIVOJEVIC V. CHEN A CN， et al. Automaticrecognition of alertness and drowsiness from EEG by an artificial neu- ral network [J]. Medical Engineering & Physics， 2002， 24 （5） ：349-360.

[21]ZHANG J H ， YIN Z ， WANG R. Recognition of mental workload lev-els under complex human-machine collaboration by using physiologi-cal features and adaptive support vector machines[J] . IEEE Transac-tions on Human-Machine Systems， 2015 ， 45 （ 2） ： 200-214.

基金項目：國家自然科學(xué)基金項目（61703277）;上海楊帆計劃項目（17YF1427000）

作者簡介：曹子軒（1996-），男，上海理工大學(xué)光電信息與計算機工程學(xué)院碩士研究生，研究方向為生理信號處理;尹鐘（1988-），男，上海理工大學(xué)光電信息與計算機工程學(xué)院副教授、碩士生導(dǎo)師，研究方向為機器學(xué)習(xí)、模式識別;張建華（1971-），男，奧斯陸都市大學(xué)計算機科學(xué)系教授，研究方向為計算智能、智能系統(tǒng)與控制。