基于D-S證據理論的礦工精神狀態融合評估算法

楊木林，童蓍庾 ，潘紅光

（1.國能包頭能源有限責任公司，內蒙古 包頭 014010；2.西安科技大學 電氣與控制工程學院，陜西 西安 710054）

0 引 言

在智慧礦山建設中，人的因素起到越來越重要的作用，其角色也發生重要的轉變，礦工由體力勞動逐漸變為腦力勞動。受到復雜環境和腦力消耗的雙重影響，礦工精神狀態極易發生惡化［1-2］。對于礦工而言，較小的差錯都將會造成嚴重的煤礦安全事故。因此，井下礦工的健康狀況不容忽視。

在傳統方法中，礦工狀態主要由經驗豐富的醫生根據體檢報告整合體征信息進行評估［3］。這種方法不僅耗時費力，而且由于主觀因素，特別是對于診斷經驗不足的醫生，誤診和漏診的幾率就會提高［4］。因此，現有研究開始感知礦工體征信息，從而通過建模與信息融合等方式實現礦工狀態的快速識別。JIN等利用體溫、血壓、心率等11個指標組成評價指標體系實現對礦工生理和心理狀態的評估［5］。CHEN等通過野外試驗測量高海拔寒冷地區礦工的心電圖、肌電圖、脈搏、血壓、反應時間和肺活量等疲勞心理生理參數，通過多特征信息融合實現疲勞的快速識別［6］。但是，選擇合適的體征信息成為一個難點。當采集的體征數據類型過多時，容易造成數據冗余，從而增加評估時間；當采集的體征數據類型過少時，評估準確性也會因此降低。

原始腦電信號包括時域、頻域和空間域等特征信息，特征類型較少，從而在一定程度上避免特征選擇的難題［7］。此外，腦電信號被譽為狀態識別的“金標準”，各類特征已經被證實可以對人體情緒和精神狀態進行客觀、精準識別［8-9］。時域分析集中于腦電信號的波形變化，分析方法包括零點分析、直方圖分析和自回歸參數模型等。CHINAR等從腦電信號中提取時域特征來檢測困意，結果表明，他們所提出的單通道腦電信號瞌睡檢測模型具有較好的準確性［10］。頻域分析主要集中于具有頻率變化的腦電信號的抽象特征。腦電信號能捕捉到大量神經元的振蕩活動，例如人體精神狀態變化會引起θ和α等節律幅值和功率的變化。通過這些振蕩活動可對腦電信號進行有效的頻域分析，分析方法有傅立葉變換（fourier transform，FT）和功率譜估計等［11］。王春晨等選用多通道EEG的頻域參數作為情緒識別的特征向量，利用機器學習算法在特征參數選擇和分類算法設計方面高效可靠的特點，設計一種新型情緒狀態識別算法，實現對情緒狀態準確有效的識別［12］。空間域分析集中于對高維腦電圖數據進行統計分析，具有增強局部活動、減少各通道中的共有噪聲、降低數據維度等作用。分析方法主要有典型相關分析（canonical correlation analysis，CCA）、主成分分析（principal component analysis，PCA）、獨立成分分析（independent component analysis，ICA）和共同空間模式（common spatial patterns，CSP）等。閆夢夢等提出一種基于腦電情感識別的空域濾波方法，利用改進CSP空域濾波算法在三分類情感腦電信號的識別結果中達到87.54%的平均識別率［13］。但是上述研究中，大多數使用單一域分析腦電信號，導致特征具有局限性，缺乏對人體狀態的綜合評估。

腦電信號的時域、頻域和空間域分析方法從單一特征維度已經實現人體狀態識別，若融合3種分析方法的優點實現多種特征數據信息的處理，為評估算法取長補短提供可能［14-15］。因此，文中在提取腦電信號的多域特征并對精神狀態進行分類的基礎上，采用決策融合方法建立多模態特征空間，提出一種基于D-S證據理論的礦工精神狀態融合評估算法，保證煤礦安全生產。首先，采用Teager能量算子（teager energy operator，TEO）和多尺度熵（multiscale entropy，MSE）提取腦電信號的時域特征；利用小波包變換（wavelet packet transform，WPT）提取腦電信號的頻域特征；分析腦電信號的相位鎖定值（phase locking value，PLV）和相干性，提取空間域特征。其次，通過支持向量機（support vector machine，SVM）、卷積神經網絡（convolutional neural network，CNN）和BP神經網絡分別對時域、頻域和空間域特征進行分類；最后，根據決策級融合規則，采用D-S證據理論融合各類子模型概率輸出結果，實現準確、客觀地評估礦工精神狀態。

1 數據采集及預處理

1.1 數據采集

對照煤礦工人職業要求，選擇一名系統性學習過煤礦安全生產過程以及熟知礦工作業流程的在校研究生作為被試者。被試者為男性，年齡24歲，身高175cm，身體健康且無神經系統疾病史，具備成為礦工的客觀條件。為了保證數據集的客觀性，在試驗開始前要求被試者保持充足的睡眠，并且不飲用咖啡、酒等刺激性飲品。

試驗通過礦區環境模擬裝置和腦電信號采集設備輔助數據采集。礦區環境模擬裝置來模擬礦下氣味與溫度等影響因素，該設備包括系統監測軟件和云平臺工作站等，可以模擬光線、高溫、噪聲及氣味等氣候環境并進行實時檢測，如圖1所示。EMOTIV EPOC Flex為腦電信號采集設備，采用國際10-20標準電極放置規范對腦電信號進行采集。為了兼顧數據質量和計算速度，試驗中腦電信號采樣頻率設置為128 Hz，記錄的信號經過0.1～100 Hz帶通濾波器濾波后進行基線校正［16］。

圖1 礦區環境模擬裝置Fig.1 Mine environment simulation modes

井下環境復雜且與地面環境差異較大，為更好模擬井下環境，地點選擇在狹小、幽暗的房間，試驗環境及采集畫面如圖2所示。與此同時，加入關于井下環境的視覺和聽覺刺激來加速被試者精神狀態的變化。隨著高強度運動（學習）以及復雜環境的雙重影響，被試者的精神狀態發生變化。試驗開始前，采集一次無環境刺激的腦電數據作為參考數據。每組試驗過程中，視頻播放的時間即為腦電信號采集的時間。試驗流程如圖3所示。為客觀評定被試者當前的精神狀態，通過E-Prime軟件設計一組客觀測驗和主觀問卷來判定被試者的生理狀態、疲勞狀態和認知反應狀態。客觀測驗內容包括：警覺性、數字瞬時記憶、單詞短時記憶、注意力、認知靈活性、放松程度、協調能力等。主觀問卷采用視覺模擬評分法（visual analogue scale，VAS）調查被試者當前生理狀態和疲勞狀態。由于容易理解、最低語言要求、視覺格式、最低管理和完成時間等原因，VAS比報告問卷有許多優勢。

圖2 試驗環境及數據采集示意Fig.2 Test environment and data acquisition

圖3 試驗流程示意Fig.3 Schematic diagram of test procedure

1.2 數據預處理

1.2.1 原始腦電信號數據。

通過EEGLAB對原始的腦電信號進行預處理［17］。首先，使用FIR帶通濾波器對腦電信號進行0.5～50 Hz的濾波以去除腦電設備所引起的偽跡成分（高頻段：＞50 Hz）以及被試者呼吸和心跳所引起的偽跡成分（低頻段：＜0.5 Hz），從而保留腦電信號中最有效的頻段。其次，ICA和PSD用于移除眼電或肌電成分。最后，將處理后的腦電成分進行疊加，得到最終的腦電信號。

1.2.2 相關測驗任務的指標數據

首先，歸一化算法將測驗的反應時間（自評程度）B＝（bij）和準確率A＝（aij）映射到0～1的范圍內。min-max規則將指標參數投射到［l1，l2］區間內，歸一化的計算過程為

以生理狀態為例，無刺激試驗各項指標作為參考，見式（3）

式中 Bmean為無刺激時的反應時間（主觀問卷自評程度）的平均值；Amean為無刺激時客觀測驗準確率的平均值；Bj為有刺激時的反應時間（主觀問卷自評程度）；Bmax為有刺激時的反應時間（主觀問卷自評程度）的最大值；Aj為有刺激時客觀測驗的準確率；Amin為有刺激時客觀測驗準確率的最小值；n為客觀測驗和主觀問卷的總數目；k為主觀問卷的數目。疲勞狀態Sf和認知反應狀態Sc的求解與生理狀態Sm類似。最后，根據判別式（2）得到當前人體精神狀態的標簽類型。

2 特征提取

2.1 時域特征提取

時域波形特征包含來自腦電信號的所有時間信息，可以清晰代表關于礦工腦波的振幅和周期，以此用于礦工精神狀態的識別。但隨著礦工精神狀態的下降，可能導致所提取的時域波形特征中成分混雜，因此需要對所采集的腦電信號采用疊加平均的方法來間接提升鑒別信息的比例。TEO在連續和離散域都有定義，從能量的角度分析單分量信號是非常有用的工具［18］。MSE是非線性動力學理論中的一種復雜度分析算法，最早由COSTAD等于2002年提出［19］。MSE可以考慮到信號在多個時間尺度上的動態特性和遠程相關性信息，從而全面地度量信號的復雜度，十分適合復雜時間序列信號分析［20］。然而，MSE無法獲取和利用腦電信號的波幅變化和瞬時能量變化值。因此，先通過TEO提取預處理后的腦電信號特征，再對信號進行MSE變換，從而獲得腦電信號波幅變化的復雜度和瞬時能量的長距離相關性信息。

尺度因子（s）按順序進行移動后對所有移動窗口進行信號重疊，計算得出新的TEO信號序列，此過程即為TEO信號尺度變換。為了提高信號重建的效率和重構信號特征鑒別效果，文中采用基于均值漂移聚類算法求解重構信號的聚類中心距離，自適應尺度因子求解算法來得到合適的尺度因子［21］。按照不同尺度因子對TEO信號進行重建后，提取信號的熵特征信息，主要包括近似熵、樣本熵、排列熵、模糊熵、小波熵。

2.2 頻域特征提取

腦電信號在頻域空間有大量的精神狀態鑒別特征，通過計算不同頻段能量變化，進而較為直觀地分析θ波段、α波段、β波段、δ波段和γ波段的能量狀態。為了獲取在相同頻率區間內礦工腦電信號中5個頻段的能量分布，采用小波包變換對腦電信號進行分解。

小波包變換通過一組彼此正交的小波基函數將腦電信號投射到另一空間中，可以為特征提取創建較為細致的分析基礎，從而提高礦工精神狀態腦電信號的時頻分辨率［22］。選取各頻段的小波包系數的平均能量作為腦電特征，腦電信號的能量為信號空間范式的平方。具體計算公式為

式中 k為第l分解層中第k個頻帶；l為分解層序列；di（l，k）為第l層分解層中第k個頻帶的小波系數；i為該節點的小波系數的序列；I為該節點的小波系數的數量；G（l，k）為第l層分解層中第k頻帶的平均能量。

2.3 空間域特征提取

大腦的每個部分在人類行為中都具有其獨特的功能，即使最為簡單的任務也是需要很多大腦區域共同協助才能完成。空間域的角度對礦工的腦電信號進行分析，可以得到礦工腦區之間的信息交互（即連通性）情況。目前，衡量頭皮腦電信號活動的連通性的技術有很多。總的來說，腦電連通性指標可以分為4類：基于相干的指標、基于相位同步的指標、基于廣義同步的指標以及基于格蘭杰因的指標。文中使用PLV和相干性2種腦連通指標來分析腦電信號的空間域特征。相干性和PLV代表兩通道間信號的相互連接關系，數值型特征不能較好地體現腦部空間特征信息。因此，對連接性特征數據進行腦連接圖像可視化。將事件中每一通道與其他所有通道的相干性和相位同步性各畫一個腦連接圖，所以每一事件的相干性和相位同步性各有32個腦連接圖，總共64個腦連接圖。

腦電信號在特定時間段和頻段內具有穩定性的PLV和相干性［23］。PLV可以反映兩通道間礦工腦電信號的同步性，該值越接近于1，則表示2組腦電信號之間的同步性越強。相干性可以評估量礦工腦電信號兩通道間的連接性。該值越接近0表示兩通道腦電信號之間連接性越弱，該值越接近1表示兩電極通道腦電信號連接性越強［24］。設fi（t）和fj（t）為2個不同通道的礦工腦電信號，PLV值由式（5）表示，相干性見式（6）

式中 θ（t）為在t時刻腦電信號fi（t）和fj（t）的相位差；N為樣本總數。Pfifi（Γ），Pfjfj（Γ）分別為兩通道腦電信號的自功率譜密度；Pfifj（Γ）為兩通道腦電信號的互功率譜密度；Cfifj（Γ）為在頻率Γ處兩電極通道信號的相干系數。

3 特征分類

3.1 時域特征分類

SVM是機器學習中的一種監督學習方法，在解決小樣本、非線性和高維模式識別等問題中具有突出優勢［20］。通過SVM分類后的時域特征評估結果見表1。試驗共采集到3040組腦電信號數據，通過TEO提取特征后每個事件的數據維度為998行、32列。計算5種MSE后，每組數據的數據維度為5行、32列。每組事件組合特征數據的維度為160列，數據維度較大。因此，采用PCA對腦電信號的特征進行再次降維，數據維度為：3 040行、11列。5種 MSE 的 分 類 精 度 分 別 為：38.50%，41.67%，39.33%，48.17% 和43.83%，在特征進行組合和PCA處理后，分類準確率為67.50%。

表1 時域特征維度及評估結果Table 1 Time domain feature dimension and evaluation results

3.2 頻域特征分類

具有圖像特征提取能力的CNN模型可對經過能量譜地形圖表征后的頻域特征進行較好地分類識別［25］。小波包變換后獲得的五頻段能量譜的特征數據維度為：3 040行，160列。每個事件共5個腦地形圖，分別對應腦電信號的5個頻段。每個事件的各個頻段都包括32個通道的能量譜。CNN模型結構為：5個池化層，13個卷積層，3個全連接層；模型參數為：學習率為：0.000 1，最大訓練輪數為：300，批處理為：128。將每個事件的5個腦地形圖作為CNN的一組輸入數據，得出CNN模型識別精度見表2，評估準確率為80.67%，距離準確評估礦工精神狀態還具有較大的差距。

表2 頻域特征維度及評估結果Table 2 Frequency domain feature dimension and evaluation results

3.3 空間域特征分類

BP網絡已經被證明具備較強的學習、歸納和特征信息處理的能力，可以對非線性的腦電數據實現訓練和識別。因此，文中使用BP網絡對空間域特征進行分類識別，表3為BP網絡分類結果，分類準確率為71.17%。經過分析礦工腦電信號的PLV和相干性后，數據維度降為496。繪制32個通道的腦連接圖實現特征可視化后，數據維度從496降為32，減少分類時間，分類準確率為71.17%。

表3 空間域特征維度及評估結果Table 3 Spatial domain feature dimension and evaluation results

4 決策融合評估算法及分析

4.1 信息融合依據

近年來，信息融合成為一項重要的研究課題，將不同融合方法應用于基于腦電信號的人體狀態識別中，是腦機接口技術研究的一個方向。將基于時域、頻域和空間域特征的3個分類模型作為子模型并融合有望多角度、全方面綜合分析礦工精神狀態。因此，文中提出通過融合算法將SVM子模型、CNN子模型和BP網絡子模型進行有效融合，融合基于以下考慮。

1）分析礦工腦電信號的時域特征、頻域特征和空間域特征的相關方法所得出的分類準確率過低（時域特征：67.50%；頻域特征：80.67%；空間域特征：71.17%），不能達到礦工精神狀態評估體系的建設要求。

2）在個體差異的情況下，依據個體模態（時域、頻域和空間域特征）分類的結果具有不確定性。

如上所述，由于時域、頻域和空間域特征分類精度較低以及分類結果存在不確定性影響因素，需要采用信息融合的技術手段，將代表時域、頻域和空間域特征的概率輸出結果在時間和空間上進行綜合關聯，取長補短，以實現對礦工精神狀態更優化、準確地評估，保證煤礦安全生產。

4.2 D-S證據理論的引入及實施

目前的融合算法多種多樣，D-S證據理論作為其中經典的融合算法，由DEMPSTER和SHAFER提出［26］。D-S證據理論具有較高的評估效率，在解決不確定性的信息融合方面具有較大的優勢。現有研究證明，將D-S證據理論融合算法應用于深度學習的分類模型里有利于提高分類的準確性［27］。結合文中研究現狀，采用D-S證據理論融合算法更能滿足研究要求。

基于D-S證據理論的融合評估算法是在決策級進行的。決策融合方法可以充分利用礦工腦電信號的多元信息，做出全局的最優決策，彌補單個模態評估結果的不足，從而提高礦工精神態的評估準確率，保證結果的準確性。算法總體框架如圖4所示，主要包括子模型與融合模型2大模塊。子模型部分由時域、頻域和空間域特征提取與分類組成；為了保證多域特征得到充分利用，決策融合部分通過D-S證據理論等權重將3個子模型的評估結果進行融合。具體地，先將SVM子模型與CNN子模型的概率輸出結果進行融合，再將子融合結果與BP網絡子模型進行融合，從而得出最終的評估結果。

圖4 算法融合結構Fig.4 Algorithm fusion structure diagram

根據D-S證據理論融合規則，融合識別算法的主要分析步驟如下。

第1步：將礦工的狀態分為4個等級并構建集合組成識別框架Θ＝｛極差，差，良好，優秀｝。

第2步：將SVM子模型、CNN子模型和BP網絡子模型的分類結果用作為D-S證據理論的概率分配函數，分別獲得4類狀態的基本概率賦值：mSVM（i）、mCNN（j）、mBP（w）。

第3步：融合SVM子模型和CNN子模型概率輸出結果。

式中 i，j，A∈Θ；Υ為碰撞因子：Υ ＝0表示概率分布函數不沖突；Υ ＝1表示概率函數分布函數完全沖突。Υ的表示如下

第4步：得到4種狀態對應的m（A），即子融合結果。將子融合結果與BP網絡子模型的概率輸出結果進行融合。

式中 B，w∈Θ；Υ′的表示如下。

第5步：找出代表4種狀態概率輸出結果的m（B）最大值，最大值為最終的評估結果。

4.3 融合結果分析

表4展示所有子模型以及融合評估算法的分類準確率。文中將評估準確率作為評價礦工精神狀態評估方法效果的依據，準確率越高代表該方法評估礦工精神狀態效果好，準確率越低表示該方法評估效果差，從而不能為煤礦企業提供準確的礦工精神狀態評估依據。

表4 子模型與融合模型融合精度Table 4 Evaluation accuracy of sub-model and fusion model

在時域分析方法中，SVM子模型的評估準確率較低，原因是受試者在腦電信號采集過程中容易受到環境等因素的干擾，導致時域波形特征包含了大量偽跡，從而影響最終的評估結果。在頻域分析方法中，CNN子模型具有較高的評估準確率的原因是WPT提取的頻域特征通過能量譜腦地形圖表征化后，能量譜信息的變化與腦空間信息相互結合，很大程度上降低了輸入特征的維度，同時主觀地保留了腦電信號部分特征信息，從而提高了評估準確率，實現通過頻域特征評估礦工精神狀態。在空間域分析方法中，相比于SVM子模型的評估結果，BP網絡子模型具有較好的評估準確率；但相比于CNN子模型的評估結果，其并不具備優勢。

通過決策融合后，礦工精神狀態評估準確率為90.50%，比識別效果最好的CNN子模型的準確率提高9.83%，比SVM子模型和BP網絡子模型分別提高23.00%和19.33%。礦工精神狀態評估結果有很大程度的提升，主要原因在于決策融合評估算法考慮腦電信號多維特征之間的關系進而系統性地對礦工精神狀態進行評估，從而提高礦工精神狀態的評估準確率。

5 結 論

1）基于腦電信號時域、頻域、空間域特征實現精神狀態分類識別的效果為：CNN頻域子模型評估礦工精神狀態識別效果較優；BP網絡空間域子模型評估礦工精神狀態效果次優；SVM時域子模型評估礦工精神狀態效果第三優。但是，3種相關分析方法評估準確率相對過低，評估效果均不理想。

2）基于D-S證據理論融合評估算法融合3個子模型分類結果，充分利用多域特征信息，最終分類4種狀態的準確率相對最優，評估效果相對最好，為煤礦企業提供的參考依據相對最可靠。