基于頭動與眼電信號的疲勞檢測研究

管凱捷 姚 康 任誼文 張 熙 付威威*

1(中國科學技術大學 安徽 合肥 230026) 2(中國科學院蘇州生物醫學工程技術研究所 江蘇 蘇州 215163) 3(中國人民解放軍總醫院第二醫學中心神經內科 北京 100000)

0 引 言

疲勞是由于過度的體力或腦力勞動引起的工作能力與效率能力下降的一種生理現象，其不僅會造成人們的作業能力下降，還可能會誘發事故[1-2]。駕駛疲勞現象在我國也是屢見不鮮，根據有效數據統計[3]，2004年至2014年期間，在我國高速公路上發生的交通事故中，其中因疲勞駕駛導致的交通事故約占10%。同時有相關研究表明[4]，當駕駛員因長時間駕駛產生疲勞時比清醒不疲勞時更加容易引發交通事故，因為駕駛員在疲勞之后再遇到外界突發情況時，自身因疲勞產生的生理反應無法及時采取正確的措施去應對這種情況，所以更加容易引發交通事故。因此如何快速有效、實用且準確地檢測出疲勞成為了值得研究的課題。

目前，國內外針對腦疲勞檢測的主要手段有主觀檢測和客觀檢測兩種[5]，主觀檢測的方法容易被受試者主觀情緒等因素影響，很難做到客觀定量化的評判，從而導致準確性與實時性無法得到很好的保障；客觀檢測的主要研究方法有：(1)基于生理特征信號的檢測[6]，如分析肌電、腦電、眼電等生理信號的變化；(2)基于行為特征的檢測[7]，如分析頭部動作、嘴部動作、眨眼等行為特征的變化。

基于生理特征信號的檢測方式具有較高的準確率[8]，但是采集生理信號的設備都相對復雜，實用性不強，因此針對這一方面的研究主要在實驗室開展。Charbonnier等[9]通過腦電實驗得出了腦電信號的變化與疲勞程度變化的關系，但是相關算法比較龐雜，導致檢測速度慢，腦電信號檢測設備需要侵入式佩戴，且對受試者限制較多，不適宜推廣使用。Bulling等[10]利用小波變換的方法提取出眼電特征，從而識別眼部運動情況來判定疲勞程度，但該方法容易受到情緒等因素影響，導致誤判疲勞程度。Ma等[11]從眼電信號中提取慢速眼電特征，并檢測了受試者在單一任務中的警覺度變化，該方法雖然減少了很多噪聲，準確率得到了提高，但是只能局限單一任務的檢測。通過從眼電信號中提取眼睛和眼瞼運動的特定成分，Morris等[12]發現眨眼頻率是預測飛行員疲勞程度變化的最佳指標。

基于行為特征的檢測方式，近年來也被大量研究，如基于頭部動作的頭部姿態的估計與識別在疲勞監測、自動駕駛、人臉監測等領域應用廣泛[13]。Breitenstein等[14]提出一種頭部姿態角估算算法，提取采集到面部圖像的關鍵點與正常狀態的面部圖像比對，估算出歐拉角的大小，但是該方法需要受試者一直面向圖像采集裝置，否則會導致無法捕捉面部圖像特征，從而無法判斷。Murphy-Chutorian等[15]基于單目攝像機，能全天候地捕捉駕駛員的面部圖像，并比對建立的正常面部模型估算駕駛員頭部姿態角，從而判斷駕駛員的疲勞程度，但是這種設備不便攜帶且檢測準確率不高。Ebisawa[16]采用立體相機捕捉人臉圖像，定位兩個瞳孔和鼻孔的位置，并以其兩兩之間的距離作為特征模型，從而得出實時的頭部姿態狀態，進而判斷人的狀態，但是該方法難以去除噪聲的影響，對最后的狀態判斷影響較大。李勇達等[17]采用AdaBoost算法檢測人臉區域，然后采用Camshift算法對人臉進行跟蹤，計算頭部傾斜角及旋轉角速度判斷疲勞狀態，但是該方法對于打呵欠、低頭、閉眼等情況無法做出反應。

本文提出一種結合生理特征和行為特征信號并引入特征融合提高疲勞檢測的方法，以便攜式眼鏡為載體，采集頭動與眼電信號，原始信號通過藍牙同步上傳到手機終端。基于融合卡爾曼濾波算法處理頭動信號得到點頭頻率特征，基于Perclos算法P80原理與分段平均功率比值法處理眼電信號提取眨眼頻率與低高頻功率比值特征。采用PCA進行特征融合，得到疲勞程度值，從而判定疲勞程度。疲勞檢測設備具有便于攜帶，疲勞識別率高等優勢。結合Pearson法將其與腦電檢測疲勞結果比對，驗證了本文方法的準確性和有效性。

1 系統設計

1.1 疲勞檢測裝置設計

疲勞檢測裝置如圖1所示，鏡腿進行了加寬處理，鋰電池固定在左鏡腿中，MEMS傳感器安置于右鏡腿電路主板處，三個Ag/Agcl電極分別固定在鼻梁和鼻托處。此疲勞檢測裝置具有便于攜帶、結構簡單的優點。

圖1 疲勞檢測裝置

1.2 頭動信號采集

采用MEMS傳感器采集頭動信號，它由兩部分組成，一部分為三軸加速度計與三軸陀螺儀，分別用于采集加速度信號與角速度信號；另一部分為三軸磁力計，用于采集磁場強度。傳感器采用的是SPI通信方案，速度可以達到1 MHz。在設備正常的情況下，加速度的采樣率為4 kHz，角速度的采樣率為1 kHz，磁力的采樣率為8 Hz。

1.3 眼電信號采集

采用了接觸阻抗低、信噪比高及穩定性好的Ag/Agcl作為采集電極，相對于采用傳統的使用五個電極雙導聯方式采集眼電信號，本文系統使用了三個電極單導聯方式采集眼電信號，鼻梁處電極為參考電極，鼻托處兩個電極為信號電極，這種方案導聯數更少，信號噪聲水平更低，眼電信號更易捕捉。在設備正常的情況下，眼電的采樣率為8 kHz。

將上述采集的頭動與眼電信號原始數據通過藍牙傳輸的方式上傳到手機終端，上傳速率為100 Hz，并進行處理與保存。

2 特征提取

2.1 頭動信號特征提取

大量研究表明[18-19]，人的頭動行為中蘊含了大量的行為信息，有些特定的頭動特征能很大程度上表征人當前的行為狀態，而這種行為狀態又可以通過跟蹤其頭部姿態來獲取，比如：隨著疲勞的加深，人會出現瞌睡不斷點頭、點頭頻率變高的行為特征。因此采用點頭頻率作為頭動信號特征，具體提取過程如下：

1) 采用融合卡爾曼濾波法處理頭動原始數據(加速度、角速度和磁力計數據)，得到最優俯仰角。

(1) 將加速度計、陀螺儀、磁力計采集的原始數據通過四元數法得到俯仰角θ，如式(1)所示：

(1)

式中：ax為x軸加速度；ay為y軸加速度。

(2) 以俯仰角θ和x軸角速度gx為輸入量，建立狀態方程和測量方程。

建立X(k)=A·X(k-1)+B·U(k)+W(k)格式的狀態方程：

X(k)=K0·θ(k-1)+(1-K0)·dt·(gx(k-1)-qbias)

(2)

式中：A=K0；X(k-1)=θ(k-1)；B=(1-K0)dt；U(k)=gx(k-1)；W(k)=-(1-K0)·dt·qbias。

測量方程建立如下：

Z(k)=H·X(k)+V(k)

(3)

式中：X(k)為狀態方程中的狀態向量；A為從k-1時刻到k時刻的狀態轉移矩陣；U(k)為系統輸入的控制向量；B為輸入控制向量的增益矩陣；K0為最優角優化系數；dt為卡爾曼濾波器采樣時間；qbias為陀螺儀漂移系數；Z(k)為測量方程中的k次觀測向量；H為狀態量到觀測量的增益矩陣；W(k)和V(k)分別為過程和測量噪聲，均為高斯白噪聲，他們的協方差分別為Q和R。

(3) 基于系統上一狀態預測k時刻狀態，如式(4)所示：

X(k|k-1)=A·X(k-1|k-1)+B·U(k)

(4)

式中：X(k|k-1)是利用上一狀態預測結果；X(k-1|k-1)是上一狀態最優結果。

(4) 計算k時刻協方差 ，如式(5)所示：

P(k|k-1)=A·P(k-1|k-1)·A′+Q

(5)

式中：P(k|k-1)是X(k|k-1)對應的協方差;P(k-1|k-1)是X(k-1|k-1)對應的協方差;A′是A的轉置矩陣。

(5) 計算k時刻卡爾曼濾波增益Kg(k)，如式(6)所示：

(6)

式中：H′是H的轉置矩陣。

(6) 計算k時刻狀態最優估計值X(k|k)，如式(7)所示：

X(k|k)=X(k|k-1)+Kg(k)·(Z(k)-H·X(k|k-1))

(7)

(7) 更新k時刻狀態下協方差P(k|k)，如式(8)所示：

P(k|k)=(I-Kg(k)·H)·P(k|k-1)

(8)

式中：I為單位矩陣，對于單模型單測量，I=1。

模擬點頭，通過融合卡爾曼濾波法處理后，發現每次點頭俯仰角曲線都會產生一個峰值，如圖2所示。Ferrario等[20]研究后發現，成年人頭部轉動角度有一個固定的正常范圍，其中：頭部前后傾斜(俯仰角Pitch)的角度范圍為-60.4°到69.6°，左右傾斜(橫滾角Roll)的角度范圍為-40.9°到36.3°，水平旋轉(偏航角Yaw)的角度范圍為-79.8°到75.3°。點頭即頭部向前傾倒，參考Perclos算法的P80原理，即眼瞼遮住瞳孔的面積超過80%就計為眼睛閉合，將點頭角度超過正常角度范圍80%定義為點頭，故將點頭閾值設定為55°。

圖2 點頭曲線變化

2) 查找每分鐘俯仰角曲線中的峰值大小及數量，然后將大于點頭閾值的峰值保留，最后得到每分鐘的點頭頻率。

2.2 眼電信號特征提取

研究表明[21]，隨著疲勞的加深，人的眨眼頻率及眼電信號低高頻功率比值會增高，因此采用眨眼頻率和眼電信號低高頻功率比值作為眼電信號特征，具體提取過程如下：

1) 對采集到的眼電原始信號進行低通濾波預處理，過濾掉信號中的毛刺和弱噪聲，如圖3所示。

圖3 眼電信號預處理

2) 眨眼時眼電信號會產生一個波峰，參考Perclos算法的P80原理，將眨眼閾值大小定義為眨眼最大幅值與睜眼幅值差的80%加上睜眼幅值，如圖4所示，然后計算每分鐘大于眨眼閾值的眨眼波形數量，從而得到眨眼頻率的特征。

圖4 眨眼信號波形

3) 一般常人眼電信號的頻率主要集中分布在0.1～38 Hz，其主要成分在10 Hz以下，且隨著人疲勞程度的加深，低頻眼電信號成分會增加，高頻眼電信號成分會減少，如圖5所示。

(a) 清醒

(b) 疲勞圖5 眼電信號頻譜圖

本文選取0～2.5 Hz作為低頻區，2.5～10 Hz作為高頻區，以1分鐘為時間窗長度，對其分別計算平均功率，并將每段眼電信號中的低頻區平均功率與高頻區平均功率的比值作為眼電信號特征。

每段眼電信號低高頻功率比值R的計算公式如式(9)所示：

(9)

式中：P(l)為低頻平均功率；P(h)為高頻平均功率。

3 特征融合

3.1 主成分分析法

為了克服不同人生理特征差異而導致疲勞識別率低的問題，本文引入了主成分分析法，此方法主要利用降維的思想，將多個指標經過處理轉換為少數幾個綜合指標即主成分，這種方法在降低原數據量維數、去除原數據多余信息的同時保留了原始信號的主要信息。這種方法不僅能夠減少數據量，而且能夠更加突出原始數據的主要特征。本文將提取每分鐘的點頭頻率、眨眼頻率、眼電信號低高頻功率比值三個特征值，采用PCA進行降維處理提取疲勞程度值曲線。

1) 將特征數據進行去均值處理，然后求取協方差矩陣C，計算x和y的協方差：

(10)

2) 對協方差矩陣C進行特征分解，得到特征值與特征向量，如式(11)所示：

C=UΛU′

(11)

(12)

4) 將原始特征數據投影到步驟2)中得到的坐標系U中，新投影組成的向量就是主成分的分向量。

3.2 疲勞程度模型的建立

通過模擬清醒和疲勞狀態，并對提取的點頭頻率、眨眼頻率、眼電信號低高頻功率比值三個特征參數進行主成分分析，得到各自貢獻率，從而得到疲勞程度值R：

(13)

式中：Ai分別為提取的特征參數，λi為各自特征參數對應的貢獻率。

通過模擬清醒疲勞狀態實驗，將自身的狀態細分為四個等級，分別為清醒(注意力非常集中)、輕度疲勞(注意力不是非常集中，有點松弛)、中度疲勞(一直打哈欠，想睡覺休息)、重度疲勞(眼皮克制不住的耷拉、非常困倦想睡覺)。并將得到的疲勞程度值與自身狀態比對，對應的疲勞程度值在0～0.20時，代表著清醒狀態；0.21～0.50時，代表著輕度疲勞狀態；0.51～0.75時，代表著中度疲勞程度；0.76～1時，代表著重度疲勞狀態。

4 實驗與分析

4.1 實驗設計

實驗共招募了150名受試者，100名男性50名女性，均為中國科學院蘇州醫工所的科研人員，年齡范圍為18～40歲(平均年齡26±2.6歲)，裸眼視力正常，身體健康，受試前48小時內睡眠充足，沒有進行劇烈運動、沒有飲用咖啡或者濃茶、沒有飲酒或者吸煙、無神經及精神科用藥史和病史。本實驗已經通過倫理委員會審查，所有受試者均在實驗前被告知實驗內容、方式和目的，并簽署了數據使用授權書以及知情同意書。

研究發現[22]每日的上午十點到十一點期間，正常成人一般都會有一個精力充沛的小高峰期，而從中午十二點以后會逐漸疲勞甚至困倦，特別是在下午一點時人們最容易產生精力疲憊。基于此，本文將實驗時間設定在中午的12：30～13:30。

實驗前詳細向受試者講解實驗流程以及注意事項并教導其疲勞檢測設備的使用方法。實驗共分為三個階段，每個階段18分鐘，每個階段默認為一個整體，受試者的狀態不變，在每個階段試驗開始前兩分鐘，受試者需要填寫斯坦福嗜睡量表(Stanford sleepiness scale, SSS)，主觀評估自身狀態。該量表是主觀評價自身疲勞程度的有效工具[23]，共分為7個主觀感受等級，衡量受試者當前狀態，疲勞程度從1到7逐漸增加，1表示高警覺水平狀態，7表示嚴重的困倦程度，將要進入睡眠。實驗期間，受試者要求佩戴本疲勞檢測設備，進行隨機分配到的工作，工作內容包括電腦辦公、閱讀、看電影、打游戲、模擬駕駛、玩手機。同時為了驗證檢測出來的疲勞程度值的有效性，實驗期間要求受試者同時佩戴便攜式數字腦電信號采集設備Emotiv，其中電極按照國際標準放置。

4.2 實驗結果分析

根據斯坦福嗜睡量表等級劃分描述，將其劃分為清醒、輕度疲勞、中度疲勞、重度疲勞四個等級，與本文疲勞程度值對應關系如表1所示。

表1 疲勞程度對應關系

實驗共三個階段，每個階段持續18分鐘并會輸出18個疲勞程度值，計算其平均值，作為本階段最終的疲勞程度值，本文從150名受試者數據中隨機抽取了15名受試者數據進行展示，結果如表2所示。

表2 試驗數據結果

結合表1劃分的疲勞程度對應關系，從表2中可以看出除了3號受試者，其余受試者疲勞檢測結果與主觀疲勞程度評估相符。其中3號受試者試驗期間從事的工作內容為打游戲，可能由于打游戲需要受試者全神貫注，導致他的點頭特征和眨眼特征受主觀導向性影響，表現出來的特征不明顯，從而導致通過特征融合的疲勞程度判斷和主觀疲勞程度的評估出現了誤差。分析處理全部實驗數據，發現在整個實驗過程中，有14名受試者在整個過程三個階段中有判斷錯誤的情況，136名受試者判斷準確，故本次實驗的疲勞識別率達到了90.6%。

表3所示為本文方法與近年來部分疲勞檢測的研究內容對比，本文不僅從疲勞檢測的方案上創新，結合了頭動與眼電信號判斷疲勞程度，且疲勞識別率達到了90.6%，同時該設備便于攜帶。

表3 與其他方法對比

而本次實驗中，受試者的年齡分布廣泛、疲勞狀態分布均勻、工作內容覆蓋廣泛且與疲勞檢測金標準腦電信號判斷結果進行比較，都能更有利地驗證本方法的準確性和有效性。

5 結 語

本文研究了一種以眼鏡為載體的結合頭動與眼電信號的疲勞檢測方法。以眼鏡為載體采集頭動和眼電信號，基于卡爾曼融合濾波算法處理頭動信號提取點頭頻率特征，基于Perclos算法的P80原理和分段平均功率比值法提取眼電信號中的眨眼頻率和低高頻功率比值特征，采用主成分分析法進行多特征融合，得到疲勞特征值，從而判斷疲勞程度。實驗結果表明結合頭動與眼電信號的疲勞檢測方法的疲勞識別率達到了90.6%，并且基于眼鏡為載體便于攜帶，同時發現與通過腦電信號判斷的疲勞程度具有顯著相關性，相關性達到了0.82，驗證了本方法的有效性。