基于集成學習和脈搏多維特征融合的駕駛疲勞檢測方法

【摘要】為了提升駕駛疲勞檢測準確性，以駕駛員的生理信號脈搏波為數據源，在提取心率變異性特征的基礎上，引入基于血液動力學的脈搏波波形特征進行多維特征融合，構建可以有效表征駕駛疲勞的特征數據集，并基于集成學習構建駕駛員疲勞狀態三分類模型，在數據預處理階段引入重采樣方法，并對比不同采樣方式對模型檢測性能的影響。試驗結果表明：脈搏信號多維特征融合可以顯著提高對駕駛疲勞的檢測精度，相對于僅采用心率變異性特征的方法，在各場景下檢測精度能夠平均提高24.68百分點；重采樣可進一步提高集成學習模型的檢測性能，在采樣窗口寬度為2 min、采樣窗口重疊為80%、心率變異性特征與脈搏波波形特征融合的場景下，模型的檢測性能達到最佳。

主題詞：公路運輸 疲勞駕駛檢測 集成學習 脈搏波 心率變異性

中圖分類號：U491.6；U463.6" "文獻標志碼：A" "DOI： 10.19620/j.cnki.1000-3703.20240216

A Driving Fatigue Detection Method Based on Ensemble Learning

and Multidimensional Pulse Feature Fusion

Zhao Guoliang1， Xin Cong2， Liu Qiang1，3， Chen Zeping1， Ye Qing4

（1. School of Intelligent Systems Engineering， Sun Yat-sen University， Shenzhen 518107; 2. Guangzhou Automobile Group Co.， Ltd.， Automotive Research amp; Development Center， Guangzhou 511434; 3. Guangdong Marshell Electric VEHICLE Co.， Ltd， Zhaoqing 523268; 4. China Merchants Chongqing Communications technology Research amp; Design Institute Co.， Ltd， Chongqing 400067）

【Abstract】In order to enhance accuracy of driving fatigue detection， this paper takes drivers’ physiological signal pulse wave as the data source， introduces hemodynamic-based blood pressure waveform features based on the extraction of Heart Rate Variability （HRV） features. Moreover， a feature indicator set that can effectively characterize driving fatigue is constructed， and a three-classification model of driver fatigue is constructed based on ensemble learning. Then， a resampling method is introduced in the data preprocessing stage， and the effects of different sampling methods on the detection performance of the model are contrasted. Test results show that multidimensional feature fusion of pulse signals can significantly improve the detection accuracy of driver fatigue by 24.68 percentage points on average in all scenarios compared with the method of using only HRV features; resampling can further enhance the detection performance of the ensemble learning model， and the model achieves the best detection performance in a scenario with a sampling window width of 2 min， a sampling window overlap of 80%， and a fusion of HRV features with pulse waveform features.

Key words： Highway transportation， Fatigue driving detection， Ensemble learning， Pulse wave， Heart rate variability

1 前言

疲勞駕駛是導致交通事故的主要原因之一，對于行車安全及公共安全具有較大威脅[1]。基于駕駛員腦電、心電、脈搏等生理信號開展疲勞檢測成為常見的研究方法[2-3]。光電容積脈搏波描記法（PhotoPlethysmoGraphy，PPG）傳感器通過光束照射皮膚表面，接收透射/反射后的光束，記錄皮下血液的脈動性變化，具有便捷、非入侵等優勢，廣泛應用于采集耳垂、手腕等部位的脈搏信號，對駕駛員的干擾較小。因此，基于脈搏信號監測駕駛員的疲勞狀態，對保障行車安全具有重要意義。

傳統脈搏信號檢測駕駛狀態常通過提取相關心率變異性（Heart Rate Variability，HRV）特征，經統計分析或采用機器學習方法獲得特征與疲勞狀態間的關系。Lee等[4]將搏動間期生成的3種遞歸圖特征作為卷積神經網絡的輸入，提高了二分類任務（清醒/疲勞狀態）的準確性；Halomoan等[5]提取HRV特征并使用集成學習模型對疲勞狀態進行分類，準確率達81.82%；Murugan等[6]提取了13個HRV指標，使用支持向量機（Support Vector Machine， SVM）和K近鄰算法，雖然二分類任務的準確性略有提高，但多分類任務的準確性較低。傳統的HRV分析方法僅提取搏動間期時間間隔的整體變異性信息，忽略了脈搏波包含的其他數據信息，導致模型對駕駛疲勞的檢測精度較低。

對于不同的特征提取方式，Wang等[7]通過利用脈搏波傳輸時間和低于20 Hz的脈搏波信號的小波熵，能夠區分清醒和疲勞狀態。Li等[8]使用波形分析方法提取表征駕駛疲勞的特征指標，基于D-S證據理論（Dempster-Shafer Evidence Theory）建立了駕駛疲勞檢測模型，檢測精度達91.8%。但基于脈搏信號中單一特征提取方法無法獲得表征駕駛疲勞的足夠信息，導致駕駛疲勞檢測精度較低。且在預處理階段缺乏對數據采樣方式的探究[9]。

因此，本文通過設計模擬駕駛試驗，采集駕駛員脈搏信號，在提取HRV特征的基礎上，引入基于血液動力學的脈搏波波形（Blood Pressure Waveform，BPW）特征進行多維特征融合，構建基于集成學習的駕駛疲勞三分類檢測模型；同時，在數據預處理階段引入重采樣方法，尋找適用于駕駛疲勞檢測模型的最優采樣方式。

2 試驗設計

2.1 試驗參與者

本文試驗的被試者由16名男性和14名女性組成，年齡為23～48歲，身體健康、無嚴重神經系統及心腦血管疾病史，無3D眩暈癥。所有被試者均擁有C1駕照，且熟悉試驗流程與駕駛疲勞等級標準。被試者需填寫包含年齡、性別、累計駕駛里程等基本信息調查問卷，使用模擬駕駛器完成測試，并由主試者記錄特定階段的疲勞狀態。

2.2 試驗過程

試驗前，由主試者向被試者介紹儀器的操作方法及試驗流程，并在其耳垂正中部佩戴ErgoLAB耳夾式智能穿戴PPG傳感器，用于采集脈搏波信號，將血容量脈搏作為原始數據；然后，允許被試者進行3～5 min預駕駛，使其適應操作流程的同時，緩解興奮或緊張情緒；最后，被試者將在隔聲良好的駕駛艙內操作駕駛模擬器，通過傳感器采集脈搏波信號，由配套的人因生理記錄軟件以64 Hz的采樣頻率存儲至計算機。

當被試者進入輕度疲勞/重度疲勞狀態時，可點擊駕駛座椅旁按鈕，將信息反饋至主試者，降低主試者干預；當被試者無法承擔駕駛任務時，點擊特定按鈕，即可結束數據傳輸，此時試驗結束。

為了降低路況變化對試驗的干擾，加快被試者進入疲勞駕駛狀態，將道路平直、環境單調的高速公路作為駕駛場景。主試者在駕駛艙外，通過攝像頭及記錄儀采集信號，確保試驗正常進行，試驗環境如圖1所示。

2.3 疲勞等級

通過卡羅林斯卡嗜睡量表[10]（Karolinska Sleepiness Scale，KSS）量化駕駛疲勞程度，如表1所示。根據各階段劃分，KSS取值1～5為清醒階段，6～7為輕度疲勞階段，8～9為重度疲勞階段。試驗結束后，主試者與被試者共同查看視頻回放，確認被試者的實際駕駛疲勞表現與主觀自評一致。

3 多維脈搏波特征提取分析

3.1 多維脈搏波特征融合

自主神經系統活動可有效表征生理、心理狀態在清醒和疲勞間的交替變化[11]。心率變異性生理特征可以量化自主神經系統對交感神經與副交感神經的平衡調節[12]，進而表征駕駛員的疲勞狀態。但心率變異性僅提供搏動間期的整體變異性信息，忽略了單個搏動間期內波形包含的信息。

脈搏波是血壓脈沖變化的生物信號，血壓在交感神經和副交感神經系統的協同調節下會產生相應的動態變化[13]。所以，脈搏波也可作為交感神經和副交感神經平衡調節的量化指標，反映駕駛員的疲勞狀態。脈搏波形特征關注單個搏動間期內的細節變化，更直接地反映心臟的動力學特性，包含了更多動力學信息。

因此，本文引入血液動力學方法，通過對脈搏波波形的血液動力學參數進行計算，提取血壓波形的特征指標。將HRV與BPW的信息融合，充分提取生理信號整體和局部特征，如圖2所示。

3.2 心率變異性特征提取

本文基于最大重疊離散小波變換和上包絡方法[14]提取搏動間期，即竇性心搏RR間期（簡稱NN間期）。HRV特征與駕駛疲勞狀態的相關性較高，能夠反映連續NN間期的微小變化[15-17]，因此，可從時域、頻域和非線性域中提取HRV特征，如表2所示。

時域HRV特征通過計算NN間期的數理統計指標評估心率變異性，揭示信號隨時間變化規律，主要反映交感神經與副交感神經張力大小，進而評價自主神經系統總體程度[18]；頻域HRV特征通過提取功率譜密度（Power Spectral Density，PSD）特征估計功率分布，量化NN間期序列中的周期性波動。

由于HRV特征具有非平穩、非線性的特性，本文采用Welch Periodogram方法計算PSD，提取不同頻率范圍內的頻域HRV特征，使用龐德加來散點圖對NN間期進行分析，提取非線性特征。

3.3 脈搏波波形特征提取

通過血液動力學參數計算方法，分析駕駛疲勞特征指標，如圖3所示。一個心動周期脈搏波為從心臟收縮開始，到下一次心臟收縮，外周動脈血管血壓的時變過程[9]。其中，BPW形狀參數包括4個脈搏壓特征點，分別為射血期開始點Pd、脈搏壓最高點PS、重搏拐點PDN、舒張期結束點[P'd]。重搏拐點將整個心動周期分為射血期Tn和舒張期Td；脈搏壓最高點PS將射血期Tn分為射血上升期Tp和射血下降期Tf；收縮壓面域為Sa，舒張壓面域為Da[19]。

基于振幅、斜率、曲線下面積等形狀特征參數，提取連續脈搏波信號部分血液動力學特征指標及參數，如表3所示。其中，PPV、SVV分別為心動周期內脈搏壓和每搏輸出量的波動幅度，其變化能夠反映心理和生理狀態的波動[20]。

大腦皮層對外界變化的響應以及神經系統的調節需要92 s，單個心動周期脈搏壓的特征參數無法表征生理心理狀態隨駕駛任務的累積變化過程[21]。因此，引入時間序列動態統計指標，計算一定時間尺度內的BPW特征參數，可以更好地表征駕駛疲勞累積和變化過程。

在檢測周期中，動態統計特征指標選取脈搏信號時間序列的均值、方差、自相關系數均值、自相關系數方差和相對幅值。在連續的脈搏波信號中，單個心動周期內，每個波形特征指標參數（見表3）均會在檢測周期內派生出上述5個動態統計特征，由此產生60個脈搏波波形動態統計特征指標。

4 考慮采樣方式的疲勞檢測模型

4.1 數據采樣

集成學習模型的性能依賴于數據信息的多樣性[22]，目前，多數研究使用無重疊采樣，未考慮采樣方式對模型性能的影響。因此，本文在訓練集中使用重采樣，設Tw為采樣窗口寬度，To為相鄰采樣窗口間重疊長度，且To≤Tw。使用4種采樣窗口寬度、5種采樣窗口重疊度，共20種采樣場景，流程如圖4所示。鑒于駕駛疲勞動態檢測的時效性為2～5 min[23]，將Tw分別設置為2 min、3 min、4 min、5 min，采樣窗口重疊度為[Ro=ToTw]，分別設置為0%、20%、40%、60%、80%。重采樣方式如圖5所示。

測試集與訓練集使用相同的采樣窗口寬度，并使用無重疊采樣。通過不同重采樣方案，對比評估集成學習模型的檢測性能差異。

4.2 基于集成學習的駕駛疲勞檢測模型

本文基于集成學習進行駕駛疲勞檢測，通過混合多個模型，彌補單學習器泛化能力和魯棒性差等缺陷，避免模型過擬合，同時降低計算成本。為了提升模型精度，使用4種集成學習分類器，分別為AdaBoost、自由聚合（Bagging）、梯度提升（Gradient Boosting）和隨機森林（Random Forest，RF）。

采集30名被試者的脈搏信號數據，剔除異常樣本后，剩余27名被試者的脈搏數據作為模型輸入。將20種重采樣場景的切分數據生成數據集，提取HRV特征和BPW特征，分別輸入至4種集成學習模型中，進行對比分析。

通過隨機抽樣將數據集按照8∶2劃分訓練集與測試集。為了避免產生隨機誤差及訓練過擬合，對所有集成學習方模型進行五折交叉驗證（Fold Cross-Validation）。采用網格搜索策略進行超參數優化，得到最優超參數，如表4所示。

為了評估不同模型對駕駛疲勞的分類效果，將F1分數作為評價指標，即精確率（Precision）P和召回率（Recall）R的調和平均，相關公式為：

[P=TPTP+FPR=TPTP+FNF1=2×P+RP×R] （1）

式中：TP為正確識別疲勞狀態的樣本數，FP為誤識別疲勞狀態的樣本數，FN為未識別出疲勞狀態的樣本數。

4.3 不同場景模型性能對比分析

不同采樣場景下模型性能如圖6所示。引入重采樣方法后，模型檢測性能顯著提升。采樣窗口寬度和重疊度對模型檢測性能均有不同程度的影響。隨著采樣窗口重疊度Ro增加，集成學習模型的F1分數均會增加，當Ro=80%時，各模型檢測性能達到最佳。

相較于無采樣窗口重疊方法，重采樣模型提取HRV特征、BPW特征和兩種特征融合時，F1分數分別提升23.63百分點、16.33百分點和16.76百分點。隨著采樣窗口寬度Tw增加，僅提取HRV特征作為模型數據輸入時集成學習模型的F1隨之增大，而僅提取BPW特征和兩種特征融合作為模型數據輸入時集成學習模型的F1隨之降低。主要原因在于BPW特征在短時間內即可獲取，而HRV特征需要更長時間，同時，較小的采樣窗口寬度能夠有效提升模型檢測的實時性。

在特征提取方面，采樣窗口寬度Tw=2 min、采樣窗口重疊度Ro=80%時，對比HRV特征、BPW特征及兩者特征融合3種特征提取方案，結果如圖7所示。

相對于采用單一特征提取方法，以多維特征融合作為模型輸入，模型檢測性能在各場景（20種采樣場景和4種分類模型場景）下均有不同程度的提升。相較于僅HRV特征，本文模型F1分數平均提高24.68百分點。其中，隨機森林模型取得了最佳檢測性能，對駕駛疲勞狀態進行三分類的F1值達到99.08%，比HRV特征作為模型輸入的F1值提升20.47百分點。

為了進一步分析模型的分類性能，使用最佳采樣方式和特征提取，即采樣窗口寬度Tw=2 min、采樣窗口重疊度Ro=80%、兩種特征融合（HRV和BPW）時，在五折交叉驗證下對3種駕駛疲勞狀態類別進行預測，同時繪制受試者工作特征（Receiver Operating Characteristic，ROC）曲線和混淆矩陣，結果如圖8所示。其中，標簽0、1、2分別為清醒狀態、疲勞狀態及重度疲勞狀態。

由圖8可知，相較于AdaBoost模型，Random Forest、Gradient Boosting和Bagging模型五折交叉驗證的各類別曲線均接近（0，1），且各類別ROC曲線下面積相近，模型分類性能較均衡。AdaBoost模型ROC曲線面積從小到大依次為清醒狀態、重度疲勞狀態和輕度疲勞狀態，表明該模型對清醒狀態的檢測性能最高，對輕度疲勞狀態檢測性能較差。從混淆矩陣中可知，Random Forest模型分類中錯誤最少，顯著優于其他模型。

相較于二分類任務僅區分清醒階段與疲勞階段，本文基于集成學習和脈搏多維特征融合的駕駛疲勞檢測方法在三分類任務（清醒階段/輕度疲勞階段/重度疲勞階段）中檢測精度更高，能夠更好地適應輔助安全駕駛和駕駛疲勞預警場景，如表5所示。

5 結束語

本文通過提取心率變異性特征，結合血液動力學的脈搏波波形特征并進行多維融合，基于集成學習搭建了駕駛疲勞三分類檢測模型，測精度最高可達98.77%。同時，在數據預處理階段引入重采樣方法，大幅提升了模型檢測的準確率，能夠更好地適應輔助安全駕駛和駕駛疲勞預警場景，為駕駛者提供更加堅實的安全保障。

參 考 文 獻

[1] 徐柱， 何鋒， 華星淇， 等. 基于AdaBoost算法的疲勞駕駛檢測系統研究[J]. 汽車技術， 2019（5）： 17-21.

XU Z， HE F， HUA X Q， et al. Research on Fatigue Driving Detection System Based on AdaBoost Algorithm[J]. Automobile Technology， 2019（5）： 17-21.

[2] TUNCER T， DOGAN S， ERTAM F， et al. A Dynamic Center and Multi Threshold Point Based Stable Feature Extraction Network for Driver Fatigue Detection Utilizing EEG Signals[J]. Cognitive Neurodynamics， 2021， 15： 223-237.

[3] WANG F W， YAO W C， LU B， et al. ECG-Based Real-Time Drivers’ Fatigue Detection Using a Novel Elastic Dry Electrode[J]. IEEE Transactions on Instrumentation and Measurement， 2023， 73.

[4] LEE H， LEE J， SHIN M. Using Wearable ECG/PPG Sensors for Driver Drowsiness Detection Based on Distinguishable Pattern of Recurrence Plots[J]. Electronics， 2019， 8（2）.

[5] HALOMOAN J， RAMLI K， SUDIANA D， et al. A New ECG Data Processing Approach to Developing an Accurate Driving Fatigue Detection Framework with Heart Rate Variability Analysis and Ensemble Learning[J]. Information， 2023， 14（4）.

[6] MURUGAN S， SELVARAJ J， SAHAYADHAS A. Detection and Analysis： Driver State with Electrocardiogram （ECG）[J]. Physical and Engineering Sciences in Medicine， 2020， 43（2）： 525-537.

[7] WANG Q. On Relationship among Pulse， Electrocardiogram Signals and Drowsiness[C]// Biomedical Engineering and Informatics （BMEI）. Chongqing， China： IEEE， 2012（1）： 563-567.

[8] 李鑫， 張暉， 吳超仲， 等. 基于脈搏波特征融合的駕駛疲勞檢測方法[J]. 中國公路學報， 2020， 33（6）： 168-181.

LI X， ZHANG H， WU C Z， et al. Driver Fatigue Detection Model Based on BPW Feature Fusion[J]. China Journal of Highway and Transport， 2020， 33（6）： 168-181.

[9] BENHAR H， IDRI A， FERNANDEZ-ALEMAN J L. Data Preprocessing for Heart Disease Classification： A Systematic Literature Review[J]. Computer Methods and Programs in Biomedicine， 2020， 195.

[10] AKERSTEDT T， GILLBERG M. Subjective and Objective Sleepiness in the Active Individual[J]. International Journal of Neuroscience， 1990， 52（1-2）： 29-37.

[11] SCHAEFER F， HAARMANN A， BOUCSEIN W. The Usability of Cardiovascular and Electrodermal Measures for Adaptive Automation[J]. Probing Experience， 2008， 8（1）： 235-243.

[12] FU C H， YANG C C， LIN C L， et al. Effects of Long-Term Vegetarian Diets on Cardiovascular Autonomic Functions in Healthy Postmenopausal Women[J]. American Journal of Cardiology， 2006， 97（3）： 380-383.

[13] JANIG W， MCLACHLAN E M. Characteristics of Function-Specific Pathways in the Sympathetic Nervous System[J]. Trends in Neurosciences， 1992， 15（12）： 475-481.

[14] MERINO-MONGE M， CASTRO-GARCíA J A， LEBRATO-VáZQUEZ C， et al. Heartbeat Detector from ECG and PPG Signals Based on Wavelet Transform and Upper Envelopes[J]. Physical and Engineering Sciences in Medicine， 2023， 46（2）： 597-608.

[15] AL-LIBAWY H， AL-ATABY A， AL-NUAIMY W， et al. HRV-Based Operator Fatigue Analysis and Classification Using Wearable Sensors[C]// 13th International Multi-conference on Systems， Signals and Devices. Leipzig， Germany： IEEE， 2016.

[16] PERSSON A， JONASSON H， FREDRIKSSON I， et al. Heart Rate Variability for Classification of Alert Versus Sleep Deprived Drivers in Real Road Driving Conditions[J]. IEEE Transactions on Intelligent Transportation Systems， 2020， 22 （6）： 3316-3325.

[17] JUNG S J， SHIN H S， CHUNG W Y. Driver Fatigue and Drowsiness Monitoring System with Embedded Electrocardiogram Sensor on Steering Wheel[J]. IET Intelligent Transport Systems， 2014， 8（1）： 43-50.

[18] WILLIAMS D W P， CASH C， RANKIN C， et al. Resting Heart Rate Variability Predicts Self-Reported Difficulties in Emotion Regulation： A Focus on Different Facets of Emotion Regulation[J]. Frontiers in Psychology， 2015， 6.

[19] HSU P C， WU H T， SUN C K， et al. Assessment of Subtle Changes in Diabetes-Associated Arteriosclerosis Using Photoplethy-Smographic Pulse Wave from Index Finger[J]. Journal of Medical Systems， 2018， 42（3）： 1-6.

[20] PINSKY M R， PAYEN D. Functional Hemodynamic Monitoring[J]. Critical Care， 2005， 9（6）： 566-572.

[21] BAEVSKY R M， PETROV V M， CHERNIKOVAA G， et al. Regulation of Autonomic Nervous Systemin Space and Magnetic Storms[J]. Advances in Space Research， 1998， 22（2）： 227-234.

[22] SAGI O， ROKACH L. Ensemble Learning： A Survey[J]. Wiley Interdisciplinary Reviews： Data Mining and Knowledge Discovery， 2018， 8（4）.

[23] MARTENSSON H， KEELAN O， AHLSTROM C， et al. Driver Sleepiness Classification Based on Physiological Data and Driving Performance from Real Road Driving[J]. IEEE Transactions on Intelligent Transportation Systems， 2019， 20（2）： 421-430.

[24] 楊如民， 雷倩， 余成波. 基于蝙蝠算法-隨機森林分類算法和脈搏波的精神疲勞檢測算法[J]. 科學技術與工程， 2022， 22（4）： 1495-1501.

YANG R M， LEI Q， YU C B. Bat Algorithm-Random Forest Classification and Pulse-Wave-Based Mental Fatigue Detection Algorithm[J]. Science Technology and Engineering， 2022， 22（4）： 1495-1501.

（責任編輯 瑞 秋）

修改稿收到日期為2024年5月14日。