基于PERCLOS的列車司機疲勞檢測設計與實現

江躍龍 張銘智

摘? 要： 列車司機長期處于精神高度集中、工作強度較大的工作狀態，容易產生生理和心理上的疲勞。本文通過Raspberry PI攝像頭對列車司機疲勞狀態進行采集，對采集的視頻流進行人臉定位和面部特征點的提取，對該列車司機眼睛、嘴巴數據進行分析，結合PERCLOS標準判定列車司機是否疲勞，在GUI界面顯示檢測結果。

關鍵詞： 列車司機疲勞檢測； PERCLOS； 疲勞檢測； 人臉檢測； SVM人臉檢測器； 疲勞駕駛；

中圖分類號：TP301? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2023）04-112-04

Abstract： Train drivers are prone to physiological and psychological fatigue when they are in a highly concentrated and intense work state for a long time. In this paper， the fatigue state of the train driver is captured by Raspberry PI camera， and the face positioning and extraction of facial feature points are performed on the captured video stream. By analyzing the data of the train driver's eyes and mouth， whether the train driver is fatigued or not is determined combining with PERCLOS criteria， and the detection results are displayed in the GUI interface.

Key words： train driver fatigue detection; PERCLOS; fatigue detection; face detection; SVM face detector; fatigue driving

0 引言

中國鐵路交通發展迅速，鐵路運輸任務繁忙。列車司機工作環境單調且與人交流時間較少，且長期處于精神高度集中、工作強度較大的狀態，容易產生生理和心理上的疲勞，比如駕駛時產生打哈欠、視覺模糊、磕睡打盹等生理反應，而這些生理反應可能屬于疲勞駕駛，增加了軌道交通運行的安全風險；在高鐵、地鐵運行期間，列車駕駛員需要維持其精神高度集中，以應對各種可能出現的風險。因此，檢測列車司機是否處于疲勞狀態，對于提高列車運行安全性有著重要意義。

1 列車司機疲勞檢測疲勞檢測方法

1.1 生理特征的疲勞檢測方法

利用列車司機的腦電圖信號[1]、心電圖信號[2]、肌電圖信號[3]以及眼電波信號[4]等生理信息特征，對其在正常和疲勞狀態下的生理特征的變化進行比較，從而判斷列車司機是否產生疲勞。Jain A等人利用腦電圖信號的回歸參數檢測測試者的疲勞程度，對獲得的誤差函數進行分析，以預測肌肉疲勞程度，從而判斷被測試者是否處于疲勞狀態[5]。楊渝書等通過心電圖信號的時頻域指標變化來判斷司機的疲勞程度[6]。

1.2 駕駛數據的疲勞檢測方法

司機的駕駛行為在不同的疲勞程度下有不同的表現，根據行車數據中的汽車轉向角度數據、車輛駕駛方向軌跡數據、行車加速度變化數據以及司機手臂握力變化數據可以檢測司機是否疲勞。Sayed R等將汽車轉向角度變化信息經過預處理后，將其作為特征參數輸入人工神經網絡中[7]。使用評價主體作為駕駛數據的疲勞檢測方法，駕駛員不需要穿戴各種各樣的測量儀器，駕駛數據收集不復雜，但需要汽車安裝相應的檢測裝置，而且檢測裝置的準確度受道路環境、司機駕駛習慣不同和天氣變化影響較大。

1.3 面部特征的疲勞檢測方法

司機進入疲勞狀態時的面部特征會有所變化，例如瞳孔區域變小、打哈欠、減慢眼球運動速度等等。計算機視覺圖像處理技術可被用于收集司機產生疲勞時的面部特征，分析司機疲勞時的面部特征來判定司機的疲勞程度。該方法具有采集面部數據簡單、成本低、無需穿戴測量儀器等優點。目前該方法已成為疲勞檢測的主流方法。李強使用眼睛的睜開程度來計算閉眼圖像幀數占列車司機駕駛圖像幀數的百分比，從而判斷司機是否疲勞[8]。陳東偉等為檢測司機疲勞狀態使用了一種新的動態滑動窗口算法來計算眼睛開閉時的準確閾值[9]。

2 系統的總體架構

列車司機疲勞駕駛檢測系統需要具備實時檢測、穩定的性能和檢測高準確性的特點，如果列車司機產生疲勞，則對列車司機進行文字提醒和語音預警。本文的硬件開發平臺采用樹莓派4B和筆記本電腦，然后使用樹莓派CSI攝像頭實時采集圖像并通過視頻推流的方式傳輸到筆記本上，利用Dlib庫進行人臉檢測、人臉關鍵點特征提取，通過PERCLOS準則結合眼睛、嘴巴縱橫比判斷列車司機是否疲勞，實現對列車司機的非接觸式的疲勞狀態檢測。為了方便操作，基于PyQt5等開發工具開發列車司機疲勞檢測系統的GUI界面。基于以上設計思路，繪制相應的系統架構圖，如圖1所示。

2.1 人臉檢測技術

人臉檢測技術的發展越來越成熟，如基于模板的匹配算法[10]。

本文選用的硬件為樹莓派4B和一臺筆記本電腦，硬件性能一般，在兼顧硬件性能和檢測速度的情況下，本文選擇HOG+線性SVM人臉檢測器來進行人臉檢測，HOG算法的主要目的是對圖像進行梯度計算，統計圖像的梯度方向和梯度大小。該算法提取的邊緣和梯度特征可以較好的描述圖像局部形狀的特征，由于采用cell方式對圖像進行歸一化處理，并且使用Gamma校正處理圖像，所以該算法對幾何和光學變化都具有良好的抗干擾性，圖像發生變換或發生旋轉的區域比較小的話對該算法影響很小。在Dlib庫中的目標檢測模塊包含了HOG算法，在Dlib庫中調用get_frontal_face_detector函數即可使用HOG+線性SVM人臉檢測器，其在檢測人臉上有高準確性和良好的實時性，能確保順利地檢測到人臉。HOG+線性SVM人臉檢測器檢測人臉流程如圖2所示。

2.2 疲勞駕駛檢測方法

當筆記本電腦讀取到列車司機臉部視頻流信息時，筆記本電腦中的HOG+線性SVM人臉檢測器首先定位人臉的面部信息；當識別確定人臉在圖像上的位置后，使用Dlib庫提取人臉68個關鍵點信息；利用PERCLOS值與眼睛縱橫比、嘴巴縱橫比來計算司機疲勞狀態，當判定司機處于疲勞狀態時，及時對司機進行語音播報預警和文字顯示預警，如圖3所示。

2.3 列車司機張閉眼睛判斷方法

判斷列車司機疲勞的方法，一般列車司機的人臉特征點68個，如圖4所示。

左眼睛和右眼，計算閉眼方法[11]，將左眼的特征點提取和多邊形如圖5和圖6所示。

圖7所示的六邊形頂點坐標分別為A（x1，y1），B（x2，y2），C（x3，y3），D（x4，y4），E（x5，y5），F（x6，y6），則其面積可以表示為四個三角形面積之和：

如果S面積為0，說明我們列車司機的眼睛實閉合的。

如果S面積>一定閾值的時候（如該值為0），說明我們司機的眼睛是張開。

3 界面設計

列車司機疲勞檢測系統的GUI界面設計，主要使用PyCharm集成開發環境+PyQt5工具包，具體包括登錄界面、檢測界面等。

3.1 疲勞狀態檢測測試

在樹莓派開啟RTSP推流后，打開疲勞檢測的GUI界面并點擊疲勞檢測頁面中的“打開攝像頭”按鈕，此時疲勞檢測系統開始運行，截取系統運行過程中的部分視頻幀進行檢測效果展示。

列車司機在清醒情況下檢測結果見圖8。

列車司機在長時間打哈欠后的檢測結果見圖9。當計算得出的嘴巴縱橫比值大于設定的疲勞閾值時，檢測窗口會輸出“You are tired”文字預警，提醒列車司機已經出現精神疲勞。

列車司機在長時間閉眼后的檢測結果見圖10。當計算得出的眼睛縱橫比值小于設定的疲勞閾值時，檢測窗口會輸出“You are tired”文字預警，提醒列車司機已經出現精神疲勞。

4 總結

本文通過Raspberry PI攝像頭對列車司機的疲勞狀態進行數據采集，人臉定位，面部特征點的提取，同時結合列車司機的特征點對其眼睛、嘴巴數據進行分析，將列車司機疲勞檢測在GUI界面顯示檢測結果“You are tired”文字預警，提醒列車司機當前已經疲勞，為后續進一步研究列車司機的心沖擊信號與疲勞相關性研究奠定一定基礎。

參考文獻（References）：

[1] Luo H， Qiu T， Liu C， et al. Research on fatigue driving detection using forehead EEG based on adaptive multi-scale entropy[J]. Biomedical Signal Processing and Control，2019，51：50-58

[2] Zontone P， Affanni A， Bernardini R， et al. Car Driver's Sympathetic Reaction Detection Through Electrodermal Activity and Electrocardiogram Measurements[J]. IEEE Transactions on Biomedical Engineering，2020，67（12）：3413-3424

[3] Fu R， Wang H. Detection of driving fatigue by using noncontact EMG and ECG signals measurement system[J]. International journal of neural systems，2014，24（3）：1450006

[4] Zheng W L， Gao K， Li G， et al. Vigilance estimation using a wearable EOG device in real driving environment[J]. IEEE transactions on intelligent transportation systems，2019，21（1）：170-184

[5] Jain A， Abbas B， Farooq O， et al. Fatigue detection and estimation using auto-regression analysis in EEG[C]//2016 International conference on advances in computing， communications and informatics （ICACCI）. IEEE，2016：1092-1095

[6] 楊渝書，姚振強，李增勇，等.心電圖時頻域指標在駕駛疲勞評價中的有效性研究[J].機械設計與制造，2002（5）：94-95

[7] Sayed R， Eskandarian A. Unobtrusive drowsiness detection by neural network learning of driver steering[J]. Proceedings of the Institution of Mechanical Engineers， Part D： Journal of Automobile Engineering，2001，215（9）：969-975

[8] 李強.基于PERCLOS的列車司機駕駛疲勞檢測研究[D].碩士，北京交通大學，2014

[9] 陳東偉，張喆，韓娜，等.多算法融合的疲勞駕駛監測算法設計與實現[J].太原理工大學學報，2016，47（4）：518-522

[10] 李金寶.基于深度視頻的疲勞駕駛和危險駕駛行為檢測算法研究[D].碩士，青島大學，2020

[11] 鞏曉倩，蒲亦非，楊智勇，等.基于有限狀態自動機的人眼開度PERCLOS實現算法[J].計算機應用研究，2014，31（1）：307-310

*基金項目：2019年廣東省普通高校青年創新人才類項目“基于增強PERCLOS深度學習軌道交通列車司機疲勞檢測方法的研究”（2019GKQNCX100）； 2021年廣州市基礎研究計劃基礎與應用項目“動態場景下基于鐵重移采動樣機優器化人粒的子應濾用波算法及其在高”（202102080153）； 2022年廣東省科技創新戰略專項資金項目“基于機器學習的軌道交通列車司機HRV健康監測與預警系統”（pdjh2022b0956）

作者簡介：江躍龍（1984-），男，福建省龍巖市人，研究生，電子工程師，主要研究方向：智能信息系統、機器視覺、機器學習。