基于眼動特征的疲勞駕駛檢測方法

牛清寧，周志強，金立生，劉文超，于鵬程

（1.公安部道路交通安全研究中心，北京100062；2.吉林大學交通學院，吉林長春130022）

基于眼動特征的疲勞駕駛檢測方法

牛清寧1，周志強1，金立生2，劉文超1，于鵬程1

（1.公安部道路交通安全研究中心，北京100062；2.吉林大學交通學院，吉林長春130022）

為了提高疲勞駕駛檢測模型準確率和實時性，基于駕駛模擬實驗，利用SmartEye系統提取了駕駛人不同駕駛狀態下眼動數據。基于眼動參數協議，提出了眨眼頻率、PERCLOS、注視方向和注視時間4個特征參數的計算方法。分析了各特征參數的最優時窗，針對不同特征參數最優時窗差異，提出了滑移時窗的數據融合方法。基于支持向量機，搭建了疲勞駕駛檢測模型。實驗結果表明，該模型可以有效地進行疲勞狀態檢測，準確率能夠達到83.84%。

疲勞駕駛；眼動特征；支持向量機；滑移時窗；時窗；檢測模型

疲勞駕駛是導致道路交通事故的主要因素之一。Klauer等研究發現，疲勞駕駛引發交通事故的概率是正常駕駛的4～6倍［1］。每年由疲勞駕駛而引起的交通事故占事故總數的20%左右，占特大交通事故的40%以上［2?3］。因此，需要對駕駛人的駕駛狀態進行實時檢測，當出現疲勞駕駛時，給予有效的預警，對于降低交通事故及人員傷亡有著十分重要的現實意義。

疲勞駕駛檢測方法分為主觀檢測和客觀檢測。主觀檢測主要通過主觀調查表、駕駛人自我記錄表、斯坦福睡眠尺度表和皮爾遜疲勞量表等評定駕駛人的疲勞狀態［4］。客觀檢測包括基于生理信號檢測的方法（腦電信號、肌電信號和皮電信號等）［5］、基于生理反應檢測的方法（眼動特征、面部朝向等）［6］和基于駕駛行為檢測的方法（方向盤轉角、車道偏移量等）［7?8］。其中，基于駕駛人眼動特征的非接觸式檢測方法被廣泛采用［6］。Lenskiy等基于顏色和紋理實現了駕駛人眼部的準確定位和分割，提取了眨眼頻率和眼睛閉合時間進行疲勞狀態的檢測［9］。成波等利用多重回歸對PERCLOS、平均睜眼程度以及最長閉合時間3個指標進行融合實現了對疲勞狀態的檢測，準確率為76.7%［10］。胡淑燕等利用從眼電信號提取出的11個眼瞼運動特征參數搭建了基于支持向量機的駕駛人疲勞預測模型，實現了疲勞駕駛的提前預測［11］。

目前的研究主要集中在眼部區域的定位和分割，而在疲勞特征參數的選擇及檢測模型的優化方面，大多采用單個或少量幾個眼瞼運動參數來判斷駕駛人的疲勞程度［11］。同時，在多特征參數融合及不同特征參數最優時窗選擇優化方面存在一定的不足，各特征參數都在同一固定時窗內計算，并沒有考慮其差異性。本文通過駕駛模擬實驗，利用SmartEye系統提取駕駛人的眼動特征參數：眨眼頻率、PERCLOS、注視方向和注視時間，提出利用滑移時窗融合的方法，實現各特征參數在其最優時窗內的融合，基于支持向量機搭建疲勞駕駛檢測模型。

1 疲勞駕駛實驗

在駕駛模擬實驗的基礎上，利用SmartEye系統采集20名駕駛人正常駕駛和疲勞駕駛狀態下的眼動數據。

1.1 實驗平臺

采用自行開發的奔騰B50駕駛模擬實驗平臺進行駕駛模擬實驗，駕駛模擬實驗平臺如圖1（a）所示。駕駛人眼動數據通過SmartEye系統直接讀取。SmartEye系統是由瑞典Smart Eye AB公司提供的一類非接觸式眼睛跟蹤系統，包括4個攝像頭和2組紅外光源，分別位于駕駛人左右兩側，如圖1（b）所示，可以采集不同光照條件下駕駛人眼動數據。

圖1 實驗平臺Fig.1 Experimental platform

1.2 實驗駕駛人和實驗場景

相關研究表明，年輕男性駕駛人是疲勞駕駛事故的高危人群［2，12］。依據實驗要求，招募20名具有合法駕照的駕駛人（女6名，男14名）進行駕駛模擬實驗，年齡21～39歲（均值為26.7，標準差為5.23）。

運用Multigen Creator和Vage自行設計高速公路場景，該場景模擬長春到四平高速公路（長平高速公路）進行設計，雙向4車道，單車道寬3.75 m，中間隔離帶寬3 m，全長96 km，車速限制80～120 km／h。

1.3 實驗過程

整個實驗過程分為正常駕駛和疲勞駕駛2個階段進行。每位駕駛人都必須進行2個階段的實驗，首先進行正常駕駛實驗，2次實驗時間間隔為3周。在實驗前2天提前通知駕駛人，實驗前12 h內禁止飲酒。

1.3.1 正常駕駛

正常駕駛實驗前1 d要求駕駛人保證充足的睡眠，實驗時間選擇在駕駛人正常休息后精力充沛的上午進行。從上午10∶00開始，持續2 h。實驗前20 min研究人員介紹實驗過程及注意事項，駕駛人熟悉駕駛環境，不記錄實驗數據，只記錄后100 min實驗數據。

1.3.2 疲勞駕駛

疲勞駕駛實驗前1天限制駕駛人睡眠時間為凌晨1∶00～6∶00共5 h。疲勞駕駛實驗選擇最易出現疲勞狀態的時間，從下午2∶00開始［12］，持續2 h或駕駛人由于過度疲勞而要求中止實驗。

1.4 實驗數據

同步采集的實驗數據包括駕駛人眼動參數、道路前景視頻和駕駛人面部視頻。其中眼動特征參數采樣頻率為50 Hz，道路前景視頻和面部視頻采樣頻率為10 Hz。

1.5 疲勞狀態評價

研究表明，駕駛人疲勞程度自我實時評價與面部視頻他人評價之間存在明顯的一致性［13］，為了避免實時自評侵入性影響和個人主觀差異性影響，本文采用視頻他評的方法確定駕駛人疲勞程度。實驗結束后根據駕駛人的面部視頻和道路前景視頻，由3名經過訓練的研究人員依據KSS睡眠尺度表［14］對駕駛人疲勞程度獨立進行評分（KSSscore），取其平均值作為疲勞狀態的客觀評分。為保持數據的一致性，當3名研究人員評分結果差異較大時，重新確認原有評分。實驗開始和結束時，要求駕駛人依據KSS睡眠尺度表對其疲勞狀態進行自我評價，作為該駕駛人疲勞程度客觀依據。

依據KSSscore得分，對采集駕駛人眼動數據分段記錄，包括：駕駛人編號、開始時間、結束時間、持續時間和KSSscore。

如果KSSscore≤3，認為駕駛人處于正常駕駛狀態，如果KSSscore≥7，認為駕駛人處于疲勞駕駛狀態［15］。

1.6 眼動參數

利用SmartEye系統采集的駕駛人眼動參數協議如表1所示。

表1 SmartEye系統協議Table1 Protocol of SmartEye system

2 眼動特征參數

在駕駛模擬實驗的基礎上，利用SmartEye系統采集20名駕駛人正常駕駛和疲勞駕駛狀態下的眼動數據。

眨眼頻率、PERCLOS、注視方向和注視時間是目前常用的有效特征參數，根據眼動參數協議提取有效特征參數。

2.1 眨眼頻率

眨眼頻率（blink frequency，BF），即單位時間內眨眼次數。一般正常并經過充分休息的眼睛眨眼頻率約2～4 s／次，每次眨眼時間為0.25～0.3 s。當駕駛人處于疲勞駕駛狀態時，眨眼頻率會增加或減少［9］。

第i個時窗內BF的計算公式為

式中：BTei為第i個時窗結束時的總眨眼次數；BTsi為第i個時窗開始時的總眨眼次數；Tbf為BF的計算時窗大小，眨眼頻率最優計算時窗為60 s［12］。

2.2 PERCLOS

P80為常用的PERCLOS（percentage of eyelid closure time）計算標準，是指單位時間內眼睛睜開程度小于20%所占的比例［6］。

P80計算公式為

式中：f0為樣本采樣頻率；TP80為P80的計算時窗大小，P80的最優計算時窗為10 s［12］；np為單位時窗內眼睛閉合程度超過80%的次數。

np的計算公式為

式中：LELj為第j幀圖像的左眼瞼尺寸，RELj為第j幀圖像的右眼瞼尺寸，LELM為駕駛人左眼瞼平均尺寸，RELM為駕駛人右眼瞼平均尺寸，第i個時窗的np初始化為0。

由于駕駛人個體差異性，對每位駕駛人取100組正常駕駛狀態下眼瞼尺寸計算LELM和RELM：

2.3 注視方向和注視時間

相關研究表明，駕駛人連續2 s注視區域偏離正常道路前方，發生交通事故概率增加2倍［16］。出現疲勞駕駛時，駕駛人視線方向長時間偏離正常道路前方的次數增加。因此，注視方向和注視時間可以作為疲勞駕駛檢測有效特征參數。

將駕駛人的注視區域分為正常注視區域G1和非正常注視區域G0。利用正常注視區域內注視時間比例ftr來表示駕駛人的注視時間和注視方向。ftr的計算公式為

式中：Tftr為ftr的計算時窗大小，本文Tftr＝2s；nf為單位時窗內注視方向在正常注視區域內注視次數。

nf計算公式為

式中：GDXj為第j幀圖像的視線方向X方向分量，GDYj為第j幀圖像的視線方向Y方向分量，第i個時窗的nf初始化為0。

3 疲勞駕駛檢測模型

疲勞駕駛與眼動特征之間存在復雜的非線性關系，本文采用支持向量機建立疲勞駕駛檢測模型。

3.1 支持向量機

支持向量機（support vector machine，SVM）是基于統計學習的理論提出的，現已成為機器學習和數據挖掘的標準工具之一，被廣泛應用于模式識別等領域［7］。

3.2 特征參數組

眨眼頻率、PERCLOS、正常注視區域內注視時間比3個參數構成特征參數組作為支持向量機模型的輸入X＝［BF，P80，ftr］。

3.3 滑移時窗

圖2 滑移時窗示意圖Fig.2 Schematic diagram of slip time window

本文選擇滑移時間Δt＝2 s。因此，BF的重復率為96.7%，P80的重復率為80%，FTR的重復率為0。

在已經劃分的眼動數據段內選擇持續時間大于2 min的數據段，利用滑移時窗的特征參數組融合方法，提取并融合疲勞駕駛和正常駕駛的有效眼動特征參數組。共得到4 500組正常駕駛樣本和3 000組疲勞駕駛樣本。

3.4 模型訓練

核函數的選擇對于SVM模型的訓練分類準確率存在直接影響，目前常用的核函數主要有：線性核函數、多項式核函數、徑向基核函數和Sigmoid核函數［17］。其中徑向基核函數對于處理駕駛人注意力狀態檢測方面存在一定的優勢［7］，因此，選擇徑向基核函數。

基于SVM疲勞駕駛檢測模型由Libsvm實現［17］。隨機選擇3 000組正常駕駛樣本和2 000組疲勞駕駛樣本作為訓練集。采用網格尋優的方式選擇參數γ和懲罰參數C，并進行5?fold交叉驗證，得到最優的［C，γ］值。最優γ＝8，最優C＝0.25。

4 結果分析

4.1 準確率分析

利用剩余1 500組正常駕駛樣本和1 000組疲勞駕駛樣本構成測試集對構建的SVM模型進行測試。模型測試結果如表2所示。

表2 SVM模型輸出結果Table2 Test results of SVM model

由表2可以知道，模型正確識別正常駕駛樣本1 232個，誤識別268個，正確識別疲勞駕駛樣本864個，誤識別136個，合計正確識別2 096個，誤識別404個。本文采用準確率、靈敏度［7］和特異度［7］對建立的SVM模型進行綜合評價，評價結果如下：模型檢測準確率為83.84%，靈敏度為86.4%，特異度為82.13%。

模型的靈敏度為86.4%，其中有136個疲勞樣本被誤識為正常樣本。對比道路前景視頻和駕駛人面部視頻可知，136個誤識樣本主要來自2個視頻段，道路前景視頻顯示，這2個視頻段均出現明顯的車道偏離，而駕駛人面部視頻顯示的眼動特征參數與正常駕駛相比并沒有明顯的差異，但出現了打哈欠、揉眼睛等疲勞現象。造成誤判的原因是本文主要基于駕駛人的眼動特征進行檢測，沒有考慮面部特征，特征參數選擇不夠全面。模型的特異度為82.13%，其中有268個正常樣本被誤識為疲勞樣本。對比駕駛人面部視頻可知，268個誤識樣本來自同一駕駛人，而該駕駛人的眨眼頻率明顯低于其他駕駛人正常駕駛時的眨眼頻率。造成誤識的原因是駕駛人個體差異。

4.2 實時性分析

采用滑移時窗的數據融合方法，實現了各特征參數值在其最優時窗內計算。同時，BF最優計算時窗為60 s，P80的最優計算時窗為10 s，都大于模型的檢測周期2 s，因此，該模型明顯提高了疲勞駕駛檢測的實時性。

5 結論

本文基于駕駛模擬實驗，提取了駕駛人眼動特征，搭建了疲勞駕駛模型，實現了疲勞駕駛檢測。得到的主要結論如下：

1）眨眼頻率、PERCLOS、注視方向和注視時間4個特征參數可以用于疲勞駕駛檢測。

2）不同特征參數的最優時窗之間存在一定差異性。

3）利用滑移時窗的方法實現了不同特征參數在其最優時窗內的融合，提高了檢測系統準確率和實時性。

本文研究的特征參數只考慮了駕駛人的眼動特征，而且沒有考慮個人差異性因素的影響。因此，在研究駕駛人個體差異性的基礎上，融合駕駛行為、面部特征等多特征的疲勞駕駛檢測系統，是下一步研究的重點。

［1］KLAUER S G，DINGUS T A，NEALE V L，et al.The im?pact of driver inattention on near?crash／crash risk：an analy?sis using the 100?car naturalistic driving study data［R］.Washington：National Highway Traffic Safety Administra?tion，2006.

［2］趙曉華，許士麗，榮建，等.基于ROC曲線的駕駛疲勞腦電樣本熵判定閾值研究［J］.西南交通大學學報，2013，48（1）：178?183.ZHAO Xiaohua，XU Shili，RONG Jian，et al.Discriminat?ing threshold of driving fatigue based on the electroencepha?lography sample entropy by receiver operating characteristic curve analysis［J］.Journal of Southwest Jiaotong University，2013，48（1）：178?183.

［3］FORSMAN P M，VILA B J，SHORT R A，et al.Efficient driver drowsiness detection at moderate levels of drowsiness［J］.Accident Analysis and Prevention，2013，50：341?350.

［4］吳紹斌，高利，王劉安.基于腦電信號的駕駛疲勞檢測研究［J］.北京理工大學學報，2009，29（12）：1072?1075.WU Shaobin，GAO Li，WANG Liuan.Detecting driving fa?tigue based on electroencephalogram［J］.Transactions of Beijing Institute of Technology，2009，29（12）：1072?1075.

［5］彭軍強，吳平東，殷罡.疲勞駕駛的腦電特性探索［J］.北京理工大學學報，2007，27（7）：585?589.PENG Junqiang，WU Pingdong，YIN Gang.Exploring the characters of electro encephalogram for fatigued drivers［J］.Transactions of Beijing Institute of Technology，2007，27（7）：585?589.

［6］AHLSTROM C，NYSTR?M M，HOLMQVIST K，et al.Fit?for?duty test for estimation of drivers'sleepiness level：eyemovements improve the sleep／wake predictor［J］.Transpor?tation Research Part C，2013，26：20?32.

［7］JIN L S，NIU Q N，HOU H J，et al.Driver cognitive dis?traction detection using driving performance measures［J］.Discrete Dynamics in Nature and Society，2012，2012：1?12.

［8］李偉，何其昌，范秀敏.基于汽車操縱信號的駕駛員疲勞狀態檢測［J］.上海交通大學學報，2010，44（2）：292?296.LI Wei，HE Qichang，FAN Xiumin.Detection of driver's fatigue based on vehicle performance output［J］.Journal of Shanghai Jiaotong University，2010，44（2）：292?296.

［9］LENSKIY A A，LEE J S.Driver's eye blinking detection u?sing novel color and texture segmentation algorithms［J］.In?ternational Journal of Control Automation and Systems，2012，10（2）：317?327.

［10］成波，張廣淵，馮睿嘉，等.基于眼睛狀態識別的駕駛員疲勞實時監測［J］.汽車工程，2008，30（11）：1001?1005.CHENG Bo，ZHANG Guangyuan，FENG Ruijia，et al.Re?al time monitoring of driver fatigue based on eye state rec?ognition［J］.Automotive Engineering，2008，30（11）：1001?1005.

［11］胡淑燕，鄭鋼鐵.應用支持向量機的眼瞼參數疲勞預測［J］.北京航空航天大學學報，2009，35（8）：929?932.HU Shuyan，ZHENG Gangtie.Driver fatigue prediction with eyelid related parameters by support vector machine［J］.Journal of Beijing University of Aeronautics and Astro?nautics，2009，35（8）：929?932.

［12］SAHAYADHAS A，SUNDARAJ K，MURUGAPPAN M.Detecting driver drowsiness based on sensors：a review［J］.Sensors，2012，12：16937?16953.

［13］張希波，成波，馮睿嘉.基于方向盤操作的駕駛人疲勞狀態實時檢測方法［J］.清華大學學報：自然科學版，2010，50（7）：1072?1076.ZHANG Xibo，CHENG Bo，FENG Ruijia.Real?time de?tection of driver drowsiness based on steering performance［J］.Journal of Tsinghua University：Science and Technol?ogy，2010，50（7）：1072?1076.

［14］?KERSTEDT T，GILLBERG M.Subjective and objective sleepiness in the active individual［J］.International Jour?nal of Neuroscience，1990，52：29?37.

［15］INGRE M，?KERSTEDT T，PETERS B，et al.Subjective sleepiness，simulated driving performance and blink dura?tion：Examining individual differences［J］.Journal of Sleep Research，2006，15：47?53.

［16］YEKHSHATYAN L，LEE J D.Changes in the correlation between eye and steering movements indicate driver distrac?tion［J］.IEEE Transactions on Intelligent Transportation System，2013，14（1）：136?145.

［17］CHANG C C，LIN C J.LIBSVM：a library for support vec?tor machines［EB／OL］.（2011?05?20）.http：／／www.csie.ntu.edu.tw／～cjlin／libsvm／index.html＃GUI.

Detection of driver fatigue based on eye movements

NIU Qingning1，ZHOU Zhiqiang1，JIN Lisheng2，LIU Wenchao1，YU Pengcheng1
（1.Road Traffic Safety Research Center of Ministry of Public Security，Beijing 100062，China；2.College of Transportation，Jilin Uni?versity，Changchun 130022，China）

In order to improve the accuracy and real time performance of the driver fatigue detection model，based on driving simulation experiment，the eye movement data in different driving states were collected using SmartEye system.According to the protocol of SmartEye system，a calculation method was proposed to obtain the characteris?tic parameters，including blink frequency，PERCOLS，gaze direction and fixation time.The best time window of different characteristic parameters was analyzed.For the best time window of each characteristic parameter was dif?ferent，the slip time window was proposed to fuse the data.A diver fatigue detection model was developed based on the support vector machine.Validation tests showed that the method based on the driver's eye movements has a suc?cessful fatigue detection，whose accuracy reaches 83.84%.

driver fatigue；eye movements；support vector machine；slip time window；time window；detection model

10.3969／j.issn.1006?7043.201311044

http：／／www.cnki.net／kcms／detail／23.1390.U.20150109.1535.018.html

U461.91

A

1006?7043（2015）03?0394?05

2013?11?13.網絡出版時間：2015?01?09.

教育部新世紀優秀人才基金資助項目（NCET?10?0435）；高校博士學科點專項科研基金資助項目（20110061110036）；吉林省人才開發基金資助項目（801121100417）；吉林省科技廳國際合作資助項目（20130413056GH）.

牛清寧（1987?），男，助理研究員，博士；金立生（1975?），男，教授，博士生導師.

金立生，E?mail：jinls＠jlu.edu.cn.