基于智能手表的疲勞駕駛監(jiān)測方法研究

楊萍茹，黃 勇，廖龍濤，孫棣華，陳 希，王正江

（1.重慶城市綜合交通樞紐開發(fā)投資有限公司，重慶 401121；2.重慶大學(xué) 自動(dòng)化學(xué)院，重慶 400044；3.重慶市公共交通控股（集團(tuán)）有限公司，重慶 401121）

目前我國機(jī)動(dòng)車保有量已經(jīng)突破2億，車輛的增多及交通設(shè)施的完善給人們的出行帶來了巨大的便利，但是也引發(fā)了一系列的交通事故。據(jù)有關(guān)統(tǒng)計(jì)數(shù)據(jù)，在各類事故死亡人數(shù)中，交通事故死亡人數(shù)所占比例為78.5%。其中，駕駛員疲勞造成交通事故的占總數(shù)的20%左右，占特大交通事故的40%以上［1］。

如果駕駛員在疲勞狀態(tài)下駕駛車輛，不僅自己的人身財(cái)產(chǎn)安全存在隱患，而且容易對其他行人及車輛造成安全影響。因?yàn)槠隈{駛所引發(fā)的交通事故并不是在駕駛員剛剛產(chǎn)生疲勞時(shí)就發(fā)生，所以可以通過一種疲勞駕駛監(jiān)測手段在駕駛員產(chǎn)生疲勞時(shí)進(jìn)行預(yù)警提示，從而使得駕駛員可以采取一定的預(yù)防措施，以避免事故發(fā)生。

現(xiàn)有研究中有多種方式能夠?qū)崿F(xiàn)疲勞駕駛監(jiān)測，總結(jié)起來主要包括3種：①基于駕駛員面部特征的檢測（如眼睛的閉合狀態(tài)、面部表情、眨眼速度等）；②基于駕駛員生理特征的檢測（如心電信號、腦電信號以及肌電信號等）；③ 基于駕駛行為的檢測（如方向盤轉(zhuǎn)角、車輛位置、車輛加減速等）。WierwiIIe［2］最早基于模擬實(shí)驗(yàn)提出PERCLOS（一定時(shí)間內(nèi)眼睛閉合時(shí)間所占的比值）指標(biāo)用于駕駛疲勞識別，后來研究表明該指標(biāo)是疲勞識別最有效的指標(biāo)之一。Mbouna等［3］從駕駛員臉部視頻各片段中提取了EI（眼睛閉合度）、PA（瞳孔偏離率）和HP（頭部姿態(tài)偏差）等3類眼睛和頭部特征，并基于SVM建立疲勞識別模型后驗(yàn)證其平均錯(cuò)誤識別率為5.16%。王琳等［4］從肌電信號和心電信號中提取出肌電信號復(fù)雜度、心電信號復(fù)雜度和心電信號樣本熵等3個(gè)特征參數(shù)，并基于多元回歸理論建立了判定駕駛疲勞的數(shù)學(xué)模型，該模型準(zhǔn)確率達(dá)90%以上。萬蔚等［5］對車輛速度、方向盤轉(zhuǎn)角和車輛橫向位置的樣本熵進(jìn)行了分析，從中提取了該3類參數(shù)的樣本熵特征，并構(gòu)建了基于BP神經(jīng)網(wǎng)絡(luò)的駕駛員疲勞駕駛判別算法。

基于駕駛員面部特征的方式可以有效監(jiān)測疲勞駕駛，且對駕駛員操作不具有入侵性，但是駕駛員由于受到監(jiān)視而會(huì)對此類識別方式產(chǎn)生抵觸，且該方式會(huì)受到駕駛員膚色、外界光照以及佩戴眼鏡等因素的影響。生理信號能夠直接反應(yīng)人體的生理狀態(tài)，基于駕駛員生理特征的疲勞檢測被認(rèn)為是最直觀、最準(zhǔn)確的檢測方法［6］。但是在采集駕駛員的生理信號時(shí)，設(shè)備會(huì)與駕駛員有接觸，從而給駕駛員的操作帶來影響，不利于安全駕駛，且信號采集設(shè)備也十分昂貴。基于駕駛行為的檢測方法則能夠有效避免前2種方式的不足，受到了眾多研究者的重視，但是該方式目前大多是基于仿真研究的，部分?jǐn)?shù)據(jù)在實(shí)際中不易獲得，而基于實(shí)車的研究又需要在車輛上安裝多種傳感器，存在一定實(shí)用局限性。

針對基于駕駛行為檢測方法的缺點(diǎn)，考慮到智能手表日益普及，其附帶的傳感器能夠有效監(jiān)測人體手部運(yùn)動(dòng)，因此，本文考慮使用智能手表感知駕駛員的轉(zhuǎn)向行為信息，從中提取出有效疲勞特征指標(biāo)并基于分類模型實(shí)現(xiàn)疲勞識別。該方式不需要依賴車載傳感器，且研究成果可以以APP的形式安裝在智能手表中供駕駛員使用，成本更低、實(shí)用性更強(qiáng)、智能化水平更高。本文采用KSS量表，綜合多人主觀評價(jià)，給采集到的駕駛數(shù)據(jù)打上“正常駕駛”或“疲勞駕駛”的標(biāo)簽，并將這些數(shù)據(jù)作為訓(xùn)練集，利用隨機(jī)森林方法訓(xùn)練本文提出的基于智能手表的疲勞駕駛監(jiān)測方法。實(shí)驗(yàn)結(jié)果表明本文提出的方法能夠準(zhǔn)確感知轉(zhuǎn)向差異并判斷駕駛員的駕駛狀態(tài)。

1 實(shí)驗(yàn)

實(shí)驗(yàn)以重慶大學(xué)車車協(xié)同仿真平臺為實(shí)驗(yàn)平臺，將智能手表佩戴在駕駛員左手手腕處，采集10名駕駛員在正常和疲勞狀態(tài)下手腕運(yùn)動(dòng)的加速度和角速度數(shù)據(jù)。

1.1 平臺搭建

模擬駕駛平臺是利用虛擬現(xiàn)實(shí)仿真技術(shù)營造虛擬的駕駛訓(xùn)練環(huán)境，人們通過模擬器的操作部件與虛擬的環(huán)境進(jìn)行交互。本文所進(jìn)行疲勞駕駛實(shí)驗(yàn)是基于重慶大學(xué)教育部重點(diǎn)實(shí)驗(yàn)室T-CPS車車／車路協(xié)同仿真平臺，該平臺由3臺駕駛模擬器和1臺仿真工作站服務(wù)器組成，如圖1所示。每臺駕駛模擬器均具有可變轉(zhuǎn)向力反饋方向盤、虛擬儀表顯示、油門踏板、剎車踏板、自動(dòng)檔換檔桿、電動(dòng)座椅和轉(zhuǎn)向燈開關(guān)等，同時(shí)駕駛模擬器利用3塊顯示屏拼接而成，進(jìn)行實(shí)時(shí)交通場景交互。該平臺采用的是PreScan虛擬交通場景設(shè)計(jì)與仿真軟件，通過與Matlab中Simulink等軟件聯(lián)合實(shí)現(xiàn)在環(huán)駕駛仿真。

1.2 場景設(shè)置

本文招募了10名志愿者（編號1～10）進(jìn)行疲勞駕駛實(shí)驗(yàn)，包括8名男性和2名女性，年齡分布在22～35歲（均值26.5歲），駕齡分布在2～8 a。實(shí)驗(yàn)選用容易產(chǎn)生疲勞的高速公路這種單調(diào)場景，道路長63 km，雙向4車道，車速保持在80±10 km／h，在駕駛過程中需要減少變道和超車行為。仿真場景如圖2所示。

1.3 實(shí)驗(yàn)步驟

實(shí)驗(yàn)需要進(jìn)行正常駕駛和疲勞駕駛2個(gè)階段，每名志愿者均需要進(jìn)行這2個(gè)階段的實(shí)驗(yàn)。為了避免正常和疲勞駕駛實(shí)驗(yàn)之間造成干擾，2個(gè)階段的實(shí)驗(yàn)需要間隔一定的時(shí)間進(jìn)行，具體實(shí)驗(yàn)順序如表1所示。

表1 實(shí)驗(yàn)順序

第一階段為正常駕駛實(shí)驗(yàn)，要求志愿者保持充足的睡眠，并且在大腦比較清醒的上午9點(diǎn)開始進(jìn)行。第二階段實(shí)驗(yàn)為疲勞駕駛實(shí)驗(yàn)，要求志愿者在實(shí)驗(yàn)前睡眠較晚且不充足，并且在大腦較為疲勞的下午1點(diǎn)開始進(jìn)行。2個(gè)階段的實(shí)驗(yàn)均需要進(jìn)行1 h。實(shí)驗(yàn)前需要每名志愿者充分熟悉駕駛環(huán)境，并且在實(shí)驗(yàn)過程中需要將智能手表佩戴在左手手腕處，且手握方向盤的位置如圖3所示。實(shí)驗(yàn)過程中除了采集智能手表加速度和角速度數(shù)據(jù)以外，還需定期填寫KSS疲勞評測問卷［7］以及實(shí)時(shí)記錄駕駛員的面部視頻，以便后期對駕駛員的駕駛狀態(tài)進(jìn)行標(biāo)定。

1.4 評價(jià)標(biāo)準(zhǔn)

文獻(xiàn)［8-9］的研究表明，駕駛員的主觀自評與基于面部視頻的主觀他評具有較高的一致性，通過綜合駕駛員本人及他人的主觀評價(jià)，可以達(dá)到相對客觀的疲勞判定。另外，駕駛員在疲勞駕駛和正常駕駛時(shí)，對車輛的操控能力會(huì)有所不同，這一差別可用作客觀評價(jià)指標(biāo)。為了提高對駕駛員狀態(tài)評定的準(zhǔn)確性，本文通過采用調(diào)查量表，結(jié)合駕駛員的主觀自評和基于面部視頻的主觀他評進(jìn)行疲勞駕駛評定。首先將某段樣本數(shù)據(jù)對應(yīng)的根據(jù)KSS量表（如表2所示）自主評定的狀態(tài)等級（記為KRATE）作為參考值，當(dāng)KRATE≤3時(shí)則表示處于正常狀態(tài)，當(dāng)KRATE≥7時(shí)則表示處于疲勞狀態(tài)，然后與文獻(xiàn)［10］基于面部視頻的評價(jià)方式所得結(jié)果進(jìn)行對比，當(dāng)2種方式所得結(jié)果不一致時(shí)則舍棄該樣本，否則保留該樣本。

2 數(shù)據(jù)分析及特征提取

2.1 數(shù)據(jù)分析

已有研究發(fā)現(xiàn)，隨著疲勞程度的加深，駕駛員對車輛的操控能力會(huì)降低，表現(xiàn)為對方向盤的修正頻度降低，修正的幅度增大。下面以不同駕駛狀態(tài)下所采集的加速度數(shù)據(jù)進(jìn)行對比分析。圖4為正常駕駛和疲勞駕駛狀態(tài)下的加速度數(shù)據(jù)變化圖，可以發(fā)現(xiàn)，正常駕駛情況下，X軸、Y軸和Z軸加速度值會(huì)不斷變化，且變化的幅值較小；而在疲勞駕駛情況下，X軸、Y軸和Z軸加速度值的波動(dòng)變小，甚至長時(shí)間幾乎不變，而會(huì)伴有較大幅度的變化。因此，可以通過一些量化的特征參數(shù)來表征這種數(shù)據(jù)變化差異，進(jìn)而實(shí)現(xiàn)區(qū)分不同的駕駛員狀態(tài)。

表2 KSS量表等級描述

2.2 特征提取

從前面的分析中可以看出數(shù)據(jù)波動(dòng)具有差異，可以利用統(tǒng)計(jì)特征來描述這種差異，常用的統(tǒng)計(jì)特征包括均值（Mean）、方差（Variance）和均方根（Root Mean Square）。

均值是表示一組數(shù)據(jù)集中趨勢的量數(shù)，是指在一組數(shù)據(jù)中所有數(shù)據(jù)之和再除以這組數(shù)據(jù)的個(gè)數(shù)。它是反映數(shù)據(jù)集中趨勢的一項(xiàng)指標(biāo)，其數(shù)學(xué)定義為：

方差是衡量隨機(jī)變量或一組數(shù)據(jù)離散程度的度量，其數(shù)學(xué)定義為：

均方根能夠描述數(shù)據(jù)相對于零值的波動(dòng)情況，其數(shù)學(xué)定義為：

此外，樣本熵（sample entropy，SampEn）是由Richman和Moornan提出的一種新的時(shí)間序列復(fù)雜性度量算法［11］，比近似熵更具有相對一致性。樣本熵有較好的抗噪抗干擾能力，只需較短的數(shù)據(jù)就能達(dá)到有效分析的目的，運(yùn)算時(shí)間短，對確定性信號和隨機(jī)信號都適用，是非線性動(dòng)力學(xué)時(shí)間序列研究的有力工具。本文中通過計(jì)算駕駛員駕駛過程中各個(gè)指定時(shí)刻所有被試者心電信號的樣本熵，以此作為表征駕駛員疲勞的特征參數(shù)，可用SampEn（m，r，N）來表示，其中m為維數(shù)，r為相似容限，N為長度。相關(guān)研究指出［12］，當(dāng)m＝2，r＝（0.1～0.2）SD時(shí)，樣本熵的結(jié)果較為合理，SD為原始數(shù)據(jù)的標(biāo)準(zhǔn)差。樣本熵算法如下。

步驟1設(shè)N點(diǎn)原始時(shí)間序列為：x（1），x（2），…，x（N），按順序組成一組m維矢量為：

步驟2定義Xm（i）和Xm（j）間的距離d［Xm（i），Xm（j）］為 對 應(yīng) 元 素 差 值 最 大 的 一個(gè)，即：

步驟3給定閾值r，對每一個(gè)i≤N-m值，統(tǒng)計(jì)d［Xm（i），Xm（j）］＜r的數(shù)目（模板匹配數(shù)），然后計(jì)算此數(shù)目與距離總數(shù)的比值，用表示，即：

步驟4求對于所有i的平均值，即：

步驟5將矢量維度m改為（m+1），重復(fù)步驟1～步驟4，得B（m+1）（r），則此序列樣本熵為：

當(dāng)N為有限值時(shí)，樣本熵可表示為：

根據(jù)以上特征提取理論知識，本文提取了智能手表XYZ軸絕對加速度的均值（3個(gè)軸分別記為MAAX、MAAY和MAAZ）、絕對加速度的方差（3個(gè)軸分別記為VAAX、VAAY和VAAZ）、合成加速度均方根值（記為RMSA）、絕對角速度的均值（3個(gè)軸分別記為MAPX、MAPY和MAPZ）、絕對角速度的方差（3個(gè)軸分別記為VAPX、VAPY和VAPZ）、合成角速度均方根值（記為RMSP）、絕對加速度樣本熵（3個(gè)軸分別記為SEAAX、SEAAY和SEAAZ）、合成加速度樣本熵（記為SEA）、絕對角速度樣本熵（3個(gè)軸分別記為SEAPX、SEAPY和SEAPZ）和合成角速度樣本熵（記為SEP）。

3 疲勞監(jiān)測模型

隨機(jī)森林屬于非線性擬合模型，訓(xùn)練速度快，可以用于大規(guī)模數(shù)據(jù)集，且不易陷入過擬合狀態(tài)，具有一定的抗噪聲能力。由于駕駛員與駕駛無關(guān)的手部動(dòng)作（如抓癢等）較多，提取的智能手環(huán)數(shù)據(jù)存在噪聲。并且，疲勞與轉(zhuǎn)向行為特征之間存在復(fù)雜的非線性關(guān)系。因此，本文采用隨機(jī)森林（random forest，RF）理論對疲勞檢測進(jìn)行模型建立。

3.1 RF理論

隨機(jī)森林算法是Breiman于2001年提出的一種集成學(xué)習(xí)算法，具有處理高維小樣本數(shù)據(jù)時(shí)不容易過分?jǐn)M合、分類性能優(yōu)良等特點(diǎn)。隨機(jī)森林以分類回歸樹CART為基本分類器，并且包含多個(gè)由Bagging集成學(xué)習(xí)技術(shù)訓(xùn)練得到的決策樹，當(dāng)輸入待分類的樣本時(shí)，最終的分類結(jié)果由單棵決策樹的輸出結(jié)果投票決定［13，14］。隨機(jī)森林算法的基本步驟如下：

步驟1從原始訓(xùn)練集S＝｛（xi，yi）｝（i＝1，2，…，n）中bootstrap抽樣生成k個(gè)訓(xùn)練樣本集，每個(gè)樣本集是每棵分類樹的全部訓(xùn)練數(shù)據(jù)。

步驟2每個(gè)訓(xùn)練樣本集單獨(dú)生長成為一棵不剪枝葉的分類樹hi。在樹的每個(gè)節(jié)點(diǎn)處從M個(gè)特征中隨機(jī)挑選m個(gè)特征（m≤M），在每個(gè)節(jié)點(diǎn)上從m個(gè)特征中依據(jù)Gini指標(biāo)選取最優(yōu)特征進(jìn)行分支生長。這棵分類樹進(jìn)行充分生長，使每個(gè)節(jié)點(diǎn)的不純度達(dá)到最小，不進(jìn)行通常的剪枝操作。

根據(jù)生成的多個(gè)樹分類器對新的測試數(shù)據(jù)xi進(jìn)行預(yù)測，分類結(jié)果按每個(gè)樹分類器的投票多少而決定，即分類公式為：

式中：majorityvote表示多數(shù)投票；N tree表示隨機(jī)森林中樹的個(gè)數(shù)。在訓(xùn)練過程中每次抽樣生成自助訓(xùn)練樣本集，原始訓(xùn)練數(shù)據(jù)集中不在自助樣本中的剩余數(shù)據(jù)被稱為袋外數(shù)據(jù)（out-of-bag，OOB），OOB數(shù)據(jù)被用來預(yù)測分類的正確率，每次的預(yù)測結(jié)果進(jìn)行匯總得到錯(cuò)誤率的OOB估計(jì)。

隨機(jī)森林的邊緣函數(shù)為：

隨機(jī)森林的泛化誤差上界為：

式中：ρ為相關(guān)系數(shù)的均值；s為分類器的強(qiáng)度，s＝Ex，ymr（x，y）。隨機(jī)森林通過在每個(gè)節(jié)點(diǎn)處隨機(jī)選擇特征進(jìn)行分支，最小化各棵分類樹之間的相關(guān)性，提高了分類精確度。

3.2 模型訓(xùn)練

本文以10 s為時(shí)間窗，從實(shí)驗(yàn)所采集的數(shù)據(jù)中提取了前面的各個(gè)特征，共得到3 200組正常駕駛樣本和2 600組疲勞駕駛樣本。本文從樣本中隨機(jī)選擇2 240組正常駕駛樣本和1 820組疲勞駕駛樣本進(jìn)行訓(xùn)練。在Matlab平臺上編寫相關(guān)程序，設(shè)置變量個(gè)數(shù)m try＝2，隨機(jī)森林樹的個(gè)數(shù)N tree＝400，利用所選擇訓(xùn)練樣本數(shù)據(jù)訓(xùn)練隨機(jī)森林模型，確定2個(gè)變量與駕駛員狀態(tài)之間的非線性關(guān)系。

4 模型測試

4.1 測試結(jié)果

用剩余的樣本數(shù)據(jù)對疲勞檢測模型進(jìn)行測試，結(jié)果如表3所示，由表3可知：模型對于駕駛員正常駕駛準(zhǔn)確識別812個(gè)，錯(cuò)誤識別148個(gè)，疲勞駕駛準(zhǔn)確識別634個(gè)，錯(cuò)誤識別146個(gè)。本文選取準(zhǔn)確率、真陽性率和真陰性率對模型結(jié)果進(jìn)行有效評價(jià)，結(jié)果表明：模型的準(zhǔn)確率為83.10%，真陽性率為81.28%，真陰性率為84.58%。

表3 測試結(jié)果

4.2 結(jié)果分析

由上述結(jié)果可知，在960組正常駕駛數(shù)據(jù)中，有148組被錯(cuò)誤識別為疲勞駕駛。通過對駕駛員的面部視頻分析發(fā)現(xiàn)，導(dǎo)致錯(cuò)誤識別的主要原因是駕駛過程中佩戴智能手表的手脫離方向盤。其中，3號和7號駕駛員在駕駛過程中出現(xiàn)將佩戴智能手表的手放在腿上的行為，導(dǎo)致智能手表的傳感器數(shù)據(jù)幾乎不變而被錯(cuò)誤識別為疲勞情形下長時(shí)間不修正方向盤行為。

而在780組疲勞駕駛樣本中，有146組被錯(cuò)誤識別為正常駕駛。分析視頻資料發(fā)現(xiàn)，錯(cuò)誤識別的樣本主要來自于4號駕駛員。由于4號駕駛員在疲勞駕駛時(shí)不斷使用佩戴智能手表的手撓癢，使得疲勞狀態(tài)下所采集的數(shù)據(jù)特征和正常狀態(tài)下的數(shù)據(jù)特征相似，從而造成模型的誤判。

5 結(jié)論

使用智能手表采集了10名駕駛志愿者在正常和疲勞狀態(tài)下駕駛時(shí)的手腕運(yùn)動(dòng)信息，并從中提取了多個(gè)統(tǒng)計(jì)特征和樣本熵特征，建立了基于隨機(jī)森林的疲勞駕駛監(jiān)測模型，完成了模型檢驗(yàn)。結(jié)果顯示：通過加速度和角速度數(shù)據(jù)的統(tǒng)計(jì)特征和樣本熵特征等能夠有效地實(shí)現(xiàn)疲勞駕駛檢測。960組正常駕駛和780組疲勞駕駛樣本的測試結(jié)果表明：模型的準(zhǔn)確率為83.10%，真陽性率為81.28%，真陰性率為84.58%。

使用智能手表作為駕駛員轉(zhuǎn)向行為的數(shù)據(jù)采集裝置，能夠準(zhǔn)確感知轉(zhuǎn)向差異，但由于駕駛志愿者在駕駛過程中將佩戴智能手表的手脫離方向盤以及撓癢等而導(dǎo)致了一些誤判。因此，在后續(xù)的研究中還可以考慮對這些行為進(jìn)行識別或者與其他方式結(jié)合，以便進(jìn)一步提高模型的檢測準(zhǔn)確率，使得該方式更具有實(shí)用性。