基于面部多指標(biāo)的貨運(yùn)司機(jī)疲勞駕駛檢測(cè)

龔淑娟

（福州大學(xué) 經(jīng)濟(jì)與管理學(xué)院，福建 福州 350108）

1 引言

近年來(lái)，隨著經(jīng)濟(jì)發(fā)展以及交通環(huán)境的改善，網(wǎng)上交易額逐年上升，我國(guó)物流業(yè)蓬勃發(fā)展的同時(shí)推動(dòng)了貨運(yùn)市場(chǎng)的增長(zhǎng)，公路運(yùn)輸是當(dāng)前最主要的運(yùn)輸方式之一，而同時(shí)帶來(lái)的是疲勞駕駛隱患。據(jù)國(guó)家交通運(yùn)輸部門統(tǒng)計(jì)顯示，我國(guó)人為因素造成的交通事故有近20%-30%的重大事故是由于疲勞駕駛引起的。在物流運(yùn)輸中，長(zhǎng)途貨運(yùn)司機(jī)疲勞駕駛是行業(yè)內(nèi)最為普遍存在的現(xiàn)象之一。重大貨運(yùn)卡車交通事故中因駕駛員疲勞駕駛引起的占57%。僅2018年，在特大事故中，有近40%以上是由疲勞駕駛造成的。交通安全一直是國(guó)民關(guān)心的熱點(diǎn)問(wèn)題，在物流業(yè)持續(xù)發(fā)展、貨運(yùn)量劇增的今天，長(zhǎng)途貨運(yùn)司機(jī)承擔(dān)的不僅僅是安全駕駛的責(zé)任，還有自身安全以及由此帶來(lái)的人員傷亡、公共設(shè)施及巨大的財(cái)產(chǎn)損失，從而造成不良的社會(huì)影響。由于長(zhǎng)途貨運(yùn)司機(jī)長(zhǎng)時(shí)間、高強(qiáng)度駕駛車輛，極易疲勞駕駛，安全問(wèn)題迫在眉睫，社會(huì)各界都在尋求該問(wèn)題的解決方案，但國(guó)內(nèi)尚無(wú)系統(tǒng)完善的方法快速、準(zhǔn)確地識(shí)別長(zhǎng)途貨運(yùn)司機(jī)的駕駛狀態(tài)。

國(guó)內(nèi)外學(xué)者對(duì)疲勞駕駛進(jìn)行了大量研究，主要可以分為疲勞對(duì)駕駛員的影響研究、疲勞檢測(cè)技術(shù)研究以及疲勞駕駛檢測(cè)方法研究等。Philip 等詳細(xì)闡述了駕駛性能對(duì)一天中時(shí)間和過(guò)去24小時(shí)睡眠時(shí)間的依賴性。如果在24小時(shí)內(nèi)睡眠被限制在兩小時(shí)以內(nèi)，駕駛員不適的感覺(jué)會(huì)增加數(shù)倍[1]。Matthews 和Desmond 提出了任務(wù)誘導(dǎo)疲勞或主動(dòng)疲勞對(duì)駕駛表現(xiàn)的影響。在經(jīng)歷疲勞車輛控制時(shí)，信號(hào)檢測(cè)和行人檢測(cè)都顯示疲勞對(duì)駕駛會(huì)造成惡化[2]。駕駛員年齡和駕駛持續(xù)時(shí)間在疲勞對(duì)駕駛員的影響表現(xiàn)中起著重要作用[3]。當(dāng)駕駛?cè)蝿?wù)持續(xù)時(shí)間增加時(shí)，轉(zhuǎn)向誤差和反應(yīng)時(shí)間都會(huì)增加。長(zhǎng)時(shí)間工作后，駕駛性能明顯下降[4]。美國(guó)在近幾十年關(guān)于疲勞駕駛的研究中取得了突破性的發(fā)展。美國(guó)約翰霍普金斯大學(xué)（Johns Hopkins University）研發(fā)出瞌睡駕駛?cè)藗刹煜到y(tǒng)（DDDS），該系統(tǒng)依靠doppler radar 獲取司機(jī)的眨眼頻率、持續(xù)時(shí)間等相關(guān)的疲勞信息，并采用信號(hào)處理模型判斷駕駛員是否處于打瞌睡或疲勞狀態(tài)[5]。美國(guó)Electronic Safety Products 公司研制出疲勞報(bào)警裝置S.A.M（Steering Attention Monitor），該系統(tǒng)通過(guò)傳感器檢測(cè)方向盤的轉(zhuǎn)動(dòng)情況，4s內(nèi)無(wú)發(fā)生轉(zhuǎn)動(dòng)即認(rèn)為司機(jī)為疲勞駕駛，隨即發(fā)生警報(bào)直至方向盤轉(zhuǎn)動(dòng)[6]。一些汽車企業(yè)也著手研發(fā)，2008年款皇冠上安裝了豐田的第一個(gè)疲勞檢測(cè)模塊，該模塊根據(jù)眼瞼活動(dòng)來(lái)檢測(cè)睡意。近期豐田在小型和大型車輛上都部署了豐田安全感知計(jì)劃[7]。豐田安全感知計(jì)劃包括車輛檢測(cè)、車道偏離和行人檢測(cè)。日產(chǎn)汽車駕駛員注意力警報(bào)通過(guò)建立基線來(lái)適應(yīng)駕駛員的行為，對(duì)轉(zhuǎn)向校正誤差進(jìn)行連續(xù)性統(tǒng)計(jì)分析，以檢測(cè)偏離基線的情況[8]。大眾汽車的休息輔助系統(tǒng)通過(guò)車道跟蹤系統(tǒng)、踏板使用和不穩(wěn)定的方向盤運(yùn)動(dòng)來(lái)判斷駕駛員疲勞程度[9]。美國(guó)應(yīng)用科學(xué)實(shí)驗(yàn)室（ASL）設(shè)計(jì)并開(kāi)發(fā)了一種基于視頻的眼睛追蹤軟件，該軟件觀察瞳孔反射以測(cè)量眼睛運(yùn)動(dòng)[10]。日本的先鋒公司依據(jù)駕駛員的生理狀態(tài)設(shè)計(jì)了一種基于心跳速率防止駕駛員疲勞駕駛的系統(tǒng)[11]。

目前疲勞檢測(cè)研究已經(jīng)較為成熟，司機(jī)疲勞駕駛指標(biāo)主要包括車輛行為與駕駛員生理指標(biāo)。但由于研究環(huán)境受限，仍然需要開(kāi)發(fā)一種在所有可能的情況下都能很好地工作的實(shí)時(shí)和精確的技術(shù)。且在實(shí)際應(yīng)用中，需要物流企業(yè)或者運(yùn)輸單位、司機(jī)個(gè)人采購(gòu)設(shè)備，但這類設(shè)備的單價(jià)往往偏高，且安裝程度復(fù)雜，操作繁雜，導(dǎo)致疲勞駕駛檢測(cè)的普及程度不高。因此，本文將著手研究多生理信號(hào)融合的貨運(yùn)司機(jī)疲勞檢測(cè)，研制一個(gè)低成本、易操作的疲勞檢測(cè)和預(yù)警系統(tǒng)以改善現(xiàn)有狀況。

2 疲勞駕駛檢測(cè)方法

隨著科學(xué)技術(shù)的發(fā)展與進(jìn)步，疲勞駕駛的檢測(cè)方法由早期基于生理指標(biāo)的客觀評(píng)測(cè)發(fā)展到人體行為檢測(cè)和車輛或司機(jī)操作行為檢測(cè)，每種方法因其特點(diǎn)不同各有優(yōu)缺點(diǎn)，專家學(xué)者們?nèi)栽诓粩嗤晟破隈{駛檢測(cè)方法的科學(xué)性。

2.1 生理指標(biāo)客觀評(píng)測(cè)法

生理指標(biāo)是人體真實(shí)反應(yīng)所產(chǎn)生的信號(hào)，具有一定規(guī)律且準(zhǔn)確可靠。基于生理指標(biāo)的客觀評(píng)測(cè)法所采用的生理信號(hào)指標(biāo)主要包括中樞神經(jīng)生理指標(biāo)和肌電信號(hào)（EMG）指標(biāo)。

（1）中樞神經(jīng)生理指標(biāo)。人體中樞神經(jīng)系統(tǒng)能夠快速感知疲勞變化，二者間有著密切聯(lián)系。人體感受器官的脈沖流與大腦皮質(zhì)的反饋相結(jié)合，接收刺激后能夠共同刺激網(wǎng)狀激活中樞系統(tǒng)，并使其維持于高待命狀態(tài)中。當(dāng)刺激消失后脈沖流減少，激活水平降低，因此容易產(chǎn)生疲勞狀態(tài)。當(dāng)前生理信號(hào)可以分為心臟、大腦、眼睛信號(hào)。檢測(cè)疲勞的生理信號(hào)變化的精確方法如EEG、PPG、ECG和EOG等。

（2）EMG 指標(biāo)。表面肌電信號(hào)是對(duì)皮膚表面肌肉產(chǎn)生的電勢(shì)進(jìn)行測(cè)量。肌電信號(hào)傳感器通過(guò)電極記錄肌肉細(xì)胞產(chǎn)生的電勢(shì)。從表面肌電信號(hào)的時(shí)域和頻域信號(hào)中提取的特征可用于預(yù)測(cè)肌肉疲勞。

2.2 基于物理特征的人體行為檢測(cè)

駕駛員面部和頭部運(yùn)動(dòng)的特征是疲勞的一些最明顯的癥狀。身體特征包括眨眼頻率、閉眼持續(xù)時(shí)間、PERCLOS、姿勢(shì)、凝視和點(diǎn)頭頻率。基于物理特征的人體行為疲勞檢測(cè)系統(tǒng)可以大致分為基于眼睛、嘴和臉/頭的技術(shù)。

（1）基于眼部狀態(tài)參數(shù)。人類有上下眼瞼，當(dāng)人體產(chǎn)生疲勞時(shí)，眼部的運(yùn)動(dòng)會(huì)表現(xiàn)出明顯特征，諸如閉眼率、眼瞼距離、眼睛睜開(kāi)百分比及眼瞼的掃視運(yùn)動(dòng)等特征被證明是判斷疲勞的合適指標(biāo)。目前科學(xué)可靠的檢測(cè)參數(shù)有PERCLOS 參數(shù)（眼睛在單位時(shí)間內(nèi)的閉合程度）、AVRs參數(shù)（人體眨眼幅度與速度的比值、人體眼睛掃射幅度與速度的比值）等。

（2）基于嘴巴閉合。眼睛活動(dòng)是疲勞檢測(cè)的熱門方法，打哈欠和張嘴也是檢測(cè)疲勞的良好指標(biāo)。通過(guò)相應(yīng)技術(shù)識(shí)別畫(huà)面中人臉，檢測(cè)嘴巴是否處于打哈欠狀態(tài)。一段時(shí)間內(nèi)打哈欠計(jì)數(shù)決定了司機(jī)的疲勞程度。

（3）基于司機(jī)頭部偏移。通常情況下當(dāng)司機(jī)處于疲勞狀態(tài)時(shí)，頭部會(huì)不自覺(jué)的產(chǎn)生偏移，包括點(diǎn)頭、歪頭及搖晃。司機(jī)處于疲勞狀態(tài)時(shí)頭部會(huì)垂的更低，點(diǎn)頭動(dòng)作增多，幅度增大。通過(guò)傳感器檢測(cè)一段時(shí)間內(nèi)司機(jī)頭部位置變化情況可判斷司機(jī)是否疲勞駕駛。

2.3 基于車輛或操作行為檢測(cè)

司機(jī)在正常狀態(tài)下駕駛時(shí)，車輛保持穩(wěn)定有序前進(jìn)，疲勞降低了駕駛員的工作能力。車道交叉和方向盤角度等特征的偏差是駕駛能力下降的標(biāo)志。當(dāng)司機(jī)處于疲勞狀態(tài)時(shí)容易產(chǎn)生一些不當(dāng)操作或反應(yīng)遲緩等異常活動(dòng)，如剎車和油門上的壓力變化，駕駛員座椅上的載荷分布和車速也是駕駛員疲勞的有力指標(biāo)。車輛特征可分為方向盤角度、車道偏離和姿態(tài)變化。在車頭安裝攝像頭或傳感器獲取車輛相關(guān)行為，以判斷司機(jī)疲勞狀態(tài)也是當(dāng)下可靠的方法之一。

（1）車輛行駛狀態(tài)。司機(jī)清醒狀態(tài)下能夠保證行駛平穩(wěn)，其中SWA法就是獲取車輛的方向盤轉(zhuǎn)角，從方向盤角度數(shù)據(jù)計(jì)算近似熵。依據(jù)計(jì)算自適應(yīng)分段線性近似（APLA）估計(jì)疲勞狀態(tài)的相似性，以此判斷司機(jī)疲勞駕駛是當(dāng)下熱點(diǎn)方法。除方向盤轉(zhuǎn)角外，車道偏離也被廣泛用于駕駛員疲勞檢測(cè)中，

（2）汽車操作行為。汽車操作行為主要是基于人車交互特性的檢測(cè)方式，疲勞對(duì)駕駛員的駕駛行為有直接影響，當(dāng)駕駛員處于疲勞狀態(tài)時(shí)，對(duì)外界反應(yīng)較為遲緩。因此可以通過(guò)獲取貨車制動(dòng)踏板、加速踏板、與前車車距，以及方向盤調(diào)整等行為信息，判斷司機(jī)的駕駛狀態(tài)。

2.4 司機(jī)疲勞駕駛檢測(cè)方式對(duì)比

各類檢測(cè)方法對(duì)比分析見(jiàn)表1。生理指標(biāo)提供可靠和準(zhǔn)確的結(jié)果，因?yàn)樗鼈兇碚鎸?shí)的內(nèi)部狀態(tài)；然而，對(duì)于諸如腦電圖、心電圖和表面肌電信號(hào)的數(shù)據(jù)采集，必須將多個(gè)電極連接到身體。電極與身體的連接使得系統(tǒng)本質(zhì)上是侵入性的，這對(duì)于實(shí)時(shí)駕駛員疲勞檢測(cè)來(lái)說(shuō)不太理想，且通過(guò)多個(gè)電極進(jìn)行的腦電信號(hào)檢索非常容易受到來(lái)自外部因素噪聲的影響。生物傳感器既復(fù)雜又昂貴，信號(hào)需要進(jìn)行大量預(yù)處理（以避免噪音），并且容易導(dǎo)致駕駛員移動(dòng)。對(duì)于實(shí)時(shí)駕駛員疲勞檢測(cè)，由于人體行為的物理特征和車輛特征都不是侵入性的，似乎更可取。因?yàn)槿狈钑?huì)影響車輛控制或偏離，基于車輛特征的方法有利于確定困倦。疲勞可能不會(huì)對(duì)每個(gè)人的車輛特征產(chǎn)生相同的影響。與眨眼率相比，在橫向位置的標(biāo)準(zhǔn)偏差中可觀察到顯著的個(gè)體差異。車輛特征很容易受到個(gè)人駕駛習(xí)性、天氣和交通狀況的影響。

表1 各類檢測(cè)方法對(duì)比

3 面部疲勞檢測(cè)

考慮到本文是為了設(shè)計(jì)一套便捷有效且低成本的檢測(cè)系統(tǒng)，為了更簡(jiǎn)易高效地提取司機(jī)疲勞特征，對(duì)比分析三種檢測(cè)方法，選擇采用人體行為檢測(cè)。利用Vahid K 和Josehin S 提出的68 個(gè)駕駛員面部特征點(diǎn)獲取眼睛狀態(tài)，基于回歸樹(shù)集合得到的特征點(diǎn)具體分布如圖1所示[14]。

圖1 面部特征分布

3.1 基于眼部特征點(diǎn)檢測(cè)

（1）PERCLOS 評(píng)價(jià)指標(biāo)。現(xiàn)有研究通過(guò)大量實(shí)驗(yàn)對(duì)比常用的面部疲勞駕駛指標(biāo)后證實(shí)，在面部指標(biāo)中PERCLOS 評(píng)價(jià)指標(biāo)能夠最有效地檢測(cè)出司機(jī)的疲勞狀態(tài)[12]。PERCLOS 指標(biāo)（Percentage of Eyelid Closure over the Pupil Over Time）是指在單位時(shí)間內(nèi)眼睛閉合時(shí)間超過(guò)某一閾值的時(shí)間在總時(shí)長(zhǎng)的占比。將人眼在正常狀態(tài)下的瞳孔進(jìn)行量化，計(jì)算出被試者眼瞼遮住瞳孔的比值。本文依據(jù)文獻(xiàn)[13]將PERCLOS 指標(biāo)分為三個(gè)不同閾值的指標(biāo)，具體見(jiàn)表2，PERCLOS指標(biāo)計(jì)算原理如圖2所示。

圖1描述了左眼和右眼位置的特征點(diǎn)，通過(guò)計(jì)算左右眼特征點(diǎn)的位置信息，即可獲得雙眼的高、寬等指標(biāo)。

表2 PERCLOS指標(biāo)的閾值

其中P80疲勞指標(biāo)計(jì)算公式為：

（2）EAR 評(píng)價(jià)指標(biāo)。眼睛縱橫比EAR 是指眼睛兩側(cè)點(diǎn)與其對(duì)應(yīng)垂直點(diǎn)之間變動(dòng)距離以及水平兩點(diǎn)之間的橫向變動(dòng)距離之比[15]，如圖3、圖4所示。當(dāng)司機(jī)處于疲勞狀態(tài)時(shí)，可以從眼睛獲得疲勞最直觀的反應(yīng)之一，因此EAR 是一種合適的疲勞檢測(cè)指標(biāo)。圖3中的P1至P6點(diǎn)分別對(duì)應(yīng)圖1中36至41點(diǎn)，右眼同理。

圖2 PERCLOS指標(biāo)計(jì)算原理

圖3 睜眼特征示意圖

圖4 閉眼特征示意圖

3.2 MAR指標(biāo)

眼睛活動(dòng)是疲勞檢測(cè)的熱門方法，打哈欠和張嘴也是檢測(cè)疲勞的良好指標(biāo)。通過(guò)相應(yīng)技術(shù)識(shí)別畫(huà)面中人臉，檢測(cè)嘴是否處于打哈欠狀態(tài)。一段時(shí)間內(nèi)打哈欠計(jì)數(shù)決定了司機(jī)的疲勞程度。根據(jù)打哈欠與說(shuō)話過(guò)程的開(kāi)閉口的區(qū)分，說(shuō)話時(shí)嘴部上下張開(kāi)幅度小，頻率高，嘴型持續(xù)時(shí)間短，而打哈欠正好相反。因此利用嘴部的縱橫比MAR判斷司機(jī)的疲勞狀態(tài)不失為有效的方法。同樣利用68面度特征點(diǎn)檢測(cè)算法，得到8 個(gè)嘴部特征點(diǎn)，嘴部張開(kāi)及閉合特征點(diǎn)如圖5、圖6所示。

圖5 嘴巴張開(kāi)特征點(diǎn)示意圖

圖6 嘴巴閉合特征點(diǎn)示意圖

3.3 頭部姿勢(shì)

通常情況下當(dāng)司機(jī)處于疲勞狀態(tài)時(shí)，頭部會(huì)不自覺(jué)的產(chǎn)生偏移，包括點(diǎn)頭、歪頭及搖晃。司機(jī)處于疲勞狀態(tài)時(shí)頭部垂的更低，點(diǎn)頭動(dòng)作增多，幅度增大。通過(guò)傳感器檢測(cè)一段時(shí)間內(nèi)司機(jī)頭部位置變化情況可以判斷司機(jī)是否疲勞駕駛。本文根據(jù)文獻(xiàn)[16]利用頭部的偏航角、俯仰角及滾轉(zhuǎn)角等空間幾何指標(biāo)判斷頭部是否發(fā)生前后左右傾斜等姿勢(shì)。

4 實(shí)驗(yàn)程序

目前常見(jiàn)的三種疲勞檢測(cè)方法中，基于人體的生理指標(biāo)抗干擾性強(qiáng)，準(zhǔn)確性高，對(duì)于判斷疲勞駕駛相較其它方式更為準(zhǔn)確。盡管有多種數(shù)據(jù)作為信號(hào)源，但普遍采用單一信號(hào)類別判斷，由于誤差和信號(hào)干擾的存在，判斷疲勞駕駛的準(zhǔn)確性和可靠性還需進(jìn)一步完善。且生理指標(biāo)不易獲取，設(shè)備成本高，接觸式設(shè)備對(duì)于司機(jī)的干擾、隱私以及舒適性都存在一定的影響。而非接觸式設(shè)備雖能有效改善不足，但是容易受到外界環(huán)境的影響。因此本文采用上節(jié)3 個(gè)面部指標(biāo)檢測(cè)方法，從多個(gè)角度、多維度對(duì)司機(jī)進(jìn)行疲勞檢測(cè)，并根據(jù)相應(yīng)的指標(biāo)對(duì)司機(jī)進(jìn)行疲勞駕駛預(yù)警。本文設(shè)計(jì)的檢測(cè)系統(tǒng)流程如圖7所示。

（1）實(shí)驗(yàn)平臺(tái)搭建。帶Windows 系統(tǒng)、Python 軟件、屏幕分辨率為1 366*768 的電腦，帶前置攝像頭PC機(jī)。

（2）圖像采集及處理。通過(guò)相機(jī)實(shí)時(shí)采集司機(jī)駕駛情況，提取采集到的視頻中的每一幀圖像，主要利用灰度變換、直方圖均衡以及平滑濾波等數(shù)字圖像技術(shù)處理，達(dá)到降噪目的，再將圖像輸入面部檢測(cè)跟蹤模塊。

（3）人臉定位及檢測(cè)。結(jié)合MTCNN人臉檢測(cè)算法與DSST視頻單目標(biāo)跟蹤算法，對(duì)采集到的司機(jī)圖像同時(shí)進(jìn)行司機(jī)面部區(qū)域檢測(cè)定位及連續(xù)性穩(wěn)定檢測(cè)與跟蹤，將面部區(qū)域輸入關(guān)鍵點(diǎn)檢測(cè)部分[17]。為保證檢測(cè)的準(zhǔn)確性，構(gòu)造一個(gè)13 維的長(zhǎng)寬比特征向量（第N幀、第N-6幀和第N+6幀），然后將該特征向量輸入線性SVM進(jìn)行分類。

圖7 疲勞駕駛檢測(cè)系統(tǒng)流程圖

（4）面部關(guān)鍵點(diǎn)檢測(cè)及多指標(biāo)疲勞計(jì)算。采用ERT 人臉對(duì)齊算法和EPNP 檢測(cè)算法提取司機(jī)面部特征。采用多指標(biāo)計(jì)算疲勞狀態(tài)，基于多重疲勞檢測(cè)，可有效避免當(dāng)某一項(xiàng)檢測(cè)受到外界或自身特殊情況干擾時(shí)產(chǎn)生的誤差，保證檢測(cè)系統(tǒng)的正確性。利用PERCLOS、EAR、MAR及頭部姿勢(shì)共4個(gè)指標(biāo)計(jì)算，通過(guò)計(jì)算眼睛的長(zhǎng)寬比確定視頻流中是否出現(xiàn)眨眼，通過(guò)計(jì)算嘴部長(zhǎng)寬比確認(rèn)是否出現(xiàn)打哈欠，通過(guò)頭部位移變化確定是否點(diǎn)頭。

（5）疲勞預(yù)警。當(dāng)系統(tǒng)檢測(cè)到司機(jī)處于疲勞駕駛狀態(tài)時(shí)，即以P80≥40%，EAR≤20%，MAR≥75%，頭部俯仰角＞69.6°，滾動(dòng)角大于36.3°為判定疲勞標(biāo)準(zhǔn)時(shí)，連續(xù)檢查20幀畫(huà)面，當(dāng)單位時(shí)間內(nèi)眨眼次數(shù)達(dá)到5，P80≥40%，打哈欠次數(shù)達(dá)到15，或點(diǎn)頭15 次時(shí)，將立即主動(dòng)發(fā)出對(duì)應(yīng)提示預(yù)警，提示司機(jī)應(yīng)當(dāng)及時(shí)停車休息。同時(shí)將司機(jī)駕駛狀態(tài)信息發(fā)送至后臺(tái)服務(wù)器，當(dāng)后臺(tái)收到提示后，可聯(lián)系司機(jī)確認(rèn)是否對(duì)疲勞駕駛做出應(yīng)對(duì)，也可利用該信息對(duì)司機(jī)的運(yùn)輸工作進(jìn)行合理安排。

5 實(shí)驗(yàn)結(jié)果分析

為了保證平臺(tái)的可運(yùn)行和系統(tǒng)真實(shí)性，我們真實(shí)模擬系統(tǒng)在不同狀態(tài)下對(duì)人像進(jìn)行實(shí)時(shí)監(jiān)控測(cè)試，其檢測(cè)流程如圖7所示，結(jié)果如圖8-圖11所示。

圖8 清醒狀態(tài)下檢測(cè)圖

圖9 疲勞狀態(tài)下頭部姿勢(shì)達(dá)到疲勞預(yù)警標(biāo)準(zhǔn)

圖10 疲勞狀態(tài)下打哈欠達(dá)到疲勞預(yù)警標(biāo)準(zhǔn)

圖11 疲勞狀態(tài)下眨眼達(dá)到疲勞預(yù)警標(biāo)準(zhǔn)

從圖8 可知，系統(tǒng)可以監(jiān)測(cè)到嘴部是否張開(kāi)，以及單位時(shí)間內(nèi)眨眼次數(shù)、EAR指數(shù)，MAR指數(shù)以及點(diǎn)頭次數(shù)。當(dāng)受試者處于清醒狀態(tài)時(shí)，眼睛睜開(kāi)，EAR為0.29，嘴巴正常情況下緊閉，MAR＜0.75。圖9-圖11 分別顯示，當(dāng)受試者處于疲勞狀態(tài)時(shí)呈現(xiàn)瞇眼狀態(tài)，EAR＜0.2，打哈欠時(shí)MAR＞0.75，一旦當(dāng)點(diǎn)頭次數(shù)達(dá)到15 次，或是打哈欠次數(shù)達(dá)到15 次，眨眼次數(shù)達(dá)到50 次時(shí)，達(dá)到了單位時(shí)間內(nèi)≥40%,系統(tǒng)顯示屏觸發(fā)警報(bào)“ALERT ！Be Careful of Drowsiness”并發(fā)出警報(bào)音預(yù)警。

為保證系統(tǒng)的準(zhǔn)確性，另采用10 張疲勞狀態(tài)的臉部照片以及50 張正常狀態(tài)下的臉部照片，輸入系統(tǒng)進(jìn)行檢測(cè)，如圖12、圖13所示。

以人眼為檢測(cè)指標(biāo)的檢測(cè)結(jié)果見(jiàn)表3。

圖12 疲勞狀態(tài)臉部圖片

表3 人眼檢測(cè)實(shí)驗(yàn)結(jié)果

通過(guò)實(shí)驗(yàn)結(jié)果可知，基于面部眼睛狀態(tài)指標(biāo)作為疲勞檢測(cè)判斷標(biāo)準(zhǔn)準(zhǔn)確度較高，且抗干擾性強(qiáng)。分析影響正確率的可能性，通過(guò)測(cè)試發(fā)現(xiàn)，當(dāng)測(cè)試對(duì)象佩戴眼鏡時(shí)，因?yàn)殓R片原因會(huì)在一定程度上影響EAR。因測(cè)試者自身五官大小導(dǎo)致EAR變化時(shí)以嘴部為檢測(cè)指標(biāo)的結(jié)果見(jiàn)表4。

表4 嘴部檢測(cè)實(shí)驗(yàn)結(jié)果

通過(guò)實(shí)驗(yàn)結(jié)果可知，基于面部眼睛狀態(tài)指標(biāo)作為疲勞檢測(cè)判斷標(biāo)準(zhǔn)的準(zhǔn)確度一般，抗干擾性低，判斷影響準(zhǔn)確性的原因?yàn)楫?dāng)司機(jī)處于重度疲勞，即將睡著或已睡著時(shí)多數(shù)人嘴巴是閉合的，因此以嘴部為指標(biāo)時(shí)，僅通過(guò)靜態(tài)圖片檢測(cè)疲勞的準(zhǔn)確性存在誤差。

基于眼睛狀態(tài)及嘴部狀態(tài)融合指標(biāo)的檢測(cè)結(jié)果見(jiàn)表5。

表5 融合檢測(cè)實(shí)驗(yàn)結(jié)果

對(duì)比以上兩個(gè)單一指標(biāo)檢測(cè)，可以發(fā)現(xiàn)多重疲勞檢測(cè)，以多個(gè)指標(biāo)同時(shí)檢測(cè)疲勞狀態(tài)更加準(zhǔn)確。

圖13 正常狀態(tài)臉部圖片

6 結(jié)論

當(dāng)前國(guó)內(nèi)外對(duì)于疲勞駕駛的研究不在少數(shù)，專家學(xué)者們從各個(gè)角度展開(kāi)研究，能夠準(zhǔn)確地進(jìn)行疲勞檢測(cè)。但在現(xiàn)實(shí)中，因環(huán)境的復(fù)雜性，干擾大，本文基于多生理信號(hào)融合檢測(cè)長(zhǎng)途貨運(yùn)司機(jī)疲勞駕駛水平，通過(guò)分析當(dāng)前三種疲勞檢測(cè)方法的優(yōu)缺點(diǎn)，介紹當(dāng)前較為方便可靠的面部識(shí)別檢測(cè)方法及原理，選用PERCLOS、EAR、MAR及頭部姿勢(shì)共4個(gè)指標(biāo)計(jì)算，判斷貨運(yùn)司機(jī)疲勞狀態(tài)，并使用Python軟件設(shè)計(jì)出一套疲勞駕駛檢測(cè)及預(yù)警系統(tǒng)。從實(shí)驗(yàn)結(jié)果可以得出以下結(jié)論：

（1）使用單生理信號(hào)檢測(cè)司機(jī)疲勞駕駛有一定的準(zhǔn)確性，以面部眼睛作為檢測(cè)指標(biāo)的準(zhǔn)確度與抗干擾性比以嘴部為檢測(cè)指標(biāo)效果更好。實(shí)驗(yàn)過(guò)程中我們發(fā)現(xiàn)以頭部姿勢(shì)為指標(biāo)的檢測(cè)方法實(shí)驗(yàn)難度更高，在靜態(tài)圖片中無(wú)法正確判斷，且駕駛過(guò)程中若出現(xiàn)道路環(huán)境差產(chǎn)生晃動(dòng)會(huì)明顯影響檢測(cè)的正確性。相比之下，多重生理信號(hào)融合后得到的司機(jī)疲勞駕駛檢測(cè)準(zhǔn)確度更優(yōu)于單生理信號(hào)檢測(cè)，抗干擾性強(qiáng)，誤差較小。根據(jù)本文的分析可知，沒(méi)有單一特征可以可靠地檢測(cè)疲勞。因此，多個(gè)特征的組合檢測(cè)準(zhǔn)確率更高。

（2）通過(guò)對(duì)比實(shí)時(shí)監(jiān)測(cè)和圖片檢測(cè)結(jié)果，我們發(fā)現(xiàn)基于時(shí)間的特征向量和SVM分類器的結(jié)合有助于減少誤報(bào)眨眼檢測(cè)，并提高眨眼檢測(cè)器的整體準(zhǔn)確性。

（3）本系統(tǒng)經(jīng)過(guò)試驗(yàn)證實(shí)具有較好的檢測(cè)效果，以面部特征識(shí)別的疲勞檢測(cè)方式主要使用無(wú)接觸式設(shè)備，安裝便捷，操作簡(jiǎn)單，對(duì)于受試者而言舒適度更高。在室內(nèi)無(wú)外界環(huán)境干擾下檢測(cè)準(zhǔn)確度高，但在外界環(huán)境干擾下，準(zhǔn)確率會(huì)受到一定影響。相對(duì)于其他檢測(cè)方法成本更低，對(duì)于貨運(yùn)企業(yè)而言認(rèn)可度更高。

本文分析了以面部特征作為疲勞駕駛檢測(cè)指標(biāo)的可行性，并通過(guò)Python搭建檢測(cè)系統(tǒng)，模擬不同狀態(tài)下系統(tǒng)實(shí)現(xiàn)對(duì)疲勞狀態(tài)的評(píng)估及報(bào)警，初步證實(shí)系統(tǒng)的有效性。但仍存在以下不足需進(jìn)一步開(kāi)展研究：（1）本文基于面部特征識(shí)別作為評(píng)價(jià)指標(biāo)來(lái)判斷疲勞駕駛的檢測(cè)系統(tǒng)在采集數(shù)據(jù)后能夠判斷司機(jī)是否疲勞，但仍未對(duì)疲勞的等級(jí)進(jìn)行劃分，僅以固定的標(biāo)準(zhǔn)分為疲勞和正常兩個(gè)狀態(tài)，而疲勞是一個(gè)漸進(jìn)過(guò)程，接近臨界點(diǎn)時(shí)，系統(tǒng)未進(jìn)行及時(shí)預(yù)警。（2）目前基于頭部姿勢(shì)指標(biāo)判斷疲勞駕駛的標(biāo)準(zhǔn)還未具體量化，僅是一個(gè)較大的角度范圍，存在一定的誤差，還需要研究疲勞狀態(tài)下頭部姿勢(shì)的變化從而尋找更為準(zhǔn)確可靠的標(biāo)準(zhǔn)。