基于標(biāo)簽集相關(guān)性學(xué)習(xí)的駕駛員異常行為預(yù)警方法

李光華，張洪濤，謝鳳祥，韓名亮

（國(guó)能大渡河大數(shù)據(jù)服務(wù)有限公司，四川成都 610041）

車(chē)輛交通極大地便利了大眾的出行，但駕駛出行方式存在的危險(xiǎn)影響因素也隨之增加，其中影響最大的危險(xiǎn)因素就是駕駛員的異常行為，一旦車(chē)輛受到異常控制就會(huì)出現(xiàn)十分嚴(yán)重的交通事故。當(dāng)駕駛員的駕駛狀態(tài)出現(xiàn)異常時(shí)，對(duì)于外界的感知慢慢消失或者敏感度降低，為了縮短駕駛員異常行為預(yù)警的時(shí)間，減少出行事故的發(fā)生，提出了駕駛員異常行為預(yù)警方法的設(shè)計(jì)，預(yù)警方法的關(guān)鍵是既要在最短的時(shí)間內(nèi)識(shí)別到駕駛員的異常行為，又要保證駕駛員可以充分地理解預(yù)警語(yǔ)音和行為。

文獻(xiàn)[1]提出的基于PERCLO 的預(yù)警方法，對(duì)于駕駛員在車(chē)輛內(nèi)的任何動(dòng)作，其識(shí)別靈敏性極高，由于動(dòng)作的連貫性，此方法在工作時(shí)會(huì)將駕駛員一些安全動(dòng)作認(rèn)證為異常行為進(jìn)行預(yù)警，影響駕駛員的駕駛狀態(tài)，可行系數(shù)較低。文獻(xiàn)[2]提出的基于計(jì)算機(jī)視覺(jué)分析的預(yù)警方法，雖然誤判駕駛員異常行為的概率很低，但是由于計(jì)算機(jī)視覺(jué)與動(dòng)作的轉(zhuǎn)化分析過(guò)程，耗用的時(shí)間較長(zhǎng)，使駕駛員異常行為持續(xù)的時(shí)間超過(guò)車(chē)輛可以承受異常操作的時(shí)間，預(yù)警效果不明顯，需要進(jìn)一步進(jìn)行優(yōu)化更新。為了解決以上問(wèn)題，提出基于標(biāo)簽相關(guān)性學(xué)習(xí)的駕駛員異常行為預(yù)警方法，首先利用協(xié)方差方法對(duì)駕駛員的異常行為進(jìn)行特征提取，然后利用標(biāo)簽集相關(guān)性學(xué)習(xí)方法，對(duì)駕駛員異常行為進(jìn)行預(yù)警等級(jí)的分析，最終根據(jù)不同級(jí)別的異常行為，輸出相應(yīng)的應(yīng)答預(yù)警結(jié)果。

1 車(chē)輛異常特征提取

駕駛員異常行為最直觀的表現(xiàn)就是駕駛車(chē)輛出現(xiàn)異常，所提方法獲取駕駛員異常行為的方式是通過(guò)連續(xù)對(duì)駕駛員駕駛操作行為的拍攝過(guò)濾完成的，拍攝駕駛員行為的數(shù)據(jù)信息較多，無(wú)方向的信息提取，不僅給駕駛員異常行為過(guò)濾造成極大的計(jì)算量，而且不能完全發(fā)現(xiàn)駕駛員的異常行為。因此所提方法在保證車(chē)輛異常行為過(guò)濾的精準(zhǔn)度基礎(chǔ)上，根據(jù)駕駛車(chē)輛異常特征的提取，確定駕駛員是否存在異常行為[3-4]。

由于攝像設(shè)備對(duì)色彩的敏感性很高，所提方法設(shè)計(jì)的預(yù)警方法，在駕駛員動(dòng)作拍攝過(guò)程中，會(huì)對(duì)靠近汽車(chē)內(nèi)部關(guān)鍵位置的區(qū)域采用色彩分布設(shè)計(jì)，駕駛員在駕駛過(guò)程中會(huì)觸碰到色域，因此當(dāng)色域出現(xiàn)行為數(shù)據(jù)幀時(shí)，首先要進(jìn)行分析，判斷駕駛員行為是否存在異常，這就是顏色特征[5-6]。圖像顏色特征通過(guò)HSV 顏色模型完成行為信息的提取，顏色模型可以形象地反饋出顏色底層下最真實(shí)的圖像行為，顏色模型的基礎(chǔ)三原色包括紅綠藍(lán)，因?yàn)槟壳俺霈F(xiàn)的任意顏色都是紅色、藍(lán)色、綠色混合而成的，HSV 顏色模型考慮到了光線對(duì)于圖像信息的照射情況，具有較高的還原效果[7]。HSV 圖像顏色模型如圖1 所示。

圖1 HSV圖像顏色模型

駕駛車(chē)輛異常的紋理特征是圖像的本質(zhì)，因?yàn)閳D像經(jīng)過(guò)后期平移、剪輯、尺度調(diào)整、旋轉(zhuǎn)等行為時(shí)，圖像內(nèi)的信息有時(shí)會(huì)發(fā)生改變，影響判斷駕駛員行為狀態(tài)的真實(shí)度。因?yàn)楹笃趯?duì)于駕駛員駕駛視頻尺度縮放或者旋轉(zhuǎn)處理時(shí)，只是更改了圖像的大小，并未更改圖像內(nèi)各個(gè)參數(shù)的比例，在提取紋理特征時(shí)，根據(jù)小波參數(shù)的方差值，依次還原最真實(shí)的圖像參數(shù)，即可提取出圖像的紋理特征[8]。所提方法采用三維濾波函數(shù)為核心，完成駕駛員駕駛視頻中紋理信息的表征，函數(shù)如式（1）所示：

其中，g(x,y,z)表示提取的紋理特征；δx表示沿x軸正方向尺度系數(shù)；δy表示沿y軸正方向尺度系數(shù)；δz表示沿z軸正方向尺度系數(shù)；α表示數(shù)據(jù)幀的傾斜量。

駕駛員異常行為的出現(xiàn)往往會(huì)伴隨瞬時(shí)動(dòng)作，此動(dòng)作對(duì)于交通安全和預(yù)判駕駛員的狀態(tài)尤為重要。根據(jù)描述，所提方法利用梯度特征捕獲到駕駛員的瞬時(shí)行為，避免由于行為過(guò)快，漏查駕駛員的行為信息。任何行為都會(huì)產(chǎn)生一種模擬聲音信號(hào)，區(qū)別是聲音信號(hào)的大小不同，不同的模擬聲音信號(hào)對(duì)應(yīng)的行為不同。具體梯度特征表征公式如式（2）所示：

其中，G(x,y,z) 表示提取的梯度特征；i表示視頻像素值；dx(i,j)表示像素的位置；u表示數(shù)據(jù)幀圖像的尺度系數(shù)；φ表示駕駛員行為的方向角度。

顏色特征、紋理特征以及梯度特征之間存在一定的關(guān)聯(lián)性，但是各種特征所表征的類(lèi)型是不一樣的，所提方法利用協(xié)方差的方法對(duì)駕駛員行為進(jìn)行特征融合，完成特征的提取。協(xié)方差方法的優(yōu)點(diǎn)是可以對(duì)光線、斑駁、旋轉(zhuǎn)等操作進(jìn)行免疫過(guò)濾，高度還原駕駛員真實(shí)的駕車(chē)行為，提取流程為：首先將需要分析的駕駛員行為圖形隨機(jī)分割為若干個(gè)信息塊，然后在每個(gè)信息塊上建立一個(gè)三維坐標(biāo)系，根據(jù)駕駛員異常行為特征的標(biāo)注情況，提取出每個(gè)信息塊上的異常行為特征，最終將所有特征利用協(xié)方差因子進(jìn)行連接，輸出駕駛員的異常行為特征[9]。

提取公式如式（3）所示：

其中，Xr表示特征提取結(jié)果；s表示駕駛員行為特征向量的均值；zi表示三維坐標(biāo)中所有特征點(diǎn)的集合；r表示圖像信息中所存在特征的個(gè)數(shù)；βr表示行為信息變換系數(shù)；f表示協(xié)方差因子。

2 駕駛員異常行為等級(jí)劃分

駕駛員的異常行為指的是非正常駕駛行為之外的所有動(dòng)作。駕駛員異常行為主要由突發(fā)疾病和疲勞駕駛引起，前者是不可避免的，因此所提方法在對(duì)駕駛員異常行為等級(jí)定義的基礎(chǔ)上，利用標(biāo)簽集相關(guān)性學(xué)習(xí)方法分析由疲勞駕駛引起的駕駛員異常行為等級(jí)的劃分[10]。駕駛員異常行為等級(jí)分為三個(gè)級(jí)別，分別為一級(jí)異常行為、二級(jí)異常行為和三級(jí)異常行為，每級(jí)異常行為表現(xiàn)的方式不同，因?yàn)樾袨榈慕缦奘且粋€(gè)模糊的定義，所以在對(duì)駕駛員異常行為判定時(shí)，采用進(jìn)級(jí)判斷。

一級(jí)駕駛員異常行為等級(jí)的本質(zhì)是駕駛員的行為是不可控的，不能完成車(chē)輛的起步、停車(chē)、減速等操作，喪失了安全駕駛車(chē)輛的能力。此類(lèi)型的駕駛員異常行為所造成的后果最嚴(yán)重。二級(jí)駕駛員異常行為等級(jí)的本質(zhì)是駕駛員表現(xiàn)出行為遲鈍，且出現(xiàn)駕駛員意識(shí)模糊，但在引導(dǎo)下可以完成基本的駕車(chē)操作。三級(jí)駕駛員異常行為等級(jí)表示駕駛員具有清晰的意識(shí)，但是由于其他因素導(dǎo)致駕駛員的反應(yīng)較慢，可以完成停車(chē)、制動(dòng)、減速等基本行為[11-12]。

標(biāo)簽集相關(guān)性學(xué)習(xí)方法對(duì)駕駛員異常行為進(jìn)行等級(jí)劃分原理是駕駛員異常行為的表征與駕駛員異常行為等級(jí)之間相關(guān)性的概率，表征結(jié)果與哪級(jí)駕駛員異常行為等級(jí)認(rèn)定界限最接近，則判斷駕駛員的異常行為等級(jí)即為該級(jí)。在判定駕駛員異常行為等級(jí)前，需要判斷駕駛員行為是否存在異常，如果不是，則不需要進(jìn)行異常行為等級(jí)劃分操作，反之執(zhí)行等級(jí)劃分方法即可。標(biāo)簽集相關(guān)性學(xué)習(xí)方法的優(yōu)點(diǎn)是可以準(zhǔn)確區(qū)分正常駕駛行為和異常駕駛行為，因?yàn)椴糠职踩{駛行為操作時(shí)，由于駕駛員力度控制的偏差，會(huì)出現(xiàn)假性駕駛員異常操作行為。標(biāo)簽集相關(guān)性學(xué)習(xí)通過(guò)多次檢索駕駛員某一段時(shí)間范圍內(nèi)駕駛員的各個(gè)瞬時(shí)行為，將擁有混淆特點(diǎn)的駕駛行為都進(jìn)行標(biāo)簽記錄，標(biāo)簽集合內(nèi)的所有駕駛員異常行為類(lèi)型的標(biāo)簽都是相對(duì)獨(dú)立的，計(jì)算駕駛員異常行為特征與異常行為等級(jí)之間相關(guān)性公式如式（4）所示：

其中，L表示駕駛員異常行為與異常等級(jí)之間相關(guān)性結(jié)果；k表示權(quán)重系數(shù)；vw表示標(biāo)簽集合；σ表示平衡因子；Fr表示異常行為的特征變量；w表示標(biāo)簽的鄰域變量；d表示異常駕駛行為與安全駕駛行為之間的誤差系數(shù)；其他未知數(shù)的意義同上。

按照駕駛員異常行為等級(jí)的劃分，規(guī)定參數(shù)結(jié)果在0～7.8 為一級(jí)異常行為等級(jí)，參數(shù)結(jié)果為7.9～14.7 為二級(jí)異性行為等級(jí)，其他區(qū)域內(nèi)的參數(shù)結(jié)構(gòu)都為三級(jí)異常行為等級(jí)[13]。

3 駕駛員異常行為預(yù)警

駕駛員異常行為預(yù)警方法設(shè)計(jì)的目的不僅要保證駕駛員可以正確地理解預(yù)警語(yǔ)言和指示燈，而且要將駕駛員的知覺(jué)作為主要引導(dǎo)方向，防止由于誤解預(yù)警語(yǔ)言和輔助行為，造成更為嚴(yán)重的交通事故。因此根據(jù)不同級(jí)別的駕駛員異常行為，設(shè)計(jì)不同理解程度的預(yù)警展示形式。所提方法設(shè)計(jì)的預(yù)警方法采用語(yǔ)音、視覺(jué)以及感知三重疊加預(yù)警模式，降低駕駛員在異常狀態(tài)下的理解難度，提高預(yù)警效果。視覺(jué)預(yù)警方式通過(guò)指示燈實(shí)現(xiàn)，語(yǔ)音預(yù)警向?qū)в蛇h(yuǎn)程藍(lán)牙通道完成，感知預(yù)警方法通過(guò)駕駛員腳下、面部、頸部的吹風(fēng)系統(tǒng)進(jìn)行提示。基于標(biāo)簽集相關(guān)性學(xué)習(xí)的駕駛員異常行為預(yù)警方法執(zhí)行的流程如圖2 所示。

圖2 基于標(biāo)簽集相關(guān)性學(xué)習(xí)的駕駛員異常行為預(yù)警方法執(zhí)行流程

首先，獲取駕駛員駕駛視頻信息，調(diào)用協(xié)防差流方法提取駕駛員駕駛視頻內(nèi)的駕駛行為特征；

然后，辨認(rèn)獲取到的駕駛行為特征是否為異常行為特征，如果是，則繼續(xù)進(jìn)行下一步操作，如果不是，則停止分析即可；

最終，將獲取到的駕駛員異常行為特征在已存在的駕駛異常行為標(biāo)簽集合內(nèi)進(jìn)行檢索，計(jì)算出異常駕駛行為所處于的異常行為等級(jí)，根據(jù)計(jì)算結(jié)果進(jìn)行相對(duì)應(yīng)程度的預(yù)警，駕駛員異常行為等級(jí)的預(yù)警方法如下：

1）識(shí)別到駕駛員處于一級(jí)駕駛員異常行為時(shí)，應(yīng)該立即遠(yuǎn)程控制迫使汽車(chē)緊急制動(dòng)，并伴隨車(chē)載GPS 地理信息向相關(guān)部門(mén)進(jìn)行報(bào)警避免造成交通事故。

2）駕駛員出現(xiàn)二級(jí)駕駛員異常行為時(shí)，其駕駛意識(shí)模糊，應(yīng)立即通過(guò)車(chē)載儀器向駕駛員發(fā)出聲音叫醒加以預(yù)警。

3）如果最終結(jié)果顯示駕駛員的異常行為等級(jí)為三級(jí)，應(yīng)該采取語(yǔ)音和燈光雙層疊加的方式進(jìn)行解決，引導(dǎo)駕駛員脫離危險(xiǎn)駕駛[14-16]。

4 實(shí)驗(yàn)研究

為了驗(yàn)證基于標(biāo)簽集相關(guān)性學(xué)習(xí)的駕駛員異常行為預(yù)警方法，將所提方法與文獻(xiàn)[1]的基于PERCLO 的預(yù)警方法、文獻(xiàn)[2]基于計(jì)算機(jī)視覺(jué)分析的預(yù)警方法進(jìn)行實(shí)驗(yàn)對(duì)比。

選取對(duì)象為12 名非專(zhuān)業(yè)駕駛員在所提供的駕駛模擬器中進(jìn)行操作，在操作之前，工作人員需要向他們解釋操作方式和操作過(guò)程的各項(xiàng)要求，駕駛員熟練10 min 后，可以進(jìn)行操作。

選取5 名具有豐富經(jīng)驗(yàn)的工作員預(yù)案分析駕駛員的車(chē)輛駕駛異常行為，當(dāng)發(fā)現(xiàn)駕駛員存在異常行為后，需要確定駕駛員的異常行為的等級(jí)，同時(shí)啟動(dòng)三種預(yù)警方法進(jìn)行對(duì)比。

不同的預(yù)警方法發(fā)出預(yù)警信號(hào)之后，用戶對(duì)于預(yù)警信號(hào)的理解能力不同，設(shè)定信號(hào)理解能力共有1～4 個(gè)等級(jí)，等級(jí)1 為難以理解，等級(jí)2 為相對(duì)難以理解，等級(jí)3 為相對(duì)容易理解，等級(jí)4 為容易理解。匯總用戶的理解能力結(jié)果，得到的實(shí)驗(yàn)結(jié)果如表1所示。

表1 用戶理解能力和實(shí)驗(yàn)結(jié)果

根據(jù)表1 可知，不同用戶對(duì)于預(yù)警方法的反應(yīng)能力不同，PERCLO 預(yù)警方法對(duì)于用戶而言最難理解[17-18]，因?yàn)镻ERCLO 預(yù)警方法采用的是觸覺(jué)信號(hào)，駕駛員在駕駛時(shí)，對(duì)于觸覺(jué)的理解性過(guò)低，尤其是存在異常行為時(shí)，觸覺(jué)感知能力更低，因此，PERCLO預(yù)警方法的實(shí)用性較差。而計(jì)算機(jī)視覺(jué)分析預(yù)警方法對(duì)于用戶而言相對(duì)較好理解，計(jì)算機(jī)視覺(jué)分析技術(shù)應(yīng)用視覺(jué)信號(hào)，通過(guò)視覺(jué)信號(hào)為用戶帶來(lái)刺激，提醒用戶存在行為異常，絕大多數(shù)用戶能夠更好地理解計(jì)算機(jī)視覺(jué)分析預(yù)警方法發(fā)出的預(yù)警信號(hào)。所提方法將視覺(jué)技術(shù)和聽(tīng)覺(jué)技術(shù)融合到一起，通過(guò)多種匯總方法對(duì)用戶進(jìn)行預(yù)警，利用復(fù)合預(yù)警方案讓用戶在更短的時(shí)間內(nèi)理解自己存在異常行為，并作出改善行為，對(duì)于用戶安全行駛有重要意義。

對(duì)12 名駕駛員的反應(yīng)時(shí)間進(jìn)行統(tǒng)計(jì)，比較不同預(yù)警方法下駕駛員的反應(yīng)時(shí)間，得到的實(shí)驗(yàn)結(jié)果如圖3 所示。

圖3 預(yù)警反應(yīng)時(shí)間實(shí)驗(yàn)結(jié)果

觀察圖3 可知，所提預(yù)警方法預(yù)警反應(yīng)時(shí)間最短，預(yù)警能力最強(qiáng)。雖然不同人對(duì)于預(yù)警信號(hào)的反應(yīng)時(shí)間存在差異，但是對(duì)12 位駕駛用戶進(jìn)行測(cè)試時(shí)，基于計(jì)算機(jī)視覺(jué)分析技術(shù)的預(yù)警方法，用戶預(yù)警時(shí)間最長(zhǎng)，甚至超過(guò)了23 s，即使反應(yīng)最為迅速的用戶預(yù)警時(shí)間也在15 s 以上，危險(xiǎn)系數(shù)極高。相比較于基于計(jì)算機(jī)視覺(jué)的預(yù)警方法，基于PERCLO 的預(yù)警方法的預(yù)警能力更強(qiáng)，用戶的反應(yīng)時(shí)間相對(duì)較短，其中用戶6 花費(fèi)的預(yù)警時(shí)間僅有9 s，但是用戶10 花費(fèi)的預(yù)警時(shí)間為21 s。所提方法提出的預(yù)警方法花費(fèi)的預(yù)警時(shí)間在3～7.5 s 內(nèi)波動(dòng)，用戶可以在短時(shí)間內(nèi)快速意識(shí)到自己的駕駛行為存在異常，對(duì)于確保用戶安全駕駛有重要意義。

預(yù)警方法在進(jìn)行預(yù)警時(shí)，可能會(huì)造成用戶行為混淆，對(duì)于用戶的舒適度產(chǎn)生影響，所提方法綜合分析舒適度和可接受性，對(duì)于不同的預(yù)警方法進(jìn)行評(píng)分，最高分為3 分，最低分為0 分，記錄不同駕駛員的舒適度，得到的實(shí)驗(yàn)結(jié)果如表2 所示。

根據(jù)表2 可知，PERCLO 預(yù)警方法的舒適度最高，所提預(yù)警方法舒適度最差，因?yàn)樗岬念A(yù)警方法從多種渠道進(jìn)行預(yù)警，用戶容易受到信號(hào)干涉，因此舒適度相對(duì)較差。

表2 用戶舒適度實(shí)驗(yàn)結(jié)果

綜上所述，所提預(yù)警方法能夠幫助用戶在短時(shí)間內(nèi)迅速發(fā)現(xiàn)自己的異常行為，通過(guò)多種渠道提醒用戶讓用戶作出預(yù)警反應(yīng)，從而保證用戶的安全性。所提方法具有很強(qiáng)的實(shí)際應(yīng)用意義，對(duì)于用戶安全行駛可以起到積極的促進(jìn)作用。

5 結(jié)束語(yǔ)

通過(guò)實(shí)驗(yàn)分析所提的基于標(biāo)簽集相關(guān)性學(xué)習(xí)的駕駛員異常行為預(yù)警方法的預(yù)警效果，證明了方法的可行性。該預(yù)警方法的優(yōu)勢(shì)在于采用駕駛員異常行為等級(jí)和預(yù)警方法分級(jí)控制的模式完成預(yù)警，具有參照性。并且預(yù)警方法是隨駕駛員異常行為的更新而實(shí)時(shí)更新的，具有時(shí)效性。方法利用標(biāo)簽學(xué)，對(duì)已經(jīng)認(rèn)證的駕駛員異常行為進(jìn)行錄入，標(biāo)簽集相關(guān)學(xué)習(xí)方法不僅豐富了預(yù)警語(yǔ)言，還提高了對(duì)駕駛員異常行為分類(lèi)的準(zhǔn)確率，克服傳統(tǒng)標(biāo)簽集語(yǔ)義冗余和相關(guān)性較差的問(wèn)題。相信通過(guò)所提預(yù)警方法的分析，可以減少駕駛員由于異常行為導(dǎo)致發(fā)生交通事故的頻率，為預(yù)警方法提供新思路。可以將所提方法設(shè)計(jì)的核心應(yīng)用到預(yù)警車(chē)輛乘坐人對(duì)駕駛員駕駛狀態(tài)的預(yù)警方法中，保證駕駛員行車(chē)的安全性。