駕駛員行為識(shí)別技術(shù)研究

1 前言

全球研究機(jī)構(gòu)IHSAutomotive預(yù)測(cè)2025年全自動(dòng)駕駛汽車將普及。隨著自動(dòng)駕駛車輛繼續(xù)引入車隊(duì)，自動(dòng)駕駛車輛和傳統(tǒng)駕駛車輛在道路上的共存是不可避免的。在這種過(guò)渡環(huán)境中自動(dòng)駕駛車輛系統(tǒng)的不正確行為可能導(dǎo)致碰撞和/或?qū)ζ渌藛T造成嚴(yán)重威脅。因此，為了實(shí)現(xiàn)自動(dòng)化所期望的安全性的提高，需要深入理解人類駕駛員行為和識(shí)別不同的人類駕駛員特征。

為了實(shí)現(xiàn)自動(dòng)駕駛汽車的商業(yè)化，環(huán)境識(shí)別、位置識(shí)別和繪圖、判斷控制和DVI（駕駛員—車輛交互）等多種技術(shù)是必要。DVI系統(tǒng)可能需要駕駛員的命令、人體狀態(tài)、車輛狀態(tài)以及來(lái)自汽車的各種傳感器網(wǎng)絡(luò)的實(shí)時(shí)駕駛情況。駕駛員—車輛交互系統(tǒng)（如圖1所示）起到與駕駛員交流的作用，并提供安全性和便利性的駕駛信息，主要包括有三個(gè)部分，包括汽車傳感器網(wǎng)絡(luò)、駕駛員車輛交互引擎、數(shù)字駕駛艙配置[1]。駕駛員行為的建模和分析使用從CAN總線和IMU（慣性測(cè)量單元）設(shè)備獲得的車輛動(dòng)力學(xué)來(lái)評(píng)估駕駛性能，并預(yù)測(cè)駕駛員狀態(tài)。UTDrive、UYANIK和NU-Drive等三個(gè)全球項(xiàng)目收集了來(lái)自美國(guó)、日本、土耳其和意大利研究的450人的駕駛員生物識(shí)別信息、駕駛行為信息、車輛動(dòng)力學(xué)和道路信息。這些項(xiàng)目的測(cè)試車配備有CAN（車載區(qū)域網(wǎng)絡(luò)）總線設(shè)備、IMU（慣性測(cè)量單元）、GPS（全球定位系統(tǒng)）、前后攝像頭、駕駛員識(shí)別的油門和制動(dòng)踏板壓力以及駕駛員分心檢測(cè)。

圖1 駕駛員—車輛交互系統(tǒng)結(jié)構(gòu)[1]

駕駛行為是引起交通事故和道路擁堵的關(guān)鍵因素，車聯(lián)網(wǎng)條件下駕駛行為識(shí)別是預(yù)測(cè)和減少道路交通事故的重要方法。駕駛員行為的建模分析可以應(yīng)用智能駕駛的多個(gè)方面，如車道變化預(yù)測(cè)[2]、車載安全系統(tǒng)的開(kāi)發(fā)[3]、碰撞預(yù)警系統(tǒng)的開(kāi)發(fā)[4]和自動(dòng)車輛引導(dǎo)[5]等。

2 駕駛員行為識(shí)別技術(shù)簡(jiǎn)介

作為DVI技術(shù)之一，研究人員在駕駛員行為建模和分析技術(shù)方面已經(jīng)做出了巨大努力。這些技術(shù)中的大多數(shù)從CAN（汽車區(qū)域網(wǎng)絡(luò)）總線數(shù)據(jù)、駕駛員面部視頻信息以及諸如腦電波、心電圖、體溫和心跳等生物信息中提取車輛動(dòng)態(tài)特征，并使用諸如SVM（支持向量機(jī)）的人工智能識(shí)別駕駛員狀態(tài)或情緒或CNN（卷積神經(jīng)網(wǎng)絡(luò)）。所有駕駛員在駕駛時(shí)操作方向盤、加速踏板和制動(dòng)踏板。仔細(xì)研究這三種簡(jiǎn)單的駕駛行為，就可以了解車輛在給定交通或道路狀況下的安全運(yùn)行情況，以及駕駛員對(duì)駕駛的關(guān)注程度。以這種方式，駕駛員行為分析的主要目標(biāo)是從基本駕駛操作信息推斷駕駛員特征或狀態(tài)[1]。

駕駛員行為的建模包括駕駛員識(shí)別、機(jī)動(dòng)邊界檢測(cè)、機(jī)動(dòng)識(shí)別、偏差檢測(cè)和駕駛員狀態(tài)識(shí)別的過(guò)程。為了識(shí)別機(jī)動(dòng)，DVI引擎首先需要通過(guò)前向和后向圖像分析交通狀況，以及用于監(jiān)督學(xué)習(xí)過(guò)程的GPS信息來(lái)標(biāo)記具有標(biāo)簽的各個(gè)駕駛員的訓(xùn)練數(shù)據(jù)集。DVI引擎必須提前了解每個(gè)駕駛員的正常駕駛行為，并通過(guò)與當(dāng)前駕駛信息進(jìn)行比較來(lái)計(jì)算每個(gè)駕駛偏差。根據(jù)當(dāng)前駕駛行為的駕駛表現(xiàn)進(jìn)行打分，并顯示給定任務(wù)的駕駛風(fēng)險(xiǎn)程度[1]。

3 駕駛員行為識(shí)別技術(shù)的研究進(jìn)展

為了確保駕駛員模型的安全性，必須通過(guò)使用車輛中可用的特征來(lái)檢測(cè)車輛系統(tǒng)狀態(tài)和評(píng)估駕駛狀況及駕駛員駕駛意圖。近年來(lái)已經(jīng)開(kāi)展了關(guān)于個(gè)人駕駛特征的研究。精確駕駛員模型的開(kāi)發(fā)和使用可以對(duì)自動(dòng)駕駛車輛的安全性做出重大貢獻(xiàn)，并且可以用于在各種情況下評(píng)估自動(dòng)駕駛車輛的性能。

3.1 車道預(yù)測(cè)

駕駛員輔助系統(tǒng)在車道預(yù)測(cè)方面有了快速的發(fā)展，如車道偏離警告（LDW）和車道保持支持（LKS）等技術(shù)。

3.1.1 車道變化

為了預(yù)測(cè)車輛系統(tǒng)即將進(jìn)行的車道變換操作，早期的科學(xué)工作僅使用車輛控制器局域網(wǎng)（CAN）的數(shù)據(jù)來(lái)處理車道變換操作動(dòng)作的檢測(cè)。轉(zhuǎn)向力、轉(zhuǎn)向角和轉(zhuǎn)向角速度等參數(shù)用于檢測(cè)車道變換操作動(dòng)作的執(zhí)行。目前，可以通過(guò)選擇并比較特征描述車道變換前的駕駛情況，描述駕駛員的操作動(dòng)作準(zhǔn)備并描述車輛的狀態(tài)。評(píng)估是基于通過(guò)駕駛研究獲得的自然駕駛數(shù)據(jù)進(jìn)行的。通過(guò)統(tǒng)計(jì)顯著性和效應(yīng)大小，評(píng)估不同操作動(dòng)作類型和時(shí)間間隔的特征。基于運(yùn)動(dòng)物體評(píng)估駕駛情況的特征給出了即將進(jìn)行操作動(dòng)作的早期指示（圖2）。此外，觀察駕駛員頭部的運(yùn)動(dòng)提供了良好的證據(jù)，使用和融合描述駕駛情況的各種特征以及駕駛員的行為和本車的狀態(tài)，適合于為駕駛員車道變換操作動(dòng)作的穩(wěn)健和早期預(yù)測(cè)提供可靠且時(shí)間精確的證據(jù)[2]。

圖2 駕駛員操作動(dòng)作意圖識(shí)別流程[2]

3.1.2 車道切入

突然的車輛減速，或?qū)е屡c前方行駛的車輛追尾碰撞，或與前方靜止車輛碰撞，這都可能對(duì)駕駛安全造成重大威脅。然而，每天許多人面對(duì)常見(jiàn)的車輛切入，并且是潛在危險(xiǎn)源,根據(jù)俄亥俄州立大學(xué)Kim的研究，在3車道的高速路上有12種切入情景[6]，見(jiàn)圖3。在許多縱向相互作用的情況下，無(wú)論是停車還是車輛減速，駕駛員都可以通過(guò)適當(dāng)?shù)脑缙诟深A(yù)保持適當(dāng)?shù)乃俣取Ｒ虼耍谲嚨狼腥霊?yīng)用方面，可以分析實(shí)際駕駛情況下經(jīng)常遇到的具有潛在事故風(fēng)險(xiǎn)的切入式車輛情景，使用具有預(yù)編程方案的駕駛模擬器，從多類受試者中收集數(shù)據(jù)，保存駕駛員在遇到插入式車輛時(shí)的決策信息，作為車輛自動(dòng)駕駛系統(tǒng)行為的一套指導(dǎo)原則，以確保它們以與人類駕駛的車輛一致的方式進(jìn)行操作駕駛[6]。

圖3 高速路（3車道）上的12種切入情景[6]

3.2 檢測(cè)駕駛員生理指標(biāo)，有助于車載安全系統(tǒng)的開(kāi)發(fā)

駕駛的主要任務(wù)可以通過(guò)性能檢測(cè)來(lái)評(píng)估，例如方向盤運(yùn)動(dòng)（例如，方向盤反轉(zhuǎn)）和速度，而生理測(cè)量可以分為5個(gè)方面：心臟活動(dòng)（例如心率、、血壓）、呼吸活動(dòng)、眼睛活動(dòng)（例如，眨眼率和閉合間隔）、言語(yǔ)測(cè)量（例如音高、發(fā)音速率）和大腦活動(dòng)（例如腦電圖、眼電圖）。當(dāng)施加額外的工作量導(dǎo)致生理指標(biāo)例如心率和皮膚電導(dǎo)的變化時(shí)，自然會(huì)出現(xiàn)生理活動(dòng)。因此，監(jiān)測(cè)生理指標(biāo)可以深入了解工作量的大小，進(jìn)行具有生理傳感器的駕駛模擬器實(shí)驗(yàn)，以量化在特定道路情況下工作負(fù)荷增加對(duì)駕駛性能和生理狀態(tài)的影響，面對(duì)行人的駕駛員心率和面對(duì)信號(hào)燈時(shí)駕駛員反應(yīng)時(shí)間研究見(jiàn)圖4。通過(guò)檢測(cè)駕駛員行為，設(shè)計(jì)和評(píng)估中實(shí)施駕駛員認(rèn)知工作量，有助于有效的車載安全系統(tǒng)的開(kāi)發(fā)。在這方面的新技術(shù)開(kāi)發(fā)中，實(shí)施生理指標(biāo)可以幫助優(yōu)化安全系統(tǒng)的設(shè)計(jì)[3]。

圖4 面對(duì)行人的駕駛員心率（上）和面對(duì)信號(hào)燈時(shí)駕駛員反應(yīng)時(shí)間（下）[3]

3.3 碰撞預(yù)警

基于駕駛員行為的碰撞警告系統(tǒng)（CWS），可以通過(guò)在駕駛期間出現(xiàn)危險(xiǎn)情況時(shí)，警告駕駛員碰撞風(fēng)險(xiǎn)來(lái)提高駕駛員的駕駛安全性。通過(guò)簡(jiǎn)單地向駕駛員提供碰撞風(fēng)險(xiǎn)警告，已經(jīng)實(shí)現(xiàn)了更安全的措施，該技術(shù)允許電子控制單元（ECU）基于其自己的判斷直接控制車輛以避免碰撞。為了考慮個(gè)人駕駛行為特征，可以通過(guò)分析每個(gè)駕駛員的駕駛行為，來(lái)提供碰撞警告的CWS。基于使用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，創(chuàng)建的駕駛員行為模型，根據(jù)駕駛員的駕駛行為，來(lái)確定碰撞風(fēng)險(xiǎn)等級(jí)。使用神經(jīng)網(wǎng)絡(luò)創(chuàng)建的駕駛員駕駛行為的駕駛員行為模型，準(zhǔn)確地反映了駕駛員的駕駛行為,其結(jié)構(gòu)見(jiàn)圖5[4]。

圖5 基于駕駛行為的CWS結(jié)構(gòu)[4]

3.4 自動(dòng)車輛引導(dǎo)

自動(dòng)駕駛車輛（AV）的引入建立了人類駕駛員和AV之間的合作關(guān)系。目前正在進(jìn)行該領(lǐng)域的研究，以深入了解人類駕駛員將相同行為轉(zhuǎn)移到自動(dòng)駕駛車輛引導(dǎo)的決策方式。通過(guò)問(wèn)卷調(diào)查了解個(gè)體道路使用者如何在合作決策中做出決策，并采用自然決策方法進(jìn)行了分析。通過(guò)NDM（Natural Decision Mak?ing）方法和識(shí)別模塊的使用，確定了計(jì)劃行動(dòng)與道路使用者之間預(yù)期行動(dòng)之間的聯(lián)系。使用邏輯回歸模型，能夠預(yù)測(cè)通過(guò)所選行為的駕駛順序，作者提出的識(shí)別引導(dǎo)的決策模型見(jiàn)圖6。此外，可以將各個(gè)通信信號(hào)分類為攻擊性或防御性信號(hào)，從而對(duì)駕駛員的意圖進(jìn)行預(yù)測(cè)，用于推導(dǎo)合作情況下自動(dòng)駕駛車輛引導(dǎo)的設(shè)計(jì)建議[5]。

圖6 識(shí)別引導(dǎo)的決策模型[5]

4 駕駛員行為識(shí)別技術(shù)的共性問(wèn)題

自動(dòng)駕駛技術(shù)的進(jìn)步可以通過(guò)降低車輛事故的發(fā)生率和嚴(yán)重程度來(lái)顯著提高汽車的駕駛安全性。目前市場(chǎng)上有各種類型的車輛自動(dòng)駕駛系統(tǒng)。全球各大學(xué)和主機(jī)廠在該領(lǐng)域正在加大研究投入，其目標(biāo)是開(kāi)發(fā)甚至不需要人類駕駛員輸入的高度自動(dòng)化車輛。近年來(lái)已經(jīng)開(kāi)展了關(guān)于駕駛員行為特征的研究，精確駕駛員模型的開(kāi)發(fā)和使用，可以對(duì)自動(dòng)駕駛車輛的安全性做出重大貢獻(xiàn)，并且可以用于在各種情況下評(píng)估自動(dòng)駕駛車輛的性能。但是該技術(shù)的建模與研究均處于一個(gè)較為理想的理論研究狀態(tài)，還面臨著幾個(gè)重大瓶頸，這些共性問(wèn)題制約著駕駛員行為識(shí)別技術(shù)的快速發(fā)展以及推廣。

4.1 數(shù)據(jù)采集與處理

每個(gè)駕駛員在駕駛車輛時(shí)，都表現(xiàn)出他或她獨(dú)特的反應(yīng)或駕駛習(xí)慣。志愿參加研究的人的駕駛行為與非參與者的駕駛行為不同，則可能會(huì)引發(fā)自我選擇偏見(jiàn)。駕駛員駕駛行為的研究多少采用駕駛模擬器進(jìn)行，這樣可以實(shí)現(xiàn)很多無(wú)法在現(xiàn)實(shí)世界中實(shí)現(xiàn)的情況，而且，由于試驗(yàn)研究與建模的局限性，從駕駛模擬器獲得的數(shù)據(jù)自然是不同于在實(shí)際駕駛情況下收集的數(shù)據(jù)[6]，而駕駛員行為識(shí)別模型必須提前了解每個(gè)駕駛員的正常駕駛行為，并通過(guò)與當(dāng)前駕駛信息進(jìn)行比較，來(lái)計(jì)算每個(gè)駕駛偏差。此外，由于在研究假設(shè)下進(jìn)行了測(cè)試，因此考慮所有現(xiàn)實(shí)情況的數(shù)據(jù)存在限制。未來(lái)將針對(duì)實(shí)際日常數(shù)據(jù)進(jìn)行更為全面的比較研究，如對(duì)駕駛員年齡，駕駛體驗(yàn)等其他因素的研究。

對(duì)于實(shí)際測(cè)量的龐大的測(cè)試數(shù)據(jù)集，需要對(duì)基于機(jī)器學(xué)習(xí)的駕駛員行為進(jìn)行研究，通過(guò)數(shù)據(jù)融合來(lái)描述駕駛情況和駕駛員行為的特征，但是，數(shù)據(jù)融合的結(jié)果很大程度上取決于功能集和使用的參數(shù)化。除了駕駛情況和駕駛員行為的特征，需要額外的傳感器系統(tǒng)和更復(fù)雜的特征。自然駕駛研究提供的數(shù)據(jù)量很好，但有限。

4.2 情景分析

研究人員無(wú)法在真空中評(píng)估自動(dòng)駕駛系統(tǒng)的安全性。自動(dòng)駕駛包括與周圍交通的持續(xù)交互，并非所有類型的場(chǎng)景都能充分代表實(shí)際駕駛場(chǎng)景進(jìn)行結(jié)論性評(píng)估。但是，研究所建立的模型和最后的結(jié)論僅適用于所審查的情景，仍需要檢查這些是否適用于其他方案以及其他情景。特別是，合作情況下的復(fù)雜性特點(diǎn)是自動(dòng)駕駛車輛的一個(gè)重要特征，必須對(duì)各個(gè)復(fù)雜特點(diǎn)作出有效的分析，才能作出動(dòng)態(tài)決策[6]。

目前，范圍域已經(jīng)被提出用于分析車輛情景。因此，在駕駛員行為識(shí)別分析中，可以使用范圍域?qū)⒚總€(gè)駕駛員的行為進(jìn)行分類，并且按照他們的特征進(jìn)行區(qū)分，這將需要研究人員作出更大的努力[6]。

4.3 次要任務(wù)

目前，駕駛員行為分析的研究更多停留在行為特征研究、道路情況研究，而忽略了調(diào)查次要任務(wù)的影響。而與注意力分散相關(guān)的事故，往往是由于司機(jī)自愿參與次要任務(wù)。因此，車內(nèi)任務(wù)的戰(zhàn)略管理和駕駛員與他們接觸的決定，是分析駕駛員行為特征的一個(gè)重要方面。雖然通常在參與風(fēng)險(xiǎn)降低的環(huán)境中評(píng)估分散注意力的任務(wù)的后果，但是駕駛員決定參與次要任務(wù)通常被忽略。這不僅僅是在道路情況本身，而是在情況結(jié)束后，看看駕駛員行為的影響是否會(huì)影響駕駛過(guò)程[3]。

4.4 實(shí)際應(yīng)用

駕駛員行為的建模和分析通常使用從CAN總線和IMU設(shè)備獲得的車輛動(dòng)力學(xué)來(lái)評(píng)估駕駛性能，并預(yù)測(cè)駕駛員狀態(tài)，并未使用實(shí)際測(cè)量的測(cè)試數(shù)據(jù)集對(duì)基于機(jī)器學(xué)習(xí)的駕駛員行為進(jìn)行研究。而且極少調(diào)查對(duì)其他道路使用者的行為和實(shí)際行動(dòng)的期望之間的聯(lián)系。基于駕駛行為分析技術(shù)性能，也僅使用實(shí)際車輛的實(shí)驗(yàn)結(jié)果在實(shí)驗(yàn)室規(guī)模下進(jìn)行評(píng)估。因此，需要進(jìn)行額外的研究來(lái)評(píng)估在實(shí)際車輛中駕駛時(shí)發(fā)生的各種駕駛數(shù)據(jù)的性能[1]。

所以無(wú)論是數(shù)據(jù)的采集和處理、場(chǎng)景的考慮、車輛的駕駛狀態(tài)等，與實(shí)際均有一定差距。因此，駕駛員行為分析模型的實(shí)際應(yīng)用仍有很長(zhǎng)的路要走。

5 結(jié)束語(yǔ)

為迎接2025年全自動(dòng)駕駛汽車的普及，實(shí)現(xiàn)自動(dòng)駕駛汽車的商業(yè)化，環(huán)境識(shí)別、位置識(shí)別、判斷、控制和DVI等多種技術(shù)是必要。作為DVI技術(shù)之一，駕駛員行為建模和分析已經(jīng)做出了巨大努力。本文簡(jiǎn)單介紹了駕駛員行為識(shí)別技術(shù)的研究進(jìn)展以及一些共性問(wèn)題。指出由于技術(shù)尚未獲得本質(zhì)突破，因此數(shù)據(jù)采集與處理、情景分析、次要任務(wù)以及實(shí)際應(yīng)用等方面仍是駕駛員行為識(shí)別技術(shù)的推廣應(yīng)用所面臨的全球共性瓶頸。

由于目前的駕駛員行為識(shí)別技術(shù)更多地停留在研究階段，且研究過(guò)程均較為理想化，因此駕駛員行為識(shí)別技術(shù)的應(yīng)用與實(shí)際推廣仍需要很長(zhǎng)的路要走。