鄧 亮,陳萬(wàn)剛,劉 健,王金磊
(常州星宇車燈股份有限公司,江蘇 常州 213002)
當(dāng)前很多汽車的內(nèi)飾越來(lái)越簡(jiǎn)化,一定程度地影響了信息傳遞的有效性和安全性。例如特斯拉已經(jīng)將儀表盤取消,儀表信息全部通過(guò)車機(jī)界面來(lái)顯示。從駕駛安全角度考慮,頻繁觀察車機(jī)界面存在駕駛安全隱患。傳統(tǒng)氛圍燈僅有渲染氣氛這一功能。車內(nèi)氛圍燈信息顯示是汽車交互一個(gè)新的研究方向。設(shè)計(jì)人員利用燈光傳達(dá)汽車即將進(jìn)行的操作或意圖,來(lái)幫助駕駛員理解車輛的狀態(tài)。已有研究人員發(fā)現(xiàn),利用車內(nèi)氛圍燈顯示駕駛過(guò)程相關(guān)的安全信息,從而輔助駕駛?cè)藛T[1]。van Dijck等[2]提出了“視覺(jué)感知”,用觸覺(jué)、聽(tīng)覺(jué)和燈光提示提醒駕駛員可能發(fā)生橫向碰撞。Pfromm等[3]使用燈光顯示界面來(lái)驗(yàn)證燈光的效果,發(fā)現(xiàn)燈光顯示界面可以將駕駛員的視線引導(dǎo)到關(guān)鍵物體上。L?cken等[4]使用燈光連續(xù)顯示快車道上接近車輛的距離。Dziennus等[5]研究認(rèn)為,應(yīng)當(dāng)在高速公路上使用燈光顯示界面進(jìn)行駕駛對(duì)駕駛安全更有利。上述研究表明,氛圍燈組成的燈光界面有明顯的提示效果,可以在車道變更決策輔助系統(tǒng)、車輛偏離警告系統(tǒng)、前向碰撞警告系統(tǒng)及倒車輔助系統(tǒng)等汽車功能上發(fā)揮作用,車內(nèi)氛圍燈光的提示功能在車內(nèi)還有更多的研究方向等待發(fā)掘。
車內(nèi)氛圍燈是柔性高亮度散光光導(dǎo)纖維LED氛圍燈的簡(jiǎn)稱。氛圍燈作為一種新的汽車裝飾照明燈具,一般是RGB氛圍燈,常用于裝飾車內(nèi)空間,滿足車主的個(gè)性需求。根據(jù)汽車廠商要求,為了不影響人員正常駕駛,氛圍燈的亮度通常限定為2~10 cd/m2。車內(nèi)氛圍燈主要安裝于儀表盤、車門扶手、踩腳線等位置,基礎(chǔ)功能有照明、亮度調(diào)節(jié)和燈色變化。
拓展氛圍燈應(yīng)用范圍是當(dāng)前的研究趨勢(shì),有相關(guān)研究人員進(jìn)行了語(yǔ)音控制氛圍燈的研究,讓燈光隨著聲音變化,給出了可實(shí)現(xiàn)的軟硬件設(shè)計(jì)[6]和交互方式設(shè)計(jì)[7]。氛圍燈還可以用于信息顯示,對(duì)于車內(nèi)復(fù)雜的信息界面,氛圍燈是一個(gè)很好的解決方案,可以顯示車載信息娛樂(lè)系統(tǒng)界面之外的信息來(lái)擴(kuò)展車內(nèi)環(huán)境中的信息空間。由于氛圍燈亮度可調(diào)節(jié),在不需要時(shí)處于休眠的低亮度狀態(tài),啟動(dòng)時(shí)可呈現(xiàn)突出的高亮度,既可以幫助傳達(dá)重要的信息(比如倒車距離提醒),又不會(huì)因?yàn)殚L(zhǎng)時(shí)間高亮眩光給駕駛員增加干擾。在一個(gè)不斷收到信息干擾的車內(nèi)環(huán)境中,氛圍燈燈光提示功能可以幫助駕駛員專注于他們的主要任務(wù)。
一直以來(lái),疲勞分心駕駛都是引發(fā)事故的重要原因之一,是人員駕駛過(guò)程中需要時(shí)常提示和注意的重要情況?,F(xiàn)有的疲勞檢測(cè)系統(tǒng)的提示信息主要顯示在儀表盤界面,伴隨有警報(bào)提示聲,但鮮有燈光提示信息的研究。
本文基于駕駛員處于疲勞分心狀態(tài)的場(chǎng)景,通過(guò)燈光來(lái)提示人員,從而驗(yàn)證氛圍燈燈光的提示功能。首先根據(jù)用戶調(diào)查確定了車內(nèi)氛圍燈的燈光位置;然后提出一種駕駛員疲勞檢測(cè)及行為檢測(cè)的識(shí)別方法;利用氛圍燈燈光發(fā)出提示信息,設(shè)計(jì)了氛圍燈的提示燈效;最后開(kāi)展利用氛圍燈提示功能提示人員的實(shí)驗(yàn),驗(yàn)證了用氛圍燈提供信息提示功能的可行性。
車內(nèi)駕駛員行為檢測(cè)方式按是否涉及生理信息分為兩種:一種是監(jiān)測(cè)駕駛員的生理信息,通過(guò)人的呼吸頻率、心率或者腦電數(shù)據(jù)等判斷駕駛員是否處于疲勞狀態(tài)[8];另一種是基于視覺(jué)圖像的識(shí)別方法,依靠RGB攝像頭獲得的圖像數(shù)據(jù)進(jìn)行識(shí)別,與駕駛員無(wú)直接接觸,是當(dāng)下車內(nèi)行為檢測(cè)的重點(diǎn)研究方向。由于圖像識(shí)別檢測(cè)范圍大、適用場(chǎng)景廣泛等優(yōu)勢(shì),下文選擇基于圖像的行為檢測(cè)方法。
駕駛員行為檢測(cè)是對(duì)駕駛員的特定行為進(jìn)行檢測(cè)或分類。駕駛員行為檢測(cè)的特殊點(diǎn)在于需要根據(jù)特定行為的動(dòng)作幅度、時(shí)長(zhǎng)以及頻率來(lái)進(jìn)行判斷,否則無(wú)法做到有效識(shí)別。駕駛員行為檢測(cè)的圖像識(shí)別一般流程如圖1所示。
圖1 駕駛員行為檢測(cè)的識(shí)別流程Fig.1 Identification process of driver behavior detection
行為檢測(cè)是對(duì)駕駛員的操作行為進(jìn)行識(shí)別,需要事先定義正常駕駛狀態(tài)與非正常駕駛狀態(tài)。根據(jù)實(shí)際乘車觀察,記錄了駕駛員的車內(nèi)行為,視頻記錄截圖如圖2所示。根據(jù)人員駕駛行為和危險(xiǎn)嚴(yán)重程度,將非正常駕駛狀態(tài)定義為兩種:分心和疲勞。通常,駕駛員在駕駛過(guò)程中看手機(jī)、喝水、抽煙等行為會(huì)導(dǎo)致不同程度的分心,故將以上三種駕駛行為定義為分心。疲勞狀態(tài)則是利用PERCLOS算法來(lái)判斷。Green[9]研究表明,PERCLOS算法常用于檢測(cè)人員的疲勞狀態(tài),有很高的準(zhǔn)確率。另外,定義駕駛員雙手放于方向盤的動(dòng)作為正常駕駛行為。
圖2 駕駛員行為檢測(cè)結(jié)果Fig.2 Driver behavior detection results
利用當(dāng)前主流的YOLOv5目標(biāo)檢測(cè)模型,通過(guò)采集駕駛員行為動(dòng)作圖像制作數(shù)據(jù)集進(jìn)行模型訓(xùn)練,訓(xùn)練后利用記錄視頻作為樣本進(jìn)行行為檢測(cè),結(jié)果如圖2所示,綠框處是人臉和人員行為。
由于駕駛員在車內(nèi)的動(dòng)作是動(dòng)態(tài)的,很難僅憑一個(gè)動(dòng)作就判斷出人員是處于疲勞分心還是正常狀態(tài),在目標(biāo)檢測(cè)中加入人臉檢測(cè)可以較好地對(duì)人員狀態(tài)進(jìn)行分類。眼睛閉合與嘴巴張合的頻率和持續(xù)時(shí)間在某種程度上可以反映人員疲勞的程度,閉眼、打哈欠、瞌睡等都是疲勞的明顯標(biāo)志[10]。PERCLOS的原理是利用單位時(shí)間內(nèi)眼睛閉合時(shí)間與眼睛張開(kāi)時(shí)間兩者之間的比例來(lái)進(jìn)行疲勞的判斷。PERCLOS方法有三種判斷疲勞的標(biāo)準(zhǔn),分別是EM準(zhǔn)則、P70準(zhǔn)則、P80準(zhǔn)則。
鞏曉倩等[11]研究認(rèn)為,在上述三種標(biāo)準(zhǔn)當(dāng)中,P80準(zhǔn)則的檢驗(yàn)準(zhǔn)確率最高。故選用P80準(zhǔn)則作為疲勞判斷標(biāo)準(zhǔn),PERCLOS的計(jì)算式為:
人臉檢測(cè)首先是檢測(cè)面部狀態(tài),以15幀畫面(時(shí)長(zhǎng)600 ms)作為一個(gè)循環(huán),利用人臉關(guān)鍵點(diǎn)中的眼睛坐標(biāo)和嘴巴坐標(biāo)定義了兩種面部狀態(tài),分別是閉眼和打哈欠[12]。定義了閉眼閾值和打哈欠閾值,超過(guò)閾值且時(shí)長(zhǎng)大于1 s,則認(rèn)為人員處于分心或疲勞狀態(tài),分類見(jiàn)表1。當(dāng)連續(xù)檢測(cè)到駕駛員的PERCLOS>30%且平均閉眼時(shí)間>250 ms,可判定駕駛員已疲勞[10],疲勞與分心狀態(tài)定義見(jiàn)表2。
表1 面部動(dòng)作分類Table 1 Facial movement classification
為方便實(shí)驗(yàn)結(jié)果呈現(xiàn),使用界面顯示人員疲勞檢測(cè)的結(jié)果,界面詳情如圖3所示。界面上顯示統(tǒng)計(jì)的眨眼次數(shù)和打哈欠次數(shù),同時(shí)顯示人員行為。在空白框內(nèi)顯示PERCLOS得分,在人員出現(xiàn)非正常狀態(tài)時(shí)在界面顯示提示信息。
圖3 識(shí)別結(jié)果Fig.3 Identify the results
車內(nèi)氛圍燈的位置(框選處)通過(guò)用戶調(diào)研的方式確定。如圖4所示,給出了6個(gè)燈光位置選擇方案,分別是兩側(cè)車門處、兩側(cè)后視鏡處、方向盤處、中控界面處、前擋風(fēng)玻璃處以及儀表盤處,都處于駕駛員的視線內(nèi)。
圖4 車內(nèi)氛圍燈位置選擇方案Fig.4 Lighting position selection scheme in the car
具有提示功能的氛圍燈與單純裝飾性氛圍燈的關(guān)鍵差異在于信息呈現(xiàn)的突出性和有效性。首先,燈光應(yīng)出現(xiàn)在車內(nèi)人員良好的視線角度范圍,能夠讓人在較短的時(shí)間內(nèi)感知到燈光信息。其次,燈光的區(qū)域要足夠大,便于人員能順利識(shí)別光源位置和設(shè)置差異明顯的燈光跳轉(zhuǎn)效果。最后,燈光的亮度要合理,應(yīng)讓人員既可以感到舒適,也能突出顯示。
通過(guò)發(fā)放調(diào)查問(wèn)卷來(lái)詢問(wèn)普通用戶理想的燈光信號(hào)安裝位置,共有30人參加了本次問(wèn)卷調(diào)查。根據(jù)結(jié)果顯示,約有32%的人員選擇前擋風(fēng)玻璃處作為氛圍燈燈光的位置,選擇方向盤處約有21%,兩處相加的比例超過(guò)了總?cè)藬?shù)的一半。L?cken等[13]研究發(fā)現(xiàn),用戶偏好在前排座椅和后排座椅處都能看到燈光顯示,駕駛員眼睛周圍的氛圍燈可以提高人員的舒適性[14],故本次研究的車內(nèi)燈光位置為圖5中的前儀表盤處。
圖5 確定的燈光位置Fig.5 Select lamp belt position
(1)氛圍燈的原理。氛圍燈燈珠選擇三色LED燈珠,通過(guò)CAN通信發(fā)送信號(hào),燈珠放在塑料件內(nèi),燈光透過(guò)半透明乳白色燈罩散射出,使光線更加柔和,為避免駕駛員眩光,氛圍燈亮度區(qū)間選取2~15 cd/m2。渲染氛圍時(shí),燈光亮度保持2~8 cd/m2;使用燈光提示功能時(shí),燈光亮度可升高至9~15 cd/m2。
(2)燈光設(shè)計(jì)。燈光顏色選擇了黃色、橙色以及深紅色用于表示人員的非正常狀態(tài),此三種顏色是常見(jiàn)的提示警報(bào)色,詳細(xì)的燈光信息見(jiàn)表3。
表3 非正常駕駛狀態(tài)的燈效Table 3 Light jump effect in abnormal driving condition
由表3可知,當(dāng)行為檢測(cè)系統(tǒng)檢測(cè)到駕駛員的非正常駕駛狀態(tài)時(shí),將識(shí)別結(jié)果轉(zhuǎn)換成數(shù)字信號(hào)發(fā)送給氛圍燈,氛圍燈在燈光效果上作出變化。氛圍燈模式下,亮度處于2~8 cd/m2;提醒模式下,黃光從2 cd/m2上升至8 cd/m2;警告模式下,橙光從低亮度上升至8 cd/m2及以上;報(bào)警模式下,亮度從低亮度上升到最高亮度,紅色燈光快速閃爍??焖匍W爍是給整條燈帶的燈珠通電400 ms,再斷電150 ms,然后再次通電形成循環(huán)實(shí)現(xiàn)。
為了驗(yàn)證燈光信息提示功能的有效性,設(shè)計(jì)了燈光提示實(shí)驗(yàn)。測(cè)試地點(diǎn)在一間光學(xué)實(shí)驗(yàn)室,搭建了與汽車駕駛室相似的駕駛室前控制臺(tái),實(shí)驗(yàn)人員在控制臺(tái)前進(jìn)行模擬實(shí)驗(yàn),如圖6所示。共有10名被試參與了本次模擬實(shí)驗(yàn),分別為被試者A、B、C、D、E、F、G、H、I、J,其中男性6名、女性4名,年齡在22~48歲之間。考慮到模擬試驗(yàn)人員很難有真實(shí)的疲勞感,故在試驗(yàn)中人為規(guī)定閉眼動(dòng)作模擬疲勞時(shí)的人眼狀態(tài)。實(shí)驗(yàn)過(guò)程中,被試者需平視前方,模擬開(kāi)車時(shí)的視線位置。按要求作出假定的分心動(dòng)作如喝水、打哈欠、看手機(jī)及閉眼等。在實(shí)驗(yàn)過(guò)程中,風(fēng)擋處的燈光會(huì)傳遞燈光提示信息,實(shí)驗(yàn)人員需要觀察光源情況并按下特定按鍵,紅色燈光對(duì)應(yīng)紅色按鍵,黃色燈光對(duì)應(yīng)黃色按鍵,白色燈光對(duì)應(yīng)白色按鍵。
圖6 燈光實(shí)驗(yàn)臺(tái)Fig.6 Light interactive test bench
氛圍燈燈條經(jīng)調(diào)試無(wú)故障,攝像頭位于風(fēng)擋位置,水平方向視角約100°,垂直方向視角約70°,被試者站在實(shí)驗(yàn)臺(tái)前指定位置,按照事先編好的字母順序依次進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)分為三個(gè)階段:第一階段,A平視前方,氛圍燈作裝飾性器件,燈光亮度固定為5 cd/m2,此時(shí)燈光的亮度對(duì)人眼刺激較少,模擬正常行車;第二階段,A做出喝水、抽煙、打電話等行為,燈光提示功能啟動(dòng),此時(shí)燈光刺激較為明顯,被試者受到燈光提示后按下特定的按鈕;第三階段,A做出打哈欠、閉眼行為,燈光提示功能啟動(dòng),此時(shí)燈光刺激更加明顯,被試者聽(tīng)到提示音且受到燈光刺激后,按下對(duì)應(yīng)狀態(tài)的按鈕。被試者在實(shí)驗(yàn)完成后進(jìn)行滿意度評(píng)分,獲取用戶的主觀滿意度。其余9人按照上述三個(gè)階段輪流進(jìn)行實(shí)驗(yàn)。測(cè)試結(jié)果如表4所示。
表4 行為檢測(cè)算法測(cè)試結(jié)果Table 4 Fatigue distraction monitoring performance detection results
從表4可知,行為檢測(cè)算法通過(guò)性能測(cè)試,能對(duì)駕駛員的各種行為作出有效區(qū)分,可以認(rèn)定燈光傳遞的提示信號(hào)是準(zhǔn)確的。被試者收到準(zhǔn)確的提示信息后,需要點(diǎn)擊不同的按鍵來(lái)記錄人員對(duì)燈光信號(hào)的識(shí)別率,根據(jù)識(shí)別率來(lái)判斷燈光信號(hào)對(duì)人員的影響。喝水、抽煙、看手機(jī)被歸類為分心狀態(tài),燈光顏色為黃色;打哈欠被歸類為多次分心狀態(tài),燈光顏色為橙色;閉眼被歸類為疲勞狀態(tài),燈光顏色為紅色。被試者A的實(shí)驗(yàn)結(jié)果見(jiàn)表5。其余9名被試者按照流程依次實(shí)驗(yàn),全部人員實(shí)驗(yàn)結(jié)果分布如圖7所示。
表5 被試者A對(duì)燈光提示的反應(yīng)
圖7 實(shí)驗(yàn)結(jié)果分布圖Fig.7 Distribution of experimental results
實(shí)驗(yàn)結(jié)束后,被試者需要填寫一份李克特5級(jí)量表,描述自己對(duì)氛圍燈提示功能的滿意程度。按照等級(jí)分為5級(jí),分別是非常不滿意、不太滿意、一般、比較滿意、非常滿意,見(jiàn)表6。利用計(jì)分表記錄各個(gè)指標(biāo)得分,非常不滿意賦1分,不太滿意賦2分,一般賦3分,比較滿意賦4分,非常滿意賦5分。
表6 李克特5級(jí)量表Table 6 Likert scale 5
被試者評(píng)價(jià)完成后進(jìn)行評(píng)分匯總,結(jié)果如圖8所示,氛圍燈提示功能的平均得分為3.6,處于良好水平。
圖8 滿意度評(píng)價(jià)匯總表Fig.8 Summary table of satisfaction evaluation
車內(nèi)氛圍燈擁有拓展使用范圍的潛力,特別是用于信息提示。本文設(shè)計(jì)、實(shí)現(xiàn)并測(cè)試了燈光信息提示功能,通過(guò)檢測(cè)人員疲勞分心狀態(tài),將提示信息通過(guò)燈光傳遞出,獲得實(shí)驗(yàn)人員的良好評(píng)價(jià)。經(jīng)實(shí)驗(yàn)表明,汽車內(nèi)部風(fēng)擋區(qū)域,適當(dāng)亮度和動(dòng)態(tài)變化的氛圍燈燈光具有傳遞提示信息的作用。在與車內(nèi)傳感器結(jié)合的情況下,可以不借助顯示屏將提示信息傳遞給用戶,相較于大多數(shù)信息由車機(jī)界面?zhèn)鬟f的方式,使用氛圍燈燈光顯示提示信息,可以實(shí)現(xiàn)燈光輔助下新的車內(nèi)交互方式,使人員感知信息更加直觀,減輕了人員的注意力負(fù)荷。
車內(nèi)氛圍燈的不足之處主要有:1)文中氛圍燈只安裝在前擋風(fēng)玻璃位置,在車內(nèi)其他位置氛圍燈燈光能否起到提示作用尚不清楚;2)目前實(shí)驗(yàn)臺(tái)上燈帶的形狀為長(zhǎng)條形,數(shù)量為1根,燈帶形狀和數(shù)量可能影響信息傳遞的效果;3)實(shí)驗(yàn)在室內(nèi)有照明情況下完成,夜晚和白天實(shí)際場(chǎng)景下的亮度差異可能會(huì)對(duì)燈光信息傳遞造成影響。