基于車載視覺的駕駛員后視鏡查看行為檢測

黃 波，鐘銘恩,2，吳平東，黃杰鴻，喬允浩

?

基于車載視覺的駕駛員后視鏡查看行為檢測

黃 波1，鐘銘恩1,2，吳平東3，黃杰鴻1，喬允浩1

(1. 廈門理工學院機械與汽車工程學院，福建 廈門 361024；2. 廈門理工學院福建省客車先進設計與制造重點實驗室，福建 廈門 361024；3. 北京理工大學機械與車輛學院，北京 100083)

車輛轉向時駕駛員的后視鏡查看行為是行車安全的必要措施之一，但目前關于該行為的檢測技術應用尚屬空白。為督促駕駛員在車輛轉向時及時查看后視鏡留意車輛側后方的交通情況，基于車載單目視覺與圖像處理技術提出一種自適應檢測方法。首先，設計幀差搜索分割算法自動實現車輛啟動期間的駕駛員臉頸初始區域定位和灰度初值計算，擺脫算法對駕駛員信息的依賴；設計脹縮分割算法快速實現車輛行駛期間的駕駛員臉頸區域定位和灰度均值計算。其次，提取臉頸外輪廓并定義了一種由頸部輪廓基點垂線劃分的左右面積比特征參數，分析表明其受駕駛員頭部姿態顯著影響。最后，結合駕駛過程的眼動凝視數據揭示了該特征參數在駕駛員查看后視鏡過程中的累積概率局部峰值分布規律，并提出一種基準特征值實時估算方法和后視鏡查看行為閾值判定原理。實驗結果表明，該方法適應于不同臉型，具有良好的抗干擾能力，綜合檢測準確率達96.1%。

交通安全；車載視覺；駕駛員；臉頸外輪廓；后視鏡查看行為

隨著我國機動車保有量的迅速增加，混合交通環境日益增多，交通參與者類型趨于多元化，道路交通事故率居高不下。統計表明，25%~30%的交通事故與低警覺駕駛直接相關，其中當車輛拐彎、變道、并線等轉向操控時駕駛員未注意觀察車輛側后方交通情況是引發交通事故的典型原因[1-2]。實時檢測和督促駕駛員在車輛轉向時實施必要的后視鏡查看行為對于減少這類交通事故具有現實意義。

目前，關于后視鏡查看行為的檢測技術或應用都尚屬空白，相關研究主要涉及駕駛員頭部姿態的識別。車載視覺技術由于具有非接觸、不額外干擾駕駛員等特點是其首選檢測方案。傳統研究多基于人臉模型[3-6]或基于紋理、眼鼻局部微結構、臉部三角形等人臉細節特征[7-11]進行頭部姿態估計。由于依賴人臉模型和臉部細節特征，算法適應能力有限且實時性相對較差。為此部分學者轉向利用人臉輪廓進行頭部識別跟蹤[12-13]。由于僅處理輪廓，盡管在細節表達能力方面有所下降，但算法實時性獲得顯著改善。存在的問題是當駕駛員臉型改變(如更換其他駕駛員)或臉部細節變化較多(如眼鏡等佩戴物遮擋)或攝像頭成像角度改變(如調整座椅)時算法的準確度易受干擾。為克服此問題，本文應用車載視覺和圖像處理技術實現駕駛員臉部、頸部連通圖像區域(以下簡稱臉頸區域)的自適應分割和輪廓特征變化規律解析，提出一種駕駛員無關的、具有良好抗干擾能力的后視鏡查看行為檢測方法。

1 檢測方案

為簡化系統且避免對駕駛員造成額外干擾，采用無光源單目視覺技術。攝像頭安裝位置和角度可以任意，但應能夠拍攝到駕駛員臉頸區域。漆黑環境下無法有效采集圖像的問題可以應用紅外成像方案加以解決。為不失一般性的重點研究圖像處理算法和行為檢測方法，本文僅考慮白天情況。基于所采集的視頻圖像，檢測流程如下：

步驟1. 車輛啟動時，利用幀差搜索分割算法自動實現駕駛員臉頸區域分割和皮膚灰度初值計算，為后續圖像處理奠定參數基礎。圖像處理特點在于駕駛員無關特性，即無需預知駕駛員信息，缺點是搜索時間長導致實時性較差。

步驟2. 車輛行駛時，基于上次圖像處理獲得的參數結果，利用臉頸區域脹縮分割算法來快速實現駕駛員臉頸區域分割和皮膚灰度初值計算。圖像處理特點是實時性好。若此時車輛無轉向(本文以轉向燈為觸發信號)，則重復步驟2保持臉頸區域動態跟蹤。否則，繼續步驟3。

步驟3. 提取當前臉頸區域的外輪廓并計算輪廓特征參數。

步驟4. 基于輪廓特征參數的累積分布概率，計算更新駕駛員分別查看車外左、右后視鏡時的臉頸輪廓的基準特征值。目的在于使基準值能自動根據駕駛人員、坐姿、座椅位置、攝像頭位置、拍攝角度等因素而調整。

步驟5. 對比當前圖像中的臉頸輪廓特征參數和基準特征值，判斷駕駛員頭部是否處于觀察車外后視鏡的位姿，并進一步根據該位姿的持續時間判定是否實施了一次有效的后視鏡查看行為。當判定該觀察行為無效時進行提醒預警；反之不預警，而是應用此次后視鏡查看行為過程中的輪廓特征參數序列更新其累積分布概率。

至此一次判斷循環結束，返回步驟2繼續下一循環，直到車輛熄火。

2 算法設計

2.1 臉頸區域幀差搜索分割算法

車輛啟動時，車速近似為零，此時駕駛員身體移動將是所采集圖像序列的主要變化內容，尤其以頭部和上肢的移動最為顯著。可根據具有一定時間間隔的兩幀圖像的差分結果確定運動范圍并檢測出運動目標[14-16]。基于此原理，設計駕駛員臉頸區域幀差分割算法如下：

以上結果表明：幀差搜索分割算法能夠自動實現駕駛員臉頸區域的定位和分割，并計算出臉頸皮膚灰度均值，無需依賴任何預置參數信息。特別的是當駕駛員佩戴墨鏡等遮擋物時仍有較好的識別效果，如圖2所示。算法缺點是相對耗時，不適用于車輛行駛時。

2.2 臉頸區域脹縮分割算法

圖1 初始臉頸區域的幀差搜索分割算法結果

圖2 佩戴墨鏡時的識別結果

圖3 臉頸區域脹縮識別結果

以上結果表明脹縮分割算法具備臉頸區域的動態跟蹤能力。由于算法簡單和圖像處理像素少，實時性很好，可適用于車輛快速行駛過程。

2.3 臉頸輪廓提取

圖4 臉頸區域外輪廓曲線

從圖4可知，臉頸輪廓不一定是光滑或圓滑的閉合曲線，可能因毛發、眼鏡、口罩等影響而呈現不同數目和形狀，因此根據輪廓曲線的面積來定義特征參數相比于尺度、形狀等特性將更 可行。

2.4 輪廓特征參數定義

以查看車輛右后視鏡為例，駕駛員臉頸輪廓典線的典型變化如圖5所示。

圖5 查看右后視鏡時臉頸輪廓的典型變化規律

((a) 為駕駛員查看車輛行駛方向前方；(b) 為向右扭頭；(c) 為進一步向右扭頭；(d) 為觀察右后視鏡狀態；(e) 為保持右后視鏡觀察狀態；(f) 為觀察結束從右往前扭回頭；(g) 為進一步從右往前扭回頭；(h) 為恢復到查看車輛行駛方向前方。)

從圖5可知：

測得在某駕駛員左右后視鏡連續查看過程中隨頭部轉角的典型變化規律如圖6所示。

3 后視鏡查看行為判定

3.1 累積概率局部峰值規律

不同駕駛員或車輛，由于臉型差異和攝像頭安裝位置和拍攝角度不同，基準特征值將不同；即使同一駕駛員駕駛同一車輛，由于座椅坐姿調整、發型變化、佩戴物品等原因都將導致基準特征值改變。顯然不能通過預置先驗參數值來給定基準值。

圖7 駕駛過程眼動凝視點檢測實驗

圖8 l=3時某駕駛視頻的參數的概率分布

3.2 后視鏡查看行為判定原理

分別定義查看左、右后視鏡時的凝視系數為

4 驗證分析

共招募32位駕駛員開展駕駛實驗，臉型覆蓋蛋形、方形、圓形和三角形4類，并部分設置眼鏡(含墨鏡)、帽子等佩戴物以及胡須、披肩發等顯著毛發特征干擾源。要求各駕駛員查看后視鏡時需保持1 s以上時長的后視鏡凝視。實驗車輛為2008年生產的大眾牌5座經典寶來轎車，實驗道路為廈門市集美新城市民廣場主路多路口段。為進一步增加背景干擾源，開啟車窗并在后排座椅隨機安排人員乘坐。實驗時副駕駛座乘員協助標記每次車輛轉向操控的視頻起止時間。視頻幀率為25幀/秒，分辨率為640×480像素。針對每位駕駛員各截取50次車輛轉向時的視頻片段，共獲得1 600個樣本。據此可人為統計出各駕駛員在車輛轉向時未查看后視鏡的不良駕駛行為的次數。

表1結果表明：

(1) 車輛轉向時駕駛員未查看后視鏡的不良駕駛行為的綜合檢測準確率為96.1%，這表明本文所提出的檢測方法具有良好的準確率。

(2) 針對蛋形、方形、圓形和三角形這四類常見臉型的綜合檢測準確率分別為95.2%、97.8%、95.4%和95.1%，說明檢測方法具有駕駛員臉型無關特性，即具有良好的普適能力。

(3) 當駕駛員佩戴眼鏡、帽子或者留有胡須時，檢測準確率基本不受影響，說明本文檢測方法具有良好的抗干擾能力。

(4) 但是當駕駛員具備披肩長發特征時，檢測準確率大幅下降至81%左右。其原因在于駕駛過程中披肩發對臉頸皮膚的遮擋情況可能發生持續隨機變化，導致輪廓特征參數偏離累積概率分布規律。任何可在駕駛過程中持續隨機遮擋駕駛員臉頸皮膚的因素都將降低檢測準確率，這也是本文所提檢測方法有待改進的環節。

此外，實驗中發現：①當駕駛員未扭頭而是通過轉動眼球斜視或余光查看后視鏡時，檢測準確率將下降至5.2%左右，對于這類情況本文檢測方法將失效；②車輛轉向期間，如果非駕駛座乘員有皮膚長時間保持貼近駕駛員臉頸部，綜合檢測準確率將臨時下降至86.2%，但短時間貼近時對檢測準確率基本無影響。

5 結 論

[1] World Health Organization. Global status report on road safety: Supporting a decade of action [M]. Geneva: WHO Press, 2013.

[2] 公安部交通管理局. 中華人民共和國道路交通事故統計年報(2013年度) [M]. 北京: 人民交通出版社, 2014.

[3] CHUTORIAN M E, TRRIVEDI M M. Head pose estimation and augmented reality tracking: an integrated system and evaluation for monitoring driver awareness [J].IEEE Transactions on Intelligent Transportation Systems, 2010, 11(2): 300-311.

[4] 張波, 王文軍, 成波. 基于人臉3D模型的駕駛人頭部姿態檢測[J]. 汽車工程, 2016, 38(1): 53-71.

[5] 邱麗梅, 吳龍, 晉芳偉, 等. 基于稀疏模型的人臉姿態估計[J]. 圖學學報, 2013, 34(04): 94-97.

[6] 趙剛強, 陳嶺, 陳根才. 基于注冊和多尺度表觀模型的三維頭部跟蹤[J]. 浙江大學學報: 工學版, 2009, 43(9): 1597-1603.

[7] 陳振學, 常發亮, 劉春生, 等. 基于Adaboost算法和人臉特征三角形的姿態參數估計[J]. 武漢大學學報: 信息科學版, 2011, 36(10): 1164-1167.

[8] TAWARI A, MARTIN S, TRIVEDI M M. Continuous head movement estimator for driver assistance: Issues, algorithms, and on-road evaluations [J]. IEEE Transactions on Intelligent Transportation Systems, 2014, 15(15): 818-830.

[9] 付先平, 王亞飛, 袁國良, 等. 基于粒子濾波的駕駛員視線自動校準算法[J]. 計算機學報, 2015, 38(12): 2390-2399.

[10] 蔣建國, 胡珍珍, 詹曙. 基于深度數據的空間人臉旋轉角度估計[J]. 圖學學報, 2012, 33(04): 71-75.

[11] DOMAIKA F, DAVOINE F. On appearance based face and facial action tracking [J]. IEEE Transactions on Circuits & Systems for Video Technology, 2006, 16(9): 1107-1124.

[12] 周志宇, 楊衛成, 汪亞明, 等. 應用梯度矢量流Snake和灰預測的人臉輪廓跟蹤[J]. 光學精密工程, 2011, 19(11): 2744-2752.

[13] 李月龍, 靳彥, 汪劍鳴, 等. 人臉特征點提取方法綜述[J]. 計算機學報, 2016, 39(7): 1356-1374.

[14] 羅海波, 許凌云, 惠斌, 等. 基于深度學習的目標跟蹤方法研究現狀與展望[J]. 紅外與激光工程, 2017, 46(5): 6-12.

[15] 李洪安, 杜卓明, 李占利, 等. 基于灰度與紋理特征的空中目標識別與跟蹤[J]. 圖學學報, 2016, 37(02): 224-229.

[16] 王靜靜, 林明秀, 魏穎. 基于灰度相關的幀間差分和背景差分相融合的實時目標檢測[J]. 中南大學學報: 自然科學版, 2009, 40(s1): 142-148.

Apply Vehicle Vision to Detect Driver’s Rearview Mirror Watching Behaviors

HUANG Bo1, ZHONG Mingen1,2, WU Pingdong3, HUANG Jiehong1, QIAO Yunhao1

(1. School of Mechanical and Automotive Engineering, Xiamen University of Technology, Xiamen Fujian 361024, China;2. Fujian Provincial Key Laboratory of Bus Advanced Design and Manufacture, Xiamen University of Technology, Xiamen Fujian 361024, China;3. School of Mechanical and Vehicular Engineering, Beijing Institute of Technology, Beijing 100083, China)

The driver’s rearview mirror watching behavior is one of the necessary steps for driving safety when the vehicle is turning, however, the detection technology or application of this behavior is still absent. Thus an adaptive detection method of the drivers’ rearview mirror watching behaviors during the vehicle steering process was presented in this paper with the help of vehicle vision and image process technology for safety monitoring and reminding. A frame spatial gradient differences searching algorithm was designed to complete the initial parameters’ learning work on both the drivers’ face and neck regions when the vehicle engine was fired, while a expand-contract searching algorithm was invented to accomplish a fast recognition when the vehicle was moving. Contours of the driver's face and neck parts were extracted without segmentation. An area ration between left and right parts of the contours separated by a vertical line passing through the base point of neck contour was defined as a characteristic parameter. By analyzing the drivers’ eye movement data during driving, a discipline called local peak value distributing of the parameter’s cumulative probability was uncovered, which helped to build a real time eigenvalue reference estimation method and a threshold judging principle of the drivers’ rearview mirror watching behaviors. Experimental results showed that this method was not sensitive to the types and details of drivers' faces, and was robust to some disturbance, and the overall detection accuracy rate was 96.1%.

traffic safety; vehicle vision; driver; outer contour of face and neck; rearview mirror watching behavior

U 491.6

10.11996/JG.j.2095-302X.2018030477

A

2095-302X(2018)03-0477-08

2017-09-14；

2017-10-16

國家自然科學基金項目(61401382，61104225)；福建省自然科學基金項目(2015J01672)

黃 波(1991–)，男，福建莆田人，工程師，碩士。主要研究方向為機器視覺與圖像處理技術研究。E-mail：1595338432@qq.com

鐘銘恩(1980–)，男，福建廈門人，副教授，博士。主要研究方向為駕駛安全與輔助技術研究。E-mail：zhongmingen@xmut.edu.cn