融合面部表情與駕駛行為的路怒癥識別方法研究

黃 好，賴建文，梁麗邊，蘇玉淋

（柳州五菱新能源汽車有限公司，廣西 柳州 545007）

0 引言

路怒癥是汽車或其他機動車的駕駛司機有攻擊性或發怒的行為，路怒癥的現象在世界各國十分普遍，已受到世界各國心理學家、交通安全學家、醫學家等多學科專家學者的普遍關注與研究[1]。近年來國內外研究都表明，超過33%的駕駛員都患有路怒癥或有過“路怒”現象，且近年來呈上升趨勢，且根據美國國家道路交通安全管制部門的預測，大概有2/3的死亡事故都直接或者間接地與路怒駕車有關[2]。因此，準確檢測出駕駛員的路怒癥情緒，及時進行必要的干涉和調整，減少或避免因路怒癥導致的交通安全問題顯得尤為重要。

針對行路怒癥問題的在線檢測技術，許多學者進行了大量的研究工作[3]。賈云帆等[4]采用問卷調查方式研究了進攻性駕車行為及路怒情緒的關聯性，發現男性駕駛品格因素中的路怒型及焦躁型分數明顯高于女性。雷虎等[5]探究了駕駛員路怒癥的駕駛行為特征，設計了駕駛司機怒氣表達量表，發現路怒情緒與跟車和頻繁變道等行為有關。萬平等[6]運用線性方法擬合由方向盤轉角與車輛橫向位置組成的駕駛行為多元時間序列，建立基于支持向量機的憤怒駕駛狀態檢測模型。Wang等[7]通過建立無車道路、高速公路、都市道路等3種不同情況下道路環境，在迥異道路環境下對汽車司機的生理信號，例如心電、肌電和呼吸等進行衡量和解析，完成了檢測汽車司機相應壓力的程度。以上研究雖然可以識別出駕駛的憤怒情緒，但是僅依靠駕駛員的生理特征或駕駛行為識別駕駛員的狀態，識別精度有待進一步提高。因此，為了提高路怒癥檢測計算的準確性，需要融合駕駛員的面部表情與駕駛行為，將檢測算法轉換為多模態、多信息融合的駕駛員在線檢測。

利用車載裝置收集到的駕駛員人臉圖像和駕駛行為數據信息，通過更換權重改進AdaBoost人臉檢測算法，進而區分駕駛員的面部表情信息；并通過轉向盤角度變化率、加速及制動踏板變化率獲取駕駛行為信息，依據支持向量機算法來實現駕駛行為非線性分類；綜合考慮面部表情和駕駛行為的影響，構建了融合面部表情和駕駛行為的Fisher線性判別模型，得到了一種優化后融合多信息的路怒癥識別方法，最后通過實例進行驗證。

1 改進AdaBoost算法的人臉檢測模型

Adaboost是Freund等[8]提出的一種自適應的算法，Adaboost算法整合強分類器的規則不是事先確定好的，而是由構成的若干弱分類器的性能決定，與其他算法相比，Adaboost需要迭代的次數更少。但AdaBoost算法在人臉檢測過程中會出現退化及樣本權重扭曲的問題[9]，采取更新權重并建立限制要求，為每次更新AdaBoost算法建立特定閾值，閾值為某一次訓練樣品權值的平均數，即：

式中，N為樣品總數，Km為第m次迭代時建立的閾值，Km，i表示算法的權值。

在Baidu AI官網的介紹頁面顯示，人類面部輪廓及五官的臉頰、眉、眼、鼻、口等有150個關鍵點之多，利用這些關鍵點Baidu人臉檢測就可以精確鎖定并高精度判定多類特征信息。生氣、憎惡、害怕、愉悅、悲傷、詫異、嘟嘴、搞怪、面無表情這9類情緒是目前Baidu AI平臺能判定出來的。依據Baidu AI平臺給定的人臉檢測訓練集（x1，y1）…（xN，yN）中，xi為輸入的訓練樣本，yi為分類的類別標志。則訓練集中的錯誤率為

式中，cm為人臉檢測錯誤率，可用訓練集錯劃分樣品的權重總和來表示。

為了節約開發成本，可將人臉識別系統內置于車載系統中，主要通過攝像頭設備放置于駕駛員前方的儀表盤。但是在駕駛過程中，司機的頭部不是一個固定的姿勢，會和攝像頭存在一個夾角，所以攝像頭拍取的人臉圖像不會百分百是正臉，也會有側臉。需要根據AdaBoost算法進行處理，對算法的權值進行迭代運算：

式中，β為加權因子。

從式（3）可以看出，若迭代操作生成的加權因子低于當前迭代的閾值，則增加下一次迭代的加權，反之則維持固定權值。通過改進AdaBoost算法，能夠有效防止樣本量連續增加而導致人臉檢測算法性能下降的現象。

2 駕駛行為識別算法

依據模擬駕駛的方法，依靠駕駛培訓模擬器收集駕駛行為數據，駕駛培訓模擬器科學收集轉向盤角度變化、加速以及制動踏板等部件的數據訊息，以此來反映駕駛員的駕駛行為。依據駕駛員操控車輛的穩定性來判定駕駛行為，選取轉向盤角度變化率、加速及制動踏板變化率兩個特征參數，獲取駕駛行為樣本探究向量{轉向盤角度變化率，加速及制動踏板變化率，駕駛行為標志}。并將收集到的駕駛行為數據實施求導，以便于求出其數據的變化率。

向量機支持算法能夠處理線性劃分相關的問題，該方法使用特定的核函數把起初樣品區域的向量數據投影至別的樣品特征向量區域內，依據采用向量機支持算法研究駕駛行為特性。假定樣本為（xi，yi），i=1，…，n，y∈{-1，1}，建立且尋求約束最優化問題：

利用向量機支持算法求解出分類的超平面線，通過改變參數提高駕駛行為分類的間隔，可以實現樣品中駕駛安全行為和危險行為的精確劃分。將劃分平面的法向量定義為w*，且

其中向量支持定義為S.vec，而向量支持相對的系數就是S.cof；b*是常數項。向量機支持算法練習集會根據不同交通環境，需要根據安全駕駛數據及危險駕駛數據來訓練習駕駛行為判別方案，其中在都市判定函數中，可取b*=0.748；在高速判定函數中，可取b*=0.584。

設定各個時段片中轉向盤角度變化率作為一個特征，加速與制動踏板的變化率設定為另一個特征。然后設定各個時段片向量均有專屬的標志，安全駕駛則用1標志，危險駕駛則用-1來標志。通過支持向量機算法來實現駕駛行為非線性分類，并利用最優分類平面來劃分駛安全行為和危險行為，提高了駕駛行為識別的準確性。

3 融合表情與駕駛行為的路怒癥識別方法

目前人們已經越來越不滿足于單一生物信息，例如面部、語音等各種生理信息的判定研究結果，多信息結合的判定識別便開始受到越來越多研究人員的重視，結合多信息可以更深入提升判定的準確率[10]。本研究綜合考慮面部表情與駕駛行為的影響，采取融合多信息的Fisher線性判別模型對路怒癥進行判定。

Fisher線性判別方法是尋找一個（或一組）投影軸，在將樣本投影到該轉向軸上之后，樣本在其類別內具有最小方差，類別之間具有最大方差，并且確保了最小方差的投影軸。如果在二維空間中有兩類樣品，若直接把樣品點映射至X軸或者Y軸上，可以發現這兩類樣品點根本無法被正確劃分。因此，可以通過找到一條合適的直線使得數據點在投影到直線后可以被分離。

在改進AdaBoost算法的人臉識別模型和駕駛行為識別的支持向量算法的基礎上，然后依據以下步驟構造Fisher線性判別模型：

步驟1：假定特征向量X=（x1，x2…xn1）T，Y=（y1，y2…yn2）T分別對應駕駛員面部表情和駕駛行為信）息，若n1≠n2，則m=max（n1，n2）指定Y向量中yn2+1=yn2+2=…=ym=0。

步驟2：根據人臉檢測模型推算出面部表情最優判定矢量，并根據駕駛行為識別算法推算出駕駛行為的最優判定矢量，分別為φ*和η*。

步驟3：依據φ*和η*進而獲取面部表情的Fisher判定矢量集{φ，1≤i≤m}和駕駛行為的Fisher判定矢量集{η，1≤i≤m}，且m=max（n1，n2）。

步驟4：將面部表情矢量集與駕駛行為矢量集結合在一起，計算出路怒癥判定矩陣為Z=（z1，z2…zm）T，且zi=max{XTφi，YTηi}。

為了方便統一計算，將融合面部表情和駕駛行為的識別結果分為2類情緒：安全駕駛行為和危險駕駛行為，并將安全駕駛行為標記為非路怒情緒，將危險駕駛行為標記為路怒情緒。由于該怒癥識別方法綜合考慮了面部表情和駕駛行為的特征，提高了路怒癥識別的精度，能及時迅速地判斷出路怒情緒，可對路怒癥情緒進行報警干涉，提高公共交通的治理程度。

4 案例分析

為了驗證優化后的AdaBoost算法，本研究采取FDDB人臉數據庫實施測試，該數據庫存放有5171張人臉圖像，選取其中的200張圖像進行測試。根據測試結果，原來的AdaBoost算法在總共34張有效人臉中，準確識別出26張，正確率為76.5%，還有8張人臉識別失敗，失誤率為23.5%；而優化的AdaBoost算法在總共34張有效人臉中，有效識別出了30張，識別正確率為88.2%，還有4張人臉識別出錯，失誤率為11.8%。綜上實驗結果來分析，優化后的AdaBoost算法的人臉檢測實驗，在各種復雜條件下都具有非常好的人臉識別準確率，可以運用于駕駛員人臉在線檢測。

在驗證了AdaBoost算法精確性的基礎上，選取了某公交企業的10名駕駛員，分別測試了30組非憤怒數據和30組憤怒數據，然后采用面部表情特征、駕駛行為信息特征和融合兩種特征對公交車司機情緒進行判定，得到的情緒狀態識別結果見表1。

表1 公交車司機情緒狀態識別結果

由表1可以看出，使用融合面部表情和駕駛行為的路怒癥識別方法正確率為86%以上，明顯高于單獨使用駕駛人面部表情特征或駕駛行為信息特征時的正確率，尤其是融合面部表情和駕駛行為算法對公交車司機的路怒情緒識別率達到了86.7%，說明了本方法能夠更好識別公交車司機的路怒情緒。

5 結論

通過更換權重改進AdaBoost人臉檢測算法，并依據支持向量機算法來實現駕駛行為非線性分類，并綜合考慮面部表情和駕駛行為的影響，構建了融合面部表情和駕駛行為的路怒癥識別方法，并通過實例計算得到：

（1）針對AdaBoost算法存在過訓導致算法性能下降的問題，通過更換權重和建立閾值改進AdaBoost人臉檢測算法，即使在大樣本量計算中也可保持良好的計算穩定性。

（2）通過支持向量機算法對駕駛行為非線性分類，并利用最優分類平面來劃分駛安全行為和危險行為。

（3）由于該怒癥識別方法綜合考慮了面部表情和駕駛行為的特征，提高了路怒癥識別的精度，融合面部表情和駕駛行為的路怒癥識別方法的準確率為86%以上，明顯高于單獨使用駕駛人面部表情特征或駕駛行為信息特征時的正確率。