融合臉部紅外信息與深度信息的駕駛員路怒表情識別方法

劉鵬++劉峰

摘要：駕駛員“路怒癥”是影響安全駕駛的一個重要因素，近年來得到了廣泛關注。在情感識別領域，可通過駕駛員表情識別其情感。融合臉部紅外信息和深度信息（InfraredD），提出一種駕駛員路怒表情識別方法，對駕駛員“路怒癥”進行識別。實驗結果表明，基于PCANet的方法可以提高駕駛員路怒表情識別的準確率，從而更有效地預防交通事故發生。

關鍵詞：路怒癥；表情識別；PCANet；InfraredD

DOIDOI：10.11907/rjdk.171634

中圖分類號：TP317.4

文獻標識碼：A文章編號：16727800（2017）010019804

0引言

“路怒癥”的定義為：“路怒”是形容在交通阻塞情況下開車壓力與挫折所導致的憤怒情緒，“路怒癥”發作者會襲擊他人汽車，有時無辜的同車乘客也會遭殃。近年來，由“路怒癥”引起的交通事故呈顯著上升趨勢。交通管理局數據顯示，2015年以來全國查處的由“路怒癥”引起的違法行為達1 733萬起，同比上升了2.8%，可見“路怒癥”已經成為影響安全駕駛的一個重要因素。因此，研究“路怒癥”并提出有效應對措施，對于預防交通事故發生具有重要意義。

1駕駛員路怒癥研究現狀

目前，針對“路怒癥”的文獻研究有：韓振[1]指出只有養成良好的出行習慣才能從根本上消除“路怒癥”，駕車時需要注意“不要將不良情緒帶上車，開車前調節好情緒，營造舒適的車內環境”；王浩穎[2]提出“首先要有包容心，允許別人犯錯，然后要學會調節不良情緒，可以采用一些解壓的小方法，如聽一首放松的音樂、做一下深呼吸等。其次，養成良好的開車習慣，如在駕駛過程中時常打開窗戶透透氣，在情緒不好的情況下不要駕駛車輛等”；騫憲忠、鄭建中[3]認為可以根據“路怒癥”的癥狀輕重情況，通過心理調節和藥物治療控制駕駛員路怒癥，對于患有重度“路怒癥”的駕駛員發作時需要及時就醫用藥；金金[4]把“路怒”行為看作是一種對社會公共秩序的挑釁，主張通過自我約束和社會約束兩種手段解決駕駛員“路怒”行為。可見目前的這些措施主要集中在個人和社會層面，而要提高個人素質和整個社會氛圍也將是一個漫長過程。

由以上分析可知，針對路怒癥的研究主要集中在兩個方面：①研究駕駛員路怒癥與安全駕駛之間的關系；②研究如何從政策、法規等規章制度上預防和消除駕駛員路怒癥。而針對駕駛員路怒癥的自動識別研究還未見報道。但是在情感計算領域，表情識別是一個非常熱門的話題，本文考慮到駕駛員的特殊環境，提出一種基于PCANet融合臉部InfraredD圖像的駕駛員路怒表情識別方法。首先，使用駕駛員臉部的紅外圖像和深度圖像對應的表情（非路怒表情和路怒表情）訓練PCANet過濾器；之后，通過訓練得到的過濾器提取臉部紅外圖像和深度圖像的表情特征，再進行哈希編碼并提取直方圖特征；最后，通過提取的特征訓練得到SVM，進行駕駛員路怒表情和非路怒表情識別。該方法可以識別駕駛員路怒癥，從而可以在駕駛員出現路怒現象時，及時進行提醒（可以是一句安慰的話或者播放一段愉快的音樂），防止因駕駛員的過激行為造成交通事故。

2駕駛員路怒表情識別方法

本文的駕駛員路怒表情識別是通過將臉部的紅外圖像和深度圖像進行融合。如圖1所示，具體步驟為：①同時把臉部紅外圖像和臉部深度圖像作為PCANet第一層濾波器（特征向量矩陣w1＼-l）的訓練樣本，訓練得到w＼+1＼-l，將訓練樣本去除均值后乘以w＼+1＼-l得到PCANet第一層的輸出；②將輸出的特征矩陣作為PCANet第二層濾波器的訓練樣本，訓練得到w＼+2＼-l，將第一層的輸出乘以w＼+2＼-l得到PCANet第二層的輸出；③將第二層的特征矩陣進行哈希編碼；④將臉部紅外圖像和深度圖像編碼后的矩陣對應加和；⑤將加和后的每個編碼矩陣通過滑動口提取直方圖特征，并且將其串接在一起組成表情識別特征；⑥通過支持向量機（SVM）進行分類。

圖1駕駛員路怒表情特征提取模型

其中，N個訓練樣本表示為{IR＼-i，Depth＼-i}＼+N＼-＼{i=1＼}，每個樣本的patch數目為2m×n，每個patch的大小為k1×k2。

基于PCANet的臉部InfraredD圖像特征提取具體如下：

（1）融合InfraredD圖像的PCANet第一層。對于輸入圖片{IR＼-i，Depth＼-i}＼+N＼-＼{i=1＼}（臉部紅外圖像和深度圖像作為一個樣本），滑動窗采用k1×k2大小的patch，patch之間的交集設為overlap（相當于步長，該階段步長一般選1），如圖2所示。輸入圖片{IR＼-i，Depth＼-i}的patch向量為：xIi，1，xIi，2，xIi，3，…，xIi，mn∈Rk1k2和xDi，1，xDi，2，xDi，3，…，xDi，mn∈Rk1k2，為了方便計算，用矩陣Xi表示：Xi=＼[xIi，1，xIi，2，xIi，3，…，xIi，mn，xDi，1，xDi，2，xDi，3，…，xDi，mn＼]，然后由式（1）（以一張圖片的所有patch為例，而紅外和深度兩張圖片要除以2mn）求協方差矩陣Convi。

Convi=（X＼+Ti-avg＼+T）（Xi-avg）/2mni=1，2，3，…，N（1）

其中，avg為所有patch向量的每一維均值。

然后由式（2）對協方差矩陣加和（ConvSum）：

ConSum=∑Ni=1ConvI（2）

并除以N，得到所有樣本協方差的均值（Conv）：

Conv=ConvSumN（3）

對其求特征值和特征向量（eigvals，sigVects）：

eigvals，eigVects=eig（Conv）（4）endprint

然后取特征值大的前L＼-1個特征向量組成w＼+1＼-l（根據實驗結果選取適當的特征向量數量）：

w1l=eigVects＼[0：L1＼]（5）

最后由式（6）得到PCANet第一層的輸出：

{IRLi，Depthli}={{Ii，1，Ii，2，Ii，3，…，Ii，mn}×w1l，

{Di，1，Di，2，Di，3，…，Di，mn，}×w1l}

i=1，2，3…，Nl=1，2，3，…，L1（6）

其中Ii，j和Di，j是去除均值的patch向量，L1為特征向量的數量（決定PCANet第一層的輸出）。

（2）融合InfraredD圖像的PCANet第二層。將PCANet第一層的輸出作為第二層的輸入，按照式（1）中的方法得到w2l，最后求得第二層的輸出為：{OIRlki，ODepthlki}（i=1，2，3，…，N；l=1，2，3，…，L1；k=1，2，3，…，L2）。

（3）融合InfraredD圖像的PCANet輸出層：哈希編碼和直方圖處理。哈希編碼過程，按照式（7），將紅外圖像和深度圖像PCANet第二層的輸出圖像對應相加，然后經過哈希編碼生成哈希矩陣，并將其相加，產生L1個哈希矩陣：

Tli=∑L2k=12k-1（H（OIRlki）+H（ODepthlk＼-i））

i=1，2，3，…，N；l=1，2，3，…，L1（7）

其中H（·）是哈希函數，而輸出的每個像素是在范圍[0，2L2-1]中的整數。

對哈希矩陣提取直方圖特征：將每一個哈希圖像通過滑動窗口，對產生的每個patch統計直方圖然后拼接在一起，之后將所有哈希圖像的直方圖特征拼接在一起組成最終的特征向量，如式（8）所示：

f＼-i=＼[Bhist（Tli），…，Bhist（TL1i）＼]Ti=1，2，3，…，N（8）

3實驗結果與分析

3.1數據庫及實驗設置

受駕駛員駕駛條件的限制，一般選用紅外圖像作為信息的輸入，考慮到深度圖像對光照變化不敏感，能反映出臉部深度信息，故本文駕駛員表情數據庫采集的是臉部紅外圖像和臉部深度圖像。設備依靠kinect選取駕駛員，跟蹤其臉部并提取紅外圖像和深度圖像信息，并建立對應的數據庫（紅外圖像和深度圖像分別為1 200張）。之后將駕駛員表情分為兩組：一組為路怒表情，一組為非路怒表情。實驗在Intercore，3.4GHz CPU和4G RAM的計算機上進行。

將本文方法（I+DPCANet）與3種方法進行了比較：基于PCANet臉部紅外圖像的駕駛員路怒表情識別方法（IPCANet）、基于PCANet臉部深度圖像的駕駛員路怒表情識別方法（DPCANet）、基于PCANet臉部紅外圖像和臉部深度圖像單獨訓練PCANet濾波器的駕駛員路怒表情識別方法（IDPCANet）。其中，基于PCANet臉部紅外圖像的駕駛員路怒表情識別方法僅使用紅外圖像訓練PCANet濾波器；基于PCANet的臉部深度圖像的駕駛員路怒表情識別方法僅使用深度圖像訓練PCANet濾波器；基于PCANet的臉部紅外圖像和臉部深度圖像單獨訓練PCANet濾波器的駕駛員路怒表情識別方法采用臉部紅外和臉部深度圖像單獨訓練PCANet濾波器，之后用于各自圖像的卷積。

3.2參數設置

patch大小選擇：通過固定其它參數，選擇不同大小的patch進行實驗，圖3顯示不同patch對于分類結果的影響，而且7×7大小的patch能提供更好的性能。因此，選擇7×7作為訓練PCANet濾波器的大小。

L1和L2選擇：由圖4可知選擇不同輸出個數對于分類結果的影響。第一層和第二層的輸出個數選為8，8具有更好的性能。因此，第一層的輸出數量和第二層的輸出數量都為8。

圖3patch大小對分類準確率的影響

圖4L1和L2對分類準確率的影響

求直方圖時滑動窗大小和重疊率的選擇：由圖5、圖6可知，這兩個參數對實驗結果的影響不是很大，分別選擇：10×10和0。

圖5求直方圖時滑動窗大小對分類準確率的影響

圖6求直方圖時滑動窗重疊率對分類準確率的影響

3.3SVM分類器參數選擇

對臉部紅外圖像和臉部深度圖像提取完特征后，進行臉部表情的識別，本文選用的分類器是libSVM，其中采用了兩種人臉表情：駕駛員非路怒表情和駕駛員路怒表情。

LIBSVM使用的一般步驟為：①按照LIBSVM軟件包要求的格式準備數據集； ②對數據進行簡單的縮放操作；③首先考慮選用RBF 核函數；④采用交叉驗證選擇最佳參數C與g （懲罰系數和核函數中的gamma函數設置）；⑤采用最佳參數C與g 對整個訓練集進行訓練，獲取支持向量機模型；⑥利用獲取的模型進行測試與預測。

在實驗中，選擇的SVM設置類型為CSVC，使用交叉驗證計算各種參數搭配的分類精度，以便得到解決問題的最佳參數搭配。C和g是 SVM 中的重要參數，針對選定的訓練集，選用7折交叉驗證選取最佳的C和g參數搭配，以訓練分類模型。

3.4性能比較

白天和夜間紅外圖像和深度圖像變化不大，可以一同進行性能比較。表1顯示了對測試集中路怒表情（road rage）和非路怒表情（else）進行識別的比較結果。顯然，I+DPCANet方法準確率最高，其次是IDPCANet 方法。圖7顯示對路怒表情（road rage）和非路怒表情（else）識別的詳細比較結果，可見4種方法普遍對路怒表情的識別準確率會低一些。

4結語

本文基于PCANet提出了一種融合臉部紅外和深度圖像的駕駛員路怒表情識別方法。首先使用駕駛員

臉部的紅外圖像和深度圖像對應的表情（非路怒表情和路怒表情）訓練PCANet過濾器；之后，通過訓練得到的過濾器提取臉部紅外圖像和深度圖像的表情特征，再進行哈希編碼并提取直方圖特征；最后，通過提取的特征訓練得到SVM，進行駕駛員非路怒表情和路怒表情的識別。實驗結果表明，本文提出的方法能夠更有效地識別駕駛員路怒表情，從而判斷路怒癥，以防止因駕駛員的過激行為造成交通事故。

參考文獻參考文獻：

[1]韓振.遠離“路怒癥”[J].家庭科技，2015（6）：3839.

[2]王浩穎.路怒癥：怒從何來[J].婚姻與家庭：社會紀實，2015（7）：2426.

[3]騫憲忠，鄭建中.生理心理社會醫學模式視角下的路怒癥剖析[J].中國社會醫學雜志，2011（4）：269271.

[4]金金.交通文明行“路怒”需約束[J].青春期健康，2015（12）：2426.

責任編輯（責任編輯：黃健）endprint