基于改進的深度卷積神經網絡的人臉疲勞檢測

馮文文, 曹銀杰*, 李曉琳, 胡衛生

(1.聊城大學物理科學與信息工程學院,聊城 252059； 2.山東省光通信科學與技術重點實驗室, 聊城 252059； 3.上海交通大學電子信息與電氣工程學院,上海 200240)

隨著交通、經貿的快速發展以及人們生活水平的不斷提高，汽車、貨車等車輛的不斷普及增加，這給人們帶來極大便利的同時，道路交通事故發生率也不斷地提高。其中，疲勞駕駛是引起交通事故的一個重要原因。據不完全統計，20%～30%的交通事故是由疲勞駕駛引起的。根據美國國家交通安全委員會(National Transportation Safety Board,NTSB)對107起交通事故的調查研究，表明58%的事故與駕駛員疲勞打瞌睡息息相關。拉夫堡大學通過對4 621名轎車以及996名貨車的男性司機進行了實時跟蹤研究，發現29%的駕駛員在駕駛過程中打瞌睡，其中10%的駕駛員因疲勞駕駛導致交通事故。在中國，48%的車禍是由駕駛員疲勞造成的[1]。

因此，檢測駕駛員疲勞，并對駕駛員疲勞駕駛作出相應的警告，以保障駕駛員安全顯得尤為重要，疲勞檢測技術也成為了中外重點研究課題。中外對疲勞檢測的研究方法主要有：基于駕駛員生理指標、基于駕駛員駕車行為特征以及基于機器視覺與人臉表情識別的非接觸式疲勞檢測方法[2]。基于生理指標的檢測方法主要有對腦電信號(electroencephalography,EEG)、眼電信號(electrooculography,EOG)、呼吸頻率以及心電信號等進行測量，這要求駕駛員佩戴一些檢測的設備，會在一定的程度上影響駕駛員的駕駛行為，影響駕駛的舒適度；基于駕駛員行為特征的疲勞檢測方法有通過車輛駕駛相關的參數如車速、方向盤角度、加速狀態等判斷駕駛員的疲勞狀態[3]，但由于道路的狀況不同，駕駛員習慣的迥異以及車輛狀況的不同等都會影響疲勞檢測的準確度；基于機器視覺與人臉表情識別的非接觸式疲勞檢測方法，利用對駕駛員的眼睛閉合程度、嘴巴的張開的程度等特征來推斷駕駛員的疲勞狀態，這類方法通常采用攝像頭獲取駕駛員的面部信息，通過數字圖像處理技術對眼睛狀態進行實時識別，并依此判斷駕駛員的疲勞狀態[4]，但在疲勞表情特征提取時，圖片的預處理會受光照環境、人臉角度等的影響，對于采集數據的環境限制也較大。

伴隨著互聯網和計算機技術的不斷發展，人臉面部表情識別技術也不斷地改進。目前，有傳統機器學習方法和深度學習方法兩種途徑對表情識別進行研究。基于傳統機器學習方法的人臉面部疲勞識別指的是利用傳統的算法進行特征提取的過程。傳統的特征提取算法有局部二值模式(local binary patterns, LBP)算法[5]、Gabor 小波變換算法[6]、尺度不變特征變換(scale-invariant feature transform,SIFT)算法[7]等。傳統的機器學習方法在提取面部疲勞表情特征時都依賴于手動的特征設計過程，需要人為參與，會浪費一定的時間和人力資源。隨著深度學習在目標檢測等領域取得巨大的成就，深度學習也促進了疲勞檢測技術的發展。Zhu等[8]提出了一種使用卷積神經網絡對眼電信號進行無監督學習的算法,利用該算法對眼部的一些特征進行提取，代替人工設計算法進行特征提取的過程,并在后處理中使用線性動態系統(linear dynamic system, LDS)算法減少不利的干擾。Zhang等[9]提出了一種基于卷積神經網絡(convolutional neural network,CNN)的計算眨眼頻率的眼睛狀態識別方法,采用紅外視頻檢測提升了駕駛員佩戴太陽鏡情況的準確率,但疲勞參數過于單一。研究表明,使用深度網絡直接從圖像中學習視覺特征表示,相較于手工設計的特征對光照、姿勢等條件變化具有更好的魯棒性,預測精度顯著提高。以上的疲勞駕駛檢測算法都取得了很大的效果與進展，但仍然存在不足。

由于這些方法的不足和深度學習技術的不斷融合。提出一種改進的深度卷積神經網絡駕駛員面部疲勞表情檢測方法。該方法首先利用Dlib庫中含有方向直方圖(histogram of oriented gridients, HOG)[9]和級聯分類器(support vector machine, SVM)算法相結合的預訓練的人臉檢測器，用該檢測器實現面部區域檢測。隨后使用級聯回歸(ensemble of regression trees, ERT)[9]實現面部特征點標定。然后利用softmax損失函數與中心損失函數共同作為模型訓練的監督信號，擴大類間間距，縮小類內間距的深度卷積神經網絡對駕駛員面部疲勞表情進行特征提取、訓練和學習，最后對疲勞表情狀態進行識別。實驗結果表明，本文提出的改進的深度卷積神經網絡方法來識別疲勞表情，對駕駛員疲勞檢測是有效的。

1 人臉面部疲勞表情特征

人臉面部疲勞檢測屬于人臉表情識別的一種，主要是通過對人臉表情狀態特征判斷是否疲勞。人臉面部疲勞的狀態參數主要是通過眼睛、嘴巴、頭部姿態等特征獲得，其中約80%～90%的疲勞特征是通過眼睛的閉合程度、眨眼的頻率和速度、眼睛的運動或眼睛的其他生理特性來檢測是否疲勞。常見的眼睛狀態檢測的方法是利用單位時間內眼睛閉合時間所占的百分率(percentage of eyelid closure over the pupil over time,PERCLOS)[10]方法，它用在單位時間內眼睛的閉合時間所占的百分比來推測駕駛員的疲勞程度。目前疲勞檢測系統通常采用 P80 作為駕駛員疲勞識別，其中 P80 指以眼睛閉合時間占特定時間的 80% 為疲勞狀態評價指標。雖然PERCLOS在視覺的方法中效果較好，但它也存在不足，PERCLOS算法在人佩戴深色眼鏡時易受影響。除此之外，每個人的眼睛也有差異，這也為疲勞檢測帶來了困難，并且只依據眼睛的狀態來判斷駕駛員的疲勞狀態，容易發生誤判、錯判。除了眼睛，另一個反映疲勞特征的是頻繁地打哈欠動作，當嘴巴張開一定的程度時，哈欠就發生了。總的來說疲勞時伴隨著眼睛變小、出現閉合甚至完全閉合、眨眼次數減少、目光呆滯、頭部下低、不斷地打哈欠。通過這些面部的特征來檢測疲勞。

1.1 總體框架

疲勞檢測整體框架如圖1所示。

圖2 非疲勞、輕度疲勞和嚴重疲勞部分表情Fig.2 Partialnon-fatigue,mild fatigue and severe fatigue expressions

疲勞檢測分為3大部分：①通過數據采集，建立人臉疲勞數據集，數據集包括正常、輕度疲勞和嚴重疲勞3種狀態的表情，并將采集的數據集歸一化；②利用基于定向梯度直方圖(HOG)和線性SVM算法的預先訓練好的人臉檢測Dlib方法，同時完成人臉檢測和人臉對齊任務，并定位出人眼和嘴巴等68個關鍵點位置；③用具有泛化能力的softmax和中心損失的深度卷積神經網絡模型對299×299大小的人臉非疲勞、輕度疲勞和嚴重疲勞的表情進行訓練，提取眼睛、嘴巴及一些細微的面部表情特征，完成人臉面部疲勞圖像的識別。

1.2 人臉面部疲勞數據集建立

目前公開的人臉圖像數據集有很多，但是在人臉面部疲勞圖像數據集方面，缺乏開放性的疲勞表情數據集。需要建立有效的人臉面部疲勞數據集，以供研究多融合深度卷積神經網絡算法對人臉面部疲勞識別的需求，來驗證該算法的有效性。因此通過互聯網搜集圖像、采集相關視頻圖像及自行拍攝相關圖像，采集的圖像包含人臉非疲勞狀態、輕度疲勞狀態和嚴重疲勞狀態3種表情圖像。

疲勞數據部分非疲勞、輕度疲勞和嚴重疲勞的表情如圖2所示。表1所示是人臉面部疲勞數據集基本數量。

表1 疲勞數據集數量

這里將數據集按6∶2∶2的比例分為訓練集、驗證集和測試集。訓練集是用于訓練模型參數的，而驗證集是用于調整訓練模型中的超參數和評估模型的能力，防止訓練集在訓練過程中產生過擬合現象。測試集用于評估模型的精確度，即對樣本的泛化誤差。

2 基于Dlib的人臉檢測

2.1 基于Dlib庫人臉檢測

采用的是Dlib庫中自帶的人臉位置檢器函數，用于實現人臉定位。該函數是基于方向梯度直方圖(HOG)和級聯分類器SVM算法進行人臉檢測。2005年，Dalal等[11]提出了一種用于人類檢測的方向梯度直方圖的方法。Dlib在使用含有HOG算法和SVM級聯分類器的人臉位置檢測函數時，分為以下6步。

(1)對一幅原始的圖像進行灰度化處理。

(2)采用HOG算法中的Gamma校正法對輸入的圖像進行顏色空間歸一化，Gamma壓縮公式為

I(x,y)=I(x,y)gamma

(1)

其目的是調節圖像的對比度，降低圖像局部的陰影和光照變化造成的影響，同時可以抑制噪聲的干擾。

(3)計算圖像每個像素橫坐標和縱坐標方向的梯度，依據此計算每個像素未知的梯度方向值。圖像中像素點(x,y)的梯度為

Gx(x,y)=H(x+1,y)-H(x-1,y)

(2)

Gy(x,y)=H(x,y+1)-H(x,y-1)

(3)

式中：Gx(x,y)、Gy(x,y)、H(x,y)分別表示輸入圖像中像素點(x,y)處的水平方向梯度、垂直方向梯度和像素值。像素點(x,y)處的梯度幅值和梯度方向分別為

(4)

(5)

計算每個像素的梯度，主要是為了捕獲輪廓信息，同時進一步弱化光照的干擾。

(4)為每個cells細胞單元構建梯度方向直方圖，即將圖像劃分成小cells，對每一個cell塊對梯度直方圖進行規定權重的投影，目的是為局部圖像區域提供一個編碼，同時能夠保持對圖像中人體對象的姿勢和外觀的弱敏感性。

(5)把細胞單元組合成大的快(block)，塊內歸一化梯度直方圖。由于局部光照的變化以及前景-背景對比度的變化，使得梯度強化的變化范圍非常大。這就需要對梯度強度做歸一化，歸一化能夠進一步地對光照、陰影和邊緣進行壓縮。

(6)收集HOG特征，即把提取的HOG特征輸入到SVM分類器中，尋找一個最優超平面作為決策函數，輸出訓練好的人臉檢測器模型detector，在原圖中尋找人臉的疑似區域。

腦卒中是一種多發于中老年群體的腦血管疾病,卒中后經調查多數患者會出現焦慮抑郁癥狀,臨床多表現為“情緒低落、興趣減退”等,具有典型的抑郁特點,嚴重影響患者的生活質量[4]。另一方面,不良情緒會進一步影響患者治療依從性,加重疾病恢復的不良影響,對于預后改善較為不利。有研究認為,護理干預對于疾病治療效果具有重要影響,據此本研究特以85例腦卒中后焦慮抑郁患者為例展開對比分析,主要探討針對性護理的應用效果,現報道如下:

Dlib使用HOG+SVM方法形成預訓練好人臉檢測器get_frontal_face_detector()函數，實現人臉檢測。

2.2 人臉關鍵點標定

通過Dlib的HOG和SVM方法檢測到人臉并用矩形框標定人臉的輪廓后，利用Dlib庫自帶的人臉關鍵點檢測器：shape_predictor_68_face_landmarks.dat進行檢測。

(6)

根據Dlib庫中所含HOG和SVM算法及ERT算法，實現了對人臉檢測及人臉面部的眉毛、眼睛、鼻子、嘴巴等特征點的標定。圖3所示為人臉檢測、68個特征點標定及眼睛和嘴巴定位的圖像。

圖3 人臉檢測、關鍵點標定和眼睛、嘴巴定位Fig.3 Face detection, key point calibration, eye and mouth positioning

3 基于改進的深度卷積網絡的疲勞檢測

深度卷積神經網絡是用卷積代替全連接進行特征提取的一種具有多層神經網絡的模型，該網絡避免了對圖像復雜的前期預處理，可以直接使用圖像的原始圖像作為輸入，并對其特征提取，訓練學習，分類識別。疲勞檢測過程需要對大量的圖像進行處理，收集的每張圖像包含了不同的信息，怎么將每一類疲勞表情特征更好地連接在一起，本文沒有用傳統的損失函數而是采用了中心損失函數[13]的深度卷積神經網絡學習人臉疲勞表情特征。并且建立了16層具有模塊化的深度卷積神經網絡模型。利用該網絡對不同的人臉非疲勞、輕度疲勞和嚴重疲勞表情進行特征提取，并對這些特征進行訓練學習。

3.1 中心損失函數

損失函數用來衡量模型預測的好壞，即用來表現預測值和實際數據之間的差距程度。常常使用傳統的損失函數，如softmax loss。它雖然可以保證類間差異最大化，但不能保證類內差異最小化，從聚類角度分析，很多時候類內間距甚至會大于類間距離，這使提取的特征并不好。另一方面softmax分類結果不是0就是1，這會使得模型過度自信，使得分類結果準確率較低。而中心損失函數對類內間距太大做了優化，使得類內間距最小。中心損失保留了原來的分類模型，但又為每一個類指定了一個類別中心。也就是同一類的圖像對應的特征都盡量地靠近和自己相同的類別中心，對于不同的類別中心則盡量遠離。所以在傳統的損失函數的基礎上，加入中心損失函數，共同作為深度卷積模型訓練的監督信號進行聯合優調，使得輸出的人臉疲勞表情特征類間分散、類間聚合化。

設輸入的不同疲勞圖像為xi，該對應的類別為yi，對每種不同狀態的疲勞表情都規定一個類別中心，記作cyi。期望每種疲勞圖像對應的特征f(xi)都盡可能的接近自己的類別中心cyi。那么損失函數為

(7)

則多張圖像的中心損失為它們各自損失函數的累加，即

(8)

L=Lsoftmax+λLcenter

(9)

式(9)中：λ是一個超參數，即中心損失函數的權重系數。

總的來說，使用中心損失來訓練人臉疲勞表情模型的過程是，首先隨機初始化各個中心cyi，接著不斷取出batch進行訓練，這時在取出的每個batch中，使用總的損失L，這樣不僅使用神經網絡模型的參數對模型進行更新，還對cyi進行梯度計算，并更新中心的位置。利用MNIST數據集進行實驗，設計一個5層卷積網絡，最后使用全連接層，讓最后一層向量變為二維，分別使用softmax訓練100步和加入中心損失后的訓練epoch為100步的二維向量圖，如圖4所示。

圖4 softmax和softmax+中心損失的二維向量圖Fig.4 2D vector diagram of softmax and softmax+center loss

從圖4中可以看出，只使用softmax損失函數訓練的結果不具有內聚性，而加入中心損失可以讓訓練時的特征具有內聚性。中心損失的加入使得訓練的特征具有內聚性，生成的模型具有更好的魯棒性。

3.2 深度卷積網絡訓練模型

對于不同像素的三原色(red,green,blue, RGB)非疲勞、輕度疲勞和嚴重疲勞圖片轉換成299×299相同像素的圖片，便于后邊特征的提取。根據GoogLeNet[14-16]建立了自己的網絡訓練模型，對3種表情的特征進行提取以及學習。網絡訓練模型結構如表2所示。

表2 網絡訓練模型結構(輸入299×299×3)

采用了16層且模塊化的卷積神經網絡結構。網絡模型采用了模塊化(Inception)的結構，便于對層數的添加和修改。如表2中的Inception模塊采用4個并行計算:①經過一個1×1小的感受野的卷積核與輸入量進行卷積提取特征；②一個1×1的卷積后加上兩個3×3的卷積，1×1的卷積可以減低輸入的特征通道，減少參數的計算量，同時又不減少特征信息的提取；③一個1×1的卷積后加上一個5×5的卷積，這樣不僅可以用一個較大的感受野的卷積提取特征，同時用1×1的卷積又起到了降維的作用，減小了計算的復雜度；④一個3×3的平均池化加上一個1×1的卷積，平均池化改變輸入的特征排列，1×1的卷積進行特征提取。最后將這4個并行的計算結果得到的特征在通道這個維度上相加在一起。使用1×1、3×3、5×5不同大小的卷積核模塊化的結構，卷積后有著大小不一的感受野，每一個模塊的最后都是不同尺度特征的融合。同樣的，Inception (6b)模塊也采用了4個并行計算。和Inception(5a)不同的是，他采用了非對稱的1×7和7×1卷積核，來代替7×7卷積核。這樣減少了大量的權值參數，加快了運算速度并減輕了過度擬合。

網絡模型的每一個模塊都使用了1×1卷積核進行降維。這樣就不用擔心丟失很多有用的特征信息，這相當于將獲得的特征進行壓縮，相應的訓練速度提高了。并且在第2個、第3個大的模塊使用了非對稱的卷積核，可以對更為豐富、更多的特征空間進行處理，來增加特征的多樣性。

4 實驗結果與分析

4.1 實驗數據集

本文使用的是自采集的疲勞表情數據集以及公開的用于設計和測試打哈欠檢測算法和模型的YawDD[17]視頻數據集。自采集的疲勞表情數據集共有19 940張圖像，該數據集分為非疲勞狀態、輕度疲勞狀態和嚴重疲勞狀態3種類型。然后分別從中劃分60%的樣本為訓練集，20%的為驗證集，剩下的20%為測試集。YawDD視頻數據集包括兩類視頻：一個數據集是攝像機安裝在汽車的前鏡下，包括不同種族、不同性別的司機，每個參與者有3～4個視頻，每個視頻包含不同的嘴巴特征狀態，如正常、說話、唱歌和打哈欠，共有322個視頻。另一個數據集是攝像機安裝在駕駛員的儀表板上，每個參與者有一個單獨的視頻，包括開車時說話、打哈欠的狀況，共有29個視頻。這兩類視頻數據集都是640×480大小、24位真彩色的無音駕駛視頻，如圖5所示。

圖5 YawDD數據集示例Fig.5 YawDD data set example

4.2 實驗平臺

實驗的硬件是E5-2640 v4的CPU處理器，RAM為64.0 GB，實驗進行在操作系統為Windows環境下使用tensorflow[18]框架實現。為驗證改進的深度卷積網絡算法對疲勞檢測識別的有效性，以及中心損失函數對模型訓練的影響，設置了5個實驗進行對比。具體實驗如表3所示。

表3 具體實驗

實驗中共同使用Adam優化器，學習率設置為0.001，迭代訓練次數為100 000次。dropout為網絡模型添加的正則化損失函數[19]，失活概率為0.4，中心損失的中心學習率設置為0.5，權重系數λ設置為0.003。實驗5加入YawDD打哈欠數據集，擴大了數據集樣本。

4.3 實驗結果及分析

實驗1～實驗4都是對疲勞測試集中1 252張非疲勞的表情圖片、1 260張輕度疲勞的表情圖片和1 476張嚴重疲勞的表情圖片在不同的網絡模型中進行識別檢測。識別的結果如表4所示。

表4 實驗結果

從表4看出，這4個不同的網絡的訓練集準確率都在98.90%以上，說明基于深度卷積神經網絡對訓練的疲勞數據集有較好的擬合效果。通過加入dropout防止模型過擬合的技術，以及使類內間距減小的中心損失函數的不斷改進，訓練集的準確率逐漸地提高，這說明了本文提出的改進的深度卷積神經網絡模型對疲勞表情識別檢測是十分有效的。在分別加入dropout和中心損失函數的實驗的測試集平均準確率相比只有sofmax loss的實驗平均準確率分別提高了2.27%和1.52%。這表明dropout與中心損失函數更有效地降低了網絡過擬合的問題。在dropout和中心損失共同作用的實驗中，測試的準確率則提高，效果更優越，說明中心損失和dropout層兩者并不沖突，兩者共同作用使深度卷積神經網絡模型提取駕駛員面部疲勞表情特征更具魯棒性。

實驗5在實驗4的基礎上加入了YawDD打哈欠數據集，擴充了訓練、驗證和測試識別的數據量，訓練集中有7 500張非疲勞表情圖像，7 536張輕度疲勞表情，8 200張嚴重疲勞表情；驗證集中和測試集中的非疲勞表情有2 500張，輕度疲勞有2 512張，嚴重疲勞有2 733張圖片，隨著數據量的增加訓練需要的時間更長，但訓練集準確率和測試集準確率提高了。表5是加入YawDD數據集訓練以及測試的結果。

表5 擴充數據集的訓練測試結果Table 5 Training test results of the extended data set

從表5可以看出，數據集的擴展使得網絡的泛化能力更強，識別檢測的準確率更高。

以上實驗結果表明，與傳統的疲勞駕駛檢測算法相比，改進的深度卷積神經網絡直接輸入原始圖像，可以自動的輸入的圖像進行特征提取，并挖掘目標圖像的深層信息且不依賴人工的參與。與其他的深度學習模型相比，加入dropout層以及中心損失函數改進的深度學習訓練模型，不僅使類間間距擴大，同時還使類內間距最小化，改善模型對疲勞表情的分類能力，提高了疲勞識別的準確率，具有較好的魯棒性。

5 結論

駕駛員面部疲勞表情特征是疲勞駕駛檢測的關鍵，從疲勞表情識別的準確率和魯棒性，提出一種以softmax損失與中心損失相結合的深度卷積網絡模型來實現疲勞駕駛檢測的方法。利用開源機器學習庫Dlib中的HOG+SVM算法實現人臉檢測和對齊，以及庫中的級聯回歸數ERT算法實現人臉關鍵點定位，繼而實現對眼睛和嘴巴的定位。最后利用深度卷積神經網絡有效地從不同的臉部疲勞狀態圖像中，自動學習和提取具有區分性的面部疲勞表情特征，很好地避免了傳統的人工提取特征難的問題。相比傳統的機器學習方法，深度卷積網絡在復雜的背景下提取面部疲勞表情特征更加高效，準確率更高。

在原有的softmax損失深度網絡結構中加入中心損失，不僅使深度人臉疲勞檢測識別模型的類間間距最大，而且使得訓練學習的不同疲勞狀態特征之間的類間間距減小。網絡中還加了防止模型過擬合的dropout等方法的16層GoogLeNet模型。實驗結果表明，改進的深度卷積網絡，在自建數據集和YawDD打哈欠標準數據集上都取得了98.81%的疲勞識別準確率。與傳統的駕駛疲勞檢測方法相比，避免了繁瑣的人工特征提取的工作；與原來只有softmax損失的深度學習網絡相比，檢測識別速度更快、準確率更高、魯棒性更好。

在實際的駕駛應用場景中，包含很多駕駛員開車的姿態、夜間駕駛光照、遮擋物等干擾因素，因此今后會繼續研究在復雜場景下的疲勞駕駛檢測算法，并在駕駛員疲勞時，警告駕駛員，減少交通事故的發生。