基于面部多特征融合的疲勞駕駛檢測綜述

王 暢，李雷孝，楊艷艷

（1.內蒙古工業大學 數據科學與應用學院，呼和浩特 010080；2.內蒙古自治區科學技術廳 內蒙古自治區基于大數據的軟件服務工程技術研究中心，呼和浩特 010080）

0 概述

隨著我國經濟的高速發展，汽車已成為公民最常用的交通運輸工具，近年來，公路上的實際車流量一直在急速提升。據公安部統計，截止到2022 年3 月底我國機動車保有量已達4.02 億輛，其中汽車保有量為3.07 億輛，占機動車總量的76.37%［1］。汽車在給生活提供便利的同時也帶來了一系列問題，比如交通事故的頻發。有報告統計，在導致交通事故的諸多原因中，疲勞駕駛是肇事致死數量最多的因素之一，其每年造成的事故死亡人數占機動車事故死亡人數的10.9%以上［2］。因此，疲勞駕駛一直是國家交管部門及駕駛員非常重視的問題。若能在駕駛員疲勞駕駛跡象發生時及時提醒駕駛員進行休息，則能有效減少因駕駛員疲勞駕駛而導致的交通事故發生。

基于單一特征的檢測方法存在一些不足，如現實中駕駛員面部可能出現部分遮擋，此時基于單一特征的判別準確率不夠穩定。因此，大量學者開始研究多特征融合的疲勞駕駛檢測方法?；诿娌慷嗵卣鞯钠隈{駛檢測方法主要分為4 個步驟，即人臉檢測、特征提取、單特征狀態判別及多特征融合判別。本文分析不同的面部特征提取方法，探究在不同方法下對單一特征狀態和單一特征疲勞的判別，歸納不同特征融合方式下進行疲勞判別的差異性，分析討論當前檢測方法中存在的不足并對未來的研究方向進行展望。

1 疲勞駕駛

1.1 疲勞駕駛的概念

疲勞駕駛一般是指駕駛員在長時間精神高度集中的連續行車后，因腦力和體力消耗而產生的一種生理、心理機能衰退現象。疲勞駕駛會造成肌肉上的松弛和精神上的疲倦，導致手腳反應能力和預判能力下降，會影響到駕駛員的注意力、感覺、知覺、思維、判斷、意志、決定和運動等諸多方面，進而使駕駛員產生反應遲鈍以及對外界環境的感知、判斷能力和控制車輛的能力下降的現象。在早期疲勞駕駛的定義中，文獻［3］認為疲勞是一種從清醒到睡眠狀態的過渡，疲勞狀態下駕車更容易引發交通事故，給自身安全帶來巨大隱患。

1.2 面部疲勞特征

駕駛員面部的部分特征信息及頭部姿態變化信號可以很好地表征疲勞狀態，在研究中，主要通過眼部、嘴部和頭部姿態進行分析。輕微疲勞的特征體現為眨眼次數增多、間歇式打哈欠等；中度疲勞的特征體現為頻繁眨眼且經常性揉眼睛、經常性點頭、頭部有輕微昏沉等；重度疲勞的特征體現為眼睛干澀且閉合時間較長、頻繁打哈欠、反應遲鈍或無法集中注意力等。疲勞駕駛判別所需的具體特征行為如圖1 所示。

圖1 疲勞駕駛判別所需的面部特征Fig.1 Facial features required for fatigue driving discrimination

1.3 疲勞駕駛檢測流程

基于駕駛員面部特征的疲勞駕駛檢測是通過車內攝像頭記錄駕駛員駕駛時的面部狀態，隨后使用疲勞駕駛檢測系統對采集到的面部視頻數據進行分析并做出結論的過程。疲勞駕駛檢測在實際情況下具有方便、直觀和非侵入性等優點，因此得到了廣泛的研究與應用?；诿娌慷嗵卣鞯钠隈{駛檢測流程如圖2 所示。

圖2 基于面部多特征的疲勞駕駛檢測流程Fig.2 Fatigue driving detection procedure based on facial multiple features

首先，通過車內攝像頭獲取駕駛員駕駛時的視頻圖像；然后，使用算法實現對視頻的人臉檢測和跟蹤；隨后，對面部不同區域進行特征提取，并判別特征狀態；最后，根據特征狀態判別是否疲勞，對疲勞情況發出預警，提醒駕駛員及時休息，注意駕駛安全。

2 特征提取

由于駕駛員疲勞狀態的判別主要通過其面部特征區域信息分析，因此在檢測到人臉圖像的基礎上，首先需要利用不同方法提取相應區域的特征。本節分別對不同區域的特征提取方法進行深入分析，整理不同提取方法下提取到的信息，進而分析不同方法的優缺點。由于疲勞行為主要分布在眼部、嘴部和頭部，因此本文重點關注這3 個方面。

2.1 眼部區域特征提取

駕駛員在疲勞狀態下眼部會出現眨眼和長時間閉眼的現象，這些現象明顯、直觀且便于提取和判別，因此，大量學者研究眼部特征在疲勞駕駛檢測中的應用。通過對大量文獻的調研發現，當前研究中眼部疲勞狀態的判別主要通過2 種不同的方法實現：一是獲取眼部關鍵點信息，根據數學計算判別眼部狀態；二是獲取眼部感興趣區域（Region of Interest，ROI）圖像，通過算法分類判別眼部狀態。表1 整理了以面部特征點為核心的眼部特征提取方法。

表1 基于面部特征點的眼部特征提取方法Table 1 Eye features extraction methods based on facial feature points

從表1 可以看出，大多數方法使用Dlib 和多種算法檢測人臉特征點，提取眼部關鍵點直接參與眼部狀態判別。此外，文獻［24-26］中還介紹了另外的檢測方法。文獻［24］介紹的方法中使用的眼部特征信息由兩部分構成，分別是眼部關鍵點信息和由眼部關鍵點經橢圓擬合后的虹膜圖像。文獻［26］也介紹了一種眼部特征信息由兩部分構成的方法，分別是通過眼部關鍵點曲線擬合的眼部曲線和眼部曲線對應的外接圓。文獻［25］介紹的方法中眼部特征信息是眼部關鍵點經橢圓擬合后提取的虹膜圖像，通過虹膜圖像判別駕駛員眼部狀態。

在提取眼部ROI 圖像時通常需要在預先已經檢測到的人臉區域上找到眼部位置，再提取眼部ROI。在獲取到眼部ROI圖像后，通常還會進行一些后續處理，突出眼部特征，便于后續對眼部狀態進行判別。判別方法都是通過算法判別圖像上的眼部狀態。

表2 總結了近年來提取眼部ROI 的方法，并整理了對提取出的眼部ROI 圖像進行處理的方法。

表2 眼部ROI 信息提取和處理方法Table 2 Methods of eye ROI information extraction and processing

通過表2 可知，對眼部位置的定位可以通過面部特征點和多種算法獲取，進而提取眼部ROI 圖像和眼部窗口信息。表2 中主要介紹獲取眼部ROI 圖像的方法，獲取到的眼部ROI 圖像要進行后續處理才能判別眼睛狀態。文獻［31-32］介紹了提取眼部窗口信息的方法，通過信息計算眼睛張開度從而判別眼睛狀態。值得關注的是，文獻［28］方法提取眼部橢圓擬合圖像，文獻［29-30］方法則通過眼部區域像素點數目判別眼睛狀態，文獻［29］方法還提取了眼部窗口信息，綜合2 種信息判別眼部狀態。

通過上述總結發現，大部分研究成果都是對駕駛員正臉圖像上的特征進行提取。文獻［27］介紹了基于駕駛員側臉圖像的疲勞判別方法，此方法提取了駕駛員側臉輪廓線，然后提取側臉各區域特征以判別疲勞。但是，該方法停留在提取特征信息這一步，提取的特征信息在疲勞判別時的準確性和實時性等未作實驗驗證，實際可行性仍需進一步驗證。

綜上所述，當前提取眼部區域特征的技術主要分為基于面部特征點和人臉對齊算法這兩種。本節根據2 種技術整理分析了近些年眼部特征提取方法，發現提取到的特征也分為眼部關鍵點信息和眼部ROI 圖像2 類。表3 對2 種眼部特征在不同方法下的優點、缺點和適用場景進行了總結。

綜上所述，眼部關鍵點信息的優點是便于數學計算，通過數值直觀展示眼部特征信息，在判別狀態的方法上簡明扼要；缺點主要是遮擋、光照、眼睛大小等因素對數值影響較大。缺點產生的原因是特征信息反饋為數值，數字波動非常敏感，任何輕微的變化都會直接反饋在數字上。此外，不同人眼睛的差異對數值影響較大，相同數值對不同人可能代表不同含義。這些缺點導致了其更適用于正面角度和小角度下的正常光照。但也有學者研究了適用于夜間環境提取眼部關鍵點信息的方法，雖然準確率低于正常光照時的情況，但是結果已得到了提升。至于眼鏡遮擋產生的影響，當前研究成果中主要通過調節閾值標準實現對眼鏡佩戴者的眼部狀態判別。

眼部ROI 圖像中包含的眼部窗口信息等可通過數學計算判別狀態，其優點是提取方法簡單，計算結果簡明扼要；缺點是提取信息單一，眼睛大小對計算結果影響較大，判別準確率較低。眼部ROI 圖像通過算法分類判別的優點是遮擋、光照、眼睛大小等因素對判別結果影響較小，算法準確率高；缺點是提取到圖像后還需后續處理，流程更繁瑣，并且算法分類的方法對模型預訓練要求較高。在適用場景方面，眼部ROI 圖像在多角度視頻、正常光照、夜間環境、眼鏡遮擋等場景中都適用，但是在夜間環境和遮擋情況下準確率低于正常情況。

任何方法都無法在墨鏡遮擋下提取眼部特征，因此，上述方法適用場景的前提是無墨鏡遮擋。

2.2 嘴部區域特征提取

除眼部區域特征外，多種疲勞駕駛檢測方法中也會使用嘴部特征作為輔助信息來判別疲勞。因此，嘴部區域的特征信息也非常重要。本節將總結整理疲勞駕駛檢測系統中對嘴部區域特征的提取方法，分析不同方法下提取到的不同特征信息及其優缺點。

與眼部相似，嘴部特征信息也劃分為嘴部關鍵點信息和嘴部ROI 圖像。表4 整理了以面部特征點為核心的嘴部特征提取方法。

表4 基于面部特征點的嘴部特征提取方法Table 4 Mouth features extraction method based on facial feature points

通過表4 可以發現，和眼部關鍵點信息提取相似，在嘴部關鍵點信息提取的過程中，也主要使用Dlib 獲取人臉全部特征點后定位提取嘴部關鍵點信息。除Dlib 外，還可以使用多種算法模型檢測人臉特征點。

在檢測到人臉特征點之后，嘴部特征的獲取除文獻［26］外都是直接將嘴部關鍵點信息作為特征信息通過計算判別嘴部狀態。文獻［26］介紹的方法中，嘴部關鍵點信息與其眼部信息處理方法相同，也是通過擬合嘴部曲線及曲線對應的外接圓作為嘴部特征用于后續判別使用，在判別時的方法也相同。

提取嘴部ROI 圖像的方法和表2 中眼部ROI 圖像提取方法相似，通常需要在預先已經檢測到的人臉區域上找到嘴部位置，從而將嘴部ROI 圖像劃分出來。表5 總結了近年來提取嘴部窗口信息的各種方法。通過表5 可以發現，當前學者們通常使用算法模型在人臉圖像上獲取所需的嘴部位置并提取嘴部ROI 圖像或嘴部窗口信息，其方法與表2 中獲取眼部ROI 圖像和眼部窗口信息的方法相同。而且，大部分方法直接將提取到的嘴部ROI 圖像或嘴部窗口信息作為嘴部特征，少量方法使用其他信息作為嘴部特征。文獻［27］介紹了獲取駕駛員側臉嘴部區域輪廓線并作為特征的方法，其他文獻中都是獲取駕駛員正臉圖像上的嘴部特征。文獻［30］介紹了通過嘴部區域像素點數目判別嘴部狀態的方法。

表5 嘴部ROI 信息提取和處理方法Table 5 Methods of mouth ROI information extraction and processing

本節整理分析了近些年對嘴部特征提取的研究成果，發現當前提取嘴部特征的技術、提取的特征信息及其優缺點都和眼部相似。表6 對2 種嘴部特征在不同方法下的優點、缺點和適用場景進行了總結。

表6 2 種嘴部特征在不同方法下的優點、缺點及適用場景Table 6 Advantages，disadvantages and application scenarios of the two mouth features in different methods

總體來說，嘴部特征的優缺點與適用場景和眼部相似。因此，嘴部關鍵點也更適用于正面和小角度的正常光照，嘴部ROI 圖像也更適用于多角度視頻、正常光照等。兩者在夜間環境下準確率都低于正常情況。除此之外，嘴部特征要在無遮擋情況下才能提取，因此，所有適用場景的前提都是無遮擋。

每種嘴部特征的提取和判別方法都會因說話等張嘴行為而影響嘴部狀態判別的準確率。因此，在嘴部狀態判別中，將張嘴準確判別為打哈欠或說話等行為，是嘴部狀態判別的重難點。

2.3 頭部姿態特征提取

除眼部和嘴部區域的特征外，還會使用頭部姿態輔助判別疲勞。因此，頭部姿態信息也很重要。本節將總結整理頭部姿態提取方法，分析不同方法下提取到的不同信息及其優缺點。

文獻［48］介紹了人頭部姿態的變化情況，將其分為Pitch、Yaw 和Roll 3 個角度。頭部姿態的變動方向如圖3 所示。

圖3 頭部姿態的變動方向Fig.3 Change direction of head posture

在圖3 中，Pitch、Yaw、Roll 分別對應三維空間中的x、y、z軸。駕駛員的點頭行為可以理解為頭部繞x和z軸運動，對應Pitch 和Roll 軸的變化；頭部左右晃動的行為是繞y軸的運動，對應Yaw 軸變化。在疲勞駕駛檢測系統中通過計算頭部姿態在各角度上的變化，結合其他特征來判別疲勞。表7 中整理了頭部姿態提取方法和提取出的各種信息。

表7 頭部姿態提取方法和提取的信息Table 7 Head pose extraction methods and extracted information

通過表7 可以發現，學者們通常使用頭部在三維各角度的姿態變化。此外，文獻［27］介紹了獲取側臉下頜區域輪廓線以判別頭部姿態的方法，文獻［20，49］介紹了使用面部特征點計算相關數據以對應各角度變化的方法。

駕駛員頭部在三維各角度的特征提取方法是獲取到人臉特征點后，通過算法或者計算求解得出頭部姿態的變化。雖然目前在頭部姿態上的提取方法不多，但是綜合來看，大多以坐標系轉換為核心，并且在選取多角度變化上，大多選取Pitch 軸的變化來判別疲勞，這是因為Pitch 軸反映點頭行為，疲勞判別準確性最高。其中，文獻［8，14-15］介紹的方法中還選取了Roll 軸輔助Pitch 軸判別，文獻［16］介紹的方法則選取Yaw 軸輔助Pitch 軸判別，文獻［41］介紹的方法選取3 個軸的變化來判別。還有方法不使用Pitch 軸，文獻［10］選取單Yaw 軸判別，文獻［23］選取Roll、Yaw 這2 個軸上的變化判別疲勞。

本節整理分析了近些年對頭部特征提取的研究成果，表8 總結了不同特征信息在不同方法下的優點、缺點和適用場景。

表8 不同頭部特征信息在不同方法下的優點、缺點及適用場景Table 8 Advantages，disadvantages and application scenarios of different head feature information in different methods

綜上所述，因為頭部特征信息都是數值信息，所以都具有清晰直觀的優點和數字變化敏感、閾值判別易失誤的缺點，而且都是在獲取到人臉關鍵點后提取特征，適用場景都相同。

除此之外，提取的特征信息是頭部在3 個角度上的變化情況時，特征信息直接體現頭部狀態，有利于提高判別準確率；缺點是提取方法復雜、繁瑣。而特征信息是人臉關鍵點計算所得的數值信息時，因為數據為直接計算所得，所以提取更簡潔；缺點是它間接反映頭部姿態，判別準確率不夠穩定，還需進一步提升。

3 特征狀態判別

從不同特征區域提取出相應的關鍵信息后，需要對提取的信息做出判斷以得到結論，然后根據不同部位的特征結論分析駕駛員的疲勞狀態。本節分別整理總結不同特征區域對數據的判別方法。

3.1 眼部特征狀態判別

眼部特征區域要根據提取到的眼部特征信息判別眼睛的開閉狀態。在判別時由于提取的特征信息不同，判別方法也有所差異。根據特征信息類別可將判別方法分為2 種：一是根據關鍵點信息或眼部窗口信息等，采用數學計算的方法進行判別；二是根據眼部ROI 圖像等，采用不同算法進行分類判別。

3.1.1 數學計算判別

關于關鍵點信息和眼部窗口信息，通過公式計算得出相關數值，根據預先設置的閾值判斷眼睛狀態。提取出的6 個人眼關鍵點信息如圖4 所示。

圖4 眼部關鍵點信息Fig.4 Eye key point information

在圖4 中，Pi(i=1,2,…,6)為眼部6 個關鍵點的坐標信息。根據坐標信息計算得到眼部縱橫比（Eye Aspect Ratio，EAR），其計算公式如下：

為了確定眼睛在不同狀態下EAR 值的變化情況，根據駕駛員駕駛視頻進行疲勞判別實驗，實時記錄一段時間內駕駛員眼部視頻流數據的EAR 值變化情況，結果如圖5、圖6 所示，圖5 為駕駛員正常狀態下EAR 值的變化情況，圖6 為駕駛員疲勞狀態下EAR 值的變化情況。

圖5 正常狀態下EAR 值的變化情況Fig.5 Changes of EAR values under normal conditions

圖6 疲勞狀態下EAR 值的變化情況Fig.6 Changes of EAR values under fatigue conditions

從中可以看出，駕駛員眼睛閉合與張開狀態下EAR 值有顯著差異，在閉眼時EAR 值會顯著下降。在圖5 的正常狀態下，閉眼次數很少，大部分時候EAR 值在0.28～0.32 之間，只記錄到1 次閉眼，其EAR 值顯著下降至0.18 以下；在圖6 的疲勞狀態下，發生了長時間持續閉眼和多次眨眼，圖中EAR 值長時間連續低于0.15，還記錄到了3 次EAR 值下降到0.15 之下的變化。因此得出結論，EAR 值在判別眼睛開閉狀態上具有很高的參考意義，但是在當前研究中，閾值標準在不同方法中各有不同。

對于眼部窗口信息，需要計算窗口縱橫比來判別眼部狀態。眼部窗口縱橫比計算公式如下：

其中：Ymax-Ymin為眼部窗口信息中的高度；Xmax-Xmin為長度；Z為高度與長度的比值。

此外，還有研究方法［34］通過計算眼部縱向差值，根據閾值標準判別眼睛的開閉狀態。

3.1.2 算法分類判別

除數學計算的方法外，眼部ROI 圖像等根據不同算法分類判別眼睛開閉狀態。表9 總結了根據眼部ROI 圖像判別眼部狀態的方法。

表9 眼部ROI 圖像分類判別方法Table 9 Classification and discrimination methods of eye ROI images

通過表9 的總結可知，當前研究中主要通過不同算法實現對輸入眼部ROI 圖像的分類判別，最終得到眼部開閉狀態。此外，文獻［28］介紹了通過橢圓擬合方法對眼球圖像擬合，再根據由預先實驗總結的標準判斷擬合圖像狀態的方法。文獻［4］介紹的方法也不同于大部分研究，其輸入信息并非常用的眼部ROI 圖像，而是眼部特征向量。

3.2 嘴部特征狀態判別

嘴部特征狀態判別和眼部相似。嘴部區域提取到的特征信息為嘴部關鍵點信息和嘴部ROI 窗口信息，嘴部區域對兩者的判別與眼部判別也相似，即針對關鍵點信息或ROI 窗口信息，根據數學計算方法判別嘴部閉合程度。

針對嘴部關鍵點信息和嘴部ROI 窗口信息，都是利用其坐標數據根據公式計算得出數值，然后依據設置的不同閾值來判斷嘴部閉合程度。提取出的嘴部關鍵點信息如圖7 所示。

圖7 嘴部關鍵點信息Fig.7 Mouth key point information

在圖7 中，Mi(i=1,2,…,6)為嘴部6 個關鍵點的坐標信息。根據圖中關鍵點坐標計算得出嘴部縱橫比（Mouth Aspect Ratio，MAR），其計算公式如下：

為了確定在不同狀態下嘴部MAR 值的變化情況，根據駕駛員駕駛視頻進行嘴部疲勞判別實驗，實時記錄一段時間內駕駛員嘴部視頻流數據的MAR值變化情況，結果如圖8、圖9 所示。圖8 為駕駛員正常狀態下MAR 值的變化情況，圖9 為駕駛員疲勞狀態下MAR 值的變化情況。

圖8 正常狀態下MAR 值的變化情況Fig.8 Changes of MAR values under normal conditions

圖9 疲勞狀態下MAR 值的變化情況Fig.9 Changes of MAR values under fatigue conditions

從中可以看出，駕駛員在嘴部閉合和張開狀態下MAR 值具有顯著差異，且不同狀態下嘴巴的張開程度也不同，如在說話、吃東西和打哈欠狀態下嘴巴張開程度都不一樣，在MAR 值上也體現出了差異。圖8 中正常狀態下MAR 值雖然因說話發生了提高，但其最高值未超過0.55；圖9 中有說話和打哈欠2 種情況造成的MAR 值提升，其中打哈欠時MAR 值超過了0.8，說話時MAR 值最高不超過0.6。綜合2 張圖可以明顯發現，在說話和打哈欠的狀態下MAR 值均會顯著提升，但是說話時MAR 值的提升程度不足打哈欠的一半，因此，可以根據MAR 值判斷嘴部張開程度，從而判別疲勞狀態。但是在當前研究中，閾值標準在不同方法中也不同。

與眼部窗口信息相同，對于駕駛員的嘴部窗口信息，同樣計算窗口的縱橫比，通過與閾值的對比來判定嘴部狀態。嘴部窗口縱橫比計算公式如下：

其中：Ymax-Ymin為嘴部窗口信息中的高度；Xmax-Xmin為長度；Z為高度與長度的比值。

3.3 頭部姿態狀態判別

當駕駛員處于疲勞狀態時，頭部通常表現為頻繁點頭和姿態異常。通過表7 的總結可知，多數方法都會觀察頭部姿態在Pitch 軸上的變化，通過點頭情況判別疲勞狀態。但是，文獻［48］發現正常情況下頭部姿態的變化范圍有一個固定值，研究后給定了一般頭部在3 個角度上的最大變化范圍。因此，很多學者通過多角度變化判斷頭部姿態的異常情況，從而判斷駕駛員的疲勞狀態。

在頭部姿態的判別中，不同方法中判別疲勞狀態的閾值標準設定也有所不同。如文獻［12］方法判別點頭的Pitch 軸變化標準為30°，而文獻［14］方法中Pitch 軸的變化標準為25°。因此，在參考他人研究成果的同時，還要通過預先實驗確定判別標準，保證疲勞判別的準確率。

4 疲勞判別

在疲勞狀態下，眼部、嘴部和頭部都可能會出現一些癥狀。因此，疲勞狀態的判別就是通過眼部、嘴部和頭部姿態信息進行判別。部分研究通過單特征即可分析判別疲勞，但是大多數還是根據多特征信息綜合判別疲勞。本節首先總結單特征疲勞判別方法，然后整理分析多特征融合的疲勞判別方法。

4.1 單特征疲勞判別

單特征判別疲勞根據提取到的駕駛員特征分為單眼部特征疲勞判別、單嘴部特征疲勞判別和單頭部姿態疲勞判別。

4.1.1 眼部特征疲勞判別

通過駕駛員眼部特征判別疲勞采取的方法是對駕駛員的眨眼頻率和眼部閉合時間進行計算。利用文獻［51］經過大量實驗和驗證提出的測量疲勞的PERCLOS 參數來判別駕駛員疲勞程度，是當前根據眼部特征判別疲勞最可靠、最有效、最常用的方法。PERCLOS 指單位時間內閉眼時間占總時間的百分比，計算方法如下：

在PERCLOS 方法中，有3 種較為常用的標準，分別為P70、P80、EM。EM、P70、P80 分別指當眼睛閉合程度超過50%、70%、80%時即看作眼睛閉合。其中，P80 最為常用，在多篇通過眼部特征判別疲勞的文獻中都使用了P80 標準作為指標。

眨眼頻率也可作為疲勞判別的指標，其計算公式如下：

其中：NTB是單位時間內的眨眼次數；NT是單位時間內的總幀數；fB是單位時間內的眨眼頻率。

最長持續閉眼時長也經常作為一個判別指標，其通過記錄連續閉眼幀數獲取。

根據調研發現，不同方法中判定標準不盡相同，但是均采用了PERCLOS、眨眼頻率、最長持續閉眼時長等指標中的一個或多個來判別疲勞狀態。而且，大部分方法通過眼部特征結合其他特征來綜合判別疲勞，僅少數方法是通過單眼部特征進行判別，包括文獻［28-29，31，34，52-56］中的方法。

4.1.2 嘴部特征疲勞判別

嘴部特征判別疲勞是通過對駕駛員在單位時間內打哈欠次數、頻率等數據的計算來判別疲勞。打哈欠頻率的計算公式如下：

其中：NTY是單位時間內打哈欠的次數；NT是單位時間內的總幀數；fY是單位時間內打哈欠的頻率。

單位時間內打哈欠的幀數占總幀數的百分比可用式（8）表示：

最長持續打哈欠時長有時也會作為嘴部的疲勞判別指標，通過記錄連續張嘴圖像幀數獲取。

通過調研大量文獻發現，嘴部特征通常是輔助眼部特征來判別駕駛員疲勞。嘴部特征雖然不是主要成分，但是加入后準確率得到了提升。在2020年后發表的研究中，很多都綜合了眼部與嘴部的特征來判別疲勞，由此可見嘴部特征在疲勞判別中的重要性。

4.1.3 頭部姿態疲勞判別

駕駛員疲勞時通常會伴隨頻繁點頭和頭部傾斜、晃動等現象。因此，頭部姿態疲勞判別時可以根據單位時間內點頭次數、點頭頻率、姿態異常頻率等指標進行判斷。點頭頻率的計算公式如下：

其中：NTN是單位時間內點頭的次數；NT是單位時間內的總幀數；fN是單位時間內點頭的頻率。

姿態異常頻率根據式（10）計算所得：

其中：NTP是單位時間內姿態異常的次數；fP是單位時間內姿態異常的頻率。

頭部姿態一般也僅作為輔助標準，結合其他區域特征來共同判別駕駛員疲勞狀態。

4.2 多特征融合疲勞判別

由于多特征融合的疲勞判別方法比單特征判別方法考慮的因素更多、更全面，因此近年來更多的疲勞駕駛檢測方法是基于多特征融合來判別的。本節對不同特征的融合判別進行深入分析，研究各種方法的內在聯系與差異。

4.2.1 眼部與嘴部特征融合

表10 總結了一些眼部與嘴部特征融合的疲勞判別方法，在不同判別方法下使用的判別疲勞特征信息有所差異。

表10 眼部與嘴部特征融合的疲勞判別方法Table 10 Fatigue discrimination method based on fusion of eye and mouth features

在融合眼部特征與嘴部特征判別疲勞的方法研究中，都是根據眼部和嘴部特征判別疲勞的多種參數，綜合判別駕駛員疲勞狀態，主要利用眼部的PERCLOS 參數、眨眼頻率、眨眼次數和嘴部的打哈欠頻率、打哈欠次數。其中，大多數研究還停留在綜合考慮階段，只有少數文獻介紹了將多特征融合落實到具體數學公式上的疲勞判別方法，這種落實在具體數學公式上的疲勞判別方法更具直觀性，將來更具研究價值。

4.2.2 眼部與頭部特征融合

眼部特征與頭部姿態融合的疲勞判別研究比較少見，當前僅文獻［23］使用眼部特征結合頭部姿態綜合判別駕駛員疲勞狀態，它根據眼部的PERCLOS參數、眨眼頻率融合頭部的點頭頻率和姿態異常頻率，綜合判斷駕駛員疲勞狀態。

4.2.3 眼部、嘴部和頭部特征融合

眼部、嘴部和頭部3 種特征信息融合的疲勞判別方法在近年來有了少量的研究成果，其與眼部、嘴部特征融合相似，在眼部、嘴部融合的基礎上結合頭部特征判別疲勞。

表11 總結了當前眼部、嘴部、頭部3 種特征融合的疲勞判別方法。

表11 眼部、嘴部和頭部特征融合的疲勞判別方法Table 11 Fatigue discrimination method based on fusion of eye，mouth，and head features

可以發現，3 個特征融合和2 個特征融合相似，主要都是綜合考慮多種參數來判別駕駛員疲勞狀態。只有文獻［16，26］方法通過數學公式加權計算多特征參數的綜合疲勞指數，這種體現在具體數學關系上的方法相較于其他方法更具參考性，但是各參數對應的具體權重還需進一步研究。

4.3 不同特征疲勞判別分析

在當前研究中，眼部、嘴部和頭部特征成為疲勞判別的重要標準。在疲勞判別時，3 種不同特征發揮的作用不同，對判別結果產生的影響也不同。表12針對當前研究成果總結了3 種特征單獨使用和多特征融合的優缺點及適用范圍，并分析了其對疲勞判別產生的影響。從表12 可以看出，多特征融合判別較單一特征判別方法更復雜，流程更繁瑣，算法理解難度和模型預訓練要求都更高。雖然這些缺點導致多特征融合的實現難度高于單一特征，但是多特征融合較單一特征考慮得更加全面，準確率更高。因此，多特征融合成為近年來疲勞判別的重要研究方向。眼部、嘴部和頭部這3 種特征有一些共性，都受光照影響較大，但是憑借多年的技術進步和研究，也都實現了夜間環境下的疲勞判別，只是準確率仍有提升空間。3 種特征提取方法和疲勞判別方法也都較為成熟，強有力的技術支撐使得各種疲勞判別方法都易實現。

在3 種特征中，眼部特征對疲勞判別最為重要，這主要是由于駕駛員容易出現佩戴口罩和帽子的情況，對嘴部和頭部特征的提取影響更大，存在提取特征失敗的可能。而眼部特征在受遮擋情況下大多只是因為佩戴眼鏡而影響準確率，少數情況下才會因配戴墨鏡而使得特征提取失敗。適用場景方面也充分證明了這一點，眼部特征只需保證無墨鏡遮擋，其他都要保證完全無遮擋。因此，在面部特征中眼部特征對疲勞判別最為重要，其他特征主要用于輔助眼部特征。

5 未來展望

當前學者們在基于面部多特征融合的疲勞駕駛檢測領域開展了大量研究工作，并得到了一定成果，但是在以下方面還需要進行發展或改進：

1）近年來，多特征融合較單特征方法更流行，其中，融合眼部與嘴部特征較融合眼部和頭部特征成果更多，融合3 種特征的方法也逐漸展示出成果。因此，本文認為基于多特征融合判別疲勞仍是該領域的熱點，值得進一步研究。

2）在多特征融合的疲勞判別方法中，有部分使用多特征加權計算來判別疲勞，但是當前成果較少，主要還只是對多特征的綜合考慮，未體現到具體的數學關系上。而且，研究成果中計算多特征指標的權重各有不同，難以確定最優結果。因此，通過數學公式體現多特征與疲勞之間的關系并確定合適的權重，需要進行探索。

3）當前研究對現實中可能存在的問題考慮不夠充分。在現實中，駕駛員車內攝像頭位置是隨機的，圖像并非都是正面的，而當前成果主要是對正面圖像進行處理與判別，對側面圖像的研究很少，僅文獻［27］意圖對側面圖像提取特征并判別疲勞，但其止步于提取側臉特征信息，未通過實驗驗證其特征判別疲勞的準確性。因此，通過駕駛員側面判別疲勞值得進一步探索。

4）當駕駛員頭部姿態快速變化、處于大角度的側面狀態或佩戴墨鏡時，當前方法容易出現無法追蹤到人臉或是無法檢測到人臉關鍵點的情況。因此，提高在各種情況下人臉追蹤和人臉關鍵點定位技術的穩定性是一個重要的研究方向。

6 結束語

基于面部多特征的疲勞駕駛檢測方法對駕駛員具有非侵入性的優點，便于在實際中應用。本文調研大量疲勞駕駛檢測方法的相關研究，總結分析依據不同面部特征判別疲勞的方法，歸納不同特征在疲勞駕駛狀態判別時使用的參數，介紹基于單一特征和多特征融合的疲勞判別方法。同時，總結當前基于面部多特征融合的疲勞駕駛檢測領域面臨的一些挑戰。未來可重點關注多特征融合的疲勞判別和駕駛員側面狀態下的疲勞判別，推動疲勞判別方法在實際中的應用和發展。