基于多模態信息聯合判斷的駕駛員危險行為監測系統

李春賀，陶 帥

(中國礦業大學(北京)管理學院，北京 100083)

隨著中國經濟的飛速發展，機動車保有量呈現出爆發式增長的態勢[1]。目前機動車已經成為交通出行中一項必不可少的工具，機動車的廣泛使用，極大地提升了公眾出行的效率，但是隨之而來交通安全問題也日益增多。報告顯示[2]，自從2015年初至2019年底，中國共出現超過600萬起各類交通事故，導致直接經濟損失高達259億元人民幣；據統計，約有80%的交通事故與駕駛員危險駕駛行為直接相關[3]。例如駕駛員在駕駛過程中出現接打手機等行為，會嚴重地干擾駕駛員的注意力，從而無法專注地觀察前方和周圍的路面狀況，一旦出現突發情況，駕駛員往往無法及時做出正確的反應，從而導致交通事故的產生，引起生命財產損失。因此，對駕駛員的駕駛行為進行實時監測，及時發現可能出現的危險行為并做出相應的預警和提示，可以避免部分事故的產生[4]。所以，對駕駛員危險行為監測系統的研究具有重要的價值和意義。

目前已有部分工作分別從生理信號、視覺等不同角度來解決這一問題；如文獻[4]提出了一種基于雙目視覺的方法來檢測駕駛員是否出現分神等危險狀態，這種方法雖然檢測速度較快，但是準確率較低，并且容易受到光照變化的影響；文獻[5]提出基于面部和手部特征聯合分析的駕駛員疲勞狀態檢測算法，該算法通過支持向量機(support vector machine，SVM)構建分類模型，具有較高的識別精度，但是模型的泛化性較差，無法大規模使用；文獻[6]借助深度神經網絡強大的特征提取能力，設計了一個基于人臉特征的駕駛員疲勞檢測模型，測試結果顯示該方法精度高、泛化性強，但是計算量較大，對運行設備的算力有較高的要求。文獻[7]設計了一種級聯型深度神經網絡模型，采用超分辨率測試序列(visual geometry group，VGG)模型來對駕駛員常見的9種分神動作進行檢測，但是該方法忽略了駕駛員在駕駛過程中的情緒、視線、危險動作等信息，因此無法覆蓋所有可能出現的情況。文獻[8]借助現有的Dlib和OpenCV模型設計了一種駕駛員危險行為檢測算法，這種算法設計簡單，但是魯棒性較差，并且Dlib中的模型無法訓練，因此難以在實際中使用。針對現有工作所存在的問題，現從危險動作檢測、情緒識別、視線估計等多個方面進行深入的研究和分析，設計一套可以聯合使用多模態信息的駕駛員危險行為監測系統。

1 監測系統

1.1 問題探究

從原理上進行分析，現有的駕駛員危險行為監測系統主要可以分為3種[4]：基于駕駛員生理參數的監控方法、基于駕駛員駕駛狀態的監控方法和基于計算機視覺的監控方法。其中基于駕駛員生理參數的監控方法的判斷精度較高，但是該方法需要駕駛員佩戴多種傳感器，并且會對駕駛員的操作產生一定的阻礙，因此該方法大多應用于學術研究方面，在實際的使用場景中很難大規模推廣使用；基于駕駛行為的監控方法通過使用多種傳感器收集駕駛員的行為方法，并通過算法進行分析，目前這種方法應用較多，但是這種方法靈敏度和精度較差，只有駕駛員出現明顯危險駕駛行為時才進行預警[9]；基于計算機視覺的監控方法通過攝像頭采集駕駛員的駕駛狀態，使用相應的算法直接從視覺的角度對駕駛狀態進行評估和判斷，該方法具有硬件設備簡單、處理速度快、識別精度高、易于升級等優點，正在被廣泛地關注和研究，但仍然存在多項急需解決的問題。

(1)訓練數據缺失。基于計算機視覺的駕駛員危險駕駛監控系統的核心是其中的識別模型，該模型需要具有較強的泛化性和穩定性。但是在駕駛員監控任務中，所需要處理的場景多種多樣，訓練數據無法完全覆蓋到所有的情況，導致模型在某些極端的情況下出現較多的漏檢和誤檢。

(2)傳感器模式單一。現有的方法大多采用可見光攝像頭作為圖像采集傳感器，但是可見光傳感器非常容易受到環境光照強度的影響，在光照較差的情況下，有可能導致監控系統無法正常工作，造成一定的安全隱患。

(3)判別依據較少。現有的監控系統大多是通過分析駕駛員眨眼頻率來判斷是否出現疲勞駕駛行為；在實際場景中，危險駕駛行為不僅僅只有疲勞駕駛一種，還包括使用手機、分神、極端情緒等多種。

(4)模型的運行效率。基于視覺特征的方法需要對圖像數據進行處理，因此算法的時間復雜度和空間復雜度較高，對部署設備的硬件要求較高，導致實際使用成本增多。

為了解決上述的問題，提出了一種基于多模態信息聯合判斷的駕駛員危險駕駛行為監測系統。在系統中，設計了一種輕量化的深度學習模型，該模型使用多任務輸出的方式進行構建，使用一個模型同時完成“疲勞檢測”“視線估計”“情緒識別”等多個任務，不但壓縮了模型的體積，并且提高了運行速度。此外，為了解決目前公開數據集訓練樣本場景單一和分布不均衡等問題，在項目中采集和標注了大量的數據，用于模型的訓練。

1.2 危險駕駛行為分類

為了能夠更加精確地對駕駛員的駕駛行為進行監控，對危險駕駛行為從“人臉屬性”和“動作屬性”兩個方面進行了更加細致的分類。其中人臉屬性主要包括分神、疲勞和極端情緒；動作屬性主要包括未系安全帶、使用手機、喝水和吸煙；具體如表1所示。

從表1中可以看出，人臉屬性中的3種具體行為無法直接進行判斷，因此需要使用間接的方式來進行處理；如對于分神這個危險行為，算法可以通過視線估計的方法來判斷駕駛員是否正處于分神的狀態。與人臉屬性中的危險行為不同，動作屬性中的4種危險行為可以使用目標檢測算法來直接進行檢測和判斷。

表1 駕駛員危險動作定義

2 研究方法

為了解決現有的駕駛員危險行為監控系統中所存在的傳感器模式單一、判別依據較少以及模型實時性較差等問題，設計了一種基于多模態信息聯合判斷的駕駛員危險行為監測系統，該系統中的核心識別算法完全基于深度神經網絡技術實現，具有較好的泛化性和較高的識別精度[10]。

2.1 基于人臉屬性的危險動作識別

基于人臉屬性的駕駛員危險動作識別算法相對復雜，因為其中的分神、疲勞駕駛以及極端情緒都無法通過人臉圖片直接獲取，需要任務的特點來間接判斷。

2.1.1 人臉關鍵點定位算法

人臉關鍵點定位算法是基于人臉屬性危險動作檢測的核心，其中分神和疲勞駕駛兩個任務都需要在人臉關鍵點定位的結果之上進行分析和處理。人臉關鍵點定位是指從一張人臉圖片中定位出一系列具有特殊語意信息的點，如鼻尖、嘴角、眉梢等[11]。常用的人臉關鍵點定位技術主要分為兩類，一種是基于坐標回歸的方法，另外一種是基于熱圖回歸的方法。基于坐標回歸的人臉關鍵點定位方法速度快但精度略差；基于熱圖回歸的方法精度高但是速度慢，并且模型的參數量和計算量遠大于基于坐標回歸的方法，不適合應用于實際的產品中。因此，在所提出的系統中，選擇基于坐標回歸的人臉關鍵點定位方法。

為了提升基于坐標回歸方法的精度，提出了一種全新的損失函數(loss function)，這種損失函數與常用的l1loss、l2loss不同，該損失函數在模型訓練的過程中，使深度神經網絡增加對誤差較小點的關注，減少對誤差較大點的關注，使模型可以更加快速地收斂，具體公式為

(1)

式(1)中：x為輸入數據；ω為損失函數中的非線性區域部分；為非線性區域的曲率半徑；C為一個常數項，計算公式為

(2)

為了尋找最優的參數組合，進行了大量的對比分析實驗，發現當ω=10,=2時，可以獲得最優的實驗結果，因此在實際訓練中選擇上述的參數組合。

人臉關鍵點定位的結果如圖1所示。從圖1可以看出，本系統所使用的人臉關鍵點定位算法可以精確地從人臉圖片中檢測出68個關鍵點的位置坐標。

圖1 人臉關鍵點模型定位結果

2.1.2 駕駛員分神檢測

駕駛員在駕駛過程中出現分神行為具有頻發性和短暫性，非常容易引起嚴重的交通事故。目前尚無法直接從單張圖中來直接判斷駕駛員是否處于分神狀態的技術，因此為了完成這一任務，需要從其他角度進行間接的處理。常用的處理方式為基于頭部姿態估計的方法和基于視線估計的方法。

基于頭部姿態估計的方法是指通過判定頭部朝向的歐拉角(pitch、yaw、roll)來間接地估計駕駛員時候處于分神狀態；這種方法通過特定的人臉關鍵點之間的幾何分布求解出姿態參數，因此算法的精度嚴重依賴于人臉關鍵點的定位結果，一旦人臉關鍵點定位出現偏差，將會對頭部姿態估計的結果產生嚴重的干擾，從而影響駕駛員分神檢測的準確性。

基于視線估計的方法可以有效地解決上述的問題，該方法直接使用眼部區域的圖片作為輸入，擬合出視線的歐拉角。眼部區域只需要使用人臉關鍵點的定位結果進行粗略的裁剪，從而極大地降低了駕駛員分神檢測對人臉關鍵點結果的依賴程度，提升了算法的穩定性和泛化性。眼部區域如圖2所示。

圖2 裁剪后眼部區域圖片

將經過裁剪和對齊的眼部區域圖片送入卷積神經網絡模型中，使用深度學習的方法可以通過回歸的方法直接計算出視線的朝向，從而判斷出駕駛員是否處于分神狀態。

2.1.3 駕駛員疲勞狀態識別

駕駛員疲勞駕駛是引發各類交通事故的主要原因，因此對駕駛員的駕駛狀態進行實時監控，并在出現疲勞駕駛的時候及時給出報告和預警，對減少交通事故具有重要的意義。

疲勞駕駛行為無法直接進行度量，通常情況下采用眨眼頻率和Perclose算法來進行間接判斷。因此，該模塊的核心問題轉變成了如何精確地判斷駕駛員睜閉眼的狀態；傳統的方法大多采用眼部關鍵點之間的相對距離來判斷睜閉眼的狀態，但是這種方法的精度會嚴重的依賴于關鍵點的定位精度，因此準確性較差。為了解決這一問題，設計了一種基于卷積神經網絡的睜閉眼判斷模型，為了提高算法的運行效率，模型中使用深度可分離卷積代替原有的標準2D卷積操作。通過模塊輸出駕駛員在單位中閉眼的次數，然后計算Perclose[4]，即

(3)

式(3)中：n為單位時間內檢測到閉眼的總次數；N為總共檢測的幀數。

2.1.4 駕駛員情緒識別

駕駛機動車時需要駕駛員以平和的心態來應對各種可能出現的突發事件。當駕駛員處于焦慮、煩躁、沮喪等極端負面情緒的時候，容易產生沖動的行為，因此這種情況并不適宜駕駛機動車。

現有的駕駛員監控系統并沒有考慮駕駛員在駕駛過程中的情緒變化，因此存在一定的安全隱患。為了解決這一問題，使用深度學習的方法設計了一種情緒識別算法，該算法使用人臉圖像作為輸入，借助神經網絡模型對人臉中的表情特征進行建模，從而精確地識別出駕駛員的情緒[12]。

2.1.5 人臉屬性整體解決方案

基于人臉屬性的危險動作檢測方案中，需要完成關鍵點定位、視線追蹤、疲勞駕駛判斷以及情緒識別等多個任務。如果為每一種任務單獨設計一個模型，將會極大地增加系統的運算量，導致處理速度下降。因此，借鑒深度學習中多任務學習模式，設計了一種輕量化的深度學習模型，該模型可以使用一個特征提取網絡完成多個任務。根據人臉屬性中的4個不同的任務，將人臉關鍵點定位任務和情緒識別兩個任務相結合使用一個深度學習網絡直接輸出識別結果。視線追蹤與疲勞駕駛判斷需要根據眼部區域的圖片進行判斷，因此這兩個任務需要在人臉關鍵點的結果的基礎之上進一步的進行處理。基于人臉屬性的危險動作檢測方案的總體流程如圖3所示。

圖3 基于人臉屬性的系統框架

駕駛員危險行為監測系統需要在嵌入式硬件設備上運行，并對駕駛員的駕駛過程進行不間斷的監控。大部分嵌入式設備的由于CPU架構等原因，算力和存儲空間相對較小，因此在系統中使用深度可分離卷積來代替標準的2D卷積，并對模型的Block結構進行重新設計，將原本用于降采樣操作的Max Pooling結構使Stride=2的3×3的卷積層代替，加速模型前向傳播速度。為了解決ReLU在模型訓練時導致的神經元退化現象，使用Leaky ReLU作為輕量化模型的激活函數。網絡的具體結構如表2所示。

表2 輕量化模型具體結構

關鍵點定位模塊和情緒識別模塊是兩個平行的結構，特征提取網絡直接相連。

2.2 基于動作屬性的危險動作識別

與基于人臉屬性的危險動作識別不同，基于動作屬性的危險動作檢測可以使用一種統一目標檢測框架來處理。常用的目標檢測算法主要分為單階段目標檢測算法和雙階段目標檢測算法，雙階段目標檢測算法如Faster-RCNN、RetinaDet等，這種方法檢測精度高，但是實時性較差、體積相對較大，很難直接在實際項目中使用。單階段目標檢測算法直接使用模型輸出檢測框的相對位置和分類信息，在保證檢測精度相對較好的情況下，極大地提升了處理速度。根據項目的實際需求，在本系統中選擇單階段目標檢測算法YOLOv3作為基礎框架進行改進和優化[13]。

YOLOv3[14]是一種常用的端到端的單階段目標檢測模型，算法使用DarkNet-19作為特征提取網絡，借助特征金字塔來融合高層的語意信息和低層的細節信息，實現快速目標檢測。但是原始的YOLOv3仍然存在一些缺點，如：對小目標的檢測精度較差，DarkNet-19特征提取網絡的體積較大，不適于在移動端進行部署[15]。

為了解決上述問題，將Non-Local注意力機制引入到目標檢測框架中，該模塊可以對全局信息和局部信息進行差異化信息融合，提高了模型的特征提取能力，優化了模型對小目標的檢測精度。此外，將原有的DarkNet-19換成ShuffleNetV2，既降低了模型的參數量和計算量，同時維持了模型的特征提取能力。

2.3 系統總體框架

所提出的基于多模態信息聯合判斷的駕駛員危險行為監測系統包括基于人臉屬相的駕駛員危險動作識別算法和基于動作屬性的駕駛員危險動作識別算法。系統的總體框架圖如圖4所示。

圖4 系統總體架構

3 實驗分析

在本系統中需要設計和訓練多個深度學習模型，故對訓練過程和對比實驗進行具體的分析。

3.1 數據庫構建

為了解決適用于駕駛員危險行為檢測的數據量小、場景覆蓋不足等多種問題，在本項目中，構建了一個包含10萬張圖片的駕駛員危險行為數據集。數據集采集環境為真是車內環境，包含多種車型如轎車、卡車、商務車以及運動型多用途汽車(sport utility vehicle,SUV)等。采集人群包含多個年齡段，覆蓋多個時間以及多種行為。采集設備為可見光和雙目紅外攝像頭，分辨率為640×480。為了解決單一攝像頭在拍攝過程中存在視覺盲區這一問題，數據會同時從左側A柱上方、中控臺上方以及后視鏡3個位置同時進行采集。數據標志內容包括68個人臉關鍵定位置坐標、情緒、視線朝向、安全帶位置、以及多種不安全行為類別。

3.2 實現細節

模型的訓練時使用Adam進行優化，初始學習率為0.001，批次處理(batch size)是256，一共訓練100個epoch，每隔30個epoch學習率減小為原來的1/10。模型使用4張Nvidia GTX 1080Ti顯卡進行訓練，BatchNorm層使用Syncchronized BN技術進行優化。算法使用平均精度均值(mean average precision，mAP)、精確率、召回率以及錯誤率作為評價指標。

3.3 實驗結果分析

由于目前沒有任何一種駕駛員危險動作監控系統可以對所提出的各項指標同時進行檢測；因此，將分別設計對比實驗與現有的方法進行對比。

3.3.1 人臉關鍵點定位實驗對比

人臉關鍵點定位是系統的核心，該部分的定位結果的精度將會對后續的分神檢測、疲勞狀態判斷產生較大的影響。將所提出的關鍵點定位算法與常用的MTCNN[16]、RAR[17]和TCDNN[18]3種方法進行比較，使用歸一化均方誤差(normalized mean square error，NMSE)作為評價指標，具體結果如表3所示。

表3 人臉關鍵點檢測精度結果對比

從表3可以看出，所提出的關鍵點定位算法精度最高，并且運行速度快，模型體積小，適用于實際項目中。

3.3.2 情緒識別實驗對比

表4是情緒識別模型與常用的情緒識別算法性能的對比結果，其中使用準確率進行評價，所對比的方法有VGG-Face和AlexNet。所需識別的表情包括平和、高興、悲傷、憤怒和焦慮。

表4 情緒識別實驗對比結果

從實驗結果可以看出，所設計的情緒識別算法在5種情緒識別準確率上都要優于現有的算法，并且情緒識別模型與人臉關鍵點定位模型公用一個特征提取網絡，有助于降低系統的整體運算量，提升運行效率。

3.3.3 睜閉眼狀態判斷與視線估計實驗

駕駛員在行駛過程中是否出現疲勞和分神兩種危險駕駛行為，很難直接使用算法進行識別，因此需要使用其他的指標輔助判斷。在本文系統中使用睜閉眼的頻率來表征駕駛員是否出現疲勞駕駛；使用視線朝向來判斷是否出現分神行為。睜閉眼判斷和視線估計使用一個多任務模型同時進行輸出。表5是睜閉眼實驗對比結果，其中使用精確率和召回率作為判斷指標。表6是視線估計算法的實驗對比結果，使用相對誤差作為度量指標。

表5 睜閉眼判斷實驗對比結果

表6 視線估計實驗對比結果

從對比結果中可以看出，所使用的睜閉眼識別算法和視線估計算法的精度明顯優于現有的常用的方法。

3.3.4 動作檢測實驗對比

為了證明系統中所使用所提出的目標動作檢測算法的可靠性和穩定性，與常用的目標檢測算法(SSD、YOLOv3等)進行了對比。因為實驗中所需監測的類別較多，所以選擇平均精度均值mAP作為評價指標。具體實驗結果如表7所示。

表7 動作檢測結果

從實驗結果中可以看出，所提出的基于Attention的目標檢測算法在性能上明顯優于常用的目標檢測模型的結果，并且在小目標的檢測精度上更好。

3.4 實驗結果可視化

為了更加直觀地分析系統的性能，圖5展示了部分測試結果。

圖5 可視化結果

從可視化結果中可以看出，系統能夠準確地識別出監控畫面中是否出現了危險駕駛行為。

4 系統集成

為了將所提出的駕駛員危險行為監測系統應用到實際中，將上述的多個模塊進行集成，開發了一套可以用于實際情況的系統，系統界面如圖6所示。

圖6 產品運行畫面

所提設計的系統目前已經在國內某大型汽車制造商的多款產品中進行實驗性調試，在嵌入式設備中的實際測試速度為81 fps，可以滿足對駕駛員的實時這一需求。在實際行駛場景下，經過多次測試和分析，所設計的系統對駕駛員危險動作檢測準確率為96.2%，誤檢率為1.6%，漏檢率為2.2%，符合實際項目需求。

5 結論

提出了一種基于多模態信息融合的駕駛員危險行為監測系統，該系統使用了深度學習、人工智能等先進技術，對駕駛員的駕駛行為進行實時監測。所提出的系統通過頭部姿態、視線估計、情緒識別以及動作檢測等從多個角度全面分析，彌補了現有駕駛員監測系統存在的缺陷。此外，將所提出的系統進行了產品化，目前已經完成了實際測試，系統的識別精度、運行效率均已達到要求，即將商業化量產。