基于深度學習的疲勞駕駛檢測算法研究

摘要：針對疲勞駕駛檢測模型需要的實時性與輕量性，在SSD的基礎上提出了SSD-MA網絡作為人臉部件檢測網絡。該網絡通過替換原SSD主干網絡為MobileNetv3，使得模型參數量驟減，加上AFF注意力特征融合了不同尺寸的特征圖，進一步提升了對人眼小目標的檢測性能，并結合疲勞參數Peclos可以準確地輸出被測人員的疲勞狀態。經實驗驗證，SSD-MA在驗證集上的mAP值達到了96.9%，較原SSD-300提高了5%，網絡整體體積縮減了89%。

關鍵詞：深度學習；SSD-300；疲勞檢測；MobileNetV3；多尺度特征融合

中圖分類號：U472.9" 收稿日期：2023-10-07

DOI：10.19999/j.cnki.1004-0226.2023.12.026

1 前言

疲勞駕駛是指駕駛人由于長時間的連續駕駛、睡眠不足、身體疲勞等原因而導致反應遲鈍、注意力不集中等癥狀的駕駛行為。這種行為會增加交通事故的風險，因此被視為一種安全隱患。

王小玉等[1]首先利用灰度積分投影對人眼進行粗定位，再用自適應提升算法檢測人臉，最后借助2個疲勞參數綜合判斷駕駛員的疲勞狀態。

李昭慧等[2]提出一種基于改進YOLOv4算法的疲勞駕駛檢測，在框架中的特征金字塔前后增加卷積，提高對深度特征的提取，引入空洞卷積增加感受野，在最后測試中達到了97.29%的mAP。

張博熠等[3]首先通過單階段人臉檢測器RetinaFace進行人臉關鍵部位提取，再通過眼嘴特征判斷網絡EMSD-Net實現了對疲勞特征的分類，最后結合閉眼百分比、持續閉眼時間和持續呵欠時間判定疲勞狀態。

婁平等[4]通過改進MTCNN[5]圖像金字塔的固定縮小比例和用Ghost模塊替換AlexNet中卷積操作大幅降低了網絡的參數量實現了檢測網絡的輕量化。

李泰國等[6]在選擇特征問題上融合了駕駛員面部和身體的特征，通過建立多組疲勞特征計算其離散程度，再將其輸入LSTM網絡進行分類訓練達到疲勞檢測目的。

綜上，目前基于駕駛員面部特征的疲勞檢測手段多是先由目標檢測算法進行人臉特征提取，然后結合疲勞參數的計算實現疲勞狀態檢測。傳統機器視覺方法檢測精度有限，深度學習的方法又存在訓練困難、移植性差等弊端。本文針對人臉特征提取步驟中的目標檢測網絡進行優化，提出了輕量型人臉部件檢測網絡SDD-MA。該網絡能在保證精度的前提下大幅減小模型的參數量，為基于深度學習的疲勞駕駛檢測模型在移動端等邊緣設備上的移植提供了可選擇的方案。

2 SSD目標檢測算法

SSD-300[7]作為one-stage目標檢測算法的代表作，最早是在2016年的ECCV上由Wei liu提出的，目的是為了完成通用物體檢測任務。與Two-Stage檢測算法不同，SSD不需要執行先生成候選框再進行回歸和分類任務這樣的步驟，而是采用類似Faster-RCNN[8]中Anchor的概念，通過在主干網絡提取的特征圖上設置Prior Box，實現了端到端的訓練。具體來講，原SSD選用VGG-16作為back-bone，將VGG-16最后兩個全連接層FC6、FC7替換成了卷積層，并在此之后又新增了額外的4個層，分別是Conv8_2、Conv9_2、Conv10_2、Pool11，如此進行連續的下采樣。最終，主干網絡一共提取了6個不同尺寸的特征圖作為Detections的輸入。SSD-300網絡結構如圖1所示。

3 SSD算法的改進

3.1 改進SSD-MA的總體框架

SSD-300主干網絡的參數量占了總參數量的80%左右，這也是本文選擇用MobileNetv3去進行替換的原因。同時，SSD-300的多尺寸特征圖與特征金字塔[9]類似，淺層特征圖的分辨率高，對被測目標的局部信息敏感，特征表達相對深層來說更加簡單，其中主要包括一些基礎的邊緣、紋理等特征。而深層特征圖可以包含更高級的語義信息，例如物體的形狀、姿態和類別等。基于這些特點，融合不同尺寸的特征圖能提升對小目標的識別效果，故在MobileNetv3的第13個卷積層和第14個卷積層提取的特征圖做特征融合時加入AFF結構，以求得對小目標更好的檢測效果。由此所得到的SSD-MA網絡結構如圖2所示。

3.2 MobileNetV3

MobileNet[10]是由Google開發的一種輕量級深度神經網絡架構，旨在為移動設備和嵌入式設備等資源有限的環境提供高效的計算性能，具體網絡結構如表1所示。其中，input為輸入特征圖維度；Operator為當前層實行的操作模塊，包括普通卷積Conv2d、瓶頸結構Bneck、池化層pool；Exp size為倒殘差塊第一次卷積后輸出維度；#out倒殘差塊最后輸出維度；NL為激活函數；s為卷積步幅；NBN為不使用Batch Normalization層。

圖3所示為殘差結構、倒殘結構、MobileNet結構和SE模塊。MobileNet是由大量的瓶頸結構堆疊而成的。與殘差網絡[11]中的瓶頸結構稍有不同，MobileNet將瓶頸卷積中的3×3卷積替換成了深度可分離卷積，這樣輸入特征圖在一個瓶頸結構中共經歷了如圖3a中所示的4個步驟的特征提取：

a.1×1擴張卷積層，用于將輸入張量的通道數擴大，以提供更多的信息。

b.3×3深度可分離卷積層，這種分步操作可以減少計算量和參數數量，從而使模型更加輕量級。

c.跳躍連接，該連接允許信息從輸入層直接傳遞到輸出層，以保留更多的原始特征。跳躍連接還有助于緩解梯度消失問題，從而使模型更易于訓練。

d.1×1的收縮卷積層，該層用于將輸出張量的通道數縮小，以減少計算量和模型大小。

MobileNetv3在深度可分離卷積后加入了圖3d所示的SE注意力機制模塊，通過對每個特征圖的全局平均池化和全局最大池化操作，得到特征圖的平均值和最大值，然后將它們連接起來并通過一層全連接層，得到一個向量。接下來，通過一個sigmoid函數，將向量映射到0～1之間的范圍內，并乘以原特征圖，得到新的加強重要特征的特征圖。

深度可分離卷積（depthwise separable convolution）把一次標準卷積分解成了深度卷積（Depthwise Convolution）和逐點卷積（Pointwise Convolution）兩個步驟。展示了一個標準卷積核被深度卷積和逐點卷積替代以構成一個深度可分離卷積的過程。

具體來講，深度卷積的計算過程可以表示為：

[Yi，j，k=p=1kq=1kc=1cinXi+p?1，j+q?1，cKp，q，c，k]" " " " " "（1）

式中，[Yi，j，k∈RH×W×Cout]為深度卷積的輸出特征圖；[i，j]分別為輸出特征圖的高度和寬度坐標；[k]為輸出特征圖的通道數。對于每個輸入通道[c]，卷積核[K]在該通道上的權重參數是[Kp，q，c，k]。

逐點卷積的計算過程可以表示為：

[Yi，j，k=c=1CinXi，j，cK1，1，c，k]" " " " " " " " " " " " nbsp; "（2）

式中，[Yi，j，k∈RH×W×Cout]為逐點卷積的輸出特征圖；[i，j]分別為輸出特征圖的高度和寬度坐標；[k]為輸出特征圖的通道數。對于每個輸出通道[k]，卷積核[K]在輸入通道[c]上的權重參數是[K1，1，c，k]。

3.3 注意力特征融合AFF

Attention Feature Fusion[12]是一種生成權重的具體方法。AFF首先融合了input1和input2兩個輸入特征，用lt;E：＼臨" 時＼專用汽車期刊＼2023年＼專用汽車2023年-12期＼Image＼image5.pdfgt;表示特征的元素級別相加，然后將組合后的特征送入MS-CAM模塊。由MS-CAM模塊輸出兩個輸入的權重參數，最后將兩個輸入input1和input2加權相加得到該AFF的output。計算式如下：

[Z=M（X⊕Y）?X+（1?M（X⊕Y））?Y]" " " " （3）

式中，[Z]表示最后的output；[M（X⊕Y）]和[1?M（X⊕Y）]表示由MS-CAM模塊輸出的兩個輸入的權重系數；[X]、[Y]表示兩個輸入特征input1和input2。

展示一個MS-CAM模塊的內部結構，可以看到從輸入[X∈RC×H×W]到輸出權重一共有兩條路線，分別為輸入的全局特征上下文[w（X）]和局部通道上下文[L（X）]。[w（X）]的計算過程如下式：

[w（X）=σ（G（X））=σ（β（W2δ（β（W1（g（X））））））]" " " " （4）

式中，[g（X）∈iC]為全局平均池化；[W1∈RC×Cr]為逐點卷積的降維層；[β]為BN層；[W2∈RC×Cr]為升維逐點卷積層；[σ]為Sigmoid激活函數；[δ]為ReLU激活函數；r為通道衰減系數。局部通道上下文[L（X）]的計算過程如下：

[L（X）=β（PWConv2（δ（β（PWConv1（X）））））]" " " "（5）

式中，[PWConv1]和[PWConv2]是與式（4）中[W1]和[W2]有相同作用兩個逐點卷積層。這樣，我們就能得到從輸入[X]到輸出[X']的映射關系如下：

[X'=X?M（X）=X?σ（L（X）⊕G（X））]" " " " （6）

4 基于PERCLOS和M的疲勞檢測模型

當駕駛員處于疲勞狀態下，閉眼、打哈欠的持續時間和次數都會和正常狀態下有明顯的區別。為了驗證這一點，進一步說明眼嘴特征對于疲勞檢測的意義。以10幀為一個間隔截取1 000 s模擬疲勞駕駛視頻內容，并對所得圖片幀進行了標定，標簽為疲勞、清醒、眼嘴的睜閉以及受否有點頭等動作。處于清醒狀態下的一段時間內駕駛員的疲勞狀態和面部特征之間的關系。縱坐標的不同數字代表了不同人臉部件在某時刻下的不同狀態。需要特別說明的是，頭部有三種狀態，即直視前方、點頭、左右環顧，分別對應數字0、1、2。嘴巴部件則是閉嘴、呵欠、說話，對應數字0、1、2。

結果表明，在不同的駕駛狀態下，人臉部件都會呈現相應的有規律的狀態，清醒時，在被測時間內駕駛員眼睛幾乎都是睜開的狀態，嘴部除了因為說話而張開，幾乎沒有打呵欠的時候，頭部則處于很頻繁的左右環顧狀態下，這是因為駕駛員需要時刻關注路況信息，頭會自然的移動，而這種移動又區別于點頭時的垂直方向上的擺動，是水平方向的轉動。在疲勞時駕駛員的各臉部部件又會在一種新的狀態下持續。

綜合人眼關鍵點和人臉檢測分析，可以得出以下結論，眼睛的睜開和閉合狀態在一段時間內所占的比例能反映大部分情況下的疲勞狀態，駕駛員不太可能因為除了疲勞之外的原因，在需要精神高度集中，隨時有可能處理突發情況的環境和條件下長時間緊閉雙眼。而頭姿易受到拍攝角度和駕駛員座位高低導致的角度錯估影響。故本文討論的疲勞檢測模型暫時只設眼嘴狀態作為檢測的特征要素。

綜上，本文采用PERCLOS[13]和自定義的打呵欠參數M作為駕駛疲勞判斷依據。PECLOS是指眼睛閉合時間占某一段特定時間的比例，通過測量眼睛閉合時間的長短就能衡量駕駛疲勞的程度。一般來講，駕駛員眼睛閉合時間越長，PERCLOS值越大，疲勞程度越嚴重。

在本文中，將PERCLOS定義為一段連續視頻幀內檢測到的閉眼圖片占比，并按照P80原則判斷疲勞，PERCLOS的計算式子如下：

[PERCLOS=pcloseptotal×100%]" " " " " " " " " " " "（7）

式中，[pclose]為閉眼圖片幀數；[ptotal]為一段時間內的視頻幀圖片總幀數。

為了使檢測效果更加魯棒，依據PERCLOS的定義，本文定義了呵欠參數M，M為一段視頻幀內打呵欠圖片所占比例大小。同樣的，疲勞程度和M值大小成正相關。M的計算公式如下：

[M=pyawptotal×100%]" " " " " " " " " " " "（8）

式中，[pyaw]為打呵欠圖片幀數。

5 實驗驗證

5.1 實驗平臺

本實驗使用的計算機配置如表1所示。

5.2 數據集

本文數據集由YAWDD、NTHU-DDD中部分內容和自制數據集組成，采用了YOLOv4中的Mosaic數據增強方案對圖像進行拼接、翻轉、縮放、部分遮擋以此增加數據集規模。所得到的訓練集和測試集共計750張圖片，其中訓練集600張，測試集150張，比例為8∶2。

5.3 網絡訓練

本文采用基于特征的遷移學習方法[14]，在MobileNetV3預訓練模型基礎上使用微調策略以此加快網絡收斂速度。將初始學習率定為0.0001，衰減率設置為0.00001，輸入數據尺寸為214×214，Epoch設置為80，Batch size設置為10。

微調即采用在Imagnet上提供的預訓練權重作為MobileNetV3源模型，刪除最后的全局池化和卷積層，并初始化SSD-300的head參數，因為MobileNetV3預訓練模型參數已經足夠好，只需使用較小的學習率來微調這些參數，而SSD-AFF網絡的head部分則需要重新初始化，根據前面的設置，本文選用10倍backbone部分的學習率訓練輸出層參數。

5.4 網絡改進效果對比

對于分類問題，考慮到預測樣本屬性和實際樣本屬性會有偏差，將預測結果分為幾個種類，并據此來評價網絡性能的好壞。

為了驗證網絡改進效果，在同一數據集上用訓練好的SSD300、SSD-MA、YOLOV3[14]、Faster-RCNN分別進行性能驗證。用精確率P表示“預測為正樣本”中“實際為正樣本”占“所有預測為正樣本”的比例，即精確率為：

[P=TP/（TP+FP）]" " " " " " " " " " " " （9）

召回率為“預測為正樣本”中“實際為正樣本”占“實際所有正樣本”的比例，即召回率為：

[R=TP/（TP+FN）]" nbsp; " " " " " " " " " "（10）

經過替換主干網絡和引入注意力特征融合的SSD-MA模型在體積和準確率、檢測速度方面都實現了提升。

5 結語

本文針對疲勞駕駛檢測任務所需的實時性、輕量性要求，以SSD-300為基礎，將主干網絡替換成MobileNetV3，參考殘差網絡的跳連結構使得網絡層數加深，能提取更多特征的同時，保證了訓練效果不會反受影響，為分離卷積削減了參數量，使最后SSD-AFF模型的體積只有原來的1/10。引入注意力特征融合AFF，減少了速度提升帶來的精度損失。最后通過對比實驗得出，本文網絡模型的mAP達到了91.9%，精準率達到了96.9%。對比SSD300網絡有顯著提升，下一步工作會加大訓練樣本，增強網絡魯棒性。

參考文獻：

[1]王小玉，韓彤彤，尚學達.基于密集連接網絡的駕駛疲勞狀態檢測方法[J].北京郵電大學學報，2021，44（1）：52-8.

[2]李昭慧，張瑋良.基于改進YOLOv4算法的疲勞駕駛檢測[J].電子測量技術，2021，44（13）：73-8.

[3]張博熠，者甜甜，趙新旭，等.基于眼嘴狀態判別網絡的疲勞駕駛檢測[J].計算機工程，2021（5）：1-12.

[4]婁平，楊欣，胡輯偉，等.基于邊緣計算的疲勞駕駛檢測方法[J].計算機工程，2021，47（7）：13-20.

[5]Zhang K，Zhang Z，LI Z，et al.Joint face detection and alignment using multitask cascaded convolutional networks[J].IEEE signal processing letters，2016，23（10）：1499-503.

[6]李泰國，張天策，李超，等.基于人體姿態空時特征的駕駛員疲勞檢測[J].交通運輸系統工程與信息，2019（7）：1-10.

[7]Liu W，Anguelov D，Erhan D，et al.Ssd：Single shot multibox detector; proceedings of the computer vision–ECCV 2016[C]//14th European Conference，Amsterdam，The Netherlands：Proceedings，Part I 14，F，2016.

[8]Ren S，He K，Girshick R，et al.Faster r-cnn：towards real-time object detection with region proposal networks [J].Advances in neural information processing systems，2015，28：101-109.

[9]LI Y，Chen Y，Wang N，et al.Scale-aware trident networks for object detection[C]//Proceedings of the IEEE/CVF international conference on computer vision，F，2019.

[10]Howard A，Sandler M，Chu G，et al.Searching for mobilenetv3[C]//Proceedings of the IEEE/CVF international conference on computer vision，F，2019.

[11]He K，Zhang X，Ren S，et al.Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition，F，2016.

[12]Dai Y，Gieseke F，Oehmcke S，et al.Attentional feature fusion[C]//Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision，F，2021.

[13]Liu Z，Peng Y，Hu W.Driver fatigue detection based on deeply-learned facial expression representation[J].Journal of Visual Communication and Image Representation，2020，71：18-27.

[14]石祥濱，房雪鍵，張德園，等.基于深度學習混合模型遷移學習的圖像分類[J].系統仿真學報，2016，28（1）：167-173+182.

作者簡介：

王嘉誠，男，1997年生，碩士研究生，研究方向為新能源汽車控制與應用。