基于卷積神經網絡與ECG信息的多模態疲勞駕駛檢測研究

閆凱航 石巖松 鄧炬鑫 李汶翰 龐志穎 翁明珠 潘志廣 孫修澤

關鍵詞：疲勞檢測；YOLOv4卷積神經網絡模型；面部識別；ECG；特征融合

0 引言

隨著現代化城市的發展，交通出行已經成為人們日常生活中不可缺少的一部分。然而，在長時間開車或夜間開車過程中，駕駛員容易產生疲勞，導致大腦反應遲鈍，降低對道路發生意外情況的應變速度，從而導致交通事故的發生。據統計，我國每年因交通事故造成的人員傷亡人數約有23.19萬人，平均每八分鐘就有一人在交通事故中傷亡。更為嚴重的是，由疲勞駕駛引發的重特大交通事故所占比例達到了40%以上，疲勞駕駛已成為造成交通事故的第二大原因。這樣的數據在國外尤其是美國則更為突出。

目前國內外對于疲勞駕駛檢測技術主要有以下幾種方式：1） 基于腦電信號圖（EEG）、肌電信號圖（EMG）、心率圖（HR）、眼電圖（EOG）、心電圖（ECG） 等生理信號信息來檢測駕駛員的疲勞駕駛狀態。王致堯[1]利用了神念科技研發的BMD101心電采集開發板，將其嵌入在汽車的方向盤上，位于方向盤兩側包裹著的導電布作為電極，通過雙手接觸電極片，產生電位差，進而采集人體的ECG信號。張鴻[2]使用了光電容積脈搏波描記法檢測生理信號，該方法通過檢測動脈血液容積，利用動脈血液對光的吸收量隨動脈搏動而變化，進而反映出人體吸收光量的大小，再由光電接收器將光信號轉換成電信號，最后經放大器放大后得到光電容積脈搏波，該方式具有無創傷、檢測簡單等特點。2） 通過車載傳感器檢測車輛行駛狀態，從而判斷駕駛員是否處于疲勞狀態。孫香梅[3]通過Fuzzy綜合判斷方法，以模糊集合論為基礎，考慮車輛行駛狀態軌跡的狀況，對車輛運行軌跡的狀況做出綜合評估，在對車輛側向加速度進行分析并細化出車輛運行軌跡的疲勞參數，得到車輛側向加速度疲勞駕駛控制模型，確定疲勞評價的指標集和評判集，將車輛行駛的結果通過疲勞駕駛控制模型模式得到駕駛員的狀態。然而，這種模式對路況的要求較高，且檢測精確度較差，容易引起誤判。3） 基于機器視覺和圖像處理技術，通過計算機視覺采集駕駛員駕駛時的視頻圖像信息，提取圖像中面部的疲勞特征，利用采集到的圖像信息進行疲勞檢測。這類方法操作簡單，所做裝置實用性也很好，有很大的應用市場。

基于以上背景，本課題旨在研究一種基于卷積神經網絡與ECG信息的多模態疲勞駕駛檢測的疲勞駕駛異常檢測技術的系統。僅當兩個檢測結果都超出預設的閾值時，系統才會判定駕駛員為疲勞駕駛，進一步提高了疲勞駕駛識別的準確度，具有廣闊的應用前景。

1 系統構架與系統工作原理

1.1 系統框架

基于卷積神經網絡與ECG信息[4]的多模態疲勞駕駛檢測系統可分為三個子系統，即駕駛員面部信息行為監控子系統、生理信息監控子系統和軟件管理子系統。生理信息監控系統為一個終端，而駕駛員面部信息行為監控系統和軟件管理系統則為另一個終端。用戶可通過微信小程序或App通過藍牙對設備進行綁定和解除綁定。系統結構圖如圖1所示：

1.2 系統工作原理

首先需要一個訓練好的模型（具體操作步驟見本文2.1小節）：在Mx-yolo 中使用疲勞駕駛時的生理特征數據集進行模型訓練，獲得一個tflite 初始模型文件，然后通過tensflower 盡可能減少模型轉換時的精度損失。將tflite模型轉換成h5模型，再轉換為k210可加載運行的kmodel 模型文件，從而訓練出駕駛員疲勞駕駛的卷積神經網絡YOLOv4模型。

基于卷積神經網絡與ECG信息的多模態疲勞駕駛檢測系統[5]深度利用計算機視覺、YOLOv4卷積神經網絡以及傳感器等技術。通過攝像頭和ECG傳感器進行數據采集，將采集到的圖像數據實時傳送到K210芯片主控板上。通過特征臉（Eigenfaces） 算法實時檢測和識別出所拍攝到的人臉，再將預設行為提取的特征與模型進行對比得到預警結果。利用CNN-LEST對結果進行等級分類，若擬合度達到預設值則判斷駕駛員駕駛狀態為疲勞。為了達到較高的置信度和識別精確度，結合同步的ECG生理信號對駕駛員疲勞狀態進行進一步的分析，對輸出值再次進行等級分類并再次進行與門判斷。只有當所拍攝到的圖片與ECG信號都被判斷為疲勞駕駛時，系統才會發出警報，從而大大提高了檢測的精確率。系統工作原理圖如圖2所示。

2 功能實現

該部分主要分為面部識別的算法實現、智能穿戴設備ECG生理信息采集、模塊通信與系統軟件管理三部分。

2.1 面部識別的算法實現

1） 使用的芯片及算法。使用芯片為K210，算法為YOLOv4卷積神經網絡。

2） 網絡結構。采用Darknet-19網絡結構，包括19 個卷積層和5個max pooling層。主要使用3×3卷積和1×1卷積，其中1×1卷積用于壓縮特征圖通道數，以降低模型的計算量和參數。每個卷積層后使用BN層加快模型收斂同時防止過擬合。

3） 數據集來源。本文使用的數據集包含訓練集1 500張、驗證集300張、測試集100張。

4） 模型訓練流程。由于數據集較大，訓練時可將數據分為多個批次。首先將數據集經過處理后的標簽文件轉換為Mx-yolo訓練所需的標記格式，然后將收集到的圖片數據進行轉碼，轉為224×224像素的格式。對每張圖片進行拉框、標注數據，在電腦上利用Mx-yolo進行本地訓練得到模型，將所得的kmodel模型文件存入TF卡中并將TF卡轉換為FAT32格式。再將處理好的TF 卡插入最小系統板的TF 卡槽中，由K210進行硬件初始化后通過SPI通信協議即可讀取。模型訓練過程圖如圖3～圖6所示。

2.2 智能穿戴設備ECG 生理信息采集

ECG信息采集方式為通過ECG手環采集。ECG手環上的傳感器由多個電極組成，這些電極貼在手腕上，傳感器會檢測和記錄心臟的電活動。傳感器將心臟的電信號轉化為數字信號，并通過無線網絡技術傳輸數據到K210設備上。利用K210強大的AI計算能力，在K210上使用相應的算法和應用程序對手環傳來的數字信號進行數據處理和分析。使用離散卡爾曼濾波算法去除噪聲，屏蔽異常信號對控制系統的干擾。將提取出的信號繪制成心電圖波形顯示在屏幕上，根據靜息頻率區間判斷駕駛員是否處于疲勞駕駛狀態，起到預警作用。

2.3 模塊通信與系統軟件管理

1） 模塊通信。K210通過串口通信將實時檢測數據發送給ESP8266[6]。ESP8266 接收一幀數據后，通過Wi-Fi 無線傳輸協議將數據遠程傳輸至云端。用戶可以通過移動端實時查看這些數據。

2） 軟件系統管理。該系統設有后臺應用管理系統和用戶應用界面，可以通過編寫程序實現用戶與設備的正常交互，有利于提高用戶使用設備的便捷性。

3 總結

通過研究與實驗，成功設計并實現了基于機器學習與生理特征提取的疲勞駕駛檢測裝置。該裝置具備檢測駕駛員閉眼、低頭、打哈欠、注意力不集中等異常駕駛行為，并能實時對駕駛員進行提醒。該系統的優勢在于能對駕駛員的狀態進行多特征融合判斷，增強裝置對駕駛員狀態識別的準確度。可以對裝置識別的敏感度進行手動調節，有效減小駕駛員對裝置的排斥心理。通訊方面使用ESP8266主控板加Wi-Fi模塊，不僅能實時傳輸數據，還可以實現物聯網功能。基于機器學習與生理特征提取的疲勞駕駛檢測裝置在駕駛員安全駕駛方面擁有很高的應用價值。未來通過對該裝置不斷的優化，相信該裝置可以為駕駛員提供安全可靠的駕駛服務和更多的功能體驗。