基于Dlib庫的駕駛員疲勞及心率血氧檢測系統設計

孫洋 孫新宇 李珺珺 王彩鳳*

（1.濱州學院航空工程學院 山東省濱州市 256600 2.魯東大學物理與光電工程學院 山東省煙臺市 264025）

自汽車行業的發展，疲勞駕駛一直是我國產生重大交通事故中重要原因之一，為緩解疲勞駕駛這一現象，我國學者對駕駛員疲勞駕駛檢測正在不斷的進行探索與研究，以期在駕駛員疲憊駕駛時能得到及時提醒抑或實現疲勞駕駛的預警。在本文中設計了一套基于Dlib 庫的駕駛員疲勞及心率血氧檢測系統，旨在針對貨車以及客運汽車駕駛員疲勞駕駛時能進行有效的震動及語音提醒，提醒駕駛員安全駕駛。目前駕駛員疲勞駕駛檢測狀態主要有以下幾類：

（1）基于駕駛員人體生理的信號，其主要是采集駕駛員身體不同部位的生理信號，根據不同部位傳遞出的信號從而判斷出駕駛員的疲勞狀態。該類方法雖比較精確，但需要在駕駛員身體多個部位進行電線的連接，這對駕駛員的駕駛行為產生較為明顯妨礙作用[1]。

（2）基于對駕駛車輛數據的采集，通過在車輛上安裝各類傳感器，感應車輛行駛狀態或者是方向盤的狀況。

（3）基于駕駛員行為特征的檢測，如對駕駛員的面部表情特征等進行檢測，此類方法對駕駛員影響較小，所以此類方法采用較為廣泛。目前行為特征檢測有PERCLOS 算法[2]，主要判斷在某一時間段駕駛員眼睛的閉合時間在這一段時間內所占的比例。機器視覺等領域中應用較為廣泛的Gabor 小波[3]也可對駕駛員眼部進行識別從而判斷駕駛員的此時駕駛狀態。

本文介紹的系統是要是利用OpenCV 借助Dlib 庫，通過圖像的HOG 特征[4]來實現對人臉特征點的提取，對眼部特征點進行標注，并計算眼部的閉合程度再輔以心率等檢測從而判斷駕駛員的駕駛狀態。

1 系統結構與功能

駕駛員疲勞及心率血氧檢測系統的結構見圖1，系統啟動時樹莓派與STM32 同時開始工作，樹莓派首先通過攝像頭獲取駕駛員面部圖像后，調用face_recognition 模塊與Dlib 庫進行當前駕駛員人臉編碼并與已加載的人臉編碼庫進行對比，識別駕駛員身份信息，實現駕駛員快速簽到功能[5]。信息比對完成后利用Dlib 庫中HOG 特征對駕駛員眼部特征點標注，計算駕駛員眼睛閉合程度，開始實時進行駕駛員疲勞狀態監測，于此同時STM32 開始進行駕駛員心率血氧的監測，當測定的疲勞值達到一定閾值時，樹莓派與STM32 通過串口通信，控制震動模塊逐漸加大震動并通過語音播報提醒駕駛員到安全地點進行休息。

2 系統硬件分析

STM32 系統原理圖見圖2，系統板搭載STM32F103ZET6，其最高的工作頻率可以達72 MHz；具有串行的單線調試和JTAG接口，2 個USART 接口可進行全雙工通用同步/異步串行收發；STM32 連接有監測駕駛員心率血氧模塊、語音模塊和震動提醒模塊。其中MAX-30100 是一種非侵入式集成的心率和血氧飽和監測模塊，其依靠兩個發光二極管和一個光檢測器，駕駛員只需將手指緊貼傳感器之上，便可使系統通過IIC 協議隨時讀取駕駛員心率與血氧飽和度，其原理見圖2U2；語音模塊采用的為語音識別模塊LD3320[6]、SYN6288 語音合成模塊，系統上電后駕駛員可根據預置的喚醒指令激活模塊，并進入語音識別狀態，系統可根據駕駛員發出的指令進行一系列操作。如駕駛員查詢心率時，當模塊收到指令之后便會與已設定好的詞匯做對比，相一致時所得數據便會通過語音合成模塊輸出并播報。樹莓派4B 采用官方的Raspbian 操作系統，搭載OpenCV 環境，大(主)芯片為Broadcom的BCM2711BO，最高主頻1.5GHz，4 個Cortex A72 內核，支持64 位[7]。樹莓派4B 配備500 萬像素的廣角攝像頭，其靜止圖像分辨率可達2592*1944px，并支持720p 與1080p 視頻。

3 系統總體設計

當駕駛員啟動車輛時，系統內各個模塊進行初始化。樹莓派通過攝像頭獲取每幀圖像，并在圖像中定位駕駛員人臉，通過對駕駛員人臉信息編碼并于已預加載中的人臉編碼信息庫對比獲取駕駛員身份信息，并進入簽到系統進行簽到。車輛行駛過程中樹莓派通過計算出駕駛員眼部的閉合程度與嘴部的開合度對駕駛員進行疲勞檢測。同時樹莓派接收通過STM32 串口通信傳來的MAX30100 模塊駕駛員的心率與血氧飽和度的數據顯示在顯示屏中。駕駛員也可通過語音指令獲取數據。當檢測到駕駛員疲勞駕駛時，系統會通過語音模塊與震動模塊進行語音與震動提醒。

3.1 駕駛員身份識別

識別駕駛員身份信息時，因為OpenCV[8]讀取的圖像數據為BGR 格式，所以首先要對樹莓派獲取視頻中每一幀的圖像利用cv2.cvtcolor（）函數進行預處理，把BGR 格式的圖像轉換為RGB 格式。處理完成后調用face_recognition 模塊對圖像中駕駛員人臉信息進行定位并生成128-dimensional 面部編碼列表，通過與已知人臉庫編碼對比得到一個歐式距離（euclidean distance）[9]，通過這個距離得到最相似駕駛員人臉信息并將駕駛員姓名顯示在屏幕上，若距離相差過大，未在人臉庫中找到駕駛員信息則在屏幕中顯示“Unknown”。圖3，4 為駕駛員身份識別效果圖。

圖1：駕駛員疲勞及心率血氧檢測系統結構

圖2：STM32 系統原理

圖3：身份識別駕駛員1

圖4：身份識別駕駛員2

圖5：眼部特征點標記

3.2 駕駛員心率血氧檢測

該系統設計采用MAX30100 用來檢測心率血氧。該模塊中紅光、紅外光都用來測量駕駛員血液中的氧含量。含氧血液中傳遞更多的紅光并吸收更多的紅外光，而脫氧血液中傳遞更多的紅外光并吸收紅光，讀取兩個光源的吸收電平，通過測量心臟向外泵的血液中的氧合血紅蛋白增加和減少之間的時間，確定脈搏率（心率）。SpO2 計算公式[10]為：

該模塊利用IIC 通信協議與STM32 交換數據，其中SCL 連接PC12,SDA 連接PC11 讀取rawIRValue（紅外FIFO 數據）、rawRedValue（紅光FIFO 數據）進行處理計算駕駛員心率血氧數據。當駕駛員心率血氧異常時，進行語音報警提醒。系統主要檢測指標，及人體正常情況下的數據如表1。

表1：人體健康參數指標參考表

3.3 駕駛員疲勞檢測

駕駛員疲勞檢測首先計算的是眼睛與嘴部的長寬比，首先在之前視頻流中讀取的圖片利用imutils.resize()函數進行維度擴大，并利用cv2.cvtColor（）加圖片轉化為灰度圖，從定位的人臉框中獲取臉部特征信息與提取左右眼坐標與嘴部坐標，如圖5，圖6所示。

構造函數分別計算左右眼的EAR 值，使用左右眼的EAR 平均值作為最終的EAR 值。同理計算出嘴部的張合度Mouth 值。

當駕駛員眼睛閉合時，EAR 迅速下降，當EAR 低于某個閾值時，眼睛處于閉合狀態。于是可通過幀數算出駕駛員眨眼次數為檢測眨眼次數，調試并設置同一次眨眼的連續幀數。通過設定的單位時間內閉眼次數、閉眼時間的閾值判斷駕駛員是否已經進入疲勞駕駛。

設定一個閾值M，當Mouth≤M 時，沒有打哈欠動作，即為駕駛員正常狀態，若Mouth≥M 時，則為打哈欠狀態，其判斷公式如下：

若T>85%則為疲勞駕駛狀態。檢測疲勞駕駛流程圖如圖7所示。

3.4 系統測試

如圖8、9 所示。

圖6：嘴部特征點標記

圖7：系統疲勞檢測流程圖

圖8：正常行駛狀態

圖9：疲勞駕駛

4 結語

本文針對客車以及貨車駕駛員疲勞駕駛問題，利用OpenCV 與Dlib 庫等，完成了基于Dlib 庫的駕駛員疲勞及心率血氧檢測系統的總體設計。該系統能為客車及貨車駕駛員提供實時提供本地提醒與報警功能，從而保障了客車以及貨車駕駛員的駕駛安全，有效減少因疲勞駕駛所造成的交通安全事故。