基于機器學習的疲勞檢測及預警系統設計

曾心遠 張正華 韓雪 胡新盛 周立言 呂允博

摘 要：據統計，疲勞駕駛是交通事故發生的主要原因之一，因此本系統采用一種基于機器學習的方法來判定駕駛員的疲勞狀態。系統通過腦電采集模塊、心率采集模塊、圖像采集模塊檢測駕駛員的生理參數并傳輸至車載處理模塊進行一系列數據預處理，再利用機器學習訓練好的邏輯回歸模型綜合判定駕駛員的疲勞狀態，最后將疲勞判定結果傳輸至預警模塊進行座椅振動及聲光分級預警。在滿足實時性及準確度的要求下，多種預警方式能夠有效地對駕駛員進行疲勞預警。

關鍵詞：機器學習;疲勞檢測;疲勞預警;邏輯回歸模型;聲光預警;PERCLOS算法

中圖分類號：TP39文獻標識碼：A文章編號：2095-1302（2019）07-00-03

0 引 言

隨著中國經濟和社會的持續快速發展，我國機動車總數急劇增加。截至2018年底，我國機動車保有量達3.22億輛。車輛的劇增也伴隨著意外交通事故的頻發。據我國交通部門統計，因疲勞駕駛造成的交通事故約占總交通事故的20%、特大交通事故的40%以及交通死亡人數的83%，因此，實時檢測疲勞駕駛并有效預警十分重要[1]。

目前，基于駕駛員生理參數[1]、駕駛員行為[2]與車輛特征的檢測方法[3]較為常見。文獻[4]中Brandy等人通過為駕駛員穿戴一件放置有BioHarness3生物傳感器的背心（內嵌無線生理信號傳感器）來測量心率、呼吸速率等生理信號。文獻[5-6]中，通過計算機視覺技術檢測人眼閉合狀態以判定駕駛員是否處于疲勞狀態，采用的PERCLOS算法將眼瞼閉合度作為駕駛疲勞的度量指標，PERCLOS值越大，疲勞駕駛程度越大。

由于駕駛員身體差異、實際駕駛環境差異、道路差異，所以依靠單信號源判斷疲勞狀態存在漏檢、錯檢的可能性，判定結果并不可靠。因此本文通過機器學習的方法，依靠大量駕駛員疲勞駕駛及正常駕駛的心率、腦電、人眼數據，訓練疲勞判定模型，并以此模型進行實時判定，以提高疲勞判定的準確性。

本系統主要包括圖像采集模塊、心率采集模塊、腦電采集模塊、車載處理模塊、預警模塊。各采集模塊分別采集人眼圖片、心率信號、腦電信號并傳輸至車載處理模塊進行一系列數據預處理，利用機器學習訓練后的邏輯回歸模型判定人的疲勞狀態，并根據模型判斷結果控制預警模塊進行相應強度的預警。圖1所示為系統架構圖。

1 理論基礎

疲勞駕駛主要表現為駕駛員在駕駛過程中出現打瞌睡、走神、心率變快、頻繁眨眼等行為，并導致操作失誤或駕駛能力喪失[7]。

1.1 心率、腦電疲勞計算及PERCLOS算法

表征疲勞的心電信號時域指標主要有R-R間期，即心臟每次搏動間期。對一段時間內的R-R間期取平均值，再除以相應的系數即可求得心臟在1 min內跳動的次數[8]即為所得

2 系統模塊檢測疲勞的實現方法

2.1 腦電采集模塊

該模塊使用非侵入式腦電采集裝置，由前額腦電極、耳夾電極、TGAM芯片和藍牙從機模塊組成。

前額腦電極、耳夾電極采集待測對象的α波、β波、

θ波腦電信號并傳輸至TGAM芯片進行濾波、放大、模數轉換、傅里葉變換、功率譜計算等處理，利用式（2）計算待測對象的腦電疲勞值r，并通過藍牙從機模塊傳輸至搭載了藍牙主機模塊的控制處理模塊。

2.2 心率采集模塊

心律采集模塊使用手環佩戴式裝置，由光學心率傳感器、DA14580芯片組成。

光學心率傳感器測量血液的透光率數據，并傳輸至DA14580芯片。DA14580芯片對透光率數據進行濾波、除噪、模數轉換等預處理，求取R-R間期平均值后，利用式（1）求取待測對象的心率h，并通過芯片內置藍牙模塊傳輸至控制處理模塊。

2.3 圖像采集模塊

圖像采集模塊使用攝像頭采集駕駛員的行為動作，并通過USB傳輸至控制處理模塊。

2.4 控制處理模塊

控制處理模塊選用樹莓派3B+作為控制處理芯片，接收腦電疲勞值r、心率h及行為視頻，處理步驟如下：

（1）每100 ms截取一次圖像，以盡可能捕捉駕駛員的眨眼情況;

（2）利用OpenCV計算機庫中已有的目標檢測方法，進行基于Harr特征的人臉識別及人眼識別并截取圖片;

（3）對人眼圖片進行預處理，包括中值濾波、拉普拉斯銳化、灰度化、二值化;

（4）以二值化人眼圖片中黑眼球的面積來表示人眼的閉合程度，并利用計時函數記下當前人眼閉合程度的時間;

（5）利用式（3）計算PERCLOS指數。

3 實驗結果及分析

本文選用訓練集及驗證集外的駕駛員進行本模型泛化能力的測試，同時也可反映出本文訓練模型的準確性。

對駕駛員采用主觀評價法和客觀測量法進行測試，得到表2所列駕駛員生理參數及模型評估結果。一方面，駕駛員會主觀評估自己的狀態;另一方面，各模塊實時檢測其心率、腦電疲勞值及人眼PERCLOS指數，并依靠模型進行綜合評估。腦電疲勞值r對其進行了數據歸一化處理，范圍為0～100，值越低，駕駛員的專注度越差;心率h的范圍為50～120，人在疲勞時，心率加快;當PERCLOS指數f在0.4左右時，駕駛員處于疲勞狀態，值越大表明閉眼時間占總時間的比例越高。綜合評估的范圍為0～1，越靠近1，駕駛員越清醒。

4 結 語

本系統綜合了待測對象的腦電信號、心率及人眼狀態，可以準確判斷出被測對象的疲勞程度，且準確率達92%以上。相比較采用單一信源判定疲勞狀態，本系統所使用的方法準確性更高，且本文設計的系統已基本滿足對實時性的要求。

參 考 文 獻

[1]蔡馥鴻，張正華，劉金龍，等.基于TGAM腦波模塊的疲勞駕駛預警系統設計[J].信息化研究，2016，42（4）：76-78.

[2]萬蔚，王振華，王保菊.基于駕駛行為的疲勞駕駛判別算法研究

[J].道路交通與安全，2016，16（6）：21-24.

[3]黃皓.基于駕駛操作及車輛狀態的疲勞駕駛行為檢測研究[D].南京：東南大學，2016.

[4] WARWICK B， SYMONS N， CHEN X， et al. Detecting driver drowsiness? using wireless wearables [C]// In： IEEE， International Conference on Mobile Ad Hoc and Sensor Systems. Hawaii，2015：585-588.

[5] ZHANG F， SU J， GENG L，et al. Driver fatigue detection based? on eye state recognition [C]// International Conference on Machine Vision? and Information Technology. Singapore，2017：105-110.

[6] MANDAL B， LI L， WANG G S， et al. Towards detection of bus driver fatigue based on robust visual analysis of eye state [J].IEEE transactions on intelligent transportation systems，2017（3）：1-13.

[7]李力.基于CNNs和LSTM的駕駛員疲勞和分心狀態識別研究[D].長沙：湖南大學，2018.

[8]周銳.基于面部多視覺信息融合的駕駛員疲勞狀態的識別[D].哈爾濱：哈爾濱工程大學，2018.

[9]吳紹斌，高利，王劉安.基于腦電信號的駕駛疲勞檢測研究[J].北京理工大學學報，2009，29（12）：1072-1075.

[10]洪志陽，王猛飛，侯東強，等.基于機器視覺的駕駛員疲勞檢測方法[J].物聯網技術，2018，8（7）：78-79.