DMS結合智能手表的駕駛安全智能控制系統方案設計

喬曉華，華楚霞，王芬

（惠州經濟職業技術學院，廣東惠州，516001）

0 引言

在社會經濟快速發展、中國道路交通建設飛速發展的背景下，人們對汽車的需求量不斷增加，2020年年末全國民用汽車保有量28087萬輛，比上年末增加1937萬輛，并且仍呈逐年上升的趨勢，隨之產生的道路交通事故也呈逐年上升的趨勢。據中國產業信息網統計，2019年中國車禍發生次數為200114次，其中由于駕駛員身體狀況異常導致的交通事故在重大交通事故誘因中一直占有較大比例。駕駛員身體狀況異常主要包括：疲勞駕駛和突發疾病兩大類，并且隨著工作節奏加快，壓力增大，駕駛員出現突發疾病導致的交通事故越來越多。

駕駛員監測系統DMS[1]是一種可實現駕駛員行駛過程中，全天候監測駕駛員的疲勞狀態、危險駕駛行為的信息技術系統。相比于其它疲勞駕駛監測系統（如：車道偏離報警系統和轉向盤監測系統、PERCLOS系統、腦電波監測系統等）均存在一定的弊端或實現難度來說，DMS是多種疲勞駕駛判斷方式的集成，主動式DMS通過視覺+近紅外技術，監測駕駛員面部、眼部、頭部特征，能夠更有效地監測駕駛員的疲勞和注意力分散程度，通過語音燈光提示，起到警示駕駛員的作用。從2018年開始，隨著L2/L3系統的量產，主動式DMS系統開始放量。但由于DMS對于PPG信號、ECG信號[2-3]的測量技術不夠成熟，導致由于突發疾病引起的交通事故預警不夠及時和準確。

鑒于智能穿戴設備的普及率高以及可以更方便準確地監測人體關鍵健康指標（比如：心率、血壓、體溫、心電信號(ECG信號)等），尤其從2020年9月開始國內多家廠商發布智能手表中ECG功能的增加。因此智能穿戴設備和主動DMS的結合，將很好的彌補DMS的不足，不僅能夠對疲勞駕駛，而且對一些突發疾病的情況，準確做出對駕駛員身體狀況的監測。

根據駕駛員身體狀況實現車輛智能控制的系統是目前國內外科研的熱點領域。本文提出了一種DMS結合智能手表的駕駛安全智能控制系統方案，該方案為實現車輛智能控制中駕駛員身體狀況全面判定提供了一種方法。

1 駕駛安全智能控制系統框圖

駕駛安全智能控制系統由車輛控制模塊、DMS模塊、聲光報警處理模塊、智能手表、云端服務器組成。車輛控制模塊中要集成有無線接收模塊、藍牙模塊、串口模塊、射頻發送/接收模塊以及數據判斷處理模塊；DMS模塊要包含攝像頭和紅外測試裝置，采集駕駛員面部、眼部、頭部特征參數；聲光報警模塊包含蜂鳴器和顯示屏，對駕駛員起到警示作用。智能手表通過藍牙或WIFI向車輛控制模塊傳輸監測得到的健康指標數據。車輛控制模塊與云端服務器通過5G進行通信。如圖1所示。

圖1 駕駛安全智能控制系統框圖

2 駕駛安全智能控制系統原理

依據圖1所示系統框圖，駕駛安全智能控制系統原理如下：

(1)智能手表監測駕駛員的心率、血壓、體溫以及心電信號（ECG信號）等。監測心臟活動可以預防心臟疾病的早期發病，經由測量心電圖（ECG）來完成。ECG是一種經胸腔以時間為單位記錄心臟的電生理活動，利用與人體皮膚表面相連的電極，偵測心臟的電位傳動，通過心電圖記錄整個心臟的電位變化。心電圖的結果通常以波型顯示，基本包括有P波、QRS波組、T波。P波代表的是心房收縮，QRS波組代表的是心室收縮，T波代表的是心室舒張。有關心率變化的測量或評估，是以R波與R波的間隔時間來代表。由于駕駛安全中駕駛員突發疾病的主要來源是心臟問題，而反應心臟問題一個最有價值的指標就是心率變異性(HRV)[4]，HRV通過測量連續正常R-R間期變化的變異性來反映心率變化、規律，它是一種量化標測，臨床上最常用的就是通過SDNN指標來體現。臨床醫學上SDNN是通過采用連續24小時監測得到的ECG信號計算得到的RR間期標準差。由于實際駕駛過程中駕駛員發病時間短，因此采用連續5分鐘的ECG信號數據計算得到的SDNN 指數來標測心率變異性（HRV），SDNN指數和SDNN計算公式是一樣的，但24小時心率變化的范圍比較大，相應的心跳間隔的離散程度比較高，而5分鐘比較短時間內心率的波動也會比較小。因此，24小時長程SDNN和5分鐘短程SDNN指數的參數判斷范圍不同，一般情況下，采集時間越短，參數值越小。均值MEAN：反映R-R間期的平均值，其計算公式為：

總體標準差SDNN：評估5min短程HRV的總體變化，其計算公式為：

智能手表通過藍牙或WIFI方式將SDNN指數傳輸至車輛控制模塊。

(2)車載主動DMS，可以通過采用基于深度神經網絡DNN[5]，或者采用卷積神經網絡CNN[6]、或者采用卷積神經網絡CNN和循環神經網絡LSTM相結合的深度學習模型[7]，監測得到駕駛員疲勞和注意力分散程度的參數（如：閉眼、眼瞼距離、眨眼速度、凝視方向、打哈欠、頭部運動、面部表情等相關參數）[8-10]。深度神經網絡需要將駕駛員臉部、雙目和嘴巴三個區域分別進行分層處理后再進行融合，深度學習模型需要使用預訓練的分類器對提取的面部時空特征進行判斷，這兩類都需要依賴于大量的數據，采集和處理數據會耗費較長時間。考慮實際中智能汽車硬件資源有限，選擇基于卷積神經網絡的DMS經濟可行性更高。同時，卷積神經網絡廣泛應用于圖像特征的提取，且具有權值共享、稀疏連接、可生成多特征圖，同時對于形變、幾何變換、光照有一定程度的魯棒性等優點，更適合于駕駛安全的實際應用場景。

基于卷積神經網絡的DMS，監測視頻數據由駕駛室前端攝像頭采集得到并輸入監測系統。監測系統對視頻幀進行稀疏采樣抽取關鍵幀，同時為了減少卷積神經網絡單幀誤識別對整體識別模型的影響，將連續視頻幀輸入識別模型，通過卷積神經網絡對每一幀進行預測，最后將多幀識別結果輸入統計模型進行結果統計，最終識別模型將出現次數最多的識別結果作為識別出來的駕駛員狀態。卷積過程如下式：式中:表示第j層第i個特征映射中(x,y)位置處的卷積結果；tanh() 為激活函數；bij為此特征映射的偏差；

卷積神經網絡可采用較少參數的AlexNet模型，同時通過增加卷積層數提高模型的識別效果。卷積模型為14層結構，其中6個卷積層（1C~C6）與對應的5個池化層（1P~5P）、兩個全連接層（1F~2F），最后由Softmax層進行分類輸出。采用遷移學習方法[6]完成對卷積神經網絡模型的預訓練，然后再自行采集的駕駛員檢測數據集上進行適應性訓練，有效解決了標注數據復雜和訓練時間較長的缺陷。通過該卷積神經網絡模型的仿真實驗來驗證駕駛員狀態識別的有效性，該系統準確率達到97.8%，且在實驗設備中運行速度達到70幀/min，滿足較高的準確性要求與實時性要求。

將基于卷積神經網絡的DMS模塊計算得到的駕駛員狀態參數經過統計后得出的結果通過車載總線傳輸至車輛控制模塊。

(3)車輛控制模塊經藍牙或WIFI接收智能手表發送的SDNN指數，同時經車載總線接收DMS模塊發送的駕駛員狀態參數，通過對兩部分參數進行綜合判斷處理，作出對駕駛員身體狀況的判定，并根據不同的判定結果實現對駕駛員和車輛的智能控制。車輛控制模塊的響應處理分三種情況：

①當SDNN指數在（81±24）ms正常范圍內，且DMS監測得到駕駛員狀態參數達到疲勞和注意力分散參數標準，車輛控制模塊發送指令到聲光報警處理模塊，聲光報警處理模塊驅動蜂鳴器鳴叫，顯示屏顯示報警圖標，提醒駕駛員疲勞，注意行車安全；

②當SDNN指數在37~57ms范圍內，且DMS監測得到駕駛員狀態參數正常，車輛控制模塊發送指令到聲光報警處理模塊，聲光報警處理模塊驅動蜂鳴器鳴叫，顯示屏顯示報警圖標，同時車輛控制模塊控制車輛開啟雙閃警告、車輛鳴笛等，提醒駕駛員身體異常，提示減速停車；

③當SDNN指數在37~57ms范圍內，且DMS監測得到駕駛員狀態參數達到疲勞和注意力分散參數標準，或當SDNN指數低于37ms時，判定駕駛員身體異常，無法正常操控車輛，車輛控制模塊控制車輛切換為自動駕駛模式，減速并停車，同時控制車輛開啟雙閃警告、鳴笛、自動呼叫救援及緊急信息（GPS定位、救援請求信息）上傳至云端服務器。

(4)云端服務器使用移動車聯網服務平臺系統，通過檢測模塊、通訊模塊和定位模塊三大硬件模塊，以及軟件的云計算平臺來實現。云端服務器通過5G網絡接收車輛控制模塊上傳的參數信息，實時的跟蹤監控診斷故障車輛，并通過服務端的云計算平臺調用車輛數據倉庫信息，及時識別出故障車輛所在位置的周邊車輛狀況。云端服務器的響應處理包括：

①接收車輛控制模塊發送的GPS定位信息，請求呼叫救援信息；

②通過5G網絡通告周邊車輛當前事故車輛的相關信息。

3 結論

本文從系統框圖和工作原理介紹了基于DMS和智能手表的駕駛安全智能控制系統方案，通過該設計方案能夠實現及時判定駕駛員的身體狀況（如疲勞駕駛和突發疾病），實現對駕駛員和車輛的智能控制，從而避免或減少由此造成的交通事故及人員傷亡。該方案中存在的不足是所采用的SDNN指數判斷參數范圍是用連續5分鐘的數據計算得出的，實際應用時該數據采集時間對于駕駛員身體異常的判定時間偏長，如果要縮短數據采集時間，那么參數范圍的變化也相應縮小，準確性也相應會降低。后續將繼續探索更短時間更準確的參數指標。