智能車載聯(lián)網(wǎng)輔助駕駛系統(tǒng)設(shè)計

謝君婷 張欽超 廖克志 常旭東

摘? 要：為減少交通事故的發(fā)生，輔助駕駛?cè)耸孢m安全地行車，文章設(shè)計了一套基于AIot技術(shù)的智能車載聯(lián)網(wǎng)輔助駕駛系統(tǒng)。該系統(tǒng)包括智能車載軟件輔助駕駛和車內(nèi)硬件輔助系統(tǒng)兩大部分，可對車內(nèi)硬件進行遠程操控以及查看當前車內(nèi)環(huán)境數(shù)據(jù)。同時，系統(tǒng)實時檢測駕駛員疲勞狀況為危險情況做預(yù)警，為用戶在行車過程中提供更加安全舒適的環(huán)境。

關(guān)鍵詞：物聯(lián)網(wǎng)；車載輔助；人臉疲勞

中圖分類號：TP27 文獻標識碼：A? 文章編號：2096-4706（2023）02-0153-04

Design of Intelligent On-board Networking Assisted Driving System

XIE Junting， ZHANG Qinchao， LIAO Kezhi， CHANG Xudong

（School of Computer Science and Information Security， Guilin University of Electronic Technology， Guilin? 541004， China）

Abstract： In order to reduce the occurrence of traffic accidents and assist drivers to drive comfortably and safely， this paper designs a set of intelligent on-board networking assisted driving system based on AIot technology. The system includes intelligent on-board software assisted driving and in-car hardware assisted system， which can remotely control the in-car hardware and view the current in-car environment data. At the same time， the system detects the driver's fatigue status in real time to give early warning for dangerous situations， so as to provide users with a safer and more comfortable environment during driving.

Keywords： Internet of Things; on-board assistance; face fatigue

0? 引? 言

隨著私家車數(shù)量的飛速增長，行車安全受到越來越多人的重視。在汽車行駛過程中，往往因為酒駕、疲勞駕駛、疾病突發(fā)、未注意路面情況等問題引發(fā)不可挽回的悲劇[1]。

針對上述問題，本文設(shè)計了一套基于AloT技術(shù)的智能車載聯(lián)網(wǎng)輔助駕駛系統(tǒng)，使駕駛員主動避免交通事故的發(fā)生的汽車安全系統(tǒng)。系統(tǒng)搭載傳感器、控制器、執(zhí)行器等裝置，融合現(xiàn)代通信與網(wǎng)絡(luò)技術(shù)，實現(xiàn)車與X（人、車、路、后臺等）的智能信息交換共享，具備復(fù)雜的環(huán)境感知、智能決策、協(xié)同控制和執(zhí)行等功能。系統(tǒng)利用安裝于車上的攝像頭、雷達、激光和超聲波等傳感器，收集車內(nèi)外的環(huán)境數(shù)據(jù)，進行靜、動態(tài)物體的辨識、偵測與追蹤等技術(shù)上的處理，從而能夠讓駕駛者在最快的時間察覺可能發(fā)生的危險，以引起注意和提高安全性的主動安全技術(shù)。同時，本系統(tǒng)還基于安卓開發(fā)了專門的手機APP，在參照先進駕駛輔助系統(tǒng)設(shè)計[2]的同時實現(xiàn)車聯(lián)網(wǎng)技術(shù)，傳感器通過無線連接，手機APP接收到車內(nèi)環(huán)境信息后可以自動進行調(diào)控，為用戶提供舒適的行車環(huán)境，同時引進AI深度學(xué)習(xí)技術(shù)，對車外以及駕駛員做一些人臉疲勞的檢測，預(yù)判險情，并可以及時提供預(yù)警，使用的設(shè)備較少，安裝方便，為用戶在行車過程中提供更加安全舒適的環(huán)境。隨著汽車輔助駕駛自主程度的提高，汽車將可感知周圍的環(huán)境，然后決定要采取的操作，保證所有道路使用者的安全。

1? 系統(tǒng)總體框架設(shè)計

本系統(tǒng)由智能車載軟件輔助駕駛和車內(nèi)硬件輔助系統(tǒng)兩部分共同組成智能自動車載聯(lián)網(wǎng)輔助系統(tǒng)，系統(tǒng)總體設(shè)計框架圖如圖1所示。

（1）利用X86給車載軟件提供可運行的平臺，運用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)技術(shù)實現(xiàn)實時對駕駛員人臉疲勞的識別對危險做預(yù)警，人臉疲勞的識別采用科學(xué)的PERCLOS方法中的P80判據(jù)，使用專門的人臉68個關(guān)鍵點檢測模型庫，通過歐式距離計算公式分別計算出P80判據(jù)所需要的兩個重要參數(shù)EAR和MAR，結(jié)合P80判據(jù)就可以比較準確的檢測出人臉疲勞狀態(tài)，同時，系統(tǒng)通過攝像頭對車尾環(huán)境和激光雷達檢測結(jié)果進行實時更新，完成智能車載軟件輔助駕駛；

（2）對于車內(nèi)硬件輔助系統(tǒng)，利用ESP8266 Wi-Fi模塊讀取車內(nèi)硬件設(shè)備，并且開發(fā)了專用的APP通過MQTT協(xié)議與ESP8266進行通信，MQTT協(xié)議即發(fā)布和訂閱主題的過程，如：ESP8266發(fā)布車內(nèi)溫濕度模塊信息的主題到云端服務(wù)器，由手機APP訂閱該主題，手機APP得到該主題信息并顯示出來，就可以在手機APP上觀測到車內(nèi)溫濕度狀態(tài)數(shù)據(jù)了；手機APP和ESP8266通過MQTT協(xié)議，實現(xiàn)了無線遠程操控車內(nèi)硬件設(shè)備和實時顯示車內(nèi)硬件設(shè)備的狀態(tài)，智能小手表輔助駕駛員獲取自身健康信息和有天氣信息為駕駛員出行提供行車參考。

2? 智能車載軟件輔助駕駛系統(tǒng)設(shè)計實現(xiàn)方案

2.1? 車載中控軟件的設(shè)計

本系統(tǒng)宗旨在輔助駕駛?cè)笋{駛機動車，從而實現(xiàn)更為安全的出行。引進現(xiàn)有的計算機技術(shù)輔助駕駛?cè)笋{駛機動車顯得尤為重要。車載中控軟件主要搭載在車載的中控系統(tǒng)中，系統(tǒng)連接到硬件層和疲勞檢測算法，監(jiān)測回傳的數(shù)據(jù)，并將結(jié)果展示到軟件界面，給予駕駛?cè)税踩崾?，中控軟件系統(tǒng)框架圖如圖2所示。

（1）行駛：數(shù)據(jù)采集后由英特爾X86平臺上的Window 10專業(yè)版操作系統(tǒng)接收，進行數(shù)據(jù)處理、儲存以及通過圖形化界面與語音提示呈現(xiàn)給用戶。在跑圖像處理算法的同時在軟件上實時顯示車輛行駛情況，實時輔助駕駛員駕駛。

（2）影音：此系統(tǒng)同時向用戶提供媒體功能，包括播放本地的視頻與音樂，和其他功能同時進行，互不干預(yù)，多媒體功能是針對司機在悠閑時間可以娛樂放松一下。

（3）主界面：主界面主要由倒車雷達檢測結(jié)果顯示板塊、疲勞檢測結(jié)果展示板塊和動態(tài)畫面顯示板塊組成。倒車：當駕駛員進行倒車操作時，軟件會自動切換到該界面，并且打開尾倒車攝像頭，把攝像頭捕捉到的畫面在動態(tài)畫面展示板塊展示出來，倒車雷達檢測到的障礙物位置也將實時展示在倒車雷達檢測結(jié)果顯示板塊，實現(xiàn)盲區(qū)檢測的效果。疲勞檢測結(jié)果展示：動態(tài)畫面顯示板塊可以在車尾攝像頭畫面和人臉疲勞檢測畫面之間任意切換，同時疲勞檢測結(jié)果展示板塊會實時將檢測結(jié)果以文字的形式展現(xiàn)出來，以此提示司機注意休息，提高行車安全。

（4）語音/彈窗警告提示：軟件提供語音提示和彈窗警告服務(wù)，其中主要是疲勞檢測結(jié)果的提示和酒精濃度檢測的提示。當人臉疲勞檢測算法檢測到司機已經(jīng)疲勞駕駛或者酒精濃度過高時，軟件將彈出警告，并且伴隨語音提示。通過酒精濃度檢測模塊檢測司機呼氣的酒精濃度大于或者等于20 mg/100 ml，小于80 mg/ml則為酒駕，中控板發(fā)出警報聲；若檢測到的酒精濃度大于80 mg/ml則為醉駕，中控板發(fā)出嚴重警告聲。

2.2? 駕駛員人臉疲勞的算法

本系統(tǒng)選取目前公認有效的PERCOLS疲勞程度評價指標，即通過閉眼幀在連續(xù)N幀內(nèi)所占的時間比例來分析疲勞狀態(tài)，PERCLOS是指眼睛閉合時間占某一特定時間的百分率。PERCLOS方法有P70、P80和EM三種判定標準[3]。研究表明P80與疲勞程度間具有最好的相關(guān)性。對駕駛員疲勞的判定會因錯誤檢查帶來不良影響，通過PERCLOS、眼睛閉合時間、眼睛眨眼頻率、嘴巴張開程度，進行疲勞程度的綜合判定，可以準確、有效地進行駕駛員疲勞的檢測?！把劬v向比EAR”和“嘴巴縱向比MAR”則是判斷眼睛眨眼、嘴巴張開的重要依據(jù)。算法參照以下兩點進行設(shè)計：

（1）根據(jù)人臉關(guān)鍵點檢測模型庫，系統(tǒng)檢測出人臉68個關(guān)鍵點，這68個關(guān)鍵點為后面計算疲勞判斷依據(jù)提供科學(xué)的依據(jù)，如圖3所示。

（2）駕駛疲勞依據(jù)P80做人臉疲勞判斷。P80指眼瞼遮住瞳孔的面積超過80%就計為眼睛閉合[4]。本文利用歐式距離分別計算出EAR和MAR。人在清醒的狀態(tài)下眨眼頻率約為10～20次/min，當處于疲勞狀態(tài)時眨眼的頻率將提高約64%，故設(shè)置當每分鐘眨眼次數(shù)大于20時則認為駕駛?cè)颂幱谄隈{駛狀態(tài)[4]。由于目前沒有統(tǒng)一的嘴巴開度閾值檢測實驗，取MAR的閾值為0.75，當MAR＞0.75時即認為打哈欠一次，當每分鐘內(nèi)打哈欠次數(shù)達到3次即判斷為疲勞駕駛狀態(tài)[5-9]。駕駛疲勞檢測為駕駛員的人身安全提供了保障。

2.3? 專用手機APP

本系統(tǒng)旨在為用戶行車舒適安全提供輔助便利，可以無線控制并觀察車內(nèi)車內(nèi)環(huán)境也為我們行車便利提供了幫助。使用MQTT通信協(xié)議[10]，可以方便快捷低功耗低成本穩(wěn)定的建立手機APP與車內(nèi)傳感器之間的聯(lián)系，使用開發(fā)本車載輔助系統(tǒng)的專用APP，具體設(shè)計框圖如圖4所示，待ESP8266 Wi-Fi模塊通過MQTT協(xié)議將數(shù)據(jù)傳輸至云端服務(wù)器[11]后，用戶可在專用APP上查看車輛狀況與車內(nèi)人員狀況的各項指標，并且可以通過此APP對車內(nèi)硬件設(shè)備進行調(diào)控。實現(xiàn)各傳感器、車與用戶手機之間的通信。車內(nèi)硬件設(shè)備有溫濕度傳感器DHT11，火焰檢測傳感器，酒精檢測傳感器，照明小燈等傳感器設(shè)備。同時，使用SQLite數(shù)據(jù)庫儲存用戶信息，此外，該手機APP使用個性化設(shè)計，界面簡潔明了，字體采用漢儀樂喵字體是手機APP更加可愛明動，更加人性化，一定程度上滿足了用戶的審美需求。

3? 系統(tǒng)測試結(jié)果

3.1? 車載中控軟件自定義設(shè)置界面

在用戶打開中控顯示界面時，首先呈現(xiàn)給用戶的是首頁與底部導(dǎo)航欄，底部導(dǎo)航欄采用固定方式，不管用戶切換到哪個頁面，都可以通過底部導(dǎo)航欄切換界面。自定義設(shè)置主要包括四個分區(qū)：語音提示、攝像頭設(shè)置、圖像顯示設(shè)置和常規(guī)設(shè)置。自定義設(shè)置界面如圖5所示，在各個分區(qū)里面可以按照自己的需求進行自主設(shè)置。此處可靈活切換車載軟件的模式。

3.2? 行車界面

行車界面我們向用戶提供了車輛前方畫面，在行使過程中駕駛?cè)藛T可以通過這個界面獲取車輛前方信息，同時在此進行前車的圖像檢測并實時顯示處理結(jié)果。傳回的圖像沒有過度的延時，實時性好，行車界面如圖6所示，顯示通過激光雷達獲取的前方距離數(shù)據(jù)，通過圖形化界面結(jié)合語音提示將前方障礙物呈現(xiàn)給用戶，達到預(yù)碰撞的要求。

3.3? 人臉疲勞檢測測試

用OpenCV計算機視覺庫調(diào)用攝像頭及視頻數(shù)據(jù)進行圖像的預(yù)處理，使用Python編寫代碼利用官方提供的人臉68個關(guān)鍵點檢測的DAT模型庫.使用這個模型庫可以很方便地以及準確地對人臉進行檢測，并及時的作語音及其他提示警告，如圖7所示。

4? 結(jié)? 論

隨著私家車數(shù)量的飛速增長，在這樣一個用戶基數(shù)下，如果有一套能使駕駛員主動避免交通事故的發(fā)生的汽車安全系統(tǒng)，為用戶在行車過程中提供更加安全舒適的環(huán)境。那么是非常貼合人們的需求的。隨著汽車輔助駕駛自主程度的提高，汽車將可感知周圍的環(huán)境，然后決定要采取的操作，保證所有道路使用者的安全。

本文設(shè)計出了一套基于物聯(lián)網(wǎng)的智能自動車載輔助駕駛系統(tǒng)，主要由兩大子系統(tǒng)組成：安全監(jiān)護系統(tǒng)和輔助駕駛系統(tǒng)，兩大子系統(tǒng)和客戶端組合，讓司機駕駛時更加安全，更容易。隨著互聯(lián)網(wǎng)技術(shù)的飛快發(fā)展，以及人們對駕駛安全需求的日益增加，智能車載輔助系統(tǒng)將進一步擴大使用比例。當前版本硬件結(jié)構(gòu)較為簡單，如盲區(qū)檢測，檢測點太少，出于環(huán)境安全考慮，可采用激光雷達檢測周圍車輛，而且當前程序可能存在設(shè)計缺陷，還有待進一步改進和完善。

參考文獻：

[1] 范延軍.基于機器視覺的先進輔助駕駛系統(tǒng)關(guān)鍵技術(shù)研究 [D].南京：東南大學(xué)，2016.

[2] 趙徹.基于機器視覺的汽車駕駛輔助系統(tǒng)研究 [D].長春：長春理工大學(xué)，2014.

[3] 李小平，白超.基于深度學(xué)習(xí)的司機疲勞駕駛檢測方法研究 [J].鐵道學(xué)報，2021，43（6）：78-87.

[4] 汪洪濤，謝牡丹，潘昊.基于面部特征的疲勞駕駛檢測方法研究 [J].武漢理工大學(xué)學(xué)報：交通科學(xué)與工程版，2021，45（5）：851-856+862.

[5] 朱名流，李頂根.基于人臉特征點的疲勞檢測方法研究 [J].計算機應(yīng)用研究，2020，37（S2）：305-307.

[6] 趙強，王瑞，朱寶全，等.基于機器視覺的車道線檢測研究進展綜述 [J].計算技術(shù)與自動化，2022，41（1）：3440.

[7] 高揚，王晨，李昭健.基于深度學(xué)習(xí)的無人駕駛汽車車道線檢測方法 [J].科學(xué)技術(shù)與工程，2021，21（24）：10401-10406.

[8] 劉源.基于車載視覺的行人檢測及行為識別 [D].成都：電子科技大學(xué)，2019.

[9] 石英，羅佳齊，李振威.一種基于改進YOLOv2的無人駕駛中行人檢測方法：CN108985186B [P].2022-03-01.

[10] 吳俊輝，吳桂初，陳沖，等.基于MQTT協(xié)議的物聯(lián)網(wǎng)網(wǎng)關(guān)設(shè)計 [J].溫州大學(xué)學(xué)報：自然科學(xué)版，2019，40（4）：54-61.

[11] 張哲，孫濤，白蒴，等.基于安卓平臺的物聯(lián)網(wǎng)平臺的研究與實現(xiàn) [J].黑龍江科技信息，2014（7）：159-159.

作者簡介：謝君婷（2002—），女，漢族，廣西玉林人，本科在讀，研究方向：嵌入式軟件。

收稿日期：2022-09-06

基金項目：廣西大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃立項項目（202110595168）