基于YOLOv5算法的智能安全駕駛監(jiān)測(cè)系統(tǒng)

2023-04-27 04:05:42趙江月陳曉晴袁燦汪將剩劉嵐清

電腦知識(shí)與技術(shù) 2023年8期

趙江月　陳曉晴　袁燦　汪將剩　劉嵐清

關(guān)鍵詞：智能安全駕駛；監(jiān)測(cè)；YOLOv5算法；輔助駕駛；行為識(shí)別

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2023）08-0055-04

0 引言

近年來，我國經(jīng)濟(jì)持續(xù)增長，人們對(duì)便捷交通的需求不斷上升，汽車成為居民生活的一部分，機(jī)動(dòng)車數(shù)量不斷增加，中國汽車保有量將達(dá)到3億輛，安全駕駛就顯得尤為重要，例如發(fā)生的公交車墜湖，酒后駕駛引發(fā)悲痛事故等。機(jī)動(dòng)車數(shù)目的增長在一定程度上增加了交通路況的復(fù)雜度、駕駛汽車行駛的難度，因此大量交通事故仍在上演。現(xiàn)存的各式各樣的輔助駕駛工具就是為了有效解決這個(gè)問題。就現(xiàn)下交通情況、數(shù)據(jù)統(tǒng)計(jì)、事故分析來看，駕駛輔助工具創(chuàng)新和研發(fā)方向在當(dāng)代中國交通仍有很大的發(fā)展空間。

隨著人工智能技術(shù)的不斷革新突破，智能輔助駕駛的實(shí)現(xiàn)也有了更新的突破。本系統(tǒng)的設(shè)計(jì)目標(biāo)旨在通過使用計(jì)算機(jī)視覺及駕駛員行為分析、深度學(xué)習(xí)網(wǎng)絡(luò)等多種技術(shù)，對(duì)車內(nèi)場(chǎng)景駕駛員的靜態(tài)與動(dòng)態(tài)行為進(jìn)行識(shí)別和檢測(cè)分析，通過對(duì)駕駛員生理數(shù)據(jù)指標(biāo)的檢測(cè)為駕駛員進(jìn)行安全輔助，對(duì)其進(jìn)行相對(duì)應(yīng)的反饋、信息提示，增加駕駛員的行車安全性，以防止交通事故的發(fā)生。

1 系統(tǒng)功能介紹

本設(shè)計(jì)在基于移動(dòng)端、物聯(lián)網(wǎng)、機(jī)器視覺和人臉識(shí)別技術(shù)的基礎(chǔ)上，開發(fā)了一套可進(jìn)行人機(jī)交互設(shè)備，在終端使用的進(jìn)行實(shí)時(shí)監(jiān)測(cè)駕駛員狀況，收集數(shù)據(jù)進(jìn)行存儲(chǔ)分析并實(shí)時(shí)提醒、撥號(hào)預(yù)警、實(shí)時(shí)定位的智能安全駕駛檢測(cè)系統(tǒng)。

1）酒后駕駛監(jiān)控系統(tǒng)：在汽車方向盤安裝酒精檢測(cè)傳感器，判別駕駛員是否存在酒后駕駛，若有自動(dòng)撥號(hào)家屬聯(lián)系人；

2）駕駛員行為狀態(tài)監(jiān)控系統(tǒng)：在駕駛員前方增加攝像頭，并指向駕駛員的面部，提供駕駛員實(shí)時(shí)行為狀態(tài)，如閉眼、打哈欠、注意力不集中、打電話、抽煙等并發(fā)出語音警告；

3）組建制作智能可穿戴設(shè)備，可以使用現(xiàn)有成熟產(chǎn)品，測(cè)量出車主的體溫、心跳、血壓、血脂等指標(biāo)；

4）將以上收集的信息數(shù)據(jù)進(jìn)行存儲(chǔ)分析，生成健康報(bào)表提供給用戶，若駕車行駛指標(biāo)突發(fā)異常，自動(dòng)撥號(hào)家屬聯(lián)系人，并上報(bào)實(shí)時(shí)位置。

2 研究解決的問題

目前研究工作處于中期階段，初步思想已經(jīng)形成，以下是主要解決的幾個(gè)方面。

2.1 研究重點(diǎn)

1）行為監(jiān)控系統(tǒng)：針對(duì)車載場(chǎng)景，實(shí)時(shí)識(shí)別駕駛員使用手機(jī)、抽煙、不系安全帶、未佩戴口罩、閉眼、打哈欠、雙手離開方向盤等動(dòng)作姿態(tài)，分析預(yù)警危險(xiǎn)駕駛行為，提升行車安全性；

2）酒駕監(jiān)控系統(tǒng)：在汽車方向盤安裝酒精檢測(cè)傳感器，判別駕駛員是否存在酒后駕駛，若有自動(dòng)撥號(hào)家屬聯(lián)系人；

3）健康信息收集分析系統(tǒng)：組建制作智能可穿戴設(shè)備，測(cè)量出車主的體溫、心跳、血壓、血脂等指標(biāo)；將以上收集的信息數(shù)據(jù)進(jìn)行存儲(chǔ)分析，生成健康報(bào)表提供給用戶，如若駕車行駛指標(biāo)突發(fā)異常，自動(dòng)撥號(hào)家屬聯(lián)系人，并上報(bào)實(shí)時(shí)位置。

2.2 研究難點(diǎn)

1）酒精檢測(cè)器、智能可穿戴設(shè)備等硬件的組建制作問題；

2）由不同硬件產(chǎn)生的數(shù)據(jù)來源與數(shù)據(jù)傳輸；

3）基于機(jī)器視覺、人臉及姿態(tài)識(shí)別的駕駛員行為檢測(cè)算法模型、駕駛行為的特征提取；

4）行為監(jiān)控系統(tǒng)能否適用于不同出租車、客車、公交車、貨車等多種典型車載場(chǎng)景（已解決，主要考慮公共交通汽車）；

5）后臺(tái)健康指標(biāo)數(shù)據(jù)的自動(dòng)采集與智能分析，正確的醫(yī)學(xué)生理數(shù)據(jù)處理方法。

3 現(xiàn)有研究借鑒

1）針對(duì)駕駛員行為狀態(tài)的監(jiān)測(cè)，國內(nèi)外研究者提出了以下方法：基于深度學(xué)習(xí)識(shí)別駕駛員的駕駛行為。如彭家駿[1]基于深度學(xué)習(xí)的云端識(shí)別模型，使用MTCNN人臉檢測(cè)網(wǎng)絡(luò)提取人臉局部與全局特征，并通過深度殘差神經(jīng)網(wǎng)絡(luò)ResNet識(shí)別駕駛員行為，該算法對(duì)四種行為（打哈欠、打盹、抽煙和打電話）都可以達(dá)到97%及以上的正確率。

2）為解決云端識(shí)別的數(shù)據(jù)的傳輸以及傳輸過程中的信息安全，鄭磊[2]等人提出選取輕量級(jí)網(wǎng)絡(luò)模型Mobilenet V3作為駕駛行為識(shí)別模型，采用State Farm數(shù)據(jù)集訓(xùn)練模型。

3）針對(duì)駕駛員健康生理信息數(shù)據(jù)的收集與分析，國內(nèi)外研究者提出以下幾種方法：李秀靜[3]等人通過多種微型傳感器測(cè)量出車主的體溫、體重、心跳、血壓、血脂、酒精、視力等指標(biāo)數(shù)據(jù)，與云端大數(shù)據(jù)模型進(jìn)行比對(duì)，進(jìn)行車主健康分析、車主健康趨勢(shì)分析、車主指標(biāo)分析等，之后通過圖表、文字、語音等可視化、數(shù)據(jù)化的形式為車主提供健康報(bào)告和建議。

4）考慮到駕駛員疲勞之后，黃創(chuàng)新[4]等人提出方向盤角度數(shù)據(jù)和汽車偏移路面中心線位移數(shù)據(jù)之間存在的關(guān)系會(huì)明顯不同，把駕駛員疲勞系統(tǒng)看成是一個(gè)黑箱系統(tǒng)，系統(tǒng)的輸入是汽車的方向盤角度ɑ，輸出是汽車偏離路面車道中心線的縱向位移S。當(dāng)車輛駕駛者陷入昏昏欲睡狀態(tài)時(shí)，可以通過車輛方向盤的角度和汽車偏離路面車道中線的位移來探測(cè)出這種狀態(tài)，進(jìn)而避免交通事故的發(fā)生。

4 算法概述

本系統(tǒng)采用的是YOLOv5算法，Yolov5的網(wǎng)絡(luò)結(jié)構(gòu)主要由Backbone、Neck、Head 構(gòu)成，其中Backbone主要使用CSPdarknet+SPP 結(jié)構(gòu)，Neck 使用PANet 結(jié)構(gòu)，結(jié)構(gòu)圖如圖1所示。

Yolov5使用CSPDarknet作為Backbone，從輸入圖像中提取豐富的信息特征。CSPNet解決了其他大型卷積神經(jīng)網(wǎng)絡(luò)框架Backbone中網(wǎng)絡(luò)優(yōu)化的梯度信息重復(fù)問題，將梯度的變化從頭到尾地集成到特征圖中，因此減少了模型的參數(shù)量和FLOPS數(shù)值，既保證了推理速度和準(zhǔn)確率，又減小了模型尺寸[5]。

算法思想主要是將一幅圖像分成SxS個(gè)網(wǎng)格（gridcell），如果某個(gè)object的中心落在這個(gè)網(wǎng)格中，則這個(gè)網(wǎng)格就負(fù)責(zé)預(yù)測(cè)這個(gè)object，如圖2所示。每個(gè)網(wǎng)絡(luò)需要預(yù)測(cè)B個(gè)BBox的位置信息和confidence（置信度）信息，一個(gè)BBox對(duì)應(yīng)著四個(gè)位置信息和一個(gè)confidence信息。

5 系統(tǒng)實(shí)現(xiàn)

系統(tǒng)模塊設(shè)計(jì)。本系統(tǒng)的輔助場(chǎng)景為車內(nèi)場(chǎng)景，通過真實(shí)車內(nèi)駕駛員的場(chǎng)景獲取駕駛員行為動(dòng)作、環(huán)境酒精濃度生理指標(biāo)數(shù)據(jù)，對(duì)實(shí)時(shí)視頻解碼后獲取原始圖像數(shù)據(jù)[6]。對(duì)原始圖像數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理后，使用YOLO5算法對(duì)駕駛員的行為進(jìn)行識(shí)別分類，最后前端給予處理結(jié)果反饋。

大數(shù)據(jù)項(xiàng)目共分三大模塊，三者相輔相成，共同構(gòu)成了智能安全駕駛監(jiān)測(cè)系統(tǒng)的相應(yīng)功能。

1）檢測(cè)模塊

通過攝像頭與傳感器共同工作，檢測(cè)各種信息，如駕駛員酒精濃度，駕駛員生理指標(biāo)數(shù)據(jù)等。通過檢測(cè)來獲取各種數(shù)據(jù)，并把數(shù)據(jù)發(fā)送給預(yù)警模塊，使預(yù)警模塊來完成相應(yīng)的工作。

2）識(shí)別模塊

通過攝像頭獲取到的信息對(duì)信息進(jìn)行識(shí)別，識(shí)別到駕駛員的行為動(dòng)作，如使用手機(jī)、抽煙、不系安全帶、未佩戴口罩、閉眼、打哈欠、雙手離開方向盤等時(shí)，將通過識(shí)別獲取到的數(shù)據(jù)傳給預(yù)警模塊，使預(yù)警模塊能正常工作。

3）預(yù)警模塊

通過檢測(cè)模塊所獲取到的各種數(shù)據(jù)在預(yù)知危險(xiǎn)時(shí)進(jìn)行預(yù)警：自動(dòng)撥號(hào)預(yù)警、語音預(yù)警，來確保駕駛員的安全。

① 硬件設(shè)計(jì)

本系統(tǒng)以單片機(jī)為核心，實(shí)現(xiàn)對(duì)各個(gè)模塊的協(xié)調(diào)，在云端接收數(shù)據(jù)后進(jìn)行分析反饋，并發(fā)送控制數(shù)據(jù)。

② 軟件設(shè)計(jì)

6 應(yīng)用效果

1）車輛定位顯示。通過小程序組件布置、調(diào)用實(shí)時(shí)地圖和實(shí)時(shí)位置，顯示車輛此時(shí)的位置信息，地圖的縮放級(jí)別為3～20；

2）健康報(bào)告展示。通過外部攝像頭和傳感器返回?cái)?shù)據(jù)，并經(jīng)過后端代碼和算法的分析與識(shí)別，最終展示了一份完整的健康報(bào)告；

3）行為識(shí)別展示。駕駛員點(diǎn)擊開始駕車進(jìn)行酒精檢測(cè)和身體數(shù)據(jù)檢測(cè)，檢測(cè)完后可以進(jìn)入識(shí)別界面進(jìn)行監(jiān)測(cè)，當(dāng)點(diǎn)擊停止駕車后，系統(tǒng)將不再識(shí)別，并返回地圖展示界面。

7 功能測(cè)試

7.1 主功能測(cè)試

1）測(cè)試用例

①photo test_001

②photo test_002

③photo test_003

2）功能測(cè)試

①photo test_001

測(cè)試結(jié)果："both_hands_leaving_wheel"=0.659，"eyes_closed"=0.013，"no_face_mask"=0.996，"not_buck?ling_up" =0.965， "smoke" =0.003， "not_facing_front" =0.041，"cellphone"=0.015，"yawning"=0.000，"head_low?ered"=0.33

期望結(jié)果：

"both_hands_leaving_wheel" <0.7， "eyes_closed" <0.55， "no_face_mask" >0.75， "not_buckling_up" >0.44，"smoke"<0.48，"not_facing_front"<0.5，"cellphone"<0.69，"yawning"<0.5，"head_lowered"<0.55