基于嵌入式神經網絡的危險駕駛行為檢測系統

龍勁嶧 周驊

摘要：駕駛行為規范性不僅是行車安全的保障，也是解決交通高峰期道路暢通的前提，對駕駛行為識別的研究是道路交通安全的研究熱點之一。本文設計一款基于嵌入式系統的卷積神經網絡圖像分類器用來實時檢測危險駕駛行為，將AlexNet卷積神經網絡改進為能適應在嵌入式系統的小型卷積神經網絡mAlex，同時加入一些圖像預處理算法和優化策略，建立了駕駛員關于危險駕駛行為檢測模型。經過實驗表明實時檢測危險駕駛行為系統對駕駛人的危險駕駛行為具有較高的識別精度和較高的魯棒性。同時該系統使用在嵌入式系統中具有成本低、節能和小巧等許多優點。

關鍵詞： 卷積神經網絡; 嵌入式系統; 圖像分類; 危險駕駛行為

【Abstract】 Normative driving behavior is not only the guarantee of driving safety， but also the premise of dealing with the traffic jam in rush hour. In this paper， a convolutional neural network image classifier based on embedded system is designed to detect dangerous driving behaviors in real time.By improving AlexNet convolutional neural network into a small convolutional neural network which can adapt to embedded system， and with some image preprocessing algorithms and optimization strategies， a complete model of driver upper body behavior classification recognition is established. Experiments show that the real-time detection system of dangerous driving behavior has high recognition accuracy and robustness to the driver's dangerous driving behavior. At the same time， this system has many advantages such as low cost， energy saving and small size etc， in embedded system.

【Key words】 ?Convolutional Neural Networks; embedded system; image classification; dangerous driving behavior

0 引 言

近年來，隨著各國城市化進程的加快以及科學技術在汽車領域的發展和應用，機動車保有量逐年攀升，成為人類日常生活中不可或缺的交通工具[1-3]。但是汽車行業的發展給人類社會帶來財富和方便的同時，也帶來了日益嚴峻的交通安全問題，其中由駕駛員人為過失導致的交通事故占所有交通事故的90%以上[1]。本文設計一款基于嵌入式系統的卷積神經網絡圖像分類器用來實時檢測危險駕駛行為，搭載嵌入式相機采集駕駛人實時數據。通過嵌入式搭載卷積神經網絡危險駕駛檢測系統，可以使設計應用更加靈活。而考量本文系統的使用環境以及使用條件，本文中簡化了卷積神經網絡模型，為了使駕駛人更加注意危險駕駛的行為，本文加入了語音提醒功能。

在整個系統的設計中，需要嵌入式系統和卷積神經網絡模型結合來實現對駕駛人危險行為判斷，其中卷積神經網絡模型的識別最為重要，是整個系統檢測精確度的核心。嵌入式信息采集模塊主要是將駕駛人的駕駛行為實時采集到嵌入式系統中;卷積神經網絡模型識別判斷模塊是對采集的信息進行識別和判斷;嵌入式系統存儲模塊是存放采集模塊的采集信息和識別判斷模塊的判斷信息;顯示模塊是將最后的結果顯示出來，如圖1所示。

1 圖像分類及檢測算法基本原理

1.1 卷積神經網絡模型設計

卷積神經網絡結構有多種，目前常見的有LeNet、GoogleNet、SSD以及AlexNet等上述幾種結構的結合[4-7]。其中，AlexNet具有更深的網絡結構，使用層疊的卷積層，即卷積層+卷積層+池化層來提取圖像的特征，使用Dropout抑制過擬合，使用數據增強Data Augmentation抑制過擬合，使用Relu函數替換之前的sigmoid函數作為激活函數等優點[7-15]。同時在視覺識別檢測中，該卷積神經網絡也是成熟的。AlexNet網絡具有少于5個可訓練層，以便使計算在嵌入式設備上實時可行。這種限制是合理的，因為原始架構是為大規模視覺識別任務而設計的，這比當下的二元分類問題更加復雜。事實上，通過實驗觀察到，減少的架構可以很容易地應對駕駛人危險行為檢測問題。因此本論文的檢測卷積神經網絡是在AlexNet基礎上調整的。這里，對研究中涉及的各部分內容可闡釋分述如下。

1.3 危險駕駛行為數據庫制作

根據疾控中心汽車安全部門稱，五分之一的車禍是由駕駛員分心造成的。這意味著每年有425 000人受傷，3 000人因分心駕駛而死亡。本次制作數據集的圖片由美國Statefarm公司提供，由2D儀表板相機所拍攝的圖像制作成數據集，對每個駕駛員的行為進行分類。將數據庫分為2類，一類為正常駕駛，另一類為危險駕駛。其中，危險駕駛包括的動作有左手/右手打電話、左手/右手發消息、吃喝東西、回頭、化妝和乘客說話。本數據集共有25 000張圖像，包括有訓練集22 424張（正常駕駛2 489張、危險駕駛19 935張），測試集2 576張。這里，給出危險駕駛行為數據庫示例如圖2所示。

1.4 卷積神經網絡模型訓練和分析

根據mAlex設定的網絡結構及選用的參數對網絡進行訓練，使用caffe深度學習庫的函數式模型來進行卷積神經網絡整體網絡結構的搭建，同時將網絡的學習率設置為0.001，選擇隨機梯度下降法帶動量參數（動量設置為0.9）作為優化方法，經過10 000次迭代訓練后完成該卷積神經網絡模型的建立，并且將訓練好的網絡模型參數進行存儲，得到結果如圖3所示。

從圖3中可以看出，隨著迭代次數的增加，train loss和test loss不斷地降低，最后穩定在接近0的位置。說明該模型訓練效果良好，模型網絡誤差低，同時accuracy在迭代6 000次時就接近1，說明該模型的精確度也達到要求，因此訓練的模型網絡的性能能夠滿足本文應用的需要。

2 嵌入式系統設計

嵌入式系統設計是危險駕駛檢測系統設計的重要組成部分，只有對硬件和卷積神經網絡模型進行合理有效的編程，危險駕駛檢測的功能性和實用性才能真正得到實現，同時嵌入式系統設計的好壞對系統的穩定性和可靠性也有很大的影響。

2.1 嵌入式危險駕駛檢測系統整體設計

開啟嵌入式危險駕駛檢測系統時，相機采集實時影像將影像存儲到嵌入式系統的存儲器中，然后將影像處理后輸入到訓練好的卷積神經網絡模型中，模型識別影像后將結果返回到嵌入式系統中，當判斷的影像類型為危險駕駛行為時，提醒語音響起并把圖像上傳到指定的服務器存儲。程序設計總體框圖如圖4所示。

2.2 提醒程序設計流程圖

卷積神經網絡返回的結果只是圖像分類的類型，因此需要在嵌入式系統中設置需要提醒圖像類型，當卷積神經網絡圖像分類模型返回的圖像類型與設置的提醒圖像類型一致時，嵌入式系統將啟動提醒程序進行提醒。具體流程如圖5所示。由于模型返回的圖像結果可能存在誤判的問題，因此在語音提醒設置中，只有當返回結果的概率達到0.6以上，并且處于危險駕駛圖像類型連續大于10幀時才會啟動提醒程序。這樣即可減少誤報的概率。

2.3 服務器上傳主程序設計

首先是將WiFi上傳的控制設備和可讀設備數據點的值進行初始化，當提醒程序通過時，截取1 min內的影像，通過WiFi上傳的控制設備和可讀設備，向指定的服務器上傳影像信息。

3 系統測試與分析

3.1 危險駕駛行為檢測系統測試

將嵌入式系統和卷積神經網絡模型mAlex調試好后，對其進行測試，測試影像如圖6所示。

從圖6可知，系統會一直實時在左側面板上顯示出每幀圖像的駕駛人駕駛行為是安全還是危險的概率，取最高的概率為當前駕駛人的行為狀態，并在圖像的左上側標記出圖像類型，從圖6分析來看，危險駕駛時顯示的是1類型，安全駕駛時顯示為2類型。然后把顯示的1類型或者2類型和概率反饋到樹莓派中，連續10幀且概率高于0.6，如果反饋的信號是1類型，此時喇叭就開始提醒駕駛人，并且將1 min內影像截取上傳到服務器中。同時，通過左側的概率可以看出危險駕駛行為的識別概率要高于安全駕駛的概率，通過分析后發現這是數據庫的安全駕駛樣本過小所致，今后需要提高安全駕駛的圖片數據。經多次測試表明，本次設計的危險駕駛行為檢測系統能夠對圖像數據進行實時、準確的獲取、判斷、顯示和響應。

3.2 嵌入式危險駕駛檢測系統分析

本文將精簡后的卷積神經網絡mAlex與傳統的方法SVM進行了比較。在依賴于紋理特征的直方圖上訓練的RBF核SVM。實驗使用危險駕駛數據集進行了比較實驗。

為了進行模型比較，在測試集上評估訓練后的模型分類的性能，并最終繪制了Receiver Operating Characteristic （ROC） 曲線，同時也得到了Area Under the Curve（AUC）值。ROC曲線y軸上為真正類率（TPR）和x軸上的負正類率（FPR）隨著閾值的不同而有所變化。ROC曲線下的面積就是AUC。模型比較結果如圖7所示。在圖7中，ROC曲線與每次單個實驗求得的AUC值一起顯示。

由圖7可知，在比較同一類型測試集時，mAlex的AUC達到了0.94，在閾值為0.5的精確度下，mAlex模型高于SVM模型。而在引入新的測試集后，mAlex的AUC也是達到了0.92。說明該模型具有良好的泛化能力。

4 結束語

本文實現從研究的難點和創新點出發，圍繞著如何精簡卷積模型、提高模型精度和減少檢測誤差等方面來分析基于嵌入式和卷積神經網絡的危險駕駛行為系統可行性。在選擇好卷積神經網絡結構AleNet后，對其模型結構進行精簡，去掉AlexNet第三和第四個卷積層和一個完全連接的層后，得到精簡的小型mAlex，基于此來制作危險駕駛相關的數據集。接下來則在深度學習框架caffe下訓練mAlex。訓練結束后得到危險駕駛行為檢測的模型，再將其存入嵌入式系統中，在嵌入式系統中通過python調用嵌入式各個部分的硬件和存入嵌入式系統中的卷積神經網絡mAlex模型，以此來實現危險駕駛行為的檢測。最后，本文對系統進行測試得出檢測的圖像，同時與經典二分類模型SVM進行ROC比較，得到AUC的值，通過測試得到精簡的mAlex的精確度和泛化能力都是最好。因此，本文設計的危險駕駛行為檢測系統優于傳統的檢測系統。

參考文獻

[1] 李元明. 關于近年來危險駕駛案件數量增減情況的調研報告[N]. 河南法制報，2018-12-28（018）.

[2]莊杰. 基于人車耦合的安全駕駛行為預警關鍵技術研究[J]. 電子技術與軟件工程，2018（13）：237.

[3]應海寧，唐振民，韓旭. 基于兩次聚類的PWARX駕駛行為辨識模型[J]. 重慶交通大學學報（自然科學版），2019，38（2）：79.

[4]PEI Jifang， HUANG Yulin， HUO Weibo， et al. SAR automatic target recognition based on multiview deep learning framework[J]. IEEE Transactions on Geoscience & Remote Sensing， 2018，56（4）：2196.

[5]張文達， 許悅雷， 倪嘉成，等. 基于多尺度分塊卷積神經網絡的圖像目標識別算法[J]. 計算機應用， 2016， 36（4）：1033.

[6]林志潔， 羅壯， 趙磊，等. 特征金字塔多尺度全卷積目標檢測算法[J]. 浙江大學學報（工學版）， 2019， 53（3）：533.

[7]KRIZHEVSKY A ， SUTSKEVER I ， HINTON G. ImageNet classification with deep Convolutional Neural Networks[J]. Advances in Neural Information Processing Systems， 2012， 25（2）：1106.

[8]宋光慧. 基于遷移學習與深度卷積特征的圖像標注方法研究[D]. 杭州：浙江大學，2017.

[9]王茜， 陳一民， 丁友東. 基于改進卷積神經網絡的機動車圖像分類算法[J]. 計算機應用與軟件， 2018， 35（7）：263.

[10]ACKERMANN S ， SCHAWINSKI K ， ZHANG Ce ， et al. Using transfer learning to detect galaxy mergers[J]. Monthly Notices of the Royal Astronomical Society， 2018， 479（1）： 415.

[11]DING Z ， SHAO M ， FU Y . Incomplete multisource transfer learning[J]. IEEE Transactions on Neural Networks and Learning Systems， 2018， 29（2）：310.

[12]KHAN R U， ZHANG Xiaosong， KUMAR R. Analysis of ResNet and GoogleNet models for malware detection[J]. Journal of Computer Virology and Hacking Techniques， 2019，15：29.

[13]BALLESTER P， ARAUJO R M. On the performance of GoogLeNet and AlexNet applied to sketches[C]// Thirtieth AAAI Conference on Artificial Intelligence（AAAI-16）. Phoenix， Arizona USA：AAAI，2016：1124.

[14]王敬仁，傅凱，蔡暉，等. 基于機器視覺的地鐵分流系統[J]. 教育教學論壇，2019（21）：55.

[15]李國誠，黃明，崔進寶，等. 基于樹莓派的智能監控系統設計與實現[J]. ?工業技術創新，2019，6（2）：42.