基于改進Mobile Net-SSD網絡的駕駛員分心行為檢測

杜虓龍，余華平

(長江大學 計算機科學學院，湖北 荊州 434000)

0 引言

近年來，隨著家用汽車的日益普及，行車安全問題也與日俱增。根據美國國家公路交通局發布的調查數據顯示，其中有30%的車禍主要原因為駕駛員駕駛時分心[1]。中國作為發展中強國，人民經濟水平不斷提高，汽車普及率也以極快的速度進行增長，所以對駕駛員進行實時監控，快速準確地識別駕駛時的分心行為對解決交通安全問題來說變得尤為重要。

為解決這一問題，國內外眾多學者主要通過3種方式：基于傳感器，基于計算機視覺以及基于兩者結合的方法[2]。不過，基于計算機視覺的解決方法還是占據主流位置，李振龍[3]提出了基于反向雙目的識別方法，通過Hough算法對駕駛車輛的車道偏移率進行計算，再結合車內對駕駛員頭部姿態的識別分析，對兩者進行融合分析來進行識別，分析是否出現了分心現象。Ren[4]等提出通過Faster-RCNN網絡來識別駕駛員手中是否有手機來判斷是否為分心駕駛。陳軍等[5]提出了使用級聯卷積神經網絡對駕駛員分心行為進行檢測的方法，通過構建兩級神經網絡對數據進行先粗略提取特征后精確識別的方法，使網絡檢測成功率相較于主流單模型檢測方法有了明顯提升。徐蓮等[6]提出了基于遷移學習的眼睛狀態識別網絡，先利用級聯網絡對人臉進行識別，再利用GL-CNN對單個眼球進行開閉識別，再根據PERCLOSE準則對駕駛員進行疲勞判斷。

以上方法都基本解決了分心駕駛問題，但是存在計算的參數量過大，檢測類型過少等問題。

為解決上述問題，實現多種類分心識別，減少網絡參數，加快網絡運行速度，本研究提出了通過改進后的Mobile Net-SSD[7]輕量級目標檢測網絡，對駕駛員在駕駛時的正常駕駛、非正常駕駛、打電話、玩手機、喝水、調整收音機和手伸向后排這7種動作進行識別。其中，正常駕駛為無分心動作的駕駛行為，非正常駕駛為本研究新添加的類，原數據集中并沒有此類，在此主要作為手伸到后排、調整收音機和玩手機類的干擾類，并不作為主要分心動作進行檢測，主要用來檢測網絡在識別特征較為相近的不同類別時能否有效區分。

1 網絡構建

1.1 網絡搭建

Single Shot MultiBox Detector(SSD)[8]目標檢測算法是近年來優秀的one-stage目標檢測算法，該算法可以同時實現目標檢測[9]和分類[10]兩種任務。該算法利用卷積神經網絡對圖片進行特征提取后，均勻地在圖片的不同位置進行抽樣，在抽樣時抽取不同特征尺度，增加多樣性，再將分類與預測同時進行，整個過程快速、準確。SSD算法精度和速度都優于同類型的R-CNN系列和YOLO系列[11]，但SSD網絡中大約有80%應用于基礎網絡(VGG16)，這導致網絡整體準確性不高。為此裴偉等[12]使用Restnet50替換VGG16主干網絡，在引入特征融合機制后，使網絡準確性得到提高，但殘差網絡的網絡計算量較大，檢測時網絡運行時間較長。所以本研究使用更為輕便的Mobile Net網絡對VGG16網絡進行替換。替換后的網絡主要由深度可分離卷積和常規卷積組成，如圖1所示。

圖1 Mobile Net-SSD主要網絡結構

1.2 特征提取

深度可分離卷積將常規卷積操作拆分為深度卷積(Dw)操作和逐點卷積(Pw)操作。深度可分離卷積與常規卷積的對比圖如圖2所示。

圖2 卷積對比圖

其中，Dw使用Dk×Dk內核的卷積層，在執行操作時卷積核的數量與通道數相同，每個卷積核單獨對應一個通道，且該通道不能與其他卷積核進行卷積運算。該操作結束后生成的特征圖數量與通道數相同。但是，Dw對每個通道進行單獨運算會導致無法有效利用相同空間信息，所以需要Pw操作來彌補此缺陷。Pw則為1×1×M尺寸的卷積，其中M為通道數，Pw會將Dw生成的特征圖進行深度方向的加權操作，并輸出本階段特征圖。深度可分離卷積極大減少了計算參數量，優化了分心駕駛檢測時出現冗余表達頻率較高的現象。

經過深度可分離卷積得到特征圖，隨后通過批量歸一化(BN)和Rule6激活函數處理，BN層主要為防止梯度爆炸和發生過擬合，Rule6為非線性函數，在輕量級神經網絡中具有更好的魯棒性[13]。Rule6函數見式(1)。

y=min[max(z,0),6]。

(1)

1.3 特征融合

傳統Mobile Net-SSD網絡將輸入圖片處理為多尺度圖片，提取出多尺度特征圖，再對目標進行檢測，分別檢測不同的特征細節，該方法雖然有效，但Mobile Net網絡為輕型網絡，存在較為明顯的缺陷，檢測準確度較差。并且由于網絡簡單，一些細節可能存在漏檢誤檢。這些問題經過反復研究主要在淺層特征提取層中存在，為了解決上述問題，本研究提出一種新型MH-SSD網絡模型，見圖3。

圖3 MH-SSD模型

由圖1可知，傳統Mobile Net-SSD網絡取其中6層作為有效特征層進行檢測，分別為19×19,10×10,5×5,3×3, 2×2, 1×1。前3層由于特征圖較大會出現漏檢特征問題，本研究在這3層中加入混合空洞卷積(HDC)[14]擴大感受野，使得該3層的特征提取更加準確。后3層由于特征圖較小并不適用于HDC，所以不做改變，僅用1×1卷積進行降維處理。最后使用Concat函數對6個特征層進行疊加操作，融合不同尺度提取出的圖片特征，通過下采樣形成新的特征金字塔[15]，在不同尺度上對分心駕駛進行預測。本方法解決了Mobile Net-SSD網絡的漏檢和特征丟失問題。

本研究也嘗試將后3層進行HDC處理，但結果并沒有前3層處理效果好，后續會在文中展示兩者處理后的不同結果。

2 分心檢測

2.1 數據處理

本研究訓練數據來自公開數據集State Farm Distracted Driver Detection[16]，該數據集是將車內的駕駛員動作進行拍攝并且對其進行分類，駕駛員為左邊駕駛，與國內駕駛習慣一致，所以可以使用。本研究在對數據集進行研究后將數據集分成7類常見分心駕駛動作，分別為打電話、玩手機、手伸到后排、調整收音機、喝水、正常和非正常。非正常類與喝水類和打電話類共用數據集。原數據集將手機相關的類分為發送短信與打電話兩類，考慮到目前手機不僅有發送短信這一個功能，本研究將發送短信改為玩手機。

試驗數據總共使用11 060張圖片進行訓練，圖片尺寸為300 pixel×300 pixel，對選取出來的圖片利用LabelImg軟件處理為標準PASCAL VOC數據集格式。在對圖片進行標注時，非正常類與喝水類和打電話類使用同張圖片。按照9∶1的比例將數據集切分為訓練集和驗證集，測試集則另外挑選1 000張圖片用于測試網絡性能，如表1所示。

表1 數據集分類

2.2 檢測過程

MH-SSD網絡提取不同尺度分心特征，并通過事先設置好的先驗框對標注區域進行檢測，網絡使用不同尺度特征圖對不同區域進行特征檢測。在淺層網絡特征圖尺度較大，可提取特征量較為豐富，又通過HDC進行感受野擴大，可在網絡前期有效提取特征關鍵信息點，進入深層網絡后，會使用步長為2的卷積方式調整特征圖的大小，進一步對特征進行提取操作。

網絡中6個有效特征層的先驗框個數為4，6，6，6，6，6，每個先驗框長寬比均不同，將每個網絡層的先驗框設為k，將特征圖尺寸設為n×n，則每個特征圖先驗框數量為k×n×n。由于數據集為人工標注，先驗框會與標注的目標產生位置、類別的誤差，所以根據Ground Truth匹配合適的先驗框進行數據訓練，最后通過損失函數[17](見式2)，執行端對端前向傳播，確定最佳分心類別及先驗框位置坐標，見圖4。

圖4 網絡檢測過程

(2)

式中,N為正負樣本之和；c為預測類別置信度；l為邊界框的先驗框位置；α為調整兩個誤差的比例，默認為1。Lconf為置信度損失；Lloc為位置損失；x為真實邊框與預測邊框的匹配標識；g為真實邊框的坐標。

3 結果分析

3.1 試驗平臺

系統：Window10

處理器：Intel(R) Core(TM) i7-8750H CPU @ 2.20 GHz 2.21 GHz

內存：32 GB

GPU 型號：NVIDIA GeForce RTX 2080

Python 環境：Python3.7

TensorFlow 和 Keras 環境：TensorFlow-GPU==1.14.0,Keras==2.2.0

CUDA版本：CUDA==10.0

初始學習率設置為5e-4,并在訓練時使用自適應學習率調節算法對學習率進行實時調整。

3.2 遷移學習策略

本研究使用遷移學習[18]的方法對網絡進行訓練，在對網絡結構進行分析后可知本網絡前81層均為特征提取層，所以先將網絡特征提取層進行凍結，使用預訓練權重對后續網絡進行粗略訓練，提取適應分心檢測特征，再將特征提取層解凍，進行完全訓練，這樣做可以在數據量無法達到類似Voc2017數據集的情況下，訓練出泛化能力足夠強的深度神經網絡，減少了網絡的訓練時間。

3.3 試驗結果

檢測類別及對應準確率如表2所示。由檢測結果表2可知，改進后的網絡可以準確識別不同分心種類。

表2 模型檢測結果

為檢驗網絡的魯棒性與特征提取能力，對正常圖片進行模糊處理后再利用網絡進行檢測。檢測后的準確率如表3所示。

表3 模糊檢測結果

由表3可知，改進后的網絡可以對模糊處理后的分心動作做出準確識別，證明MH-SSD網絡的特征提取能力較強，魯棒性較好。

3.4 網絡評估

網絡訓練中的學習率變化和損失率變化如圖5所示。其中，損失率隨著學習率的下降逐漸收斂，在80個epoch后趨于穩定，最終達到最優。

圖5 訓練中數據變化情況

本次為輕量級目標檢測網絡的改進研究，使用平均準確率mAP(mean Average Precision)[19]和基于視頻流的實時檢測來評價網絡性能的優劣。mAP是每一類AP取平均值求和除以類別總數得來，AP由每一類精確率(Precision)/召回率(Recall)曲線下的面積得來，具體計算公式如式(3)～(5)所示。

(3)

(4)

(5)

式中，TP為成功分類的正樣本;FP為錯誤分類的正樣本;FN為錯誤分類的負樣本。式(5)中p為Precision;r為Recall。

本網絡與SSD(VGG16)網絡，Mobile Net-SSD網絡，MH2-SSD網絡AP與mAP對比圖如圖6所示。

圖6 mAP對比圖與AP對比圖

其中，MH2-SSD網絡為后3層加入HDC處理網絡，MH-SSD為前3層加入HDC處理網絡。從圖6的mAP對比圖中可以看出，在加入HDC處理網絡后，相較于傳統Mobile Net-SSD網絡，改進后的網絡性能顯著增強。由圖6中AP對比圖可知，改進后的網絡每個AP值都優于原始的Mobile Net-SSD網絡。MH-SSD網絡在識別Drinking類時效果遠高于MH2-SSD網絡，這表示在小目標的特征提取上前3層加入HDC處理模塊的效果優于后3層。由于本次研究使用輕量級網絡，相較于成熟性高，網絡結構復雜的SSD(VGG16)網絡性能略有損失。在網絡大小上，SSD(VGG16)為97 MB，Mobile Net-SSD為30 MB，MH-SSD為41 MB，MH2-SSD為43 MB。綜上所述，改進后的MH-SSD網絡在性能上相較于同類型的輕量級網絡具有顯著優勢，在網絡大小上相較于SSD(VGG16)網絡占用更少的空間。

另外，由圖6中AP對比圖可知，打電話類別在4個網絡中的AP值均低于85%。通過對網絡及數據集的研究判斷，造成此結果的原因可能為，打電話的不同人員因手持電話露出的大小不同，導致網絡無法準確判斷手機是否存在，僅僅只能依靠人物動作進行判斷，而人物動作判斷又會被非正常駕駛行為干擾，導致出現誤判現象。

為檢測MH-SSD網絡是否具有實時檢測功能，本研究使用幾組自制短視頻對網絡進行檢測。

自制短視頻被分為a,b和c這3組，每組的光照強度及人員身著顏色不同。其中，a組與c組為同一人，為檢測光照條件不同情況下檢測情況；b組與c組光照相同，為檢測人員衣著與車內顏色相近時的檢測情況。

通過不同網絡對3段視頻檢測后發現，在衣服與車內顏色相近時手伸向后排的動作會被誤判為非正常行為的概率有明顯提高現象，其中MH-SSD誤判率為5.3%，Mobile Net-SSD誤判率為8.3%，SSD(VGG16)誤判率為4.3%。這表明駕駛員衣著顏色對網絡檢測會產生影響。

在對光照不同的a,c兩組視頻進行檢測后發現，僅Mobile Net-SSD對手伸向后排與打電話這兩類的分心動作出現誤判現象，且誤判率為5.2%。文中其他網絡誤判率均低于3%，這表明不同光照對網絡影響較小。

經過試驗可知，Mobile Net-SSD在提取特征時受到了非正常類的干擾，相較于其他網絡并不能有效檢測特征較為相近的不同類別。

4 結論

本研究提出了一種基于輕量級網絡的分心駕駛檢測方法，本研究通過在Mobile Net網絡的淺層網絡引入HDC處理模塊的方法，解決了傳統Mobile Net-SSD網絡在淺層網絡提取特征時容易出現對特征誤檢漏檢的缺陷，建立了MH-SSD駕駛員分心檢測網絡模型。主要研究結論如下。

(1)本研究通過對比在淺層網絡和深層網絡進行網絡改進的不同結果，得出淺層網絡改進優于深層網絡改進的結論。

(2)通過改進后的MH-SSD網絡與另外3種網絡的mAP值對比。其中，MH-SSD為94.01%，Mobile Net-SSD為91.82%，說明改進后的網絡優于傳統的Mobile Net-SSD網絡。

(3)文獻[5]中試驗數據與本研究試驗數據一致，均來自同一數據集。通過本研究改進后的MH-SSD網絡檢測平均準確率與文獻[5]中的級聯卷積神經網絡試驗結果中的準確率對比可知，前者高于后者，得出MH-SSD網絡可以有效提高檢測準確度的結論。

(4)通過自制短視頻對MH-SSD網絡進行驗證，由驗證結果可知，網絡運行時畫面幀數平均為25幀，除打電話類別外，其余類別均在90%以上。得出MH-SSD網絡可以滿足實時檢測的結論。

綜上所述，本研究提出的MH-SSD駕駛員分心行為檢測網絡模型，可以實現對駕駛員分心行為的準確檢測，并且網絡準確率更高，網絡計算參數更少，有助于將該網絡部署于移動端實現車內檢測。

下一步工作將針對打電話時準確率低的情況和衣服顏色與車內裝飾顏色相近時誤檢率高的情況進行進一步研究，并考慮加入單獨識別手機模塊和顏色識別模塊來進行輔助識別。本研究因為圖片拍攝角度問題，沒有進行疲勞駕駛等類別的識別，日后將加入此項類別的識別。