YM_SSH:一種用于實時疲勞檢測的輕量級目標檢測網絡

王 彬,徐俊杰,趙作鵬

(1.中國礦業大學 計算機科學與技術學院,江蘇 徐州 221116;2.江蘇聯合職業技術學院徐州財經分院 信息技術系,江蘇 徐州 221008)

0 引言

疲勞作為一種生理現象會降低工作效率和身體機能,通常是由于長時間的體力或腦力勞動所導致。在交通領域,疲勞駕駛會增加道路事故發生率[1-2]。據統計,疲勞駕駛是我國高速公路交通事故的主要原因之一,約占10%[3]。

為減少疲勞駕駛帶來的安全隱患,研究人員多采用基于生理特征和面部特征的疲勞檢測方法。基于生理特征的檢測方法是通過監測駕駛者的生理指標,如心率、眼動、肌電信號等來評估其疲勞程度[4-5]。該類方法優勢在于可以實時監測駕駛者的身體狀況。而基于面部特征的檢測方法以駕駛者的面部表情、頭部姿態、眼瞼閉合率等為判斷疲勞程度的指標。該方法一般使用計算機視覺技術進行疲勞檢測,具有非接觸性、實時性和經濟性等優勢,現已成為主流的檢測方法。以卷積神經網絡(Convolutional Neural Network,CNN)為代表的深度學習模型在計算機視覺領域取得了巨大的成功,借助CNN在人臉檢測和人體姿態估計方面取得的優良效果,大大提高了疲勞檢測的準確性,并逐漸取代傳統的機器學習算法。

1 目標檢測方法

疲勞檢測可視為目標檢測問題。2019年,Xiao等[6]提出了一種通過駕駛員眼睛的時空特征檢測疲勞狀態的有效方法,設計了具有長短期記憶單元的端到端可訓練卷積神經網絡。在深度學習方法層面上,Liu等[7]提出了一種基于多人臉特征的雙流網絡模型的駕駛員疲勞檢測算法。Gu等[8]提出了一種用于疲勞檢測系統的多任務分層CNN方案,并提出了一種多任務的卷積神經網絡模型。

本研究將疲勞檢測問題直接視為人臉和眼嘴的目標檢測任務,以降低檢測過程中的計算量。但大部分目標檢測網絡往往更加關注檢測精度的提升,從而忽略了模型計算量、參數量大小的問題。2014年,將卷積神經網絡運用在目標檢測領域的模型R-CNN被提出,該模型將mAP在VOC2012最好結果的基礎上提高了30%以上,達到了53.3%。

隨著R-CNN的進一步發展,產生了兩種不同的演變。第一種是基于候選區域網絡方法的目標檢測模型,第二種是基于回歸方法的目標檢測模型。這些新的變種在R-CNN的基礎上進行了改進和優化,提高了目標檢測的精度和效果。

1.1 基于候選區網絡方法

此類模型可分為兩種。(1)Faster R-CNN模型。它源于R-CNN和Fast R-CNN。2017年,Ren等[9]提出了Faster R-CNN,該模型在結構上整合了特征抽取、候選區域提取、邊框回歸和分類器的全過程,并將它們都集成在一個網絡中。這種整合架構使得Faster R-CNN在綜合性能上取得了優秀的表現,尤其是在檢測速度方面。(2)R-FCN模型。該模型基于目標檢測的需求,對ResNet進行了改進,將其轉變為一種全卷積網絡,以實現目標位置的準確定位。R-FCN在PASCAL VOC 2007測試集上的mAP為83.6%,單張圖像檢測時間為170 ms。

1.2 基于回歸方法

此類模型也可分為兩種。(1)SSD模型。SSD是由谷歌團隊于2016年提出的一種通用物體檢測模型,它以VGG16為主干網絡。相較于VGG16基礎網絡,SSD在最后一層卷積層之后添加了多個不同尺度的特征層,使得SSD能夠處理不同大小的目標。SSD采用了一種單神經網絡多邊界框檢測的方法,可以直接進行候選區域選取和區域分類,從而大大縮短了檢測時間,但這種方式也會導致模型準確度的降低。(2)YOLO模型。同SSD一樣,YOLO也是一種one-stage的檢測模型,YOLO和YOLO9000于2016年和2017年先后面世,隨后陸續迭代出了YOLOv2至YOLOv5 4個版本。YOLOv3結合了YOLOv2和ResNet的特點,并借鑒了特征金字塔網絡FPN的設計思路,實現了多尺度預測。為了構建該模型,YOLOv3采用了Darknet-53的深層網絡結構,其中包含了53層卷積層。此外,YOLOv3模型還通過使用多個邏輯分類器來取代softmax進行分類,以適應復雜目標類別或多標簽分類任務,這也導致了YOLOv3模型參數量大且檢測速度較慢。為了在算力有限的嵌入式設備上運行,需要提高模型檢測的精度和速度。

2 YOLOv3-MobileViT-SSH網絡

為了達到實時檢測的要求,同時滿足移動端的內存限制,本研究提出了YM_SSH網絡,整體結構如圖1所示。該網絡分為兩部分:前半部分使用MobileViT替換YOLOv3的主干網絡,后半部分為改進的SSH網絡和檢測層。為了完成輕量化的目標,選擇MobileViT作為前半部分模型的主干網絡;后半部分為改進的SSH網絡。SSH網絡借鑒了Inception結構,利用多個卷積維度拓展特征提取感受野,通過多分支、不同大小卷積核提取特征。對于深度可分離卷積,使用若干3×3卷積核來替換5×5和7×7卷積核。形式上,給定輸入形狀(H,W,M)和輸出形狀(H,W,N),讓C5×5和C3×3分別表示5×5和3×3深度可分離卷積的計算代價:

圖1 YM_SSH網絡結構

C3×3=H×W×M×(9+N)

(1)

C5×5=H×W×M×(25+N)

(2)

C7×7=H×W×M×(49+N)

(3)

對于相同的有效感受野,當輸入深度N<7時,兩個3×3的卷積核比一個5×5的卷積核具有更少的計算量;當輸入深度N<11時,3個3×3的卷積核比一個7×7的卷積核具有更少的計算量。將SSH模塊中的Conv-1單元卷積為一個3×3卷積核,通道數縮減為原來的1/2,Conv-2單元卷積利用2個3×3卷積核替換一個5×5卷積核,通道數縮減為原來的1/4,Conv-3單元卷積利用3個3×3卷積核替換1個7×7卷積核,合并之后總通道數不變。

在YOLOv3檢測層的基礎上,將檢測層的filter數量減半,通道數縮小為原來的1/2。為了彌補減少參數量的精度損失,引入SSH模塊擴展感受野,使模型在減少參數量的同時,保持較高精度。

3 實驗仿真與結果

3.1 實驗平臺與數據準備

本文實驗平臺為 Intel Core I5 10400F處理器,NVIDIA GTX 1660 S 8G顯存,軟件環境為 Windows10,PyTorch深度學習框架,使用VOC2007、VOC2012數據集、KITTI數據集對模型進行訓練,測試本模型以及其他流行目標檢測模型的性能。

VOC2007和VOC2012數據集包括了20個目標物體類別。本文選擇VOC2007和VOC2012的訓練數據集作為本模型的訓練集,并使用VOC2007的測試集來評估模型性能。此外,本研究還使用了KITTI數據集,該數據集包含了在不同場景下采集的真實圖像數據,涵蓋了市區、鄉村和高速公路等場景,共計8個類別。在實驗中,本研究將KITTI數據集中的pedestrian和person sitting合并為pedestrian類,并將tram和truck合并為truck類。因此,本研究的數據集包含了car、van、truck、pedestrian、cyclist和background 6個類別,總共有7 400張帶有標簽的圖像,其中6 660張用作訓練集,剩下的740張作為測試集。

3.2 評價指標

本文從檢測精度、檢測效率和模型大小3個方面對目標檢測效果進行評估。在評估模型性能上,采用準確率(Accuracy)、精確率(Precision)、召回率(Recall rate)、mAP(mean Average Precision)指標。使用每秒幀檢測數(FPS)來評估檢測效率,使用MB評估模型的大小。研究通過實驗測量這些性能指標,綜合討論出更適用于嵌入式移植的模型。

3.3 實驗結果與分析

本節通過控制變量分別使用不同的基礎網絡和YOLOv3結構,對比不同組合模型的效果。基礎網絡使用MobileNet、MobileNetV2、MobileViT和YOLOv3結構組合,在KITTI數據集上驗證。結果如表1所示。通過第1、2行結果可知,在檢測網絡使用YOLOv3時,MobileNetV2相比于MobileNet,作為基礎網絡時可有效縮減模型大小,減少了2.8 MB,同時檢測精度基本保持不變。通過第2、3行結果可知,MobileViT作為基礎網絡,相較于MobileNetV2,使用了標準卷積和Transformer,具有更少的計算量。此外,MobileViT作為基礎網絡要比MobileNetV2有更高的檢測精度,mAP提升了1.2%,因此MobileViT在特征提取方面也比MobileNet更優秀。

表1 各模型在KITTI數據集上的效果

本節實驗分別使用輕量化目標檢測網絡MobileNet-YOLOv3、MobileNetV2-YOLOv3以及本文提出的YM_SSH網絡,在VOC、KITTI和Fatigue_Imgs數據集上進行實驗。

在VOC和KITTI數據集上的實驗結果如表2所示,通過第1、2行結果可知,MobileNetV2-YOLOv3相對于MobileNet-YOLOv3,在縮小模型大小的同時,擁有更高的檢測精度。通過2、3行結果可知,本文提出的YM_SSH相對于MobileNetV2-YOLOv3,在大幅縮減模型大小的情況下,檢測精度mAP僅下降了0.9%,用較少的精度代價換取了比MobileNetV2-YOLOv3更小的模型。在檢測效率上,3款模型的FPS相近。

表2 各模型在VOC2007+2012數據集上的效果

本節實驗分別使用YOLOv3、YOLOv3-MobileViT以及本文提出的YOLO-SSH網絡,在疲勞數據集Fatigue_Imgs上進行試驗。

在疲勞數據集上的實驗結果如表3所示,YM_SSH相對于YOLOv3和MobileViT-YOLOv3,在縮小模型的同時,獲得了更高的精度。

表3 各模型在Fatigue_Imgs數據集上的效果

為分析MobileViT-YOLOv3和YM_SSH兩種模型的性能,本節在相同實驗條件下,使用Fatigue_Imgs數據集比較了兩種模型在不同閾值下的準確率。如圖2所示,當閾值從0.25逐漸增加到0.55時,MobileViT-YOLOv3的檢測性能下降幅度明顯。但對于YM_SSH而言,當閾值為0.55時,準確率仍然達到91.39%,表明YM_SSH具有良好的抗干擾能力。

圖2 兩種網絡在不同閾值下的準確率

4 結語

本文針對算力受限的系統基于YOLOv3-MobileViT,提出了一種輕量化網絡YM-SSH,它能夠實現高效實時的疲勞檢測。經過KITTI、VOC、Fatigue _Imgs數據集實驗測試,綜合考慮精度、速度和模型大小等因素,本文所提的輕量化疲勞檢測網絡,相比以往的輕量化目標檢測模型,在收縮模型大小的同時,精確度更高。未來,本研究會將算法部署到嵌入式平臺中,并在嵌入式模型根據不同的檢測場景針對性地優化模型。