基于級聯卷積神經網絡的駕駛員分心駕駛行為檢測

陳 軍， 張 黎， 周 博， 羅維平， 馬雙寶

(武漢紡織大學機械工程與自動化學院，武漢 430200)

根據美國國家公路交通管理局發布的調查結果顯示，80%的交通事故主要原因是由于駕駛員分心駕駛導致的[1]。隨著中國汽車保有量的逐年遞增，交通事故發生頻率也隨之增長，其中主要原因也是駕駛員行車過程中分心駕駛，注意力轉移，如打電話、喝水、與其他人交談、調收音機等。駕駛員分心駕駛會導致車輛行駛偏離，失去對當前道路及行駛環境狀況的實時判斷，增加交通事故發生的風險，危及自身及他人生命財產安全。因此，對駕駛員分心駕駛進行實時檢測與判斷，及時提醒駕駛員安全駕駛是非常必要的工作。

近年來，已有大量專家學者對分心駕駛進行研究，對駕駛員的疲勞駕駛行為已經實現了較為精準的檢測與判斷。文獻[2]提出基于反向雙目識別的分心檢測方法，通過Hough算法對車輛的偏航率和駕駛員頭部姿態檢測，并建立高斯隸屬度函數模糊判斷規則，進而根據兩者融合信息判斷駕駛狀態。文獻[3]提出一種基于卷積神經網絡的疲勞駕駛檢測，通過獲取駕駛員面部圖像信息，分析其眼動次數和打哈欠次數，進而推測其疲勞度，這種非侵入式檢測方法更為方便，也取得了較好的效果。但是他們只實現了對疲勞駕駛的檢測，對其他分心駕駛類型沒有較好的研究成果。分心駕駛檢測是近年來研究的重點課題，分心駕駛檢測類型較多，目前也取得一定成果。文獻[4]提出使用Faster-RCNN網絡來檢測駕駛員雙手位置，進而判斷駕駛員手中是否拿著手機。文獻[5]建立以徑向基為核函數的駕駛人分心狀態判別支持向量機模型(support vector machine，SVM)，可以有效識別駕駛員是否進行語音通話、發送語音信息等分心行為。

上述研究雖取得一定研究成果，但駕駛員分心行為種類繁多，針對多種分心行為同時檢測準確識別問題，目前還沒有較好的研究方法。因此，提出一種基于級聯卷積神經網絡的駕駛員分心駕駛行為檢測方法，利用美國StateFram公司公開的駕駛行為數據集進行模型訓練與測試，期望達到實時檢測駕駛員打電話、發短信、與乘客交談、調節收音機、喝水等9種分心駕駛行為的目的。

1 研究思路與遷移學習

1.1 研究思路

級聯卷積神經網絡駕駛員分心駕駛行為檢測方法主要設計搭建了一個兩級卷積神經網絡框架結構，第一級網絡由分心行為預篩選卷積網絡構成，負責對原始數據進行快速預判，該層搭建了一個7層神經網絡，選取3×3的卷積核，其網絡層數少、訓練速度快，結構特征冗余較少，能夠減少后續網絡的計算負擔，實現對輸入圖像進行特征粗提取，篩選出疑似分心行為的圖像，送入后一級精確檢測卷積網絡進行精準識別。第二級分心行為精確檢測卷積網絡是一個改進的基于超分辨率測試序列VGG(visual geometry group)模型特征提取的深度遷移學習檢測算法網絡，通過遷移學習重新訓練分類器和部分卷積層，對上一層預篩選出的疑似分心行為圖像進行準確識別，該層網絡結構較為復雜，可以實現圖像像素級分類，有效提高了檢測精度，對輸出結果通過非極大值抑制可以準確輸出正常駕駛和常見的9種駕駛員分心駕駛行為的檢測結果。檢測的駕駛員駕駛行為具體如表1所示。

表1 檢測的駕駛員駕駛行為Table 1 Types of driving behaviors detected

1.2 遷移學習

在機器視覺領域，視覺系統對物體的識別是分層的，隨著網絡層次的增加，特征越來越抽象，低層的卷積特征以方向線段為主，高層則以較大的拐角及形狀為主，不同物體的低層特征往往具有較大的相似性，因此利用訓練好的大型模型，并對各層參數在原有模型的基礎上進行微調可以在較短的時間內訓練出精度較高的模型。這種方法稱為遷移學習，遷移學習定義了源域和源任務、目標域和目標任務，利用源域在解決任務中獲得一些知識來提升目標任務。文獻[6]中遷移學習定義了一個給定源域Ds，一個對應的源任務Ts，目標域Dt，以及目標任務Tt，遷移學習的目的就是：在Ds≠Dt，Ts≠Tt的情況下，利用來源域Ds和源任務Ts的信息，學習得到目標域Dt中的條件概率分布P(Yt|Xt)。

因此如果有一個原始圖像數據集足夠大，在這個訓練集上訓練的網絡模型權重參數足夠多，那么該網絡模型學到的特征的空間層次結構可以有效地作為視覺世界的通用模型。在本文的研究中，選用VGG模型作為預訓練模型，它是在大型數據集ImageNet中訓練而來，可以實現1 000種圖像分類，VGG模型通過反復堆疊3×3的小型卷積核和2×2的最大池化層，成功地構筑了16層深的卷積神經網絡，由13個卷積層+3個密集全連接層疊加而成，通過加深網絡結構提升了性能。VGG模型錯誤率很低，同時拓展性很強，遷移到其他圖片數據上的泛化性非常好，常用來作遷移學習的預訓練模型。其詳細建構如圖1所示。

圖1 VGG模型詳細建構Fig.1 VGG model detail architecture

2 級聯神經網絡模型構建

2.1 第一級網絡構建

第一級分心行為預篩選卷積網絡主要完成特征粗提取，篩選出原始圖像中的可疑分心行為圖像，不需要進行精確的圖像檢測，可以由一個簡單的神經網絡完成。為了提升檢測速度，在本層搭建了一個9層深度的卷積神經網絡，網絡結構如圖2所示。其中包含1個輸入層，6個卷積層，3個池化層，3個全連接層，1個輸出層。輸入層是以歸一化為64×64像素大小的圖像集作為輸入，6個卷積層均采用3×3像素大小的卷積核進行卷積運算，池化層采用2×2像素大小的采樣窗口，以最大值池化方式進行降維操作，經過卷積、池化、扁平化等操作后將結果輸入到全連接層，最后通過輸出層生成特征粗提取圖像檢測結果，在保證較高準確率的前提下，提高檢測速度。

圖2 第一級神經網絡詳細建構Fig.2 The first level neural network constructs the composition in detail

2.2 第二級網絡構建

第二級分心行為精確檢測卷積網絡相比較第一級較為復雜，設計了更深的網絡層，目的是對第一級輸出的可疑分心行為圖像進一步精確檢測，識別其分心行為類型，提升檢測準確性。該層設計使用了VGG模型的權重參數，提取其空間特征進行改進訓練，重新訓練了其分類器，然后對模型進行微調，重新訓練了其部分卷積層，以達到更高的檢測精度。

2.2.1 空間特征提取

卷積神經網絡主要包含兩部分：一部分是池化層和卷積層，稱為模型的卷積基，另一部分是密集全連接層[7-8]。特征提取就是取出訓練好的網絡卷積基，在上面運行新數據，添加新的密集全連接層構成的分類器，輸出自己的分類預測，其特征提取示意圖如圖3所示。特征提取只選擇提取卷積基釋放密集全連接層的原因在于，卷積基在訓練中學到的表示更加通用，其特征圖表示通用概念在圖像中是否存在，任何計算機視覺問題，這種特征圖存在通用信息，而密集連接層學到的是針對模型訓練的類別，結果是某個類別出現在整張圖像中的概率信息，它不再包含物體在輸入圖像中的位置信息，舍棄了空間概念，位置信息主要由卷積特征圖表示[9-12]，所以提取空間層次結構特征可以將訓練好的大量通用權重參數應用在新的分類問題中。現提取VGG整個卷積基，提取出來后的特征矩陣維度為(4,4,512)，然后在這個卷積基上添加卷積層來擴展已有模型，訓練自己的密集連接分類器，并在輸入數據上端到端地運行整個模型，確保每個輸入圖像都可以經過卷積基。經過遷移學習后的第二級網絡模型架構如表2所示。由表2可以看出，VGG的卷積基約有147萬個參數，本文中新添加的密集全連接層有20萬個參數，為了確保卷積基權重參數保持不變，在開始訓練密集全連接層前需要凍結卷積基，讓其之前學習到的表示不會被修改，否則會因為新添加的密集全連接層中的卷積層是隨機初始化的，訓練時非常大的權重更新會在網絡中傳播，對之前卷積基預學習的表示造成破壞。

圖3 特征提取示意圖Fig.3 Feature extraction schematic diagram

權重層輸出維度參數數量VGG51214 714 688Flatten層8 1920卷積層2562 097 408卷積層1257

2.2.2 模型微調

VGG模型是一個大型預訓練模型，有1 000個類別輸出，其訓練的原始數據集與本文數據集差異較大，所以本文在提取的VGG特征上添加自定義密集全連接層后訓練的模型上進一步改進，對卷積基頂部幾層解凍重新訓練權重，重新學習模型中的抽象表示，讓這些表示和駕駛行為檢測更加相關。卷積基中靠近底部的層編碼是更加通用的可復用特征，而更靠近頂部層編碼的是更專業化的特征[13]，微調這些更專業化的權重參數更加有用。但隨著訓練參數越多，過擬合的風險越大，整個卷積基有大約150萬個參數，在本文的數據集上如果訓練過多權重參數是存在過擬合風險的，所以為了確定解凍幾層卷積層重新訓練專業化特征參數，又給定模型一個打電話分心駕駛行為圖像，輸入后將VGG模型的全部卷積基輸出的特征圖從寬度、高度、深度3個維度進行可視化顯示，將每個通道的內容繪制成二維圖像。通過可視化驗證，發現卷積層第1層是各種邊緣探測器的集合，幾乎保留了原始圖像中的所有信息，如圖4所示。隨著層數的加深，卷積層所提供的特征越來越抽象，即關于圖像視覺內容的信息越來越少，空白過濾器越來越多，而關于類別的信息越來越多，基于此，選定解凍卷積基的第8～13層，因為在第8層過后圖像視覺內容信息逐漸消失，第8～13層部分通道可視化二維圖如圖5所示，解凍卷積基的第8～13層后聯合自定義添加的第14～16層再次重新訓練。至此，本文提出的級聯神經網絡檢測模型第2層最終架構調整如圖6所示。

圖6 級聯神經網絡第二級最終架構調整圖Fig.6 Final architecture adjustment diagram of the second level of cascade neural network

圖4 卷積層第1層64個通道圖像信息可視化二維圖Fig.4 Layer 1 of convolution layer 64 channels image information visualization two-dimensional graph

圖5 卷積層第8～13層部分通道圖像信息可視化二維圖Fig.5 2D visualization of partial channel image information in layer 8～13 of convolution layer

3 實驗設計與分析

3.1 數據預處理

對司機分心駕駛行為的研究目前主要集中在疲勞駕駛方面，其他分心駕駛行為數據集較少，大多學者研究時多采用自建數據集，數據集較少且種類不全，有效數據有限。本文研究時采用的數據集來自美國State Farm公司最新公開的司機駕駛行為數據集，它采集了近百位駕駛員的不同駕駛行為，數據集共有102 150張，尺寸大小都為640×480像素，所有圖像被人工確認劃分為本文檢測的10個類別。為了保證數據平衡，在每個類別里大約選取2 000多張圖像，合計23 500張圖像作為模型訓練數據集，對其按照8∶1∶1的比例劃分為訓練集、驗證集和測試集，對兩級神經網絡采用兩種不重復的同樣大小的數據集進行訓練，數據集中部分駕駛行為樣本如圖7所示。在訓練時為了防止過擬合，增強模型泛化能力，還采用數據增強技術從現有的訓練樣本中利用多種隨機變換生成可信圖像擴充數據集。使用圖像隨機旋轉范圍90°、水平、垂直方向平移比例0.3、90°隨機錯切、透視變換0.2、縮放范圍0.1、水平、垂直隨機翻轉等變換參數來擴增數據。對一張伸手到后排的分心駕駛行為圖像進行數據增強后的部分擴增圖像如圖8所示。

圖7 數據集中部分樣本圖像Fig.7 Partial sample images in the data set location of the structure

圖8 對一張伸手到后排的樣本數據應用數據 增強后的部分擴增圖像Fig.8 Apply a partially augmented image of the data to a sample that reaches back

對級聯神經網絡模型測試和其他對比試驗測試，使用的是未經過兩級神經網絡訓練時使用過的其他43 000張原始圖像樣本，每種駕駛行為樣本數據為4 300張。

3.2 評估指標

模型訓練中通常使用準確率PAcc和損失函數LLoss作為模型的評價指標。準確率是評價模型對全部樣本的判定能力，在分類問題中要將實例分為正類(positive)和負類(negative)，分類模型在實際的分類結果中可能會出現下面4種情況：若一個實例是正類，分類器將其判定為正類，稱為真正類TTP；反之，如果分類器將其判定為負類，稱為假負類FFN；若一個實例是負類，分類器將其判定為正類，稱為假正類FFP；反之，若分類器將其判定為負類，稱為真負類TTN[14]。這樣可以推導出準確率PAcc的計算式為

(1)

本文中的準確率表示識別正確的樣本占總樣本的比例。除此之外，訓練過程中的損失值也是重要指標之一，它是用于評價學習權重張量的反饋信號，能夠衡量當前任務是否解決，訓練中需要最小化。損失函數采用的是Softmax損失，計算式為

(2)

式(2)中：N為批量的大小；n為樣本類別數；yi為第i個樣本特征向量對應的標簽；Wyi為其對應的權值；byi為其對應的偏置。

3.3 模型訓練

為了訓練得到準確和泛化性強的模型，需要在訓練模型的過程中監控訓練損失和驗證損失，以及最重要的訓練準確率和驗證準確率，如果發現模型的驗證數據的性能開始下降，則可以判斷為過擬合。設定當驗證準確率連續10輪訓練都不再優化時則提前終止訓練。通過反饋反復調節超參數、嘗試不同的Dropout比例等，直到模型達到最佳性能。根據訓練過程計算的值畫出的損失曲線和準確率曲線具有一定噪聲，本文中將其每個值都替換為指數移動平均值，讓曲線更平滑直觀。對于級聯神經網絡第一級模型訓練過程的損失曲線和準確率曲線平滑后如圖9所示；對于級聯神經網絡第二級模型訓練過程的損失曲線和準確率曲線平滑后如圖10所示。

將兩個模型分別經過本文測試集測試，結果抑制最大概率值，取前三的值平均后，級聯神經網絡第一級模型準確率為0.871，級聯神經網絡第二級模型的準確率為0.905，級聯模型最終檢測準確率達到0.933。

圖9 級聯神經網絡第一級模型訓練100輪后的 訓練損失和準確率平滑曲線Fig.9 The smooth curve of training loss and accuracy after 100 rounds of training of the first level model of cascade neural network

圖10 級聯神經網絡第二級模型訓練100輪后的 訓練損失和準確率平滑曲線Fig.10 Smooth curve of training loss and accuracy after 100 rounds of training of the second level model of cascade neural network

3.4 實驗及分析

為了評估級聯卷積神經網絡檢測框架檢測精度和檢測時間，設計了3組對比實驗，對比不同模型在相同數據集上的測試結果。實驗1的對比模型選取了標準的深度殘差網絡(ResNet50)模型，基于本文數據集訓練檢測模型。實驗2的對比模型選取了權重微調后的VGG模型，對VGG模型提取特征遷移學習，重新訓練8～13層權重，利用本文訓練集訓練基于VGG遷移學習微調權重的檢測模型。實驗3的對比采用了級聯網絡第二層使用無遷移學習的VGG模型，基于本文數據集訓練檢測模型。實驗結果如表3所示。

表3 不同方法在本文測試集上的實驗結果對比Table 3 Comparison of experimental results of different methods on the test set in this paper

從實驗1和實驗2的結果可以看出，原始ResNet50檢測模型的在本文驗證集上的準確度只有86.59%，而應用本文級聯網絡第2層遷移學習權重微調方法后的VGG模型準確率可以達到90.05%，準確率相比ResNet50網絡提升3.46%。正常情況下，同一訓練集ResNet50模型準確率要高于VGG模型準確率，經過實驗證明，經過遷移學習的模型檢測準確率要高于原始框架下的檢測模型。

從實驗2和實驗3的結果可以看出，增加了本文第1層級聯神經網絡和原始VGG模型網絡構成的準確率可以達到89.73%，準確率低于權重微調的VGG模型0.32%，但高于原始ResNet50模型3.14%。這說明增加級聯神經網絡提高檢測模型的準確率，但效果低于遷移學習權重微調檢測模型。

綜上所述，實驗結果表明，本文提出的級聯神經網絡檢測框架效果最好，其利用第一級檢測模型聯合第二級經過遷移學習權重微調的VGG模型在測試集上檢測的準確率最高，可以達到93.3%,對各種分心駕駛行為可以實現較為準確的檢測。

4 結論

實時檢測駕駛員分心駕駛行為對交通事故預防具有重大意義，通過研究可以得出以下結論。

(1)本文提出的雙級聯卷積神經網絡檢測框架可以準確地檢測出9種駕駛員分心駕駛行為。相比主流單模型檢測方法，在保證算法效率的同時準確率均有明顯提升，準確率達到93.3%，有效降低了誤檢率。

(2)通過構建級聯神經網絡，在第一級網絡對原始數據進行快速篩選，可以有效減少后續網絡的計算負擔；在第二級網絡深度遷移學習VGG模型權重，可以提高對分心駕駛行為精確識別的準確率。

(3)級聯神經網絡方法對比單模型檢測方法，效果更好，具有較強的魯棒性和模型泛化能力。