基于卷積神經(jīng)網(wǎng)絡(luò)和貝葉斯算法的駕駛員狀態(tài)監(jiān)測(cè)研究

楊 濤 吳 波 魏翼鷹 徐勁力

(武漢理工大學(xué)機(jī)電工程學(xué)院 武漢 430070)

0 引 言

對(duì)駕駛員駕駛狀態(tài)進(jìn)行監(jiān)測(cè)并對(duì)不安全行為進(jìn)行提醒可以減少駕駛員的分神狀態(tài).數(shù)據(jù)表明，在交通事故發(fā)生前，如果駕駛員的反應(yīng)比疲勞時(shí)快0.5 s，則60%的事故可以避免[1-3]；同時(shí)針對(duì)某些區(qū)域如大型企業(yè)內(nèi)的行駛安全問(wèn)題，在內(nèi)部車(chē)輛安裝駕駛員狀態(tài)監(jiān)測(cè)設(shè)備，可對(duì)企業(yè)車(chē)輛行駛狀態(tài)進(jìn)行監(jiān)測(cè)，且對(duì)駕駛員有警醒作用，可降低企業(yè)內(nèi)部區(qū)域的事故發(fā)生率，規(guī)范駕駛員駕駛行為.

近年來(lái)，人工神經(jīng)網(wǎng)絡(luò)(ANN)作為人工智能的代表被廣泛應(yīng)用在各個(gè)領(lǐng)域，其中卷積神經(jīng)網(wǎng)絡(luò)(CNN)由于其引入特有的先驗(yàn)知識(shí)——深度網(wǎng)絡(luò)、局部連接和參數(shù)共享，在圖像識(shí)別領(lǐng)域具有獨(dú)特的優(yōu)勢(shì).但隨著卷積神經(jīng)網(wǎng)絡(luò)不斷發(fā)展，其深度不斷增加、網(wǎng)絡(luò)結(jié)構(gòu)更加復(fù)雜，使得訓(xùn)練一個(gè)優(yōu)秀的神經(jīng)網(wǎng)絡(luò)的計(jì)算成本十分高昂，遷移學(xué)習(xí)的出現(xiàn)很好的解決了這一問(wèn)題.遷移學(xué)習(xí)從宏觀角度可以理解為：任務(wù)A中學(xué)得的知識(shí)可以用到任務(wù)B中，從而降低任務(wù)B的學(xué)習(xí)難度；從網(wǎng)絡(luò)結(jié)構(gòu)上理解，遷移學(xué)習(xí)是指對(duì)已經(jīng)訓(xùn)練好的模型進(jìn)行末尾全連接層的重新定義，并重新訓(xùn)練部分網(wǎng)絡(luò)層，從而減少訓(xùn)練量與訓(xùn)練時(shí)間，節(jié)省計(jì)算成本，因此采用遷移學(xué)習(xí)方式完成駕駛員狀態(tài)監(jiān)測(cè)這一任務(wù)是可行的.針對(duì)卷積神經(jīng)網(wǎng)絡(luò)算法中存在的大量超參數(shù)，若采用人工調(diào)參將十分耗時(shí)耗力，因此采用自動(dòng)化調(diào)參算法對(duì)遷移學(xué)習(xí)模型進(jìn)行參數(shù)優(yōu)化可以節(jié)省運(yùn)算成本，提高模型準(zhǔn)確率.

文中采用卷積神經(jīng)網(wǎng)絡(luò)中的遷移學(xué)習(xí)方式對(duì)駕駛員狀態(tài)進(jìn)行監(jiān)測(cè)，利用混合數(shù)據(jù)集方式解決國(guó)內(nèi)駕駛員狀態(tài)監(jiān)測(cè)數(shù)據(jù)集空缺問(wèn)題，采用貝葉斯算法進(jìn)行神經(jīng)網(wǎng)絡(luò)超參數(shù)優(yōu)化，實(shí)現(xiàn)對(duì)駕駛員狀態(tài)的高準(zhǔn)確率監(jiān)測(cè).

1 卷積神經(jīng)網(wǎng)絡(luò)

1.1 卷積神經(jīng)網(wǎng)絡(luò)模型

卷柜神經(jīng)網(wǎng)絡(luò)遷移學(xué)習(xí)模型采用已經(jīng)在ImageNet數(shù)據(jù)集訓(xùn)練完成，并集成于keras中的Mobilenet_V2[4]模型，Mobilenet_V2是一種輕量化網(wǎng)絡(luò)模型，采用的線性瓶頸層和顛倒殘差結(jié)構(gòu)，在保持精度的同時(shí)大大減少了計(jì)算量，擁有較好的嵌入式性能.文中在Mobilenet_V2的基礎(chǔ)上對(duì)其最后幾層進(jìn)行優(yōu)化，使模型具有更好的學(xué)習(xí)能力，表1為優(yōu)化后的Mobilenet_V2網(wǎng)絡(luò)框架.

表1 Mobilenet_V2網(wǎng)絡(luò)框架

1.2 數(shù)據(jù)集建立

訓(xùn)練CNN模型的數(shù)據(jù)集主要來(lái)源于Kaggle的State Farm Distracted Driver Detection數(shù)據(jù)集，該數(shù)據(jù)集將駕駛員狀態(tài)分為10類，分別編號(hào)為0～9,編號(hào)0為正常狀態(tài)，編號(hào)1～9均為駕駛員非正常狀態(tài)，但由于膚色等人種外貌差異，該數(shù)據(jù)集在中國(guó)汽車(chē)駕駛員狀態(tài)監(jiān)測(cè)任務(wù)中的適用性較差.為了減少由于人種差異而帶來(lái)的誤差，在Kaggle數(shù)據(jù)集的基礎(chǔ)上，在訓(xùn)練集及測(cè)試集都加入一定數(shù)量中國(guó)汽車(chē)駕駛員狀態(tài)數(shù)據(jù)圖片，構(gòu)成混合數(shù)據(jù)集.

1.3 遷移學(xué)習(xí)模型

由于數(shù)據(jù)集圖片的特征較多，如果只訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型全連接層，模型很難找到數(shù)據(jù)特征，因此需要在全連接輸出層之前開(kāi)始訓(xùn)練，采用Fine-tune遷移學(xué)習(xí)方式，即鎖定部分卷積層，更改全連接層輸出，重新訓(xùn)練輸出與未鎖定的部分卷積層[5]；同時(shí)由于訓(xùn)練集數(shù)據(jù)的差異性較小、學(xué)習(xí)模型學(xué)習(xí)特征較多等原因，需要進(jìn)行一定的操作來(lái)防止過(guò)擬合.

1.3.1損失函數(shù)的選擇

為了加大對(duì)錯(cuò)誤數(shù)據(jù)的懲罰力度，神經(jīng)網(wǎng)絡(luò)一般采用交叉熵?fù)p失.交叉熵?fù)p失通過(guò)懲罰錯(cuò)誤的分類,實(shí)現(xiàn)對(duì)分類器的準(zhǔn)確度的量化，最小化交叉熵?fù)p失基本等價(jià)于最大化分類器的準(zhǔn)確度.為了計(jì)算交叉熵?fù)p失, 分類器必須提供對(duì)輸入的所屬的每個(gè)類別的概率值, 不只是最可能的類別[6]，交叉熵?fù)p失函數(shù)為

LgLoss=L(Y,P(Y|X))=-lgP(Y|X)=

(1)

式中：Y為輸出變量；X為輸入變量；L為損失函數(shù)；N為輸入樣本量；M為可能的類別數(shù)；yij為一個(gè)二值指標(biāo)，為類別j是否是輸入實(shí)例xi的真實(shí)類別；pij為模型或分類器預(yù)測(cè)輸入實(shí)例xi屬于類別j的概率模型優(yōu)化器.

1.3.2防止過(guò)擬合

1) 數(shù)據(jù)增強(qiáng) 對(duì)訓(xùn)練集數(shù)據(jù)進(jìn)行旋轉(zhuǎn)、平移、適當(dāng)裁剪、灰度變換等操作，增加訓(xùn)練集數(shù)據(jù)的多樣性；同時(shí)加入一定量的不同車(chē)、人、視角等圖片置于訓(xùn)練集.

2) 采用dropout方式，對(duì)訓(xùn)練過(guò)程中的部分神經(jīng)元權(quán)重進(jìn)行隨機(jī)丟棄，縮減參數(shù)量，避免過(guò)擬合，dropout方式經(jīng)過(guò)長(zhǎng)時(shí)間的實(shí)踐檢驗(yàn)證明可以有效防止過(guò)擬合[7].

3) 加入正則化系數(shù)進(jìn)行正則化，加入BN層.

1.3.3模型優(yōu)化器

采用Adam優(yōu)化器.Adam結(jié)合了AdaGrad和RMSProp兩種優(yōu)化算法的優(yōu)點(diǎn)，對(duì)梯度的一階矩估計(jì)和二階矩估計(jì)進(jìn)行綜合考慮，計(jì)算出更新步長(zhǎng)，從而進(jìn)行參數(shù)優(yōu)化的方法.該方法易于實(shí)現(xiàn)，計(jì)算效率高，內(nèi)存要求小，適用于具有大數(shù)據(jù)或大參數(shù)、非平穩(wěn)目標(biāo)或具有非平穩(wěn)目標(biāo)、具有嘈雜或稀疏梯度的問(wèn)題，同時(shí)該方法的超參數(shù)有直觀的解釋且調(diào)優(yōu)簡(jiǎn)便[8].

1.3.4超參數(shù)優(yōu)化

包括batch_size、模型學(xué)習(xí)率lr、dropout、正則化系數(shù)，以及開(kāi)始Fine-tune的網(wǎng)絡(luò)層數(shù)等.

針對(duì)神經(jīng)網(wǎng)絡(luò)超參數(shù)進(jìn)行優(yōu)化的算法包括網(wǎng)格搜索法(grid search)、隨機(jī)搜索法[9](random search)及貝葉斯優(yōu)化算法[10](Bayesian optimization).本文選用貝葉斯優(yōu)化算法.

2 貝葉斯算法

貝葉斯優(yōu)化算法基于目標(biāo)函數(shù)的歷史評(píng)估結(jié)果去建立目標(biāo)函數(shù)的概率代理模型，從而尋找最小化目標(biāo)函數(shù)的參數(shù)值.

貝葉斯優(yōu)化算法有兩個(gè)核心內(nèi)容，即概率代理模型(PSM)和采集函數(shù)(AC)，概率代理模型根據(jù)概率框架對(duì)參數(shù)的不確定性進(jìn)行建模，包含先驗(yàn)概率模型和觀測(cè)模型，概率代理模型通過(guò)對(duì)先驗(yàn)概率進(jìn)行觀測(cè)，從而獲得包含更多先驗(yàn)的后驗(yàn)概率分布.采集函數(shù)由已觀測(cè)數(shù)據(jù)得到的后驗(yàn)概率分布構(gòu)成，通過(guò)最大化采集函數(shù)從而獲得下一個(gè)最有“潛力”的參數(shù)評(píng)估點(diǎn).

貝葉斯優(yōu)化算法的目標(biāo)在于最小化目標(biāo)函數(shù)值，為

x=argminx∈X?Rf(x)

(2)

f(x)=Loss(Tv,x)+ε

(3)

Loss(Tc,x)可用如下偽代碼表示：

def Loss(Tc,x)：

遷移學(xué)習(xí)模型(含有超參數(shù)x)；

訓(xùn)練集訓(xùn)練；

驗(yàn)證集Tv驗(yàn)證輸出Loss；

return logloss.

式中：f(x)為目標(biāo)函數(shù)；Tv為驗(yàn)證集；Loss()為損失函數(shù)(文中為式(1)的lgloss函數(shù))；x為超參數(shù)；X為超參數(shù)域空間.

由于處于優(yōu)化過(guò)程，模型超參數(shù)x在算法終止前始終處于優(yōu)化狀態(tài)，因此真實(shí)的目標(biāo)函數(shù)f(x)是未知的，當(dāng)貝葉斯優(yōu)化算法終止時(shí)，超參數(shù)達(dá)到最優(yōu)，此時(shí)目標(biāo)函數(shù)為已知，即為所求的最優(yōu)化模型.

2.1 概率代理模型

依據(jù)模型是否有固定的參數(shù)集，概率代理模型分為參數(shù)模型和非參數(shù)模型.常用的參數(shù)模型有貝塔-伯努利模型、線性模型及廣義線性模型，非參數(shù)模型有高斯過(guò)程、隨機(jī)森林、深度學(xué)習(xí)網(wǎng)絡(luò)及Tree Parzen Estimators(TPE)[11]方法，由于TPE方法自身支持具有指定域空間的超參數(shù)，因此采用TPE構(gòu)建概率模型.

TPE方法與其他方法區(qū)別在于：TPE并不為目標(biāo)函數(shù)f(x)構(gòu)建預(yù)測(cè)概率模型，而采用式(4)的密度為所有的域變量生成概率模型.

(4)

式中：y*=min{f(xt),1≤t

2.2 采集函數(shù)

常用的采集函數(shù)有三類，基于提升的策略：PI、EI；基于信息的策略：湯普森采樣、熵搜索采樣、熵預(yù)測(cè)采樣；置信邊界策略及組合策略.文中采用基于提升策略中的Expected Improvement(EI)方法作為采集函數(shù)，并對(duì)其進(jìn)行優(yōu)化.EI為關(guān)于x映射到實(shí)數(shù)空間R的期望函數(shù)，具有參數(shù)少、 在一定程度上可以平衡探索(exploration)與開(kāi)發(fā)(exploitation)的優(yōu)點(diǎn).

(5)

(6)

(7)

將式(6)、式(7)代入式(5)中可得：

(8)

為了最小化目標(biāo)函數(shù)f(x)，即希望x盡可能位于l(x)區(qū)域，從而β較大，因此通過(guò)最大化EIy*(x)，從而得到評(píng)估點(diǎn)x(i).

x(i)=argmax(EIy*(x))

(9)

2.3 文中貝葉斯優(yōu)化算法的實(shí)現(xiàn)

采用的貝葉斯算法優(yōu)化超參數(shù)方法為

步驟1input∶f、X、AC、PSM

步驟2H0←INITIALIZE(f、X)

步驟3for i←1 to t:

步驟4f(x)←TPE(Ht-1) %p(x|y,H)←FITMODEL(H,PSM)

步驟5x(i)=argmax(EIy*(x))

步驟6y*=min(f(xi),H)

步驟7H←H∪(x*,y*)

步驟8end for

步驟9return argmin(g∈Ht) (g,Tv)

3 實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)軟件采用基于pycharm2018，python3.5版本的jupyter開(kāi)發(fā)環(huán)境，結(jié)合keras2.2.0框架.硬件工作站處理器為Intel Core i9-8950 CPU，運(yùn)行速度2.9 GHz，GPU為NVIDIA Quadro P2000，內(nèi)存32 GB.

Mobilenet_V2遷移學(xué)習(xí)模型中的超參數(shù)及其域空間見(jiàn)表2.

表2 Mobilenet_V2遷移學(xué)習(xí)模型超參數(shù)及其域空間

3.1 貝葉斯算法優(yōu)化結(jié)果與分析

采用貝葉斯優(yōu)化算法對(duì)模型進(jìn)行超參數(shù)優(yōu)化，優(yōu)化結(jié)果見(jiàn)表3.

表3 超參數(shù)優(yōu)化結(jié)果

3.2 遷移學(xué)習(xí)模型

將表3中貝葉斯算法優(yōu)化的超參數(shù)代入神經(jīng)網(wǎng)絡(luò)模型，經(jīng)訓(xùn)練觀察其loss與accuracy變化，并與隨機(jī)搜索算法優(yōu)化結(jié)果進(jìn)行對(duì)比(網(wǎng)格搜索法由于實(shí)際應(yīng)用時(shí)計(jì)算量成本特別大，因此不常用于大樣本深度學(xué)習(xí)參數(shù)優(yōu)化，因此文中試驗(yàn)不進(jìn)行網(wǎng)格搜索法的優(yōu)化).

相較于隨機(jī)搜索算法，在算法運(yùn)行時(shí)間方面，貝葉斯算法運(yùn)行時(shí)間為隨機(jī)算法的60%.在模型優(yōu)化結(jié)果方面(見(jiàn)圖1～2)，貝葉斯優(yōu)化結(jié)果模型更加收斂，模型沒(méi)有出現(xiàn)過(guò)擬合現(xiàn)象，驗(yàn)證集準(zhǔn)確率在86%以上，高于隨機(jī)算法結(jié)果.在模型損失方面，貝葉斯結(jié)果驗(yàn)證損失為0.35，低于隨機(jī)算法結(jié)果；綜合對(duì)比之下，貝葉斯算法更具優(yōu)勢(shì).

圖1 貝葉斯算法參數(shù)模型圖表

圖2 隨機(jī)搜索算法參數(shù)模型l圖表

3.3 實(shí)驗(yàn)與結(jié)果分析

對(duì)貝葉斯最優(yōu)模型進(jìn)行可靠性實(shí)驗(yàn)，從測(cè)試集中抽取200張圖像構(gòu)建模型測(cè)試集，準(zhǔn)確率實(shí)驗(yàn)結(jié)果見(jiàn)表4.

表4 模型測(cè)試準(zhǔn)確率圖表

將模型用于監(jiān)測(cè)駕駛員狀態(tài)，采用類激活映射圖(CAM)以更直觀觀測(cè)，結(jié)果見(jiàn)圖3.

圖3 類激活映射圖(CAM圖特征區(qū)域中，灰度值約小區(qū)域表示該區(qū)域激活值更大)

由圖3可知，駕駛員狀態(tài)圖像中，特征重要區(qū)域的激活值明顯大于其他區(qū)域的激活值，因此可以看出經(jīng)過(guò)貝葉斯算法優(yōu)化后的神經(jīng)網(wǎng)絡(luò)模型，在學(xué)習(xí)類別特征時(shí)能自主的學(xué)習(xí)重要區(qū)域的特征，對(duì)于非重要區(qū)域的特征少學(xué)習(xí)或不學(xué)習(xí).

綜上所述，貝葉斯算法能夠提供極好的模型超參數(shù)，使得模型在具有良好的泛化性能，對(duì)于駕駛員狀態(tài)的檢測(cè)也能夠達(dá)到預(yù)期目標(biāo).

4 結(jié) 束 語(yǔ)

針對(duì)汽車(chē)行駛過(guò)程中駕駛員狀態(tài)監(jiān)測(cè)問(wèn)題，文中采用了一種基于遷移學(xué)習(xí)方式的解決方法，并采用貝葉斯算法對(duì)其進(jìn)行超參數(shù)優(yōu)化，根據(jù)最終的實(shí)驗(yàn)結(jié)果，該方法對(duì)于中國(guó)汽車(chē)駕駛員具有較高的識(shí)別準(zhǔn)確率.但文中方法也有不足，該方法在一定的環(huán)境下對(duì)駕駛員狀態(tài)具有較高的識(shí)別準(zhǔn)確性，但當(dāng)車(chē)輛外部環(huán)境較為復(fù)雜且車(chē)窗打開(kāi)時(shí)，識(shí)別準(zhǔn)確率有所降低，下一步的研究重點(diǎn)將是采用一定的數(shù)據(jù)處理方式降低周邊噪聲對(duì)結(jié)果的影響.