基于人眼狀態(tài)信息的疲勞檢測(cè)方法研究*

許小鵬 黃巧亮

（江蘇科技大學(xué) 鎮(zhèn)江 212003）

1 引言

國(guó)家統(tǒng)計(jì)年鑒（2019）顯示，2019年，全國(guó)機(jī)動(dòng)車保有量達(dá)到3.4億輛，汽車駕駛?cè)诉_(dá)到3.8億。汽車的高保有量導(dǎo)致了每年大約20萬起的交通事故，其中死亡人數(shù)6萬多人，其中疲勞駕駛是交通事故的主要原因［1］。所以主動(dòng)安全預(yù)警裝置（ADAS）的研發(fā)對(duì)減少交通事故具有重要的意義。目前，ADAS主要以基于生理特征信號(hào)檢測(cè)和基于視覺特征檢測(cè)的疲勞駕駛檢測(cè)為主，生理信號(hào)的檢測(cè)的設(shè)備安裝環(huán)境復(fù)雜而且需要親密接觸駕駛員皮膚，這會(huì)影響駕駛。而基于視覺的檢測(cè)，設(shè)備簡(jiǎn)單無接觸，檢測(cè)精度也能達(dá)到要求。所以本文采用將邊界框定位轉(zhuǎn)化為回歸問題的目標(biāo)檢測(cè)算法，該算法采用端到端［2］的目標(biāo)檢測(cè)可以直接預(yù)測(cè)目標(biāo)的坐標(biāo)以及類別的概率如YOLO［3～6］系列算法和SSD［7］算法等。為滿足嵌入式［8］開發(fā)需求，本文用基于端到端的算法，保證在嵌入式開發(fā)板上實(shí)時(shí)運(yùn)行的同時(shí)，提高檢測(cè)精度。

2 人臉檢測(cè)

2.1 優(yōu)化anchors參數(shù)

為了加快收斂速度來提高檢測(cè)的精度，本文通過增強(qiáng)初始聚類算法來對(duì)人工標(biāo)注目標(biāo)的高寬進(jìn)行聚類，原始聚類算法隨機(jī)選擇初始值會(huì)導(dǎo)致局部最小值和形成空簇［9］，因此選用改進(jìn)后的k-means算法進(jìn)行聚類分析，主要增強(qiáng)方面就是選擇初始質(zhì)心要盡可能地相互遠(yuǎn)離，這樣有助于反應(yīng)數(shù)據(jù)的分布和加快收斂。設(shè)定樣本集為D=｛x1，x2，…xm｝，從中選取k個(gè)質(zhì)心為U=｛u1，u2，…uk｝，每個(gè)質(zhì)心對(duì)應(yīng)的類別為C=｛c1，c2，…ck｝。在D中隨機(jī)選取一個(gè)中心點(diǎn)k1，計(jì)算D中每個(gè)點(diǎn)到k1的距離，通過概率公式計(jì)算概率最大的點(diǎn)為下一個(gè)k2點(diǎn)，隨機(jī)選取k3點(diǎn)再計(jì)算k3到前兩點(diǎn)的距離S。

若距離S小于某一閾值β（本文根據(jù)先驗(yàn)值設(shè)定為30）則舍棄。以此類推計(jì)算剩下的質(zhì)心，直至留下9個(gè)點(diǎn)為止。若出現(xiàn)某個(gè)簇的實(shí)例為0，則計(jì)算其余簇的均值作為這個(gè)空簇的新簇心uˉ。計(jì)算樣本點(diǎn)xi到質(zhì)心的最小距離，然后一直迭代，聚類算法核心就是使SSE最小化：

優(yōu)化后的尺寸為

（4，6）、（5，8）、（5，10）

（6，12）、（8，15）、（11，21）

（16，30）、（29，50）、（71，112）

再把Anchor Box和預(yù)測(cè)結(jié)果關(guān)聯(lián)起來，預(yù)測(cè)框和某一類別的Anchor Box接近時(shí)，則預(yù)測(cè)出該類別的BBox。

每個(gè)預(yù)測(cè)框返回值參數(shù)計(jì)算公式：

式中：cx、cy是目標(biāo)物體中心點(diǎn)所在單元格的坐標(biāo)；δ（ty）、δ（ty）是中心點(diǎn)在單元格中的偏移量；bx、by、bw、bh是預(yù)測(cè)的BBox的坐標(biāo)和寬高；pw、ph是Anchor Box的寬高；etw、eth是縮放比例函數(shù)；tx、ty、tw、th、to是要學(xué)習(xí)的參數(shù)。

2.2 損失函數(shù)

由回歸框的均方差（MSE）損失函數(shù)來看，MSE把預(yù)測(cè)框A和真實(shí)框B的中心點(diǎn)和寬高作為了獨(dú)立的變量來對(duì)待，把中心點(diǎn)和寬高寫到兩個(gè)不同的式子，就直接地估計(jì)了bounding box中每個(gè)點(diǎn)的坐標(biāo)值并將這些點(diǎn)作為自變量處理，沒有考慮到對(duì)象本身的完整性，獨(dú)立函數(shù)如下：

所以現(xiàn)在就是盡可能地把它們聯(lián)系起來，而目前所知的聯(lián)系關(guān)系最好的就是交并比（IOU），如圖1所示。

圖1 交并比示意圖

如果真實(shí)框與預(yù)測(cè)框沒有重疊，則會(huì)出現(xiàn)梯度消失的情況，所以再把歐氏距離作為懲罰項(xiàng)給加上去，兩個(gè)框的中心點(diǎn)為其中k為AB的最小包圍框的對(duì)角線長(zhǎng)度。然后再根據(jù)需要增加約束系數(shù)，公式如下：

這樣可以加快收斂的速度，這不僅考慮了重疊面積還考慮了中心點(diǎn)的歐式距離。當(dāng)兩個(gè)框不重疊的時(shí)候，就會(huì)計(jì)算歐氏距離。這樣不僅解決了上面所說的梯度消失問題，還加速了收斂速度。

目標(biāo)置信度交叉熵誤差：

上式分別是有和無目標(biāo)預(yù)測(cè)的置信度預(yù)測(cè)值。其中Ci表示目標(biāo)類別，noobj表示沒有目標(biāo)的預(yù)測(cè)框的約束系數(shù)。有目標(biāo)和沒有目標(biāo)，其中沒有目標(biāo)損失部分進(jìn)行增加權(quán)重系數(shù)的計(jì)算［10］。這主要原因就是圖像的大部分區(qū)域是不包含目標(biāo)物體的，這樣會(huì)導(dǎo)致沒有目標(biāo)的計(jì)算部分貢獻(xiàn)會(huì)大于有物體的計(jì)算部分，這會(huì)導(dǎo)致網(wǎng)絡(luò)傾向于預(yù)測(cè)單元格不含有物體。因此，要減少?zèng)]有物體計(jì)算部分的貢獻(xiàn)權(quán)重。

類別交叉熵誤差：

3 增加模型尺度連接

YOLOV3-tiny使用最新的金字塔網(wǎng)絡(luò)［11］和全卷積網(wǎng)絡(luò)（FCN），精確度更高，速度更快［12］。本文為檢測(cè)目標(biāo)相對(duì)較小的目標(biāo)，增加了8倍輸出層，并在網(wǎng)絡(luò)中采用像素相加和維度相加相結(jié)合的方式來增加特征融合［13］，讓深層特征和淺層特征進(jìn)行融合檢測(cè)來解決梯度下降的問題。改進(jìn)的tiny算法通過一系列的增強(qiáng)最終得到相對(duì)于原模型更高的精度、查全率、回歸率以及IOU。

本文通過疊加DenseNet來針對(duì)梯度消失問題并加強(qiáng)了特征傳播和鼓勵(lì)特征重用，并直接將前面的一層輸出通過卷積池化等操作與后面的層進(jìn)行維度相加來提升精度，這就利用了深度特征融合和特征金字塔［14］的思想，在13×13的特征層上通過上采樣到26×26大小與主干上的尺寸相匹配，然后進(jìn)行維度相加，得出新的尺度輸出。再利用這一融合繼續(xù)進(jìn)行上采樣到52×52大小，再與主干網(wǎng)絡(luò)上的尺寸進(jìn)行維度相加，得到8倍輸出。結(jié)構(gòu)圖如圖2所示。

圖2 特征提取模型

改進(jìn)后的網(wǎng)絡(luò)模型為37層，精度和召回率比原始模型都得到了提高，同時(shí)速度也下降了，但是再可控范圍內(nèi)。在嵌入式中需要GPU和指令集加速來進(jìn)行實(shí)時(shí)檢測(cè)［15］。實(shí)車人臉檢測(cè)結(jié)果如圖3所示。

圖3 人臉檢測(cè)

4 人眼特征點(diǎn)回歸

再檢測(cè)和定位人臉后進(jìn)行人眼特征點(diǎn)檢測(cè)，由于本文的檢測(cè)紅外攝像頭安裝再汽車的A柱上，所以在識(shí)別人眼的時(shí)候右眼很容易被遮擋，所以本文以檢測(cè)左眼為主，右眼為輔。人眼特征點(diǎn)檢測(cè)主要運(yùn)用GBDT算法是一種基于回歸樹的人臉對(duì)齊算法，攝像頭位置和檢測(cè)結(jié)果過程如下圖。

圖4 攝像頭位置示意圖

圖5 紅外穿透效果

圖6 人眼特征點(diǎn)

然后用PERCLOS標(biāo)準(zhǔn)來判別是否疲勞駕駛，PERCLOS的測(cè)量參數(shù)是指單位時(shí)間內(nèi)眼睛閉合程度超過某一閉合值的時(shí)間所占總時(shí)間的百分比［16］。

5 實(shí)驗(yàn)與分析

此次實(shí)驗(yàn)訓(xùn)練環(huán)境和測(cè)試環(huán)境不同，訓(xùn)練環(huán)境使用Ubuntu 20.04操作系統(tǒng)，darknet深度學(xué)習(xí)框架，CUDA10.2進(jìn)行加速，硬件配置為CPU是Intel i5-10500，GPU為GeForce RTX 2060，顯存為6GB的服務(wù)器。測(cè)試環(huán)境為嵌入式Linux操作系統(tǒng)，硬件采用瑞芯微的RK3399六核芯片方案，攝像頭采用光敏電阻來調(diào)節(jié)紅外燈是設(shè)備能夜晚進(jìn)行識(shí)別。此測(cè)試環(huán)境需要從PC端進(jìn)行交叉編譯得到openCV的lib包和可執(zhí)行文件移植到嵌入式設(shè)備。具體調(diào)試設(shè)備如圖7～8所示。

圖7 室內(nèi)調(diào)試

此次實(shí)驗(yàn)，將使用多種標(biāo)準(zhǔn)來評(píng)價(jià)不同算法的性能，主要有精確率、召回率、模型檢測(cè)速度、等目前主流評(píng)價(jià)指標(biāo)，將本文算法與YOLOV3-tiny和最近剛出來的最新版本YOLOV4-tiny進(jìn)行各方面的對(duì)比。主要對(duì)比人臉檢測(cè)部分，只有人臉檢測(cè)框準(zhǔn)確了，才能更好的定位人眼特征點(diǎn)。

圖8 紅外攝像頭和開發(fā)板

本文訓(xùn)練集采用8000幅圖片，對(duì)網(wǎng)絡(luò)進(jìn)行的最大迭代次數(shù)為10000，初始學(xué)習(xí)率設(shè)置為0.001，權(quán)值衰減系數(shù)為0.005。為了檢測(cè)人臉的性能，通過增加圖像的旋轉(zhuǎn)、曝光和飽和度來對(duì)原始樣本進(jìn)行擴(kuò)增，并采用多尺度訓(xùn)練。本文分別對(duì)YOLOV3-tiny、YOLOV4-tiny和本文改進(jìn)算法進(jìn)行測(cè)試實(shí)驗(yàn)，并進(jìn)行對(duì)比。首先利用改進(jìn)的k-means算法對(duì)數(shù)據(jù)集進(jìn)行聚類分析得出模型需要的9個(gè)anchors。然后進(jìn)行模型訓(xùn)練。利用模型對(duì)測(cè)試集進(jìn)行測(cè)試并對(duì)比結(jié)果，采用的評(píng)價(jià)指標(biāo)是平均精度［17］（precision，P）和召回率（recall，R），公式如下：

式中：TP正預(yù)測(cè)為真；FN正預(yù)測(cè)為假；FP反預(yù)測(cè)為真；實(shí)驗(yàn)結(jié)果如表1所示。

表1 各種模型對(duì)比

從表中可以看出本文改進(jìn)的算法MAP比初始模型和YOLOV4-tiny模型都分別提高了大約18%和1%。PR曲線如圖9所示。

圖9 PR曲線圖

圖中虛線表示原始YOLOV3-tiny模型，實(shí)線是YOLOV4-tiny的模型，點(diǎn)劃線是本文改進(jìn)的網(wǎng)絡(luò)模型。三種訓(xùn)練效果圖如圖10～12所示。

圖10 YOLOV3-tiny

圖11 YOLOV4-tiny

圖12 本文模型

綜合可知，本文改進(jìn)的YOLOV3-tiny算法比原始的tiny算法和最新的YOLOV4-tiny算法有較高的準(zhǔn)確率和召回率，并且用在人眼特征點(diǎn)定位上具有良好的效果，可以進(jìn)行疲勞駕駛檢測(cè)。本文改進(jìn)算法可能在速度上有所降低，但是可以在嵌入式開發(fā)板上進(jìn)行實(shí)時(shí)檢測(cè)。

6 結(jié)語

基于嵌入式的目標(biāo)檢測(cè)一直是重點(diǎn)話題，本文在YOLO-tiny的基礎(chǔ)上加入了多層特征融合和三尺度輸出，并對(duì)初始聚類算法進(jìn)行了優(yōu)化然后利用GBDT算法進(jìn)行人眼特征點(diǎn)檢測(cè)，并用PERCLOS準(zhǔn)則進(jìn)行疲勞駕駛判定。實(shí)驗(yàn)結(jié)果表明，本文提出的算法相較于原始算法和最新的YOLOV4-tiny算法有了較大的提升，檢測(cè)的平均精度從59%提高到了76%，召回率從60%提高到80%。滿足嵌入式的實(shí)時(shí)性要求，可以進(jìn)行實(shí)時(shí)疲勞駕駛檢測(cè)。