乘務(wù)員值乘狀態(tài)監(jiān)測(cè)技術(shù)研究

李干濤，朱岸平，李火星

（1.中國(guó)鐵路南昌局集團(tuán)有限公司機(jī)務(wù)部，江西 南昌 330000；2.鄭州暢想高科股份有限公司，河南 鄭州 450000）

0 引 言

長(zhǎng)期以來(lái)，機(jī)車乘務(wù)員因工作場(chǎng)所處于相對(duì)封閉的司機(jī)室內(nèi)，其作業(yè)行為難于被實(shí)時(shí)監(jiān)督。機(jī)務(wù)系統(tǒng)兩違中乘務(wù)員違反作業(yè)標(biāo)準(zhǔn)的違章尤為突出，比較典型的違章有中斷瞭望、玩手機(jī)、盹睡、離崗等。通過(guò)跟客戶溝通，機(jī)車運(yùn)行過(guò)程會(huì)出現(xiàn)車門未關(guān)閉的情況，這些都是行車安全的重大隱患。因此，基于機(jī)器視覺(jué)的乘務(wù)員值乘狀態(tài)檢測(cè)技術(shù)成為國(guó)內(nèi)外研究的熱點(diǎn)。王榮本[1]等人提出通過(guò)分析駕駛員的眼睛和嘴巴的開閉頻率兩種狀態(tài)信息檢測(cè)駕駛疲勞狀態(tài)，并且結(jié)合安全車距的檢測(cè)，提升了系統(tǒng)的安全性。疲勞程度估計(jì)法PERCLOS[2]是很多學(xué)者研究人的疲勞狀態(tài)采用的方法。該方法通過(guò)分析眼睛的閉合程度估計(jì)駕駛員的疲勞程度。隨著深度學(xué)習(xí)技術(shù)的崛起，其在實(shí)際應(yīng)用中的準(zhǔn)確率及泛化能力都有了質(zhì)的提升。馮文文[3]等人提出以softmax損失與中心損失相結(jié)合的深度卷積神經(jīng)網(wǎng)絡(luò)算法，通過(guò)提高類間差異性、類內(nèi)緊密性提升了疲勞檢測(cè)的準(zhǔn)確率。中科院計(jì)算所山世光團(tuán)隊(duì)開源的深度學(xué)習(xí)人臉識(shí)別[4-5]算法，包含了人臉檢測(cè)、特征點(diǎn)對(duì)齊、頭部姿態(tài)、眼睛狀態(tài)檢測(cè)、頭部姿態(tài)、人臉識(shí)別等多個(gè)模塊對(duì)人臉部特征進(jìn)行了分析。姚康[6]提出了一種基于N-RANGE跟蹤識(shí)別機(jī)車乘務(wù)員眼睛狀態(tài)的方法輸出司機(jī)值乘狀態(tài)。

為了對(duì)司機(jī)值乘狀態(tài)進(jìn)行更全面準(zhǔn)確的分析，本文采用多維度視頻融合感知技術(shù)，對(duì)機(jī)車乘務(wù)員的值乘狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)測(cè)，提前對(duì)機(jī)車乘務(wù)員異常行為進(jìn)行預(yù)警，督促其嚴(yán)格按標(biāo)作業(yè)。

1 算法設(shè)計(jì)方案

機(jī)車運(yùn)行過(guò)程圖像采集設(shè)備采集圖像的質(zhì)量受外界光線的干擾較大，主要有以下四種情況：

（1）采集設(shè)備在光線暗時(shí)自動(dòng)啟用紅外補(bǔ)光，產(chǎn)生臉部曝光的情況；

（2）機(jī)車快速運(yùn)行時(shí)，人臉會(huì)呈現(xiàn)忽明忽暗、亮度不均勻的情況；

（3）機(jī)車乘務(wù)員戴眼鏡，容易反光，導(dǎo)致看不見眼睛的情況；

（4）外界光線特別強(qiáng)烈、比較刺眼時(shí)，乘務(wù)員眼睛處于微睜狀態(tài)，可能被誤判為閉眼。

多維度視頻融合感知技術(shù)即融合了圖像校正、目標(biāo)檢測(cè)和小眼睛的Hu矩不變量特征分析技術(shù)。圖像校正采用動(dòng)態(tài)自適應(yīng)伽馬變換技術(shù)對(duì)過(guò)亮或暗的圖像進(jìn)行校正。目標(biāo)檢測(cè)技術(shù)采用輕量級(jí)網(wǎng)絡(luò)mobilenet-yolov3[7]檢測(cè)盹睡、玩手機(jī)、抽煙及吃東西等行為信息。Hu矩不變量特征通過(guò)分析前后幀小眼睛的變化狀態(tài)提升盹睡檢測(cè)的準(zhǔn)確率。多維度視頻融合感知技術(shù)檢測(cè)的乘務(wù)員的行為特征如圖1所示。

圖1 多維度視頻融合感知技術(shù)

2 算法技術(shù)實(shí)現(xiàn)

2.1 動(dòng)態(tài)自適應(yīng)圖像校正技術(shù)

對(duì)于曝光或亮度不均勻的圖像，采用動(dòng)態(tài)自適應(yīng)伽馬變換技術(shù)進(jìn)行圖像校正，如式（1）所示。通過(guò)計(jì)算圖像的平均灰度值動(dòng)態(tài)設(shè)置閾值，對(duì)于過(guò)亮的圖像，設(shè)置伽馬值在1.1～1.6，對(duì)于暗的圖像，設(shè)置伽馬值在0.6～0.9，從而達(dá)到對(duì)曝光過(guò)暗的圖像進(jìn)行校正。

式中：指數(shù)γ為伽馬值；a為權(quán)重參數(shù)，通常設(shè)置在0.9～1；V取值在0～1，可對(duì)圖像像素進(jìn)行歸一化。圖2為測(cè)試人員模擬測(cè)試圖片校正前后對(duì)比圖。

圖2 圖像校正效果對(duì)比

2.2 目標(biāo)檢測(cè)技術(shù)

2.2.1 yolov3網(wǎng)絡(luò)

yolov3[8]是一個(gè)端到端的單階段區(qū)域回歸模型，基礎(chǔ)網(wǎng)絡(luò)采用darknet-53網(wǎng)絡(luò)（不包含池化層、全連接層和softmax層）提取特征，然后通過(guò)3個(gè)不同尺度特征圖預(yù)測(cè)目標(biāo)對(duì)象。多個(gè)尺度特征能夠提取更加細(xì)粒度的特征，適應(yīng)于不同大小的目標(biāo)，提升了目標(biāo)檢測(cè)準(zhǔn)確率。

2.2.2 mobilenet網(wǎng)絡(luò)

mobilenet網(wǎng)絡(luò)是采用深度可分離卷積替代標(biāo)準(zhǔn)卷積構(gòu)建的輕量級(jí)網(wǎng)絡(luò)模型，標(biāo)準(zhǔn)卷積是用每個(gè)卷積核對(duì)所有輸入通道進(jìn)行卷積。深度可分離卷積由深度卷積和逐點(diǎn)卷積構(gòu)成，其中深度卷積是每個(gè)輸入通道對(duì)應(yīng)一個(gè)卷積核，逐點(diǎn)卷積是1×1的標(biāo)準(zhǔn)卷積。

假設(shè)輸入特征圖大小為W×N，通道數(shù)為M，卷積核大小為DK×DK，輸出特征圖的通道數(shù)為N，標(biāo)準(zhǔn)卷積的計(jì)算量為O1，如式（2）所示。深度可分離卷積的計(jì)算量為O2，如式（3）所示。對(duì)比兩個(gè)卷積的計(jì)算量O，如式（4）所示。此輕量級(jí)網(wǎng)絡(luò)的卷積操作明顯地減少了的計(jì)算量。

2.2.3 mobilenet-yolov3網(wǎng)絡(luò)

目標(biāo)檢測(cè)技術(shù)采用輕量級(jí)網(wǎng)絡(luò)mobilenetyolov3，其主干網(wǎng)絡(luò)采用MobileNet網(wǎng)絡(luò)，代替了yolov3[8]中的Darknet53網(wǎng)絡(luò)，減少了主干網(wǎng)絡(luò)中卷積運(yùn)算的部分，極大地減少了網(wǎng)絡(luò)的整體計(jì)算量。mobilenet-yolov3網(wǎng)絡(luò)結(jié)構(gòu)圖如圖3所示。

圖3 mobilenet-yolov3網(wǎng)絡(luò)結(jié)構(gòu)

2.2.4 mobilenet-yolov3網(wǎng)絡(luò)應(yīng)用

在乘務(wù)員狀態(tài)檢測(cè)方面，mobilenet-yolov3網(wǎng)絡(luò)具有多種應(yīng)用功能。

（1）網(wǎng)絡(luò)應(yīng)用于盹睡檢測(cè)。mobilenet-yolov3網(wǎng)絡(luò)對(duì)于乘務(wù)員前方圖像采集設(shè)備采集的圖像進(jìn)行盹睡狀態(tài)檢測(cè)，環(huán)境良好時(shí)，檢測(cè)準(zhǔn)確率達(dá)到98%。而機(jī)車行車過(guò)程中，外界光線會(huì)對(duì)乘務(wù)員造成干擾，乘務(wù)員會(huì)出現(xiàn)瞇眼或戴眼鏡反光狀態(tài)，因此需要進(jìn)行多維度特征綜合分析。通過(guò)mobilenet-yolov3網(wǎng)絡(luò)快速檢測(cè)人臉的相關(guān)信息，包括人臉、戴口罩人臉、睜眼、閉眼、戴眼鏡、眼鏡、張嘴、閉嘴、吸煙、打哈欠等特征，綜合多特征信息輔助分析，可判斷人是否盹睡。圖4為目標(biāo)檢測(cè)網(wǎng)絡(luò)檢測(cè)的人臉多特征圖。

圖4 mobilenet-yolov3網(wǎng)絡(luò)檢測(cè)人臉多特征

多特征信息輔助分析流程如圖5所示，通過(guò)對(duì)連續(xù)時(shí)間內(nèi)多幀人臉圖像的多維特征進(jìn)行分析，如果目標(biāo)檢測(cè)網(wǎng)絡(luò)輸出有閉眼特征，需增加人臉其他狀態(tài)的分析。若嘴巴開合頻率P＜0.5，頭部擺動(dòng)幅度B＜50，打哈欠頻率C＞0.1，即為疲勞狀態(tài)，反之則為正常狀態(tài)。

圖5 多特征信息輔助分析流程

（2）網(wǎng)絡(luò)在其他狀態(tài)的應(yīng)用。對(duì)于乘務(wù)員后上方圖像采集設(shè)備采集的圖像，利用mobilenetyolov3網(wǎng)絡(luò)多目標(biāo)分類檢測(cè)特性可檢測(cè)更多關(guān)鍵特征，如玩手機(jī)、手勢(shì)、站立、坐下、平躺以及車門開閉狀態(tài)。

圖6 多目標(biāo)特征檢測(cè)效果圖

2.3 小眼睛狀態(tài)分析

mobilenet-yolov3對(duì)小眼睛或瞇眼的情況大概率會(huì)檢測(cè)為閉眼，這樣會(huì)造成誤判。在正常狀態(tài)下人是需要眨眼的，眨眼時(shí)眼睛狀態(tài)是由凸字形狀變?yōu)槠骄€或凹字形狀的。為了提取眨眼特征，通過(guò)提取連續(xù)前后幀眼睛區(qū)域Hu矩不變量[2]特征，計(jì)算平均差值，根據(jù)差值統(tǒng)計(jì)眼睛圖像的變化狀態(tài)，對(duì)于平均差值小的判定為閉眼，反之則判定為眨眼。圖7為實(shí)際測(cè)試過(guò)程中采集的小眼睛圖像。

圖7 小眼睛或微睜眼睛圖像

2.3.1 Hu矩不變量

HU M K[9]提出了Hu矩不變量，通過(guò)對(duì)圖像的二階和三階中心矩組合，構(gòu)成了7個(gè)不變矩M1～M2，具有圖像平移、旋轉(zhuǎn)和尺度不變性。通過(guò)計(jì)算前后幀眼睛圖像的7個(gè)不變矩特征，分析前后幀眼睛的變化，M3到M7不變矩特征值受眼睛狀態(tài)變化影響較小，而M1和M2不變矩特征值受眼睛狀態(tài)變化影響較大，因此M1和M2不變矩征值可以應(yīng)用于判斷眼睛是否眨眼。式（5）和式（6）分別為圖像的M1和M2不變矩征值。

式中：η為歸一化的中心矩，其定義如式（7）所示。

式中：x0，y0為圖像的重心坐標(biāo)，M，N分別為圖像的高度與寬度，f(x,y)為圖像像素值。

2.3.2 Hu矩不變量的應(yīng)用

通過(guò)實(shí)驗(yàn)數(shù)據(jù)測(cè)試，計(jì)算連續(xù)視頻幀的眼睛狀態(tài)的M1和M2不變矩特征平均差值對(duì)比，如圖8所示。圖8（a）屬于小眼睛眨眼的動(dòng)態(tài)變化，形狀差別還是較大的，而圖8（b）、圖8（c）、圖8（d）圖中小眼睛幾乎不變的狀態(tài)，平均差值較小，因此可判定為沒(méi)有眨眼，即閉眼狀態(tài)。

圖8 前后幀眼睛狀態(tài)的不變矩特征平均差值

3 實(shí)際測(cè)試結(jié)果

3.1 測(cè)試乘務(wù)員前方設(shè)備采集的人臉圖像

通過(guò)多維特征信息綜合判斷，盹睡檢測(cè)誤檢率對(duì)比結(jié)果如表1所示。僅判斷眼睛狀態(tài)時(shí)，誤報(bào)率達(dá)72.42%，誤報(bào)原因中眼鏡反光占80%，15%是眼睛小或微睜，其他原因占5%。通過(guò)增加嘴巴開合頻率、頭部擺動(dòng)幅度、打哈欠次數(shù)檢測(cè)，誤報(bào)率從72.42%降低到了7.50%；增加Hu不變量特征輔助分析小眼睛狀態(tài)，誤報(bào)率降到了5.00%。

表1 盹睡檢測(cè)誤報(bào)率統(tǒng)計(jì)結(jié)果

3.2 測(cè)試乘務(wù)員后上方設(shè)備采集的圖像

對(duì)mobilenet-yolov3網(wǎng)絡(luò)檢測(cè)的目標(biāo)，包括玩手機(jī)、手勢(shì)、站立、坐下、平躺、車門開閉狀態(tài)進(jìn)行現(xiàn)場(chǎng)測(cè)試，準(zhǔn)確率如表2所示。

表2 玩手機(jī)等目標(biāo)檢測(cè)準(zhǔn)確率

4 結(jié) 語(yǔ)

本文在機(jī)車上實(shí)現(xiàn)了多維度視頻融合感知技術(shù)檢測(cè)司機(jī)室乘務(wù)員工作狀態(tài)及司機(jī)室車門狀態(tài)，當(dāng)乘務(wù)員在行車途中發(fā)生盹睡、離崗、中斷瞭望、玩手機(jī)等非正常狀態(tài)時(shí)，系統(tǒng)發(fā)出語(yǔ)音提醒并生成音視頻文件；當(dāng)檢測(cè)到司機(jī)室車門在行駛過(guò)程中未關(guān)閉時(shí)，系統(tǒng)發(fā)出語(yǔ)音提醒并生成視頻文件。本系統(tǒng)能夠及時(shí)有效地提醒乘務(wù)員進(jìn)行安全操作，有利于乘務(wù)員養(yǎng)成規(guī)范操作的習(xí)慣，警示乘務(wù)員在行車過(guò)程中時(shí)刻提高警惕，對(duì)機(jī)車的安全運(yùn)行具有重要的意義。