基于圖像識(shí)別的防瞌睡系統(tǒng)設(shè)計(jì)

林盛楠

（武警工程大學(xué)密碼工程學(xué)院，陜西 西安 710086）

作者簡(jiǎn)介：林盛楠（1999-），女，碩士研究生在讀，研究方向?yàn)閳D像識(shí)別。

DOI：10.19981/j.CN23-1581/G3.2022.06.032

為保障單位安全，單位內(nèi)部設(shè)有值班室。事實(shí)證明，因?yàn)樯砥诘瓤陀^原因，僅從規(guī)章制度上難以有效地杜絕值班人員瞌睡情況發(fā)生。值班人員由于工作壓力大、休息時(shí)間不夠及心理情緒影響等因素，均可能導(dǎo)致在值班時(shí)瞌睡，從而不能履行好職責(zé)導(dǎo)致事故發(fā)生。因此，通過(guò)圖像識(shí)別的方法揭示值班人員的瞌睡特征，實(shí)時(shí)準(zhǔn)確地對(duì)值班人員瞌睡狀態(tài)進(jìn)行檢測(cè)，并確保正常值班的情況下給出預(yù)警機(jī)制，可以很大程度上減少安全事故的發(fā)生。本文針對(duì)值班人員打瞌睡不履職盡責(zé)的情況，設(shè)計(jì)依托Python Dlib 庫(kù)和OpenCV 的圖像識(shí)別技術(shù)實(shí)現(xiàn)的非接觸防瞌睡系統(tǒng)。在詳細(xì)介紹圖像采集、圖像處理的基礎(chǔ)上，進(jìn)一步比較判定值班人員處在正常或者疲勞狀態(tài)并用聲光提示。

目前，對(duì)人員瞌睡檢測(cè)的研究已經(jīng)有很多，基于人員生理特征的檢測(cè)方法主要有5 種：檢測(cè)頭部狀態(tài)、檢測(cè)瞳孔信息、檢測(cè)腦電信號(hào)、檢測(cè)脈搏頻率和檢測(cè)眼睛活動(dòng)信息[1]。本課題選擇非接觸式眼動(dòng)信息檢測(cè)技術(shù)，對(duì)值班人員的瞌睡程度進(jìn)行24 h 實(shí)時(shí)檢測(cè)，如果結(jié)合“人形”檢測(cè)還可以進(jìn)一步拓展“脫崗”檢測(cè)等功能。

本文介紹了一種基于圖像識(shí)別的防瞌睡系統(tǒng)，該防瞌睡系統(tǒng)通過(guò)攝像頭采集到值班人員人臉的圖像，利用人臉檢測(cè)技術(shù)定位人臉區(qū)域并進(jìn)行人眼定位與人眼疲勞狀態(tài)分析，當(dāng)檢測(cè)到值班人員瞌睡時(shí)，能及時(shí)對(duì)值班人員進(jìn)行預(yù)警。

1 系統(tǒng)基本結(jié)構(gòu)

本系統(tǒng)主要完成對(duì)攝像頭獲得的圖像進(jìn)行分析處理，判定值班人員是否瞌睡，主要包括：利用攝像頭進(jìn)行圖像采集；對(duì)采集到的圖像進(jìn)行人臉檢測(cè)；在檢測(cè)人臉的基礎(chǔ)上進(jìn)行人眼定位；提取人眼特征點(diǎn)位置；對(duì)人眼狀態(tài)進(jìn)行識(shí)別；判定值班人員是否瞌睡和對(duì)處理結(jié)果進(jìn)行分析處理。若判定瞌睡則報(bào)警，否則返回，重新檢測(cè)圖像（圖1）。

圖1 系統(tǒng)流程圖

通過(guò)對(duì)目前人臉檢測(cè)技術(shù)的對(duì)比，本系統(tǒng)人臉檢測(cè)部分采用基于Haar 特征的AdaBoost 算法，實(shí)效性高。人眼定位技術(shù)采用Dlib 開(kāi)源庫(kù)通過(guò)OpenCV 圖像處理進(jìn)行人臉特征點(diǎn)定位，準(zhǔn)確性高，最后利用EAR 值判定值班人員狀態(tài)。

2 系統(tǒng)各部分設(shè)計(jì)

該系統(tǒng)主要由圖像數(shù)據(jù)采集、圖像識(shí)別以及瞌睡判定與預(yù)警3 部分組成。圖像識(shí)別包括了人臉檢測(cè)和人眼定位，是整個(gè)系統(tǒng)的關(guān)鍵技術(shù)。該系統(tǒng)的各部分內(nèi)容如下。

2.1 人臉檢測(cè)

人臉識(shí)別[2]的關(guān)鍵環(huán)節(jié)是人臉檢測(cè)，由于人臉特征中具有灰度特征，例如，眼睛通常比臉頰顏色深；鼻梁的兩側(cè)比鼻梁顏色深；嘴巴顏色比周圍顏色深。因此，可以簡(jiǎn)單地用矩形特征（Haar 特征）描繪面部特征。通過(guò)特征模板圖像窗口的大小位置變換得到的特征稱為矩形特征。Haar 特征的數(shù)值編碼反映了人臉圖像的灰度級(jí)。在對(duì)人臉進(jìn)行檢測(cè)時(shí)，人臉特征可以通過(guò)對(duì)Haar 特征的編碼進(jìn)行描述。在固定樣本的前提下，Haar 特征的檢測(cè)編碼能夠準(zhǔn)確地顯示指定區(qū)域的形態(tài)，而且其檢測(cè)速度比用像素檢測(cè)的編碼系統(tǒng)要好得多。因此，防瞌睡系統(tǒng)采用基于Haar 特征的AdaBoost 算法進(jìn)行人臉檢測(cè)。

積分圖[3]模型是一種能夠描述圖像中全局矩形特征信息的矩陣表示方法。Viola 將積分圖[4]應(yīng)用到計(jì)算Haar特征中。定義圖像中坐標(biāo)為（x，y）的點(diǎn)的積分圖=此點(diǎn)左上角方向上所有像素值的和，點(diǎn)（x，y）的積分圖等于陰影部分的所有像素和。通過(guò)一個(gè)圖像區(qū)域端點(diǎn)的積分圖能夠計(jì)算該圖像區(qū)域的像素值。

AdaBoost[5]是集成學(xué)習(xí)系統(tǒng)中的最常用的特征分析方法之一，它將許多弱分類器的特征分析與結(jié)合，達(dá)到一個(gè)強(qiáng)分類器h（x，f，p，θ）的特征分類和訓(xùn)練效果。在確定各訓(xùn)練窗口樣本中Haar 特征的數(shù)量和特征值后，對(duì)Haar特征窗口中的每一個(gè)矩形特征f，訓(xùn)練弱分類器，x 是一個(gè)24×24 大小的子窗口，p 是表示不等號(hào)的特征方向，θ是Haar 特征的閾值。

級(jí)聯(lián)分類器是由幾個(gè)簡(jiǎn)單分類器和AdaBoost 強(qiáng)分類器連接而成的。分類器訓(xùn)練過(guò)程：

選擇一個(gè)級(jí)聯(lián)分類器每層的誤檢率f；檢測(cè)率d，標(biāo)準(zhǔn)誤檢率Ftarget；

設(shè)P 為一組正例，N 為一組負(fù)例；

初始值設(shè)F0=1.0，D0=1.0；令i=1；

當(dāng)Fi>Ftarget時(shí)；i=i+1；ni=0，F(xiàn)i=Fi-1；

當(dāng)Fi>f×Fi-1；ni=ni+1；

訓(xùn)練一個(gè)有n 個(gè)特征的級(jí)聯(lián)分類器；

分類器的數(shù)量每層遞增，訓(xùn)練得出Fi和Di；

訓(xùn)練直至完全達(dá)到目標(biāo)分類器的檢測(cè)準(zhǔn)確率和誤檢率。

綜上所述，基于Haar 特征的AdaBoost 人臉檢測(cè)算法共包括4 部分：Haar 特征、積分圖快速計(jì)算像素值、AdaBoost 訓(xùn)練強(qiáng)分類器和將多個(gè)強(qiáng)分類器級(jí)聯(lián)的級(jí)聯(lián)分類器，提高人臉檢測(cè)精確度。

進(jìn)行人臉檢測(cè)時(shí)，由于人臉大小具有差異性，可選擇2 種方式實(shí)現(xiàn)檢測(cè)：縮小檢測(cè)圖像和放大檢測(cè)窗口?？s小檢測(cè)圖像的方法是固定檢測(cè)窗口不變，將檢測(cè)圖像進(jìn)行大小變換，將變換后的圖像通過(guò)檢測(cè)窗口進(jìn)行圖像輸入。放大檢測(cè)窗口的方法是保持檢測(cè)圖像不變，將檢測(cè)窗口進(jìn)行大小變換，然后依次使用變換后的檢測(cè)窗口檢測(cè)圖像。

由于人臉尺寸不同，放大檢測(cè)窗口不易控制變換程度，可能會(huì)造成漏檢率或誤檢率上升。因此，本系統(tǒng)采用縮小檢測(cè)圖像的方法進(jìn)行人臉檢測(cè)。

2.2 人眼定位

人臉檢測(cè)技術(shù)已經(jīng)解決了圖上是否有人臉的問(wèn)題，人眼定位解決了人眼的位置問(wèn)題。通過(guò)ERT 算法訓(xùn)練，在Python 中建立了Dlib 官方開(kāi)源庫(kù)[6]，效果較好。因此，本系統(tǒng)在Python 平臺(tái)下采用Dlib 庫(kù)進(jìn)行人眼定位。

Python Dlib 庫(kù)是在Python3 中用于在人臉圖像處理的經(jīng)典模型庫(kù)，Dlib 庫(kù)中有一個(gè)經(jīng)過(guò)ERT 算法訓(xùn)練的人臉關(guān)鍵點(diǎn)[7]檢測(cè)器，在利用AdaBoost 算法確定人臉大致位置后，在OpenCV 平臺(tái)下使用Dlib 庫(kù)正式訓(xùn)練的68 點(diǎn)模型“shape_predictor_68_face_landmarks.dat”進(jìn)行圖像處理，在人臉上繪制68 個(gè)點(diǎn)并顯示序列號(hào)。通過(guò)Dlib 庫(kù)人臉識(shí)別68 特征點(diǎn)檢測(cè)，分別獲取左右眼面部標(biāo)志的索引，利用OpenCV 對(duì)視頻流進(jìn)行灰度化處理，檢測(cè)出人眼的位置信息。利用數(shù)字序號(hào)定位人眼[8]，使用該模型庫(kù)可以方便地用于人臉檢測(cè)和簡(jiǎn)單的應(yīng)用（圖2）。

2.3 瞌睡狀態(tài)檢測(cè)指標(biāo)

在人臉特征點(diǎn)68 位定位中可以看到37-42 為左眼位置，43-48 為右眼位置。當(dāng)人眨眼時(shí)，這6 個(gè)點(diǎn)之間的距離會(huì)發(fā)生變化（圖2）。

圖2 人臉特征點(diǎn)位置編號(hào)示意圖

本防瞌睡系統(tǒng)主要提取值班人員眼睛狀態(tài)的EAR值[9]指標(biāo)，基于EAR 值在視頻處理序列的基礎(chǔ)上，判定值班人員瞌睡狀態(tài)。其中，指標(biāo)定義如下：

EAR（Eye Aspect Ratio）是描述眼睛張開(kāi)程度，即眼睛縱橫比。利用上下眼皮特征點(diǎn)之間的距離描述眼睛張開(kāi)程度，當(dāng)EAR 低于閾值時(shí)，眼睛處于閉合狀態(tài)。

在進(jìn)行人眼定位后，開(kāi)始根據(jù)人眼定位坐標(biāo)計(jì)算眼睛縱橫比EAR，根據(jù)大量實(shí)驗(yàn)數(shù)據(jù)顯示，正常狀態(tài)下，人眼縱橫比大概在0.2～0.3 之間。在本系統(tǒng)中，設(shè)定閾值為0.2。當(dāng)前幀2 只眼睛縱橫比與前1 幀的差值的絕對(duì)值大于0.2，則認(rèn)為值班人員處于瞌睡狀態(tài)[10]（圖3）。

圖3 眼長(zhǎng)寬比方程

在OpenCV 平臺(tái)下，構(gòu)造函數(shù)計(jì)算左右眼EAR 值，而后求平均值作為最終的EAR 值與設(shè)定的閾值做對(duì)比，若小于閾值，則更換下一個(gè)值班室的攝像頭繼續(xù)檢測(cè)，若連續(xù)3 次小于閾值，則屏幕顯示睡著，判定值班人員瞌睡，并發(fā)出警報(bào)聲，對(duì)值班人員進(jìn)行預(yù)警，然后重置眼幀計(jì)數(shù)器，繼續(xù)檢測(cè)。

3 實(shí)驗(yàn)與結(jié)果

實(shí)驗(yàn)中主要運(yùn)用前文所說(shuō)的原理和方法，軟件編程[11]實(shí)現(xiàn)，并對(duì)人臉檢測(cè)和人眼定位算法進(jìn)行測(cè)試。在進(jìn)行檢測(cè)人臉的過(guò)程中，利用Python 平臺(tái)和OpenCV 中訓(xùn)練好的基于Haar 特征的AdaBoost 級(jí)聯(lián)分類器來(lái)進(jìn)行對(duì)人臉的檢測(cè)。檢測(cè)中，通過(guò)ORL 人臉數(shù)據(jù)庫(kù)人臉檢測(cè)技術(shù)的準(zhǔn)確率進(jìn)行測(cè)試，并通過(guò)統(tǒng)計(jì)得出算法的測(cè)試結(jié)果，最后對(duì)測(cè)試結(jié)果的準(zhǔn)確率進(jìn)行分析。在人臉檢測(cè)的基礎(chǔ)上，通過(guò)標(biāo)定人臉特征點(diǎn)方法進(jìn)行人眼定位，得出測(cè)試結(jié)果，并分析該方法的檢測(cè)準(zhǔn)確率。

3.1 人臉檢測(cè)結(jié)果分析

本系統(tǒng)中，通過(guò)OpenCV[12]中已經(jīng)訓(xùn)練好的級(jí)聯(lián)分類器檢測(cè)人臉，由于值班室一般是單人執(zhí)勤，所以在檢測(cè)過(guò)程中，我們只取單人的圖像來(lái)驗(yàn)證算法的精確度。因此，本系統(tǒng)使用ORL 人臉數(shù)據(jù)庫(kù)來(lái)檢測(cè)系統(tǒng)的精確度。ORL人臉數(shù)據(jù)庫(kù)包含40 個(gè)人在不同表情下的人臉圖像共400 張，圖片大小為92×112（單位/像素）。部分樣本如圖4所示。

圖4 ORL 人臉數(shù)據(jù)庫(kù)

利用OpenCV 中已經(jīng)訓(xùn)練好的人臉?lè)诸惼鬟M(jìn)行人臉數(shù)正確檢測(cè)，測(cè)試結(jié)果見(jiàn)表1。

表1 人臉檢測(cè)結(jié)果

上述數(shù)據(jù)表明，本系統(tǒng)進(jìn)行人臉檢測(cè)時(shí)具有較高的精確度，對(duì)于復(fù)雜的光照環(huán)境，仍能精確檢測(cè)到人臉。部分正確的檢測(cè)結(jié)果如圖5 所示。但本系統(tǒng)使用的是OpenCV 平臺(tái)[13]中訓(xùn)練好的級(jí)聯(lián)分類器，還不夠精確，但能夠說(shuō)明基于Haar 算法的AdaBoost 算法在人臉檢測(cè)上可以滿足本系統(tǒng)對(duì)于人臉檢測(cè)實(shí)效性和準(zhǔn)確性的需求。

圖5 人臉正確檢測(cè)結(jié)果

3.2 人眼定位結(jié)果分析

在本系統(tǒng)人眼定位技術(shù)中，采取利用Python Dlib 開(kāi)源庫(kù)進(jìn)行人臉特征點(diǎn)定位的方法進(jìn)行檢測(cè)，測(cè)試樣本集仍采用ORL 人臉數(shù)據(jù)庫(kù)，在檢測(cè)到人臉的基礎(chǔ)上繼續(xù)定位人眼，定位結(jié)果見(jiàn)表2。

表2 人眼定位檢測(cè)結(jié)果

根據(jù)以上結(jié)果可以發(fā)現(xiàn)，基于Dlib 庫(kù)的人臉特征點(diǎn)定位法對(duì)人眼進(jìn)行定位的精確度較高，同時(shí)定位速率也較快，符合本系統(tǒng)實(shí)時(shí)性和實(shí)效性要求。部分正確定位人眼的結(jié)果如圖6 所示。但若人眼附近有遮擋物，眉毛與眼睛相近時(shí)，很可能導(dǎo)致因定位相近而無(wú)法定位眼睛準(zhǔn)確位置，從而無(wú)法檢測(cè)。當(dāng)圖像分辨率小于63×74 時(shí)，無(wú)法識(shí)別圖像中人臉及人眼位置，當(dāng)圖像亮度為-129 或+125時(shí)，圖像也無(wú)法識(shí)別。

圖6 人眼正確定位測(cè)試結(jié)果

3.3 人眼狀態(tài)檢測(cè)結(jié)果分析

對(duì)于人眼狀態(tài)檢測(cè)，本系統(tǒng)利用EAR 值即眼睛縱橫比進(jìn)行判定，設(shè)定閾值為0.2，若檢測(cè)到的EAR 值小于0.2，則判定為閉眼。檢測(cè)中仍采用ORL 人臉數(shù)據(jù)庫(kù)作為測(cè)試樣本集。由于需先定位到人眼，才能檢測(cè)到閉眼情況，因此此次檢測(cè)在人眼定位結(jié)果下繼續(xù)進(jìn)行。

對(duì)人眼狀態(tài)的檢測(cè)結(jié)果見(jiàn)表3。

表3 人眼狀態(tài)檢測(cè)結(jié)果

下面是部分誤檢的圖像，如圖7 所示。

圖7 人臉錯(cuò)誤檢測(cè)圖像

通過(guò)以上檢測(cè)結(jié)果發(fā)現(xiàn)，錯(cuò)識(shí)誤識(shí)人眼狀態(tài)的主要原因有：人臉視線向下、人眼區(qū)域光照不均勻和人眼的個(gè)體性強(qiáng)、不能適應(yīng)閾值設(shè)置等。

實(shí)驗(yàn)結(jié)果表明：使用EAR 值作為眼睛的閉合標(biāo)準(zhǔn)準(zhǔn)確率較高，閾值設(shè)定為0.2 也比較符合人眼的生理特征。因此，本系統(tǒng)使用EAR 值檢測(cè)法具有較高的精確度，同時(shí)算法簡(jiǎn)便，也符合值班室檢測(cè)環(huán)境。

4 結(jié)論

本系統(tǒng)通過(guò)攝像頭對(duì)值班人員臉部圖像進(jìn)行采集，通過(guò)對(duì)人眼狀態(tài)的檢測(cè)判定值班人員是否瞌睡。檢測(cè)指標(biāo)為眼睛縱橫比EAR 值。本系統(tǒng)檢測(cè)的主要步驟為人臉采集與檢測(cè)和人眼定位與狀態(tài)識(shí)別。采集到圖像后進(jìn)行人臉檢測(cè)，確定人臉位置后進(jìn)行人眼定位和人眼狀態(tài)分析。本系統(tǒng)主要使用在OpenCV 中訓(xùn)練好的級(jí)聯(lián)分類器來(lái)進(jìn)行人臉檢測(cè)，在此基礎(chǔ)上通過(guò)Dlib 庫(kù)進(jìn)行了人眼識(shí)別與人眼定位，而后利用EAR 值進(jìn)行人眼狀態(tài)判斷，最后通過(guò)眨眼次數(shù)判定值班人員是否瞌睡。實(shí)驗(yàn)結(jié)果證明，本系統(tǒng)可實(shí)時(shí)有效地檢測(cè)值班人員是否瞌睡。繼續(xù)優(yōu)化級(jí)聯(lián)分類器算法，精確分析值班人員眼部狀態(tài)是下一步研究的重點(diǎn)。