基于人眼運動檢測的疲勞預(yù)警系統(tǒng)研究

張志文，張沛晨

（西安工業(yè)大學(xué) 電子信息工程學(xué)院，陜西 西安 710021）

疲勞工作是引發(fā)惡性事故諸如交通事故的重要原因之一。由于工作人員長時間工作會出現(xiàn)疲勞狀態(tài)，如注意力不集中、頻繁眨眼、閉眼時間過長等，導(dǎo)致人員反應(yīng)變慢，極易引發(fā)事故。如果能提供一個實時檢測系統(tǒng)在人們剛出現(xiàn)疲勞現(xiàn)象時就發(fā)出報警，就能降低事故，有效的提高安全性。

目前識別疲勞狀態(tài)的指標(biāo)大致包括：生理信號，如心率、呼吸頻率、腦電圖等；物理反應(yīng)，如眨眼頻率、睜閉眼時間、打瞌睡等；還有與工作環(huán)境的人機行為等。而基于這些特征研究人員開發(fā)了很多不同的疲勞狀態(tài)檢測系統(tǒng)，非接觸式的眼狀態(tài)的檢測系統(tǒng)能很大的反映出當(dāng)前疲勞狀態(tài)[1]。

本文設(shè)計了一個基于眼運動的疲勞預(yù)警系統(tǒng)，即攝像頭監(jiān)控眼睛的疲勞狀態(tài)的預(yù)警機制。采用Haar特征分類器從圖像中檢測出人臉區(qū)域和人眼區(qū)域，用幀差分跟蹤人眼區(qū)域；并統(tǒng)計其差分特征，判斷其疲勞狀態(tài)；最后進(jìn)行相關(guān)的預(yù)警工作。

1 人臉、人眼檢測

人臉、人眼檢測屬于計算機視覺范疇，目前的檢測方法有兩大類：基于知識和基于統(tǒng)計?；谥R的方法主要利用先驗知識將人臉看做器官特征的組合，根據(jù)眼睛的特征以及眼睛在臉部的幾何位置關(guān)系來檢測?；诮y(tǒng)計的方法則將人臉看做一個二維像素矩陣，從統(tǒng)計的觀點通過大量的圖像樣本構(gòu)造目標(biāo)模式空間，根據(jù)相似度來判斷人臉、人眼是否存在。

1.1 Haar分類器

Viola和Jones提出的基于Haar-like小波特征和積分圖方法是目前較好的一種人臉檢測算法，該算法有較好的檢測性能，檢測速度比較快。在此基礎(chǔ)上發(fā)展的人眼檢測算法仍具有較好的適應(yīng)性。Haar分類器=Haar-like特征+積分圖方法+AdaBoost+級聯(lián)。其要點如下：

1）使用Haar-like特征做檢測。Haar-like是一種規(guī)定的用以被訓(xùn)練好的級聯(lián)分類器篩選的特征。就是把人臉區(qū)域特征化，加以區(qū)分。

2）使用積分圖對Haar-like特征求值進(jìn)行加速。積分圖是一種能夠描述全局信息的矩陣表示方法，即只遍歷一次圖像就可以快速求出圖像中所有區(qū)域像素和。

3）使用AdaBoost算法訓(xùn)練出所需的強分類器。AdaBoost是一種具有一般性的分類器提升算法，在Haar中可以幫助選擇更好的矩陣特征組合，即分類器。

4）使用篩選式級聯(lián)把強分類器級聯(lián)到一起，提高準(zhǔn)確率[2]。

1.2 眼睛的檢測

在系統(tǒng)的算法中，是利用Adaboost算法，訓(xùn)練出合適的分類器模板，進(jìn)行匹配來得到我們感興趣的人眼區(qū)域。這其中，比較重要的環(huán)節(jié)是訓(xùn)練出人臉、人眼分類器。在圖像處理方面選用了 OpenCV（Open Source Computer Vision Library）開源的第三方跨平臺計算機視覺庫。其是由Interl公司支持，包含了超過500個函數(shù)來實現(xiàn)用于圖形處理和計算機視覺方面的算法，并可以運行在Linux、Windows和Mac OS操作系統(tǒng)上。

OpenCV視覺庫中有很多訓(xùn)練好的分類器。它既可以使Haar（Haar-like）特征描述算子，也可以使 LBP（Local Binary Pattern）圖像紋理特征算子的分類器[3]。這些分類器都經(jīng)過了優(yōu)化，檢測精度高，速度快，而且在實際應(yīng)用中得到了驗證。識別的流程圖可如圖1所示。

圖1 眼睛識別流程圖Fig.1 Eye recognition flow chart

利用 load開加載haarcascade_frontalface_alt.xml和haarcascade_eye_tree_eyeglasss.xml分類器，cvCapture打開攝像頭，detecMultiScale函數(shù)來進(jìn)行圖像的多尺度檢測。經(jīng)過上述處理，得到圖2所示是眼睛識別的效果圖。

圖2 眼睛識別效果圖Fig.2 Eyes identification renderings

圖2 所示的分別是左向轉(zhuǎn)臉、右向轉(zhuǎn)臉、正面人臉的眼睛識別圖。采用的Adaboost算法結(jié)合OpenCV中的分類器，在實驗室理想的條件下進(jìn)行眼睛的識別有著不錯的適應(yīng)性。

1.3 眼睛的定位與跟蹤

在完成檢測，下一步就是做到實時的圖像處理，得到有用的信息。具體為：對攝像頭采集到的圖像進(jìn)行不斷的循環(huán)處理，如背景擦除，平滑濾波，二值化等進(jìn)行實時圖像處理。以臉部運動的幀圖像處理為例。其處理的流程圖可如圖3所示。

圖3 實時幀處理流程圖Fig.3 Real-time frame processing flow chart

先對圖像進(jìn)行高斯濾波，防止圖像模糊，出現(xiàn)細(xì)小斑點等，以平滑圖像。采用幀差法是為了獲取較好的實時性。由于相鄰兩幀間的時間間隔非常短，用前一幀圖像接可以作為當(dāng)前幀的背景圖像，因此背景并不積累，更新速度較快。計算量也比較小，可以保證實時性。之后的形態(tài)學(xué)濾波是利用形態(tài)學(xué)運開、閉運算進(jìn)行濾波操作，去掉噪聲，保證圖像結(jié)構(gòu)。

為了快速的定位人眼，提高精度，避開一些遮擋物如眼鏡等對定位的影響，可以采用基于知識的方法，利用先驗知識，根據(jù)人眼在臉部中比例位置近似定位人眼。水平方向上，人眼區(qū)域位于臉部區(qū)域的1/6～5/6處；垂直方向，人眼區(qū)域位于臉部區(qū)域的1/4～2/4處[4]。結(jié)合分類器方法，可以得到圖4的人眼的跟蹤檢測效果圖。

圖4 眼睛的定位與跟蹤Fig.4 Eye positioning and tracking

2 疲勞特征的提取與疲勞的判定

2.1 疲勞的判據(jù)

通過眼睛識別與跟蹤，可以得到一些特征信息如：睜閉眼的判斷、眨眼的時間，眼睛內(nèi)部像素、眼球與眼角相對位置變化等。利用這些參數(shù)可以得到人的疲勞狀況。

1）眨眼頻率：一般情況下，正常人每分鐘眨眼頻率在10～20次，每一次眨眼的時間約0.2～0.4 s[5]。則正常情況下，人每3～ 6 s眨眼一次，而在疲勞狀態(tài)下，頻率會變慢。

2）人眼閉合時間：研究表明，一般情況下，人眼閉合是間在0.2～0.4 s之間，如果眼睛持續(xù)閉合時間達(dá)到3 s左右時，則人已處在疲勞狀態(tài)。

3）Perclos值：Perclos（Percentage of Eyelid Closure over the Pupil，over Time）是美國卡內(nèi)基隆研究所提出的度量疲勞的物理量。定義為單位時間內(nèi)（一般取一分鐘）眼睛閉合一定比例（70%或80%）所占時間。若測得的Perclos值大于40%，則可判定處于疲勞狀態(tài)。其值可由公式（1）求出。

選取PERCLOS方法的標(biāo)準(zhǔn)P70（眼睛閉合程度超過70%就為眼睛閉合）為疲勞判定標(biāo)準(zhǔn)。在眼睛檢測、跟蹤與特征提取時，遍歷幀圖像中眼睛內(nèi)部的像素，就可以求出相應(yīng)的Perclos值。

2.2 疲勞特征提取

1）眨眼頻率

在采集到的視頻圖像中，由于每一幀的眼睛可以分為兩種狀態(tài)，即睜眼狀態(tài)記為1，閉眼狀態(tài)記為0。可以統(tǒng)計眼睛內(nèi)部的黑色像素來判斷眼睛開閉狀態(tài)。從圖像當(dāng)中檢測到眼睛睜開的狀態(tài)到下一次檢測到眼睛睜開的狀態(tài)，且中間必須有眼睛閉的狀態(tài)，即由1到0，在回到1的狀態(tài)，記為一次眨眼過程[6]?？梢越y(tǒng)計出一段時間內(nèi)的眨眼次數(shù)，計算眨眼頻率。

圖5 實驗cmd窗口Fig.5 Experimental cmd window

圖5 記錄在實驗室中VC運行的實時視頻圖像進(jìn)行眼睛識別、跟蹤、特征處理的結(jié)果窗口。其中detection time表示處理當(dāng)前幀圖像所用時間，firstcountnumber表示當(dāng)前幀是第幾幀，AreaPercent表示的是黑色像素百分比，可以確認(rèn)睜閉眼情況。統(tǒng)計結(jié)果如表1所示。

表1 睜閉眼統(tǒng)計表Tab.1 Open eyes and closed eyes

表1中的數(shù)據(jù)是一分鐘左右，程序處理的視頻圖像的相關(guān)數(shù)據(jù)。則可以得出這段視頻圖像的眨眼頻率是14次/分鐘。同樣的可以進(jìn)行多次上述處理，得出眨眼頻率分別是16次/分鐘、11次/分鐘等。正常人的眨眼頻率在10～20次/分鐘，選擇眨眼頻率的極限值為不低于10次/分鐘來作為疲勞狀態(tài)的閾值。眨眼頻率小于10的即可判定為處于疲勞狀態(tài)。

2）眼睛閉合時間

由圖5可以看出，系統(tǒng)處理一幀視頻圖像約為650 ms左右。若測得連續(xù)5幀以上圖像，是閉眼狀態(tài)且中間沒有睜眼狀態(tài)。則眼睛持續(xù)閉合時間達(dá)到了3 s左右，人已處于疲勞狀態(tài)。

3）Perclos值

通過實驗及其數(shù)據(jù)分析，設(shè)定眨眼頻率小于10次/分鐘這個閾值為人處于疲勞狀態(tài)的

閾值。而正常人的眨眼頻率在10～20次/分鐘?？紤]到人在處于輕度疲勞時，眼睛會不自主地眨眼來緩解疲勞，此時人的連續(xù)眨眼頻率可能會比正常眨眼頻率高，而對于不同的人，眨眼頻率在10次左右/分鐘，可能處于輕度疲勞狀態(tài)，也可能處于正常清醒狀態(tài)，因此在這里可以通過Perclos方法來判斷是否處于疲勞。

由表1可以近似得到Perclos值為22.82%，小于40%這一閾值。則可說明處于正常清醒狀態(tài)，與用眨眼頻率得到的結(jié)果相符。

3 系統(tǒng)的硬件方案

目前疲勞監(jiān)測系統(tǒng)中可分為兩類：一類是采用PC機的機器視覺系統(tǒng)，優(yōu)點是處理速度快、有操作系統(tǒng)，可以只考慮軟件算法而不用太多關(guān)注硬件，缺點是造價高、功耗大、體積龐大、靈活性差；另一類是采用處理速度較快的專用處理芯片（如DSP，F(xiàn)PGA等）構(gòu)成的機器視覺系統(tǒng)，其優(yōu)點是成本低、功耗低、性能指標(biāo)較高，缺點是開發(fā)復(fù)雜，移植操作系統(tǒng)困難，擴展性不足?？紤]到成本以及系統(tǒng)的產(chǎn)品化、商業(yè)化用途。選用了一種基于ARM的疲勞監(jiān)測系統(tǒng)。該系統(tǒng)具有成本低、功耗低、體積小等特點，還具有可移植操作系統(tǒng)、網(wǎng)絡(luò)功能強大、擴展性強等優(yōu)點。該系統(tǒng)通過實時監(jiān)測眼部運動狀況，判斷疲勞狀態(tài)并給出預(yù)警。

本系統(tǒng)是以嵌入式Linux系統(tǒng)和嵌入式微控制器ARM為核心平臺，通過建立的相關(guān)圖像處理平臺，將攝像頭采集來的視頻圖像信號，進(jìn)行相關(guān)的圖像處理，提取人眼疲勞特征，完成疲勞判定及預(yù)警。具體設(shè)計思想是使用嵌入式ARM系統(tǒng)，采用USB攝像頭或CMOS攝像頭模塊，在ARM+Linux系統(tǒng)上，利用Video for Linux接口，構(gòu)建QT圖像處理平臺，通過第三方OpenCV視覺庫，運行攝像頭的驅(qū)動和相應(yīng)的視頻圖像采集、處理程序，對采集的一幀幀圖片進(jìn)行處理，得到人眼疲勞特征，進(jìn)而進(jìn)行判定，并進(jìn)行相應(yīng)的預(yù)警措施[7]。

系統(tǒng)采用三星公司的S3C2440嵌入式芯片為核心，其主要硬件構(gòu)成如圖6所示。攝像頭采集的視頻圖像通過USB攝像頭送入ARM處理器；系統(tǒng)采用64M Flash存放Linux系統(tǒng)和應(yīng)用軟件，采用64M SDRAM存放數(shù)據(jù)和處理結(jié)果，蜂鳴器用于疲勞時發(fā)出報警。

圖6 系統(tǒng)硬件結(jié)構(gòu)圖Fig.6 System hardware structure

4 結(jié)論

文中設(shè)計出了一個基于嵌入式ARM的疲勞預(yù)警系統(tǒng)，旨在用最少的硬件，完成高質(zhì)量的圖像采集和實時處理功能。結(jié)合了3個判定準(zhǔn)則提高了疲勞了判定的準(zhǔn)確性，對于靜態(tài)、準(zhǔn)靜態(tài)，如辦公室等工作環(huán)境有較好的適應(yīng)性，但對于高速運動環(huán)境的疲勞預(yù)警在實時性上可能較為不足，但可作為必要補充。盡管測試是在實驗室環(huán)境下進(jìn)行的，但還是具有較好的實驗。為滿各種實際環(huán)境和應(yīng)用要求，仍需要進(jìn)行深入研究。

[1]朱振華，吳曉娟，王磊，等.基于眨眼持續(xù)時間的司機疲勞檢測方法[J].計算機工程，2008，34（5）:201-203.ZHU Zhen-hua，WU Xiao-juan，WANG Lei，et al.Detection method of driver fatigue based on blink duration[J].Computer Engineering，2008，34（5）:201-203.

[2]鄭夜星，林其偉.基于AdaBoost人臉檢測的改進(jìn)FGS視頻編碼[J].電視技術(shù)，2010，34（2）:85-87.ZHENG Ye-xing，LIN Qi-wei.Improved FGS video coding based on adaBoost face detection[J].Video Engineering，2010，34（2）:85-87.

[3]王磊，吳曉娟，俞夢孫.駕駛疲勞/瞌睡檢測方法的研究進(jìn)展[J].生物醫(yī)學(xué)工程學(xué)雜志，2007，24（1）:245-248.WANG Lei，WU Xiao-juan，YU Meng-sun.Review of diver fatigue/drowsiness detection methods[J].Journal of Biomedical Engineering，2007，24 （1）:245-248.

[4]陳守明.駕駛員疲勞檢測中人眼定位算法的研究[D].長沙:中南大學(xué)，2010.

[5]向本科.基于人眼檢測的駕駛員疲勞檢測研究 [D].重慶:西南大學(xué)，2010.

[6]張淑鳳.基于多個疲勞參數(shù)的駕駛員疲勞檢測 [D].合肥:合肥工業(yè)大學(xué)，2009.

[7]李外云，王淑仙，劉錦高.基于嵌入式Linux的便攜式自動人臉檢測與跟蹤系統(tǒng)的應(yīng)用研究[J].微型電腦應(yīng)用，2008，24（1）:28-31.LIWai-yun，WANG Shu-xian，LIU Jin-gao.Applications based on embedded Linux portable automatic face detection and tracking system[J].Microcomputer Appllcations，2008，24（1）:28-31.