多算法融合的疲勞駕駛監測算法設計與實現

陳東偉,張 喆,韓 娜,郭 浩

(1.北京理工大學珠海學院 計算機學院,廣東 珠海 519085;2.太原理工大學 計算機科學與技術學院,太原 030024;3.山西省公安廳網絡安全保衛總隊,太原 030001)

?

多算法融合的疲勞駕駛監測算法設計與實現

陳東偉1，2,張 喆3,韓 娜1,郭 浩2

(1.北京理工大學珠海學院 計算機學院,廣東 珠海 519085;2.太原理工大學 計算機科學與技術學院,太原 030024;3.山西省公安廳網絡安全保衛總隊,太原 030001)

現實中基于圖像處理的疲勞駕駛監測往往因環境的變化而具有不確定性。監測算法不規范,以致于疲勞駕駛監測任務很具有挑戰性。為了解決此問題,提出了一種基于多算法融合的動態滑動窗口算法框架。首先利用Adaboost算法識別人眼,然后改進Otsu算法來自適應各種不同環境;進而提出動態滑動窗口算法來得到睜閉眼之間的最佳閾值;最終,利用改進的PERCLOS算法估計疲勞駕駛狀態的不同級別。針對環境的變化采用睜閉眼判斷窗口隨人眼特征變化而更新的策略,系統使用攝像頭實時捕獲人眼圖像,并在PC機上進行仿真測試,可在130～150 ms之間實現不同疲勞狀態的識別。實驗結果表明,此算法框架能夠有效、快速的分辨駕駛員不同的疲勞狀態。

Adaboost算法;自適應Otsu算法;動態滑動窗口;PERCLOS算法;人眼檢測; 疲勞駕駛

目前較多的交通事故都是由疲勞駕駛而引起的,早期對疲勞駕駛的客觀測評主要從醫學角度出發,根據駕駛員的腦電波形、心電波形、肌電波形來確定其疲勞程度[1]。然而最穩定和可靠的方法仍然是基于圖像處理的人眼監測[2-3]。

研究駕駛員眼睛閉合狀態的前提必須要實現人眼定位,而人眼定位方法有很多,基于膚色模型的方法,灰度投影法,基于模板的方法,基于神經網絡的方法,基于特征提取法等。VIOLA et al[4]提出了一種基于Haar-Like小波特征的Adaboost[5-7]人臉檢測方法,極大的提高了人臉檢測速度,成為人臉檢測領域的主流方法,而該方法同樣適用于人眼定位。

最大類間方差法是由日本學者大津于1979年提出的,是一種自適應的閾值確定的方法,又叫大津法,簡稱Otsu[8].按圖像的灰度特性,將圖像分成背景和目標兩部分。背景和目標之間的類間方差越大,說明構成圖像的兩部分的差別越大,類間方差最大的分割意味著錯分概率最小[9]。使用Otsu閾值分割算法[10]在一定程度上能有效改善光線帶來的影響,增強系統對復雜環境的適應性。

眼睛的狀態(如睜閉眼、眨眼、眼動檢測或瞳孔反應等)是能夠反映駕駛員警覺度的重要信息,且利用眼睛的行為[11]來進行駕駛員疲勞狀態的估計是可行的。DINGES et al[12]提出了幾種用于疲勞監測的技術指標:眼睛閉合的比例(percentage of eyelid closure time, PERCLOS)[13]和雙目眨眼監控[14-15]。

本文以Adaboost算法為核心實現人眼定位,改進Otsu算法來適應不同的環境;然后,提出動態滑動窗口監測算法(Dynamic Sliding Window Detection,DSWD)框架;進而利用改進的PERCLOS算法監測駕駛員的疲勞狀態;最終,通過大量的實驗驗證了提出的算法框架對于疲勞駕駛監測的有效性。

1 方 法

1.1 自適應Otsu算法

由于車內環境的明亮程度有4種情況,其灰度直方圖如圖1所示:

圖1 不同環境下的灰度直方圖Fig.1 Gray level histogram under different environments

對于第一種情況,它的圖像直方圖分布均勻,是最理想的。但是實驗中往往得到的圖片是后面3種情況,偏暗或偏亮。如果直接用Otsu算法,把空域部分考慮進去,則求出的閾值會有偏差。因此有必要自動獲取合適的閾值,使得可以適應環境的變化。采用累加的方法,去除像素值點空域的部分,考慮像素點較多的像素值。這樣得出的閾值是較可靠的。改進的Otsu算法如下。

算法1 優化的otsu算法

Input: data(圖像數據), rows(圖像的高), clos(圖像的寬)

Output: otsu-value(最佳閾值)

1) 根據輸入的圖像,生成歸一化直方圖

l-hist=histogram(data,rows,cols);

d-hist=histogram-one(l-hist,vmax);

2) 初始化ip-right和p-right

fori=0 to 255 do

ip-right+=i* d-hist[i];

p-right+=d-hist[i];

end for

3)圖像出錯判斷,if p-right==0 then 圖像為空,程序退出

4)遍歷0～255像素值

fori=0 to 255 do

p-left+=d-hist[i]; if(0==p-left) continue;

p-right-=d-hist[i];if(0==p-right) break;

ip-left+=i* d-hist[i];ip-right-=i* d-hist[i];

end for

ave-left=ip-left/p-left; ave-right=ip-right/p-right;

sigma=p-left * p-right * (ave-left-ave-right) * (ave-left-ave-right);

If(sigma> fmax)

then fmax=sigma and then otsu-value=i;

Return otsu-value

算法2 動態滑動窗口算法

Input: 睜眼和閉眼的特征值average-eye

Output: 人眼的狀態，1表示睜眼,2表示閉眼,0表示未知狀態(my-eyes-state)

#在程序初始化時,攝像頭捕獲的第11幀圖片到第50幀圖片(必須睜眼的),獲取每一幀圖片的睜眼特征值,再求平均值average-eye

1.2 動態滑動窗口監測算法

系統提取了人眼特征數據后,可以根據睜閉眼特征數據區間的差異來設定固定的閾值,從而判斷人是處于睜眼狀態還是閉眼狀態。

設定固定閾值的人眼狀態判斷算法描述如下:

人眼特征值記為“TAverage”,固定的閾值記為“F”;

如圖2所示,固定閾值的人眼狀態判斷,當TAverage>F時,為睜眼狀態;當TAverage

圖2 固定閾值的人眼狀態判斷Fig.2 Constant threshold for eye status judgment

設定固定閾值的人眼狀態判斷算法存在一個很明顯的缺點,就是當駕駛員和攝像頭的距離發生變化時,睜閉眼特征值TAverage會發生改變,睜眼特征值和閉眼特征值同時變大或者變小,造成睜閉眼區間發生改變,而固定的閾值F不再適用。

為了解決這個問題,提出了一種動態的人眼狀態判斷算法。

圖3 動態閾值的人眼狀態判斷Fig.3 Dynamic threshold for eye status judgment

如圖3所示,睜閉眼判斷窗口會隨人眼特征數據的改變而改變,數據空間會保存指定時間內的睜閉眼特征數據,通過對數據空間求平均值來反饋睜閉眼判斷窗口。

當系統突然受到外界環境的影響,人眼特征數據會發生突變,發生突變的數據會影響系統的穩定性。對于該類數據,系統會自動丟棄。算法描述如下。

算法3 動態滑動窗口算法

Input: 睜眼和閉眼的特征值average-eye

Output: 人眼的狀態，1表示睜眼,2表示閉眼,0表示未知狀態(my-eyes-state)

#在程序初始化時,攝像頭捕獲的第11幀圖片到第50幀圖片(必須睜眼的),獲取每一幀圖片的睜眼特征值,再求平均值average-eye

1) 初始化睜閉眼特征的數據區間

fori: 0 to 9 do

Eye-open-arr[i]=average-eye;

Eye-close-arr[i]=average-eye-2*EYE-PRECISION;

end for

2) 初始化睜閉眼特征平均值

eye-open-state=average-eye;

eye-close-state=average-eye-2*EYE-PRECISION;

3) 初始化 my-eyes-state=0; 返回值設置為未知眼睛狀態

4) 根據睜眼區間的平均值,來確定閉眼區間的平均值

If 睜眼區間與閉眼區間重疊

Then eye-close-state=eye-open-state-2*EYE-PRECISION-1;

5) If (average-eye 在睜眼區間內, 即average-eye 大于eye-open-state-EYE-PRECISION 且 average-eye 小于 4*EYE-PRECISION+eye-open-state)

then my-eyes-state=1; 返回值設置為睜眼狀態

eye-open-arr[(++eye-open-index)%10]=average-eye; 改變睜眼區間里的值

eye-open-state=平均值(Eye-open-arr, 10); 求平均值

6) else if (average-eye 在閉眼區間內, 即average-eye 小于eye-close-state+EYE-PRECISION 且 average-eye 大于 4*EYE-PRECISION+eye-close-state)

then my-eyes-state=2; 返回值設置為閉眼狀態

eye-close-arr[(++eye-close-index)%10]=average-eye; 改變睜眼區間里的值

eye-close-state=平均值(eye-close-arr, 10); 求平均值

7) 返回 my-eyes-state

1.3 PERCLOS人眼疲勞檢測法

PERCLOS(Percentage of Eyelid Closure Time),是指利用單位時間內眼睛閉合時間所占比例來判定駕駛員的疲勞程度,是美國聯邦公路管理局推薦的人眼疲勞檢測方法。

PERCLOS在具體試驗中有P70,P80,EM三種測量方式。其中P80被認為最能反映認得疲勞程度[16]。P70表示眼皮蓋過瞳孔的面積超過70%所占的時間比例。P80表示眼皮蓋過瞳孔的面積超過80%所占的時間比例。Em表示眼皮蓋過瞳孔的面積超過50%所占的時間比例。

本項目并沒有使用P80，P70，Em等標準作為疲勞判斷的依據,而是對PERCLOS標準進行改進,即一定時間內采集一定的幀數,眼睛閉合幀數占總幀數的百分比。

式中,P表示一定時間內眼睛處于閉合狀態的幀數占所采集的視頻流的總幀數的比例。

系統采集到的每一幀圖像數據都可分為開眼狀態和閉眼狀態兩種,根據以上算法可判斷出每一幀數據的狀態,但是不能只根據當前一幀駕駛員眼睛的狀態來判斷是否疲勞,需要對一段時間內駕駛員眼睛狀態的連續數據進行統計,判斷出駕駛員的疲勞狀態。改進后的算法連續采集若干幀圖像數據,若P大于等于90%,則判斷駕駛員為嚴重疲勞狀態,若P處于60%～90%之間,則判斷駕駛員為輕度疲勞狀態,若P小于60%,則判斷駕駛員為正常狀態。

2 實驗結果分析

本系統算法具有較好的準確度,所花費的時間大概為130～150 ms左右,滿足實時性需求。

2.1 理想狀態下的結果

圖4所示為測試者處于靜止狀態,人眼與攝像頭的距離不變,光線環境沒有明顯的變化。

圖4 理想條件下的睜閉眼特征值統計圖Fig.4 Eigenvalue statistical figure for eyes under ideal conditions with fixed threshold and DSWD algorithm

如圖4(a),系列1為人眼特征值,圖4(b)系列2為人眼狀態。其中系列2值為1時為睜眼狀態,系列2值為2時為閉眼狀態。

如圖4(a)所示為采用固定閾值人眼狀態判斷算法的睜閉眼特征值統計結果,睜眼平均值的范圍在12至14之間,閉眼平均值的范圍在7至9之間。

如圖4(b)所示為采用動態滑動窗口監測算法的睜閉眼特征值統計結果,睜眼平均值的范圍在10至14之間,閉眼平均值的范圍在6至9之間。

根據圖4可得出結論,當測試者處于靜止狀態,人眼與攝像頭的距離不變,光線環境沒有明顯的變化,使用動態滑動窗口監測算法和固定閾值人眼狀態判斷算法,睜閉眼特征值變化沒有太大的差異。

2.2 真實環境下的結果

圖5 真實環境下的睜閉眼特征值統計圖Fig.5 Eigenvalue statistical figure for eyes under real conditions with fixed threshold and DSWD algorithm

如圖5所示,系列1表示人眼特征值的變化;系列2表示人眼的狀態,當系列2值為1時為睜眼狀態,系列2值為2時為閉眼狀態;系列3表示疲勞狀態,系列3數值的大小表現為駕駛員的疲勞的強度。

在圖5(a)中,開始時人眼狀態為睜眼,睜眼平均值在10至15之間,閉眼平均值在5至8之間,當眼睛向攝像頭的方向靠近時(圖中為睜眼狀態下靠近攝像頭),平均值會增大,此時的睜眼平均值在15至20之間,閉眼平均值在8至13之間。而DSWD算法依然判斷為閉眼狀態,符合實際的情況。

在圖5(b)中,開始時的人眼狀態、平均值以及疲勞狀態都和圖5(a)中的值相近,當眼睛和攝像頭之間的距離減少時,平均值同樣增大,但在出現的閉眼情況時,固定閾值算法判斷出來的結果會在睜閉眼之間發生跳動。

上述結果表明DWSD算法能夠在真實環境下達到較好的效果。

3 結束語

提出了一個新的算法框架用于實現疲勞駕駛的實時監測。其包含Adaboost算法、改進的Otsu算法、自行設計的DSWD算法和改進的PERCLOS算法。與目前的技術理論相比,本文所提出的算法可以動態適應人眼和攝像頭的距離,以及各種不同的環境,因此可以使用與實際的駕駛操作。但系統仍會受到一些外界因素的影響,如周圍環境光線,駕駛員戴眼鏡以及頭部姿態偏轉太大等情況。有待在以后改進,進一步提高算法的速度和準確率。

[1] FAN X,SUN Y,YIN B,et al.Gabor based dynamic representation for human fatigue monitoring in facial image sequences[J].Pattern Recogn Lett,2010,31:234-243.

[2] PEARLMAN W A.Image processing by the human eye[J].The International Society for Optical Engineering,1989:1148-1153.

[3] 陳云華,張靈,丁伍洋,等.精神疲勞實時監測中多面部特征時序分類模型[J].中國圖象圖形學報,2013,18(8):953-960.

[4] VIOLA P,JONES M.Robust real-time face detection[J].International Journal of Computer Vision,2004,57(2):137-154.

[5] XIONG C,XIE M,WANG L.Driver fatigue detection based on adaBoost[J].Advances in Intelligent and Soft Computing,2012,159:13-17.

[6] JIN Y,SU G,WEI L.Implementation of face detecting algorithm of adaBoost based on DSP[J].Comput Eng Design,2008,14:32-35.

[7] ZHANG J,WANG D.Building multi-view real-time video face detection system based on adaboost algorithm[J].Comput Eng Design,2010,31(18):4065-4068.

[8] OTSU N.A Threshold selection method from gray-level histograms[J].IEEE Trans Syst Man Cybern,1979,9(l):62-66.

[9] LIN T,Chen S.Study on the method for driver’s eyes fatigue state detection based on haar-like feature[J].School of Electronic & Engineering,South China University of Technology,2008,25(7):120-124.

[10] YANG J G,LI B Z,CHEN H J.Adaptive edge detection method for image polluted using canny operator and otsu threshold selection[J].Advanced Materials Research,2011,301-303:797-804.

[11] ROBERT J T,ARVOR L R,JAMES R J.Effect of eye enucleation and eyelid closure upon the brain and associated visual structures in the mouse I.A report on degenerative changes[J].Journal of Experimental Zoology,1962,150(3):165-183.

[12] DASGUPTA A,GEORGE A,HAPPY S L,et al.An on-board vision based system for drowsiness detection in automotive drivers[J].International Journal of Advances in Engineering Sciences & Applied Mathematics,2013,5(2-3):94-103.

[13] TIJERINA L,BLOMMER M,CURRY R,et al.Effects of adaptive lane departure warning system on driver response to a surprise event[J].Transportation Research Record Journal of the Transportation Research Board,2010,2185(-1):1-7.

[14] SAMPEI K,OGAWA M,TORRESORRES C,et al.Mental fatigue monitoring using a wearable transparent eye detection system[J].Micromachines,2016,7(2):15-19.

[15] JOW J,PAK B C,DONG H L.A novel viscosity measurement technique using a falling ball viscometer with a high-speed camera[J].Kstle International Journal,2007,8:16-20.

[16] YUAN W,YUAN Y.Algorithm research of the eye open degree detection base on PERCLOS[J].Comput Eng Design,2010,26:67-73.

(編輯：劉笑達)

Design and Implementation of Fatigue Driving Detection Algorithm Based on Multi-algorithm Fusion

CHEN Dongwei1，2,ZHANG Zhe3,HAN Na1,GUO Hao2

(1.Department of Computer,Beijing Institute of Technology,Zhuhai Guangdong 519085,China;2.CollegeofComputerScienceandTechnology,TaiyuanUniversityofTechnology,TaiyuanShanxi030024,China;3.NetworkSecurityTeamofShanxiPublicSecurityDepartment,TaiyuanShanxi030001,China)

Fatigue driving detection based on image processing in practice often shows uncertainty because of the ehauge in environments.The lack of mormalization in monitoring algorithm makes the fatigue driving detection task very challenging. In order to solve this problem, this paper proposed a dynamic sliding window algorithm framework based on multi-algorithm fusion. This algorithm framework firstly recognizes human eyes with AdaBoost algorithm, then an improved Otsu algorithm is modified to automatically adapt to varied environments. Furthermore, it proposes an effective algorithm based on dynamic sliding window in order to compute optimal threshold between open and close eye window. Finally, it estimates the different level of fatigue driving with improved percentage of eyelid closure time (PERCLOS) algorithm. According to changes in the environment, the algorithm framework adopts the strategy that eyes judgment window updates following eyes features variation,human eyes images are captured with camera in real time, and the proposed method is simulated on personal computer to recognize different level of fatigue driving between 130 ms to 150 ms.This paper presents a new learning strategy and multi-algorithm framework. The comparative experiments demonstrate that the proposed algorithm framework can effectively discriminate different level of fatigue state in driving by eye state tracking.

adaboost algorithm;adaptive otsu algorithm;dynamic sliding window;PERCLOS algorithm;eye state tracking;fatigue driving

1007-9432(2016)04-0518-05

2016-03-01

國家自然科學青年基金資助項目(61402318); 2015年廣東高校省級重點平臺和重大科研項目(2015KQNCX211);2015年度廣東省前沿與關鍵技術創新專項資金(重大科技專項)項目(2015B010108003);2014年北京理工大學珠海學院校級科研發展基金項目(XK-2014-02)

陳東偉(1982-)，男，太原人，講師，博士，主要從事智能信息處理，腦信息學，嵌入式系統研究， (E-mail)38566905@qq.com

郭浩，副教授，主要從事智能信息處理、腦信息學，腦網絡組學研究，(E-mail)43672782@qq.com

TP399

A

10.16355/j.cnki.issn1007-9432tyut.2016.04.016