駕駛員疲勞檢測系統(tǒng)設(shè)計

顏 偉,王海濤,黃 斌,宿海燕

(1.南京航空航天大學(xué) 自動化學(xué)院，南京 211016; 2.山東煙臺通用照明有限公司，山東 煙臺 264006)

駕駛員疲勞檢測系統(tǒng)設(shè)計

顏 偉1,王海濤1,黃 斌1,宿海燕2

(1.南京航空航天大學(xué) 自動化學(xué)院，南京 211016; 2.山東煙臺通用照明有限公司，山東 煙臺 264006)

以DM642為主控芯片設(shè)計了一套駕駛員疲勞檢測的硬件系統(tǒng),包括主控器模塊、視頻采集模塊、視頻輸出模塊和報警模塊等相關(guān)電路；綜合國內(nèi)外的研究現(xiàn)狀，確定了了疲勞狀態(tài)判斷的理論基礎(chǔ)；交叉運(yùn)用圖像處理技術(shù)、人臉檢測技術(shù)和PERCLOS疲勞檢測方法，根據(jù)眼睛的疲勞特征，實時判斷駕駛員的疲勞狀態(tài)，進(jìn)行報警，有效防止交通事故的發(fā)生；經(jīng)過對系統(tǒng)的軟硬件測試,結(jié)果表明,該方案可以有效地識別出駕駛員的疲勞狀態(tài),運(yùn)行速度快、實時性好,具有較高的魯棒性。

疲勞檢測；DM642；機(jī)器視覺；圖像處理

0 引言

現(xiàn)階段，隨著人均汽車持有量的不斷上升，交通事故也愈發(fā)得頻繁。在全國乃至全球范圍內(nèi)，疲勞駕駛是交通事故發(fā)生的主要原因之一[1]。如果能實時檢測出駕駛員的疲勞狀態(tài)，在駕駛狀態(tài)出現(xiàn)異常時及時用聲光等信號來提醒駕駛員，就可以有效地提高行車安全。

本文采用主動式紅外成像方法，攝取駕駛員的面部信息，并將該信息存儲在SDRAM中進(jìn)行圖像處理，根據(jù)疲勞狀態(tài)下眼睛的特征，實時判斷駕駛員的疲勞狀態(tài)，并進(jìn)行報警，有效防止交通事故的發(fā)生。

1 疲勞檢測的基本原理

駕駛疲勞是駕駛機(jī)能失調(diào)的綜合反映，包括主觀機(jī)能和客觀機(jī)能、心理機(jī)能和生理機(jī)能的總稱[2]。

本系統(tǒng)采用的方法是主觀檢測，以駕駛員眼睛的相關(guān)特征作為檢測依據(jù)，因此，對人臉的定位和眼睛的疲勞特征確定做了詳細(xì)的理論研究。

1.1 人臉檢測的理論基礎(chǔ)

AdaBoost 是最優(yōu)秀的Boosting 算法之一, 有著堅實的理論基礎(chǔ), 在實踐中得到了很好的推廣和應(yīng)用[3]。

本文使用Adaboost算法，對大量的弱特征進(jìn)行統(tǒng)計學(xué)習(xí)，循環(huán)迭代多次訓(xùn)練出弱分類器，并聚合大量的弱分類器形成強(qiáng)分類器，并最終融合為級聯(lián)分類器。該方法可以有效地提高人臉檢測的速度和正確率。

1.2 眼睛的疲勞特征確定

根據(jù)國內(nèi)外針對疲勞的生理反應(yīng)的研究，疲勞狀態(tài)最有效的判據(jù)是眼睛的閉合時間所占的百分比，即PERCLOS標(biāo)準(zhǔn)。PERCLOS的全稱是Percentage of Eyelid Closure Over the Pupil Over Time[4]。

基于PERCLOS標(biāo)準(zhǔn)檢測的方法和原理是：首先，使用攝像頭獲取駕駛員的面部圖像信息，通過圖像處理方法定位眼睛，并分析和識別眼睛的開閉狀態(tài)。根據(jù)相關(guān)生理學(xué)研究，瞳孔張開程度小于20%認(rèn)為是為閉合，而大于20%認(rèn)為是睜開，眼睛的閉合比即是單位時間內(nèi)眼睛閉合的時間所占的百分比[5]。

通常PERCLOS方法有三種標(biāo)準(zhǔn):

P70：指眼瞼遮住瞳孔的面積超過70%就認(rèn)為眼睛閉合。

P80：指眼瞼遮住瞳孔的面積超過80%就認(rèn)為眼睛閉合。

EM：指眼瞼遮住瞳孔的面積超過一半就認(rèn)為眼睛閉合。

根據(jù)NHTSA對此方法的實驗，表明與疲勞發(fā)展程度的相關(guān)性最好的是P80標(biāo)準(zhǔn)。

PERCLOS的測量原理可見圖1：通過tl～t4的值就可計算出PERCLOS，計算公式如1所示：

其中f代表眼睛閉合時間的百分率，即PERCLOS的值。

圖1 PERCLOS測量原理圖

2 疲勞駕駛檢測系統(tǒng)設(shè)計

本檢測系統(tǒng)設(shè)計包括硬件系統(tǒng)和軟件方案的設(shè)計兩部分。

2.1 硬件系統(tǒng)

硬件系統(tǒng)主要由主控制器、視頻輸入模塊、視頻輸出模塊和報警模塊等構(gòu)成。

2.1.1 系統(tǒng)信號的傳輸過程

圖像信號在系統(tǒng)中的傳輸過程如圖2所示。

首先，駕駛員的面部圖像經(jīng)攝像頭采集后送到視頻編碼器，在視頻編碼器中將模擬信號轉(zhuǎn)換成8位數(shù)字信號并送入DM642內(nèi)，然后依次完成人臉和眼睛的檢測算法，最后將處理后的圖像傳輸?shù)綌?shù)模數(shù)模轉(zhuǎn)換裝置將8位數(shù)字信號轉(zhuǎn)換為電信號，并由圖像傳感器輸出，并在顯示器上實時顯示。

圖2 信號流圖

2.1.2 主控制器

本文綜合考慮了市面上多媒體開發(fā)類的處理器，對性能、成本、功耗等作了較為詳細(xì)的比較，主控制器采用TI公司生產(chǎn)的DM642，運(yùn)行速度快、性價比高。

DM642全名TMS320DM642是TI公司C6000系列DSP中最新的定點DSP芯片。TMS320DM642系列芯片是數(shù)字媒體處理的最佳芯片選擇。DM642時鐘頻率高達(dá)600MHz，運(yùn)算速度可達(dá)4800 MIPS，從而可以有效的縮短數(shù)據(jù)處理的時間。此外它的片上外圍模塊資源非常豐富，包含有一個外部存儲器擴(kuò)展EMIFA、3個視頻端口VP0～VP2、I2C總線、以太網(wǎng)控制器EMAC和多通道緩沖串行口McBSP等相關(guān)資源[6]。

主控制器的設(shè)計包括DSP的最小系統(tǒng)和存儲器模塊，包括電源模塊、時鐘模塊、JTAG模塊、EMIF存儲器擴(kuò)展模塊以及模塊這幾部分組成。

整個電路板采用+12V電壓供電，并由此提供DM642外圍IO電壓+3.3V、DM642 CPU內(nèi)核電壓+1.4V、告警蜂鳴器電壓+5V和攝像頭電壓+12V。電源模塊采用LM2596系列DC-DC芯片，功耗低、性能穩(wěn)定。電源模塊詳細(xì)電路見圖3～圖6。

圖3 +3.3V電壓

圖4 +1.4V電壓

圖5 +5V電壓

圖6 +12V電壓

由于晶振的工藝和成本原因，做不到很高的頻率，因此在需要使用高頻時，通過使用鎖相環(huán)(PLL)技術(shù)來提高系統(tǒng)的時鐘。DM642的工作時鐘是600 MHz，故采用50 MHz的外部晶振，并經(jīng)片內(nèi)的鎖相環(huán)進(jìn)行12倍頻，以此提供主控制器的工作時鐘。

JTAG是聯(lián)合測試工作組的簡稱，主要用于芯片內(nèi)部的編程和測試。仿真器接口的一端連接到DM642的的JTAG端口，另一端連接到PC機(jī)，PC機(jī)與DM642通過仿真器進(jìn)行通訊。

DM642有三種啟動模式：no boot 、host boot、EMIF boot，并由地址線AEA[22:21]的高低電平來決定。啟動模式見表1。

表1 DM642的啟動模式

無啟動方式(no boot)：沒有使用啟動模式，CPU直接從內(nèi)存的0地址開始執(zhí)行。

主機(jī)啟動方式(host boot)：此模式下，外部主機(jī)首先通過主機(jī)接口初始化CPU的內(nèi)存空間，然后CPU開始從內(nèi)存的0地址處執(zhí)行。

EMIF啟動方式：由于本系統(tǒng)需要脫機(jī)使用，所以采用EMIF啟動方式，即將地址線AEA22和AEA21分別通過1個1kΩ的電阻接到+3.3V電源上。

DM642的TOUT1/LENDIAN引腳作為芯片Endian模式的設(shè)置引腳。配置模式見表2。

表2 DM642的節(jié)點模式

EMIF規(guī)定了外擴(kuò)模塊的時鐘頻率，本款DSP通過與地址線AEA[20:19]復(fù)用的AECLKIN_SEL [1:0]引腳進(jìn)行配置。

因為本系統(tǒng)需要處理大量的圖像信息，因此必須擴(kuò)展外部存儲單元。本系統(tǒng)通過EMIF接口(外部存儲器接口)擴(kuò)展了4M×64bit的SDRAM和4M×8bit的FLASH。

總線緩沖器采用芯片74LV16245，對DM642的數(shù)據(jù)總線TED0～TED15、地址總線TEA3～TEA22和EMIF接口的控制總線TSDRAS#、TSDCAS#、TSDWE#進(jìn)行暫存緩沖。詳細(xì)電路見圖7。

圖7 總線緩沖器

EMIF接口共有4個存儲器映射空間，CE0、CE1、CE2、CE3。SDRAM可映射到任意一個空間，F(xiàn)LASH只能映射到CE1空間，且必須是8位FLASH。本系統(tǒng)中，SDRAM映射到CE0空間，F(xiàn)LASH映射到CE1空間。詳細(xì)電路見圖8～圖9。

圖8 外擴(kuò)SDRAM

2.1.3 視頻輸入和輸出模塊

DM642提供了3個視頻輸入輸出接口，VP0、VP1和VP2。現(xiàn)將VP0作為視頻輸入接口，VP1作為視頻輸出接口。DM642的視頻端口見圖10。

1)視頻輸入模塊

本設(shè)計中采集端口使用DM642的VP0，遵循8-bit BT.656模式[7]。

本系統(tǒng)采用的是模擬攝像頭，因此需要使用“A/D”器件將模擬視頻信號進(jìn)行數(shù)字化。飛利浦公司生產(chǎn)的SAA7113數(shù)字編碼芯片以其兼容性好、配置簡單等優(yōu)點成為了本系統(tǒng)模擬數(shù)字化的首選。

圖9 外擴(kuò)FLASH

圖10 視頻端口

本模塊電路如圖11。

圖11 視頻輸入模塊

2)視頻輸出模塊

本設(shè)計中輸出端口使用DM642的VP1口，使用8-bit BT.656模式。BT.656模式輸出8-bit 4:2:2格式的亮度和色度復(fù)合數(shù)據(jù)。數(shù)據(jù)輸出采用了編碼芯片SAA7121來完成。

當(dāng)滿足視頻輸出閾值要求時，視頻輸出模塊就會使用三個事件標(biāo)志(YEVT、CbEVT和CrEVT)來告知EDMA控制器，由EDMA負(fù)責(zé)將Y、Cb和Cr數(shù)據(jù)分別轉(zhuǎn)移至相應(yīng)的輸出FIFO，并最終整合成YCbCr數(shù)據(jù)流[8]。

本模塊電路如圖12。

圖12 視頻輸出模塊

2.1.4 報警模塊

當(dāng)系統(tǒng)檢測到駕駛員正處于疲勞駕駛的危險狀態(tài)時，為了提醒駕駛員作出調(diào)整，報警模塊會實時地發(fā)出聲音報警，并根據(jù)疲勞程度調(diào)節(jié)報警信號的強(qiáng)度。

本系統(tǒng)采用三極管驅(qū)動蜂鳴器來產(chǎn)生聲音報警信號。本模塊電路如圖13。

圖13 報警模塊

2.2 軟件方案

軟件方案流程見圖14。

圖14 軟件流程

圖像預(yù)處理采用的是中值濾波以及直方圖均衡化。中值濾波目的在于對圖像進(jìn)行消除噪聲處理；直方圖均衡目的是對在圖像中像素個數(shù)多的灰度級進(jìn)行拓寬，對像素個數(shù)少的灰度級進(jìn)行縮減。

采用Adaboost算法定位人眼區(qū)域，該算法利用的是Haar矩形特征，可以用來定位人眼，還可以定位人臉，只要將人眼的分類器改成人臉的分類器，而分類器文件則是通過自行選取正負(fù)樣本進(jìn)行訓(xùn)練得到。

人眼狀態(tài)判斷的方法采用的是“網(wǎng)格三分法”，精確定位到人眼區(qū)域后，用矩形框進(jìn)行標(biāo)記，并對該區(qū)域進(jìn)行二值化、像素值計算、閾值設(shè)定等操作。

圖15 眼睛狀態(tài)的判斷流程

通過PERCLOS原理中的P80準(zhǔn)則進(jìn)行疲勞判斷，即眼瞼遮住瞳孔的面積超過80%就計為眼睛閉合，統(tǒng)計在一定時間內(nèi)眼睛閉合時所占的時間比例。

3 調(diào)試與分析

對硬件電路進(jìn)行PCB制作、元器件焊接，并對電路分模塊地調(diào)試，完成了硬件接口驅(qū)動的編寫，并實現(xiàn)了芯片的自動加載功能。

在搭建的檢測系統(tǒng)上，在強(qiáng)光、弱光等不同光照條件下，對1600幀視頻圖像進(jìn)行疲勞狀態(tài)的識別，圖像大小為576*720，Adaboost算法選取的人眼分類器大小為35*16，共19層級聯(lián)分類器。

表3為各部分算法所花費(fèi)的時間，表4為本文的方法與其他方法識別率的比較。

表3 各部分算法花費(fèi)時間

表4 本文方法與其他方法識別率比較

從表3可以發(fā)現(xiàn)，各個部分的運(yùn)行速度相對較快，檢測速度能達(dá)到26幀/s，滿足實時性要求。從表4可以發(fā)現(xiàn)，相對于積分投影法，本文的方法具有明顯的優(yōu)勢；相對于計算量較大的模板匹配法，本項目方法的睜眼檢測效果存在不足，但總的誤判率低于模板匹配法，更具可行性。

4 結(jié)語

本文以設(shè)備硬件設(shè)計為核心，重點研究了疲勞檢測的相關(guān)理論基礎(chǔ)。設(shè)計了圖像采集、圖像處理和圖像回放等相關(guān)硬件電路，解決了疲勞檢測的系統(tǒng)平臺，通過試驗驗證了該系統(tǒng)平臺的可行性，并設(shè)計了一套軟件檢測方案，該方案檢測是倍率高，實時性好。目前本設(shè)計正在著力優(yōu)化平臺結(jié)構(gòu)、減小硬件尺寸，以適應(yīng)于車載空間狹小的現(xiàn)狀；并在保證疲勞檢測準(zhǔn)確率和魯棒性的前提下，改進(jìn)算法結(jié)構(gòu)，優(yōu)化程序代碼，以提高檢測的性能。我們可以期待，在不久的將來本系統(tǒng)必將會實現(xiàn)車載化、裝置化和實用化。

[1] 李都厚, 劉 群, 袁 偉, 等. 疲勞駕駛與交通事故關(guān)系[J]. 交通運(yùn)輸工程學(xué)報,2010，10(2): 104-109.

[2] 傅家振. 駕駛疲勞的產(chǎn)生原因與防范措施[J]. 車運(yùn)用, 2010(7):36-37.

[3] 曹 瑩, 苗啟廣, 劉家辰, 等. AdaBoost算法研究進(jìn)展與展望[J]. 自動化學(xué)報, 2013, 39(6): 745-758.

[4] 于興玲, 王 民, 張立材. 基于PERCLOS 的駕駛員眼睛狀態(tài)檢測方法, 汽車電子[J], 2007(5):251-253.

[5] 施 海, 王 偉, 謝 峰. 基于駕駛員生命體征的智能監(jiān)控系統(tǒng)[J]. 重慶工學(xué)院學(xué)報(自然科學(xué)), 2009(4):25-29.

[6] 賈 芳, 鄭 丹. 基于TMS320DM642芯片的視頻目標(biāo)跟蹤系統(tǒng)設(shè)計與實現(xiàn)[J]. 計算機(jī)測量與控制, 2014，22(7) : 2192-2195.

[7] 尚佳良, 白瑞林, 楊文浩. 基于DM642的視頻處理系統(tǒng)設(shè)計[J]. 計算機(jī)測量與控制, 2009，17(7):1289-1291.

[8] 劉 丹, 孫麗云, 胡 偉, 等. 基于DM642 的視頻處理系統(tǒng)設(shè)計[J]. DSP開發(fā)與應(yīng)用, 2007(6):157-159.

Design of Driver Fatigue Detection System

Yan Wei1，Wang Haitao1，Huang Bin1，Su Haiyan2

(1.College of Automation Engineering, Nanjing University of Aeronautic and Astronautics, Nanjing 211016, China；2.Yantai General Lighting Co., Ltd., Yantai 264006, China)

A hardware system for driver fatigue detection is designed based on DM642, which includes master controller module, video capture module, video output module, alarm module and other related circuits. Based on the research status at home and abroad, the theoretical basis of fatigue state judgment is determined. The eye fatigue characteristic was combined with image processing technology, face detection technology and PERCLOS fatigue testing method to judge the fatigue state of the driver in real time . If in a state of fatigue, an alarm is issued, which can effectively prevent the occurrence of a traffic accident. After the testing of system hardware and software, The results show that the scheme can effectively identify the fatigue state of the driver, and it has high speed, good real-time and high robustness.

fatigue detection; DM642; machine vision; image processing

2016-10-28；

2016-11-25。

江蘇省重點研發(fā)(社會發(fā)展)項目(BE2015725)；國家質(zhì)量監(jiān)督檢驗疫總局公益性行業(yè)科研專項(2015424068)；煙臺開發(fā)區(qū)科技發(fā)展計劃項目(201416)。

顏 偉(1989-)，男，江蘇淮安市人，碩士研究生，主要從事儀器儀表方向的研究。

王海濤(1968-)，男，江蘇溧陽市人，教授，博士研究生導(dǎo)師，主要從事電磁、超聲、激光超聲檢測技術(shù)、無損檢測技術(shù)的研究。

1671-4598(2017)03-0043-05

10.16526/j.cnki.11-4762/tp.2017.03.013

TP273

A