疲勞駕駛檢測系統的設計與實現?

茆佳能，王維鋒，張立

（中設設計集團股份有限公司，江蘇南京 210014）

疲勞駕駛檢測系統的設計與實現?

茆佳能，王維鋒，張立

（中設設計集團股份有限公司，江蘇南京 210014）

疲勞駕駛是導致交通事故的重要因素。為了克服單一數據源檢測系統的局限性，文中設計了一種基于數據融合的疲勞駕駛檢測系統并采用雙微控制單元架構進行技術實現，該系統選取人眼PERCLOS值和車道偏離情況作為融合參數提取有效特征，采用粗糙集理論進行數據融合，綜合判斷駕駛員疲勞狀態。實車測試結果表明，該系統在快速路工況下的識別準確率達93. 9%，具有較高的魯棒性和可用性。

交通安全；疲勞駕駛；PERCLOSE；車道偏離；數據融合

隨著中國汽車保有量的迅速增加，道路交通事故越來越嚴重，其中因疲勞駕駛導致的事故和人員傷亡占有相當大的比例。疲勞駕駛隱蔽性較強，雖然管理部門制定了相應的交通法規，但因執法困難，效果并不理想。因此，開發一種駕駛員疲勞駕駛實時檢測系統具有十分重要的社會和經濟價值。

疲勞駕駛檢測方法主要分為基于生理信息、基于操控行為、基于行車狀態和基于機器視覺四類。其中：基于生理信息的方法的識別準確性最高，但對駕駛員干擾很大，適用于實驗室環境；基于操控行為的方法對駕駛員較友好，數據處理簡單，但理論研究較少，識別算法閾值難以確定，且在低速駕駛情況下準確性較低；基于行車狀態的方法的識別準確性受路面狀況、操控習慣、氣象條件等影響較大；基于機器視覺的方法是目前國內外進行疲勞駕駛識別的主要選擇，但該方法識別準確性受環境光線、駕駛員坐姿等的影響較大。目前，基于單一特征的疲勞駕駛識別方法尚無法解決實際運用中的準確性和魯棒性問題。為此，該文綜合利用人眼PERCLOS特征和車道偏移特征，采用數據融合方法開發駕駛人疲勞駕駛檢測系統。

1　總體結構

疲勞駕駛檢測系統研究駕駛人狀態、車輛行駛狀態信息，其整體框架如圖1所示，包括信息采集單元、狀態判別單元和疲勞預警單元三部分。信息采集單元通過攝像頭獲取駕駛員眼睛狀態、車輛行駛軌跡等原始數據；狀態判別單元完成單一數據源特征向量提取、歸一化并進行特征識別后，通過數據融合實現對駕駛人疲勞駕駛狀態的可靠識別；疲勞預警單元根據判別結果的嚴重程度，選取視覺、聽覺等提醒手段對駕駛員進行及時預警。

圖1　疲勞駕駛檢測系統的整體框架

2　硬件設計

疲勞駕駛檢測系統兼顧實用性與先進性，以JT/T794-2013《道路運輸車輛衛星定位系統北斗兼容車載終端技術規范》為基礎，增加視頻采集和分析的功能。整體采用“主機+外設”的結構組成形式，主機通過各種接口與眾多功能外設連接。終端主機的物理構成包括主板（Board_Main）和視頻板（Board-Video）兩部分，采用雙MCU架構。分工如下：HI3520A處理器主要進行音頻和視頻采集、存儲、分析及3G模塊的數據傳輸；STM32F207VET6實現除音、視頻處理外的所有功能。兩個MCU分工明確、協同工作。其整體硬件架構如圖2所示。

2.1主板

主板主要具有MCU、GPS/北斗信息的采集、振動檢測、車輛OBD通信等功能；同時核心板的外部接口設計在主板上，包括音頻和視頻輸入端子、3G通信模塊、SIM卡等。

圖2　疲勞駕駛檢測系統的硬件整體框架

（1）MCU。主板MCU主要完成車輛信號采集、外設通信、無線傳感網絡、位置采集和T808報文等對任務實時性要求較高、處理器要求不高的相關功能，該系統設計采用ARMCortexM3內核的STM32F207VET6芯片來完成。

（2）GPS/BD。采用GPS和北斗雙模定位模塊，根據JT/T794-2013的要求，實時采集車輛位置、速度信息，并通過位置數據實現車輛的路線管理、區域管理等位置功能，通過速度數據實現超速報警等功能。該模塊與MCU通信的物理接口為UART，輸出數據為NMEA0183標準語句，數據采樣速率最大能達1Hz。

（3）MEMS。MEMS設計采用加速度傳感器，通過對X、Y、Z三軸加速度值的采集，判斷車輛的動靜、側翻等狀態，實現自動喚醒或側傾告警功能。MEMS傳感器輸出加速度信號，與MCU通信的物理接口為SPI方式。為減少MCU資源開銷，采用設定閾值、中斷輸出的方法采集加速度數據。

（4）GPIO、OBD、CAN。GPIO端口實現車輛信號的開關量、脈沖量和信號量采集及繼電器控制輸出功能。OBD單元的數據來自于汽車ECU，而獲取ECU的數據必須通過CAN和K/L總線及ISO15031和J1939協議，系統采用EL327芯片采集，與MCU通信的物理接口為UART。為減少終端作為采集單元并接到總線上對總線造成的數據負荷，采集數據采樣周期定為500ms。

（5）3G通信模塊。系統3G傳輸分為上行和下行。上行數據分別來自HI3520A的視頻流數據和STM32F207VET6的T808報文數據；在傳輸T808報文時，HI3520A僅起透傳通路，通過在Linux系統應用層建立的轉發功能，不作任何數據處理，邏輯上變成STM32F207VET6處理器直接與平臺進行通信，只是中間經過了HI3520A、3G模塊的連接與轉換。下行數據多為參數設置、終端控制等命令數據，故平臺數據也是直接透傳給STM32F207VET6處理器。

2.2視頻板

視頻板是系統視頻采集與處理的核心部件，功能獨立且高度集成，以一個物理電路板而存在。疲勞駕駛識別的關鍵是通過視頻傳感器獲取駕駛員眼睛和車輛前方車道線信息、識別特征并進行融合判斷，考慮到所涉及的視頻采集、處理、傳輸和存儲等任務功能相對集中，而這部分任務在應用技術上相對較成熟，選用華為海思芯片作為整體解決方案。

視頻板采用Linux操作系統，主處理器采用工業級嵌入式微控制器HI3520A，A/D芯片為Nextchip1914，搭配128Mb（16MB）Flash容量及2048 Mb（256MB）內存容量。視頻核心板高度集成，采用標準化接口，支持多模式輸入，提供完善的網絡服務。“核心板+主板”的功能組合完全滿足該系統開發的需求。

3　軟件設計

疲勞駕駛識別技術經過幾十年的發展，取得了豐碩成果，但由于道路環境、駕駛員個體等差異，至今仍未出現一種基于單一特征屬性、高可靠性、高準確性的識別方法。綜合考慮不同方法的優缺點及適用范圍，同時兼顧特征檢測和算法匹配上的互補性，該系統將基于視頻圖像識別的人眼和車道線偏離識別方法進行數據融合，建立綜合判別模型，提高識別結果的準確性。

3.1基于人眼的疲勞識別

采用PERCLOSE方法的核心是精準判斷駕駛員眼睛的閉合狀態。考慮到人臉信息量較人眼更豐富，能較為方便地從圖像中檢測出來，一般先定位人臉位置，然后在圖像中定位眼睛區域位置。總體而言，基于人眼的疲勞識別是一個定位對象不斷減小、精度不斷提升的過程。

3.1.1人臉檢測定位算法

該系統根據膚色信息快速檢測，縮小人臉可能區域，完成粗定位；再運用類Harr特征的AdaBoost分類器算法完成精準定位，大大提升算法計算速度。

首先進行人臉分類器訓練。定義樣本集中元素M（xn，yn），按式（1）進行權重歸一化，根據每個人臉特征訓練弱分類器hj，其構造函數見式（2）。

計算每個元素M（xn，yn）與相對應的弱分類器hj之間的誤差，公式如下：

式中：pj為控制不等式方向的校驗器，pj=±1；fj為人臉特征；x是圖像中一個24×24像素大小的harr-like子窗口；θj為相應閾值。

選出容錯率最小的ht，更新其權值，令ωt+1，i= ωt，iβ1-ei，其中βt=εt/（1-εt） 。通過上述一系列步驟形成基于人臉某一特征的分類器，即：

式中：αt=log（1/βt）。

訓練出一系列基于人臉不同特征的分類器后，通過級聯方式最終形成一個人臉分類器。把所有分割好的人臉區域通過最終人臉分類器篩選出人臉區域的精確定位。

3.1.2人眼定位與狀態識別算法

臉部器官區域在灰度分布上比周圍更暗，對人臉進行積分投影后，上述器官位置會出現較小值，以較小值之間的位置關系建立判斷規則，得到器官間的水平和垂直位置，分割出眼部區域。在所有器官中，人眼結構最復雜，復雜度也最大。將上一步確定的區域等分為8×4小塊，按下式計算其復雜度：

式中：C（A）為A區域的復雜度；SA（）為A區域的面積；Edge為邊緣檢測算子。

得到復雜度最大的10個小塊，將相鄰小塊合并后剔除孤立小塊，根據人眼分布的對稱性，最終得到人眼的精確位置。

為減少噪聲和曲線間斷對識別結果的影響，將圖像空間轉換為參數空間，以參數的形式描述圖像中的區域邊界。通過Hough變換將參數空間分割為累加器單元Ai，j，k（）并進行置零。以圖像平面內圓周上某一點x，y（）的參數坐標a，b，r（）的方程x-a（）2+y-b（）2=r2為根據對參數進行循環計算，如果值am（）得到了對應的bp（）、rq（），則Am，p，q（）的值加1。取值最大累加器所對應參數a，b，r（）就是圖像平面內所要求的圓心坐標和半徑值。人眼睜開狀態下，眼珠呈圓形，用Hough變換檢測眼珠是否露出，即可判斷眼睛的開閉狀態。

3.1.3人眼疲勞識別

該系統計算單位時間（30s）內PERCLOS值，當PERCLOS＞40%時，判斷駕駛員處于疲勞狀態；當PERCLOS≤40%且每分鐘眨眼次數小于5時，同樣判斷駕駛員處于疲勞狀態。

3.2基于車道偏離的疲勞識別

利用視頻傳感器采集車輛前方車道線圖像，通過檢測車道偏離情況間接反映駕駛員的駕駛狀態。

3.2.1車道線模型描述

為了提高檢測系統的魯棒性和實時性，對道路作理想狀態假設，使之抽象為數學模型。用回旋曲線描述道路的形狀，對直線與彎道連接部分進行平滑處理。模型表達式為：

式中：CL（）為距離初始點距離為L時的曲率；C0為曲線初始點曲率；C1為曲率變化率。

同時假設道路的寬度基本保持不變且路面較平坦，把對車道線的檢測轉換為對圖像中平行區域的檢測，利用車道線特征將圖像從二維空間映射到三維空間。

3.2.2車道線檢測與識別

在（x，y）直角坐標系中的2點經過關系映射后在參數空間中成為2條相交的直線，k為直線的斜率，b為直線的截距（見圖3）。采用“投票機制”遍歷（b，k）空間中各個點并得到票數，得票數高的勝出。當（x，y）空間中的直線與x軸趨近于垂直時，采用（β，θ）空間變換描述直線：β=xcosθ+ysinθ。將特征點帶入處理好的θ∈ ［0，π）范圍內計算β值，對（β，θ）空間中對應值加1，將所有特征點進行變換，最后得到直線的參數。

圖3　點線對偶關系圖

選擇數據結構中x，y（）對應累加器較大的點作為目標直線，將其進行Hough逆變換得到相應的直線方程中k、b的值與β、θ的關系，其公式為：

3.2.3車道偏離識別

車道偏離識別中，首先采用二階TLC算法對車輛的單次跨越車道線情況進行判別，根據單位時間內的跨越次數判斷駕駛員的疲勞狀態。判別過程中需設定2個閾值，即車輛將要觸碰車道線邊緣的時間閾值T、一段時間內車輛跨越車道線的次數閾值N。

二階TLC算法判斷是否產生一次車道線跨越的公式為：式中：tc為計算所得前輪邊緣觸碰車道線的時間；v1為車輛的側向速度；a1為車輛的側向加速度；d為前輪邊緣與車道線的距離。

根據上述方法判斷車輛在一段時間內跨越車道線的次數，若超過閾值N，則認為駕駛員處于疲勞駕駛狀態。

3.3基于數據融合的疲勞識別

基于視頻圖像的駕駛員疲勞識別過程中計算量較大，該系統采用分布式融合結構，對各攝像頭的原始數據作處理分析后，在本地作出判斷，將結論信息在決策級按粗糙集理論進行融合，得到最終的判斷結果。

粗糙集的條件屬性參數為｛a=P80，b=n｝，由于參數為連續性數值數據，需對其進行離散化處理。離散歸一過程中應保證信息丟失較少，同時各屬性值的種類應盡量少。根據數據分割法對屬性值進行離散，將屬性離散為3個等級｛0，1，2｝：“0”表示在正常范圍內；“1”表示稍微超出正常范圍；“2”表示嚴重超出正常范圍。離散規則見表1。

表1　屬性離散化規則

決策屬性O=0，1，2｛｝中，“0”表示駕駛員處于清醒狀態，能勝任駕駛任務；“1”表示駕駛員處于輕度疲勞狀態，可繼續駕駛，但要休息；“2”表示駕駛員處于疲勞狀態，繼續駕駛存在風險。考慮到人體的疲勞是緩慢增長的，為增加檢測的準確性，選取當前時刻前60s內的條件屬性進行分析，數據融合過程見圖4。離散化后的數據見表2。

圖4　數據融合過程

表2　決策表

考慮到任何一個條件屬性都是必須的，不作約簡，根據最小決策算法判斷駕駛員是否疲勞及其疲勞程度。

4　測試分析

選擇南京繞城高速公路作為試驗線路，對該系統進行實車測試。以副駕駛位測試工作人員對駕駛人員疲勞程度的評測作為實際疲勞程度基準值，共得到樣本數據280組，其中清醒樣本142個、輕度疲勞樣本97個、深度疲勞41個。

表3為基于單一特征與數據融合算法的測試結果比較。從表3可知：融合算法對駕駛員疲勞狀態的檢測準確率為93.9%，相較于單一特征算法，判別準確率顯著提升，可作為疲勞駕駛判定的有效依據。

表3　基于單一特征和信息融合的疲勞駕駛判定結果

5　結語

疲勞駕駛檢測系統是車輛主動安全的重要組成部分。該文以道路運輸車輛動態監管終端技術標準為基礎，增加視頻采集和分析功能，通過“主板+視頻板+外設”的形式對疲勞駕駛檢測系統的硬件架構進行設計；結合人眼PERCLOSE和車道偏離兩種不同原理，引入數據融合技術，提出了疲勞駕駛識別算法。實際道路測試結果表明，該系統實現了不同特征數據間的互補，相對于以往基于單一數據源的識別技術，在準確性方面有很大提高，具有廣闊的應用前景。

［1］ 李都厚，劉群.疲勞駕駛與交通事故關系［J］.交通運輸工程學報，2010，10（2）.

［2］ 毛科俊，劉小明，趙曉華，等.基于腦電信號的駕駛疲勞預報關鍵參數選取［J］.北京工業大學學報，2010，36 （7）.

［3］ MPatel，SKLLai.Applyingneuralnetworkanalysis onheartratevariabilitydatatoassessdriverfatigue ［J］.ExpertSystemswithApplications，2011，38（6）.

［4］ EskandarianA，MortazaviA.Evaluationofasmartalgorithmforcommercialvehicledriverdrowsinessdetection［A］.Proceedingsofthe2007IEEEIntelligent VehiclesSymposium［C］.2007.

［5］ 毛喆，初秀民，嚴新平，等.汽車駕駛員駕駛疲勞監測技術研究進展［J］.中國安全科學學報，2005，15（3）.

［6］ ForsmanPM，VilaBJ，ShortRA，etal.Efficientdriverdrowsinessdetectionatmoderatelevelsofdrowsiness［J］.AccidentAnalysisandPrevention，2013，50.

［7］ 張希波，成波，馮睿嘉.基于方向盤操作的駕駛人疲勞狀態實時檢測方法［J］.清華大學學報：自然科學版，2010，50（7）.

［8］ TD’Orazio，MLeo，CGuaragnella，etal.Avisualapproachfordriverinattentiondetection［J］.PatternRecognition，2007，40（8）.

［9］ BatistaJ.Adrowsinessandpointofattentionmonitoringsystemfordrivervigilance［A］.IntelligentTransportationSystemsConference［C］.2007.

［10］ LeeD，OhS，HeoS，etal.Drowsydrivingdetectionbasedonthedriver’sheadmovementusinginfrared sensors［A］.Proceedingsofthe2ndInternational SymposiumonUniversalCommunication［C］.2008.

［11］ 袁翔，黃博學，夏晶晶.疲勞駕駛檢測方法研究現狀［J］.公路與汽運，2007（3）.

［12］ 方志輝.基于嵌入式平臺的疲勞駕駛狀態參數信息融合研究［D］.太原：太原理工大學，2011.

［13］ 秦洪懋，劉志強，汪澎.基于多通道信息融合的疲勞駕駛行為分析研究［J］.中國安全科學學報，2011，21 （2）.

［14］ 韓相軍，關永，王雪立.基于DSP的疲勞駕駛實時監測系統研究［J］.微機發展，2006（2）.

［15］ 高永萍，秦華標.駕駛員疲勞檢測系統［J］.儀表技術與傳感器，2007（1）.

U471.1

A

1671-2668（2016）04-0055-05

?江蘇省交通運輸科技項目（2013Y03）

2016-01-26