基于EOG的安全輔助駕駛系統(tǒng)算法設(shè)計(jì)與實(shí)現(xiàn)

呂釗，吳小培，張超，衛(wèi)兵

(1. 安徽大學(xué)信息保障技術(shù)協(xié)同創(chuàng)新中心，安徽 合肥 230601；2. 安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，安徽 合肥 230601)

基于EOG的安全輔助駕駛系統(tǒng)算法設(shè)計(jì)與實(shí)現(xiàn)

呂釗1,2，吳小培1,2，張超1,2，衛(wèi)兵1,2

(1. 安徽大學(xué)信息保障技術(shù)協(xié)同創(chuàng)新中心，安徽 合肥 230601；2. 安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，安徽 合肥 230601)

為保證駕駛安全，提高車(chē)輛控制系統(tǒng)的智能化水平，實(shí)現(xiàn)“手不離盤(pán)”操作，設(shè)計(jì)并實(shí)現(xiàn)了一種基于眼電圖(EOG)的安全輔助駕駛系統(tǒng)。該系統(tǒng)利用安裝在駕駛員眼睛周?chē)纳镫姌O采集其在觀測(cè)抬頭顯示器(HUD,head up display)上提示符時(shí)所產(chǎn)生的掃視信號(hào)，生成多種車(chē)載設(shè)備控制命令；對(duì)原始多導(dǎo)聯(lián)EOG信號(hào)進(jìn)行端點(diǎn)檢測(cè)后，使用了獨(dú)立分量分析(ICA, independent component analysis)方法進(jìn)行空域?yàn)V波后提取眼動(dòng)信號(hào)特征參數(shù)，并結(jié)合支持向量機(jī)實(shí)現(xiàn)了上、左與右掃視動(dòng)作的識(shí)別。實(shí)驗(yàn)室環(huán)境下對(duì)所提算法進(jìn)行了測(cè)試，15位受試者在疲勞與非疲勞狀態(tài)下的在線平均正確率達(dá)到了98.43%與96.0%。實(shí)驗(yàn)結(jié)果表明，基于ICA多類掃視信號(hào)識(shí)別算法的安全輔助駕駛系統(tǒng)在眼動(dòng)信號(hào)分析中呈現(xiàn)出了良好的分類性能。

眼電圖；掃視信號(hào)；獨(dú)立分量分析；空域?yàn)V波；支持向量機(jī)

1 引言

安全輔助駕駛系統(tǒng)(SDAS, safe driver assistant system)是利用安裝在車(chē)輛上的傳感器，即時(shí)收集車(chē)輛內(nèi)外的環(huán)境參數(shù)，進(jìn)行靜、動(dòng)態(tài)物體的辨識(shí)、偵測(cè)與追蹤處理，在最短的時(shí)間內(nèi)提示駕駛者可能發(fā)生的危險(xiǎn)，并協(xié)助采取相應(yīng)的規(guī)避措施，以有效降低事故發(fā)生頻率，減輕事故傷害，提高駕駛安全性[1]。現(xiàn)階段，SDAS的發(fā)展逐漸呈現(xiàn)出了多樣化、實(shí)用化趨勢(shì)，一些新的安全輔助駕駛系統(tǒng)相繼問(wèn)世并取得了廣泛應(yīng)用，如緊急制動(dòng)輔助 (EBA, emergency brake assist)系統(tǒng)、車(chē)身電子穩(wěn)定 (ESP, electronic stability program)系統(tǒng)、上坡輔助控制 (HAC, hill-start assist control)系統(tǒng)及轉(zhuǎn)彎制動(dòng)控制 (CBC, curve brake control)系統(tǒng)等[2]。

上述SDAS作為一種被動(dòng)的安全駕駛輔助方式，主要依靠攝像頭、雷達(dá)、激光、超聲波、重力—加速度及陀螺儀等傳感器，通過(guò)監(jiān)測(cè)車(chē)輛的光、熱、壓力、速度、傾斜角度及其他狀態(tài)信息，在車(chē)輛遇到緊急情況時(shí)（如行人檢測(cè)、自動(dòng)緊急制動(dòng)、前方防撞預(yù)警等）及時(shí)預(yù)警，并對(duì)車(chē)輛做出相應(yīng)的處理措施[3]。駕駛的核心在于“人”，即駕駛者本身，建立一種基于駕駛者自身生理狀態(tài)信息的安全駕駛輔助系統(tǒng)，變被動(dòng)預(yù)警為主動(dòng)控制，對(duì)于進(jìn)一步提升駕駛安全性、增強(qiáng)車(chē)輛系統(tǒng)的智能化水平將會(huì)起到十分重要的作用。基于這一思路，本文設(shè)計(jì)了一種結(jié)合抬頭顯示系統(tǒng)(HUD, head up display)與眼動(dòng)識(shí)別(EMR, eye movement recognition)技術(shù)的安全輔助駕駛系統(tǒng)，駕駛者通過(guò)觀察 HUD上相應(yīng)的提示符生成不同的眼動(dòng)信號(hào)，通過(guò) EMR技術(shù)實(shí)現(xiàn)對(duì)不同眼動(dòng)信號(hào)的識(shí)別并生成多個(gè)車(chē)載設(shè)備的控制命令，如打開(kāi)收音機(jī)、調(diào)節(jié)音量、接聽(tīng)/掛掉電話等，真正實(shí)現(xiàn)駕駛員在開(kāi)車(chē)時(shí)“手不離盤(pán)”，以提高駕駛安全性能，增強(qiáng)駕駛樂(lè)趣。

在HUD&EMT-SDAS系統(tǒng)中，EMR算法設(shè)計(jì)是系統(tǒng)實(shí)現(xiàn)的關(guān)鍵步驟。通常，對(duì)眼動(dòng)信息的捕獲是通過(guò)視頻分析的方法獲得，然而，基于視頻的EMR系統(tǒng)，尤其是可穿戴式EMR系統(tǒng)價(jià)格昂貴、體積較大且笨重，同時(shí)在系統(tǒng)功耗與結(jié)果的實(shí)時(shí)分析上也不盡如人意[4,5]。所幸的是，眼電圖(EOG,electro-oculogram)作為一種低成本的眼動(dòng)信號(hào)測(cè)量技術(shù)，相比較傳統(tǒng)視頻手段，不僅測(cè)量更為精確，同時(shí)其采集設(shè)備也具有重量輕、便于長(zhǎng)時(shí)間記錄、更易實(shí)現(xiàn)可穿戴式設(shè)計(jì)等優(yōu)點(diǎn)[6]。使用EOG替代傳統(tǒng)的視頻方法進(jìn)行眼動(dòng)信息的捕獲并在此基礎(chǔ)上所設(shè)計(jì)的SDAS將更具實(shí)用性。基于此，本文將重點(diǎn)研究駕駛情景下基于EOG的在線EMR算法，主要包括：1）EOG信號(hào)的采集；2）信號(hào)的預(yù)處理與端點(diǎn)檢測(cè)；3）基于獨(dú)立分量分析(ICA, independent component analysis)的眼動(dòng)信號(hào)空域?yàn)V波及識(shí)別算法。希望通過(guò)本文的研究，能夠?yàn)镾DAS的發(fā)展提供一個(gè)新的研究點(diǎn)，促進(jìn)更自然的人—車(chē)交互技術(shù)發(fā)展，為車(chē)聯(lián)網(wǎng)的高級(jí)階段——無(wú)人駕駛技術(shù)的發(fā)展打下更堅(jiān)實(shí)的基礎(chǔ)。

2 EOG信號(hào)簡(jiǎn)介

所謂眼電信號(hào)是指人由于眼睛的運(yùn)動(dòng)而引發(fā)的眼睛角膜與視網(wǎng)膜之間的電勢(shì)差引起的[7,8]。該電勢(shì)由視網(wǎng)膜色素上皮和光感受器細(xì)胞發(fā)起，其正極位于光感受器端，負(fù)極位于視網(wǎng)膜色素上皮端，所產(chǎn)生的電流從視網(wǎng)膜端流向了角膜端，從而形成一個(gè)角膜為正極，視網(wǎng)膜為負(fù)極的電勢(shì)，本文稱這種電勢(shì)為眼電信號(hào)。當(dāng)人眼球運(yùn)動(dòng)時(shí)，眼電信號(hào)的幅值會(huì)隨著眼球的運(yùn)動(dòng)而不斷發(fā)生變化，本文將這種變化的電勢(shì)繪制到時(shí)間軸上則可以構(gòu)成一條曲線，這條曲線就稱之為眼電圖。圖1顯示了向上掃視時(shí)在眼睛正下方3 cm處所采集到的EOG信號(hào)波形。

圖1 向上掃視時(shí)所對(duì)應(yīng)的EOG信號(hào)波形

通常，一段連續(xù)的 EOG信號(hào)主要包括以下 3種基本眼動(dòng)類型。

1) 掃視(saccade)：當(dāng)受試者觀看一個(gè)視覺(jué)場(chǎng)景時(shí)，其眼球不會(huì)始終固定于一點(diǎn)，而是通過(guò)在其感興趣的區(qū)域內(nèi)不斷地移動(dòng)以構(gòu)建一個(gè)“認(rèn)知地圖”，圖1中“向上轉(zhuǎn)動(dòng)”與“回掃”2個(gè)階段為掃視的開(kāi)始與即將結(jié)束階段。

2) 凝視(fixation)：相對(duì)于掃視來(lái)說(shuō)，凝視是一種相對(duì)穩(wěn)定狀態(tài)，即在視覺(jué)場(chǎng)景中，受試者的目光始終注視于某一特定位置。

3) 眨眼(blink)：眨眼是一種自然的眼部運(yùn)動(dòng)，通常眨眼的頻率大約為每分鐘12～19次。

在上述3種類型中，掃視由于具有出現(xiàn)頻率較高、幅度相對(duì)較大且包含信息最為豐富的等特點(diǎn)，因此，本文將之應(yīng)用到SDAS系統(tǒng)的設(shè)計(jì)中。

3 系統(tǒng)設(shè)計(jì)與關(guān)鍵算法分析

EMR技術(shù)是基于EOG的安全輔助駕駛系統(tǒng)的核心，對(duì)于掃視信號(hào)的識(shí)別，研究者們做出了大量的研究。其中，Clement[9]提出利用原始EOG信號(hào)的可視角度進(jìn)行眼動(dòng)信號(hào)的端點(diǎn)檢測(cè)與識(shí)別；Aungsakun和Soltani等[10,11]利用眼球轉(zhuǎn)動(dòng)時(shí)所對(duì)應(yīng)的 EOG信號(hào)變化較快的特點(diǎn)提取眼動(dòng)信號(hào)的特征參數(shù)；另外，Vidal和 Bulling[12,13]也都提到了使用眼動(dòng)信號(hào)的統(tǒng)計(jì)和時(shí)域特征進(jìn)行識(shí)別的思路。上述EMR技術(shù)雖然取得了一定的成功，然而，這類算法主要關(guān)注的是單個(gè)導(dǎo)聯(lián)眼動(dòng)信號(hào)的分析，其分析過(guò)程僅考慮了單導(dǎo)聯(lián)信號(hào)的變化而忽視了導(dǎo)聯(lián)間的關(guān)聯(lián)信息，因此難以保證掃視信號(hào)的識(shí)別正確率。為了解決這一問(wèn)題，提高識(shí)別正確率，本文提出了一種基于ICA空域?yàn)V波的EOG掃視信號(hào)識(shí)別算法，該算法通過(guò)建立3個(gè)對(duì)應(yīng)于不同掃視方向(上、左與右)的 ICA空域?yàn)V波器，然后使用該空域?yàn)V波器對(duì)原始多導(dǎo)聯(lián) EOG信號(hào)進(jìn)行線性投影，將投影結(jié)果作為眼動(dòng)信號(hào)的特征參數(shù)，并使用支持向量機(jī)(SVM)[14]作為分類器對(duì)掃視信號(hào)進(jìn)行識(shí)別。算法基本流程如圖2所示。

3.1 掃視EOG信號(hào)的采集

系統(tǒng)共使用了9個(gè)生物電極，其中，電極V1(第5導(dǎo)聯(lián))與V2(第6導(dǎo)聯(lián))分別安放于受試者左側(cè)(或右側(cè))眼球上、下3 cm處，用以采集垂直眼動(dòng)信號(hào)；電極H1(第2導(dǎo)聯(lián))與H2(第1導(dǎo)聯(lián))分別安放于受試者左眼左側(cè)3 cm與右眼右側(cè)3 cm處，用以采集水平眼動(dòng)信號(hào)；電極A1(第3導(dǎo)聯(lián))與A2(第4導(dǎo)聯(lián))安放于前額位置，以獲取更豐富的眼動(dòng)信息；參考電極C1和C2分別放置于左右兩側(cè)乳凸處，接地電極G位于頭頂中心位置。

訓(xùn)練與測(cè)試中所有受試者均是視力正常或矯正后正常。HUD顯示內(nèi)容(在前擋上的投影)中心點(diǎn)(O)位于受試者正前方約1 m處，對(duì)應(yīng)于上(U)、左(L)與右(R)方向的3個(gè)觀測(cè)點(diǎn)分別位于HUD上、左、右側(cè)中心位置。

3.2 預(yù)處理

3.2.1 分幀加窗

為了保證幀與幀之間平滑性，首先對(duì)原始多導(dǎo)聯(lián) EOG信號(hào)進(jìn)行分幀處理。假定s( n)為原始多導(dǎo)聯(lián)EOG信號(hào)，w( n)為窗函數(shù)，那么加窗后EOG信號(hào)可表示為

為了保證較高的頻率分辨率，本文使用了漢明窗，其定義如下[15]

其中，N表示窗長(zhǎng)。這里需要說(shuō)明的是，為了便于結(jié)果分析，算法中幀移，本文采用了逐點(diǎn)移動(dòng)的方法實(shí)現(xiàn)。

3.2.2 噪聲抑制

由于所采集到的原始EOG信號(hào)包含了其他生物電干擾、工頻干擾、受試者身體輕微移動(dòng)或儀器設(shè)備本身所帶來(lái)的干擾信號(hào)[8,13]，因此，為了掃視信號(hào)的識(shí)別準(zhǔn)確率，使用了截止頻率從0.01～10 Hz的8階帶通濾波器對(duì)原始多導(dǎo) EOG信號(hào)進(jìn)行預(yù)處理，以降低噪聲干擾。

3.3 端點(diǎn)檢測(cè)

圖2 掃視信號(hào)識(shí)別算法基本流程

為實(shí)現(xiàn)對(duì)掃視信號(hào)的實(shí)時(shí)檢測(cè)，即在線分析，本文對(duì)預(yù)處理后的多導(dǎo) EOG信號(hào)進(jìn)行了端點(diǎn)檢測(cè)(SAD, saccade activity detection)，其目的是從包含掃視信號(hào)的連續(xù) EOG中確定出掃視信號(hào)的起始點(diǎn)與終止點(diǎn)，以刪除不含掃視信號(hào)的背景噪聲和非掃視信號(hào)，從而降低特征提取的計(jì)算量與處理時(shí)間，有效提高識(shí)別正確率。根據(jù)掃視信號(hào)的特點(diǎn)，算法使用了峭度與能量相結(jié)合的方法實(shí)現(xiàn)SAD，其基本流程如圖3所示。

圖3 SAD基本流程

其中，峭度與能量初值門(mén)限的設(shè)置主要依靠經(jīng)驗(yàn)來(lái)獲取。另外，從圖3中可以看出，SAD算法主要針對(duì)的是單一通道的 EOG數(shù)據(jù)，而系統(tǒng)所采集的數(shù)據(jù)包含了6個(gè)導(dǎo)聯(lián)，因此，在進(jìn)行不同掃視背景任務(wù)下如何有效選擇檢測(cè)通道以提高檢測(cè)正確率是 SAD算法中一個(gè)關(guān)鍵問(wèn)題。由于眼動(dòng)具有較強(qiáng)的時(shí)序性，不同眼部動(dòng)作在時(shí)間軸上的可區(qū)分性為本文提供了一種解決方案。圖4給出了上、下、左與右4路掃視時(shí)的EOG信號(hào)波形及其能量。從圖4中可以看出，進(jìn)行不同掃視時(shí)，與之關(guān)聯(lián)最為密切的那個(gè)導(dǎo)聯(lián)的信號(hào)能量最強(qiáng)，如：左掃視時(shí)，H2導(dǎo)聯(lián)能量相比較其他5個(gè)導(dǎo)聯(lián)明顯較大，同樣，上掃視時(shí)，V1導(dǎo)聯(lián)能量最大。基于上述現(xiàn)象，本文通過(guò)自動(dòng)計(jì)算每個(gè)導(dǎo)聯(lián)的能量并選取最大值所在的導(dǎo)聯(lián)作為SAD檢測(cè)通道，以提高SAD算法性能。

圖4 不同掃視任務(wù)下EOG信號(hào)及其能量波形

在進(jìn)一步的研究中發(fā)現(xiàn)，使用本文所提SAD算法不僅可以對(duì)掃視信號(hào)進(jìn)行有效檢出，同時(shí)對(duì)眨眼信號(hào)的檢測(cè)也獲取了較高的檢出率。然而，眨眼信號(hào)作為掃視檢測(cè)時(shí)的一種干擾信號(hào)，必然會(huì)影響到掃視信號(hào)的識(shí)別正確率，而眨眼作為正常的生理反應(yīng)又不可避免，因此，在進(jìn)行掃視信號(hào)識(shí)別前需要有效抑制眨眼信號(hào)。觀察發(fā)現(xiàn)，眨眼信號(hào)相比較掃視信號(hào)存在以下不同：1)眨眼信號(hào)持續(xù)時(shí)間較短，一般眨眼一次大約需要0.3～0.5 s，而掃視一次需要1 s以上；2)SAD后有效數(shù)據(jù)段內(nèi)信號(hào)平均能量往往小于掃視信號(hào)。因此，算法在原有基礎(chǔ)上增加了信號(hào)持續(xù)時(shí)間與平均能量2個(gè)指標(biāo)對(duì)端點(diǎn)檢測(cè)后的結(jié)果進(jìn)行判別，以盡可能地剔除眨眼，降低其對(duì)系統(tǒng)的干擾。

3.4 掃視信號(hào)的識(shí)別

為實(shí)現(xiàn)對(duì)多導(dǎo)掃視信號(hào)的有效識(shí)別，本文提出了基于 ICA的空域?yàn)V波多類掃視信號(hào)的特征提取方法。在 HUD&EMT-SDAS系統(tǒng)中，若x(t)=[x( t),… ,x ( t) ]T為多導(dǎo)聯(lián)原始EOG觀測(cè)信號(hào)，則該

1

n信號(hào)可以看成是由多個(gè)相互獨(dú)立的隱含“源”s( t) =[s( t) ,… ,s( t )]T線性瞬時(shí)混合而成，即

1

n

其中，A表示混合矩陣。與式(3)混合模型對(duì)應(yīng)的是分解模型

ICA的最終目的就是尋找一個(gè)分離矩陣W，使輸出信號(hào)s?(t)中的各分量盡可能地相互獨(dú)立并逼近真實(shí)的“源”信號(hào)s(t)[16]。

需要說(shuō)明的是，本文所使用的ICA分離算法代碼為實(shí)驗(yàn)室自編代碼，信息極大準(zhǔn)則(Infomax, information maximization)原理和自然梯度法[17]為本文ICA算法中獨(dú)立性度量準(zhǔn)則和優(yōu)化算法。分離矩陣的學(xué)習(xí)算法為

其中，I為單位矩陣，E[?]為均值運(yùn)算，K表示概率模型切換矩陣，其對(duì)角線上元素的取值來(lái)自于對(duì)s?(t)峭度符號(hào)的動(dòng)態(tài)估計(jì)，通常為 1 或-1， s?(t)為所估計(jì)的源信號(hào)。對(duì)s?(t)進(jìn)行方差歸一化處理后，根據(jù)式(3)對(duì)混合矩陣A與分離矩陣W系數(shù)進(jìn)行調(diào)整，具體為

其中，std(?)為標(biāo)準(zhǔn)差運(yùn)算，diag(?)表示將運(yùn)算轉(zhuǎn)化為對(duì)角矩陣。

基于上述分析，基于ICA空域?yàn)V波的眼動(dòng)信號(hào)訓(xùn)練/識(shí)別步驟描述如下。

1) 訓(xùn)練階段

步驟 1 對(duì)已有 EOG數(shù)據(jù)庫(kù)中所有數(shù)據(jù)預(yù)處理后進(jìn)行SAD操作，手工標(biāo)注SAD結(jié)果(上掃視、左掃視、右掃視及單次眨眼)，在此基礎(chǔ)上，建立訓(xùn)練數(shù)據(jù)庫(kù)。

步驟 2 從上述數(shù)據(jù)庫(kù)中任意選擇一組單次眼動(dòng)數(shù)據(jù) xi,i = 1,… , N(6×n數(shù)據(jù)矩陣，n表示數(shù)據(jù)長(zhǎng)度，N表示該數(shù)據(jù)庫(kù)中訓(xùn)練樣本的數(shù)量)進(jìn)行 ICA分析，可得6×6的混合矩陣A和分離矩陣 WT。

步驟 3 根據(jù)獨(dú)立成分在采集電極的映射模式(混合矩陣A的列向量)，選擇眼動(dòng)相關(guān)成分和對(duì)應(yīng)的ICA濾波器(分離矩陣 WT的列向量)，可得 ICA濾波器組{Wli、Wri、Wui}，分別用于檢測(cè)左、右及上掃視EOG成分。

步驟4 使用ICA濾波器組{Wli、Wri、Wui}對(duì)該數(shù)據(jù)庫(kù)中所有 EOG數(shù)據(jù) xj, j=1,…,N進(jìn)行線性投影，以提取3類眼動(dòng)相關(guān)成分，即

其中，slj、srj、suj分別表示該單次EOG數(shù)據(jù)(xj)空域?yàn)V波后的結(jié)果。

步驟 5 將上述濾波后信號(hào)作為眼動(dòng)信號(hào)的特征參數(shù)，結(jié)合步驟1中所標(biāo)注的眼動(dòng)數(shù)據(jù)標(biāo)簽，訓(xùn)練SVM模型，使用該模型對(duì)訓(xùn)練數(shù)據(jù)庫(kù)中所有標(biāo)注好的數(shù)據(jù)進(jìn)行 10×5的交叉測(cè)試后記錄識(shí)別正確率；重復(fù)步驟1～步驟4，完成對(duì)訓(xùn)練數(shù)據(jù)庫(kù)中全部樣本的 ICA濾波器設(shè)計(jì)與測(cè)試，計(jì)算并記錄每個(gè)ICA濾波器在該組數(shù)據(jù)上的識(shí)別正確率；選擇識(shí)別率最高值所對(duì)應(yīng)的那一組ICA濾波器{Wl、Wr、Wu}作為最終結(jié)果。

2) 識(shí)別階段

步驟 1 將在線所采集到的 EOG數(shù)據(jù)預(yù)處理后進(jìn)行SAD操作。

步驟2 對(duì)步驟1所得到的結(jié)果使用濾波器組{Wl、Wr、Wu}按照式(7)方法進(jìn)行空域?yàn)V波。

步驟3 將濾波結(jié)果送入SVM模型進(jìn)行識(shí)別，以實(shí)時(shí)獲取受試者當(dāng)前掃視類型。

3.5 控制命令的生成

控制命令主要通過(guò)上、左與右3類掃視動(dòng)作組合而成，結(jié)合對(duì)駕駛?cè)碎_(kāi)車(chē)時(shí)最常用動(dòng)作的統(tǒng)計(jì)與分析，設(shè)計(jì)了以下4種控制命令。

1) 接聽(tīng)電話：向左掃視并在觀測(cè)點(diǎn)保持約 2 s后返回。

2) 掛掉電話：向右掃視并在觀測(cè)點(diǎn)保持約 2 s后返回。

3) 打開(kāi)收音機(jī)：向上掃視并在觀測(cè)點(diǎn)保持約2 s后返回。

4) 調(diào)整音量：在檢測(cè)到打開(kāi)收音機(jī)動(dòng)作后，向左掃視后立即返回音量減小5 dB；反之，向右掃視后立即返回音量增加5 dB。

可以看出，在設(shè)計(jì)接聽(tīng)電話的掃視動(dòng)作時(shí)，本文安排加入了在觀測(cè)點(diǎn)處的 2 s凝視狀態(tài)，而在音量調(diào)整時(shí)則沒(méi)有停留。這一做法的目的是為了增強(qiáng)2種掃視的可區(qū)分度，提高接聽(tīng)/掛掉電話這2個(gè)動(dòng)作的識(shí)別準(zhǔn)確率，減少因干擾或其他生理信號(hào)導(dǎo)致的誤操作。為了區(qū)分接聽(tīng)/掛掉電話與音量調(diào)整相同方向的掃視動(dòng)作，系統(tǒng)再次利用了 SAD的結(jié)果，即對(duì)端點(diǎn)檢測(cè)后的有效 EOG數(shù)據(jù)長(zhǎng)度進(jìn)行統(tǒng)計(jì)，當(dāng)其持續(xù)時(shí)間為2 s左右時(shí)，該動(dòng)作判斷為接聽(tīng)/掛掉電話操作，反之，為音量調(diào)整操作。

4 實(shí)驗(yàn)與結(jié)果分析

眼動(dòng)信號(hào)采集設(shè)備為實(shí)驗(yàn)室自主研發(fā)的EOG采集設(shè)備，系統(tǒng)采樣率為250 Hz。實(shí)驗(yàn)共采集了15名受試者(9男6女，11名雙眼視力正常，4名近視，近視度數(shù)平均180，所有受試者年齡平均為29.3歲，方差8.6) 分多次所采集的上、左及右數(shù)據(jù)，SAD 后每個(gè)動(dòng)作(對(duì)應(yīng)的數(shù)據(jù)標(biāo)簽分別為1、2、3)各得到180個(gè)眼動(dòng)數(shù)據(jù)，累計(jì)8 100個(gè)單次眼動(dòng)數(shù)據(jù)。

4.1 端點(diǎn)檢測(cè)實(shí)驗(yàn)

實(shí)驗(yàn)中，峭度與能量初始經(jīng)驗(yàn)門(mén)限分別設(shè)置為5.5與9.7，窗長(zhǎng)設(shè)為150個(gè)樣本點(diǎn)，逐點(diǎn)滑動(dòng)。圖5(a)顯示了一段連續(xù)右掃視EOG信號(hào)波形，其中，實(shí)豎線與虛豎線分別表示手工標(biāo)注的信號(hào)起始點(diǎn)與終止點(diǎn)，圖5(b)為該段信號(hào)的峭度波形，圖5(c)為能量波形，圖5(d)為SAD算法的檢測(cè)結(jié)果，與圖5(a)類似，實(shí)豎線與虛豎線分別表示SAD檢測(cè)到的起始點(diǎn)與終止點(diǎn)。可以看出，本文所提SAD算法的檢測(cè)結(jié)果十分接近于圖5(a)中手工標(biāo)注的端點(diǎn)位置。

為進(jìn)一步驗(yàn)證 SAD算法的有效性，定義如下性能指標(biāo)。

1) 點(diǎn)正確率(Pc-point, probability of correct point detection)：SAD法檢測(cè)出的正確端點(diǎn)數(shù)與手工標(biāo)注的正確端點(diǎn)數(shù)的比率。

2) 點(diǎn)虛警率(Pf-point, probability of false point detection)：SAD法檢測(cè)出的錯(cuò)誤端點(diǎn)數(shù)與手工標(biāo)注的錯(cuò)誤端點(diǎn)數(shù)的比率。

對(duì)所有受試者所采集的 EOG數(shù)據(jù)進(jìn)行端點(diǎn)檢測(cè)，實(shí)驗(yàn)結(jié)果如圖6所示。

對(duì)圖6的實(shí)驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì)后可以得到，所有受試者的平均Pc-point和Pf-point值分別是96.17%和5.43%，實(shí)驗(yàn)結(jié)果說(shuō)明本文所提SAD算法能夠?qū)ρ蹌?dòng)數(shù)據(jù)的起始點(diǎn)與終止點(diǎn)進(jìn)行有效檢測(cè)。

圖5 一段連續(xù)EOG進(jìn)行SAD后的結(jié)果

圖6 端點(diǎn)檢測(cè)結(jié)果

4.2 眼動(dòng)識(shí)別實(shí)驗(yàn)

按照3.4節(jié)所述訓(xùn)練步驟，對(duì)15位受試者分別進(jìn)行最優(yōu)濾波器設(shè)計(jì)。其中，在ICA分析時(shí)迭代次數(shù)設(shè)置為10，學(xué)習(xí)率為0.02，SVM模型采用了線性核函數(shù)，懲罰因子設(shè)定為 1，訓(xùn)練數(shù)據(jù)為訓(xùn)練樣本集及相應(yīng)的手工標(biāo)定的分類標(biāo)簽。為了統(tǒng)計(jì)分類正確率，本文將識(shí)別結(jié)果與測(cè)試樣本集的標(biāo)簽進(jìn)行比較，相同則認(rèn)為分類正確，不同則分類錯(cuò)誤。隨機(jī)抽取一位受試者所得到的最優(yōu)空域?yàn)V波器{Wl,Wr, Wu}，其對(duì)應(yīng)的混合矩陣A和分離矩陣W系數(shù)如圖7所示。

從圖7中可以看出，當(dāng)該位受試者進(jìn)行左掃視時(shí)，眼球運(yùn)動(dòng)對(duì)第1導(dǎo)聯(lián)(H2位置)影響最大，因此其對(duì)應(yīng)位置的混合矩陣系數(shù)最大；同理，右掃視時(shí)，第2導(dǎo)聯(lián)(H1位置)系數(shù)最大；上掃視時(shí)，第5導(dǎo)聯(lián)(V1位置)系數(shù)最大。這一結(jié)果說(shuō)明所求得的空域?yàn)V波器可以使本文所要識(shí)別的3類眼動(dòng)信號(hào)區(qū)別達(dá)到最大化。

在此基礎(chǔ)上，本文分別對(duì)每位受試者按照 3.4節(jié)所述識(shí)別步驟進(jìn)行眼動(dòng)在線檢測(cè)，由于在實(shí)時(shí)檢測(cè)過(guò)程中無(wú)法獲取眼動(dòng)數(shù)據(jù)標(biāo)簽，因此，為了統(tǒng)計(jì)識(shí)別正確率，本文使用視頻方法對(duì)全部受試者眼部動(dòng)作進(jìn)行記錄，在實(shí)驗(yàn)結(jié)束后，人工識(shí)別、比對(duì)算法的識(shí)別結(jié)果與視頻中所記錄眼動(dòng)情況是否一致，以獲取識(shí)別正確率。這里需要說(shuō)明的是，為了保證統(tǒng)計(jì)結(jié)果的可靠性，本文專門(mén)開(kāi)發(fā)了一款同步軟件，用以實(shí)現(xiàn)視頻的起始記錄時(shí)間與眼動(dòng)信號(hào)的開(kāi)始采集時(shí)間精確同步。實(shí)驗(yàn)針對(duì)受試者的精神狀態(tài)，進(jìn)行了以下2種實(shí)驗(yàn)。

4.2.1 受試者在精力充沛的狀態(tài)下

在此實(shí)驗(yàn)條件下，受試者精力充沛，無(wú)疲倦感，反應(yīng)迅速。表1給出了15名受試者分別進(jìn)行15次實(shí)驗(yàn)（每次實(shí)驗(yàn)時(shí)間約為20 min）的統(tǒng)計(jì)結(jié)果。

表1 受試者在精力充沛狀態(tài)下在線檢測(cè)眼動(dòng)信號(hào)識(shí)別結(jié)果

圖7 最優(yōu)ICA空域?yàn)V波器中的A和W系數(shù)

從表1中可以看出，不同受試者識(shí)別結(jié)果存在差異，這是由于每位受試者對(duì)實(shí)驗(yàn)環(huán)境和實(shí)驗(yàn)設(shè)備的熟悉程度不同，對(duì)掃視時(shí)眼球的運(yùn)動(dòng)速度與凝視時(shí)間的控制存在個(gè)體差異。受試者1與受試者7的整體識(shí)別率偏低，這與SAD檢測(cè)結(jié)果基本一致。通過(guò)對(duì)其時(shí)域波形的分析發(fā)現(xiàn)，這2位受試者在實(shí)驗(yàn)過(guò)程中，經(jīng)常會(huì)無(wú)意識(shí)地進(jìn)行身體晃動(dòng)而導(dǎo)致電極位置發(fā)生輕微移動(dòng)，從而帶來(lái)了額外的噪聲干擾(如圖 8所示)，而這些干擾將會(huì)導(dǎo)致SAD檢測(cè)正確率的下降，從而會(huì)使端點(diǎn)檢測(cè)后所得到的有效 EOG片段可能并非是受試者掃視時(shí)所產(chǎn)生的信號(hào)，這種檢測(cè)錯(cuò)誤最終導(dǎo)致算法無(wú)法識(shí)別或誤識(shí)，因此其整體識(shí)別率相比較其他受試者有所降低。另外，編號(hào)為3、12、14與15的4名受試者在實(shí)驗(yàn)時(shí)通過(guò)佩戴眼鏡進(jìn)行視力矯正，其中，3號(hào)受試者的識(shí)別正確率為98.06%，低于平均識(shí)別正確率，其可能的原因?yàn)椋涸撌茉囌呓暥葦?shù)較高（500度）而導(dǎo)致無(wú)法準(zhǔn)確看到HUD上的觀測(cè)點(diǎn)。而另外3位受試者近視度數(shù)較低，矯正后視力正常，因此其識(shí)別正確率與平均識(shí)別正確率基本持平，這一結(jié)果說(shuō)明本文所提算法對(duì)于矯正后視力正常的受試者是適用的。總的來(lái)說(shuō)，對(duì)所有受試者正確率統(tǒng)計(jì)后發(fā)現(xiàn)，在線情況下所提眼動(dòng)檢測(cè)算法的總體平均識(shí)別率達(dá)到了98.43%，能夠滿足安全駕駛輔助系統(tǒng)的設(shè)計(jì)需求。

圖8 眼動(dòng)信號(hào)受身體運(yùn)動(dòng)影響示意

4.2.2 受試者在輕度疲勞狀態(tài)下

實(shí)驗(yàn)從上述15位受試者中挑選出6位有午休習(xí)慣的受試者，為保證實(shí)驗(yàn)效果，本文適當(dāng)壓縮了受試者實(shí)驗(yàn)前一天的晚間睡眠時(shí)間，且實(shí)驗(yàn)當(dāng)天不進(jìn)行午休，實(shí)驗(yàn)安排在下午兩點(diǎn)進(jìn)行。實(shí)驗(yàn)條件與4.2.1節(jié)實(shí)驗(yàn)相同，實(shí)驗(yàn)結(jié)果如表2所示。

表2 受試者在輕度疲勞狀態(tài)下的在線檢測(cè)眼動(dòng)信號(hào)識(shí)別結(jié)果

在該實(shí)驗(yàn)條件下的平均識(shí)別正確率為96.0%，相比較精力充沛狀態(tài)下的實(shí)驗(yàn)結(jié)果下降了2.43%。通過(guò)時(shí)域波形的對(duì)比分析發(fā)現(xiàn)，相比較精力充沛狀態(tài)，受試者在疲勞時(shí)其掃視信號(hào)波形發(fā)生了以下4點(diǎn)變化：1）由于信息加工速度變慢，使掃視的平均速度相應(yīng)增加，這種增加使掃視階段EOG信號(hào)的斜率減小；2）在掃視過(guò)程中會(huì)出現(xiàn)注意力不集中現(xiàn)象，這種現(xiàn)象導(dǎo)致眼球在掃視過(guò)程中運(yùn)動(dòng)方向會(huì)發(fā)生不確定變化，從而使掃視階段EOG信號(hào)會(huì)產(chǎn)生一定幅度的波動(dòng)；3）由于對(duì)時(shí)間的敏感度變差，使對(duì)觀測(cè)點(diǎn)的凝視時(shí)間產(chǎn)生了較大的隨意性，即使對(duì)同一受試者也會(huì)出現(xiàn)有時(shí)在觀測(cè)點(diǎn)停留時(shí)間較長(zhǎng)，而有時(shí)則較短的情況，這就使凝視階段EOG信號(hào)的寬度存在了較明顯的隨機(jī)性；4）在上掃視的回掃過(guò)程中，由于疲勞，少數(shù)受試者會(huì)出現(xiàn)短時(shí)閉眼打瞌睡的情況，這種情況使向下掃視時(shí)波形發(fā)生畸變，從而影響識(shí)別正確率。通過(guò)上述分析可以看出，受試者在疲勞狀態(tài)下所采集到的眼動(dòng)數(shù)據(jù)與訓(xùn)練數(shù)據(jù)產(chǎn)生了一定程度的失配，這種失配將會(huì)導(dǎo)致識(shí)別正確率的下降，尤其是在上掃視的回掃過(guò)程中這種情況更為突出，因此，從表2中可以看出，上掃視的平均識(shí)別正確率低于另外2種掃視。

5 結(jié)束語(yǔ)

為促進(jìn)智能駕駛技術(shù)的發(fā)展，提高駕駛安全性能，本文設(shè)計(jì)了一種基于眼電圖的安全輔助駕駛系統(tǒng)，該系統(tǒng)通過(guò)駕駛員觀察HUD上的提示符生成不同掃視信號(hào)，并據(jù)此生成不同的控制命令，系統(tǒng)的核心在于不同類型掃視信號(hào)的識(shí)別。為此，提出了一種基于ICA的眼動(dòng)信號(hào)空域?yàn)V波算法，該算法通過(guò)對(duì)端點(diǎn)檢測(cè)后單個(gè)掃視信號(hào)的ICA分析，根據(jù)獨(dú)立分量在采集電極的映射模式，建立了相應(yīng)的ICA濾波器。在實(shí)驗(yàn)室環(huán)境下進(jìn)行了在線測(cè)試，疲勞與非疲勞狀態(tài)總體識(shí)別正確率分別達(dá)到了98.43%與96.0%，實(shí)驗(yàn)結(jié)果有效驗(yàn)證了所提算法的有效性。

為提升系統(tǒng)實(shí)用化水平，下一步的研究工作將從以下3個(gè)方面展開(kāi)。1) 進(jìn)一步提升SAD算法的頑健性。在實(shí)驗(yàn)中發(fā)現(xiàn)，當(dāng)檢測(cè)信號(hào)的信噪比較低時(shí)，所得到的檢測(cè)結(jié)果往往會(huì)出現(xiàn)錯(cuò)誤，這種錯(cuò)誤將會(huì)導(dǎo)致后端無(wú)法識(shí)別，因此本文考慮在進(jìn)行SAD時(shí)能否加入如譜熵等檢測(cè)指標(biāo)以提高低信噪比環(huán)境下的正確率。2) 提高算法運(yùn)行效率。算法中滑動(dòng)窗是采用逐幀滑動(dòng)的方式，這種做法的目的是為了更好地觀察、分析算法的運(yùn)行結(jié)果，而其弊端是運(yùn)算量增大。初步的研究發(fā)現(xiàn)，增加幀移量會(huì)引起識(shí)別率的少量下降，這可能與幀移量增加后 SAD檢測(cè)到起始點(diǎn)與終止點(diǎn)產(chǎn)生的誤差有關(guān)，因此，如何在運(yùn)算效率與系統(tǒng)識(shí)別率上找到一個(gè)平衡點(diǎn)是一個(gè)需要認(rèn)真研究的問(wèn)題。3) 針對(duì)受試者疲勞狀態(tài)時(shí)識(shí)別正確率下降的問(wèn)題，下一步擬增加受試者數(shù)量與數(shù)據(jù)采集時(shí)間，采用增量訓(xùn)練方式進(jìn)行模型訓(xùn)練，提高算法頑健性。

[1] BENGLER K, DIETMAYER K, FARBER B, et al. Three decades of driver assistance systems： review and future perspectives[J]. Intelligent Transportation Systems Magazine, IEEE, 2014, 6(4)： 6-22.

[2] MENCHER B, GOLLIN W, REITER F, et al. Overview of electrical and electronic systems in the vehicle[M]//Fundamentals of Automotive and Engine Technology. Springer Fachmedien Wiesbaden, 2014： 158-160.

[3] PLANING P. Innovation acceptance： the case of advanced driver-assistance systems[M]. Springer Science & Business Media,2014.

[4] 程時(shí)偉, 孫志強(qiáng). 用于移動(dòng)設(shè)備人機(jī)交互的眼動(dòng)跟蹤方法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2014, 26(8)： 1354-1361.CHENG S W, SUN Z Q. An approach to eye tracking for mobile device based interaction[J] .Journal of Computer-Aided Design & Computer Graphics, 2014, 26(8)： 1354-1361.

[5] LARA O D, LABRADOR M A. A survey on human activity recognition using wearable sensors[J]. Communications Surveys & Tutorials,IEEE, 2013, 15(3)： 1192-1209.

[6] MAJARANTA P, BULLING A. Eye tracking and eye-based human-computer interaction[M]. Advances in Physiological Computing.Springer London, 2014： 39-65.

[7] BEDELL H E, STEVENSON S B. Eye movement testing in clinical examination[J]. Vision Research, 2013, 90(39)： 32-37.

[8] LV Z, WU X, LI M, et al. A novel eye movement detection algorithm for EOG driven human computer interface[J]. Pattern Recognition Letters, 2010, 31(9)： 1041-1047.

[9] CLEMENT R A. Natural coordinates for specification of eye movements[J]. Vision Research, 1991, 31(11)： 2029-2032.

[10] AUNGSAKUN S, PHINYOMARK A, PHUKPATTARANONT P, et al.Robust eye movement recognition using EOG signal for human-computer interface[M]//Software Engineering and Computer Systems. Springer Berlin Heidelberg, 2011： 714-723.

[11] SOLTANI S, MAHNAM A. Design of a novel wearable human computer interface based on electrooculograghy[C]//Electrical Engineering(ICEE), 2013 21st Iranian Conference. IEEE, c2013： 1-5.

[12] VIDAL M, BULLING A, GELLERSEN H. Analysing EOG signal features for the discrimination of eye movements with wearable devices[C]//The 1st International Workshop on Pervasive Eye Tracking& Mobile Eye-Based Interaction. ACM, c2011： 15-20.

[13] BULLING A, WEICHEL C, GELLERSEN H. Eyecontext： recognition of high-level contextual cues from human visual behaviour[C]//The SIGCHI Conference on Human Factors in Computing Systems. ACM,c2013： 305-308.

[14] FUKUNAGA K. Introduction to statistical pattern recognition[M].Access Online via Elsevier, 1990.

[15] RABINER L, JUANG B H. Fundamentals of speech recognition[C]//Pearson Education, First Indian Reprint, 1993.

[16] 吳小培, 周蚌艷, 張磊, 等. 運(yùn)動(dòng)想象腦-機(jī)接口中的 ICA 濾波器設(shè)計(jì)[J]. 生物物理學(xué)報(bào), 2014, 7： 006.WU X P, ZHOU B Y, ZHANG L, et al, ICA filter design in braincomputer interface of motor imagery[J]. Acta Biophysica Sinica,2014, 7： 006.

[17] LEE T W, GIROLAMI M, SEJNOWSKI T J. Independent component analysis using an extended-infomax algorithm for mixed sub-gaussian and super-gaussian sources[J]. Neural Computation, 1999, 11(1)：417-441.

Design and implementation algorithm of safe driver assistant system based on EOG

LYU Zhao1,2, WU Xiao-pei1,2, ZHANG Chao1,2, WEI Bing1,2
(1. Co-Innovation Center for Information Supply & Assurance Technology, Anhui University, Hefei 230601, China;2. College of Computer Science and Technology, Anhui University, Hefei 230601, China)

In order to ensure driving safety, improve the intelligent level of the vehicle control system and realize“keeping hands on the wheel”, a safe driver assistant system (SDAS) based on EOG was proposed. The proposed system utilized saccade signals which come from bio-electrodes installed around driver’s eyes, to generate some control commands when the driver observes different signs located on the head up display (HUD). Furthermore, independent component analysis (ICA) algorithm was used to extract spatial feature parameters of activity-detected EOG signals, and combined with support vector machine (SVM) method to recognize the type of saccade signals, such as up-rolling,left-rolling and right-rolling. Experiments have been carried out in lab environment, and the average correct ratio on 15 subjects is 98.43% and 96.0% corresponding to fatigue condition and non-fatigue condition respectively. Experiential results reveal that the SDAS based on the multi-class saccade signals recognition algorithm presents an excellent classification performance.

EOG, saccade signal, independent component analysis, spatial filtering, support vector machine

s: The National Natural Science Foundation of China (No.61401002, No.61271352), The Natural Science Foundation of Anhui Province (No.1408085QF125), Anhui Provincial Natural Science Research Project of Colleges and Universities (No.KJ2014A011)

R318

A

10.11959/j.issn.1000-436x.2016111

2015-08-25；

2015-11-27

吳小培，iiphci_ahu@163.com

國(guó)家自然科學(xué)基金資助項(xiàng)目(No.61401002，No.61271352)；安徽省自然科學(xué)基金資助項(xiàng)目(No.1408085QF125)；安徽高校省級(jí)自然科學(xué)研究重點(diǎn)基金資助項(xiàng)目(No.KJ2014A011)

呂釗（1979-），男，安徽宿州人，博士，安徽大學(xué)副教授、碩士生導(dǎo)師，主要研究方向?yàn)橹悄苄畔⑻幚砼c人機(jī)交互技術(shù)。

吳小培（1966-），男，安徽池州人，博士，安徽大學(xué)教授、博士生導(dǎo)師，主要研究方向?yàn)橹悄苄畔⑻幚砼c人機(jī)交互技術(shù)。

張超（1983-），男，江蘇邳州人，博士，安徽大學(xué)講師，主要研究方向?yàn)橹悄苄畔⑻幚怼⒁曨l/圖像處理。

衛(wèi)兵（1984-），男，安徽六安人，安徽大學(xué)博士生，主要研究方向?yàn)橹悄苄畔⑻幚怼⑶度胧郊夹g(shù)等。