基于腦電信號和肌電信號協同控制的智能小車系統①

葉耀光,黃一帆,楊富宙,劉 捷,潘家輝

(華南師范大學 軟件學院,佛山 528225)

根據國家統計局數據統計分析,我國的老年人口撫養比持續上升,并保持在較高的水平上[1].在2020年時,我國老年人口撫養比為19.02%,而其中有部分老年人行動不便,需要使用輪椅等設備代步.此外,《國家殘疾預防行動計劃(2016-2020年)》稱,我國共有殘疾患者約8 500 萬,占總人口的6.3%,平均16 人中就有一個殘疾患者,并且其中肢體殘疾人群占約30%.由此可見,在不久的將來,老年人和殘疾患者的日常護理任務會成為家庭乃至社會的一大負擔,此時,如果有一種能夠使用簡單動作即可控制的智能輪椅,可以在一定程度上減輕這一負擔.隨著科學技術的發展,人們已經實現了通過遙控、語音、手勢、生物電信號等交互方式來控制外部設備,若將這些這種控制技術用于改善對老年人和殘疾患者的看護,可以幫助這兩類人群更加方便、自主且有效地與外界進行交流.

目前,腦機接口技術得到了研究者的廣泛關注并迅速發展,越來越多的研究人員展開了基于腦電信號控制設備的研究,但單獨利用腦電信號控制設備時,由于腦電信號的不確定性、隨機性和微弱性,信號識別準確率和控制響應速度也會隨之下降,此時,若能綜合利用多種信號,將不同信號相互組合,為多模式動作控制的實現提供了可能性.因此,本文提出一種生理信號控制設備的方案,該方案基于腦電信號和肌電信號結合共同作為控制信號源,經過信號的預處理、特征提取和模式分類后,控制輪式小車的運動狀態.相比于腦電信號,肌電信號具有辨識度高、信噪比高和易于檢測等優點,可以很好地配合腦電信號控制小車運動.該方法在一定程度上改善了單一信號源控制模式過少,實用性不強的問題,具有一定的研究意義.

本文的主要貢獻如下:

(1)提出一套基于腦電信號和肌電信號的協同控制方案,綜合利用腦電信號和肌電信號兩種生理信號,協同控制小車進行平面上的移動.該方案允許用戶僅通過簡單的頭部動作,即眨眼、左咬合或右咬合和專注4 種簡單動作,控制小車前進、后退、停止、左右轉向和速度狀態.與其他相似的控制方案相比,該方案還為用戶提供對后退和速度的控制功能;此外,該方案規定前進、后退和停止3 種狀態為小車的基本運動狀態,用戶僅通過一個常用的頭部動作,即眨眼來控制小車在3 種基本運動狀態中切換;而對于轉向狀態控制而言,該方案考慮到控制動作與實際運動方向的一致性和實際易用性,通過常用的頭部動作,即左咬合和右咬合來控制小車的左轉向和右轉向.這種簡單控制動作的設計使用戶的控制難度更低,控制準確度更高.

(2)實現了一個基于腦電信號和肌電信號的協同控制系統,虛擬小車平臺(PC 端)和實體樹莓派小車構成了該系統的應用矩陣,用戶可利用本文所提出的協同控制方案控制虛擬小車和實體樹莓派小車進行平面上的運動.

1 國內外研究現狀

1.1 腦電控制研究現狀

腦機接口系統是一種不依賴大腦正常的傳輸通道(即外周神經系統和肌肉組織)的通訊系統[2],其通過侵入式或非侵入式腦電信號監測技術,將大腦中神經電信號能實時、準確地通過BCI 系統轉換成可被計算機識別的命令或操作信號,為大腦與外部世界提供直接的交流方式,實現大腦對外部設備的控制.

多名學者與研究團隊將腦電控制應用于小車或輪椅中.Lin 等[3]提出了一種腦機接口系統,從腦電波中提取腦電圖和眼睛閃爍信號,將其轉化為驅動電動輪椅的控制信號,基于此設計了一款針對癱瘓患者的電動輪椅.Zhang 等[4]開發了一種基于運動想象與P300的腦機接口系統控制輪椅的啟停,控制精度達到(92.0±4.4)%.Rebsamen 等[5]利用P300 電位的這一特性設計出了具有自主導航功能的智能輪椅,其中在控制輪椅移動的準確率有70%左右.徐寶國等[6]研究左右手運動想象腦電信號實現了對機器人的控制,20 個受試者3 種不同運動想象動作的控制機械手的平均準確度分別為85%,88%和90%.陳啟超[7]基于穩態視覺誘發電位(SSVEP),設計了一個便攜式腦機接口系統,利用該系統控制智能小車的運動方向,其平均準確率接近90%.

1.2 肌電控制研究現狀

肌電生物機械接口的原理是通過對肌肉運動產生的肌電信號進行特征解碼來識別出不同的動作模式[8].與腦電信號類似,肌電信號也能夠轉換成可被計算機識別的命令或操作信號,控制外部設備進行相應的運動.Muhammad 等[9]將肌電信號傳感器、加速度計和陀螺儀集成于一個臂帶設備中,利用臂帶檢測肌電信號和手勢,進而用來無線控制機器人汽車.余威[10]基于運動想象腦機接口技術實現對智能小車的控制,通過想象左右手的運動控制輪椅進行左右轉向,其準確率基本維持在70%以上;而前進則是通過肌電信號進行控制,準確率保持在85%以上.張毅等[11]基于SVM 多分類技術的肌電輔助腦電設計了智能輪椅控制系統,通過想象左右手腳的運動控制輪椅做出相應的動作,以此實現結合肌電信號多分類技術控制輪椅,但是響應速度較慢.晉曉飛[8]把腦電信號與肌電信號結合設計出智能小車的控制及避障系統,其腦電信號動作識別率達到91.67%,肌電信號動作平均識別率達到88.33%以上.

總的來說,隨著社會需求的增大以及生物電信號中各種算法和硬件技術的發展,不少研究者開始研究使用生物電信號控制設備,但目前的研究主要存在以下問題:(1) 目前研發的設備控制系統的控制準確度和控制響應速度仍然有待提高,否則不足以很好地進一步應用于實際生活中;(2) 控制系統的控制動作較為復雜,使用成本和控制難度較高,用戶往往需要在使用前進行較為長時間的訓練和嘗試使用,否則可能難以輕松地熟練并掌握系統的控制方法;(3) 可供用戶控制的動作較少,用戶無法更好地控制設備進行運動.

2 系統總體設計

本系統以多模態信號協同控制系統為核心,按功能分為信號采集模塊、數據處理模塊、命令編碼模塊和驅動控制模塊4 部分.系統功能結構圖如圖1.

圖1 系統功能結構圖

信號采集模塊需要對腦電信號和肌電信號進行采集.其中腦電信號通過Mindwave 腦電信號采集耳機檢測并采集設備佩戴者前額的腦電信號;肌電信號則通過兩個相同的肌電傳感器進行檢測和采集,將兩個肌電傳感器分別放置于面部兩側咬肌處,采集設備佩戴者左右咬合時產生的肌電信號.該模塊采集到的腦電信號和肌電信號原始數據將輸出至數據處理模塊進行進一步處理.如圖2和圖3所示分別是本文采用的腦電信號和肌電信號采集設備.

圖2 腦電信號采集耳機

圖3 肌電信號采集傳感器

數據處理模塊需要處理從信號采集模塊傳輸而來的腦電信號數據和肌電信號數據.對于腦電信號數據,需要進行一系列信號預處理操作,得到用于判斷眨眼信號的腦電信號,同時經由TGAM 芯片的專注度計算算法,輸出專注度屬性值;對于肌電信號數據,則通過標準差算法計算肌電信號數據離散情況.該模塊處理將原始信號數據處理后得到的結果輸出至命令編碼模塊,生成相應的控制命令.

命令編碼模塊需要基于數據處理模塊傳輸的數據,通過閾值法匹配控制命令的生成條件,根據匹配的結果生成相應的控制命令,以對小車進行驅動控制.對于腦電信號,此模塊根據專注度屬性值進行閾值匹配,判斷是否生成小車運動速度控制命令,根據腦電信號強度進行閾值匹配,進一步區分用戶是否處于眨眼狀態,根據匹配結果判斷是否生成小車基本運動狀態(前進、后退、停止)改變控制命令;對于肌電信號,則根據肌電標準差數值進行閾值匹配,判斷兩側咬肌的咬合狀態,生成小車轉向控制命令.該模塊生成的控制命令將輸出至驅動控制模塊,相應地控制小車的運動狀態.

驅動控制模塊根據命令編碼模塊生成的控制命令,驅動操作對象做出相應的運動狀態變化.此模塊目前所包含的操作對象有基于Qt 開發的虛擬小車平臺和搭配了樹莓派4B 主板的四輪藍牙小車.虛擬小車平臺是一個使用Qt 編程實現的程序,主要功能為通過本文所提出的控制方案控制該程序界面中的小車進行模擬運動,旨在幫助用戶更好地了解、聯系和掌握該控制方案的控制動作.虛擬小車和實體樹莓派小車均能實現前進、后退、左右轉向、速度控制以及停止功能.虛擬小車平臺和實體樹莓派小車如圖4和圖5所示.

圖4 虛擬小車平臺

圖5 實體樹莓派小車

各功能模塊之間的交互模式如圖6所示.

圖6 模塊交互圖

3 控制流程設計

為了更好地通過腦電信號和肌電信號來控制小車移動,本文將小車的運動狀態劃分為前進、后退和停止3 種基本運動狀態,左轉和右轉兩種轉向狀態以及低速、中速和高速3 種運動速度狀態.其中,前進、后退、停止和運動速度由腦電信號部分進行控制,而左轉和右轉狀態則由肌電信號部分進行控制.從原始信號的產生到控制小車進行移動之間遵循一套基于腦電信號的處理流程和基于肌電信號的處理流程,需要完成以下任務.

(1)信號采集.將信號采集設備的傳感器佩戴于正確的位置中采集原始生物電信號.對于腦電信號,將Mindwave 腦電信號采集耳機的前額傳感器貼于前額眼睛上方的Fp1 通道處,并將采集耳機的耳夾夾于右耳耳垂處,作為參考點和地線點,采集腦電原始信號;對于肌電信號,本文將兩個肌電傳感器分別貼于面部左右兩邊的咬肌處,獲取兩側咬肌肌電原始信號.

(2)信號預處理.將采集的原始信號進行預處理,輸出可被解析的信號數據.

(3)信號數據解析.將信號數據解析為生成控制命令所需的數據,如腦電信號強度、專注度、肌電信號強度及其標準差等.

(4)控制命令匹配及生成.將解析后的數據與相應的控制命令生成條件進行比較匹配,若滿足條件,則生成相應的控制命令,并將控制命令傳輸至待控制設備中,控制設備改變運動狀態.

(5)設備動作響應.驅動控制模塊的設備接收控制命令,根據控制命令相應地改變設備的運動狀態.

系統的詳細控制流程圖如圖7所示.

圖7 系統控制流程圖

3.1 信號預處理

不管是腦電信號還是肌電信號,在采集其原始信號后均需要進行以下處理,最終得到腦電信號數據和肌電信號數據.

(1)初級放大信號.對于類似于腦電信號等微弱信號的檢測儀器或設備,前置放大器是主要部件之一,本文在獲取原始腦電信號和原始肌電信號后,需要使用一個前置放大電路對其進行初級放大處理.

(2)帶通濾波.由于腦電信號的頻率大多處于0.5 Hz到50 Hz,所以本文使用帶通濾波器,允許頻率為0.5-50 Hz的腦電信號通過,而大幅減弱該范圍以外的信號.

(3)工頻陷波.工頻干擾會對電子設備造成干擾,導致設備運行異常.因此本文需要使用50 Hz 工頻信號濾波器濾除腦電信號中50 Hz 工頻信號的干擾.

(4)二級放大.使用主放大器將高頻已調波信號進行功率放大,以滿足發送功率的要求,然后經過天線將其輻射到空間,保證在一定區域內的接收機可以接收到滿意的信號電平,并且不干擾相鄰信道的通信.

(5)A/D 轉換.將采集到的模擬信號轉換為數字信號.

(6)輸出腦電信號.

信號預處理流程如圖8所示.

圖8 信號預處理流程

3.2 信號數據解析及命令生成

3.2.1 腦電信號控制設計

本文使用腦電信號控制小車的前進、后退和停止3 種基本運動狀態以及小車的低速、中速和高速3 種運動速度狀態.對于基本運動狀態的控制,本文利用腦電信號采集設備預處理后輸出的腦電信號強度數值,采用閾值法判斷當前設備使用者是否處于眨眼狀態,進而確定是否要生成基本運動狀態切換命令來控制基本運動狀態.對于該眨眼閾值的設計,在進行眨眼實驗并統計實驗結果后發現,在腦電采集設備使用者有意做出眨眼動作時,由于眨眼所產生的肌電信號的影響,設備輸出的腦電信號強度數值會在極短的時間內突增至800 到1 100;而在腦電采集設備使用者無意眨眼時,其力度遠小于有意眨眼,因此所產生的肌電信號較弱,腦電信號強度數值也不會出現大幅度的變化.因此,一般情況下,若檢測到腦電信號強度數值在800 到1 100 之間,則認為設備使用者進行了1 次有意眨眼.設BlinkSta表示設備使用者的眨眼狀態,EEGinten表示某一時刻設備使用者的腦電信號強度數值,眨眼狀態的判斷公式如式(1)所示.

當腦電信號強度數值小于預設的眨眼狀態判斷閾值800 時,眨眼狀態為0,認為設備使用者處于未眨眼狀態;當腦電信號強度數值處于預設的眨眼狀態判斷閾值800和眨眼干擾態判斷閾值1 100 之間時,眨眼狀態為1,認為設備使用者處于眨眼狀態;當腦電信號強度數值大于預設的眨眼干擾態判斷閾值1 100 時,眨眼狀態為2,認為眨眼狀態為干擾態,獲取到的信號數據包含著較明顯的干擾信息,結果不可信,故不對其做進一步的處理.

但是,若僅依賴于單次眨眼狀態判斷結果就切換小車運動狀態,則信號干擾、信號采集設備的移動等因素就可能會對結果產生比較重大的影響,進而導致誤判率較高.因此,為了進一步區分無意眨眼和有意眨眼,盡量減小噪聲等因素干擾,降低有意眨眼狀態誤判率,除了腦電信號強度數值之外,可進一步結合眨眼用時和眨眼間隔進行綜合判斷.

在正常情況下,人類進行無意眨眼需要用時0.2 s到0.4 s,兩次無意眨眼間隔約在2.0 s 到6.0 s 之間;而有意眨眼則因為眨眼力度和有意控制等因素的影響,相較于無意眨眼,有意眨眼用時較長,間隔較短,需要用時0.3 s 到0.7 s,兩次有意眨眼間隔約在0.1 s 到0.3 s之間.基于此,設BlinkCount表示眨眼次數,其值會被初始化為0,當某一時刻系統檢測到由式(1)所求得的眨眼狀態值BlinkSta為1 時,眨眼次數BlinkCount的值加1 (此時BlinkCount=1),并開始一個基本運動狀態切換命令生成周期.在這一周期中,若系統在3 s 內某兩個時刻檢測出眨眼狀態值BlinkSta為1,使得眨眼次數BlinkCount自增兩次,其值變為3 時,則生成基本運動狀態切換命令,這一周期結束,BlinkCount被重置為0;若系統未能在3 s 內的某兩個時刻檢測出眨眼狀態值BlinkSta為1,即3 s 周期結束后BlinkCount＜3,則不會生成基本運動狀態切換命令,這一周期結束,BlinkCount被重置為0.

對于小車運動速度狀態的控制,本文利用腦電信號采集設備預處理后輸出的專注度數值,采用階梯閾值法,為不同的速度層級設定不同的專注度閾值區間,通過匹配比較操作,確定是否要生成速度狀態切換命令來控制基本運動狀態.對于控制速度狀態的專注度閾值設計,在進行了專注度實驗并統計實驗結果后發現,一個成年人在常態精神狀況下,設備輸出的專注度屬性值通常維持在40 左右;在專注時則在50 到90 之間波動,極少出現大于90的情況.基于此,本控制方案將小車的速度分為3 檔,檔位由低到高,速度逐漸加快,并為每個速度檔位對應地設置專注度閾值.設SpeSta表示小車當前所處于的運動速度層級狀態,Att表示設備使用者某一時刻的專注度數值,dur表示設備使用者當前時刻已維持某一專注度水平的持續時間,小車運動速度切換機制如式(2)所示.

當設備使用者的專注度數值維持在某一速度層級對應的專注度區間(0≤Att＜60) 至少5 s,速度狀態SpeSta將對應地被設置為相應值,其中,當SpeSta值被賦值為0、1 或2 時,將分別生成低速層、中速層或高速層的運動速度狀態切換命令,動態地切換小車的運動速度.

3.2.2 肌電信號控制設計

本文利用設備使用者左右咬合時產生的肌電信號控制小車的左轉和右轉兩種轉向狀態.正常情況下,面部咬肌處于放松狀態時,其肌電信號的離散程度較小,而咬肌處于咬合狀態時,其信號離散程度明顯較大.因此,本文認為兩側咬肌電信號的離散程度不同可用于控制小車運動轉向.通過下述公式,計算得到一組肌電信號的標準差數值:

其中,N為集合的總個數,μ為集合的平均數,xi為集合中第i個元素的數值,σ為輸出,即標準差數值.由于肌電采集設備的有效頻譜范圍為20-500 Hz,即1 s 采集20-500 次信號,在本文中,每0.2 s 采集50 次肌電信號,并將每0.2 s 采集的信號設為一組,將每組中肌電信號值經過標準差算法處理后,最終得到的σ值位于0-300 之間.設BiteSta表示設備佩戴者的咬肌狀態,本文將咬肌狀態分為3 種狀態,即放松態、咬合態和干擾態,相對應的,BiteSta的取值0、1和2 就分別代表這3 種狀態,3 種狀態的閾值設定和計算公式如式(4)所示.

若檢測到左側或右側咬肌為咬合態時,則生成小車左轉或右轉的控制指令;若檢測到左側或右側咬肌為放松態時,則生成小車左右轉向停止的控制指令;而若檢測到左側或右側咬肌為干擾態時,認為此時咬肌狀態為干擾態,獲取到的信號數據包含著較明顯的干擾信息,結果不可信,故不對其做進一步的處理,不生成控制指令.

3.3 小車動作響應

控制命令生成之后,將被傳輸到虛擬小車平臺或者樹莓派小車中,根據控制命令相應地控制小車運動.本文將小車的運動狀態劃分為前進、后退和停止3 種基本運動狀態,左轉和右轉兩種轉向狀態以及低速、中速和高速3 種運動速度狀態.對于虛擬小車平臺,為使數據處理程序與虛擬小車平臺程序兩個程序之間能夠相互通信,本文使用Socket 通信連接這兩個程序.數據處理程序在處理信號數據并生成控制命令之后,將通過建立的Socket 連接傳輸至虛擬小車平臺,而虛擬小車的運行狀態也將通過Socket 連接反饋至數據處理程序.在虛擬小車平臺中,通過將虛擬小車整體平移來模擬小車的移動,通過更改虛擬小車平移的速度模擬小車運動速度快慢,通過更改車輪和虛擬小車的逆時針或順時針旋轉角度模擬小車的左右轉向狀態.

對于實體樹莓派小車,本文使用藍牙通信方式連接數據處理程序和實體小車樹莓派主板.數據處理程序在處理信號數據并生成控制命令之后,將通過藍牙連接傳輸至實體小車的主板中,主板根據命令相應地改變實體小車的運動狀態.在實體樹莓派小車中,小車的運動由直流電機的轉速控制,而直流電機的轉速則需要改變PWM 信號的占空比進行控制.占空比指的是在1 個周期內,信號處于高電平的時間占據整個信號周期的百分比,其計算公式如下:

其中,ht為一個周期內高電平持續時間,lt為一個周期內低電平持續時間,ht與lt之和為一個信號周期.當PWM 信號處于高電平,則表示電機正在運行,高電平的持續時間越長,即占空比越大,則電機的運行時間越長,輸出的轉速也就越大,小車的行駛速度也越快.因此,本文通過設置實體小車不同輪子對應電機的PWM 信號占空比,控制實體小車進行不同的運動.當小車靜止時,占空比為0;當小車運動速度處于低速層時,占空比為30%,當小車運動速度處于中速層時,占空比為50%,當小車運動速度處于高速層時,占空比為60%.此外,若左右兩側輪胎的轉速存在著速度差,小車將轉向速度較小的一側.因此,當小車需要轉向時,為產生轉向所需速度差,本文將兩側電機占空比差值設置為10%,例如,當小車低速前進時需要右轉,則小車左側電機的占空比為40%,右側電機的占空比為30%,小車即可慢慢向右偏轉.

4 實驗與結果

虛擬小車平臺和樹莓派實體小車是本文所提出的系統的兩大核心.虛擬小車平臺的意義在于幫助用戶更好地了解、練習和掌握本文所提出的基于腦電信號和肌電信號的協同控制設備方案.而樹莓派實體小車是該控制方案應用于控制設備的一個實例,目的在于驗證該控制方案的實際可行性.本節將分別對虛擬小車平臺和實體小車的各種運動狀態控制進行系統可靠性測試與結果展示.

本次測試人員包含4 名男性和1 名女性,測試地點為華南師范大學軟件學院樓305 室,測試人員在測試時,佩戴好信號采集設備后,端坐于電腦和測試場地前,按照指揮員的指令執行相關測試任務.測試目的是測試能否根據腦電信號和肌電信號數據正常產生控制指令,能否根據控制指令正常控制虛擬小車和實體小車執行相應的動作,最終得出完成這一系列過程的準確率及所需用時,進而驗證該控制方案的有效性.

4.1 基本運動狀態控制測試

對于基本運動狀態控制測試,本文安排5 名測試人員在安靜環境中分別測試虛擬小車平臺和實體小車中基本運動狀態控制的準確性和所需用時.每名測試人員需要分別在虛擬小車平臺和實體小車中進行40 輪基本運動狀態切換過程.其中,為了更全面地測試基本運動狀態控制功能,本文設定1 輪基本運動狀態切換過程包括3 個任務:從靜止狀態切換至前進狀態,從前進狀態切換至后退狀態,以及從后退狀態切換至靜止狀態.當測試者做出相應動作后,能正確生成控制指令且無錯誤地完成1 輪基本運動狀態切換過程,則認為本輪測試正確,并記錄完成1 輪基本運動狀態切換過程所需時間;反之,若測試者做出相應動作后,未能控制小車進行基本運動狀態切換,或者測試者未做出相應動作就生成了控制指令控制小車進行基本運動狀態切換,則認為本輪測試失敗.測試完成后,分別計算在虛擬小車平臺和實體小車的基本運動狀態控制測試的平均測試準確率和測試正確平均耗時.結果如表1所示.

表1 基本運動狀態控制測試

4.2 速度狀態控制測試

對于速度狀態控制測試,本文安排5 名測試人員在安靜環境中分別測試切換到目標速度層級的準確性和所需用時.每名測試人員需要分別在虛擬小車平臺和實體小車中進行15 輪速度狀態切換過程.其中,1 輪速度狀態切換過程要求測試人員將小車的速度狀態切換至目標層級,若實際切換的速度狀態與目標相同,則認為測試正確,并記錄該輪測試所需用時;反之,若小車的速度狀態未能切換至目標層級,或者測試者未做出相應動作就生成了控制指令控制小車進行速度狀態切換,則認為本輪測試失敗.測試完成后,分別計算在虛擬小車平臺和實體小車的速度狀態控制測試的平均測試準確率和測試正確平均耗時.結果如表2所示.

表2 速度狀態控制測試

經過速度狀態控制測試試驗后,發現速度狀態控制準確率較低和控制耗時較長,本文認為造成這種現象的主要原因是使用專注度作為控制動作存在著一定局限性:專注這一動作較為隱蔽,其動作特征不如眨眼這一動作外顯,即人們無法清晰準確地感知自己所處的專注狀態,也較難對專注狀態進行自主精準控制;而與之相對的,眨眼或者咬合等動作往往伴隨著明顯的動作特征,人們可以確確實實控制自己的肌肉執行相關動作.因此,測試者在測試時,可能會出現自我感知的專注狀態和計算得出的專注度數值有所偏差的情況,導致未能生成任務要求的速度狀態控制指令而測試失敗.

4.3 轉向狀態控制測試

對于轉向狀態控制測試,本文安排5 名測試人員在安靜環境中分別測試虛擬小車平臺和實體小車中轉向狀態控制的準確性和所需用時.每名測試人員需要分別在虛擬小車平臺和實體小車中進行40 輪轉向狀態切換過程.其中,由于單次轉向耗時較短,為了更好地評估轉向控制性能,本文設定1 輪轉向狀態切換過程包括3 個任務:從初始狀態切換至左轉狀態,再切換至右轉狀態,最后恢復至初始狀態.當測試者做出指定動作后,能正確生成控制指令并成功完成1 輪轉向狀態切換過程,則認為本輪測試正確,并記錄完成1 輪轉向狀態切換過程所需時間;反之,若測試者做出指定動作后,未能控制設備進行轉向狀態切換,或者測試者未做出相應動作就生成了控制指令控制小車進行轉向狀態切換,則認為本輪測試失敗.測試完成后,分別計算虛擬小車平臺和實體小車的轉向狀態控制測試的平均測試準確率和測試正確平均耗時.結果如表3所示.

表3 轉向狀態控制測試

4.4 綜合控制測試

本文安排5 名測試人員在安靜環境中分別使用虛擬小車平臺和實體小車進行10 輪綜合測試,該測試因為需要綜合運用3 種基本運動狀態以及兩種轉向狀態的控制,所以能夠較好地檢驗基本運動狀態控制和轉向控制性能.如圖9所示為綜合控制測試中小車初始所在位置以及兩個目的地示意圖.小車初始位置位于2 號目的地的左下方,而1 號目的地則位于2 號目的地道路對面的右方.每一輪綜合測試要求測試人員操控小車沿道路抵達1 號目的地后停止,然后再啟動前往2 號目的地,最終停止于2 號目的地中,即測試完成.

圖9 綜合測試位置示意圖

測試過程中,盡管測試者可能會出現因為車速過快或者控制失誤而偏離了設想移動路線的情況,但后續均能通過合理的控制操作到達目的地,順利完成測試任務,這在一定程度上證明了本文所提出的控制方案的有效性,即通過該控制方案,使用者可以操控設備順利到達指定目的地.

4.5 測試分析及總結

根據基本運動狀態控制和轉向狀態控制測試結果,本文所提出的控制方案對于基本運動狀態和轉向狀態這幾種狀態的控制動作有著較高的識別準確率.本文認為準確率較高的主要原因是用于控制基本運動狀態和轉向狀態的動作,即眨眼和左右咬合這3 種控制動作的特點.在數據層面,與平靜狀態相比,這3 種控制動作往往伴隨著比較明顯的特征,因此本文使用一些經典的統計特征,如峰值,標準差等特征進行識別判斷,可以取得較高的準確率;在用戶層面,這3 種控制動作的控制難度較低,用戶的自主控制程度較高,且伴隨著比較明顯的動作特征,用戶可以清楚地感知自己是否完成了控制動作,是否達到系統的控制要求,通過這一對照操作,用戶可以掌握合適的控制動作力度,達到高控制準確率的效果.

而對于其中測試失敗的情況,本文經過回訪測試者并分析后認為:測試失敗案例主要出現在前幾輪測試中,此時測試者尚處于調整及適應信號采集設備和熟悉控制動作的狀態下,隨著測試輪次的增加,測試者對于控制方案的熟悉程度和控制動作的最佳力度掌控程度也隨之提高,因此錯誤率隨之降低.此外,根據幾項測試結果可以看出,針對虛擬小車平臺和實體小車的測試準確率和耗時大體上相近,這在一定程度上體現了本文所提出的控制方案的性能一致性.

如表4所示為其他研究所提出的控制方案與本文所提出的基于腦電信號和肌電信號的設備控制方案及其控制準確率的對比,由于大多數相關研究不涉及對設備移動速度的控制,因此此處僅從控制方案、基本運動狀態以及轉向狀態這3 個維度進行比較.相比于文獻[8]提出的控制方案,文獻[10]和本研究的控制動作僅依賴于頭部動作,如眨眼、左右咬合和保持專注,因此理論上能夠適用于更廣泛的人群;相比于文獻[8]和文獻[10],本研究不僅允許用戶控制設備前進和停止,還允許用戶控制設備后退,使得用戶可以更加靈活地控制設備,且本研究對于基本運動狀態(前進、后退、停止)和轉向狀態的控制準確率更高,同時有著較快的響應速度;此外本研究將設備的運動速度分為3 檔,用戶可以通過專注度控制設備的運動速度狀態.

表4 不同研究中控制方案及準確率對比(%)

值得一提的是,其他控制方案大多不涉及后退功能其主要原因有二:一是合適的控制動作的數量難以滿足太多的小車運動狀態的控制需求.一般控制方案中,每一種運動狀態都由一個指定的控制動作進行控制,若設計太多運動狀態,則需要相應設計更多控制動作,且需要考慮這些控制動作之間會不會相互影響,這使得動作設計難度和用戶控制難度都增大;二是后退功能可能并非小車的常用運動狀態,即用戶的使用頻率不高,且后退功能的效果可以通過前進和轉向這一系列狀態來實現.但相比于該控制方案中的直接后退控制,這種通過動作組合的方式來實現間接后退的方法必定會在轉向掉頭的同時發生左右位置偏差,存在著控制不準確和控制較為繁瑣的缺點.考慮到這兩點原因,本文所提出的控制方案規定前進、后退和停止3 種狀態為小車的基本運動狀態,用戶僅通過眨眼這一個簡單常用的控制動作,控制小車在3 種基本運動狀態中輪流切換,而不是分別使用不同的控制動作來控制這3 種基本運動狀態.通過這種方式,在保證控制方案擴展性的同時,既保證了這種控制動作的準確性和響應速度,也考慮了用戶的控制難度.

總的來說,本文所提出的基于腦電信號和肌電信號的設備控制方案能夠允許用戶簡單高效地控制小車前進、后退、停止和左右轉向,進而控制小車到達指定目的地,這幾種控制動作均有較高的識別準確率和較快的響應速度.此外,該方案允許用戶根據專注度調整小車的運動速度,但由于專注度較難控制和量化,用戶難以精準地掌控自身的專注狀態,這在一定程度上導致此種控制動作的識別準確率低和響應時間較長的情況,這也是未來亟待完善的一個研究方向.憑借著該控制方案中基本運動狀態和轉向狀態的控制方法的優勢,本文所提出的控制方案能在一定程度上滿足現實需求,可以投入到實際應用中.

5 結語

本文提出了一套基于腦電信號和肌電信號協同控制小車系統,采用腦電信號和肌電信號作為系統控制源,用戶僅通過簡單的頭部動作,比如眨眼、左右咬合和保持專注即可控制小車運動,擴大了該系統的使用受眾.且該系統常用運動功能控制,如前進、后退和停止3 種基本運動狀態的控制以及左右轉向控制有較高的準確率和較快的響應速度,有效地改善了基于單一控制信號源的高控制難度和慢響應速度的問題,這為相關設備控制研究的控制方案設計提供了參考.該系統未來可以從以下3 個方面進行完善.

(1)改進速度狀態控制方案.本文的速度狀態由用戶專注度進行控制,但由于專注度較難控制和量化,用戶難以精準地掌控自身的專注狀態,這在一定程度上導致此種控制動作的識別準確率低和響應時間較長的情況.因此,本文認為可以從以下兩個方面進行改善:一是可以嘗試使用其他可控制程度和可量化程度更高的動作控制速度狀態;二是可以嘗試改進專注度計算算法,使得用戶能夠更加簡單地掌控自身專注度情況,進而更高效地控制設備.

(2)探究一套更為舒適的階梯速度方案.本文通過實驗發現,若小車的運動速度不合適,用戶可能會產生慌張焦慮的情緒,進而影響對設備的控制效果,因此,對于設備運動控制這類研究而言,探究一套更為舒適自然的階梯速度方案存在一定的研究價值.

(3)將該控制方案用于更貼近實際應用的智能輪椅中,進一步驗證該控制方案的有效性,擴充該控制系統的應用矩陣,為行動不便者更為簡單地控制智能輪椅.