融合眼電及頭部姿態(tài)的智能輪椅控制

(華南師范大學 物理與電信工程學院，廣州 510006)

0 引言

2011年，世界衛(wèi)生組織(World Health Organi- zation)和世界銀行(The World Bank)在《世界殘疾報告》中指出，由于年齡增長、道路交通意外等其他因素造成的肢體殘疾人數(shù)量在持續(xù)增長[1]。由于基于單通道信號控制的智能輪椅存在指令識別率低、控制響應時間較長等問題[2],近年來不少研究人員融合多種控制信號，針對肢體殘疾人的自主控制，提出了多種智能輪椅的控制策略。2016年Geonhee Lee等提出了一種融合肌電和頭部姿態(tài)信號的輪椅控制系統(tǒng)，大幅提高識別的準確率，使控制成功率提升至90%以上[3]。同年，來自日本的研究者們提出的一種適用于輪椅的融合控制方法，將多種生理信號如眼電、腦電、肌電和頭部姿態(tài)進行組合控制測試，其中3種融合控制方法成功率在93%以上[2]。

目前，基于多信號融合控制的智能輪椅大大提高了控制指令的識別準確率，但由于缺乏對實際使用時安全性和舒適性的考慮，大部分此類智能輪椅仍停留在實驗階段，未能投入商用[4]。本文控制方法主要解決的問題，在于如何能在保證操控性的同時，不限制使用者對周圍環(huán)境的自由觀測，使得人機交互的過程更加自然與流暢，既保證舒適性又需要保證使用者的安全。因此，本文提出的一種基于眼電和頭部姿態(tài)融合操縱的輪椅控制方法，在保證指令判斷的準確性同時，最大程度地滿足此類特殊群體對輪椅操縱性、安全性、舒適性的具體要求。

1 控制策略

1.1 眼電和頭部姿態(tài)的融合控制

以往傳統(tǒng)的眼電控制輪椅，在使用過程中，并不允許使用者對周圍環(huán)境進行觀測，這會產(chǎn)生不適，同時也造成了一定安全隱患。利用眼球向上下左右各方向運動來控制輪椅，該方式可能會引起使用者眼睛的疲勞，且不符合人們?nèi)粘５膶蛄晳T。因此，在使用者能利用頭部姿態(tài)的前提下，應當避免使用眼動信號作為輪椅的導向信號。

頭部姿態(tài)被認為是人類表示方向最自然的一種方式[5]。因此，本文將頭部姿態(tài)角度的變化作為輪椅運動的導向信號。但使用者在操縱輪椅的同時，有觀察周邊環(huán)境的需要，如果操縱系統(tǒng)誤把使用者觀察環(huán)境的頭姿變化認作轉(zhuǎn)向行為，將造成安全隱患。因此，使用頭部姿態(tài)作為導向，必須要有控制信號來決定該時刻下使用者是否意圖輪椅轉(zhuǎn)向。

故本文融合了眼電信號和頭部姿態(tài)導向信號的優(yōu)勢，彌補兩種控制信號各自的不足，提出了一種新式的輪椅控制方法。眨眼信號的優(yōu)勢在于完成起來十分快速且動作輕微、不費力，十分適合用于需頻繁使用的確認信號[5]。頭部姿態(tài)作為導向信號有操縱性好、不易疲勞的優(yōu)勢，但必須限制使用者觀察周圍環(huán)境的需要。因此將眨眼信號作為頭部姿態(tài)導向信號的控制信號。上下方向的眼動信號則有操作復雜、耗時久的缺點，但其有不容易發(fā)生誤操作的優(yōu)勢，適合將其作為不常用、功能相對復雜且不允許產(chǎn)生誤識別的操作信號，本文將其作為使用者向外界求助、求救的發(fā)送信號。

1.2 融合控制方法的具體流程

本文提出的新式融合控制方法的具體控制流程如圖1所示。操縱的模式分為“控制模式”和“自由控制模式”。連續(xù)兩次點頭動作進入“控制模式”，處在該模式下，頭部前傾，輪椅緩慢加速向前運動；頭部稍稍后傾便會剎車，且當后傾時長和角度超過某值時，開始倒車；左右各擺頭一次，便可以退出“控制模式”。使用者在該模式下的行進過程中，允許左右轉(zhuǎn)動頭部，自由觀察身邊的事物，達到保障特殊群體對舒適性、安全性需要的目的。

在意圖轉(zhuǎn)向時，進行一次有意識的眨眼動作，輪椅將接收命令、進入“自由控制模式”，此時使用者的頭部將可以控制輪椅進行轉(zhuǎn)向，使用者超過一段時間不轉(zhuǎn)向，將退出自由控制模式。在經(jīng)由眨眼確認的自由控制模式下，輪椅做出相應左、右轉(zhuǎn)動作。

在任何情況之下，頭部后傾角度達10°以上，輪椅馬上制動。如果使用者由于身體不適等原因需要發(fā)送求救信號，只需眼球向下運動并保持一定時長，系統(tǒng)將通過GSM模塊向提前設定好的緊急聯(lián)系人名單發(fā)送若干條求助信息，從而確保使用者的安全。此外，系統(tǒng)還保留了一個功能，在使用者眼球向上運動時觸發(fā)，留待產(chǎn)品的實際需要使用。

圖1 控制流程圖

2 系統(tǒng)實現(xiàn)架構(gòu)

本文設計并實現(xiàn)了一套完整的輪椅控制軟硬件系統(tǒng)。具體架構(gòu)如圖2所示，分為頭戴護目鏡和輪椅控制單元兩大部分。

圖2 系統(tǒng)架構(gòu)設計

2.1 頭戴護目鏡

2.1.1 硬件設計

為采集位于眼睛上下部位的電信號，考慮實用性和美觀性的同時，提出了一種新式頭戴護目鏡裝置。

能將所述采集電極隱蔽、牢固地貼合在使用者面部，一方面可以省去采集電極用于粘貼在使用者面部的粘性物質(zhì)，改善了使用者的佩戴舒適度，讓采集電極本身更加適宜重復使用，另一方面減少了外界對采集電極的影響，提升了眼電采集過程的可靠性；再者，以護目鏡作為基礎框架，確保了控制器的結(jié)構(gòu)強度和耐用度。將3個導電海綿電極縫合到普通護目鏡上，如圖3所示，利用護目鏡的設計巧妙地采集到眼眶處豐富的眼電信號。

此外，護目鏡上還嵌入了帶數(shù)據(jù)采集功能及發(fā)送功能的電路模塊。使用TI公司推出的低功耗、高集成度的模擬前端芯片ADS1293采集眼電信號，ADS1293以其緊湊性、便攜性、低功耗性，常被用于生物電勢測量；采用BNO-055芯片收集頭部姿態(tài)變化數(shù)據(jù)，該芯片內(nèi)置姿態(tài)解算芯片和運動控制庫，可直接回送頭部三軸歐拉角數(shù)據(jù)，免去復雜的濾波算法等軟件處理流程。選取Nordic公司的無線處理器nRF52832作為頭戴部分的數(shù)據(jù)處理單元。這款芯片支持低功耗藍牙技術(shù)，并集成了32 位的ARM Cortex-M4F CPU和SPI、UART、ADC等多種外設接口[6]。nRF52832可以驅(qū)動ADS1293及BNO-055采集前端數(shù)據(jù)，并將數(shù)據(jù)通過BLE協(xié)議棧無線傳輸至位于輪椅處的控制單元。

圖3 護目鏡示意圖及眼電采集的電極位置

2.1.2 電極選擇

目前，眼電信號采集幾乎都使用銀/氯化銀凝膠電極。導電凝膠在使用過程中會帶來諸多不便，使用前一般需要對皮膚進行除毛和去角質(zhì)層等，費時費力，在長時間使用過程中，隨著導電膠的脫水，眼電采集信號的質(zhì)量會出現(xiàn)失真，并且濕電極的觸感較差，一般僅在實驗室或?qū)I(yè)監(jiān)測儀器上研究使用。

為了設計出便于穿戴且具有良好導電效果及觸感的采集裝置，本文選擇了一種高性能的導電海綿替代傳統(tǒng)電極。導電海綿的使用成本低廉、舒適性高且更加適合循環(huán)使用。經(jīng)過測試，這種材料具有非常柔軟的觸感，且電阻極低，約為10 kΩ。另外，導電海綿對護目鏡鏡框還能起到一定的緩沖作用，進一步改善了使用者的使用舒適度，如圖3所示。

在基于眼電的人機交互研究中，為盡可能的消除共模信號干擾，一般對眼電采集使用雙導聯(lián)的采集方式。結(jié)合護目鏡邊框與眼部周圍的接觸位置，本文選擇了在右眼上下位置安放電極構(gòu)成雙導聯(lián)，并在右眼顴骨位置加入了右腿驅(qū)動電極，電極位置如圖3所示。右腿驅(qū)動電極在生物電測量電路中起著不可忽視的作用[6]。由于眼電信號及其微弱，并且人體可以被視為天線，在采集時會受到家用供電噪音的電磁干擾，這種干擾會覆蓋掉眼電信號，使有用的信號難以測量。右腿驅(qū)動電路的原理是將各路輸入信號相加得到共模電壓，經(jīng)內(nèi)部放大器反相后，將輸出電壓導入人體形成深度負反饋，從而有效的削弱電磁干擾噪聲的影響。

2.2 輪椅處控制單元

采用樹莓派3B+型號作為位于輪椅處的主控單元。負責驅(qū)動輪椅上的第二塊BNO-055芯片，采集輪椅的姿態(tài)角數(shù)據(jù)；藍牙接收前端采集的數(shù)據(jù)，實時處理并進行指令判斷，驅(qū)動輪椅電機完成相應的操作，以及通過GSM模塊發(fā)送求救信息。

本文采用的GSM模塊為SIM800A。 SIM800A是雙頻GSM/GPRS、緊湊型、高可靠性的無線模塊，其性能穩(wěn)定，外觀小巧，性價比高，能滿足客戶的多種需求。該模塊工作頻率為GSM/GPRS 900/1 800 MHz，支持AT指令集接口, 支持文本和PDU模式。同時，SIM800A尺寸為24*24*3 mm，適用于緊湊型產(chǎn)品設計需求，因此十分滿足本文輪椅移動裝置的設計要求。

3 軟件設計

3.1 眼電信號的識別分類

位于頭戴護目鏡的主控，負責將ADS1293采集的原始數(shù)據(jù)進行預處理，利用小波分析初步提取特征。然后通過藍牙傳輸給位于輪椅處的樹莓派，依靠樹莓派優(yōu)秀的運算能力和強大的Python工具箱，實現(xiàn)對眼電信號的識別和分類。

3.1.1 預處理及特征提取

本文中使用2016年專注于腦機接口研究(brain-computer interfaces)的BNCI Horizon 2020項目的開源數(shù)據(jù)集[6]。該數(shù)據(jù)集包含 257個眼電數(shù)據(jù)樣本，包括以 200Hz進行采樣的眼電信號(EOG)。該數(shù)據(jù)集采用和本文一致的眼電雙導聯(lián)采集方法，收集被測人員在模擬駕駛情況下成功發(fā)送指令、成功剎車的過程，與本文實際應用場景相類似。被測人員需要在極短的時間內(nèi)完成指令，識別過程也必須足夠迅速，以應對駕駛中的緊急情況，因此該數(shù)據(jù)集與本文智能輪椅控制的實際使用情景相關(guān)度高。數(shù)據(jù)集包括3個模塊，每個模塊測試時長為45分鐘，各模塊間休息時間為10到15分鐘。本文選用上述數(shù)據(jù)集的訓練集中的257個眼電信號作為樣本，其中前205個樣本作為隨機森林算法的訓練集，后52個作為測試集。數(shù)據(jù)集不同眼部動作占比情況如表1所示。

表1 數(shù)據(jù)集眨眼及眼動各狀態(tài)占比情況

3.1.2 預處理及特征提取

對原始信號進行的預處理和初步特征提取包括：

1)分幀，將連續(xù)的時間序列數(shù)據(jù)切分為具有一定長度的序列。

2)去除直流，歸一化。眼電數(shù)據(jù)的直流成分為攜帶的無用信息。

3)db4小波基的小波分解，進行數(shù)據(jù)的降噪、濾波并初步提取特征。

與傳統(tǒng)的FIR濾波器不同，本系統(tǒng)采用了小波變換進行去噪和初步特征提取。小波變換是一種時間-尺度(頻率)分析方法，具有時頻局部化和多分辨特性，特別適合于處理非平穩(wěn)信號[7]。本文選取了db4小波基對信號進行了9層分解并對信號進行重構(gòu)，抑制肌電噪聲的干擾，獲得0.097 7～6.25 Hz的眼電信號。

眼電信號的預處理過程如圖4所示。可以看到，處理后的信號毛刺少，特征明顯，十分有利于后續(xù)的信號分析。

圖4 眼電信號的預處理過程

3.1.3 識別與分類

隨機森林算法是基于決策樹的組合模型，它的優(yōu)勢在于訓練速度快、精度高和抗噪性強等。本文選取功能十分強大的機器學習算法庫scikit-learn，將準備好的數(shù)據(jù)按特征和標簽區(qū)分，就可實現(xiàn)隨機森林多分類模型的構(gòu)建、預測和性能測試。

我們選取眼電數(shù)據(jù)的時域統(tǒng)計特征：均值、峰值、斜率峰值，對數(shù)據(jù)進行處理。每個決策樹模型 都有一票投票權(quán)來選擇最終結(jié)果。分類決策公式為：

(1)

其中:I(·)為示性函數(shù)，hi(s)是單個決策樹歸類結(jié)果,H(s)表征組合歸類結(jié)果。導入sklearn的tree包，使用DecisionTreeClassifier對模型進行訓練，用graphviz輸出建立的決策樹，輸出結(jié)果如圖5所示。

圖5 決策樹可視化結(jié)果

3.2 頭部姿態(tài)的識別

頭部姿態(tài)控制作為一種人機交互方式，為老年人及肢體殘疾人士提供了更為靈活的操作方式。目前，頭部姿態(tài)識別技術(shù)可分為兩類：一類是基于攝像頭的姿態(tài)圖像識別[8]，另一類是基于可穿戴式傳感器的姿態(tài)識別。基于圖像識別的方法識別準確率高，但該方法對于拍攝角度、燈光等環(huán)境因素要求較高，且需要經(jīng)過相應的圖像識別算法處理，響應速度較慢。因此本文采用了一種基于角度差的雙傳感器頭部姿態(tài)識別方法，利用內(nèi)置數(shù)據(jù)融合算法的傳感器實時采集頭部和輪椅的Yaw(偏航角)、Roll(翻滾角)、Pitch(俯仰角)三軸歐拉角數(shù)據(jù)[9]，根據(jù)兩者的角度差，可實時判斷頭部三維姿態(tài)變化。具體控制原理如圖6所示。

圖6 頭部姿態(tài)控制原理示意圖

在輪椅實際的左右轉(zhuǎn)動過程中，傳感器輸出的Yaw(偏航角)只能從0～360°周期變化，當頭部或輪椅經(jīng)過角度邊界時，角度會發(fā)生360°突變，如圖7所示。此時偏航角的差值將不再是輪椅和頭部間實際的角度差，需要人工進行修正處理。突變修正公式為：

AngleYaw=Yaw±360°

(2)

其中:AngleYaw為修正后的數(shù)據(jù)，Yaw為原始數(shù)據(jù)。

當角度從360°突變至0°時，需要進行360°補償修正，從0°突變至360°時需要進行-360°補償修正。通常當角度發(fā)生突變時，實際檢測的突變值會小于360°，這是由突變時間過短及硬件采集的延時性造成的。經(jīng)過測試，設定角度突變檢測閾值為250°時，檢測效果最佳，檢測成功率高達97%。

圖7 偏航歐拉角度變化示意圖

4 測試與結(jié)果分析

4.1 總體識別準確率

本文的操縱識別率測試方式通過統(tǒng)計20位被測人員發(fā)出指令得到執(zhí)行的正確次數(shù)占比。參與測試的人員隨機在室內(nèi)、室外等各種場合進行5次自由操作測試，測試時長為20分鐘。三類指令識別正確率統(tǒng)計結(jié)果如表2所示。可見被測人員成功利用眨眼進入自由控制模式的識別率在8成以上。頭部姿態(tài)的識別率和眼動信號的識別率均在99%以上，且由于頭部姿態(tài)導向使用了PID算法，操作者能明顯感覺到轉(zhuǎn)向過程的逐步平穩(wěn)，使用流暢、準確度極高。總體識別率取3種指令識別的準確率加權(quán)平均值，為92.25%。

表2 操作識別準確率

4.2 舒適性分析

本文的輪椅舒適性測試方式是：被測人員在完成對輪椅的一系列操作后對其進行體驗問卷調(diào)查。調(diào)查內(nèi)容包括轉(zhuǎn)向流暢程度、操作延時情況、指令識別出錯情況、操作的簡單易用程度以及輪椅的安全性評價等。被測人員根據(jù)自己的主觀感受來確定本次實驗實際舒適性，對其賦一個[0,1]的舒適性數(shù)值，并且該數(shù)值越大表明舒適性越高，高于0.85為“舒適”，低于0.6為“不舒適”，其他則認為是“一般”。

與識別成功率測試類似，參與本方案輪椅人機交互功能測試的人員隨機在室內(nèi)、室外等各種場合進行5次時長為20分鐘的自由操作測試。測試結(jié)束后，對被測人員進行調(diào)查問卷的派發(fā)填寫，隨后收集并整理有效的調(diào)查問卷。由于每個測試人員對舒適性的主觀感受標準不一樣，因此本文選擇了“最大，最小”法對數(shù)據(jù)進行歸一化處理[10]。公式為：

fsij=(faij-fnj)/(fmj-fnj)

(3)

其中:j表示第j個測試人員，fsij和faij分別為第j個測試人員在第i次測試中的舒適度數(shù)值和歸一化數(shù)值，fmj和fnj是5次測試中舒適度的最大值和最小值。

取5次歸一化實驗結(jié)果的平均值，作為每一項實驗的舒適性測試結(jié)果。統(tǒng)計結(jié)果如圖7所示，參加測試人員認為人機交互體驗各個模塊操作“舒服”和“一般”所占比例遠高于“不舒適”所占的比例，因此，本方案的控制方法舒適性測試合格。

圖8 測試結(jié)果圖

5 結(jié)語

本文提出了一種融合眼電信號以及頭部姿態(tài)變化進行操縱的智能輪椅控制策略，并實現(xiàn)了一套完整的輪椅控制系統(tǒng)，重點提升輪椅使用的安全性和舒適性。該融合控制策略，為智能輪椅領(lǐng)域在實用性方面提出了一種新思路，同時也易于推廣到其他不同控制方式的融合。成功將兩種控制方式融合起來，提升用戶體驗和操控的準確程度。同時，也可以將該控制系統(tǒng)模塊化，使其能夠輕松改裝至現(xiàn)有的搖桿控制電動輪椅，為手腳均不便的殘疾人士提供一種輪椅操作系統(tǒng)的升級方案。