基于概率神經(jīng)網(wǎng)絡(luò)的多模態(tài)感知假肢手

焦偉，劉思成，韓博，宮玉琳

（長春理工大學(xué) 電子信息工程學(xué)院，長春 130022）

手是人類最重要的運動執(zhí)行器官之一，人類的大部分工作都是由雙手獨立或協(xié)調(diào)完成，生活、工作、學(xué)習(xí)、運動和交流更是離不開一雙完好的手。人手具有多種自由度，還可以讓人擁有對不同物體的感受：軟、硬、光滑、粗糙、冷、熱等，是人認(rèn)知整個世界必需的身體部件之一。但是對于上肢殘疾的患者來說，手臂的缺失令他們的生活和工作十分不便，讓他們很難融入正常節(jié)奏的社會生活。

隨著傳統(tǒng)電子技術(shù)、機械技術(shù)和人工智能技術(shù)的深度融合，基于肌電信號及傳感器反饋的假肢研究已越來越成為電子技術(shù)和生物醫(yī)學(xué)工程等領(lǐng)域的研究熱點。本文研究設(shè)計一款基于概率神經(jīng)網(wǎng)絡(luò)的多模態(tài)感知假肢手，可以完成十余種手勢動作的識別，并具有觸覺、溫度和滑覺的感知反饋功能，實時采集外部信息并通過相應(yīng)的刺激反饋給人體，實現(xiàn)人與假肢的智能交互。

1 假肢總體結(jié)構(gòu)設(shè)計

1.1 系統(tǒng)總體介紹

人的上肢由32塊骨骼與50余塊肌肉驅(qū)動，具有很高的靈活性與適應(yīng)性，而假肢作為人體缺失肢體的補充替代物，在完成動作數(shù)量、抓握力、開合范圍、模態(tài)感知等方面都有較高的要求。

假肢手具有六自由度，包含拇指的兩個自由度與其余四指分別具有的一個自由度。同時為了滿足手部的感知需求，裝配了觸覺、溫度和滑覺感知反饋傳感器，系統(tǒng)整體結(jié)構(gòu)框圖如圖1所示。

圖1 系統(tǒng)整體結(jié)構(gòu)框圖

系統(tǒng)的核心控制器是意法半導(dǎo)體公司的STM32F系列的103C8T6，程序存儲器容量是64 KB，工作電壓為2～3.6 V，結(jié)合了高性能的RISC內(nèi)核，運行頻率可達(dá)72 MHz，具有高速內(nèi)嵌存儲器，外部連接至兩個APB總線。STM32F103C8T6具有12位模數(shù)轉(zhuǎn)換器、計時器、PWM計時器、標(biāo)準(zhǔn)和高級通信接口，很好地滿足了系統(tǒng)的設(shè)計需求。

1.2 力觸覺感知

假肢手系統(tǒng)力感知部分采用薄膜壓力傳感器FSR402對壓力進(jìn)行采集，其電阻會隨著作用在傳感器表面施加力的變化而變化，當(dāng)壓力增大時，電阻減小，壓力采集的靈敏度范圍在0.02～6 kg，誤差較小。傳感器外接電壓轉(zhuǎn)換模塊，將有壓力時傳感器的電阻變化轉(zhuǎn)換為0～3.3 V的電壓變化和開關(guān)量信號，利用單片機ADC進(jìn)行采集，實時監(jiān)控假肢手指上的壓力變化。

1.3 溫度感知

假肢手采用溫度傳感器HDC1080接觸式溫濕度傳感器，可以同時測量精度較高的溫濕度信息。系統(tǒng)所需溫度系統(tǒng)的溫差范圍為-20℃～50℃，精度為0.2℃，同時此傳感器用于仿生手臂的指尖，對溫度傳感器的大小有一定的要求，所以此溫度傳感器體積必須以小為主，電路需要簡潔。因此，此溫度傳感器HDC1080可以很好地滿足設(shè)計的需要。HDC1080通過IIC進(jìn)行讀寫操作，具有速度快、準(zhǔn)確性強的優(yōu)點。同時溫度傳感器精度達(dá)到±0.2℃，符合設(shè)計要求。

1.4 滑覺感知與信號調(diào)理電路

在假手的有效控制中，滑覺的檢測是一個重要部分。通過滑覺檢測能夠得到假手對物體施加水平壓力的最小數(shù)值。滑覺傳感器是能夠檢測滑動的傳感器。因此采用PVDF壓電薄膜元件LDTO-028K。

PVDF觸滑覺傳感器有兩個作用：一是檢測假手抓取物體時，假手與物體的接觸情況，即作用在物體上的垂直作用力的大小；二是根據(jù)物體的滑動趨勢產(chǎn)生控制物體的作用力。

PVDF在受到外力作用時會產(chǎn)生輕微形變，其材料晶面會因此形變產(chǎn)生電荷信號。因其具有高敏感度、低聲阻抗、高穩(wěn)定性的優(yōu)點，所以可將它用于人體觸滑覺的檢測與判斷[1]。

PVDF傳感器通過檢測其因滑動與觸碰產(chǎn)生的不同的電荷強度來判斷滑動的產(chǎn)生，以此來控制手部動作的力度，實現(xiàn)一定程度上抓取的及時性、準(zhǔn)確性和可靠性。

由于PVDF在外力觸碰情況下產(chǎn)生的是電荷信號，所以需要設(shè)計PVDF傳感器的信號調(diào)理電路來采集觸滑覺信號。電路原理如圖2所示，由電荷放大器、濾波放大電路、主放大電路、陷波電路組成[2]。

圖2 滑覺調(diào)理電路原理圖

2 基于表面肌電信號的手勢動作識別

2.1 肌電信號的采集

人體的運動系統(tǒng)主要由骨骼肌組成，人在生活中的各種身體活動都需要以骨骼肌與完整的神經(jīng)活動作為基礎(chǔ)，肌電信號（EMG）便是肌肉運動時細(xì)胞所產(chǎn)生的動作電位。表面肌電信號（sEMG）是淺層肌肉EMG和神經(jīng)干上電活動在皮膚表面的綜合效應(yīng)，可以通過電極在肌肉表面進(jìn)行引導(dǎo)采集，由于表面肌電信號與肌肉的運動狀態(tài)存在一定的關(guān)聯(lián)性，所以可以在一定程度上反映神經(jīng)肌肉的活動。

實驗表明，肌肉的動作電位可以產(chǎn)生-90～30 mV的電勢差，表面肌電信號的幅值在100～5 000 μV。有用信號的頻率成分位于0～500 Hz范圍內(nèi)。根據(jù)波士頓大學(xué)神經(jīng)肌肉研究中心利用雙極型模型得到的肌電頻譜，絕大部分頻率集中在50～150 Hz之間[3]。

采用MYO臂環(huán)實現(xiàn)對手臂肌電信號的采集如圖3所示。使用者將MYO臂環(huán)佩戴在手臂上，將采集到的表面肌電信號作為假肢手的控制信號，經(jīng)過信號特征提取、模式識別之后輸入假肢手控制器控制假肢手的動作。

圖3 肌電信號采集圖

經(jīng)由MYO臂環(huán)采集到的原始肌電信號經(jīng)過硬件上的濾波和降噪等處理后，仍然會存在工頻噪聲、尖峰幅值等干擾，所以還需要進(jìn)行軟件上的濾波處理[4]。

2.2 活動段檢測

活動段檢測采用移動平均法和閾值法相結(jié)合的方法對動作起始點進(jìn)行檢測，從而得出動作的有效數(shù)據(jù)段[5]，實現(xiàn)該方法的一般步驟如下所示：

（1）對每一類動作的每個通道的原始sEMG信號進(jìn)行絕對化，再滑動求和（滑動長度N=50），通道個數(shù)為I（1≤I≤8）。算法實現(xiàn)為：

式中，I為通道數(shù)；N為單個窗口采樣數(shù)目；xk為采樣點信號幅值。

（2）對所有滑動窗絕對求和后的數(shù)據(jù)求平均值，算法公式為：

式中，l為每一個通道sEMG的采樣點個數(shù)；Emg-MAVI(l)代表通過滑動平均之后的絕對平均值。

針對不同的手勢動作難以確定哪一個通道的sEMG較好，直接將I個通道的Emg-MAVI(l)信號相加，根據(jù)有效的閾值來檢測動作起止點，從而判斷出有效的手勢動作sEMG數(shù)據(jù)段，如圖4所示，經(jīng)過傳感器采集，截取8個通道中的4個通道原始數(shù)據(jù)。

圖4 四個通道的原始數(shù)據(jù)

2.3 特征提取

為挖掘表面肌電信號中隱藏的有用信號，并剔除多余部分信號的干擾，提高對人體行為的識別率，通過提取時域特征來獲取sEMG的特征。

時域特征的提取不需要對肌電信號進(jìn)行任何變換，可直接通過對原始肌電信號時間序列進(jìn)行計算，由于表面肌電信號中信息多集中于500 Hz以下，且時域特征在低頻環(huán)境中有良好的分類性能表現(xiàn)，具有計算復(fù)雜度低的特點[6]。故提取的時域特征有5種。提取以下三種：

通過八通道采集肌電信號，對每一路肌電信號分別提取3種時域特征，共計24種時域特征，所得到的特征參數(shù)將用于手勢動作分類。

2.4 手勢識別

2.4.1 概率神經(jīng)網(wǎng)絡(luò)概述

概率神經(jīng)網(wǎng)絡(luò)（PNN）網(wǎng)絡(luò)模型如圖5所示，該神經(jīng)網(wǎng)絡(luò)分類器采用四層PNN神經(jīng)網(wǎng)絡(luò)算法，它的四層網(wǎng)絡(luò)結(jié)構(gòu)分別是輸入層、模式層、競爭層和輸出層[7]。PNN是一種基于貝葉斯最優(yōu)分類決策理論與核密度估計的概率密度非參數(shù)估計方法的神經(jīng)網(wǎng)絡(luò)算法[8]。相對于其他常見的神經(jīng)網(wǎng)絡(luò)，PNN的主要技術(shù)優(yōu)勢在于：

圖5 PNN神經(jīng)網(wǎng)絡(luò)模型

（1）學(xué)習(xí)的過程較其他的神經(jīng)網(wǎng)絡(luò)更簡單，它可以將原本需要非線性學(xué)習(xí)算法的任務(wù)通過直接使用線性學(xué)習(xí)算法來解決。

（2）收斂速度快，實時性也相對比較好。PNN網(wǎng)絡(luò)中相對應(yīng)的連接權(quán)值就是模型樣本的連接和分布，不必再進(jìn)行訓(xùn)練，連接的權(quán)值由輸入層直接決定。

（3）信息劃分更準(zhǔn)確，對錯誤、噪聲容忍程度更大。當(dāng)代表性的訓(xùn)練樣本數(shù)量已經(jīng)足夠多時，判別面就會逐漸趨向貝葉斯的最優(yōu)分類面。從本質(zhì)上說，PNN是一個監(jiān)督神經(jīng)網(wǎng)絡(luò)分類器。

如圖5所示，從左至右對PNN神經(jīng)網(wǎng)絡(luò)基本模型介紹如下：

（1）第一層為樣本的輸入層；

（2）第二層通過非線性權(quán)值映射出輸入向量與各模式的匹配關(guān)系，稱為模式層；

（3）第三層通過相對線性網(wǎng)絡(luò)將模式層中統(tǒng)一模式的向量做加權(quán)平均，稱為競爭層；

（4）第四層輸出層通過對競爭函數(shù)的臨界值判斷，輸出擁有最大后驗概率密度的神經(jīng)元。

2.4.2 基于概率神經(jīng)網(wǎng)絡(luò)的手勢識別

識別系統(tǒng)通過建立概率神經(jīng)網(wǎng)絡(luò)（PNN）對手勢動作進(jìn)行分類和識別，特征信號d1，d2，…，dn代表n種不同的動作特征數(shù)據(jù)，輸入層接收待識別樣本特征數(shù)據(jù)，該層神經(jīng)元個數(shù)與輸入向量長度相等，輸入向量傳遞給模式層：

式中，p為待分類動作個數(shù)。

模式層計算測試樣本與訓(xùn)練樣本中的每一個樣本的Gauss函數(shù)的取值，得到神經(jīng)元個數(shù)等于訓(xùn)練樣本的個數(shù)。測試樣本D與訓(xùn)練樣本C之間的Gauss函數(shù)取值為：

式中，C為訓(xùn)練樣本；σ為平滑參數(shù)，其值一般在0到1之間。通過調(diào)整可以提高分類精度：

式中，m為訓(xùn)練樣本個數(shù)。

Euclidean為待測試樣本D與訓(xùn)練樣本C的距離，其值為：

模式層高斯函數(shù)的神經(jīng)元被σ激活后，得到初始概率矩陣P：

競爭層的主要作用是線性求和、加權(quán)平均。將模式層中同一模式的神經(jīng)元的輸出做加權(quán)平均，該層神經(jīng)元個數(shù)與樣本模式總數(shù)相同，且與模式層神經(jīng)元建立連接關(guān)系的前提條件是兩者屬于同一模式分類[9]。假設(shè)共有h個動作，并且各類樣本數(shù)量相同，均為k，通過競爭層求得各個樣本屬于各類的初始概率和矩陣S：

輸出層將具有最大后驗概率密度的神經(jīng)元輸出，即可得到分類結(jié)果。

初步建立網(wǎng)絡(luò)模型后，將實驗數(shù)據(jù)的80%，約480組數(shù)據(jù)用于模型訓(xùn)練集。其余約20%的數(shù)據(jù)，共120組用作測試集。通過輸出層的結(jié)果對網(wǎng)絡(luò)的有效性進(jìn)行判斷。

為了測試建立的神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)識別性能，選取8種動作，共32組數(shù)據(jù)對網(wǎng)絡(luò)進(jìn)行測試，動作類型代碼如表1和圖6所示。使用MATLAB搭建概率神經(jīng)網(wǎng)絡(luò)（PNN），測試結(jié)果如圖7所示。發(fā)現(xiàn)在32組數(shù)據(jù)中，只有1組數(shù)據(jù)出現(xiàn)錯誤結(jié)果，識別率可達(dá)到96.8%，識別準(zhǔn)確率如圖8所示。

表1 手勢類型代碼

圖6 手勢動作圖

圖7 測試結(jié)果

圖8 肌電信號動作識別準(zhǔn)確率

可以看出建立的神經(jīng)網(wǎng)絡(luò)識別率較高，說明這三種特征在提取表面肌電信號的特征向量方面具有良好的實用性。比較好地代表了信號的特征。通過使用PNN神經(jīng)網(wǎng)絡(luò)對特征向量進(jìn)行測試，證明了PNN分類模型的識別結(jié)果是可靠的。

3 假肢手的反饋系統(tǒng)設(shè)計

3.1 力觸覺反饋系統(tǒng)

在力的反饋部分，采用機械震動進(jìn)行刺激，該方法裝置簡單，人體感知明顯，響應(yīng)速度快。將模塊貼合于人體皮膚表面，當(dāng)假肢采集到壓力信息，單片機控制震動模塊產(chǎn)生響應(yīng)頻率的震動，人體便可以清楚地感知到作用到假肢上的壓力。

系統(tǒng)硬件組成包括：薄膜壓力傳感器、電壓轉(zhuǎn)換模塊、微型振動器、單片機以及鋰電池等。合理的刺激范圍可以有效的對肢體殘疾者，進(jìn)行觸覺再現(xiàn)，幫助使用者更好地完成假肢動作。

首先由假肢手指部分的薄膜壓力傳感器采集作用于假肢的壓力信息，經(jīng)過電壓轉(zhuǎn)換模塊利用單片機的ADC將壓力信息進(jìn)行采集，然后根據(jù)采集到力的大小確定刺激程度，最后由單片機控制震動系統(tǒng)對人體進(jìn)行觸覺反饋，令使用者可以實時感受壓力情況，從而進(jìn)行動作。

傳感器串聯(lián)一個固定電阻，測量固定電阻兩端的輸出如下：

式中，R0為固定電阻；RS為傳感器電阻。

在一般情況下，固定電阻取值建議是取傳感器應(yīng)用電阻范圍值的1/3到1/2。另外，通過選擇合適的固定電阻可以使壓力和輸出電壓在一定壓力范圍內(nèi)呈現(xiàn)一定程度的近似線性關(guān)系。根據(jù)測量電路的阻抗要求，分壓器后可以加一個運算放大器。

系統(tǒng)電壓轉(zhuǎn)換電路原理如圖9所示，采用分壓電路接法將薄膜壓力傳感器變化的電阻信號轉(zhuǎn)換為可以被處理器識別的電壓信號，電路采用5 V供電，輸出信號范圍0～3.3 V，轉(zhuǎn)換精度±0.1 V。

圖9 線性電壓轉(zhuǎn)換電路原理圖

得到如圖10所示的電壓與力的線性關(guān)系后，將電壓值與震動模塊的振動頻率進(jìn)行函數(shù)關(guān)聯(lián)，當(dāng)電壓值越高，模塊的震動頻率越高，關(guān)系函數(shù)如下：y=-350×adcx+800，其中adcx為單片機采集到的電壓值，y值決定單片機輸出的占空比，從而實現(xiàn)模塊不同程度的震動。

圖10 輸出電壓與施加力的關(guān)系圖

3.2 溫度反饋系統(tǒng)

溫度控制系統(tǒng)有開環(huán)閉環(huán)兩種形式。開環(huán)控制是無反饋控制系統(tǒng)。為提高假肢溫度反饋的舒適度和精準(zhǔn)性采用了閉環(huán)控制。

溫度反饋選擇半導(dǎo)體制冷片，半導(dǎo)體制冷片是利用半導(dǎo)體材料的珀爾帖效應(yīng)制成的，兩端一端能吸熱降溫，另一端能放熱[10]。為實現(xiàn)溫控系統(tǒng)的實時反饋能力，采用常用的PID算法實現(xiàn)對溫度的精準(zhǔn)反饋。

在27℃室溫（T0），5 V供電的情況下，測試傳感器接觸不同溫度的物體，半導(dǎo)體制冷片達(dá)到相應(yīng)溫度的反饋時間，實驗結(jié)果如表2所示。

表2 溫度反饋時間表

實驗結(jié)果表明，在室溫環(huán)境下，假肢接觸到溫度較低的物體時，半導(dǎo)體制冷片達(dá)到目標(biāo)溫度的時間略長于接觸到溫度較高物體的時間，在實際情況下，低溫對假肢的傷害遠(yuǎn)低于高溫。假肢采用的PLA材料溫度耐受能力較好，日常所接觸到的溫度不會對假肢造成過大的物理性損傷，而遇到過高溫度時（大于80℃），可以通過設(shè)置報警裝置以提醒使用者控制假肢離開溫度源，從而達(dá)到高溫時的保護(hù)與日常溫度的反饋感知功能。

3.3 滑覺反饋系統(tǒng)

在對假肢手的控制中，需要控制假手握力精準(zhǔn)度以達(dá)到對不同物體施加最適合的力。使用PVDF壓電薄膜傳感器以檢測微弱的觸滑覺信號。

滑覺反饋系統(tǒng)模擬人的抓握過程。人在抓握物體的時候，通過皮膚的一系列生物感受器確定物體的位置、重量、狀態(tài)等信息，反饋給大腦，并通過大腦控制手指關(guān)節(jié)的握力大小。

假肢系統(tǒng)在采集到手部觸滑覺電信號后，對其進(jìn)行方差和均方根的特征提取，獲得此時抓握的觸覺和滑覺的狀態(tài)。并通過實際的測量獲得觸覺和滑覺中觸碰和滑動的閾值信息。利用判定觸覺或滑覺特征是否大于閾值來檢測手部的抓握狀態(tài)和物體在手中的滑動趨勢。

接觸壓力產(chǎn)生的電信號與滑動所產(chǎn)生的電信號具有明顯的區(qū)別，假手控制系統(tǒng)可以進(jìn)行區(qū)分辨別。在利用PVDF實現(xiàn)假手反饋時，用PVDF傳感器檢測信號判定假手是否與物體接觸，如果未接觸則控制假手關(guān)節(jié)舵機繼續(xù)帶動手指內(nèi)拉，當(dāng)傳感器得到已經(jīng)握住的信號，則停止內(nèi)拉進(jìn)行下一步活動。

PVDF滑覺傳感器主要作用于握住物體后將物體拿起的過程，檢測物體是否具有輕微的滑動。因為手部的滑覺反饋需要非常敏感，以便于在非常短的時間內(nèi)便能通過關(guān)節(jié)舵機內(nèi)拉獲得能夠拿起物體的摩擦力。所以使用PVDF來檢測滑覺信號。若觸碰后拿起時無滑覺信號則握物拿起過程結(jié)束。若觸碰后手指和物體之間接觸力不夠，則繼續(xù)手指內(nèi)握。

圖11為PVDF壓電薄膜接觸物體所產(chǎn)生的滑覺響應(yīng)信號圖，當(dāng)壓電薄膜與物體產(chǎn)生接觸時，會產(chǎn)生一個明顯的脈沖信號，通常選擇以該信號作為接觸特征值。對滑覺的判斷采用閾值法，當(dāng)信號的特征值大于閾值時，認(rèn)為滑動產(chǎn)生。對連續(xù)N個采樣值進(jìn)行計算得到均值和方差，具體計算方式如下：

圖11 觸滑覺響應(yīng)信號圖

4 總結(jié)與展望

本文設(shè)計了一款基于概率神經(jīng)網(wǎng)絡(luò)的多模態(tài)感知假手。其通過MYO臂環(huán)與軟件處理完成肌電信號的采集處理，對多種動作進(jìn)行測試，均取得了較好的分類結(jié)果。觸覺、溫度和滑覺的感知反饋系統(tǒng)有效地幫助肢體殘疾患者重新獲得手臂部分的感知，驗證了此研究的實用性。

隨著人機接口技術(shù)的發(fā)展，利用肌電信號SEMG的手勢識別控制假肢與多種傳感器的結(jié)合作為交互媒介是實現(xiàn)人與機器交流的有效途徑，也是當(dāng)今的研究熱點，人體的運動行為較為復(fù)雜，這也是肌電感知的人機交互過程中的難點[11]。

此系統(tǒng)為基于SEMG的假肢控制與感知反饋的研究和應(yīng)用提供了一次參考。在未來的研究中，可以通過尋找不同患者的SEMG的共性特征與增加容錯機制來提高手勢動作的識別率，完成更多的假肢手部動作以適應(yīng)不同情形下的需要?；蛘呒蓴?shù)量更多的傳感器，通過發(fā)展迅速的智能處理算法處理感知數(shù)據(jù)，獲得更精確的反饋。

基于SEMG和感知反饋的假肢研究仍是未來的研發(fā)熱點，新成果的不斷出現(xiàn)必將為殘疾人的生活帶來更好的改變。