基于概率神經網絡的多模態感知假肢手

焦偉，劉思成，韓博，宮玉琳

（長春理工大學 電子信息工程學院，長春 130022）

手是人類最重要的運動執行器官之一，人類的大部分工作都是由雙手獨立或協調完成，生活、工作、學習、運動和交流更是離不開一雙完好的手。人手具有多種自由度，還可以讓人擁有對不同物體的感受：軟、硬、光滑、粗糙、冷、熱等，是人認知整個世界必需的身體部件之一。但是對于上肢殘疾的患者來說，手臂的缺失令他們的生活和工作十分不便，讓他們很難融入正常節奏的社會生活。

隨著傳統電子技術、機械技術和人工智能技術的深度融合，基于肌電信號及傳感器反饋的假肢研究已越來越成為電子技術和生物醫學工程等領域的研究熱點。本文研究設計一款基于概率神經網絡的多模態感知假肢手，可以完成十余種手勢動作的識別，并具有觸覺、溫度和滑覺的感知反饋功能，實時采集外部信息并通過相應的刺激反饋給人體，實現人與假肢的智能交互。

1 假肢總體結構設計

1.1 系統總體介紹

人的上肢由32塊骨骼與50余塊肌肉驅動，具有很高的靈活性與適應性，而假肢作為人體缺失肢體的補充替代物，在完成動作數量、抓握力、開合范圍、模態感知等方面都有較高的要求。

假肢手具有六自由度，包含拇指的兩個自由度與其余四指分別具有的一個自由度。同時為了滿足手部的感知需求，裝配了觸覺、溫度和滑覺感知反饋傳感器，系統整體結構框圖如圖1所示。

圖1 系統整體結構框圖

系統的核心控制器是意法半導體公司的STM32F系列的103C8T6，程序存儲器容量是64 KB，工作電壓為2～3.6 V，結合了高性能的RISC內核，運行頻率可達72 MHz，具有高速內嵌存儲器，外部連接至兩個APB總線。STM32F103C8T6具有12位模數轉換器、計時器、PWM計時器、標準和高級通信接口，很好地滿足了系統的設計需求。

1.2 力觸覺感知

假肢手系統力感知部分采用薄膜壓力傳感器FSR402對壓力進行采集，其電阻會隨著作用在傳感器表面施加力的變化而變化，當壓力增大時，電阻減小，壓力采集的靈敏度范圍在0.02～6 kg，誤差較小。傳感器外接電壓轉換模塊，將有壓力時傳感器的電阻變化轉換為0～3.3 V的電壓變化和開關量信號，利用單片機ADC進行采集，實時監控假肢手指上的壓力變化。

1.3 溫度感知

假肢手采用溫度傳感器HDC1080接觸式溫濕度傳感器，可以同時測量精度較高的溫濕度信息。系統所需溫度系統的溫差范圍為-20℃～50℃，精度為0.2℃，同時此傳感器用于仿生手臂的指尖，對溫度傳感器的大小有一定的要求，所以此溫度傳感器體積必須以小為主，電路需要簡潔。因此，此溫度傳感器HDC1080可以很好地滿足設計的需要。HDC1080通過IIC進行讀寫操作，具有速度快、準確性強的優點。同時溫度傳感器精度達到±0.2℃，符合設計要求。

1.4 滑覺感知與信號調理電路

在假手的有效控制中，滑覺的檢測是一個重要部分。通過滑覺檢測能夠得到假手對物體施加水平壓力的最小數值?；X傳感器是能夠檢測滑動的傳感器。因此采用PVDF壓電薄膜元件LDTO-028K。

PVDF觸滑覺傳感器有兩個作用：一是檢測假手抓取物體時，假手與物體的接觸情況，即作用在物體上的垂直作用力的大小；二是根據物體的滑動趨勢產生控制物體的作用力。

PVDF在受到外力作用時會產生輕微形變，其材料晶面會因此形變產生電荷信號。因其具有高敏感度、低聲阻抗、高穩定性的優點，所以可將它用于人體觸滑覺的檢測與判斷[1]。

PVDF傳感器通過檢測其因滑動與觸碰產生的不同的電荷強度來判斷滑動的產生，以此來控制手部動作的力度，實現一定程度上抓取的及時性、準確性和可靠性。

由于PVDF在外力觸碰情況下產生的是電荷信號，所以需要設計PVDF傳感器的信號調理電路來采集觸滑覺信號。電路原理如圖2所示，由電荷放大器、濾波放大電路、主放大電路、陷波電路組成[2]。

圖2 滑覺調理電路原理圖

2 基于表面肌電信號的手勢動作識別

2.1 肌電信號的采集

人體的運動系統主要由骨骼肌組成，人在生活中的各種身體活動都需要以骨骼肌與完整的神經活動作為基礎，肌電信號（EMG）便是肌肉運動時細胞所產生的動作電位。表面肌電信號（sEMG）是淺層肌肉EMG和神經干上電活動在皮膚表面的綜合效應，可以通過電極在肌肉表面進行引導采集，由于表面肌電信號與肌肉的運動狀態存在一定的關聯性，所以可以在一定程度上反映神經肌肉的活動。

實驗表明，肌肉的動作電位可以產生-90～30 mV的電勢差，表面肌電信號的幅值在100～5 000 μV。有用信號的頻率成分位于0～500 Hz范圍內。根據波士頓大學神經肌肉研究中心利用雙極型模型得到的肌電頻譜，絕大部分頻率集中在50～150 Hz之間[3]。

采用MYO臂環實現對手臂肌電信號的采集如圖3所示。使用者將MYO臂環佩戴在手臂上，將采集到的表面肌電信號作為假肢手的控制信號，經過信號特征提取、模式識別之后輸入假肢手控制器控制假肢手的動作。

圖3 肌電信號采集圖

經由MYO臂環采集到的原始肌電信號經過硬件上的濾波和降噪等處理后，仍然會存在工頻噪聲、尖峰幅值等干擾，所以還需要進行軟件上的濾波處理[4]。

2.2 活動段檢測

活動段檢測采用移動平均法和閾值法相結合的方法對動作起始點進行檢測，從而得出動作的有效數據段[5]，實現該方法的一般步驟如下所示：

（1）對每一類動作的每個通道的原始sEMG信號進行絕對化，再滑動求和（滑動長度N=50），通道個數為I（1≤I≤8）。算法實現為：

式中，I為通道數；N為單個窗口采樣數目；xk為采樣點信號幅值。

（2）對所有滑動窗絕對求和后的數據求平均值，算法公式為：

式中，l為每一個通道sEMG的采樣點個數；Emg-MAVI(l)代表通過滑動平均之后的絕對平均值。

針對不同的手勢動作難以確定哪一個通道的sEMG較好，直接將I個通道的Emg-MAVI(l)信號相加，根據有效的閾值來檢測動作起止點，從而判斷出有效的手勢動作sEMG數據段，如圖4所示，經過傳感器采集，截取8個通道中的4個通道原始數據。

圖4 四個通道的原始數據

2.3 特征提取

為挖掘表面肌電信號中隱藏的有用信號，并剔除多余部分信號的干擾，提高對人體行為的識別率，通過提取時域特征來獲取sEMG的特征。

時域特征的提取不需要對肌電信號進行任何變換，可直接通過對原始肌電信號時間序列進行計算，由于表面肌電信號中信息多集中于500 Hz以下，且時域特征在低頻環境中有良好的分類性能表現，具有計算復雜度低的特點[6]。故提取的時域特征有5種。提取以下三種：

通過八通道采集肌電信號，對每一路肌電信號分別提取3種時域特征，共計24種時域特征，所得到的特征參數將用于手勢動作分類。

2.4 手勢識別

2.4.1 概率神經網絡概述

概率神經網絡（PNN）網絡模型如圖5所示，該神經網絡分類器采用四層PNN神經網絡算法，它的四層網絡結構分別是輸入層、模式層、競爭層和輸出層[7]。PNN是一種基于貝葉斯最優分類決策理論與核密度估計的概率密度非參數估計方法的神經網絡算法[8]。相對于其他常見的神經網絡，PNN的主要技術優勢在于：

圖5 PNN神經網絡模型

（1）學習的過程較其他的神經網絡更簡單，它可以將原本需要非線性學習算法的任務通過直接使用線性學習算法來解決。

（2）收斂速度快，實時性也相對比較好。PNN網絡中相對應的連接權值就是模型樣本的連接和分布，不必再進行訓練，連接的權值由輸入層直接決定。

（3）信息劃分更準確，對錯誤、噪聲容忍程度更大。當代表性的訓練樣本數量已經足夠多時，判別面就會逐漸趨向貝葉斯的最優分類面。從本質上說，PNN是一個監督神經網絡分類器。

如圖5所示，從左至右對PNN神經網絡基本模型介紹如下：

（1）第一層為樣本的輸入層；

（2）第二層通過非線性權值映射出輸入向量與各模式的匹配關系，稱為模式層；

（3）第三層通過相對線性網絡將模式層中統一模式的向量做加權平均，稱為競爭層；

（4）第四層輸出層通過對競爭函數的臨界值判斷，輸出擁有最大后驗概率密度的神經元。

2.4.2 基于概率神經網絡的手勢識別

識別系統通過建立概率神經網絡（PNN）對手勢動作進行分類和識別，特征信號d1，d2，…，dn代表n種不同的動作特征數據，輸入層接收待識別樣本特征數據，該層神經元個數與輸入向量長度相等，輸入向量傳遞給模式層：

式中，p為待分類動作個數。

模式層計算測試樣本與訓練樣本中的每一個樣本的Gauss函數的取值，得到神經元個數等于訓練樣本的個數。測試樣本D與訓練樣本C之間的Gauss函數取值為：

式中，C為訓練樣本；σ為平滑參數，其值一般在0到1之間。通過調整可以提高分類精度：

式中，m為訓練樣本個數。

Euclidean為待測試樣本D與訓練樣本C的距離，其值為：

模式層高斯函數的神經元被σ激活后，得到初始概率矩陣P：

競爭層的主要作用是線性求和、加權平均。將模式層中同一模式的神經元的輸出做加權平均，該層神經元個數與樣本模式總數相同，且與模式層神經元建立連接關系的前提條件是兩者屬于同一模式分類[9]。假設共有h個動作，并且各類樣本數量相同，均為k，通過競爭層求得各個樣本屬于各類的初始概率和矩陣S：

輸出層將具有最大后驗概率密度的神經元輸出，即可得到分類結果。

初步建立網絡模型后，將實驗數據的80%，約480組數據用于模型訓練集。其余約20%的數據，共120組用作測試集。通過輸出層的結果對網絡的有效性進行判斷。

為了測試建立的神經網絡的學習識別性能，選取8種動作，共32組數據對網絡進行測試，動作類型代碼如表1和圖6所示。使用MATLAB搭建概率神經網絡（PNN），測試結果如圖7所示。發現在32組數據中，只有1組數據出現錯誤結果，識別率可達到96.8%，識別準確率如圖8所示。

表1 手勢類型代碼

圖6 手勢動作圖

圖7 測試結果

圖8 肌電信號動作識別準確率

可以看出建立的神經網絡識別率較高，說明這三種特征在提取表面肌電信號的特征向量方面具有良好的實用性。比較好地代表了信號的特征。通過使用PNN神經網絡對特征向量進行測試，證明了PNN分類模型的識別結果是可靠的。

3 假肢手的反饋系統設計

3.1 力觸覺反饋系統

在力的反饋部分，采用機械震動進行刺激，該方法裝置簡單，人體感知明顯，響應速度快。將模塊貼合于人體皮膚表面，當假肢采集到壓力信息，單片機控制震動模塊產生響應頻率的震動，人體便可以清楚地感知到作用到假肢上的壓力。

系統硬件組成包括：薄膜壓力傳感器、電壓轉換模塊、微型振動器、單片機以及鋰電池等。合理的刺激范圍可以有效的對肢體殘疾者，進行觸覺再現，幫助使用者更好地完成假肢動作。

首先由假肢手指部分的薄膜壓力傳感器采集作用于假肢的壓力信息，經過電壓轉換模塊利用單片機的ADC將壓力信息進行采集，然后根據采集到力的大小確定刺激程度，最后由單片機控制震動系統對人體進行觸覺反饋，令使用者可以實時感受壓力情況，從而進行動作。

傳感器串聯一個固定電阻，測量固定電阻兩端的輸出如下：

式中，R0為固定電阻；RS為傳感器電阻。

在一般情況下，固定電阻取值建議是取傳感器應用電阻范圍值的1/3到1/2。另外，通過選擇合適的固定電阻可以使壓力和輸出電壓在一定壓力范圍內呈現一定程度的近似線性關系。根據測量電路的阻抗要求，分壓器后可以加一個運算放大器。

系統電壓轉換電路原理如圖9所示，采用分壓電路接法將薄膜壓力傳感器變化的電阻信號轉換為可以被處理器識別的電壓信號，電路采用5 V供電，輸出信號范圍0～3.3 V，轉換精度±0.1 V。

圖9 線性電壓轉換電路原理圖

得到如圖10所示的電壓與力的線性關系后，將電壓值與震動模塊的振動頻率進行函數關聯，當電壓值越高，模塊的震動頻率越高，關系函數如下：y=-350×adcx+800，其中adcx為單片機采集到的電壓值，y值決定單片機輸出的占空比，從而實現模塊不同程度的震動。

圖10 輸出電壓與施加力的關系圖

3.2 溫度反饋系統

溫度控制系統有開環閉環兩種形式。開環控制是無反饋控制系統。為提高假肢溫度反饋的舒適度和精準性采用了閉環控制。

溫度反饋選擇半導體制冷片，半導體制冷片是利用半導體材料的珀爾帖效應制成的，兩端一端能吸熱降溫，另一端能放熱[10]。為實現溫控系統的實時反饋能力，采用常用的PID算法實現對溫度的精準反饋。

在27℃室溫（T0），5 V供電的情況下，測試傳感器接觸不同溫度的物體，半導體制冷片達到相應溫度的反饋時間，實驗結果如表2所示。

表2 溫度反饋時間表

實驗結果表明，在室溫環境下，假肢接觸到溫度較低的物體時，半導體制冷片達到目標溫度的時間略長于接觸到溫度較高物體的時間，在實際情況下，低溫對假肢的傷害遠低于高溫。假肢采用的PLA材料溫度耐受能力較好，日常所接觸到的溫度不會對假肢造成過大的物理性損傷，而遇到過高溫度時（大于80℃），可以通過設置報警裝置以提醒使用者控制假肢離開溫度源，從而達到高溫時的保護與日常溫度的反饋感知功能。

3.3 滑覺反饋系統

在對假肢手的控制中，需要控制假手握力精準度以達到對不同物體施加最適合的力。使用PVDF壓電薄膜傳感器以檢測微弱的觸滑覺信號。

滑覺反饋系統模擬人的抓握過程。人在抓握物體的時候，通過皮膚的一系列生物感受器確定物體的位置、重量、狀態等信息，反饋給大腦，并通過大腦控制手指關節的握力大小。

假肢系統在采集到手部觸滑覺電信號后，對其進行方差和均方根的特征提取，獲得此時抓握的觸覺和滑覺的狀態。并通過實際的測量獲得觸覺和滑覺中觸碰和滑動的閾值信息。利用判定觸覺或滑覺特征是否大于閾值來檢測手部的抓握狀態和物體在手中的滑動趨勢。

接觸壓力產生的電信號與滑動所產生的電信號具有明顯的區別，假手控制系統可以進行區分辨別。在利用PVDF實現假手反饋時，用PVDF傳感器檢測信號判定假手是否與物體接觸，如果未接觸則控制假手關節舵機繼續帶動手指內拉，當傳感器得到已經握住的信號，則停止內拉進行下一步活動。

PVDF滑覺傳感器主要作用于握住物體后將物體拿起的過程，檢測物體是否具有輕微的滑動。因為手部的滑覺反饋需要非常敏感，以便于在非常短的時間內便能通過關節舵機內拉獲得能夠拿起物體的摩擦力。所以使用PVDF來檢測滑覺信號。若觸碰后拿起時無滑覺信號則握物拿起過程結束。若觸碰后手指和物體之間接觸力不夠，則繼續手指內握。

圖11為PVDF壓電薄膜接觸物體所產生的滑覺響應信號圖，當壓電薄膜與物體產生接觸時，會產生一個明顯的脈沖信號，通常選擇以該信號作為接觸特征值。對滑覺的判斷采用閾值法，當信號的特征值大于閾值時，認為滑動產生。對連續N個采樣值進行計算得到均值和方差，具體計算方式如下：

圖11 觸滑覺響應信號圖

4 總結與展望

本文設計了一款基于概率神經網絡的多模態感知假手。其通過MYO臂環與軟件處理完成肌電信號的采集處理，對多種動作進行測試，均取得了較好的分類結果。觸覺、溫度和滑覺的感知反饋系統有效地幫助肢體殘疾患者重新獲得手臂部分的感知，驗證了此研究的實用性。

隨著人機接口技術的發展，利用肌電信號SEMG的手勢識別控制假肢與多種傳感器的結合作為交互媒介是實現人與機器交流的有效途徑，也是當今的研究熱點，人體的運動行為較為復雜，這也是肌電感知的人機交互過程中的難點[11]。

此系統為基于SEMG的假肢控制與感知反饋的研究和應用提供了一次參考。在未來的研究中，可以通過尋找不同患者的SEMG的共性特征與增加容錯機制來提高手勢動作的識別率，完成更多的假肢手部動作以適應不同情形下的需要?；蛘呒蓴盗扛嗟膫鞲衅?，通過發展迅速的智能處理算法處理感知數據，獲得更精確的反饋。

基于SEMG和感知反饋的假肢研究仍是未來的研發熱點，新成果的不斷出現必將為殘疾人的生活帶來更好的改變。