中圖分類號：TP391 文獻標志碼：A 文章編號：2095-2945（2025）23-0038-04

Abstract：Withthedevelopmentofdeplearningtechnology，electromyographic （EMG）actionrecognitiontechnologyhas achievedmanysignificantachievements.However，singlemodeEMGdataisdficulttofulldescribethemovementintention containedinEMGsignals.ThisresearchfocusesontheEMGgesturerecognitiontechnology，proposesamotionrecognitionmethod basedonmulti-modaldatafusion，focusesontheanalysisoftherecognitionaccuracyandtimeconsumptionofthemethodand comparesitwiththeactionrecognitionmethodbasedonsinglemodetoveriftheefectivenessoftheproposedmetod.Thisstudy will provide useful theoretical references for the developmentof electromyographicactionrecognition technology.

Keywords： electromyographic（EMG）;gesture recognition; multimodal;Deep Learning; exercise posture

肌電信號由于其易采集及可以表達人體運動意圖的特性被廣泛地應用于假肢、康復機器人及智能家居設備的控制信號。然而，單一的肌電信號難以充分地描述肌電信號中包含的大腦真實控制指令，導致用戶在使用的過程中需要承擔極大的精神負擔以保證設備的準確控制。本研究采用肌電信號及運動姿態信號構建一種多模態動作識別系統以提高系統動作識別的識別正確率并降低用戶使用的精神負擔。首先，結合肌電傳感器、MPU6050芯片及STM32開發板搭建多模態數據采集平臺以采集多模態，并引入HoloLens2設備設計虛擬現實任務統一不同被試間的運動姿態。其次，基于深度學習方法搭建多模態深度學習模型，并對模型進行訓練和測試。最后，通過對比所提出方法與單一模態的動作識別方法的分類正確率及相應時間以驗證所提出系統的有效性及實時性。

1多模態信號的采集與預處理

本研究搭建了多模態數據采集平臺以獲取不同模態的信號數據。多模態數據采集平臺結構如圖1所示。該平臺由Noraxon肌電采集設備、HoloLens2、激光筆、MPU6050芯片及STM32開發板組成。

圖1多模態數據采集平臺

我們采集了7個通道的肌電信號數據，每一個通道對應的肌肉分別為：肱二頭肌、肱三頭肌、橈側腕屈肌、肽橈肌、尺側腕屈肌、尺側腕伸肌和趾總伸肌。所有的肌電信號的采樣頻率為 1500Hz 并采用4階巴特沃斯濾波器對信號進行 20～500Hz 的帶通濾波4]。MPU6050芯片被用于采集人體的運動姿態數據，運動姿態數據由三軸的歐拉角組成，采樣頻率為 100Hz_? 0運動姿態數據經由串口通信技術，由STM32控制半傳輸至電腦端以保證運動姿態數據與肌電數據的同時采集。在采集完所有的信號后，我們對所有的信號進行標準化處理。標注化方法如公式（1）所示。其中 x_i 為信號的第 i 個采樣點， u 為所有信號的平均值， σ 為所有信號的方差

此次實驗共有10名被試參加，所有被試均沒有神經疾病的病史。在進行實驗前，所有被試均被告知了實驗的流程和實驗的目的。

在采集數據的過程中，被試需要全程佩戴7個通道的肌電信號傳感器并將裝有MUP6050芯片的激光筆放置在手背位置。被試需要控制激光筆投影的綠色十字去跟蹤HoloLens2中紅色十字的軌跡來完成相應動作。我們設計了9種不同的動作，所有動作的描述見表1。

表1動作描述

活層。卷積核數量分別為64和96，卷積核大小分別為23和12。池化層大小分別為15和5，步長分別為15和5。第3個卷積模塊僅包含卷積層、歸一化層及激活函數層。卷積核數量為128，卷積核大小為11。所有模塊中的隨機失活層的失活概率被設置為0.5。一個肌電信號數據的樣本作為該網絡的輸人，大小為 375×7 1 250ms 窗口長度包含的肌電數據樣本 ?×7 個通道）。

每個動作重復5次，每次時長為5s。為了避免被試出現疲勞的狀況，每次重復后休息5s，每個動作間休息 2min 。在采集完信號后，使用長度為 250ms ，步長為 50ms 的滑動窗口對肌電信號數據及運動姿態數據進行分割得到數據樣本。每次重復包含96個數據樣本，實驗全程包含4320個數據樣本。

2基于深度學習方法的多模態動作識別模型構建及實驗評估方法

2.1基于深度學習方法的多模態動作識別模型構建

本研究采用TensorFlow框架來構建多模態深度神經網絡模型，模型的結構如圖2所示。模型由2個卷積神經網絡連接而成。

第一個卷積神經網絡主要負責對肌電信號特征的提取，包含3個卷積模塊。前2個卷積模塊均包含卷積層、歸一化層、Relu激活函數層、池化層及隨機失

圖2多模態動作識別模型結構

第二個卷積神經網絡主要負責對運動姿態信號的特征的提取，只包括一個卷積模塊。該模塊包含卷積層、歸一化層、Relu激活函數層、池化層及隨機失活層。卷積和數量為65，卷積核大小為23。池化層大小為15，步長為15。隨機失活層的概率被設置為 0.5 一個運動姿態的數據樣本作為該網絡的輸入，大小為25×3 （ 250ms 窗口長度包含的肌電數據樣本 ?×3 個軸的角度）。

在經過2個卷積神經網絡的特征提取后，2個網絡提取的特征分別由一個扁平層進行拉伸后，再由一個拼接層將2種不同模態的特征進行拼接。最后通過全連接層與歸一化指數函數層計算該特征屬于不同種類動作的概率，最后輸出動作的識別結果。

所有的模型均在一個具有 NVIADIA QuadroP620的電腦上進行搭建，使用隨機梯度下降（SGD）優化器進行訓練。動量設為0.8，學習速率設為 0.01 。

2.2 實驗評估方法

為了驗證所提出多模態融合模型的有效性，我們對比了單一肌電模態的卷積神經網絡模型、單一加速度模態的卷積神經網絡模型和多模態的卷積神經網絡模型在動作識別任務中的分類正確率及時間消耗。我們將4320個數據樣本分成相等的5份，選擇4份數據作為訓練集用于模型的訓練，選擇剩下的一份數據作為測試集用于模型的測試。為了避免模型的過擬合風險，我們進一步采用5折交叉驗證的方式對數據進行處理，確保每一份數據都進行過測試并取5次測試的平均值]。

本研究采用t檢驗來分析實驗結果的顯著性差異，顯著性標準設置為0.05。所有的統計學分析均在IBM ⑧ SPSSStatistics 22軟件上進行。

3 結果與討論

3.1 不同模型的分類正確率結果

不同模態模型的分類正確率結果如圖3所示。肌電模態卷積神經網絡的平均分類正確率為0.937，運動姿態模態卷積神經網絡的平均分類正確率為0.983，多模態卷積神經網絡的平均分類正確率為0.991。運動姿態模態卷積神經網絡與多模態卷積神經網絡對動作的識別正確率要顯著高于肌電模態卷積神經網絡的動作識別正確率（ plt;0.0001） 。多模態卷積神經網絡的動作識別正確率要顯著地高于運動姿態卷積神經網絡的分類正確率（ _p=0.012 。由于單一的肌電模態難以充分描述大腦的真實控制過程，即便可以達到0.9以上的識別效率仍需要加入其他的模態來進一步提高其動作識別正確率。雖然運動姿態模態卷積神經網絡的分類正確率要顯著高于肌電模態卷積神經網絡的正確率，然而其正確率仍顯著低于多模態卷積神經網絡的分類正確率。不同模態的融合可以進一步提高模型對人體運動過程的表征能力，從而進一步提高模型在動作識別任務中的分類正確率。

圖3不同網絡的分類正確率結果

3.2 不同模型的時間消耗結果

不同模型的時間消耗結果如圖4所示。

肌電模態卷積神經網絡的平均時間消耗為0.232ms ，運動姿態模態卷積神經網絡的平均時間消耗為 0.076ms ，多模態卷積神經網絡的平均時間消耗為 0.489ms 。肌電模態卷積神經網絡與運動姿態模態卷積神經網絡的時間消耗顯著低于多模態卷積神經網絡的時間消耗 plt;0.001? 。運動姿態模態卷積神經網絡的時間消耗要顯著低于肌電模態卷積神經網絡（ plt; 0.001）。隨著不同模態的增加，模型的參數顯著提升，模型參數的增加會顯著提高模型的時間消耗。雖然運動姿態模態的卷積神經網絡具有最低的時間消耗，然而其分類正確率要低于多模態卷積神經網絡，且多模態卷積神經網絡的時間消耗要遠小于人類所能忍受的時間延遲（ 300ms ），因此所提出方法同樣可以實現設備的實時控制。

圖4不同網絡的時間消耗結果

4結束語

本研究針對肌電動作識別技術中的單一模態數據局限性，提出了基于多模態數據融合的動作識別方法。通過搭建多模態數據采集平臺，我們成功采集了肌電信號和運動姿態信號，并構建了相應的深度學習模型進行特征提取與分類。實驗結果表明，多模態卷積神經網絡在動作識別任務中的分類正確率顯著高于單一模態的卷積神經網絡，這驗證了多模態數據融合在提高動作識別準確性方面的有效性。同時，我們也對不同模型的時間消耗進行了評估。盡管多模態卷積神經網絡的時間消耗相對較高，但其仍遠小于人類所能忍受的時間延遲，因此在實際應用中可以實現設備的實時控制。這一發現為多模態數據融合在肌電動作識別領域的實際應用提供了有力支持。此外，本研究還采用t檢驗對實驗結果進行了顯著性差異分析，進一步增強了實驗結果的可靠性和說服力。通過對比不同模態模型的分類正確率和時間消耗，我們不僅驗證了多模態數據融合的優勢，也為后續研究提供了有益的參考。

本研究提出的基于多模態數據融合的動作識別方法為肌電動作識別技術的發展提供了新的思路和方法。在未來的工作中，我們將繼續探索更多模態數據的融合方法，以進一步提高動作識別的準確性和實時性，為假肢控制、康復機器人及智能家居設備等領域的實際應用提供更為強大的技術支持。

參考文獻：

[1]王玉金，聶子蕓，羅夢霞，等.手功能康復機器人及其運動意圖識別研究進展[J].重慶理工大學學報（自然科學），2025，39（5）：156-162.

[2]XIONG D，ZHANG D，CHU Y，etal.Intuitive Human-Robot-Environment Interaction with EMG Signals： A Re-view[J].IEEE/CAA Journal of Automatica Sinica，2O24，11（5）：1075-1091.

[3]王湃，吳凡，郭春勇.基于多模態生物電信號的游戲控制系統[J].微納電子與智能制造，2022，4（3）：76-82.

[4]張銳浩.面向手勢識別的高性能肌電手環設計與關鍵技術研究[D].太原：中北大學，2024.

[5]牛苗赫，雷飛.面向下肢外骨骼的運動意圖識別算法研究[J]智能系統學報，2025，20（2）：407-415.

[6]張明進.基于sEMG解析的實時手勢識別與仿生假手控制[D].保定：河北大學，2024.

[7]顧玉平，李憲華，張康，等.基于表面肌電信號的上肢康復動作識別[J].洛陽理工學院學報（自然科學版），2024，34（3）：56-61.

[8]齊霽.基于留一交叉驗證的擬合優度比較研究[D].濟南：山東大學，2022.