基于深度學習的sEMG與EEG運動意圖識別研究進展

摘" 要：隨著人口老齡化、殘疾人群增加、慢性病患者增多，我國康復醫療服務的需求持續上升，而康復意識薄弱，康復醫學教育發展滯后，康復專業人員缺乏、康復資源緊缺及分配不均等現狀，使得我國康復治療供需矛盾極其突出。目前由康復治療師一對一進行訓練的傳統康復訓練手段難以滿足現階段的治療需求。近年來，隨著人工智能技術的發展，人工智能技術應用于康復領域愈發廣泛，尤其是康復機器人作為主要的工具，有望解決當下康復醫療供需矛盾，完善我國康復醫療體系的發展。目前，康復機器人的發展仍處于起步階段，具有巨大的發展潛力，同時也面臨著許多難點和挑戰。人工智能包含機器學習，其中，深度學習是機器學習的一個重要分支，廣泛應用于表面肌電圖和腦電圖的運動意圖識別分類，可實現康復機器人輔助患者完成對應的運動訓練，康復機器人的應用具有良好的發展前景。該文綜述深度學習應用于表面肌電圖和腦電圖的運動意圖識別研究進展，以期為相關領域的專家學者對康復機器人的研究提供借鑒和參考。

關鍵詞：人工智能;深度學習;康復機器人;表面肌電;腦機接口

中圖分類號：R496" " " 文獻標志碼：A" " " " " 文章編號：2095-2945（2025）02-0001-10

Abstract： With the aging of the population， the increase in the number of disabled people， and the increase in patients with chronic diseases， the demand for rehabilitation medical services in China continues to rise， but the awareness of rehabilitation is weak， the development of rehabilitation medicine education lags behind， the lack of rehabilitation professionals， and there's shortage of rehabilitation resources and uneven distribution， all of which has made the contradiction between supply and demand for rehabilitation treatment extremely prominent. At present， traditional rehabilitation training methods in which rehabilitation therapists conduct one-on-one training cannot meet the treatment needs at this stage. In recent years， with the development of artificial intelligence technology， artificial intelligence technology has become more and more widely used in the field of rehabilitation. In particular， rehabilitation robots， as the main tool， are expected to solve the current contradiction between supply and demand in rehabilitation medical care and improve the development of China's rehabilitation medical system. At present， the development of rehabilitation robots is still in its infancy， with huge development potential， and also faces many difficulties and challenges. Artificial intelligence includes machine learning. Among them， deep learning is an important branch of machine learning. It is widely used in the recognition and classification of motor intentions of surface electromyography and electroencephalography. It can enable rehabilitation robots to assist patients in completing corresponding motor training， with a good prospect for application. This paper reviews the research progress of deep learning applied to motor intention recognition using surface electromyography and electroencephalography， in order to provide reference for experts and scholars in related fields in the research of rehabilitation robots.

Keywords： artificial intelligence; deep learning; rehabilitation robot; surface EMG; brain-computer interface

據《柳葉刀》發布數據稱，全世界約有24.1億人可能需要接受康復治療，我國是全球康復需求最大的國家。康復需求總人數超過4.6億人，其中包括超7 000萬殘疾人群體，我國現僅有康復治療師約5萬人，康復醫師占基本人群比例約0.4∶10萬，并且隨著人口老齡化的加劇，遠遠不能滿足現階段的康復治療需要。傳統的康復訓練方法由康復治療師一對一進行針對性康復治療訓練，受康復治療師水平差異及時間資源等限制，康復治療效果參差不齊。隨著康復工程（Rehabilitation Engineering，RE）的發展，康復機器人已經成為一種新的運動神經康復治療手段，可實現個體化、智能化、精確化的康復訓練。2024年，全國政協十四屆二次會議期間，專家們呼吁社會關注和支持康復事業發展，加強對康復醫學重視，補齊康復醫療短板，并提出運用云計算、大數據、互聯網和人工智能等技術去實現智能康復醫療，是解決當下康復醫療供需矛盾的關鍵路徑，建議加大對康復機器人的支持力度。

早期傳統的康復機器人只能提供被動式的訓練模式，患者無運動意圖的主動參與，即患者肢體完全被動接收康復機器人的帶動執行軌跡進行運動訓練[1]，這種單一的機械化訓練方法缺乏趣味性，降低患者康復治療依從性，更重要的是，康復醫學的臨床研究已證實，有患者運動意圖（運動想象）（Motor Imagery，MI）主動參與的康復訓練，大腦對側初級運動皮層（cM1）的功能磁共振成像（fMRI）激活程度和皮質興奮性顯著優于被動訓練，基于神經可塑性的神經系統重建和運動功能恢復效果更好[2]。近年來，以機器學習（包含深度學習）為代表的人工智能技術在康復機器人研究中得到廣泛應用，智能康復機器人通常基于力和角度傳感器（IMU）采集的數據或腦電圖（Electroencephalogram，EEG）、表面肌電圖（Surface electromyography，sEMG）進行特征提取和分類，建立分類模型對患者運動意圖進行識別，智能康復機器人輔助患者完成對應的運動訓練[3]，具有良好的人機交互性，實現個體化、高效、精確的康復訓練，可激勵患者的主動運動意識，提高康復治療趣味性及患者康復治療依從性，因此，實時準確識別人體運動意圖是實現完美的人機交互和智能康復機器人穿戴舒適性的關鍵。在康復治療中，交互式康復訓練能夠調動患者的積極性，提高了訓練的趣味性并增加患者訓練的依從性。有研究表明，有患者運動意圖參與的康復訓練比被動訓練促進神經系統功能和運動功能的恢復療效更好[4]。在康復領域中，深度學習分類模型常用于對基于腦電圖或表面肌電圖的運動意圖識別，還用于各類疾病的預測、診斷、康復治療的訓練評估和預后評價等，本文主要闡述深度學習應用于腦電圖或表面肌電圖的運動意圖識別研究進展。為了便于讀者了解本領域的研究現狀，下面分別從“基于運動意圖識別的智能康復機器人概述”“基于EEG的運動意圖識別深度學習模型”“基于sEMG的運動意圖識別深度學習模型”3個部分對深度學習應用于康復機器人的研究進展進行回顧和討論。

1" 基于運動意圖識別的智能康復機器人研究概述

目前，基于運動意圖識別的智能康復機器人的發展仍處于起步階段，具有巨大的發展潛力，同時也面臨著許多困難，如何提高識別康復訓練動作運動意圖分類準確度是首要難題，常用骨骼肌肉模型、傳統機器學習模型或深度學習模型等方法進行運動意圖識別。骨骼肌肉模型常基于力、慣性和角度傳感器采集人體運動過程中肢體擺動的角度、速度、 加速度和地面反作用力等運動信息，實時性較差，并且生理參數較多，預測效果較差，難以實現常規、自然的人機交互。傳統的機器學習分類算法包括支持向量機、人工神經網絡、線性判別分析（LDA）、K近鄰算法（KNN）和隨機森林（RF）等，機器學習模型具有計算簡便、運算快、實時性強的特點，然而需要選擇和提取大量特征，選取的特征決定了識別的準確性。并且，基于傳統機器學習的運動意圖識別方法多存在特征提取過程復雜、魯棒性差、預測誤差大等問題。與傳統的機器學習相比，基于深度學習的運動意圖識別具有更高的準確率和更好的平穩性[5]。近年來，深度學習研究應用于人體運動意圖識別成為熱點，深度學習本質上指的是采用具有多層特征結構轉化的人工神經網絡來解決問題的方法。深度學習通過自適應特征提取和分類模塊實現端到端學習，有效改善了模型的非線性、提高了運動意圖識別的準確率，無需依賴手工特征提取[6]。基于深度學習的運動意圖識別可分為2類：離散運動分類和連續運動回歸，近年來，基于深度學習的離散運動分類方法取得了較好的預測效果。由于離散運動分類的運動描述相對簡單，沒有統一的分類標準，無法預測預定義之外的動作。因此，離散運動分類不能應用于可穿戴機器人的流暢控制。康復機器人可大致分為上肢機器人、手部機器人和下肢機器人，康復機器人按照功能特點可以分為輔助型和治療型。

2" 基于腦電圖的運動意圖識別深度學習模型

腦機接口（Brian Computer Interface， BCI）通過大腦信號將神經活動與外部設備間建立直接連接通路，外部設備可采集各類大腦信號，如腦電圖、近紅外譜（NIR）等。根據數據信號采集的位置不同分為侵入式腦機接口和非侵入式腦機接口兩大類[7]。侵入式腦機接口具有創傷性、復雜性等特點很難在康復領域得到廣泛應用，在非侵入性方法中，腦電信號具有較高的時間分辨率、成本效益以及用戶友好型，是最常用的獲取大腦信號的方法。在一側肢體準備和執行動作的過程中，對側感覺運動皮層腦電信號的α頻段（812 Hz）和β頻段（1 330 Hz）的幅度降低，稱為事件相關去同步（ERD），而運動手同側大腦皮質信號的α頻段和β頻段的幅度增加，則稱為事件相關同步（ERS），運動想象腦電信號的分類是基于ERD/ERS現象實現的[8]，在康復領域，常用非侵入性BCI采集EEG對運動想象進行解碼，即基于運動想象的腦機接口（Motor Imagery-Brain ComputerInterface，MI-BCI）技術，通過將運動想象轉換成對外部設備的控制信號，可實現對外部設備的直接控制，可應用于智能康復機器人，可以進行直接的人機信息交互，實現主動、被動或輔助運動訓練。EEG信號微弱，受偽跡和噪聲影響較大，具有非線性和非平穩性的特點。目前，MI-BCI智能康復機器人的技術發展仍在起步發展階段，僅限于特定環境或特定個體，還未能廣泛應用于臨床康復治療，而如何準確識別運動意圖是首要難題。Athanasia等[9]綜述了腦電圖在神經康復的應用，腦電圖是腦機接口（BCI）中最重要的輸入，主要針對神經運動障礙或神經系統創傷的患者，可用于腦卒中、顱腦損傷、脊髓損傷及肌萎縮側索硬化癥等患者的神經康復。MI-BCI有助于患者控制輪椅、假肢、外部機器人等康復輔助器具進行訓練，針對性地結合虛擬現實輔助訓練和通過誘導神經可塑性的行為，可以促進腦卒中或脊髓損傷等患者的神經功能和運動功能的恢復[10]，這種訓練方法已被證實是更先進、更高效的，未來將廣泛應用于腦卒中患者康復訓練[11]。中樞神經系統具有高度的可塑性，具有不斷適應外部環境變化而改變神經信息傳遞效能從而對自身結構和功能進行重組的能力，這是中樞神經損傷后功能恢復的重要理論依據。神經可塑性與大腦中的樹突和軸突、樹突棘密度、突觸數目和大小、受體密度有關[12]。腦卒中、脊髓損傷等中樞神經系統損傷或疾病可通過自發重塑和康復治療引導的經驗依賴性重塑修復神經進行功能代償，促進機體功能的恢復，MI-BCI康復機器人可以改善腦卒中患者的皮質激活與皮質重組，從而誘導神經可塑性，促進大腦殘余神經元連接的逐漸適應，增加突觸前后的神經元連接等改變進行修復[13]。深度學習以其自動特征提取和較高的分類精度成為計算機視覺和自然語言處理領域的研究熱點，非常適合應用于MI-BCI。腦機接口一般可分為5個部分：信號采集、預處理或信號增強、特征提取、分類和控制接口。MI-BCI的深度學習模型常用的有卷積神經網絡、循環神經網絡（RNN）、生成對抗網絡（GAN）和深度信念網絡（DBN）等[14]。

2.1" 上肢MI-BCI深度學習模型

目前，MI-BCI多采用雙側上肢運動任務，而對單側上肢運動想象任務的研究相對較少。Zhang等[15]對單側上肢運動想象腦電信號的識別進行了研究，提出了一種多分支融合卷積神經網絡（Multi-branch Fusion Convolutional Neural Network，MF-CNN），包括2個分支，可以同時從原始腦電信號和二維時頻圖中提取特征，研究中使用的數據集包含3種類型的運動想象任務：手臂向前伸展、握住杯子、手腕向左旋轉，無論是在抓取對象和伸臂任務的二進制分類實驗中或三種任務都用于分類時， MF-CNN算法的分類性能都優于單CNN分支算法。綜上所述，MF-CNN充分利用了腦電的時頻域特性，能夠有效地提高單側上肢運動圖像腦電信號的分類性能，有助于MI-BCI在中風后運動功能康復訓練中的應用。

基于腦電圖的運動想象腦機接口主要用于腦卒中后康復治療，而實際上考慮到卒中患者試驗安全性，以往所進行的基于運動想象腦機接口（BCI）采集的腦電波多來自健康人，同時這也是腦機接口目前用于腦卒中康復領域研究進展中面臨的挑戰和難題。Nagarajan等[16]通過收集健康人的數據，預先訓練MI-BCI模型，研究使用了一種新的遷移學習方法Deep ConvNet進行分類，將健康受試者上肢運動的MI-EEG數據檢測腦卒中患者的運動想象數據。實驗結果表明，通過使用健康受試者的數據對預先訓練的模型進行適應，71 名中風患者的運動想象平均準確率為71.15%，遷移學習后預訓練模型的準確率提高了18.15%（plt;0.001）。使用遷移學習方法在健康人到腦卒中的運動想象腦電信號數據與腦卒中患者之間遷移學習沒有顯著差異（pgt;0.05），并得出腦卒中患者運動想象的檢測與雙側運動、額葉和頂葉區域有關。因此，通過使用健康人到腦卒中患者的上肢運動想象腦電信號數據的遷移學習方法，有效解決了腦卒中患者數據不足的問題。

上肢承擔著復雜、精細、靈巧的動作，尤其手的精細運動障礙，嚴重影響患者日常生活活動，并且，腦卒中后患者手功能康復一直是康復界的難點，也是嚴重影響患者生活質量、阻礙患者重返家庭與社會的重要原因。Xu等[17]使用自監督學習與腦電信號圖像處理相結合的方法。提出了一種基于改良轉換（Modified S-Transform，MST）的對比預測編碼（Contrast Predictive Coding，CPC）模型，即MST-CPC。MST用于獲取時頻特征，以提高運動想象任務識別的解碼性能。CPC可用于生成高級特征，實驗中對健康人與腦卒中患者手部的運動想象任務進行測試，經分類性能評估，平均分類準確率為 89%。該方法可以獲得有效的特征表示并提高MI-BCI系統的性能，該模型具有較高的平均準確率，有效促進了腦機接口技術在康復領域的應用。

目前從大腦皮層來源進行運動學解碼的研究很少，Jain等[18]探索利用腦電皮質源信號解碼手部運動，提出了一種基于殘差卷積神經網絡（CNN）-長短期記憶（LSTM）的運動學解碼模型，該模型利用運動前大腦活動中存在的運動神經元信息，利用實際手部運動學和預測手部運動學之間的相關值（CV）作為源和傳感器域的性能度量來衡量所提出的解碼模型的效率，對提出的深度學習模型在傳感器域和源域的性能進行了比較。實驗結果表明，利用運動前腦電皮質源數據進行手部運動學解碼是可行的。

Cho等[19]為提高MI-BCI的解碼性能和實用性，提出了一種稱為NeuroGrasp的基于CNN-BLSTM結構和卷積SiamNet的兩階段深度學習框架，該方法有效地利用了基于EEG和sEMG的學習，模型訓練過程中的肌電引導使腦-機接口系統能夠準確地從腦電信號中預測手的抓握類型，實驗結果得出，NeuroGrasp在進行在線或離線評估時表現出了穩定的分類性能，未來有望應用此方法準確地控制假肢或機械手。

Cao等[20]提出了一種基于重疊時間窗的腦機接口康復模型訓練方法，該模型使用卷積神經網絡、圖同構網絡（GIN）和長短期記憶3種不同的模型對腦卒中患者手腕伸展運動嘗試（Motor Attempt，MA）進行分類，在不同時間窗長度下進行了多次實驗，結果表明，基于重疊時間窗的深度學習方法在分類精度上取得了提高，其中LSTM結合計票策略（Vote-counting Strategy，VS）在窗口大小為70時達到了最高的平均分類準確率90.3%。結果驗證了重疊時間窗策略對于提高腦機接口康復模型訓練的效率是有效的，同時，分類結果在不同受試者的時間窗口中的分布是不同的，因此，通過為不同的受試者選擇不同的分類窗口來提高分類性能是可行的，未來該模型的研究可以在時間窗口的選擇上展開。

Sergio等[21]為了克服MI-BCI受試者間的差異和分類性能，提出了一種新的深度學習框架，稱為EEGSym，該CNN包括使用初始模塊、殘差連接和大腦沿中矢狀面對稱性的連體網絡方法引入網絡架構的設計，實驗在5個包含280名受試者（目前在類似研究中評估的最大人群）的左手或右手運動想象公開的數據集上，比較EEGSym 在受試者間MI分類與 ShallowConvNet、DeepConvNet、EEGNet和EEG-Inception 等模型的性能，實驗結果得出，EEGSym在主體間MI分類上優于先前的最先進的方法。

腦機接口提供的傳統、有限的類別（通常只有2個或4個）無法實現廣泛的控制模式，為解決這一問題，Bi等[22]提出了一種用于識別6種不同類別的上肢運動想象（包括屈肘、伸肘、前臂旋后、前臂旋前、手張開和手合攏）的時空并行網絡（Time-Spatial Parallel Network，TSPNet），TSPNet包含3個組件：時間維度特征提取器（TDFE）、空間維度特征提取器（SDFE）和時間空間并行特征提取器（TSPFE）。在實驗收集數據集上的準確率為49.1%±0.043%，在公共數據集上的準確率為49.7%±0.029%，優于其他深度學習方法，并且TSPNet能夠為不同頻段的腦電信號中的各種上肢運動圖像類別生成不同的分類器模式。TSPNet為康復機器人、康復外骨骼機械手等腦-機接口控制設備增加自由度提供了可能。

2.2" 下肢MI-BCI深度學習模型

Jeong等[23]提出了混合零訓練BCI的模型，收集下肢運動（步態、坐下、休息）相關的3類MI腦電數據，將多域CNN與時域、頻域和空間域結合進行分類任務進行識別，表現出了較高的分類準確度。

Zhang等[24]提出了一種用于下肢運動想象分類的集成方法，該模型結合了淺層和深層神經網絡的集成方法。淺層為傳統的小波變換和濾波器組共空間模式（Common Spatial Patterns，CSP），深層神經網絡包括常規神經網絡、多頭自注意力和時間卷積網絡。利用左腿和右腿的運動想象以自然的方式驅動下肢外骨骼進行試驗，結果得出，該分類方法對左腿運動想象、右腿運動想象和休息時3個類別達到了60.27%的準確率，下肢運動想象和休息時達到了64.20%的準確率，為步態訓練和下肢外骨骼的發展建立了基礎。

Ortega等[25]開發了一種帶有注意力和殘留層的深度學習架構（a deep-learning architecture with attention and residual layers ，cnnatt） 改進EEG和功能性近紅外光譜（Functional Near-infrared Spectroscopy，fNIRS）的融合。實驗結果得出，EEG和fNIRS的使用改善了雙手力的解碼，為運動康復評估提供了便利。cnnatt的研究還得出來自每只手的力量在大腦皮層水平上的編碼方式不同及大腦皮質活動受到力的水平影響的痕跡，因此，我們可以通過避免手力解碼過程中的手串擾，從而提高BMI機器人設備的魯棒性。

王維振等[26]綜述了下肢運動想象腦機接口的研究進展，其認為目前下肢 BCI-MI任務分類技術仍以傳統的機器學習為主，深度學習模型需要以海量的數據為基礎進行訓練、模型較為復雜及可解釋性差的特點限制了其在下肢BCI-MI的應用。另外，基于多感官誘導、FES和VR技術結合或磁共振功能成像（FMRI）等的下肢MI-BCI范式有利于增強下肢運動想象能力并展現了較好的分類性能，CSP相關的算法及基于腦網絡的算法都具有較高的特征提取性能。

Ferrero[27]為了解決數據可獲得性有限的問題，采集5個受試者佩戴下肢外骨骼行走時的運動想象腦電信號數據，得到小量的數據集，使用遷移學習的方法對來自其他受試者的腦電信號進行訓練模型，然后根據特定用戶對其進行微調，使用2種CNN：EEGNet和DeepConvNet，均利用一維卷積濾波來提取空間和時間域的特征，在使用池化層采集腦電信號數據，實驗結果得出，EEGNet和DeepConvNet框架在使用來自個別受試者的數據重新訓練時都顯示出更高的準確率，與獨立于受試者的訓練相比，準確率提高了9%至12%。

Asanza等[28]通過測試60個受試者，提供了7 440個與運動和運動想象任務的上肢和下肢執行有關的腦電信號的文件數據集，該數據集稱為MILimbEEG，包含左手合攏、右手合攏、左足背屈（DLF）、左足屈曲（PLF）、右足背屈（DRF）、右足屈曲（PRF）和任務間歇休息（REST）等運動想象數據，有助于評估專用于任務識別的EEG信號檢測和分類模型。并且還得出右肢運動活動的檢測在結果中呈現出更高的準確性，原因是只有5%的受試者是左撇子。

3" 基于sEMG的運動意圖識別深度學習模型

sEMG是一種實時記錄神經-肌肉系統活動時的生物電信號，可以通過電極從淺表肌肉收集，通常在肢體運動前30～150 ms產生，包含豐富的特征信息和成熟的采集技術，具有分辨率高、操作簡便、無創性等優點。在臨床上廣泛應用于神經-肌肉系統疾病的診治以及康復治療，并且在康復醫學中具有重要的應用前景。使用表面肌電信號對動作進行識別，可以實現康復機器人輔助康復運動模式。基于sEMG 的人體運動意圖識別可能成為主流[6]。基于傳統機器學習方法的運動意圖識別需要選擇和提取大量特征，常見的 sEMG 信號特征提取方法有時域法、頻域法、時頻域法。深度學習方法一般無需對sEMG 信號特征進行手工選取。到目前為止，基于表面肌電與基于腦機接口深度學習相關的運動意圖識別研究類似，其研究主要集中在上肢，下肢較少。最根本的原因是下肢承載著人體大部分的重量，這對實時性和準確性要求很高。基于sEMG的運動意圖識別的深度學習模型常用的方法為卷積神經網絡和遞歸神經網絡（RNN），常用的RNN 為長短期記憶網絡和時間卷積網絡（TCN）[6]。

3.1" 基于sEMG上肢運動意圖識別深度學習模型

由于個體的皮膚厚度、體脂率、毛發量、肌肉募集程度和電極放置等差各種因素差異，表面肌電信號在不同的受試者之間表現出很大的差異（即使在精確放置電極的情況下），但經過訓練的CNN分類器對這些差異表現出很高的魯棒性[29]。Elbeshbeshy等[30]以受試者前臂內側屈肌群為研究對象，采集前臂屈曲和伸展時的單通道表面肌電信號，用不同的時頻EMG表示來構建用于EMG分類的常規和深度學習模型，使用GoogLeNet、SqueezeNet和AlexNet CNN預訓練模型，實驗結果顯示，3種CNN模型的準確率分別為92.71%、90.63%和87.5%，并且在一個具有10類手指運動數據集上進行了驗證，提高了基于GoogLeNet的模型分類精度。將上述3種深度學習模型與基于手工特征的傳統分類器進行了比較。使用高斯支持向量機獲得了傳統分類器的最佳分類結果，準確率為89.60%，具有良好的動作識別效果。

在對表面肌電信號進行特征提取的過程中，容易丟失重要信息，并且目前技術水平區分康復動作較少且分類精度有待提高。Zhong等[31]為了解決這些難題，提出了一種多尺度時頻信息融合表示法（multiscale time-frequency information fusion representation method，MTFIFR）來獲取多通道表面肌電信號的時頻特征。研究利用4個表面肌電信號傳感器識別12種上肢康復動作，使用多特征融合網絡（Multiple Feature Fusion Network，MFFN）增強特征提取能力，減少了網絡各部分的特征損失和參數個數，并使用深度信念網絡（Deep Belief Network，DBN）作為MFFN的分類模型捕捉表面肌電信號的內在特征，以提高對多種類型上肢運動的泛化能力，實驗結果得出，最高識別正確率為86.10%，平均分類正確率為73.49%，表明該時頻表示方法優于傳統的機器學習和卷積神經網絡，證明多特征融合網絡結構對于表面肌電信號是有意義的。然而在該網絡體系結構中，表面肌電信號的時頻特征提取過程中可能存在冗余特征，未來需要不斷提升特征融合網絡框架的性能，才能將其應用于康復醫學領域。

腦卒中的高致殘率導致許多患者不同程度的手部功能障礙，基于手勢識別的手部虛擬康復系統可達到良好的人機交互和康復效果，而手勢分析和識別是技術的關鍵[32]。Amor等[33]綜述了近年來基于表面肌電信號的手勢識別系統的研究進展和面臨的挑戰。基于表面肌電信號的手勢識別中常用的分類器包括神經網絡、支持向量機、KNN、CNN、LSTM和HMM。LSTM在處理EMG信號中的順序依賴關系方面受到高度重視，使其成為手語識別系統的關鍵組成部分。作者認為，在基于表面肌電的手語識別系統中，LSTM是最適合捕獲序列依賴關系和提高手勢識別性能的算法。Liu等[34]提出了一種新的多通道融合方案，對深度學習中的時間卷積網絡（TCN）進行了改進，并與MSFS方法相結合，測試數據表明，將MSFS與改進的TCN相結合，可以顯著提高實時手勢識別的準確率，準確率為93.69%。

每年因嚴重外傷、嚴重感染、惡性腫瘤等各種原因進行截肢手術的患者不斷增多，截肢者存在較低水平的日常生活能力，實現假手的自由控制可有效提高截肢者生活質量，Li等[35]也綜述了近年來基于深度學習的表面肌電信號的假手運動意圖識別技術的研究進展，并表示基于深度學習技術在利用表面肌電信號準確解釋截肢者的運動意圖方面具有很大的潛力，這對智能假手的發展具有重要意義。然而，個體差異、實時可用性、長期穩定性和sEMG的高變異性、數據的缺乏、硬件設備的缺少等原因仍然是技術發展的關鍵問題。目前的技術只能使用有限數量的模式進行離散分類，并不能解決上肢獨立的、連續的自然運動，未來的研究需重點解決此類問題。并且未來的研究，可嘗試納入智能假手的反饋信息，不斷完善智能假手系統。

Wei等[36]提出一種分層視圖池網絡（Hierarchical View Pooling Network，HVPN）框架，通過從分層匯集的多視點特征空間中學習特定視點的深層特征和視點共享的深層特征，改進了基于表面肌電信號的多通道手勢識別。Wei等[37]還發現了一種漸進融合網絡（Progressive Fusion Network，PFNet）框架，通過融合領域知識引導的特征工程和深度特征學習來改進基于表面肌電信號的手部運動識別，采用三階段漸進融合策略將2個網絡逐步融合在一起。測試結果得出，這2種方法均具有較高的準確度。

Li等[38]提出了一種（Inception-Max Pooling-Squeeze-Excitation，IMSE）模型來拓寬特征圖像的通道信息。實驗提取表面肌電信號的4個代表性特征：2個時域特征IEMG和RMS以及2個頻域特征MDF和MNF得到多視圖融合的表面肌電信號圖，由改良的IMSE模塊、簡單卷積殘差塊、簡單卷積層組成的特征編碼器作為多視點學習的預處理網絡，并以SWT（Swin Transformer）作為分類骨干網絡，從而構成了多視圖學習網絡，實驗結果得出該網絡對手勢動作分類的平均正確率達到93.96%，顯著提高了分類精度。

Guo等[39]提出了一種靈活便攜的、舒適安全的基于表面肌電信號的可穿戴康復手套，利用由表面肌電信號控制的先進的線性集成執行器產生的輔助力，可提供輔助力量訓練手指，并且可基于鏡面療法和任務導向療法的理論進行康復練習。該手套集成4個表面肌電信號傳感器和深度學習算法（1D-CNN算法和InceptionTime算法）。可穿戴手康復系統具有顯著影響腦卒中癱瘓患者的運動恢復的潛力，意味著深度學習技術應用于康復領域進展更進一步。

Lehmler等[40]采集手部運動的數據，從精度、數據需求和訓練時間3個方面，深入分析和比較深度學習基于sEMG解碼特定主題建模和遷移學習等2種常用的方法在解決應用有限數量的訓練數據校準深度學習模型的差異，實驗結果得出，與特定主題建模相比，基于微調的遷移學習在較少的訓練周期和較少的重復次數后就達到了較高的精度，該技術的創新發現具有廣泛應用的潛力。

Zhang等[41]開發了一種基于表面肌電的長短期變壓器特征融合網絡（A Long Shortterm Transformer Feature Fusion Network），簡稱LST-EMG-Net。該方法主要由長時短時編碼和特征交叉注意兩部分組成，在稀疏肌電數據集和高密度表面肌電信號數據集上都保持了對所有類型手勢識別的高精度。與其他網絡結構相比，它提高了手勢識別的穩定性。未來，需要不斷改進LST-EMG-Net框架，實現跨主體手勢識別，從而實現深度學習技術快速高效應用于康復領域。

3.2" 基于sEMG下肢運動意圖識別深度學習模型

譚智峰等[42]以股直肌、股外側肌、股內側肌、半腱、股二頭肌、腓骨長肌、內側腓腸肌和外側腓腸肌等8塊肌肉為研究對象，通過采集受試者進行站立動作、站立單抬腿動作、坐立動作、坐立單抬腿動作和邁步動作等5種康復訓練動作時相應的表面肌電信號，選用截止點為20 Hz（低）和450 Hz（高）的有限脈沖響應帶通濾波器對sEMG信號進行處理，然后進行特征提取，使用密集連接卷積神經網絡（DenseNet）對sEMG信號進行識別。結果顯示，本研究基于DenseNet 網絡模型識別下肢康復動作的方法準確率、精確率、召回率、F1值分別為83.73%、82.56%、86.94%、84.69%，與傳統的機器學習方法相比，具有更好的識別效果。

Yang等[43]提出了一種融合卷積神經網絡和手工特征的人-外骨骼接口，構建了偏癱患者下肢運動預測框架（HCSNet）。通過采集下肢表面肌電信號進行實驗，將HCSNet與3種最新的基于深度學習的運動預測模型（MCSNet、GoogLeNet和ResNet）進行比較。結果表明，在組內設計或者組間設計情況下，HCSNet都具有較好的運動預測性能。

Yu等[44]開發了一種便攜式sEMG信號采集設備，還開發了一款對表面肌電信號進行實時監測和分析的移動應用程序，解決sEMG信號采集設備長時間佩戴引起不便的缺點，具有繪圖、過濾、存儲以及動作捕捉和識別等功能，該實驗收集了6種下肢康復訓練動作（踢腿、腳尖離地、腳跟離地、腳尖離地和腳跟離地、后退和踢腿，以及完整的步行運動）的表面肌電信號，這6種動作從簡單的單肌肉運動過渡到復雜的多個肌群的協調運動，由站立訓練到步行訓練、由易到難漸進性運動，有助于患者逐漸恢復下肢肌肉功能和步態協調性，從而實現更全面和更有效的康復訓練。通過采集上述動作相應的表面肌電信號訓練卷積神經網絡（CNN），實驗結果表明，所有動作的識別準確率均超過97%，最高準確率為97.96%，實現了對人體下肢動作的高精度識別性能，還為下肢運動功能康復的評定提供可靠的信息。未來基于智能手機的生理電信號連續監測系統將成為運動意圖識別研究的一個重要發展趨勢。

Liang等[5]提出了一種基于緊耦合卷積轉換器（Tightly Coupled Convolutional Transformer，TCCT）的端對端的模型表面肌電信號方法來預測人體膝關節角度，TCCT模型結合了Informer和CNN的優點，能夠學習信號的更深層次的特性。研究采集了5名健康受試者的表面肌電信號，經過去噪后提取作為模型的輸入，使用TCCT模型來預測100 ms后的膝關節角度。對預測性能進行分析，模型的均方根誤差、調整R2和皮爾遜相關系數的平均值分別為3.79°、0.96和0.98，預測時間為11.67±0.67 ms，優于傳統的深度學習模型。結果表明，該模型能夠快速、準確地預測人體膝關節角度，在改善康復機器人的人機交互方面具有很大的潛力。

Rezaie等[45]提出了一種集成了雙向長短期記憶（Bidirectional Long Short-term Memory，BiLSTM）網絡和注意機制（Attention Mechanism，AM）的基于深度學習的關節運動學穩健估計模型（AM-BiLSTM），通過采集14名受試者跑步時的表面肌電信號和膝關節角度，對該模型進行評估，將AM-BiLSTM模型在內場景和不同場景中測試與標準的長短期記憶網絡和多層感知器網絡（Multi-Layer Perceptron，MLP）網絡進行比較，結果都顯著優于LSTM和MLP方法（plt;0.05），并且達到了較高的性能。該模型為改善康復機器人的人機交互方面提供了一種新方法，未來不斷改進技術可應用于運動功能障礙患者在康復訓練中直觀地控制外骨骼機器人，促進了基于深度學習sEMG的康復機器人實現更優的人機交互。

Li等[46]提出了一種基于粒子群優化（particle swarm Optimization，PSO）和深度信念網絡（Deep Belief Network，DBN）融合的具有參數自更新機制的膝關節連續運動估計模型。該方法可自適應地優化DBN模型的參數，在高維空間完成信號特征結構的最優重構。實驗結果得出，該模型優于傳統的神經網絡的預測結果。未來將測試復雜的運動模式實現關節肌肉活動的連續性的運動估計，不斷完善模型。

4" 結束語

本文綜述了深度學習在基于sEMG和EEG運動意圖識別的進展，重點介紹了其中的一些創新技術，在康復機器人領域取得了很大的進步，并提出了康復機器人未來發展的趨勢，但都仍面臨著許多困難和挑戰，目前的發展現狀仍處于探索階段。

第一，盡管近年來提出了不少對運動意圖識別的創新性方法，分類準確率整體提高，而實際上，很難找到一種分類模型方法能夠完全識別所有人體運動意圖，并且很難對不同的方法進行有效地比較，即使是對同一動作的運動意圖識別，由于不同的環境、受試者差異、實驗設備等各種原因，即使使用同一種模型分類方法進行測試，分類準確度也可能相差甚遠。并且，未來還需要開發更多運動訓練動作種類的運動意圖識別，實現在三維空間內患肢各個關節訓練的運動意圖高精度的分類識別。還有，目前基于運動意圖識別的康復機器人的研究缺乏統一的行業標準，包括環境要求、數據的采集，受試者的選擇，實驗室設備的參數或條件及評價手段等，這既是康復機器人行業技術能力的體現，也是康復機器人行業高質量發展的需要。

第二，目前還缺乏高質量、標準化的公開數據集，大多數研究使用的數據集是自己收集的，實驗樣本量也普遍較少，導致試驗證據質量較低，因此，很難對不同的深度學習分類模型進行有效地比較，未來需要設計完善多中心、大樣本和多學科交叉的研究試驗。在未來的工作中還應注重建立標準化的數據采集方案以及開發新的校準數據庫，進一步降低自主實驗的難度，并且便于不同方法之間的比較更加具體。

第三，深度學習算法需要大量的數據進行訓練，醫療數據存在安全隱私問題、醫療資源及硬件資源匱乏、訓練時間冗長等原因，也使得目前極其缺乏數據集。基于sEMG或EEG信號的運動意圖識別方法仍處于實驗室階段，真正實現市場化的還很少，而且由于硬件設備結構和材料等限制，大多康復機器人重量過重導致訓練缺乏流暢性，不利于康復訓練，未來發展需通過新材料、優化機械結構和驅動技術研發輕量化的康復機器人提高其舒適性和運動準確性。

最后，目前絕大多數實驗研究識別的是健康人的運動意圖，僅適用于特定用戶訓練完成的，不同受試者之間數據變異性大，樣本遷移學習技術有望解決這一難題。除了需要提高模型的實時性和準確性，還需要提高模型的自適應式和魯棒性。機器人輔助康復治療的安全性、有效性需要大規模臨床試驗驗證，訓練的安全性是首要，只有分類準確度和人機交互性達到較高的水平，才能避免康復機器人輔助訓練出現意外故障，才能真正應用于臨床康復治療。基于運動意圖識別的康復機器人的研究和推廣應用有望解決目前緊缺的醫療康復資源矛盾，但目前發展還處于起步階段，真正實現利用其全面代替臨床醫生為患者進行康復訓練還有很長的路要走。

參考文獻：

[1] 侯增廣，趙新剛，程龍，等.康復機器人與智能輔助系統的研究進展[J].自動化學報，2016，42（12）：1765-1779.

[2] LOTZE M. Motor learning elicited by voluntary drive[J]. Brain， 2003，126（4）： 866-872.

[3] 張偉，孟青云，李敏吉.機器學習在康復機器人研究中的應用[J].軟件，2022，43（9）：87-90.

[4] LOTZE M. Motor learning elicited by voluntary drive[J]. Brain， 2003，126（4）： 866-872.

[5] LIANG T， SUN N， WANG Q， et al. sEMG-Based End-to-End Continues Prediction of Human Knee Joint Angles Using the Tightly Coupled Convolutional Transformer Model[J]. IEEE Journal of Biomedical and Health Informatics， 2023，27（11）： 5272-5280.

[6] 曹夢琳，陳宇豪，王玨，等.基于表面肌電圖的人體運動意圖識別研究進展[J].中國康復理論與實踐，2021，27（5）：595-603.

[7] 楊烈.基于深度學習的MI-EEG解碼方法及其在腦-機接口系統中的應用研究[D].廣州：華南理工大學，2021.

[8] MA W， WANG C， SUN X， et al. MBGA-Net： A multi-branch graph adaptive network for individualized motor imagery EEG classification[J]. Computer Methods and Programs in Biomedicine， 2023，240： 107641.

[9] ATHANASIA T ，EFTHIMIOS D， KONSTANTINOS P， et al.EEG in Neurorehabilitation： A Bibliometric Analysis and Content Review[J].Neurology International，2022，14（4）：1046-1061.

[10] NICOLAS-ALONSO L F， GOMEZ-GIL J. Brain Computer Interfaces， a Review[J]. Sensors， 2012，12（2）： 1211-1279.

[11] 楊幫華，馬駿，邱文政.面向腦卒中疾病的運動想象腦機接口技術[J].人工智能，2021（6）：70-78.

[12] 郭娑，張艷明，申鈺涵.卒中后運動功能康復的腦可塑性理論的研究進展[J].中國老年保健醫學，2018，16（3）：57-61.

[13] 李翔，陳健爾，張輝煌，等.腦機接口康復訓練機器人在腦卒中患者上肢功能康復中的研究進展[J].中國康復醫學雜志，2023，38（2）：263-268.

[14] 謝朋洋，郭亮暉，李陽.基于深度學習的EEG信號處理技術與前沿應用[J].中國體視學與圖像分析，2021，26（1）：1-12.

[15] ZHANG R， CHEN Y， XU Z， et al. Recognition of single upper limb motor imagery tasks from EEG using multi-branch" fusion convolutional neural network[J]. Front Neurosci，2023，17：1129049.

[16] NAGARAJAN A， ROBINSON N， ANG K K， et al. Transferring a deep learning model from healthy subjects to stroke patients in a motor imagery brain-computer interface[J].Journal of Neural Engineering， 2024，21（1）： 16007.

[17] XU F， YAN Y， ZHU J， et al. Self-Supervised EEG Representation Learning with Contrastive Predictive Coding" for Post-Stroke Patients[J]. Int J Neural Syst，2023，33（12）：2350066.

[18] JAIN A， KUMAR L. EEG Cortical Source Feature based Hand Kinematics Decoding using Residual" CNN-LSTM Neural Network[J]. Annu Int Conf IEEE Eng Med Biol Soc，2023：1-4.

[19] CHO J， JEONG J， LEE S. NeuroGrasp： Real-Time EEG Classification of High-Level Motor Imagery Tasks Using a Dual-Stage Deep Learning Framework[J]. IEEE Transactions on Cybernetics，2022，52（12）：13279-13292.

[20] CAO L， WU H， CHEN S， et al. A Novel Deep Learning Method Based on an Overlapping Time Window Strategy for" Brain-Computer Interface-Based Stroke Rehabilitation[J].Brain Sci，2022，12（11）.

[21] SERGIO P， EDUARDO S， VICTOR M， et al. EEGSym： Overcoming Inter-Subject Variability in Motor Imagery Based BCIs With Deep Learning[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering，2022，30：1766-1775.

[22] BI J， CHU M， WANG G， et al. TSPNet： a time-spatial parallel network for classification of EEG-based" multiclass upper limb motor imagery BCI[J]. Front Neurosci， 2023，17：1303242.

[23] JEONG J H， KIM D J， KIM H .Hybrid Zero-Training BCI based on Convolutional Neural Network for Lower-limb Motor-Imagery[C]//International Winter Conference on Brain-Computer Interface.IEEE，2021.

[24] ZHANG J， LIU D， CHEN W， et al. Boosting lower-limb motor imagery performance through an ensemble method for gait rehabilitation[J]. Computers in Biology and Medicine， 2024，169：107910.

[25] ORTEGA P， FAISAL A A. Deep learning multimodal fNIRS and EEG signals for bimanual grip force decoding[J]. J Neural Eng，2021，18（4）.

[26] 王維振，曲皓，雷楊浩，等.下肢運動想象腦機接口的研究進展及康復應用[J].北京生物醫學工程，2023，42（2）：204-211.

[27] FERRERO L， QUILES V， SORIANO-SEGURA P， et al. Transfer Learning with CNN Models for Brain-Machine Interfaces to command lower-limb exoskeletons： A Solution for Limited Data[J]. Annual International Conference of the IEEE Engineering in Medicine and Biology Society. IEEE Engineering in Medicine and Biology Society. Annual International Conference，2023：1.

[28] ASANZA V， LORENTE-LEYVA L L， PELUFFO-ORDó?EZ D H， et al. MILimbEEG： A dataset of EEG signals related to upper and lower limb execution of motor and motor imagery tasks[J]. Data in Brief，2023，50：109540.

[29] KHATTAK A S， ZAIN A， HASSAN R B， et al. Hand gesture recognition with deep residual network using Semg signal[J]. Biomed Tech（Berl），2024：4196-4199.

[30] ELBESHBESHY A M， RUSHDI M A， EL-METWALLY S M. Electromyography Signal Analysis and Classification using Time-Frequency" Representations and Deep Learning[J]. Annu Int Conf IEEE Eng Med Biol Soc，2021：661-664.

[31] ZHONG T， LI D， WANG J， et al. Fusion Learning for sEMG Recognition of Multiple Upper-Limb Rehabilitation Movements[J]. Sensors，2021，21（16）：5385.

[32] 王新宇.基于動態手勢識別的手部虛擬康復系統關鍵技術研究[D].南昌：南昌大學，2022.

[33] AMOR H B A， GHOUL E O， JEMNI M. Sign Language Recognition Using the Electromyographic Signal： A Systematic Literature Review[J]. Sensors （Basel， Switzerland），2023，23（19）：8343.

[34] LIU X， WANG J， HAN T， et al. Real-Time Control of Intelligent Prosthetic Hand Based on the Improved TCN[J]. Applied Bionics and Biomechanics，2022：1-13.

[35] LI W， SHI P， YU H. Gesture Recognition Using Surface Electromyography and Deep Learning for Prostheses Hand： State-of-the-Art， Challenges， and Future[J]. Frontiers in neuroscience，2021，15：621885.

[36] WEI W， HONG H， WU X. A Hierarchical View Pooling Network for Multichannel Surface Electromyography-Based Gesture Recognition[J].Computational Intelligence and Neuroscience，2021：1-13.

[37] WEI W， HU X， LIU H， et al. Towards Integration of Domain Knowledge-Guided Feature Engineering and Deep Feature Learning in Surface Electromyography-Based Hand Movement Recognition[J]. Computational Intelligence and Neuroscience，2021：1-13.

[38] LI G， ZOU C， JIANG G， et al. Multi-view fusion network-based gesture recognition using sEMG data[J]. IEEE Journal of Biomedical and Health Informatics，2023：1-13.

[39] GUO K， ORBAN M， LU J， et al. Empowering Hand Rehabilitation with AI-Powered Gesture Recognition： A Study of an sEMG-Based System[J]. Bioengineering，2023，10（5）： 557.

[40] LEHMLER S J， SAIF-UR-REHMAN M， TOBIAS G， et al. Deep transfer learning compared to subject-specific models for sEMG decoders[J]. J Neural Eng，2022，19（5）.

[41] ZHANG W， ZHAO T， ZHANG J， et al. LST-EMG-Net： Long short-term transformer feature fusion network for sEMG gesture recognitio[J].Frontiers in Neurorobotics，2023，17.

[42] 譚智峰，張磊，苗娟，等.基于sEMG信號的下肢康復動作識別算法[J].科技創新與應用，2023，13（34）：37-40.

[43] YANG X， FU Z， LI B， et al. An sEMG-Based Human-Exoskeleton Interface Fusing Convolutional Neural Networks" With Hand-Crafted Feature[J].Front Neurorobot，2022，16： 938345.

[44] YU S， ZHAN H， LIAN X， et al. A Smartphone-Based sEMG Signal Analysis System for Human Action Recognition[J]. Biosensors（Basel），2023，13（8）：2079-6374.

[45] REZAIE A Z， OLUWAROTIMI S W， ALI A， et al.， et al. An Attention-based Bidirectional LSTM Model for Continuous Cross-Subject Estimation of Knee Joint Angle during Running from sEMG Signals[J]. Annual International Conference of the IEEE Engineering in Medicine and Biology Society. IEEE Engineering in Medicine and Biology Society. Annual International Conference，2023：14.

[46] LI J， LI K， ZHANG J， et al. Continuous Motion Estimation of Knee Joint Based on a Parameter Self-Updating Mechanism Model[J]. Bioengineering，2023，10（9）：1028.

第一作者簡介：陳偉聰（1996-），男，碩士研究生，住院醫師。研究方向為康復醫學智能化。

*通信作者：賴昌生（1970-），男，碩士，三級教授。研究方向為計算機在醫藥領域的應用。