


















摘 要 采集下肢兩通道的表面肌電信號和相應的關節運動信息,對原始表面肌電信號進行預處理。建立基于徑向基函數神經網絡的開環估計模型,以預處理后的表面肌電信號為輸入,關節運動量為輸出。在此基礎上,歸零神經網絡作為一種特殊的遞歸神經網絡被應用到開環模型中,形成一個混合的閉環預測模型。實驗結果表明,所提出的閉環模型能夠有效地消除開環模型的預測誤差,進而能夠更加準確地識別出人體的主動運動意圖,為后續康復機器人的人機交互系統提供有價值的參考。
關鍵詞 表面肌電信號;主動運動;運動意圖;下肢;歸零神經網絡;徑向基函數神經網絡
中圖分類號 TP183 TP391 文獻標識碼 A 文章編號 2096-7721(2024)02-0121-09
A motion intention recognition method of human lower limbs based on recurrent neural network
ZHANG Xin1, LI Wanting1, CHEN Yan2, SUN Zhongbo1
(1. Department of Control Engineering, Changchun University of Technology, Changchun 130012, China; 2. Department of Neurosurgery, the Second Hospital of Jilin University, Changchun 130041, China)
Abstract In order to accurately identify the active motion intention of human lower limbs, the surface electromyography (sEMG) signals of the two channels and the corresponding joint motion information were collected, and the raw sEMG signals were preprocessed. Then an open-loop prediction model based on radial basis function neural network was established, using the preprocessed sEMG signal as the input and the joint motion information as the output. On this basis, as a special recurrent neural network, the zeroing neural network was exploited to the open-loop model to form a hybrid closed-loop prediction model. The experimental results indicated that the proposed closed-loop model can effectively eliminate the prediction error of the open-loop model, and it can more accurately identify the active motion intention of human lower limbs, which lays a reliable foundation for the subsequent human-computer interaction system of the rehabilitation robot.
Key words Surface Electromyography (sEMG); Active Motion; Motion Intention; Lower Limbs; Zeroing Neural Network; Radial Basis Function Neural Network
近年來,腦卒中引起的運動性功能障礙患者不斷增加[1]。腦卒中可造成永久性中樞神經損傷,并且發病率高、復發率高、致殘率高,是目前世界范圍內成人致殘的主要原因之一,給患者家庭和社會帶來了沉重的經濟和勞動負擔。隨著機器人技術的蓬勃發展,用于輔助患者進行康復訓練的智能假肢和外骨骼機器人成為研究熱點[2-3]。相關醫學研究結果提示,長期的人體主動運動激勵有助于中樞神經系統的功能性康復,結合人體主動運動意圖的康復訓練有助于患者恢復。為使人與機器之間能夠更好地結合,要求機器人能夠具有自主適應能力,進而能夠理解人的運動意圖。因此,準確、實時、有效地識別人體運動意圖,為后續的人機交互系統搭建奠定基礎,是實現人機交互的關鍵所在[4]。
生物電信號中蘊含豐富的行為信息,其中表面肌電信號(Surface Electromyography,sEMG)采集技術較為成熟且是無創采集,因此被眾多研究者選擇用來解碼運動意圖。基于sEMG信號的意圖識別研究內容主要分為兩方面:一是對肢體離散動作的分類[5-7];二是對關節連續運動量的估計[8-10]。相對于動作分類,關節連續運動估計更有助于患者康復,其中連續運動估計的研究包含兩種途徑:一種是建立關節動力學模型[11],但模型中存在許多難以被準確測量的生理參數;另一種是直接建立回歸模型用以描述sEMG信號與關節運動量之間的非線性關系,但模型的結構以及數據的分布對于模型的預測結果影響較大。
根據以上描述,本研究提出了一種徑向基函數神經網絡與歸零神經網絡相結合的閉環預測模型[12-15],利用閉環模型能夠有效地消除由徑向基函數神經網絡開環模型導致的預測誤差。通過實驗與分析,驗證了該方法的有效性,進而能夠精準地識別出人體下肢的主動運動意圖,為后續人機交互系統的研究提供價值參考。
1 實驗方法
1.1 數據采集 本次實驗所采用的數據來自2名健康受試者,通過采集正常人的數據來提供一種有效的意圖識別方法,為進一步的康復研究奠定基礎。對于中風患者而言,伸腿與踏車兩種訓練模式對恢復身體機能具有積極作用,所以本次實驗要求受試者模擬踏車運動。關節運動是通過協調不同部位肌肉共同完成的,在同一運動模式下,人體表面肌電信號與關節運動量之間存在不同的相關性。因此,經過相關性計算,選取人體下肢的股直肌與股外側肌來估計髖關節與膝關節的關節角度。
下肢的sEMG信號是利用Biopac系統獲取的,該設備是美國生產的一種無線生理數據采集分析系統。Biopac系統的數據采集頻率為2000 Hz,并且可以同時測量10個通道的生理信號。由于信號采集過程容易受到外部環境干擾,因此應提前對所選取肌肉的皮膚表面進行清潔處理,隨后將電極片粘貼在皮膚表面并記錄相應肌肉的sEMG信號。此外,關節的實際角度是使用采樣頻率為100 Hz的慣性測量單元獲得的,將傳感器分別綁定在下肢髖關節與膝關節上,利用設備獲取受試者1的雙通道原始sEMG信號和實際關節運動角度(如圖1、圖2),受試者2的實驗數據如圖3、圖4所示。由圖1和圖3可得知,原始sEMG信號易受到噪聲干擾,不能直接用作輸入信號,需要進行濾波去噪。
1.2 數據處理 原始sEMG信號是一種微弱且不平穩的信號,其內部包含噪聲干擾,而且與針電極相比,工頻干擾會更加嚴重。因此,需要對原始sEMG信號進行降噪處理。實驗中,對原始sEMG信號采用巴特沃斯數字濾波器,相應的低截止頻率和高截止頻率分別設置為20 Hz和475 Hz。隨后對信號進行全波整流處理,以更加直觀地反映信號幅值變化。
由于采集肌電信號設備的采樣頻率為2000 Hz,角度傳感器的采樣頻率為100 Hz,兩者相差20倍,所以還需要利用時間窗的方式對信號進行降采樣處理,具體過程如下:
(1.1)其中Wl=20為時間窗長度,sEMGs(n)是第n個sEMG信號數據段的平均值。經過降采樣處理使得兩種信號的采樣頻率保持一致,隨后將sEMG信號進行歸一化處理并將其用作關節運動估計的輸入。最終經過一系列預處理后,2名受試者的雙通道sEMG信號如圖5、圖6所示。
1.3 建立動力學模型 根據解剖學,人體由骨骼、骨連接和骨骼肌組成。骨骼通過關節相互連接,從而形成堅硬的人體骨架。肌肉收縮產生的力使連接的關節產生扭矩,進而拉動骨骼產生關節運動。因此,建立下肢動力學方程對研究人體運動過程中關節運動信息的變化具有重要意義。本研究僅考慮了髖關節和膝關節的運動,建立人體下肢骨骼動力學模型,表示關節扭矩與關節運動量之間的關系。
基于拉格朗日-歐拉公式,下肢的骨骼動力學模型可以表述為:
(1.2)其中M為慣性矩陣,C表示向心-科里奧利矩陣,、和分別代表關節的角度、角速度和角加速度,G是重力矩陣,τl是作用在關節上的扭矩。當作用在關節上的扭矩已知,公式(1.2)中的角度和角速度可以重新表述為:
(1.3)其中和表示關節角度和關節角速度。
2 建立預測模型
2.1 徑向基函數神經網絡 在本次實驗中,采用徑向基函數神經網絡(Radial Basis Function Neural Network,RBFNN)建立sEMG信號與下肢關節運動量之間的映射關系。利用RBFNN模型,預測出髖關節和膝關節的運動量,從而識別出人體的運動意圖。然后,估計扭矩可以通過估計出的關節角度、關節角速度并通過公式1.2來求解。實驗中,假設實驗設備采集到的數據如下:
2.2 歸零神經網絡 基于RBFNN模型的下肢運動意圖識別方法是一個開環預測系統。通常,模型的預測值都會與實際測量值存在誤差,而模型的簡化、傳感器之間的噪聲等會使預測誤差增大。由于開環模型沒有自主校正能力,進而會導致估計的下肢運動意圖不準確,無法將預測結果應用于后續的人機交互系統。因此,可以利用閉環估計方法來有效地消除累積誤差。在閉環系統中,如果檢測到預測值與實際測量值存在偏差,就會產生相應的控制函數來消除誤差。
歸零神經網絡(Zeroing Neural Network,ZNN)是一種特殊的遞歸神經網絡,具有指數收斂性。ZNN的主要目的是構造一個誤差函數,例如使RBFNN模型的預測誤差接近于0。尋零問題定義如下:
2.3 RBFNN-ZNN模型 在神經網絡預測模型中引入ZNN的閉環控制,可極大程度上消除誤差影響,從而提高意圖識別的準確率。RBFNN-ZNN閉環系統具有減少干擾、增強模型預測性能等特點。基于公式(1.2),通過RBFNN估計出的總扭矩τM, i可以表示如下:
3 實驗結果
為證明上述方法的可行性,搭建圖8所示的實驗框圖。實驗中,要求2名受試者做模擬踏車運動并持續37 s,利用2名受試者的數據驗證該方法的可靠性。根據實驗處理部分可知,sEMG信號系統與角度傳感器的采樣頻率變為同步,均為100 Hz。因此,當受試者完成指定動作時,分別得到3700組關于sEMG信號與關節運動量之間的數據,將收集到的前一半數據用作預測網絡的訓練數據,其余的一半用作測試數據來觀測網絡性能。基于所構建的實驗框圖,利用RBFNN模型進行下肢運動意圖識別實驗,并探索RBFNN-ZNN模型的優越性。
由圖8可知,實驗流程分為以下幾個步驟:首先,利用實驗設備測量所需運動數據,然后對sEMG信號進行預處理,并將其作為輸入信號。其次,根據RBFNN開環模型估計出的關節運動量計算出相應扭矩,接著利用RBFNN-ZNN閉環模型來消除開環模型的預測誤差。最后,根據預測扭矩得到關節角度,并與實際測量值做對比,識別出人體下肢關節角度。基于以上描述,圖9和圖10分別代表了受試者1的髖關節與膝關節的角度預測值,受試者2的角度估計值分別如圖11和圖12所示。
由2名受試者的關節角度預測值可見,藍色曲線代表實際關節角度,綠色曲線代表RBFNN模型的角度預測結果,紅色曲線代表RBFNN-ZNN模型的角度預測結果。實驗中,將RBFNN開環模型的模型階數設置為10。從角度預測結果中可以發現,RBFNN模型預測出的關節角度與實際角度的軌跡趨勢大致相同,但總體的預測效果并不理想。由于RBFNN模型精度受到模型階數隱藏層神經元個數影響,這種不確定性會導致開環模型存在預測誤差。因此,在關節運動的臨界處會出現抖振現象,預測曲線明顯偏離實際曲線。作為對比實驗,RBFNN-ZNN閉環模型的預測值與實際值更加吻合,這是由于ZNN模型(2.9)對于非線性時變問題的求解具有較高的精度和較強的魯棒性。因此,閉環模型對于關節角度的預測效果明顯優于開環模型。閉環模型極大程度上消除了預測誤差,從而有效地提高了預測精度,并證明了RBFNN-ZNN模型的先進性。
圖13和圖14代表了受試者1的髖關節與膝關節的預測誤差,受試者2的角度預測誤差分別如圖15和圖16所示,其中藍色曲線代表開環模型的預測值與真實測量值的誤差,紅線為閉環模型的估計值與真實值的誤差,可更加直觀地反映該模型的角度預測性能。
從2名受試者的誤差結果中可清楚發現,閉環模型的誤差曲線在0附近以極小幅度擺動且變化穩定,而開環模型的誤差曲線波動較大且變化雜亂。因此,閉環模型具有更好的預測精度和魯棒性。根據2名受試者的實驗數據,驗證了本研究中的預測方法是有效的,能夠準確識別下肢運動意圖。
4 總結與展望
本研究提出了一種RBFNN與ZNN相結合的新穎預測方法,用于估計和識別人體下肢主動運動意圖。通過實驗分析及結果,所提出的RBFNN-ZNN閉環模型能夠有效地消除由于RBFNN開環模型所導致的預測誤差。RBFNN- ZNN模型的整體性能明顯優于RBFNN模型,并對于不確定因素具有較強的魯棒性,進而能夠更加準確地估計出人體的主動運動意圖。未來的工作重點是收集實際患者的臨床數據,提高預測模型性能,為后續的人機交互系統的研究提供可靠的、有價值的參考。
利益沖突聲明:本文不存在任何利益沖突。
作者貢獻聲明:①張鑫負責論文初稿寫作,數據采集與整理分析;②李婉婷、陳巖負責數據采集與整理分析;③孫中波負責論文撰寫,方法指導和方案確定。
參考文獻
[1] NIU C M, BAO Y, ZHUANG C, et al. Synergy-based FES for post-stroke rehabilitation of upper-limb motor functions [J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2019, 27(2): 256-264.
[2] WEN Y, LI M H, SI J, et al. Wearer-Prosthesis interaction for symmetrical gait: a study enabled by reinforcement learning prosthesis control [J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2020, 28(4): 904-913.
[3] WEI D, LI Z J, WEI Q, et al. Human-in-the-loop control strategy of unilateral exoskeleton robots for gait rehabilitation [J]. IEEE Transactions on Cognitive and Developmental Systems, 2019, 13(1): 57-66.
[4] YU X B, HE W, LI Y A, et al. Bayesian estimation of human impedance and motion intention for human-robot collaboration [J]. IEEE Transactions on Cybernetics, 2019, 51(4): 1822-1834.
[5] LIN M W, RUAN S J, TU Y W. A 3DCNN-LSTM hybrid framework for sEMG-based noises recognition in exercise [J]. IEEE Access, 2020. DOI: 10.1109/ACCESS.2020.3021344.
[6] Park S, Wan K C, Kim K. Training-Free Bayesian self-adaptive classification for sEMG pattern recognition including motion transition [J]. IEEE Transactions on Biomedical Engineering, 2019, 67(6): 1775-1786.
[7] HU X H, ZENG H, SONG A G, et al. Robust continuous hand motion recognition using wearable array myoelectric sensor [J]. IEEE Sensors Journal, 2021, 21(18): 20596-20605.
[8] XI X G, JIANG W J, HUA X, et al. Simultaneous and continuous estimation of joint angles based on surface electromyography state-space model [J]. IEEE Sensors Journal, 2021, 21(6): 8089-8099.
[9] LI Z Y, ZHANG D H, ZHAO X G, et al. A temporally smoothed MLP regression scheme for continuous knee/ankle angles estimation by using multi-channel sEMG[J]. IEEE Access, 2020. DOI: 10.1109/ACCESS.2020.2979008.
[10] MA C F, GUO W Y, ZHANG H, et al. A novel and efficient feature extraction method for deep learning based continuous estimation [J]. IEEE Robotics and Automation Letters, 2021, 6(4): 7341-7348.
[11] WANG W Q, HOU Z G, CHENG L, et al. Toward patients’ motion intention recognition: dynamics modeling and identification of iLeg—an llrr under motion constraints [J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2017, 46(7): 980-992.
[12] WANG G, LIU Y B, SHI T, et al. A novel estimation approach of sEMG-based joint movements via RBF neural network [C]. 2019 Chinese Automation Congress (CAC), 2019.
[13] CHAI Y Y, LIU K P, LI C X, et al. A novel method based on long short term memory network and discrete-time zeroing neural algorithm for upper-limb continuous estimation using sEMG signals [J]. Biomedical Signal Processing and Control, 2021. DOI: 10.1016/j.bspc.2021.102416.
[14] JIN L, LI S, HU B. RNN models for dynamic matrix inversion: a control-theoretical perspective [J]. IEEE Transactions on Industrial Informatics, 2017, 14(1): 189-199.
[15] JIN L, YAN J K, DU X J, et al. RNN for solving time-variant generalized Sylvester equation with applications to robots and acoustic source localization [J]. IEEE Transactions on Industrial Informatics, 2020, 16(10): 6359-6369.
編輯:劉靜凱