李釗 馬斌 李海 于朱庭 江海岳



摘要:針下肢外骨骼機器人協同步態預測和控制方法,結合三維圖形學,提出一種體系研究方案,并通過實時仿真對人機協同效率進行評估。通過實時采集人體運動信息和肌電信息,構造虛擬人體運動骨骼模型,預測運動步態,并采用三維骨骼重定向技術對機器人運動進行實時控制,達到人機協同運動效果。實驗證明,當人體動作變化時,在仿真環境中外骨骼機器人能夠實時同步人體動作。
關鍵詞:體系結構設計;圖形學;外骨骼;重定向算法
中圖分類號:TP391? ? ? 文獻標識碼:A
文章編號:1009-3044(2022)18-0056-03
開放科學(資源服務)標識碼(OSID):
1? 引言
可穿戴外骨骼機器人是能夠識別人體運動狀態并提供助力、增強人體機能的可穿戴仿生機械裝置[1],在軍用和民用領域有著極大的應用前景。
外骨骼機器人的結構設計包括主動式助力外骨骼機器人以及被動式助力外骨骼機器人[2]。目前大多數研究團隊以主動式的有源助力康復型外骨骼研究為主,代表性的有日本筑波大學研發的下肢康復型外骨骼機器人HAL[3],以及ReWalk[4]、ReLeg[5]等,該類型的外骨骼機器人大多通過按鈕信號或識別啟動信號,通過預定的運動曲線帶動人體運動,適用于腦卒中或行動機能衰退的老年人的復健訓練。文獻[6]所設計的下肢外骨骼Ekso通過預設的4種步態相位結合人體運動數據的步態預測實現外骨骼的控制,文獻[7]所設計的軍用外骨骼機器人HULC通過有限狀態機加液壓驅動的方式實現了有效的助力從而達到輔助士兵訓練的目的。被動式以無動力源的外骨骼為主,根據外骨骼與人體的交互力設計科學的外骨骼結構,合理地布置機械結構能夠對受力進行合理傳導,從而實現無動力外骨骼中“無動力”的要求[8]。
針對不同的應用場景及功能需求,外骨骼機器人有著各種各樣的體系結構設計和控制策略。顯然,如果要求外骨骼機器人自適應穿戴者的意識而進行協同運動,必須要有感知、助力的能力,對穿戴者的運動意圖進行識別和預測[9]。為了增強外骨骼機器人的協同控制效率,針對現有人機協同型外骨骼機器人開發環境的不足,設計了一種外骨骼機器人協同步態控制的體系研究方案和外骨骼重定向協同控制算法,并通過仿真環境對算法進行了可視化評估。
2 下肢外骨骼協同步態控制的體系設計
2.1? 總體結構設計
外骨骼機器人的體系結構,分為硬件系統和軟件系統。為方便真機調試,機器人為外界預留一個以太網接口,研發和維修階段可以通過網絡發送控制命令進行調試。主要包括:人體運動數據采集系統、運動意圖識別分析系統、人工智能預測系統、機器人控制系統。
2.2? 硬件系統設計
硬件系統主要包括外骨骼機器人控制系統以和人體下肢運動數據采集系統。
自主設計的外骨骼機器人結構及硬件系統架構如上圖所示,主要包括控制系統、電源管理系統、驅動系統、傳感器系統。控制系統通過上位機向機器人各硬件、系統發送指令,聯網控制模式下可以接收外部命令。電源管理系統主要管理電源和充電器,就像機器人的心臟,為機器人提供動能管理,負責向下位機、電機、驅動器、傳感器等裝置供電以及開關機電源控制、充電等功能。驅動系統主要管理下位機、驅動器、電機的運動,通過向下位機發送指令,下位機再適配采樣,對時間進行擬合,向電機驅動器發送指令,電機驅動器通過改變電流或電壓來控制電機。傳感器系統主要針對足底傳感器、位姿傳感器以及對從下位機或肌電采集設備上傳的信號進行采集和處理。此外,外骨骼機器人硬件系統可以在服務器軟件層通過以太網接收擴展的智能傳感器設備,如圖2所示為基于柔性面料自制的人體下肢運動數據的采集設備,以擴展采集人體肌電和姿態傳感器收集到的數據。
自制人體下肢肌電信號采集設備上傳感器及其他硬件的分布如圖3 所示。上位機(upper)通過一個集線器連接多個振蕩器(oscillator),每個振蕩器接多路肌電傳感器,肌電傳感器的電極片直接貼在人體皮膚表面采集數據。該信號采集系統通過以太網向調試主機(host)或者外骨骼實時發送預處理后的人體表面肌電信號。
2.3? 軟件系統設計
外骨骼機器人的軟件系統,主要包括外骨骼機器人智能控制系統和人體運動姿態感知系統組成,分別運行在外骨骼機器人控制系統和人體下肢運動數據采集設備上。
外骨骼機器人智能控制系統,是機器人的“大腦”,主要包括控制服務器、多節點協同系統、智能感知系統。
控制服務器通過以太網與外部系統(遠程控制端或人體運動數據采集系統)對接,可以控制外骨骼機器人按照保留錄制的標準動作進行運動。提供傳感器、電機等其他裝置的狀態信息監控接口。
多節點協同系統,將機器人上位機和下位機看作平等協作的節點,對各主機進行時鐘同步、數據流緩沖處理、擬合插值等操作,使各種智能傳感器、電機的數據在同一時鐘周期下,并通過智能感知系統的分析,對各節點進行協同控制。
人體運動姿態感知系統通過分析由肌電傳感器和姿態傳感器以及足底壓力傳感器等輸出的多模態人體運動數據,反饋識別或預測結果,對機器人的步態進行協同控制。步態識別通過機器學習算法對多模態運動數據訓練識別模型并輸出人體步態相位的識別結果。步態預測通常是在步態相位識別基礎上,通過深度神經網絡對姿態關節角度進行預測。
但是系統的預測結果是以人體下肢為模型的關節角度預測,即使外骨骼機器人的骨骼和人體的骨骼在外觀上高度類似,但人體和機器人的關節之間相對位置的不會完全相同,所以還需要經過下文將要介紹到的重定向協同步態控制算法,將預測運動數據映射到外骨骼機器人結構運動數據,從而實現對機器人的控制。
3 重定向協同步態控制算法設計
3.1 人機協同的工作機制
人類下肢運動是通過髖關節、膝關節和踝關節的協同運動實現。為了識別人體運動意圖,可對人體骨骼進行建模識別,一般以后背腰椎處作為錨點。協同運動的一個前置需求是機器人能夠根據人體動作從動。
根據人體下肢關節的自由度與下肢外骨骼機器人的機械結構,圖4定義了人體下肢骨骼和下肢外骨骼的邏輯結構模型。并對上述兩種結構的運動姿態矩陣作出如下定義:
[SH={QH[i]|0≤i≤n}]? ? ? ? ? ? ? ? (1)
[SR={QR[i]|0≤i≤n}={Al[i],Ar[i]|0≤i 其中,[SH]和[SR]代表虛擬人體結構和外骨骼結構的姿態矩陣,[n]代表關節個數。[QH[i]]和[QR[i]]分別代表人體和外骨骼下肢第[i]個關節的運動四元數,[Ar]和[Al]表示外骨骼的電機角度矩陣。考慮到人體下肢運動時,與可穿戴下肢外骨骼設備在關節處的自由度不同,所以以四元數代替角度作為人體下肢關節運動的參考值[10]。顯然,機器人的驅動控制存在一個延遲[Δt]。因此,當人體骨骼[SH(t+Δt)]的預測值[SH'(t+Δt)]越準確,外骨骼 3.2 外骨骼重定向協同算法步驟 重定向協同步態控制算法的原理是通過傳感器輸出的關節位置數據計算關節四元數,對target點近似計算關節位置,計算出人體的運動姿態矩陣,再根據機器人的邏輯模型與人體模型的對應關系,計算機器人各個關節角度,從而得到外骨骼的姿態矩陣。 此處不能直接將人體的運動角度直接作為外骨骼的控制參數的原因是通常外骨骼機器人的關節只有兩個自由度低于人體骨骼的自由度低,且關節間的空間相對位置不同,使用這種方法時會產生較大誤差,從而影響人機協同效率。因此需要通過[t]時的[SR(t)]和[SH(t)],以及下一時刻人體骨骼的預測姿態矩陣[SH(t+Δt)]建立外骨骼姿態矩陣與人體姿態矩陣的映射關系: [SR(t+Δt)=Fretarget(SR(t),SH(t),SH(t+Δt))]? ? ? ? ? ? (3) 其中,[Fretarget(*)]代表重定向協同控制算法,接著對[SR(t+Δt)]進行角度計算,可得出外骨骼各關節處的電機角度矩陣[A],控制系統根據[A]向對應的電機發送命令,完成協同控制。 以下展示了重定向協同控制算法的步驟: 對于右腿髖關節,詳細算法步驟如下: 膝關節,詳細算法步驟如下: 4? 仿真評估 在3D環境中,實現仿真內核通過外骨骼數據服務器實時接收傳感器控制器采集到的數據,并通過模型構造算法實現實時仿真。利用Unreal Engine中的studio功能對導入的CAD文件進行邏輯建模。根據各零部件間相對關系,自定義機器人組裝腳本,并實現三維模型實時動畫效果。對網絡發送的動畫數據,或采集的動畫,運行在標準人體模型上,同時用協同控制算法將該運動重定向到外骨骼機器人的3D模型上,實現外骨骼機器人模型與人體模型的同步運動,并觀察評估人體與機器人相對運動的協同程度。 外骨骼機器人仿真運動與人體運動步態對比如上圖所示,人體下肢表面的綠色亮點代表此處肌電信號的強弱,肌電信號越強越亮;同時可以觀察到機器人與人體實時同步運動。為了分析圖5(b)中人與機器人關節角度誤差比圖(a)和圖(c)大的原因,截取了一段運動時間內的髖關節和膝關節角度數據,如下圖所示。 圖6中紅藍曲線分別代表外骨骼機器人在做協同行走運動時左右腿膝關節的角度隨時間的變化情況,綠色和黃色曲線則代表左右腿的髖關節角度變化情況。可以看到,在步態發生相位變換時,膝關節會產生拐點,在此處導數不連續,導致角度預測算法在拐點前一幀仍按照以前的規律預測,在下一幀才修正。 5 結論 目前市場上大部分下肢外骨骼機器人運動是通過按鈕控制,根據記錄的運動軌跡主動帶動人體下肢運動。本文設計了一種人機協同運動為驅動方式的下肢外骨骼機器人體系研究方案,闡述了滿足該條件的機器人軟硬件架構。在研究過程中,發現步態預測算法的角度誤差對人機協同機制的流暢性有重大影響。通過三維計算幾何的數學理論,設計了協同步態控制算法,并通過仿真環境對協同運動進行可視化觀察和評估。由仿真結果可以看出,預測算法仍有很大改善空間。不足之處在于沒有對上肢進行同態仿真,平衡上會導致不確定的誤差,因此研究過程中仍應使用拐杖對測試人員進行有效保護。 參考文獻: [1] 龍億.下肢外骨骼人體運動預測與人機協調控制技術研究[D].哈爾濱:哈爾濱工業大學,2017. [2] Li Z Q,Xie H X,Li W L,et al.Proceeding of human exoskeleton technology and discussions on future research[J].Chinese Journal of Mechanical Engineering,2014,27(3):437-447. [3] Sankai Y. HAL: Hybrid assistive limb based on cybernics[C]// 13th International S-ymposium on Robotics Research. Berlin, Germany: Springer, 2010: 25-34. [4] Goffer A,Tamari O.Locomotion assisting apparatus with integrated tilt sensor:US10849816[P].2020-12-01. [5] 楊巍,張秀峰,楊燦軍,等.基于人機5桿模型的下肢外骨骼系統設計[J].浙江大學學報(工學版),2014,48(3):430-435,444. [6] Brenner L.Exploring the psychosocial impact of ekso bionics technology[J].Archives of Physical Medicine and Rehabilitation,2016,97(10):e113. [7] 張孝強,王偉.智能可穿戴技術在軍事醫學領域的應用[J].醫療衛生裝備,2019,40(5):90-95. [8] 鄭凱,劉利利,王永奉,等.無動力下肢外骨骼機器人研究綜述及發展趨勢[J].機械傳動,2021,45(4):166-176. [9] 周攀,楊勇,馬磊,等.外骨骼機器人的人體步態感知系統設計[J].傳感器與微系統,2016,35(10):82-85. [10] 王昌云,李立君.基于四元數的機器人手眼標定算法[J].傳感器與微系統,2019,38(12):133-135. 【通聯編輯:唐一東】