人機協作中人體運動預測方法研究綜述

王憲倫，王天宇

(青島科技大學機電工程學院,山東青島 266061)

0 前言

在工業4.0的大環境驅動下，我國機器人行業發展迅速，協作機器人和人機協作技術應用日益廣泛。自工業機器人商用化以來，機器人與人類的關系可劃分為競爭、共存、協作和共事4個階段，隨著協作機器人相關技術的發展應用，人與機器人已經進入協作的新階段。

人機協作(Human-Robot Collaboration，HRC)指的是人和機器人共享工作空間或時間并共同進行作業的工作場景。這種模式下人類和機器人在共享空間任務過程中的協作越來越多，機器人和工人的個體任務績效可以分別優化，實現高生產力的生產過程。

在機器人方面，協作機器人相比傳統工業機器人更注重協作性技術的運用，凸顯機器人的主動性和智能化。機器人擺脫以往分離囚籠式的工作環境，在保證操作人員安全的前提下，協作完成分配的各項工作，實現人與機器人的優勢互補，機器人與工作環境的相互統一。

在人機共融的開放環境中，存在各類動態的未知風險，尤其是人體運動的時變性和不確定性更對人機協作系統的安全性提出考驗。為保證人機協作過程的人員安全和作業的流暢性，實現協作效率的最大化，眾多學者就人機協作下的人體運動預測方法開展大量研究，以使機器人具備早期預測人體運動的能力，避碰的同時能夠快速響應操作人員的協作需求。基于以上認識，本文作者介紹了近年來人機協作中人體運動預測方法的研究進展，并對其發展趨勢作探討展望。

1 人機協作安全策略描述

人機協作的安全策略目前主要針對碰撞前和碰撞后兩種情形。碰撞后策略是通過機械設計和控制等措施來降低風險，減少碰撞造成的影響。設計階段的風險管理流程如圖1所示。文獻[8-13]介紹了各學者探索使用柔性材料、設計變剛性關節或采取減小碰撞沖擊策略等方法以保障人機協作安全的研究。

圖1 機械設計階段的風險管理流程

碰撞前策略是通過如機器人與人之間的距離和相對速度等來預測人體運動軌跡等相關參數，提高機器人避碰的能力及與人協作效率。

由于針對碰撞后情形的安全策略具有滯后性，碰撞不可避免，因此近年來圍繞碰撞前進行預測方法的研究更為廣泛。

國際標準化組織制定了工業制造中人機協作的安全要求。其中ISO/TS 15066標準對協作機器人的安全設計與使用作出了明確規定。為了保證操作人員的安全，各類外部傳感器(相機、激光、結構光等)被引入并用于機器人應用中，以防止機器人與人發生碰撞，其中視覺傳感器在人類感知方面應用最為普遍。

圖2為基于視覺傳感器的人體運動預測與機器人運動規劃流程。相機實時采集人體運動時的位置信息，通過人體運動的預測框架來預測工人運動，機器人根據工人的運動進行運動規劃。

圖2 人體運動預測與機器人運動規劃流程

2 人機協作運動預測方法

2.1 基于運動模型的預測方法

基于運動模型對人體運動進行預測是較為傳統的預測方法。該方法一般通過采集人體運動數據實現對人體運動跟蹤，結合目標狀態預測算法的方式，達到對人體運動預測的目的。目前國內外常用的目標預測算法主要有：最小二乘擬合預測算法、粒子濾波算法和卡爾曼濾波算法等。眾多學者在此基礎上，通過改進或提出新算法進行人體預測的有關研究。DINH等基于一種被實驗證實的人手臂點對點運動數學模型，對人手臂運動軌跡進行早期預測，并將其融入對機器人的順應性控制中，以改善機器人的局部避障情況。

胡路遙提出一種速度自適應調整參數的預測方法。對視覺傳感器采集的人體運動數據進行預處理，并基于人體關節約束及人體運動速度，采用插值的方式對預測算法的相關參數進行自適應調整，以解決人體運動突變引起的數據抖動和因人體各關節運動速度不同導致的預測結果不穩定問題。結果表明：提出的運動預測算法在預測速度及位置誤差方面比現有幾種算法效果更好。

MAEDA等通過估計人的運動過程來實現快速流暢的人機交互。該方法在人體位置被遮擋或信息采集缺失的情況下，也可以估計運動的進展。利用交互概率運動原語的框架，基于計算不同相位候選的概率來找到與當前觀測最匹配的交互概率運動原語的相位。相位估計可以對人的動作進行分類，并在人完成動作之前生成相應的機器人軌跡。該方法適用于充當助手的半自主機器人。

2.2 基于機器學習的預測方法

2.2.1 監督學習方式

隨著機器學習方法的普及應用，對人體運動預測采用機器學習方法的研究愈來愈多。監督學習作為目前最成功的機器學習方式，在預測方面也得到廣泛應用。其策略一般是將人體動作序列進行數據庫建模，基于識別的工人動作來預測人體的運動。隱馬爾可夫作為眾所周知的概率建模方法，在動作識別方面最為常用。

目前，人機協作的應用場景在裝配作業中最為常見。與人工裝配相比，人機協同系統要求更強的定制性和靈活性。LIU、WANG就此提出一種新的人機協同系統，將產品裝配任務建模為一系列人體運動，用現有的人體運動識別技術識別人體運動，在運動序列中采用隱馬爾可夫模型生成運動轉移概率矩陣；基于此結果預測人體運動，并將其應用于人機協同裝配中，其研究證明了人體運動預測在人機協作中應用于實際任務的潛在可能性。CHENG等集成一個典型的包含動作識別和軌跡預測模塊的人機協作框架，如圖3所示。他提出一種基于深度學習和貝葉斯推理的預測算法，利用前饋神經網絡和遞推最小二乘參數自適應算法對人體過渡模型進行逼近及輸出層自適應。裝配實驗結果表明：在其算法加持下，人機最小距離在安全閾值內的同時，平均任務完成時間為(64.6±10.6)s，任務用時減少29.1%。該方法顯著提高了人機協作的效率，特別是其目標行為識別校正方法，較好解決了因人體行為多樣性及軌跡時變特性導致的預測精度降低的問題。

圖3 HRC集成框架體系結構

CALLENS等在提出的運動識別和預測框架中構建了一個運動模型數據庫，該數據庫包含了多個使用概率主成分分析方法學習的運動模型，能實現對短期內的人體運動進行預測。但是此算法只對運動的終點進行預測，而不能預測運動過程中的完整軌跡。此外，此算法目前未對適用的“短期預測”范圍給出明確時間界限。

LI等針對人體手臂的運動軌跡，構建了一個預測框架。提出一種包含有代表性的軌跡計算、時間序列分類和人體運動回歸的方法。在離線階段，訓練了具有優化超參數的人體運動概率模型，并計算了每個任務的代表軌跡。在學習模型和新測量值的基礎上，采用時間序列分類和稀疏探地雷達在線多步超前預測。此方法能夠提取和理解人體意圖，具有較好的人體運動預測性能。但是該算法在預測初期誤差較大。由于其代表性軌跡是多個運動的統計均值，在人體關節的位置或速度受到噪聲影響或肢體運動方向突然變化時，模型參數的改變會導致方差增大，代表性軌跡易產生較大的誤差。因此該方法適合長期的人體運動預測。與LI等研究對象類似，劉格根據人體上肢的運動學結構特性以及人體上肢在觸點運動過程中的運動特性，提出了基于誤差反向傳播人工神經網絡的人上肢運動軌跡預測方法。將上肢觸點運動軌跡分段作為樣本，待神經網絡學習完成后，根據部分手臂運動軌跡預測手臂之后的運動軌跡。該方法能對人體上肢運動意圖進行識別預測，準確率達90%，但是該方法下機器人學習效率較低。

ZHANG等基于循環神經網絡(Recurrent Neural Network,RNN)對人體運動軌跡進行預測，該方法的一個新特點是在RNN結構中引入兩類功能單元來解析人體各部分的運動模式以及它們之間的協調以提高預測精度。此外，他們還研究了基于蒙特卡羅法的概率推理，以減少不確定性因素導致機器人誤觸發問題。改進后的RNN結構與標準RNN相比，預測誤差降低了40%，提高了預測人體運動的可靠性。

為了在智能制造中實現安全有效的人機協作，將傳感、認知和預測無縫集成到機器人控制器中對于異構環境(機器人、人類和設備)中的實時感知、響應和通信至關重要。NICORA等集成了一個為機器人提供主動自適應協作智能系統和切換邏輯及其控制體系結構，使機器人能夠在給定先驗知識和預定義的任務執行計劃的情況下，以最優姿態動態地規劃運動，并能檢測模擬的人類動作，同時降低對生產率的影響。ZHOU、WACHS提出一種適合人體機器人協作場景的早期輪轉預測算法，具體是一種能夠理解人類多模態通信信號并進行輪詢預測的機器人作業系統。結果表明：當給出少量的部分輸入，機器人作業軌跡比人更好；隨著動作的進行，此算法下機器人可以達到與人類相當的水平。以上二位學者聚焦于環境感知和對人類行為的預測模擬，探究了人機協作中機器人智能化的發展方向，所提算法得到很好的驗證。但是由于人體運動具有不確定性，系統的適應性和穩定性仍可進一步加強，以防數據集外的未知障礙引起機器人失控影響人員安全。

利用視覺傳感器捕捉采集工人運動的信息，WANG等建立了準確可靠的上下文意識算法來預測人體運動，以深度學習作為一種數據驅動技術，通過從AlexNet改編的深度卷積神經網絡結構實現對人體運動和未來任務的識別預測，識別準確率在96%以上。LIU等基于上下文感知的時間處理方法，在動作完成之前對動作進行評估，以節省時間識別人的意圖，具體通過一種卷積神經網絡和長短期記憶網絡相結合的基于視覺信號的深度學習系統實現。該方法可在獲取片段數據情況下達到較高的預測準確率，為流暢的人機協作提供了可靠的依據。這種基于上下文意識算法得來的高準確率的識別信息可作為輸入，使機器人更好地了解人體的運動意圖，但是其缺乏對運動過程中的軌跡的預測。

對于服務機器人而言，在室內場景中，人們的運動通常與他們之前接觸過的物體有關。BRUCKSCHEN等提出一種預測室內環境中移動的人的方法，將關于人類活動區域之間過渡的先驗知識與機器人對人類當前姿態和最后一個目標交互的信息結合起來，將近距離的對象分組為活動區域實現泛化，通過貝葉斯推理來預測運動目標，結果表明：其框架可靠地預測了人移動的目標。該方法利用活動區域之間的轉換，而不是單個對象的轉換，可以有效提高預測的精度。此外其預測算法不依賴于先前學習的固定目標之間的軌跡，相比基于軌跡的預測方法表現更好。

2.2.2 無監督學習方式

監督學習方法在以往的人體運動識別預測工作中被廣泛應用，但是監督學習依賴于數據集中的數據，無法對數據集外的人員或動作等識別預測，而且大型數據集的標注需要耗費大量的人力物力。無監督學習是近年提出的一種機器學習方式，相較于監督學習，對數據集的依賴性更小，可以根據類別未知的訓練樣本解決模式識別中的各種問題，因此吸引不少學者采用這種方式對人體運動進行預測。

LUO等提出了一種雙層混合高斯模型框架和一種無監督在線學習算法框架(如圖4所示)，用新的觀測軌跡更新這些模型。結果表明：該框架可以實時生成模型，能適應新的人和新的動作風格，并在機器人避開人類運動的實時應用中得到驗證，具有較高的可靠性。

圖4 數據流的無監督在線學習算法

VINANZI等提出了一種可擴展的人工認知架構，該架構集成了無監督學習和概率模型，賦予機器人對人類意圖識別和信任的能力。其意圖識別模型能對目標進行正確的目標預測，信任模塊則提高了較好實現任務的可能性。SINGH等結合人的視線和人工智能規劃的方式對人的意圖進行識別，基于一種無監督學習方法，重點研究了在預測對象表現出欺騙性的表象的情況下，如何有效提高人的意圖識別的準確性。

康杰等人以人手部和肘部運動為研究對象，基于無監督學習方法構建了分層軌跡預測框架，解決了多關節的實時預測問題。針對多目標環境和特殊異常行為，采用了基于minimum-jerk的軌跡預測方法。實驗結果表明：在人體運動執行至40%和50%時，識別準確率分別達到90%和92%以上，其算法在協同作業方面也具有較高的魯棒性和有效性。以上學者基于無監督學習的方式對人體運動預測方法進行了研究，此方式雖不依賴大型監督型數據集，不需要正規訓練或手工標注即可建立人體運動模型并可進行更新拓展，應用性更強，但相比于監督學習下訓練模型有對應標簽的優勢，無監督學習模型的表現要差一些，其準確性和效率都有待進一步提高。

3 總結與展望

機器人技術領域關于人機協作方向的研究逐年增多，眾多學者圍繞人機協作、安全、意圖識別及運動預測方面進行相關研究，特別是近年來提出的人體運動預測算法。無論是依賴于機器學習的方式，還是通過運動建模預測的方法，在實驗場景中，算法的性能都得到較好的驗證，顯示了機器人與人類主動、安全協作的潛力和可行性。

但當前關于人體運動預測方法仍存在一些不足，總結有以下幾處：

(1)目前人體運動預測方法還是以通過標記動作類型的監督學習的方式為主，但人機共融的發展趨勢下要求更多種類和規模的數據被處理和學習，并要求更高的預測準確率，監督學習下的數據集大小成為制約應用場景的一大因素。無監督學習方式對數據集依賴小，但效率和準確率有待提高。

(2)目前對人體運動數據的感知大多基于視覺等單一傳感器采集的人體模態信息，但在人機交互過程中，往往伴隨手勢、語音、表觀信息等多模態信息的產生，單一模態信息不完整或丟失情況下必然影響對人體運動預測的準確性。目前隨著技術進步和新式感知設備的應用，有學者基于腦電信號、肌電信號、視覺觸覺結合等方式進行人體意圖的研究，但相關研究目前還不足以在實際復雜的工業場景中應用。

針對以上問題，未來可進行更全面的人的狀態定義的工作，給出更豐富的時空特征構建方法，以獲取更多的信息，可采用半監督學習的方式。特別是，可進一步研究提高無監督學習方法的預測精度，減小數據集的束縛，實現對不同環境下不同人員運動進行預測，在更復雜、更全面的人機協作場景中得以應用。

未來除采用視覺傳感器感知人的動作信息，還可進一步對人類表觀信息如視線、表情等進行研究。另外可采用骨骼傳感器、基于可穿戴設備等多傳感器來獲取人體運動的位置信息，并探索多模態信息的融合方法，提高預測算法的魯棒性和準確性，既保證人機安全又提高協同作業效率。

人機協作是一個新興的、快速擴展的機器人研究領域，還有很多問題值得進一步探索和研究。隨著人體意圖識別和行為預測理論和方法研究的不斷深入，可以預見，智能化機器人與人完美協同進行工作的場景終將會實現。