基于姿態識別的機器人人機交互系統設計

石琪琦，莊 杰，黃 煒，張佳東，2，左軒塵

（1.電子科技大學 通信與信息工程學院，四川 成都611731；2.國網成都供電公司，四川 成都611731）

0 引 言

設計基于姿態識別的人機交互系統關鍵在于姿態信息的獲取與遠端機器人信息的反饋兩個方面［1，2］。現常用識別人體姿態的方法為文獻 ［3，4］中所用圖像分析法。這種方法對環境的依賴性較強，而且無線通信環境下所輸出的圖像信號可能會受到干擾［5］，這就會給識別帶來較大誤差。為了解決這些問題，本文使用可穿戴設備配備姿態傳感器的姿態識別法，此方法更加方便、簡單，受環境影響更小，且可實現在任何地方對遠程機器人的控制。在本文中采用陀螺儀與加速度傳感器獲取人體姿態信息，通過對各姿態傳感器信息的融合進行姿態識別，利用語音識別作為姿態控制系統的輔助模塊實現了對遠程機器人更準確地控制。現有人機交互系統中操作員通常是通過基于視頻融合的增強現實技術獲取遠程機器人的反饋信息，但是視頻信息的傳輸存在較大時延，且操作者無法確認遠程機器人的運動軌跡是否與所預期的運動軌跡一致，本文所設計的以雙虛擬模型為主、視頻采集為輔的遠程機器人姿態信息反饋法很好得解決了這個問題。

1 人機交互系統的總體設計

人機交互系統的整體結構框架如圖1所示。

圖1 人機交互系統總體設計

該人機交互系統主要由多維傳感姿態識別、自適應性語音識別、雙虛擬機械臂、多維傳感姿態信息反饋以及3D視頻采集五大模塊組成，其中雙虛擬機械臂顯示模型如圖2所示。人機交互的基本流程為：通過陀螺儀傳感器與加速度傳感器獲取操作者手臂姿態改變時所產生的三軸加速度值和三軸角速度值；姿態識別模塊根據所獲取的三軸加速度值與三軸角速度值進行姿態解算，得到姿態角，判斷操作者的動作信息，并將動作指令傳遞給虛擬機械臂1；虛擬機械臂1獲取動作指令后，做出相應的動作，并儲存動作指令，若虛擬機械臂1所做動作正確，則操作者通過語音控制將動作指令傳遞給機械臂，若不正確則操作人員重新做出動作；遠端機械臂獲取動作指令執行相關動作，并將自己的位姿信息通過多維傳感姿態信息反饋模塊經無線網絡傳遞給虛擬機械臂2；虛擬機械臂2獲取機械臂的姿態信息后，更新自己的位姿，操作者便可根據虛擬機械臂1與2是否重合來判斷遠程機械臂是否做出正確動作。另該人機交互系統的3D 視頻顯示可作為輔助反饋方式使操作者對遠端機械臂的位姿信息進行監測。

圖2 雙虛擬疊加顯示模型

2 多維傳感姿態識別模塊

姿態識別的步驟為：

（1）通過陀螺儀傳感器與加速度傳感器獲取手臂姿態改變時的角速度信息與加速度信息。

（2）對所獲取的角速度與加速度值進行解算得到姿態角信息。

（3）利用D－S證據理論進行信息融合對姿態進行判定姿態解算中采用地理坐標系與設備坐標系兩種坐標系對姿態的變化進行研究［6］，其中地理坐標系為參考坐標系。設備坐標系相對參考坐標系的轉變，可采用設備坐標系分別相對于參考坐標系X、Y、Z 軸所產生的有序旋轉運動表示，旋轉產生的角度即為姿態角。其產生的姿態角可分別使用偏移角φ （Yaw）、傾斜角θ （Pitch）和旋轉角γ（Roll）來表示。

2.1 基于陀螺儀傳感器求解姿態角

若直接采用坐標變換理論計算姿態角，則必須采用高階積分算法，為降低計算難度，在本文中，采用四元素法與坐標系變換理論相結合的方法對姿態角進行解算［7］。由姿態矩陣Cnb可實現設備坐標系到參考坐標系的變換

依據式 （1）旋轉順序，可得到

根據四元素法可得

2.2 基于加速度傳感器求解姿態角

加速度傳感器處于靜止狀態時，由于自身的重力影響，會在3個敏感軸上分別輸出加速度分量。這3個加速度分量共同作用形成的合量大小正好同重力相等，合量的方向又同重力方向相反。并且各輸出分量的大小取決于敏感軸與重力方向的夾角。在設備坐標系b 系下，重力場分量gb＝ ［Gx，Gy，Gz］T，當設備處于靜止狀態時，參考坐標系n系下的重力場分量為gb＝ ［0，0，－g］T。則可得傾斜角和旋轉角的計算公式如式 （4）與式 （5）所示

2.3 基于D－S證據理論的多傳感器信息融合

D－S證據理論可用于信息的融合［8，9］。

D－S證據理論的基本概念：

設θ是一個識別框架，在θ上的基本概率分配是一個2θ→ ［0 ，1］ 的函數m，稱為mass函數，并且滿足式 （6）

Dempster合成規則也稱為證據合成公式，其定義如下：

通過合成規則所得到的m（Ai）表示將某事件判定為Ai的概率。

文獻 ［10］中僅對某單一傳感器的加速度信號與角速度信號進行了信息融合。但是由某單一關節處的姿態傳感器信息無法正確判定人體的姿態動作，為了提高姿態識別精確度，本人機交互系統采用多個姿態傳感器對操作者的動作進行判定，并采用D－S證據理論對判定結果進行融合。

3 語音識別模塊

當判定虛擬機械臂1做出正確動作后，需要使用 “控制指令”將所儲存的 “動作指令”發送給遠端機械臂。當人體姿態發生變化時，姿態識別模塊會對人體的姿態進行識別，并將識別結果發送給虛擬機械臂1，若 “控制指令”仍由人體姿態發送，會導致系統將 “確認指令”識別為“控制指令”，并使虛擬機械臂1做出錯誤的動作。在本設計中采取語音控制的方式向控制系統發出 “控制指令”，避免了上述問題。

在本人機交互系統中將 “確認發送”、“結束操作”作為控制指令。另外，還可將多次正確操作后的動作指令組成成套動作儲存在動作指令庫里，當需要做某個成套動作時，直接使用語音命令調取動作指令，如“釋放”、“抓取”動作。

語音識別模塊充當的是操作人員同遠程機器人姿態演示系統之間的一個交互接口。圖3為自適應性語音識別模塊的整體框架。

圖3 語音識別模塊整體框架

為了與虛擬機械臂1進行交互，本人機交互系統中的語音識別模塊采用MFC程序設計實現，可以很方便地調用孤立詞語音識別系統，進而將識別結果作為指令發送給控制系統的API接口進行語音識別消息和結果的通信。控制系統及時獲取用戶的語音信息并判斷是否發送所儲存的動作指令。

4 虛擬機械臂顯示模塊

文獻 ［11，12］中采用的反饋方法存在一些缺點：①由于視頻信息較大，視頻融合技術會造成較大的傳輸時延，系統的實時性較差；②視頻融合技術雖然使虛擬機械臂仿佛在現實環境中運動，但是僅通過視頻顯示法獲取遠程機器人的真實運動軌跡，且通過視頻顯示技術無法從各個角度觀察到遠程機器人的運動情況；③為了得到視頻反饋信息，需要在特定位置放置攝像頭，而由于遠程機器人工作環境的特殊性，可能無法準確獲取環境信息。為了提高遙操作的精確度和安全性，需要設計傳輸時延小、能從任意角度反映遠程機器人的運動狀況的人機交互系統。針對上述問題，本系統采用虛擬機械臂1與虛擬機械臂2疊加顯示的界面及反饋系統。

虛擬機械臂的繪制采用OpenGL和MFC聯合繪制的方式。雙虛擬機械臂疊加顯示遙操作控制流程如圖4所示。

圖4 雙虛擬機械臂疊加顯示遙操作控制流程

姿態傳感器獲取機械臂的姿態信息將其傳遞給虛擬機械臂2。操作者可通過觀察虛擬機械臂1與虛擬機械臂2是否重合來判斷機械臂是否有按照要求做出正確動作。這種反饋方式與基于視頻融合的反饋方式相比所需傳輸的數據小，傳輸時延小，大大縮短了等待時間，提高了作業效率，并且可以從任意角度觀察兩個虛擬機械臂的運動狀態。虛擬機械臂2還可以通過角度補償來消除時延的影響，從而實現與真實機械臂運動的基本同步。

5 實驗結果

針對遠程機器人的主要工作部位機械臂，本人機交互系統實現了對機械臂的上、下、左、右、順時針旋轉、逆時針旋轉6個動作的控制。實驗選擇在操作者腕關節、肘關節、肩關節3個部位固定姿態傳感器。當操作者分別做出上、下、左、右、順時針旋轉、逆時針旋轉這6 個動作時，姿態識別模塊將通過姿態傳感器獲取加速度值與角速度值，通過第2小節中所描述的四元素法經過計算可以得到各個姿態傳感器相對于X、Y、Z軸的姿態角如圖5所示。

圖5 6個基本動作各姿態傳感器的姿態角

從圖5看出，可由各個傳感器姿態角的變化對手臂動作進行識別，定義當3個姿態傳感器相對于Y 軸的姿態角向負方向變化時為上移動作，向正方向變化時為下移動作；當肘部姿態傳感器相對于Z 軸的姿態角向負方向，腕部姿態傳感器與肩部姿態傳感器相對于Z軸的姿態角向正方向變化時為左移動作，當肘部姿態傳感器相對于Z 軸的姿態角向正方向，腕部姿態傳感器與肩部姿態傳感器相對于Z軸的姿態角向負方向變化時為右移動作；當3個姿態傳感器相對于X 軸的姿態角向負方向變化時為逆時針旋轉動作，向正方變化時為順時針旋轉動作。

通常人體的動作無法保證一定為很規則的動作，會導致不僅僅相對于某單一軸的姿態角變化，這時可先分別計算出每個傳感器將該動作識別為上述6個動作的概率，再根據第2小節中所闡述的D－S證據理論，對3個傳感器的識別結果進行信息融合，以提高姿態識別的準確度。

為了計算識別動作概率，通過多次實驗，將6 個動作對應于腕關節、肘關節、肩關節三處傳感器的姿態角閾值φ分別設為：上移——分別相對于Y 軸減小15 度、15 度、20度；下移——分別相對于Y 軸增大15 度、15 度、20度；左移——腕關節處傳感器相對于Z軸增大14度，肘關節處傳感器相對于Z軸減小22度，肩關節處傳感器相對于Z軸增大13度；右移——腕關節處傳感器相對于Z軸減小14度，肘關節處傳感器相對于Z軸增大22度，肩關節處傳感器相對于Z軸減小13度；逆時針旋轉——分別相對于X軸減小28度、10度、5度；順時針旋轉——分別相對于X軸增大28度、10度、5度。

令θ為人體姿態定義的識別框架如 （8）所示興趣事件θi之間是互相排斥的，它們的信任函數值大于0分別為A1、A2、A3、A4、A5、A6。興趣事件確定以后，必要的基本信任函數mi（·）也被定義，其中i由某一關節處的姿態傳感器所確定。當操作者做出動作時，mi（Aj）代表通過各關節處傳感器的姿態角值將所做動作分別識別為6個基本動作的概率。設角度變化值為α，當α的值大于某基本動作的閾值時才判定為該基本動作，由于文中給出的6個基本動作為兩兩相對動作，上下、左右、順逆時針不可能同時發生，所以操作者的動作只會被識別為其中某3個動作，令μi、m （j）分別為某一姿態傳感器將所做動作識別為某一基本動作的準確度和概率，則

操作者做出一個不規則的上移偏左動作，經過姿態角解算后，獲得的各姿態傳感器相對于X、Y、Z軸的姿態角如圖6所示。

圖6 不規則動作姿態角

腕關節處傳感器相對于X、Y、Z軸改變的角度值分別為：增大30±1度、減小23±1度、增大20±1度，則

肘關節處傳感器相對于X、Y、Z軸改變的角度值分別為：增大13±1度、減小25±1度、增大28±1度，則

肩關節處傳感器相對于X、Y、Z軸改變的角度值分別為：減小6±1度、減小30±1度、增大13±1度，則

通過第2小節中所闡述的D－S證據理論合成規則可將上述3組數據進行信息融合，得到

則該動作被判定為向上移動。

當姿態識別模塊對姿態進行識別以后將向上移動的指令傳遞給虛擬機械臂1，虛擬機械臂1做出向上移動動作，此時遠端機械臂處于初始狀態，虛擬機械臂2同樣處于初始狀態，如圖7所示。

圖7 真實機械臂與虛擬機械臂狀態1

通過觀察虛擬機械臂1所做動作，判斷姿態識別結果正確，由語音發出 “確認”指令，將 “向上移動”動作指令無線發送給遠端機械臂，機械臂做出對應動作，并通過機械臂上所固定的姿態傳感器將機械臂的動作信息反饋給虛擬機械臂2，虛擬機械臂2 接收到信息后，做出相應動作。如圖8所示。

圖8 真實機械臂與虛擬機械臂狀態2

通過觀察虛擬機械臂2所做動作，可判定遠端機械臂做出正確動作。若虛擬機械臂1 與虛擬機械臂2 未重合，存在位置差異，則采用角度補償使虛擬機械臂1與2重合，進而正確模擬遠端機械臂動作。當操作者從返回中的視頻中進一步觀察到遠端機械臂完成任務后，由語音發出 “結束”指令。

筆者讓10名被測試者在不同環境各做50個動作進行系統測試，結果表明向上移動、向右移動、順時針旋轉，識別正確率達到100%；向左移動識別率為98%；向下移動識別率為99%，逆時針旋轉識別率為98%。對數據記錄進行分析發現，錯誤動作的產生是由于被測試者的動作幅度過小，使得姿態角未達到規定閾值所產生的。通過訓練，可避免這種錯誤的產生，使得正確率達到99.99%。以上結果表明本文采用的基于姿態角的人體姿態識別方法，具有較高的識別率。實驗結果驗證了本文所介紹系統的可行性及可靠性，表明該機交互系統具有很好的工程應用價值。

6 結束語

本文提出并實現了一種高穩定、高準確率、易操作的遙操作人機交互系統，該系統采用姿態傳感器獲取人體姿態信息，此方法比圖像獲取法成本更低、速度更快；基于D－S證據理論的多個姿態角信息融合法，有效提高了姿態識別準確度；采用的語音輔助控制方式使得操作更方便、動作指令更準確；雙虛擬為主、視頻信息為輔的反饋方法大大縮短了等待時間，提高了作業效率，并且從任意角度都可觀察到兩個虛擬機械臂的運動狀態，由此可得到更多反饋信息。

本人機交互系統目前實現了上移、下移、左移、右移、逆時針旋轉、順時針旋轉6個基本動作。在以后的研究中可應用本文所設計的系統原理計算出操作者的運動距離實現更復雜更精細動作的交互。

［1］CHEN Yimin，ZHANG Yunhua.Research on human－robot interaction technique based on hand gesture recognition ［J］.Robot，2009，31 （4）：351－356 （in Chinese）. ［陳一民，張云華.基于手勢識別的機器人人機交互技術研究 ［J］.機器人，2009，31 （4）：351－356.］

［2］Brahem MB，Ménélas BAJ，Otis MJD.Use of a 3DOF accelerometer for foot tracking and gesture recognition in mobile HCI［J］.Procedia Computer Science，2013，19：453－460.

［3］TAN Tongde，GUO Zhimin.Reserch on location and gesture recognition of hand based on binocular stereo－vision ［J］.Computer Engineering and Design，2012，33 （1）：259－264 （in Chinese）.［譚同德，郭志敏.基于雙目視覺的人手定位與手勢識別系統研究 ［J］.計算機工程與設計，2012，33 （1）：259－264.］

［4］Ren Zhou，Meng Jingjing，Yuan Junsong.Depth camera based hand gesture recognition and its applications in human－computer－interaction ［C］／／International Conference on Information，Communications and Signal Processing.IEEE，2011：1－5.

［5］LI Hui，ZHUANG Jie，WANG Jiaming.High stability mobile terminalof VGA interface design based on ARM and Linux ［J］.Computer Engineering and Design，2014，35 （4）：1236－1241（in Chinese）.［李輝，莊杰，王佳明.基于ARM－Linux的移動終端高穩定VGA 接口設計 ［J］.計算機工程與設計，2014，35 （4）：1236－1241.］

［6］XIAO Qian，YANG Ping，XU Libo.A gesture recognition method based on MEMS IMU ［J］.Chinese Journal of Sensors and Actuators，2013，26 （5）：611－615 （in Chinese）.［肖茜，楊平，徐立波.一種基于MEMS慣性傳感器的手勢識別方法［J］.傳感技術學報，2013，26 （5）：611－615.］

［7］Yun X，Bachmann ER，McGhee RB.A simplified quaternionbased algorithm for orientation estimation from earth gravity and magnetic field measurements ［J］.IEEE Transactions on Instrumentation and Measurement，2008，57 （3）：638－650.

［8］Sun Rui，Huang Hongzhong，Miao Qiang.Improved information fusion approach based on D－S evidence theory ［J］.Journal of Mechanical Science and Technology，2008，22 （12）：2417－2425.

［9］Liu Jialin，Gong Bengang.Analysis of uncertainty multi－attribute group decision making process based on D－S evidence theory ［J］.Journal of Computers，2011，6 （4）：711－717.

［10］CHEN Hangke，ZHANG Dongsheng，SHENG Xiaochao，et al.Research on signal fusion technology of attitude sensor based on Kalman filtering algorithm ［J］.Transduce and Microsystem Technologies，2013，32 （12）：82－85 （in Chinese）.［陳航科，張東升，盛曉超，等.基于Kalman濾波算法的姿態傳感器信號融合技術研究 ［J］.傳感器與微系統，2013，32 （12）：82－85.］

［11］NI Xiaoyun，ZHENG Jianrong，ZHOU Wei.Design and implementation of augmented reality software system ［J］.Computer Engineering and Design，2009，30 （9）：2297－2300 （in Chinese）.［倪曉赟，鄭建榮，周煒.增強現實系統軟件平臺的設計與實現 ［J］.計算機工程與設計，2009，30 （9）：2297－2300.］

［12］LI Xin，YOU Bo.The application of video fusion in telerobot system ［J］.Image Processing and Multimedia Technology，2010，9：41－43（in Chinese）.［李鑫，尤波.視頻融合在遙操作機器人系統中的應用［J］.微型機與應用，2010，9：41－43.］

［13］LI Dongjie.Reserch on key technologies of internet－based telerobot control system ［D］.Harbin：Harbin University of Science ＆Tchnology，2009 （in Chinese）. ［李東潔.基于Internet的遙機器人控制系統關鍵技術研究 ［D］.哈爾濱：哈爾濱理工大學，2009.］