基于隱馬爾可夫模型動作模仿建模研究

沈睿婷，張 雷

（北京建筑大學 電氣與信息工程學院，北京 100044）

0 引言

模仿學習（Imitation learning）旨在模仿給定任務中的人類行為。通過學習觀察和行動之間的映射，對代理（學習機器）進行訓練，以從演示中執行任務[1]。隨著智慧城市，人機共居等概念的出現，仿人機器人的模仿學習成為了研究熱點。

仿人機器人對于人體動作的模仿學習過程主要可以分為以下三個階段：

1）觀察和記錄人體的運動，獲取人體運動數據；

2）將采集到的人體運動數據轉換為便于仿人機器人進行動作模仿的數據格式；

3）最后仿人機器人根據觀察到的動作數據進行動作模仿。

模仿學習在機器人領域很多應用。Kim等人[2]提出了一種仿人機器人運動生成方法，使用運動捕捉系統獲得的數據，提出一種優化策略來解決逆運動學問題。Gams等[3,4]提出一種基于RGB-D相機捕獲的人體運動數據進行在線運動模仿的方法。Koenemann等人[5]提出一個仿人機器人實時模仿人體復雜全身運動的系統。Inamura等[6]提出使用隱馬爾可夫模型（HMM）對人類運動原語進行建模。Ijspeert等人[7～9]提出使用動態運動基元（DMPs）對人體運動建模的方法。Mina等人[10]提出了一種基于實時反運動學的實時人體仿真系統，將人體上肢運動安全平滑地映射到機器人的關節上。Garam[11]等人提出了一個包含基于主成分分析(PCA)的進化過程的模仿學習框架。

針對仿人機器人對人體動作的模仿已經開展了大量研究，并且積累了一些研究成果，但這些研究采用的方法大多數都是離線地、一次性地對人體動作進行采集和學習，不能實現在仿人機器人持續動作觀察和學習。為實現仿人機器人的連續模仿學習，本文提出了仿人機器人動作模仿框架如圖1所示。

圖1 仿人機器人動作模仿框架

1）將觀察到的人體動作骨骼點位置數據轉換成方便仿人機器人計算的關節角度序列，并計算得到角速度序列和角加速度序列，組成完整的人體動作數據，以供仿人機器人模仿學習。

2）應用高斯混合隱馬爾可夫模型（Gaussian-HMM）對動作數據進行建模，生成動作模型。

3）仿人機器人可以通過對已訓練的模型進行學習，生成適合機器人自身的動作。同時訓練完成的模型還可以對新出現的動作進行判斷，判斷新動作是否已學習的動作。利用此框架可以實現仿人機器人對人體動作在線連續地學習。

動作模型建模是仿人機器人動作模仿框架中較為重要地部分，以此為基礎可以進行動作生成，故本文主要對人體動作數據匹配與動作模型建模方法進行介紹。本文具體結構如下：首先，在第2節對仿人機器人和人體動作數據進行匹配計算，在第3節介紹基于HMM的建模與識別的方法，第4節將介紹相關實驗結果。

1 人體動作數據匹配計算

建模之前需要將采集到的人體運動數據轉換為便于仿人機器人進行動作模仿的數據格式，需要將坐標點轉換成為仿人機器人相關關節角度，角速度和角加速度等，這個過程就是人體動作數據匹配計算的過程。

本文將用MSR Action3D數據集來進行與NAO機器人的人體數據的匹配計算，MSR Action3D數據集是一個由深度相機捕獲人體動作的深度圖像序列數據集[12]該數據集共包含高揮手臂、畫“√”、網球發球等20種動作類型，如圖2所示。

圖2 MSR-Action數據集中的動作

MSR Action3D數據集中包含了人體20個骨骼點在笛卡爾坐標系下的坐標和置信度。人體骨骼點對應如圖3所示，圖中坐標軸分別代表笛卡爾空間坐標系下的X、Y、Z軸。

本文利用骨骼點坐標信息得到對應的關節向量，再利用計算關節向量的夾角得到對應的關節角度。圖3中標號相對應的關節點以及關節的自由度相對應的關節點信息如表1所示。

表1 各關節自由度對應關節點信息

圖3 人體骨骼點位置

以左肩部的翻滾角（LShoulderRoll）為例。肩部的翻滾角（LShoulderRoll）可以用肩部（ShoulderL）和手肘（ElbowL）形成的關節向量與肩部和肩部中點（ShoulderCenter）形成的關節向量的夾角求出，分別用p1，p8，p3，具體位置如圖4所示。

LShoulderRoll是根據坐標系繞Z軸左右旋轉得到的角度（坐標系的建立如圖4所示），p1p′8和p1p′8′為兩個左臂可能旋轉到的位置，所以LShoulderRoll的自由度的旋轉角度相當于求解p1p8與p1p′8或p1p8與p1p′8′之間的夾角。為了的到這個夾角可以用p1p3與p1p′8或p1p3與p1p′8′之間的夾角減去p1p8與p1p3之間的夾角得到。由于NAO機器人的手臂初始位置是水平的（圖4），所以p1p8與p1p3之間的夾角為90°。再根據繞旋轉軸的方向，逆時針方向旋轉為正，順時針方向旋轉為負，添加正負號校正旋轉角度。

圖4 NAO機器人初始位置及左臂翻滾角示意圖

綜上，左手臂肩部翻滾角（LShoulderRoll）可以定義為：

同理可得右手臂肩部翻滾角（RShoulderRoll）可以定義為：

此處p2，p3，p9分別表示骨骼點ShoulderR,Shoulder-Center,ElbowR。

剩下的關節角度都與ShoulderRoll的計算類似，可以根據選取向量的方向，取正負或者π的倍數來校正。

因為機器人機械結構的限制，各個自由度的旋轉角度需要滿足機器人關節角度約束。所以根據NAO機器人（如表2所示）的關節角度約束，對上述方法匹配計算的的旋轉角度進行處理優化。

表2 各關節自由度對應關節角度約束

經過旋轉角度的數據優化處理，可以規避一些不合理的動作。如圖5所示，圖5為旋轉角度優化處理前后對比圖，上圖為優化處理前數據圖像，下圖為優化處理后，數據優化處理去除了一些較為極端的角度。

圖5 旋轉角度優化處理前后對比圖

通過以上方法就能得到全身各個自由度的旋轉角度。將觀察到的人體動作過程中關節位置的變化數據，轉化為關節角度隨時間變化的序列數據，根據角度變化序列計算出角速度變化序列和角加速度變化序列。

由于動作序列采集過程中，每一幀的時間間隔非常短，因此將角速度的計算公式定義為：

其中，st為所求的角速度，T為角度序列的長度，θt為t時刻的關節角度。根據角速度，可以求得角加速度At為：

并將這些序列數據組合成為動作數據。然后，應用高斯隱馬爾可夫模型對動作數據進行建模，生成動作模型。

2 基于HMM的動作建模、識別

隱馬爾可夫模型（Hidden Markov Model，HMM）是一種隨機概率模型，在上個世紀六十年代后期由Leonard等人提出，并在七十年代中期開始用于語音識別[13]。

HMM模型（圖6）包含五個重要的概念：觀測序列集合s={o1，...，oM}；隱藏狀態集合Q={q1，...，qN}；隱藏狀態初始概率分布π={πi}1；狀態轉移概率矩陣A={aij}，aij表示從第i個狀態轉移到第j個狀態的概率；以及輸出概率矩陣B={bij}，其中，bij表示第i個狀態輸出第j個標簽的概率。可以將一個HMM模型λ定義為：λ={A，B，π}。本文中人體動作數據是觀察序列S，將人體動作數據按照狀態數分為一小段的動作數據是隱藏狀態Q。

圖6 HMM模型

隱馬爾可夫模型根據離散的輸出和連續的輸出可以分為離散隱馬爾可夫模型（DHMM）和連續隱馬爾可夫模型（CHMM），如圖7所示。因動作輸出是隨時間變化連續的輸出，故本文利用高斯隱馬爾可夫模型（Gaussian-HMM）進行建模。假設輸出概率密度函數符合高斯分布，則輸出概率為：

圖7 連續隱馬爾可夫模型

若輸出概率密度函數符合高斯混合模型分布，則輸出概率為：

2.1 基于HMM的動作建模

動作建模的過程相當于求解模型參數。已知觀測序列求解調整模型參數，即已知觀測序列，求解模型的參數（隱藏狀態初始概率分布Π，狀態轉移矩陣A，輸出概率矩陣B），使得此情況下觀測序列概率最大，使用基于EM算法的鮑姆-韋爾奇算法（Baum-Welch algorithm）可以求解HMM的模型參數，相當于完成建模的過程。

鮑姆-韋爾奇算法（Baum-Welch algorithm）[14]是EM算法（也稱為前向-后向算法）的變形和延伸，可以用來估計HMM的模型參數。在HMM中，為了使關聯算法易于處理，對觀測序列S和隱藏狀態Q這些隨機變量有兩個條件獨立性假設：1）第i個狀態只與第i-1個狀態有關，與之前的狀態無關；2）第i個觀測只與第i個狀態有關，與其他變量無關。

鮑姆-韋爾奇算法將分為兩步估計模型參數。

E Step：

（1）遞歸方法計算前向概率（Forward Probability)ai(t)和后向概率（Backward Probability)βi(t)。

（2）計算狀態占有概率（State Occupation Probability）γi(t)和γij(t)。

M Step：根據狀態占有概率重新計算HMM模型參數。

重復進行以上兩個步驟，直到算法收斂，得到估計的HMM模型參數。具體計算流程如圖8所示。

圖8 鮑姆-韋爾奇算法計算流程

利用鮑姆-韋爾奇算法對第2節得到的動作數據進行建模得到HMM模型參數如圖9所示，分別包括了隱藏狀態初始概率分布、狀態轉移概率矩陣以及輸出概率密度函數的均值與方差。

圖9 計算得到HMM模型參數

2.2 基于HMM的動作識別

通過以上方法可以對不同的動作數據進行建模，為驗證建模的有效性，判斷新觀察到的動作屬于哪類已經建模的動作，這些屬于動作識別問題。為了對新觀察到的動作進行識別，首先需要將新觀察到的運動轉換為可被建模的動作數據O，然后求出每個已建立的動作模型生成該動作序列的似然值P(O丨Mi)，其中Mi是已建立的動作模型，Mi∈{M1,M2,M3,...,Mn}，P(O丨Mi)的值可由上一節中提到的鮑姆-韋爾奇算法計算得到。則通過判斷似然值P(O丨Mi)的大小可以得到識別結果，新觀察到的動作屬于似然值P(O丨Mi)最大的動作模型。

當動作數據維度增加時，動作識別結果的似然值會降低，導致動作識別失敗，改變隱藏狀態的個數的數值可以提高動作識別結果。當似然值P(O丨Mi)中最大的值與第二大的值相差越大，則動作識別結果越好。可以引入以下準則：

其中，max{P(O丨Mj)}表示在已經建立的動作模型中，對觀察到動作序列的最大似然值，second{P(O丨Mk)}表示對觀察到動作序列的第二大似然值。則R的絕對值越大，表明似然值P(O丨Mi)中最大的值與第二大的值相差越大，則動作識別結果越好。可利用R的值，對不同狀態數下得出的模型識別效果進行比較，得到最優的狀態數。

3 實驗

實驗分為了三個部分，驗證向量方法計算關節自由度旋轉角度的正確性實驗，驗證基于Gaussian-HMM模型的動作建模和動作識別方法的有效性實驗以及HMM模型狀態數對動作模型識別結果影響實驗。

3.1 驗證向量方法計算關節自由度旋轉角度的正確性實驗

為了驗證向量方法計算關節自由度旋轉角度的正確性，利用NAO機器人的仿真平臺輸入計算得出的旋轉角度與原數據集進行比較得到（如圖10所示）：可以發現同一時刻，仿真得到的圖像與原數據集動作基本一致，從而驗證本文所提出的向量計算得到的旋轉角度是正確的。

圖10 向量方法計算旋轉角度正確性驗證

3.2 驗證基于GAUSSIAN-HMM模型的動作建模和動作識別方法的有效性實驗

為了驗證基于Gaussian-HMM模型的動作建模和動作識別方法的有效性，選取MSR Action3D數據集中的數據集較為完整精確的動作1（高揮右臂）、動作2（水平揮右臂）、動作6（右臂高拋動作）、動作7（右臂畫“×”）、動作8（右臂畫“√”），這5個動作進行動作識別實驗。在每個動作的多條序列中，隨機選取3個序列組成測試集，其余序列組成訓練集。

首先用Gaussian-HMM模型對5個動作的訓練集中右臂的動作數據進行建模。建模完成后用測試集進行動作識別，測試集包括了5個動作數據集中隨機的一個序列。計算測試集中的動作序列與已建立的模型的似然值，通過似然值的比較得出動作識別的結果，如表3所示，M1-M5代表五個訓練完成的模型，a1-a5代表測試集中的五個動作數據，max代表計算測試集中的動作序列與已建立的模型的似然值最大的模型。

表3 動作識別實驗結果

似然值越高說明序列與模型越匹配，從實驗結果可以看到，對于每條動作序列，與其匹配的模型生成該序列的似然值最高。對于每個已經建立的模型，生成與其匹配的那條序列的似然值最高。5條動作序列和建立的5個模型可以成功實現互相識別，實驗結果驗證了動作建模和識別方法的有效性。

3.3 HMM模型狀態數對動作模型識別結果影響實驗

增加動作數據，用Gaussian-HMM模型對5個動作的訓練集中左右臂的動作數據進行建模，計算測試集中的動作序列與已建立的模型的似然值，結果如表4所示，M1-M5代表五個訓練完成的模型，a1-a5代表測試集中的五個動作數據，max代表計算測試集中的動作序列與已建立的模型的似然值最大的模型。

表4 增加動作數據后模型動作識別實驗結果

由表4可得增加動作數據，而不改變HMM模型隱藏狀態數，動作識別會出現錯誤。改變狀態數，并計算R值，可以得到隨著狀態數改變，動作識別效果改變情況，如圖11所示。

由圖11可得，R的絕對值隨狀態數變大而變大，到達一定值后達到頂點，動作識別效果最好，由此可得出HMM模型最優的狀態數。

圖11 R值隨狀態數變化曲線

4 結語

本文通過向量方法求解動作數據，并通過Baum-Welch算法對Gaussian-HMM模型參數進行估計，從而對動作數據建模。再用新觀察到的動作序列與已建模的模型的似然值比較，驗證基于Gaussian-HMM動作建模和識別方法的有效性。