SpaceMocap：在軌人體運動捕捉系統

李 由，王春慧，嚴 曲，張小虎，謝 良

(1. 中國航天員科研訓練中心人因工程重點實驗室，北京 100194；2. 國防科技大學空天科學學院，長沙 410073)

0 引 言

實現人-機-環境系統的和諧共融是航天人因工程的目標，在空間飛行微重力環境下，人體姿態、運動學特性參數與地面重力環境相比有著顯著變化[1]。因此需要建立在軌人體姿態測量方法，通過在軌實驗獲取航天員姿態和運動的基礎數據，并分析其工作空間，為長期在軌飛行人因研究提供方法和平臺支撐。

運動捕捉(Motion capture, Mocap)是指捕捉人體姿態和動作的技術，它廣泛應用于動畫制作、生物力學、人機工程、自然交互、混合現實、互動游戲、體育訓練、機器人控制等諸多領域。從技術的角度來說，運動捕捉的實質就是要測量、跟蹤、記錄人體在三維(3D)空間中的運動軌跡。常用的運動捕捉技術從原理上可分為機械式、聲學式、電磁式、慣性導航式和光學式。目前以光學式和慣性式最為常見，前者的優勢在于精度高、無電纜或機械裝置的限制，缺點是標志點易遮擋、混淆、丟失，系統龐大、價格昂貴。后者的優勢在于不受光照條件影響、無遮擋問題，缺點是測量結果存在漂移現象，佩戴傳感器影響人體自由運動。

失重對人體姿態和運動的影響一直是航天員在軌實驗研究的一個重要內容。中性體位(Neutral body posture, NBP)是人體在微重力中自然呈現的姿勢，NASA對在軌NBP測量進行了長期的深入研究。在1973、1974年利用天空實驗室3次飛行任務，分別在飛行28天、56天、84天時，由航天員拍攝中性體位下的全身照片。如圖1(a)、(b)所示，通過確定測點,繪制出頭、頸、軀干、上肢、前臂、手、大腿、小腿、腳身體各體段的棍圖，然后利用角度尺測量關節角度。這種方法需要人體平面與相機視線垂直,關節點定位受主觀因素影響，而且手動計算角度的效率很低。

圖1 國外在軌人體姿態測量示意圖Fig.1 Existing on-orbit posture measurement systems

隨著人體測量技術的不斷發展，目前NASA利用先進的光電測試技術在國際空間站開展“微重力環境下的人體姿態”項目研究，如圖1(c)、(d)所示。定量研究長期微重力環境下中性體位，積累中性體位下人體形態以及立姿下的脊柱形態的基礎數據。

在軌運動測量方面，由意大利空間局和法國空間局聯合研制ELITE和ELITE-S2[2-3]用于國際空間站多方面分析航天員在失重情況下的運動情況。其原理是通過安裝在受試者周圍的4個攝相機記錄受試者的運動，進一步通過軟件處理計算安裝在受試者身上的傳感器的空間位置。這種方法屬于光學式運動捕捉。

隨著計算機視覺技術的發展，無標志點運動捕捉(Markerless Mocap)方法逐漸成熟起來。這類位置姿態(以下簡稱“位姿”)估計或運動捕捉方法又稱為“基于模型的位姿估計和跟蹤方法”[4]，其核心思想是“模型-數據”配準，即求解人體位置和姿態，使得該位姿下的人體表面模型與二維(2D)圖像或3D點云最大程度上匹配。早期的多視角輪廓方法[5]從每個相機圖像中提取人體外輪廓，獲取包含人體的視錐，再通過各視錐的交集獲取視覺凸包(Visual Hull)，最后利用迭代最近點(Iterative closest point, ICP)方法求解位姿。這種方法需要人體位于簡單背景下，并且無法很好地處理凹陷[6-7]。隨著深度學習技術的發展，出現了基于彩色圖像的方法[8-10]以及基于深度圖像的方法[11]。然而這些方法主要以關節點檢測為主，精度和跟蹤的連續性無法滿足運動捕捉的要求。

RGB-D相機(又稱深度相機或3D相機)能夠同步輸出彩色圖像和深度圖像，按照原理不同可分為結構光(Structured Light)、TOF(Time of flight)、雙目視覺(Stereo Vision)三類。隨著Kinect、Xtion、Astra等RGB-D相機的普及，直接獲取深度圖像(或點云)變得非常方便。基于該相機與上述位姿估計方法的核心思想，本文提出了基于多臺RGB-D相機的在軌航天員運動捕捉系統——SpaceMocap。

1 系統處理流程

SpaceMocap系統由一臺PC與多臺RGB-D相機構成，每臺相機與PC通過USB線纜連接，工作流程如圖2所示。

圖2 SpaceMocap系統處理流程Fig.2 Processing flow of spaceMocap

①地面準備階段：掃描人體模型，并分別標定彩色相機的內參數。②在軌采集階段：系統控制多臺相機同步采集航天員任務視頻。③地面處理階段：首先通過標志點標定各彩色相機的外參數，再通過ICP方法實現多個點云的融合。利用預先訓練好的深度神經網絡對人體關節點位置進行檢測，并初始化位姿，再通過改進的ICP方法以“模型-點云”配準的方式進行位姿求精，并實現序列圖像中關節點角度跟蹤，以c3d和bvh數據文件的格式輸出關節點位置和關節角度。

2 技術細節

2.1 地面系統準備

地面準備階段主要完成人體模型掃描和相機內參數標定兩個工作。

2.1.1人體模型掃描與關節角度驅動

由于整個方法是基于“模型-點云”配準實現位姿求解，所以首先需要獲取人體模型。盡管可以直接采用通用人體模型(如用圓柱體、橢球體代替人體體段)，但是獲取特定航天員的人體模型，做到數據同源，顯然可以使位姿求解獲得更高的精度。

目前針對人體稠密實時重建，主要可以分為單目和多目的重建策略。基于多目的人體稠密重建，目前最具有代表性的工作為Fusion4D[12]，該工作采用8個視角的深度圖對人體進行稠密重建，魯棒性較高，但是8臺深度相機需要精確標定，難以推廣普及。相對而言，基于單目的人體稠密重建實用性更好。為此，基于單臺RGB-D相機(如Kinect、Xtion、Astra)對被測試者進行近距離掃描獲取深度視頻，利用DynamicFusion算法[13]重建高精度的人體表面三角網格模型。通過掃描獲取的是固態靜止模型，而位姿跟蹤需要的是可以被關節角度驅動的模型。為此，采用自動骨骼蒙皮綁定[14]方法將該三角網格模型和參數化骨骼模型轉化為多自由度人體模型。基本原理及本系統所用的18-關節人體模型如圖3所示。

圖3 本系統的人體模型Fig.3 Human body model in our system

2.1.2相機內參數標定

RGB-D相機包含彩色相機和深度相機，本文僅標定彩色相機,深度相機沿用廠家提供的內參數。在此，采用張正友標定方法[15]對每臺RGB-D相機的彩色相機進行標定，記錄其內參數，該參數將用于后續外參數標定(即相機位姿求解)。

2.2 在軌視頻采集

在軌視頻采集階段，航天員將各相機安裝在艙內既定位置，通過USB數據線將相機與PC連接，調節云臺使得被試航天員位于各相機視場當中，并利用采集軟件對被試航天員的任務視頻進行多目同步采集。在軌采集示意圖如圖4所示。由于深度圖像的邊緣普遍存在較大失真，因此盡量使被試者位于各圖像的中央位置。另外，由于深度相機的測量精度隨物距增大而迅速降低，因此在深度相機有效物距范圍(0.5～6 m)內，被試者應盡量靠近相機。

圖4 在軌采集示意圖Fig.4 On-orbit Acquisition

為了后續地面處理中獲取各相機的外參數，在實驗現場各相機公共視場內布置多個合作標志點，這些標志點在既定的參考坐標系中的坐標是精確已知的，后續測量結果將轉換到該坐標系下。

SpaceMocap利用深度視頻進行運動捕捉，彩色視頻僅僅作為顯示用。為此，采集軟件對彩色視頻進行有損壓縮，對深度視頻進行無損壓縮，每5 min一次將它們保存在硬盤中。試驗結束后，航天員將這些視頻數據拷貝至移動存儲介質帶回地面。

2.3 視頻地面處理

首先，通過簡單的計算將深度圖像轉換為點云數據。由于每個視角點云都是以其深度相機拍攝時的位姿為原點的，因此需要通過相機外參數標定獲取拍攝時各相機相對于參考系的位姿，再利用該位姿對點云進行坐標變換，使其融合到參考系下。

2.3.1基于相機外參數標定與ICP的點云融合

外參數是相機相對于參考系的位姿。采用PnP算法[16]對包含合作標志點的彩色圖像進行求解，獲取在軌實驗時刻各彩色相機的外參數。

利用外參數將每朵點云變換到參考系下，但由于每臺RGB-D相機的深度相機與彩色相機之間還存在一個位姿差異，因此還需對各點云進行微調。為此，采用ICP算法對點云的位姿進行迭代優化。

每次實驗相機云臺都是固定不變的，因此上述點云融合所需的參數只計算一次，對于后續每一幀點云都要利用該參數進行融合。融合后的點云除了包含目標人體外，還包含大量的背景或無關物體的點云，會對后續的檢測和跟蹤造成影響。為此，對于第一幀點云，用戶可以指定一個感興趣長方體(Cube of Interest)，檢測或跟蹤算法僅處理該COI內部點云。COI僅在第一幀點云需要設置，在跟蹤過程中，COI自動跟隨人體位姿。值得一提的是，該COI內部仍然存在噪聲點云，然而我們的算法可以根據距離閾值有效地排除這些噪點。

圖5 地面數據處理軟件界面Fig.5 Interface of ground data processing software

2.3.2關節點檢測與位姿初始化

不結合前后幀數據，在單幀數據中，直接檢測獲取人體關節點位置信息，為跟蹤器提供魯棒的單幀檢測結果，是關節位置檢測器的主要功能。目前存在大量的人體關節點檢測算法，主要是針對單目人體姿態檢測：基于單目深度圖的3D人體關節點檢測[11]和基于單目彩色圖的2D人體關節點檢測[8-10]。單目人體姿態檢測難以應對部位遮擋的情況，只能應對人體正面朝向相機的情況。

傳統的神經網絡框架都是以2D、3D圖像作為輸入的，多目深度圖可以通過變換，將多目融合點云轉換成3D圖像，繼而作為神經網絡的輸入，這種做法是目前3D神經網絡的研究熱點。但是將點云轉為3D圖像具有一定的局限性，首先3D圖像中存在大量的空白處，存在空間浪費；其次，由于點云的疏密程度不同，轉換的3D圖像會發生變化，造成輸入錯誤。因此，本文研究了以點云為直接輸入的神經網絡框架，能夠有效減少3D深度學習的使用空間，并且能夠應對疏密程度不一致的點云輸入。

以點云為輸入的神經網絡初步框架如圖6所示，點云首先通過學習獲得的變換矩陣進行歸一化處理，再利用卷積特征處理獲取特征，循環處理，可

圖6 以點云為輸入的神經網絡框架Fig.6 Neural network framework using point clouds as inputs

獲得高層特征信息，不需要對點云進行特殊處理。對COI內部點云進行關節點位置檢測，演示結果如圖7所示。

圖7 關節點3D位置檢測示意圖Fig.7 Joint point 3D position detection

利用本深度神經網絡檢測初始時刻人體各關節位置，根據對應關系即可求解人體初始位姿，完成跟蹤的自動初始化。后續跟蹤如果失敗，系統將自動調用本方法進行重新初始化。

2.3.3位姿求精與姿態跟蹤

基于神經網絡的關節位置檢測算法能魯棒地定位關節點的3D位置，但是精度較低，檢測算法也沒有用到連續幀之間的關系，連續幀之間存在檢測抖動，因此僅通過3D檢測算法難以獲得精確、平滑的關節角度結果。

傳統的關節角度跟蹤算法采用ICP策略，魯棒性較差，難以應對大幅度運動，本研究利用神經網絡作為關節位置的魯棒檢測器，能夠魯棒應對大幅運動。傳統的基于ICP策略的關節角度跟蹤策略，在尋找點云和模型之間的對應性時，僅僅考慮點云的位置信息，即以點云同模型之間的點距離最小化為目標，由此找到的點云對應性容易受到復雜運動影響，例如大臂和胸部在特定姿態下緊挨在一起，此時僅靠距離最小化原則容易出現錯誤點對應。因此，提出了融合點云位置和法向的點對應求取策略，可以有效地應對復雜運動情況。

綜上所述，根據改進的ICP方法優化求解了人體精確位姿并實現了序列圖像中人體位姿(關節角度)的跟蹤。對關節點位置、角度進行差分和平滑，即可獲取速度、角速度等運動參數。

3 試驗結果

3.1 人體姿態測量結果

為驗證SpaceMocap系統的性能，我們在地面進行了反復的測試，并將結果與精密光學動捕設備進行了比對。試驗結果表明，運動捕捉的模型與點云具有良好的重合度，關節點定位誤差在5 mm以內，關節角度誤差在2.5°以內，誤差主要取決于深度相機的精度和分辨率。2016年9月，SpaceMocap(整包質量約4 kg，體積400 mm×300 mm×200 mm)搭載TG-2升空，對SZ-11兩名航天員的任務視頻進行了采集和處理。

Space Mocap系統3個RGB-D相機(Orbbec Astra)在軌獲取的航天員NBP圖像點云，以及SpaceMocap系統地面測量軟件獲取的姿態跟蹤結果如圖8(b)所示。由圖中可見，航天員人體模型與點云有良好的匹配度，表明姿態跟蹤結果準確。本次試驗獲取的中性體位姿態角與NASA的數據(見圖8(a))如表1所示。人體本體坐標系定義為x軸向左、y軸向上、z軸向前，定義水平面為xz、矢狀面為yz、冠狀面為xy。表1中各角度為各關節在各平面上的投影角，與NASA的數據基本相符，但有些角度也存在較大差異。此外，任意時刻航天員的占位空間可以根據該時刻捕獲的姿態模型求得。這是我國首次獲取的航天員在軌NBP角度、占位空間等數據，將為我國載人航天人機交互設計提供重要的參考依據。

3.2 艙內活動的運動學測量結果

本次試驗對航天員艙內多組運動視頻進行了分析。以腳蹬離測試為例，航天員從后球底附近的硬扶手處蹬離，沿著地板向前錐段方向飄移，在前錐段附近的硬扶手處停靠。定義X軸與Z軸位于地板所在平面，Z軸由后球底指向前錐段，X軸指向左側。系統獲取了全身及各關節點的位移和速度，各關節角度和角速度數據。

表1 SZ-11任務與NASA中性體位姿態角度的對比Table 1 NBP angels of SZ-11 and NASA astronauts (°)

圖8 在軌中性體位測量結果Fig.8 NBP measurement results

經系統分析，身體質心變化曲線如圖9所示。由圖可知，質心基本平行于艙體地板(Y值變化很小)，從艙體后球底運動到前錐段(Z值逐漸增大)并稍向左側飄移(X值逐漸增大)。經計算，質心在Z方向初始速度約為0.11 m/s。運動過程中，質心X方向和Z方向上的最大速度均為0.3 m/s，在運動結束位置附近時的質心Z方向速度約為0.03 m/s。運動測量結果與圖像表觀吻合較好。

圖9 艙內活動的運動學測量結果Fig.9 Kinematic measurements of in-cabin activities

此外，系統提供人機交互輔助測量功能。當自動初始化或跟蹤失效時，可通過界面手動調節人體質心位置、主軸方向和各關節角度，實現位姿的高效調整。用戶通過觀察模型-點云、模型-圖像的重合度，可以定性分析當前位姿測量結果的準確性。通過觀察系統實時顯示的匹配度數值，定量分析當前位姿測量結果的置信度。

4 結論與展望

1) 提出了一種有效的基于多臺RGB-D相機的運動捕捉方法，不僅具有直觀、非接觸式等視覺測量的共性優勢，無需在人體上粘貼任何標志，而且具有較高的測量精度以及良好的魯棒性和抗遮擋能力。

2) 基于上述方法構建的SpaceMocap系統是我國首個在軌人體運動捕捉系統。它具有體積小、質量輕、功耗低等優勢。試驗結果表明，其適用于微重力、狹小空間下的在軌應用。

3) SpaceMocap在最近一次飛行任務中為我國首次獲取了在軌航天員的中性體位姿態，以及其它姿態、占位空間、運動參數等重要數據，今后還將用于在軌人因行為分析等領域。目前，我們正在選型更高性能的RGB-D相機，改進算法(如融合彩色圖像與深度圖像信息)并提高實時性，使其更好地應用于后續載人航天任務。