基于九軸慣性傳感器的人體動作捕捉系統*

楊　成，　冉　冀，　吳　鐘

1. 武漢商學院 體育學院　武漢　430056 2. 華中科技大學 電子信息與通信學院　武漢　430074

基于九軸慣性傳感器的人體動作捕捉系統*

楊成1，冉冀2，吳鐘1

1. 武漢商學院 體育學院武漢430056 2. 華中科技大學 電子信息與通信學院武漢430074

傳統動作捕捉與分析采用機械、光學及聲學方式，所占空間大，價格昂貴，操作也較為復雜。研究了基于九軸慣性傳感器的人體動作捕捉系統，將慣性傳感技術與人體科學相結合，在人體上抽象出17個關節點，通過這17個關節點采集人體運動數據。數據通過無線保真方式發送至計算機，在計算機上對數據進行處理，得到驅動人體模型運動的姿態數據，從而控制虛擬模型進行運動展示。這一動作捕捉系統具有經濟、便利、不受場地和天氣因素影響等多種優勢，實現了對人體運動姿態的實時采集與分析，可以使運動訓練更加科學與高效。

慣性傳感器；動作捕捉；設計

1　動作捕捉概述

動作捕捉是利用機械裝置、光學或傳感器等設備獲取人體或其它物體運動數據，并將這些運動姿態重現的技術[1]。在日常生活中，較為常見的應用動作捕捉技術是在動畫電影及體感游戲中，首先由表演者穿戴上能夠采集運動數據的相關設備，然后利用軟件建模，再結合之前所得到的運動數據使建立的模型能夠與表演者同步運動或展現出表演者的動作。如今，主流的動作捕捉技術見表1。

慣性式動作捕捉通過九軸慣性傳感器航姿參考系統和慣性測量單元測量表演者運動加速度、方位、傾斜角等參數，不受環境干擾影響，不怕遮擋，捕捉精確度高，采樣頻率可達每秒1000次或更高。由于采用高集成芯片及模塊，設備體積小、質量輕，性價比高。將九軸慣性傳感器直接佩戴在表演者頭上，或將17個九軸慣性傳感器組成數據服穿戴在表演者身上，再通過Zigbee、藍牙、無線保真等方式與主機相聯，可以分別跟蹤頭部和全身動作，并實時顯示完整的動作信息。

2　系統總體設計

2.1　設計框架

一套完整的動作捕捉系統可以劃分為三個主要部分。第一個部分是數據采集模塊，這是整個動作捕捉系統的根基，所有其它模塊都需要用到九軸慣性傳感器所采集的人體姿態數據，如果采集的數據不準確，將會使最后的虛擬人體模型顯示效果大打折扣。第二部分是數據發送模塊，如果發出的數據出現大量丟包現象，無疑也會對動作捕捉的準確性造成致命影響。第三部分是建立一個標準的人體骨骼模型，并且將所采集到的表演者每個節點的數據綁定到人體模型的相應節點上，同時在正反向運動學算法的幫助下使虛擬模型的運動更加貼近于真人[3]。

系統框架可分為硬件及軟件兩個部分，如圖1所示。

圖1　動作捕捉系統框架

人體主要由身體軀干、左右上肢、左右下肢及頭頸部等構成，因此，在以上部位放置適當數量的九軸慣性傳感器，可以獲取人體運動的全部信息。由于人體中的很多骨骼是剛性的，無法曲折，因此只需在連接剛性骨骼的關節點處放置九軸慣性傳感器。經過對人體骨骼模型的簡單抽象，可以在人體上抽象出17個關節點，通過這17個關節點的數據可以基本完整地采集人體運動姿態的所有主要數據，然后將采集到的數據通過無線保真方式發送至計算機，再在計算機上對采集到的數據進行處理，即可得到驅動人體模型運動的姿態數據，從而控制虛擬模型展示相同的運動。另外，還可以將人體運動的數據保存下來，以便其它軟件或平臺調用[4]。

硬件系統的框架主要包括三個部分。第一個部分是傳感器硬件，主要功能是收集數據。第二個部分是數據匯集及發送，作用是匯集之前各節點的數據，再將數據打包發送。第三個部分是電源，為各個芯片供電以確保系統正常運轉。系統的硬件框架如圖2所示。

圖2　動作捕捉系統硬件框架

整個系統的軟件框架如圖3所示。

圖3　動作捕捉系統軟件框架

2.2　設計方案

根據軟硬件框架，便可得到整個系統的設計方案，如圖4所示。

圖4　動作捕捉系統設計方案

系統中，需要設計17個九軸慣性傳感器。所有九軸慣性傳感器都由JY901模塊采集運動數據，然后通過串口通信傳送至STM32微控制器，STM32微控制器與SP3485半雙工收發器之間也通過串口進行通信。之后，再將全部SP3485半雙工收發器串聯起來，并由最后一個SP3485半雙工收發器將數據傳送至串口轉無線保真發送。圖4中為了使框架簡潔明了，將 1～17號九軸慣性傳感器全部串聯在一起，實際上若單條線上掛載了過多的九軸慣性傳感器，將會導致接收不到數據，所以最后實際應用中共分為5條線，每條線上掛載了2～4個九軸慣性傳感器不等。這些九軸慣性傳感器分別固定在影響人體運動的17個核心關節點上。當數據匯集及發送部分接收數據完成后，便通過無線保真方式將數據打包再經路由器發送至計算機。計算機上的三維模型軟件調用程序獲取數據，將采集到的節點數據和三維模型的相應節點進行綁定，并經過一系列融合計算后作為驅動數據來控制虛擬人體模型進行運動[5]。在演示完成后可以保存運動數據，作為資料備份或提供給其它計算機圖形軟件使用。

3　算法設計

3.1　捷聯式慣性導航算法

捷聯式慣性導航系統在幾十年前就開始應用于各類飛行器上，它的工作原理與平臺式慣性導航系統頗為相似，但又有不同之處[6]。捷聯式慣性導航系統去掉了傳統的實體平臺，直接利用安裝于機體上的加速度計及陀螺儀通過計算機數學平臺來獲取飛行器的位置速度及姿態信息。

動作捕捉系統利用數學平臺，將傳感器坐標系軸向加速度信息變換為地理坐標系絕對加速度，對加速度做二次積分得到位移信息[7]。系統同時將陀螺儀測量的角速度減去地理坐標系中相對慣性空間的角速度，從而得到傳感器坐標系相對地理坐標系的角速度。

捷聯式慣性導航的基本原理框架如圖5所示。

圖5　捷聯式慣性導航原理框架

由圖5可知,加速度計和陀螺儀的原始數據經過誤差補償和修正之后可以得出四元數，由四元數可轉化為由傳感器坐標系到地理坐標系的方向余弦矩陣，得出絕對加速度，再經過二次積分，得到相關位置信息[8]。由四元數還可轉化為歐拉角，獲取載體的姿態信息。將以上兩部分合并輸入三維模型軟件進行融合，并加入運動學算法進行進一步處理，即可達到動作還原的目的。

3.2　運動學算法

雖然傳感器采集的數據經過捷聯式慣性導航算法的融合解算已經比較準確，但是由于傳感器綁在人體關節點上的具體位置有可能會有輕微偏差，加之傳感器本身測量數據的輕微誤差會導致虛擬人體模型的運動姿態與真實表演者相比產生一定失真度，以及設計采取收集表演者17個關節點的運動數據，一些細節部位的運動數據并沒有采集到，因此會使虛擬人體模型的運動顯得僵硬。利用運動學算法對模型進行約束，將使人體的運動變得更加自然和逼真[9-10]。

運動學算法分為正向運動學算法和反向運動學算法。簡單而言，正向運動學由父骨骼的旋轉運動帶動一級子骨骼的旋轉運動，一級子骨骼的旋轉運動再帶動二級子骨骼的旋轉運動，依次類推，層層遞進直到最后一個子骨骼。反向運動學則由子骨骼的旋轉運動帶動上一級骨骼的旋轉運動[11]。就三維建模軟件而言，一般由一個末端效應器(一條關節鏈上的最后一個關節點)、中間若干關節點和一個目標位置(一條關節鏈上的起始關節點)所構成，當末端效應產生運動或旋轉時，會帶動整條關節鏈一步步運動，直至目標位置[12]。

4　軟件設計

4.1　數據傳輸軟件

忽略STM32初始化程序，則整個程序主要包含讀取JY901數據程序和發送數據程序，以下對程序設計做詳細說明。

主程序的設計流程如圖6所示。

圖6　主程序設計流程

主程序首先對STM32進行初始化，然后需要加入一個延時函數，該函數與九軸慣性傳感器數據采集速率相關。由于采用串口通信，因此要對串口進行初始化。本設計主要用到了兩個串口USART1和USART2，USART2是STM32與JY901相連的串口，USART1是STM32發送給SP3485所用的串口。之后還要設置中斷優先級分組，對應函數是NVIC_Configuration。此外，為了判斷STM32是否處于正常工作狀態，還在電路中加入了發光二極管，所以程序中還要對發光二極管進行初始化。當USART1發送標志開時，開始發送數據至SP3485。查閱JY901用戶手冊，發送的數據共28Byte，以*號開頭，然后是傳感器地址，之后是24Byte的數據，加速度、角速度、角度、磁場強度每項數據占6Byte，即每項數據的X、Y、Z軸各占 2Byte，最后以#號結尾。

接收部分的程序放入了主中斷服務例程中，函數名為USART2_IRQHandler，即使用USART2來接收數據。首先需要判斷是否產生中斷，即JY901是否有數據傳送[13]，若有，則由函數 USART_ReceiveData 接收數據，并由回調函數jyCal將數據放入數據緩沖區ucRxBuffer，讀取完畢后再由函數USART_ClearFlag來清零標志位。

不論接收還是發送，都使用了串口，所以如何初始化串口及滿足何條件才可以發送數據至關重要。串口的程序設計流程如圖7所示。

圖7　串口程序設計流程

由圖7可知，首先對串口進行初始化，在主程序中將其波特率設為115200Baud。在初始化時，先使用函數GPIO_InitTypeDefGPIO_InitStructure對通用輸入輸出端口進行初始化設置，再使用函數USART_InitTypeDefUSART_InitStructure對具體串口進行初始化設置[14]。

另外，由于USART1_TX對應的引腳為PA.9，USART1_RX對應的引腳為PA.10，因此還要對這兩個引腳進行初始化，PA.9為復用推挽輸出(GPIO_Mode_AF_PP)，PA.10為浮空輸入(GPIO_Mode_IN_FLOATING)，USART2類似。

初始化設置串口時，需要設置串口波特率和數據格式[15]，并設置一個停止位，不需要設置奇偶校驗位。此外，還需設為無硬件數據流控制，并設置收發模式。

需要注意USART1的中斷服務程序USART1_IRQHandler，這一函數的主要作用是接收中斷和讀取數據緩沖區數據[16]，并在數據讀取完畢后開發送標志位，使數據可以發送。中斷服務程序的設計流程如圖8所示。

圖8　USART1中斷服務程序設計流程

由圖8可見，接收到中斷后開始讀取數據，此處需要做判斷數據是否以*號開頭，防止數據混亂。如果滿足條件，則開始讀取之前置于數據緩沖區的數據，遇到#號則停止讀取。此時需要判斷地址是否匹配，如果匹配才開USART1數據發送標志位。開數據發送標志位后，可以由STM32向SP3485發送數據[17]。至此，傳感器數據傳輸的軟件部分均已實現，下一步需要考慮如何在三維模型軟件端接收無線保真方式發送來的數據。

路由器要將數據傳輸至三維模型軟件，需要用到套接字編程(Socket)[18]。Socket的實現框架如圖9所示。

圖9　Socket實現框架

整段代碼較為冗長，此處對主要函數進行簡要說明。本設計將Socket置于線程中，并通過線程來管理Socket。在線程函數中，第一步是對WinSock進行初始化，如果初始化失敗則輸出錯誤信息[19]。第二步是使用函數jy->m_sock=Socket(AF_INET,SOCK_STREAM,IPPROTO_TCP)來創建服務器Socket，如果創建異常，同樣會輸出錯誤信息。第三步需要對相關信息進行聲明。第四步是端口綁定，由函數iErrorMsg=Bind(jy->m_sock,(sockaddr*)&serverAddr,sizeof(serverAddr))來實現。第五步是由函數Listen(jy->m_sock,1)進行監聽，當監聽到有數據傳來時，便調用函數Accept(jy->m_sock,(sockaddr*)&tcpAddr,&len)。

以上流程完成后便可以進行數據交換。在進行數據交換時，服務器端依次發送每個九軸慣性傳感器的地址指令，匹配的傳感器接收后解析指令，再發送最新的采集數據。服務器端接收到最新數據后發送下一個九軸慣性傳感器的地址指令，如此周而復始獲取所有九軸慣性傳感器的數據[20]。本部分功能由函數GetData()完成。

當所有數據交換完成后，可由函數CloseSocket(jy->m_sock)關閉Socket。

4.2　三維模型軟件

在Motion Builder軟件的文件夾中有一個OpenRealitySDK文件夾，里面包含了開發所需的所有頭文件、庫文件、腳本及一些基本示例。本設計主要使用其中的Devices文件夾，該文件夾中包含了像機跟蹤、輸入輸出、錄制播放列表及同步鎖定等多種控件[21]，每個控件都有Device、Hardware、Layout三個文件及相對應的頭文件。Device文件的作用相當于控制器，Hardware文件的作用相當于模型、Layout文件的作用相當于視圖[22]。Device文件主要負責操作模型相關內容，如錄制保存幀數據、調整骨骼、調節攝像機角度等。Hardware文件在本設計中主要負責建立骨骼、獲取相應關節點數據和刷新數據等工作。Layout文件主要負責與頁面布局及用戶可視相關的內容。

三維模型軟件的設計流程如圖10所示，主要有三個關鍵環節： 數據接收、骨骼構造，以及將數據傳送至相應的虛擬骨骼關節點。由于單一的骨骼會使虛擬人體模型視覺效果不佳，因此需要對骨骼進行蒙皮處理，這樣得到的人體模型逼真度更高，也更有利于觀察三維模型的動作是否和表演者一致。三個關鍵環節主要在Ordeviceskeleton_hardware.cpp中實現[23]，程序中對Socket的加載、創建，以及傳輸控制協議連接請求的發送、接收等操作都進行了封裝。

圖10　三維模型軟件設計流程

5　數據測試

5.1　數據傳輸測試

數據測試利用傳輸控制協議、用戶數據報協議測試工具，設置好網際協議及相關端口后，創建服務器并啟動，若連接成功便會自動出現客戶端界面。以16進制發送命令2A0123，其中01代表地址，亦即傳感器的編號。發送命令之后，若連接通暢，則會接收到以16進制表示的回傳數據2A-01-XXX-23,其中XXX為加速度、角速度及磁場強度的原始數據，每個軸向的數據占2Byte。數據傳輸測試截圖如圖11所示。

5.2　單節點測試

在確定數據能夠正常發送和傳輸后，結合三維模型軟件進行單節點測試，目的是測試數據可否正常被三維模型軟件解算及測試數據采集模塊的靈敏度與準確度。在測試中，數據采集模塊將采集到的原始數據以無線保真方式發送至三維模型軟件中，然后由捷聯式慣性導航算法對數據進行處理，得到較為準確的位移和角度信息，再建立骨骼，進行數據綁定，并利用運動學算法對數據進行進一步融合解算[24]，這樣就可以利用所采集的姿態數據來驅動控制模型同步運動。單節點測試效果如圖12所示，三維模型運動姿態與表演者基本一致。

6　結果顯示

由于節點綁定、端口號及網際協議設置等操作都已在代碼中完成，因此在軟件中只需將修改完成后的骨骼添加至視圖界面進行角色化，再對骨骼進行蒙皮等操作即可。在表演者身上佩戴傳感器時需要注意，由于傳感器體積及人體自身身體構造等原因，不可將傳感器佩戴至手腕、手肘、膝蓋、腳踝等部位，而是將傳感器置于這些關節點向前1～2cm 處。此外，需要注意佩戴至同一軀干的傳感器位置需盡量保持在同一直線上，以保證初始化時三維模型和表演者同姿態[25]。

完成上述操作后，便可收集表演者的運動數據來控制三維模型同步運動。如圖13所示，當表演者展現出不同的運動姿態時，創建的三維模型會隨即運動呈現出相同的姿態，由此實現設計的基本目的，即將捕捉到的真實人體運動數據用于控制虛擬人體模型運動。為盡可能用到所有關節點，采取了雙手平伸、跑步、扎馬步及搏擊等動作。

圖11　數據傳輸測試截圖

圖12　單節點測試效果圖

圖13　動作捕捉系統結果顯示

三維模型的動作與表演者的動作幾乎一致，證明了動作捕捉系統的設計正確性與實現有效性。

7　設計小結

利用傳感器進行動作捕捉，設計了人體動作捕捉系統，包括整個系統的設計框架及軟硬件實現的詳細方案，考慮了數據的采集、傳輸、處理及圖像顯示等內容。選用JY901作為數據采集的核心，并以其為基礎完成一個可采集、可發送、可接收的單傳感器節點。對傳感器的連接方式及如何在人體上布置傳感器進行了設計和實現。將各傳感器與節點通過RS485連接，以匯集模塊中的SP3485作為主機，以各傳感器節點中的SP3485作為從機。主SP3485連接串口轉無線保真模塊后，由該模塊將數據打包并發送至三維模型軟件，軟件中利用Socket來接收。對三維模型軟件設計了整體框架，實現了建立骨骼、獲取數據及數據綁定等功能。

基于九軸慣性傳感器的人體動作捕捉系統已基本建立，下一步將通過采用更高精度芯片、優化代碼等手段，提升平臺的性能。相信隨著科技的發展，動作捕捉技術將會得到越來越深入的研究和應用。

8　未來展望

基于九軸慣性傳感器的人體動作捕捉系統基本滿足了課題的既定要求和目標，能夠進行人體動作的捕捉，但仍有不足之處，需要從以下幾方面進行改進。

(1) 人體模型基于動力學人體骨骼模型建立，只能表征人體的基本運動特征，對人體的細微動作，如面部表情、肌肉抖動等都不能進行捕捉，因此需要提高傳感器的數據采集精度。

(2) 由于設備的限制，沒有采用光學設備對傳感器的運動姿態進行精確測量，因此沒有準確的參考數據以供研究分析。下一步，需要采購光學設備進行姿態測量。

(3) 目前由于計算人體軌跡的方式比較復雜，系統只能捕捉人體靜止不動時的動作姿態，還不能捕捉人體運動時的姿態，這將是以后研究的重點。

[1] WITTMANN F, LAMBERCY O, GONZENBACH R R, et al. Assessment-driven Arm Therapy at Home Using an IMU-based Virtual Reality System[C]. Rehabilitation Robotics(ICORR),2015 IEEE International Conference on, Singapore, 2015.

[2] COSTA R, GUO R K, QUARLES J. Towards Usable Underwater Virtual Reality Systems[C]. Virtual Reality(VR),2017 IEEE, Los Angeles, 2017.

[3] MUMTAZ N, ARIF S, QADEER N, et al. Development of a Low Cost Wireless IMU Using MEMS Sensors for Pedestrian Navigation[C]. Communication, Computing and Digital Systems(C-CODE)， International Conference on, Islamabad， 2017.

[4] KANG C W, YOO Y M, PARK C G, et al. Performance Improvement of Attitude Estimation Using Modified Euler Angle Based Kalman Filter[J]. Journal of Institute of Control, Robotics and Systems，2008，14(9)： 881-885.

[5] 孫克誠.三軸飛行仿真平臺控制系統的設計與研究[D].南昌： 南昌航空大學，2016.

[6] 王偉棟.基于微慣性技術的數據手套研究[D].上海： 上海交通大學，2014.

[7] HSU Y L, WANG J S, CHANG C W. A Wearable Inertial Pedestrian Navigation System with Quaternion-Based Extended Kalman Filter for Pedestrian Localization[J]. IEEE Sensors Journal，2017，17(10)： 3193-3206.

[8] SIMON D. Optimal State Estimation： Kalman, H∞ and Nonlinear Approaches[M]. Hoboken: Wiley-Interscience, 2006.

[9] 向澤銳,支錦亦,徐伯初，等.運動捕捉技術及其應用研究綜述[J].計算機應用研究,2013,30(8)： 2241-2245.

[10] 黃波士,陳福民.人體運動捕捉及運動控制的研究[J].計算機工程與應用,2005,41(7)： 60-63.

[11] 李佳.多視角三維人體運動捕捉的研究[D].北京： 北京交通大學,2013.

[12] NOIUMKAR S, TIRAKOAT S. Use of Optical Motion Capture in Sports Science： A Case Study of Golf Swing[C]. Informatics and Creative Multimedia(ICICM),2013 International Conference on, Kuala Lumpur, 2013.

[13] 劉賢梅,李冰,吳瓊.基于運動捕獲數據的虛擬人動畫研究[J].計算機工程與應用,2008，44(8)： 113-119.

[14] 姚旭東.基于運動捕捉數據的虛擬人建模及運動仿真[J].計算機仿真,2010,27(6)： 225-229.

[15] 劉博.基于MEMS傳感器的動作捕捉系統開發設計[D].北京： 北京理工大學,2011.

[16] 杜曉明,陳巖.無線傳感器網絡研究現狀與應用[J].北京工商大學學報(自然科學版),2008,26(1)： 41-44.

[17] 王建閣,李娟,丁波，等.基于JN5139的無線溫濕度監控系統[J].計算機測量與控制,2013,21(4)： 904-906.

[18] 李啟雷,金文光,耿衛東.基于無線慣性傳感器的人體動作捕獲方法[J].浙江大學學報(工學版),2012，46(2)： 280-285.

[19] 李春霞,楊克儉,李波.人體骨架模型的建立及IK問題的一種解決方式[J].武漢理工大學學報(交通科學與工程版),2013,27(6)： 815-818.

[20] 陳明志,陳健,許春耀.基于兩段式IK與關鍵幀的虛擬人運動控制[J].計算機工程與設計,2012，33(7)： 2760-2765.

[21] 沈娟,李建微.動作捕捉中的動畫驅動及運動編輯技術綜述[J].計算機與數字工程,2008，36(3)： 103-106.

[22] 唐文彥.傳感器[M].5版.北京： 機械工業出版社,2014.

[23] KHOSHNOUD F， DE SILVA C W. Recent Advances in MEMS Sensor Technology-mechanical Applications[J]. IEEE Instrumentation & Measurement Magazine,2012,15(2)： 14-24.

[24] 秦勇,臧希喆,王曉宇,等.基于MEMS慣性傳感器的機器人姿態檢測系統的研究[J].傳感技術學報,2007,20(2)： 298-301.

[25] YADAV A, NAIK N, ANANTHASAYANAM M R, et al. A Constant Gain Kalman Filter Approach to Target Tracking in Wireless Sensor Networks[C]. Industrial and Information System(ICIIS),2012 7th IEEE International Conference on, Chennai, 2012.

(編輯： 啟德)

Traditional motion capture and analysis are conducted in mechanical, optical or acoustic modes, however theses modes occupy large space and cost with complicated operations. A human body motion capture system based on 9-axis inertial sensor was studied, the inertial sensing technique was combined with human science to abstract 17 articulation points from human body, human motion data were collected through the 17 joints while the data were sent to the computer by Wi-Fi. The data was processed on the computer to obtain the posture data that drove the model motion in order to control the virtual model to show the motion. This motion capture system has the advantages of economy, convenience with no affects from other factors such as site and weather. Due to that it is possible to realize real-time acquisition and analysis of the posture as the human body is moving it can make sports training more scientific and more efficient.

InertialSensor；MotionCapture；Design

TM743;TP391.4

A

1674-540X(2017)04-001-08

*2016年湖北省高等學校優秀中青年科技創新團隊計劃項目(編號： T201628)

2016年武漢市屬高校產學研項目(編號： CXY201612)

2017年8月

楊成(1985—),男，博士研究生，講師，主要研究方向為運動人體仿真與運動訓練，E-mail: 506860650@qq.com