“行為-力”同步可視化展示系統的開發

顧 俊，徐 勝，邢 強,，楊預立，王周義，徐海黎

（1.南通大學機械工程學院，江蘇南通226019；2.南京航天航空大學江蘇省仿生功能材料重點實驗室，江蘇南京210016）

運動是動物進行捕食、遷徙等行為的基礎。人們從仿生的角度出發，研究動物的運動行為特征，并以動物為原型設計出具有較好運動性能的移動機器人［1］。而在人的步態識別、運動訓練和康復治療中［2］，其運動行為特征具有較高的研究價值。

人的運動行為特征可分為步態姿態特征和步態觸覺特征兩方面［3‐4］。步態姿態特征主要是指通過視覺圖像設備如 stage運動捕獲系統［5］、Kinect相機［6］和穿戴式傳感器［7］獲得的人肢體的空間位置信息。步態觸覺特征主要是指通過壓力傳感器如鞋墊式 F‐Scan［8］、R‐Scan［9］系統和 MEMS（micro‐electro‐mechanical system，微機電系統）壓力傳感器［10］獲得的人腳底與接觸面的三維接觸力信息。將運動姿態與腳底接觸力融合的三維分析設備能夠分析在不同運動模式下腳底壓力的變化，但其昂貴的成本和復雜的操作界面使得其在實際使用中受到限制［11‐14］。

為此，筆者搭建了一個“行為‐力”同步可視化展示系統。該系統能夠實現人體運動姿態和腳底接觸力的同步采集，并且采用三維圖形化的方式來展示人體運動姿態與腳底接觸力的關系，以期為人體運動行為特征的研究提供可靠的裝置。

1 “行為-力”同步可視化展示系統的組成

“行為‐力”同步可視化展示系統分為數據采集與處理模塊和三維虛擬展示模塊。數據采集與處理模塊由多通道三維力采集模塊、深度圖像采集模塊和數據同步處理模塊組成。其中：多通道三維力采集模塊由20個三維壓力傳感器組成，用于采集人體在行走過程中腳底與地面之間的三維接觸力；深度圖像采集模塊選用微軟公司生產的Kinect相機，用于采集人體在運動過程中的運動姿態；數據同步處理模塊采用基于插值的同步處理方法，用于解決運動姿態與腳底接觸力的同步采集問題。三維虛擬展示模塊由三維繪圖模塊和同步展示模塊組成。其中：三維繪圖模塊用于設計繪圖模型，并根據人體運動姿態和腳底接觸力信息實現人體骨架模型和三維接觸力圖形的繪制；同步展示模塊用于創建三維虛擬空間，并基于同步展示方法，實現運動姿態與腳底接觸力的圖形化融合展示。

“行為‐力”同步可視化展示系統的組成如圖1所示。

圖1 “行為-力”同步可視化展示系統的組成Fig.1 Composition of "behavior‐force" synchronous visual display system

2 “行為-力”同步可視化展示系統的數據采集與處理

2.1 多通道三維力采集模塊

多通道三維力采集模塊的程序框架是基于多線程的生產/消費模式搭建的。選用UDP（user data‐gram protocol，用戶數據報協議）作為數據傳輸的方式，通過約定PC（personal computer，個人計算機）端和下位機間的應答機制來劃分程序的各個功能。為保證壓力傳感器信號輸出的一致性［15］，須對空載情況下傳感器的初值進行標定。將標定后的初值作為校準值，校準后期采集的數據。圖2所示為三維力采集流程。

圖2 三維力采集流程Fig.2 Flow of 3D force acquisition

2.2 深度圖像采集模塊

Kinect相機能夠采集人體25個關節點信息并進行追蹤［16］。每個關節點信息由位置、節點類型和追蹤屬性組成。其中：位置是指關節點在Kinect相機中的三維空間坐標；節點類型是指關節點的種類；追蹤屬性是指關節點的追蹤狀態，分為已追蹤、推測和未追蹤三種。

人體關節點信息采用圖像處理結合機器學習的方法來獲取。其具體的處理流程［17‐18］為：首先，采用分割策略，將人體從圖像中分割出來；其次，利用含有深度特征的分類器識別身體的各個部分；然后，利用決策樹分類器去評估每一像素所對應身體各部分區域的可能性；最后，將分類器所建議的像素點作為關節點，并計算該關節點的空間坐標。由于關節點的高度坐標值是以Kinect相機的安裝高度為基準的，須對其進行轉換。以Kinect相機的安裝高度作為轉換值，將所采集的關節點的高度坐標值加上轉換值來完成空間坐標的轉換。

2.3 數據同步處理模塊

由于壓力傳感器和圖像傳感器的采樣頻率分別為120 Hz和30幀/s，須對傳感器采集的數據進行同步處理。因此，本文提出了一種基于插值的數據同步處理方法來解決傳感器采樣的同步問題。

首先，在圖像采集模塊中設置布爾狀態量作為關節點信息采集完成的標志，待采集完成后，對該布爾狀態量進行取反操作，同時將關節點數據存入隊列1；其次，在三維力采集模塊中將采集到的三維力數據存入緩存區A，當檢測到布爾狀態量的狀態發生變化時，將緩存區A中的數據存入隊列2；然后，在數據同步處理模塊中，設置一個數據緩存區B，將緩存區B的大小設置為n，用于緩存關節點的數據，作為插值算法的數據源；最后，由該緩存區中的末兩位組成插值區間，三維力采樣次數作為插值點數，采用三次樣條插值的方法來輸出推測的關節點坐標。數據同步處理流程如圖3所示。

圖3 數據同步處理流程Fig.3 Flow of data synchronous processing

3 “行為-力”的三維虛擬展示

3.1 三維繪圖模塊

在LabVIEW編程環境中，利用三維曲面函數來繪制三維圖形。三維曲面函數的輸入參數為X、Y、Z三個方向的二維矩陣，輸出為三維顯示區域。其中，以Kinect相機的紅外攝像頭為原點，以Kinect相機的視軸方向為X方向，以Kinect相機安裝位置的豎直方向為Z方向，Y方向則根據右手笛卡爾坐標系來確定。選用Kinect相機采集的17個關節點信息作為人體骨架模型的數據源。人體骨架模型的17個關節點如圖4所示。其中：Pn=（xn，yn，zn），n=1，2，…，17；α為膝關節的角度，即大腿與小腿的夾角；β為髖關節的角度，即大腿與豎直方向的夾角。

圖4 人體骨架模型的17個關節點Fig.4 17 joint points of human skeleton model

根據三維曲面的作圖模式，17個關節點的基本繪圖模型可表示為：

根據圖4，選取P12和P16點為左、右腳點，記為Pc，Pc=（xc，yc，zc），作為三維力圖形繪制的基準點。將腳底與地面的接觸力分解為Fx、Fy和Fz三個分力，以這3個分力作為數據源，繪制接觸力的三維圖形。接觸力的基本繪圖模型可表示為：

式中：Fxt、Fyt、Fzt分別為在t時刻采集的X、Y、Z方向的腳底接觸力。

3.2 同步展示模塊

人的步態周期包括1個支撐相和1個擺動相。支撐相可描述為一側腳的后腳跟著地到前腳掌離地的過程，在該過程中腳底法向接觸力的變化最為明顯。在支撐相初期和末期，腳底法向接觸力表示為快速增大和減小。擺動相則描述為該側腳的前腳掌離地到后腳跟著地的過程，在該過程中腳底接觸力為零。根據腳底法向接觸力在支撐相的變化特征，提出了運動姿態與腳底接觸力同步展示的方法。

首先，用Kinect相機對站立在特定位置的人體進行位置標定，并創建三維虛擬環境；其次，選取人體重量的百分之五作為閾值，將壓力傳感器陣列采集到的腳底法向接觸力存入數組中，通過遍歷數組初步篩選出大于閾值的腳底法向接觸力所對應的壓力傳感器的編號；然后，用Kinect相機獲取人體左右腳點的位置，通過判斷腳點位置是否落在壓力傳感器的檢測范圍內來進行二次篩選；最后，將滿足條件的三維接觸力求和，并且鎖定腳點來繪制三維接觸力圖形。“行為‐力”同步展示流程如圖5所示。

圖5 “行為-力”同步展示流程Fig.5 Flow of "behavior‐force" synchronous display

4 “行為-力”同步展示實驗及結果分析

4.1 實驗系統的測試

本實驗采用的電腦配置為：因特爾i5處理器，8G運行內存，GTX1050Ti顯卡和刷新率為240 Hz的三星液晶顯示屏。選擇一名身高為1.70 m的成年男性作為測試人員。實驗開始前，測試人員站立在指定位置進行標定，且取測試人員體重的百分之五作為閾值。在三維虛擬環境中出現人體骨架模型后，測試人員以固定的步行速率在測力區域內隨意走動。“行為‐力”同步展示實驗場景如圖6所示。

圖6 “行為-力”同步展示實驗場景Fig.6 Experiment scene of "behavior‐force" synchronous dis‐play

數據同步處理方法的應用效果如圖7所示，其中選取了人體處于擺動相階段左腳點Z向的部分數據。圖7表明插值數據的變化趨勢與原始數據相符。

圖7 數據同步處理方法的應用效果Fig.7 Application effect of data synchronous processing

“行為‐力”同步展示的實驗結果如圖8所示。結果表明同步展示方法有效，能夠表達人體運動姿態與腳底接觸力的關系。

圖8 “行為-力”同步展示的實驗結果Fig.8 Experimental result of "behavior‐force" synchronous display

4.2 實驗結果分析

在人行走過程中，關節角度和腳底接觸力的變變化曲線如圖9所示。以1個步態周期為例，結合人體運動姿態來分析腳底接觸力的變化。在擺動相，由于左腳處于騰空狀態，左腳底三維接觸力為零；在支撐相初期，左腳的后腳跟先接觸地面，下落時帶來的沖擊力使得腳底法向接觸力瞬間增大，且左腳相對于地面有向后運動的趨勢，使得地面給左腳向前的力，由于力的相互作用，左腳會給地面向后的軸向力；在支撐相中期，左腳全腳掌接觸地面，腳底法向接觸力逐漸穩定為人體的重量，軸向接觸力減小到零；在支撐相末期，當左腳離地時，前腳掌會對地面施加壓力后離地，從而使得法向接觸力再次增加到峰值，且左腳相對于地面有向前運動的趨勢，則地面會給左腳向后的力，左腳會給地面向前的軸向力。

圖9 人體關節角度和腳底接觸力的變化曲線Fig.9 Changing curve of human joint angle and plantar contact force

5 結束語

本文設計的“行為‐力”同步可視化展示系統能夠采集人在任意行走狀態下的運動姿態及腳底與地面之間的三維接觸力，并且以圖形化的方式直觀展示人體運動姿態與腳底接觸力的關系。

由于在測力區域采用了多個傳感器，可能會出現傳感器受力重合的情況，并且由于人的行走軌跡是任意的，可能會產生左右腳點被遮擋的情況。后期可以采用小型化的傳感器和多目深度相機來解決。