視頻人體下肢運動分析系統*

馬輝棟，劉振宇，郭小鳳

(山西農業大學 信息科學與工程學院，山西 晉中 030801)

?

視頻人體下肢運動分析系統*

馬輝棟，劉振宇，郭小鳳

(山西農業大學 信息科學與工程學院，山西 晉中 030801)

摘要：針對如何高效、準確地從視頻圖像中提取相關特征向量，完成基于視頻的人體運動分析，構建了基于視頻信息的人體下肢運動系統。系統包括人體運動輪廓的提取、噪聲處理和人體下肢建模及分析3個模塊。人體運動輪廓提取中采用改進的光流算法，通過閾值設置改善了輪廓提取的清晰度和完整性。噪聲處理模塊運用單個中值濾波器與人體四周去噪算法，不僅有效解決了多中值濾波引起的人體輪廓模糊問題，同時使人體活動區域外的噪聲去除率達到100%。通過系統分析，視頻中人體行走的速度為0.687 m/s，髖關節垂直方向上下起伏幅度為4.71 cm，行走步態正常。

關鍵詞：輪廓提取；人體建模；噪聲處理；運動分析；視頻

引用格式：馬輝棟，劉振宇，郭小鳳. 視頻人體下肢運動分析系統[J].微型機與應用，2016,35(12)：59-61，66.

0引言

人體運動分析是人工智能[1]、生物醫學工程等領域研究的重要內容。基于視頻的人體運動分析系統是通過運動目標檢測、跟蹤、特征參量提取、人體結構姿態重建等完成運動分析的視頻圖像處理系統。目前，已報道的基于計算機視覺實現人體運動分析的方案有很多，但是如何高效、準確地視頻圖像信息中對相關特征量進行提取，完成運動分析，仍然是目前人們在不斷探索的問題。

本文基于單目視頻，搭建了無標識物的視頻人體下肢運動分析系統。該系統包括人體運動輪廓提取、噪聲處理、人體下肢建模及分析3大模塊，如圖1所示。

圖1　視頻人體下肢運動分析系統框圖

1人體運動輪廓提取及噪聲處理

1.1人體運動輪廓提取模

人體運動輪廓提取模塊基于Simulink仿真平臺，綜合運用系統連接、計算機可視化系統模塊庫完成系統搭建，模塊仿真框圖如圖2所示。

視頻序列原圖如圖3所示，經圖片顏色格式轉換模塊、光流模塊、閾值模塊處理后的圖片序列分別如圖4～圖6所示。

圖5顯示，經過光流模塊處理的圖片序列基本提取出了人體輪廓，但是輪廓清晰度不高，腳部輪廓部分缺失。為此對圖像進行了二值化處理，加入閾值處理模塊，經過多次試驗，將閾值設置為0.001。由圖6可以看到，經過閾值處理的圖片序列相對于圖5，基本還原了腳部輪廓，而且輪廓清晰度也有所提高。

1.2噪聲處理

噪聲處理模塊采用中值濾波和四周去噪法，處理流程如圖7所示。

圖2　人體運動輪廓提取模塊仿真框圖

圖3　視頻序列原圖

圖4　圖片顏色格式轉換模塊結果

圖5　光流模塊處理結果

圖6　閾值模塊處理結果

圖7　噪聲處理流程

1.2.1中值濾波

圖8　中值濾波前后人體輪廓對比

中值濾波器用于去除孤立的點、毛刺等椒鹽噪聲[2]。如圖8中的兩幅圖對比，經過多次中值濾波，圖片中的椒鹽噪聲確實有很大的改善，但是濾波后的腳步輪廓明顯比處理前的模糊，這對人體建模有非常大的影響。本文在做人體下肢骨架模型時經多次試驗結果對比，采用了一次7×7中值濾波處理方式。

1.2.2四周除噪

為避免中值濾波對人體輪廓二值圖像的模糊作用，本文在中值濾波后，采用基于人體高度和寬度參數的四周除噪法，結果如圖9所示。四周去噪的具體做法是根據人體頭頂、腳底、左側及右側坐標劃分出人體所在的矩形區域(如圖9(c)所示)，將該矩形區域外的一切像素點均視為噪聲，予以去除，處理結果如圖9(d)所示。

圖9　噪聲處理效果圖

四周去噪的必要條件是獲取人體身高和寬度參數。如圖7所示，為了有效提取人體身體參數，采用7×7、5×5、3×3中值濾波器充分去除噪聲。實驗中有效視頻幀共55幀，對每幀提取身高及寬度，取均值得到人體身高H為425像素。

2人體運動下肢建模

人體行走時，上身部分相對于整個身體軀干可近似看做靜態，下身部分的動態分析包括以髖關節、膝關節、踝關節5個關節點為中心的大腿骨、小腿骨。人體大腿骨、小腿骨長度人體身高呈線性關系[3]。

圖10　髖關節定位

2.1髖關節定位

髖關節定位如圖10所示。

(1)髖關節行坐標定位。根據人體骨骼模型[4]，髖關節行坐標與頭頂行坐標的距離為人體身高的0.47倍，計算出髖關節行坐標。

(2)髖關節列坐標定位。為簡化實驗數據分析，本文實驗中人體運動時假設兩臂不擺動或有輕微的擺動。得到髖關節行坐標后，在髖關節所在行行掃描的到這行像素值為1的點，取兩交點的中間值設為髖關節的列坐標。

2.2膝關節定位

圖11　兩腿分開時膝關節定位示意圖

大腿長L_lap為身高H的0.245倍[4]，膝關節的運動軌跡是以髖關節為圓心，大腿長為半徑的圓R1，找出軌跡圓與腿部輪廓的交點[5]，便可對膝關節定位。 膝關節定位分兩種情況分別討論。

(1)兩大腿骨分開。如圖11所示，圓R1與人體下身輪廓有4個交點。左側膝關節定位為最左側交點與相鄰交點的弧線的中點；右側膝關節定位為最右側交點與相鄰交點弧線的中點。

圖12　兩腿重疊時膝關節定位示意圖

(2)兩大腿骨有重疊。如圖12所示，圓R1與人體下身輪廓有兩個交點。該情況，兩個膝關節定位分別為左側交點向右0.05×H像素，右側交點向左0.05×H像素。

圖13　兩腿分開時踝關節定位示意圖

2.3踝關節定位

踝關節定位原理同膝關節。小腿長L_leg為人體身高H的0.246倍[5]，分別以左右兩個膝關節為圓心，小腿長為半徑作圓R2、R3，得到圓與小腿輪廓的交點[6]，如圖13所示。因受噪聲影響，交點個數可能會不同，取最右側交點向左0.03×H處為右側踝關節點，取最左側交點往右0.03×H處為左側踝關節點。

2.4下肢建模結果

本實驗對53幀視頻圖像進行下肢建模，建模結果如圖14所示，該模型以髖關節和膝關節為端點畫出大腿骨，以膝關節和踝關節為端點畫出小腿骨的骨架模型。

圖14　下肢建模結果

3人體運動軌跡分析

建立出下肢骨架模型后，對人體行走時髖關節的運動軌跡進行分析，本實驗共提取出55幀圖像的下肢模型，人體正常行走3步，時間為2 s。圖15分別為髖關節垂直、水平方向運動軌跡擬合結果。

圖15　髖關節水平、垂直方向運動軌跡

圖15(a)中，髖關節水平方向運動軌跡擬合曲線如式(1)所示：

P(t)=174.794 0t+56.932 4

(1)

由此關系式可得髖關節橫向運動軌跡為一階函數，即該視頻中，人體水平方向的運動為速度為174.794 0像素/秒的勻速直線運動。

由圖15(b)可以看出，人體正常行走時，髖關節垂直方向的運動軌跡基本呈周期性上下波動。髖關節垂直方向坐標最大值為373像素、最小值為361像素，髖關節垂直方向波動幅度最大值為12像素。本視頻中人體身高為

425像素，167 cm。由此可得，本視頻中人體行走的速度為0.687 m/s，垂直方向上下起伏幅度為4.71 cm。

人體行走時步態的生物力學研究表明，健康成年人正常步態行走時，髖關節上下起伏的幅度約為4.4 cm[7]，本實驗中人體行走步態是正常的。

4結論

本文搭建了視頻人體下肢運動分析系統，實現了對視頻的人體運動輪廓提取、去噪處理、下肢建模，并根據建模結果進行了相關的運動分析，系統結構簡單易于實現。本文提出的改進的光流算法有效提高了人體運動輪廓的完整性；四周去噪方法算法簡單，易于實現，能有效去除人體四周噪聲。

參考文獻

[1] 丁晨陽. 智能體視覺策略在RoboCup中的設計[J]. 微型機與應用,2014,33(5):90-92,95.

[2] 張明源,王宏力,鄭佳華,等.改進型中值濾波器在圖像去噪中的應用[J].兵工自動化，2007，26(8):45-47

[3] 王晏. 人體下肢運動分析[D]. 大連：大連理工大學, 2005.

[4] WINTER D A. Biomechanics and motor control of human movement[M]. John Wiley & Sons, 2009.

[5] 馬曉蕾. 基于視頻序列的偏癱患者步態分析[D]. 哈爾濱：哈爾濱工程大學, 2009.

[6] 陳華,史思思,胡春海. 基于特征融合的步態識別[J].無線電工程，2012，42(2):25-27.

[7] 吳劍, 李建設. 人體行走時步態的生物力學研究進展[J]. 中國運動醫學雜志, 2002, 21(3): 305-307.

*基金項目：山西農業大學科技創新基金(20142-17)

中圖分類號：TP391

文獻標識碼：A

DOI：10.19358/j.issn.1674- 7720.2016.12.019

(收稿日期：2016-02-23)

作者簡介：

馬輝棟(1986-)，女，碩士，助教，主要研究方向：數字信號處理、農業物聯網。

劉振宇(1976-)，男，博士，副教授，碩士生導師，主要研究方向：高壓脈沖電場、農業信息化。

郭小鳳(1987-)，女，碩士，助教，主要研究方向：數字圖像處理。

Video based human lower limb motion analysis system

Ma Huidong, Liu Zhenyu, Guo Xiaofeng

(College of Information Science and Engineering, Shanxi Agriculture University, Jinzhong 030801, China)

Abstract:Aiming at how to efficiently and accurately extract relevant feature vector from the video image to complete the analysis of human motion, a video based human lower limb motion analysis system was constructed by means of extracting body contour and modeling human lower limbs. The system includes three modules, namely human motion contour extraction, noise processing and human lower limb modeling and analysis. The human motion contour extraction module uses the improved optical flow method, which improves the clarity and completeness of the extracted contour by threshold settings. The noise processing module uses a single median filter and around de-noising. The results show that the noise process method not only effectively solves the problem of blurry outlines, caused by times of median filtering, but also makes the noise removal rate outside the area of human activity reach 100%. The analysis of the system shows that the walking speed is 0.687 m/s, vertical motion amplitude of the hip is 4.71 cm, and the gait is normal.

Key words:contour extraction; human modeling; noise processing; motion analysis; video