基于改進卷積神經網絡的單幅圖像超分辨率重建方法

劉月峰 楊涵晰 蔡爽 張晨榮

摘 要：針對健身者在健身過程中因缺乏監督指導而導致姿勢不正確甚至危及健康的問題，提出了一種深蹲姿勢實時檢測的新方法。通過Kinect攝像頭提取人體關節三維信息，對健身中最常見的深蹲行為進行抽象與建模，解決了計算機視覺技術對于細微動作變化難以檢測的問題。首先，通過Kinect攝像頭捕獲深度圖像，實時獲取人體關節點的三維坐標;然后，將深蹲姿勢抽象為軀干角度、髖部角度、膝部角度和踝部角度，并進行數字化建模，逐幀記錄下角度變化;最后，在深蹲完成后，采用閾值比較的方法，計算一定時間段內非標準幀比率。如計算比率大于所給定閾值，則判定此次深蹲為不標準;如低于閾值則為標準深蹲姿勢。通過對六種不同類型的深蹲姿勢進行實驗，結果表明，該方法可檢測出不同類型的非標準深蹲姿勢，并且在六種不同類型的深蹲姿勢中平均識別率在90%以上，能夠對健身者起到提醒指導的作用。

關鍵詞：深蹲檢測;姿勢檢測;Kinect;深度圖像;骨架信息

中圖分類號：TP391.4

文獻標志碼：A

Abstract： Concerning the problem that the posture is not correct and even endangers the health of body builder caused by the lack of supervision and guidance in the process of bodybuilding， a new method of realtime detection of deep squat posture was proposed. The most common deep squat behavior in bodybuilding was abstracted and modeled by threedimensional information of human joints extracted through Kinect camera， solving the problem that computer vision technology is difficult to detect small movements. Firstly， Kinect camera was used to capture the depth images to obtain threedimensional coordinates of human body joints in real time. Then， the deep squat posture was abstracted as torso angle， hip angle， knee angle and ankle angle， and the digital modeling was carried out to record the angle changes frame by frame. Finally， after completing the deep squat， a threshold comparison method was used to calculate the nonstandard frame ratio in a certain period of time. If the calculated ratio was greater than the given threshold， the deep squat was judged as nonstandard， otherwise judged as standard. The experiment results of six different types of deep squat show that the proposed method can detect different types of nonstandard deep squat， and the average recognition rate is more than 90% of the six different types of deep squat， which can play a role in reminding and guiding bodybuilders.

英文關鍵詞Key words： deep squat detection; posture detection; Kinect; depth image; skeleton information

0 引言

深蹲被稱為力量訓練之王，是增加腿部和臀部力量的基本練習動作。保持標準的深蹲姿勢可以訓練到臀部、大腿，并有利于下半身的骨骼、韌帶和肌腱的鍛煉。但是，長期使用不標準的深蹲姿勢不僅浪費健身者的時間，而且還會增加韌帶、半月板和膝蓋受傷的風險。標準的深蹲姿勢對于很多運動員都是較難掌握的[1]。人們通常通過自己的主觀意識來判斷深蹲姿勢是否標準，此方法帶有很強的個人色彩，難以客觀準確地對深蹲姿勢進行判斷;同時，使用昂貴的費用聘請私人教練也使得健身成本增加，且大部分健身者都沒有經濟條件聘請私人教練，使得很多人對健身望而卻步，因此對深蹲姿勢進行自動檢測具有重要的實際意義，能夠使得這項最基本的練習動作被更多人掌握，同時又可減少鍛煉者因長期使用錯誤姿勢而導致的嚴重后果。

深蹲屬于一種行為動作，而關于行為動作領域的研究近些年來越來越多。有關領域目前的研究方法通常是基于可穿戴傳感器和計算機視覺技術[2]。這些研究方法大多用來完成手勢識別[3-6] 、坐姿檢測[7]、摔倒檢測[8]、行為分類[9-12]等任務，且都能夠取得較好的效果。

上述兩類方法也有著不容忽視的缺點：首先，可穿戴傳感器會給使用者造成不適;此外，由于受到擠壓碰撞等外部因素，可穿戴設備會逐漸損壞，導致無法收集信息。而基于計算機視覺的方法大多需要經過訓練，訓練過程是極度耗時的，并且此類方法嚴重依賴于訓練數據集，而且深蹲是一種順時動作，且動作變化快，一般的計算機視覺技術對于這種細微動作的變化較難檢測，因此很少有研究對運動姿勢（如深蹲）是否標準，行為是否準確提出疑問。

Kinect深度傳感器能夠自動捕獲人體的深度圖像，并實時跟蹤人體骨架，檢測到細微的動作變化：一方面，Kinect獲取的深度圖像不同于彩色圖像，可以提供更多的空間信息，同時又能保護個人隱私， 因此，通過分析深度圖像來識別和檢測姿勢的方法一直以來都備受關注;另一方面， 人體的骨骼特征也為行為識別、姿勢檢測等任務提供了重要的行為特征。Kinect因上述功能和其具有的精確性與實用性等特點，已經使其成為一種多功能組件，進而可以集成到日常生活的各種應用中[13-17]。

本文利用Kinect深度傳感器提出了一種基于骨架信息來檢測非標準深蹲姿勢的方法。首先， 針對深蹲姿勢，提出了使用軀干角度、髖部角度、膝部角度和踝部角度作為深蹲期間的4個代表性特征; 然后，把深蹲過程分為4個階段，并使用關鍵幀檢測技術，對每一階段的角度特征逐幀的計算和記錄; 最后，采用閾值比較的方法，對深蹲姿勢進行檢測判斷。該方法無需佩戴任何的可穿戴傳感器，不會給鍛煉者帶來不便，且不需要使用訓練數據集，能夠做到實時準確的檢測。

1 深蹲姿勢檢測方法

1.1 特征定義

在對所提方法進行建模之前，首先需要建立可用于區分標準深蹲姿勢和非標準深蹲姿勢的界限。本文中Winwood等[18]的研究結果被用來建模深蹲姿勢。表1的數據顯示了當健康個體深蹲時關節點應保持的角度范圍（其中SD（Standard Deviation）為標準差）。

3 結語

本文提出了一種基于計算機視覺技術的非標準深蹲姿勢的判斷方法。首先，使用Kinect深度攝像頭捕獲深度圖像并提取人體骨架關節點的三維坐標信息;然后，利用余弦定理計算深蹲姿勢抽象化后的軀干角度、髖部角度、膝部角度和踝部角度四個代表性特征，并記錄其變化值;最后，深蹲運動結束后計算非標準幀的比率，并與實驗得出的閾值進行對比以判斷姿勢是否標準。實驗結果表明，該方法可快速有效地檢測出不同類型的非標準深蹲姿勢，并具有計算量低、魯棒性高和時效性好等特點。

參考文獻 （References）

[1] CHIU L Z. Sitting back in the squat[J]. Strength and Conditioning Journal， 2009， 31（6）：25-27.

[2] YAO L Y， MING W D， Cui H. A new Kinect approach to judge unhealthy sitting posture based on neck angle and torso angle[C]// Proceedings of the 2017 International Conference on Image and Graphics， LNCS 10666. Berlin： SpringerVerlag， 2017：340-350.

[3] FANG B， SUN F C， LIU H P， et al. 3D human gesture capturing and recognition by the IMMUbased data glove[J]. Neurocomputing， 2017， 277：198-207.

[4] FERRONE A， JIANG X， MAIOLO L， et al. A fabricbased wearable band for hand gesture recognition based on filament strain sensors： A preliminary investigation[C]// Proceedings of the 2016 IEEE Healthcare Innovation PointofCare Technologies Conference. Piscataway， NJ： IEEE， 2016：113-116.

[5] WU D， SHAO L. Deep dynamic neural networks for gesture segmentation and recognition[C]// Proceedings of the 2014 European Conference on Computer Vision. Berlin： Springer， 2014：552-571.

[6] LI Y， WANG X G， LIU W Y， et al. Deep attention network for joint hand gesture localization and recognition using static RGBD images[J]. Information Sciences， 2018， 441：66-78.

[7] 曾星，孫備， 羅武勝， 等. 基于深度傳感器的坐姿檢測系統[J]. 計算機科學，2018， 45（7）：237-242. （ZENG X， SUN B， LUO W S， et al. Sitting posture detection system based on depth sensor[J]. Computer Science， 2018， 45（7）：237-242.）

[8] YAO L Y， MING W D， LU K Q. A new approach to fall detection based on the human torso motion model[J]. Applied Sciences， 2017， 7（10）：993.

[9] BACCOUCHE M， MAMALET F， WOLF C， et al. Sequential deep learning for human action recognition[C]// Proceedings of the 2011 International Workshop on Human Behavior Unterstanding， LNCS 7065. Berlin： SpringerVerlag， 2011：29-39.

[10] NG J Y， HAUSKNECHT M， VIJAYANARASIMHAN S， et al. Beyond short snippets： deep networks for video classification[C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2015：4694-4702.

[11] 吳亮， 何毅， 梅雪，等. 基于時空興趣點和概率潛動態條件隨機場模型的在線行為識別方法[J]. 計算機應用， 2018， 38（6）： 1760-1764. （WU L， HE Y， MEI X， et al. Online behavior recognition using spacetime interest points and probabilistic latentdynamic conditional random field model[J]. Journal of Computer Applications， 2018， 38（6）： 1760-1764.）

[12] 姬曉飛， 左鑫孟. 基于關鍵幀特征庫統計特征的雙人交互行為識別[J]. 計算機應用， 2016， 36（8）：2287-2291. （JI X F， ZUO X M. Human interaction recognition based on statistical features of key frame feature library[J]. Journal of Computer Applications， 2016， 36（8）： 2287-2291.）

[13] KALIATAKIS G， STERGIOY A， VIDAKIS N. Conceiving human interaction by visualising depth data of head pose changes and emotion recognition via facial expressions[J]. Computers， 2017， 6（3）：25-37.

[14] MAITI S， REDDY S， RAHEJA J L. View invariant realtime gesture recognition[J]. Optik—International Journal for Light and Electron Optics， 2015， 126（23）：3737-3742.

[15] 張全貴， 蔡豐， 李志強. 基于耦合多隱馬爾可夫模型和深度圖像數據的人體動作識別[J]. 計算機應用， 2018， 38（2）： 454-457. （ZHANG Q G， CAI F， LI Z Q. Human action recognition based on coupled multihidden Markov model and depth image data[J]. Journal of Computer Applications， 2018， 38（2）： 454-457.）

[16] 談家譜， 徐文勝. 基于Kinect的指尖檢測與手勢識別方法[J]. 計算機應用， 2015， 35（6）： 1795-1800. （TAN J P， XU W S. Fingertip detection and gesture recognition method based on Kinect[J]. Journal of Computer Applications， 2015， 35（6）： 1795-1800.）

[17] CHOUBIK Y， MAHMOUDI A. Machine learning for real time poses classification using Kinect skeleton data[C]// Proceedings of the 2016 International Conference on Computer Graphics， Imaging and Visualization. Piscataway， NJ： IEEE， 2016：307-311.

[18] WINWOOD P W， CRONIN J B， BROWN S R， et al. A biomechanical analysis of the heavy sprintstyle sled pull and comparison with the back squat[J]. International Journal of Sports Science and Coaching， 2015， 10（5）： 851-868.

[19] STEVENS W R Jr， KOKOSZKA A Y， ANDEERSON A M， et al. Automated event detection algorithm for two squatting protocols[J]. Gait and Posture， 2018， 59：253-257.