基于深度學習的多模態人體姿態診斷矯正系統

胡昌龍 李國浩 張雯雯

【摘要】當下，群眾對于健康問題關注越來越多，但電子產品越來越多參與我們的生活，姿態問題及其引起的其他健康問題愈發顯現出來，而私人教練的市場價格卻十分昂貴，亟待一個更為高效的方案幫助大眾改善體態問題，促進身體健康。本系統將人工智能姿態估計技術與姿態問題的診斷和矯正運動相結合，幫助用戶在高效、安全和保證隱私的狀態下完成自我的姿態問題診斷和矯正。

【關鍵詞】姿態矯正 深度學習 姿態估計 多模態

1、概述

近來，全民健康問題越來越受到社會的關注。隨著人們生活水平的提高以及生活質量的改善，越來越多的人開始關注自身的身體素質問題。電子設備和人們的生活與工作越來越緊密結合，長期保持不正確的姿勢使人們的體態出現了狀況，進而引發一系列健康問題。然而，個人盲目矯正不僅不能起到鍛煉作用，反而還會導致身體損傷，而專業的擁有資質的姿態矯正教練價格昂貴不符合普通消費者的消費期望，需要一種新的鍛煉模式，來幫助大眾改善體態問題。人體姿態估計（Human pose estimation）是近幾十年來計算機視覺領域廣泛關注的一個熱點問題，在2014年，第一次成功引入了深度學習來解決單人姿態估計的問題。之后更多高質量數據集的加入，使得人體姿態估計的研究快速發展。

多模態交互技術，就是基于接口技術，充分利用人的多種感知方式，以并行的、非精確的方式與計算機系統進行交互，旨在提高人機交互的自然性和高效性。多模態已在教育和身體機能恢復等領域得到了廣泛應用，在未來多模態人機交互將成為主流，如何更好的將目前的多模態交互技術誕合并應用于各領域是一個研究熱點，對于多模態交互系統的研究具有一定的現實意義和廣泛的應用前景。故而，本文針對上述問題結合人體姿態估計和多模態技術，提出了一個完備的姿態矯正系統。

2、系統介紹

2.1 技術框架

本系統將人工智能應用于促進入體身體健康的場景，結合深度學習算法與《國家體育鍛煉標準》實現了一套完整的智能體態矯正訓練解決方案，為大眾的體態檢測、矯正與塑造帶來科學化智能化的指導和管理。本系統主要包括：姿態數據的獲取、姿態診斷二和報告的生成，矯正課程個性化推送、姿態矯正相關的輔助功能。

在姿態數據的獲取的部分，后端平臺接受來自用戶注冊或資料補充時填報的身體數據信息，并將其保存在用戶信息數據庫中，作為后面功能的參考數據留待備用。在姿態診斷二過程中，用戶將拍攝的姿態照片上傳至后端平臺中，保存在用戶姿態照片的圖數據庫中，作為姿態診斷模型的輸入數據，是診斷用戶姿態問題的關鍵。在姿態矯正課程的輔助功能中，用戶在做矯正運動的過程中，手機攝像頭會將運動的實時影像傳至后端平臺，將作為姿態矯正模型的一部分輸入數據，用于輔助用戶調整矯正運動動作。

在姿態診斷和報告生成的部分中，后端平臺在獲取到用戶的姿態照片的基礎上，輔助用戶的身體數據，輸入訓練好的姿態診斷模型，將輸出用戶的姿態問題等信息，系統將信息可視化生成用戶的姿態體檢報告。

矯正課程個性化推送是在姿態體檢報告的基礎之上，針對用戶具體的姿態問題和嚴重程度個性化推送合適的姿態矯正課程。

在姿態矯正相關的輔助功能中，基于多模態人機交互技術，在姿態追蹤的基礎之上，集成了智能語音輔助、視頻中輔助線矯正功能，后端平臺將運動的實時影像和標準姿態數據庫的標準動作對比后，通過語音和視頻的方式實時反饋用戶糾正動作，以保證更專業的矯正運用，達到更好的效果。

2.2 方案功能

該系統的功能主要包括姿態診斷二和報告生成、矯正方案個性化推薦和矯正運動過程輔助三個功能。

（1）姿態診斷二和報告生成

用戶按照預定的姿勢，拍攝身體正面、側面照片各一張并上傳，系統將用戶上傳的照片輸入模型，分別對頸部、肩部、腰部和膝蓋等易出現姿態問題的身體部位進行診斷和嚴重程度的評估，并將診斷的結果可視化生成姿態體檢報告，反饋給用戶端，使用戶能夠通過閱讀姿態體檢報告清楚知曉自己的體態問題及其嚴重程度。

（2）姿態矯正方案個性化推薦

根據姿態診斷的結果，結合用戶自己上傳的身體數據和運動能力，智能抽取矯正運動庫中已有的標準矯正教程，按照用戶選擇的運動時長和頻率個性化生成矯正運動計劃。結合推薦的計劃，用戶可以根據自身意愿再次進行手動調整。

（3）矯正運動過程輔助

再運動矯正過程中，在用戶觀看矯正視頻或跳過之后，在配套課程的運動過程中，使用手機攝像頭實時獲取用戶矯正運動的視頻影像，系統利用視頻數據，以獲取用戶運動過程情況，并將用戶的運動過程進行實時跟蹤，并且和標準的專業動作比對，發現用戶矯正運動過程中的問題，使用智能語音和在用戶手機屏幕的影像中增加可視的糾正虛線的方式提醒用戶及時改變矯正運動的方式，提高動作的標準和專業程度，保證矯正運動的科學和高效。

3、總結

人體姿態診斷矯正系統主要面向需要姿態矯正卻無時間或無過多財力進行正確矯正的人群。用戶可以利用該系統（工具）能夠有效的檢測體態、矯正體態并塑造體態。首先系統將通過攝像頭獲取靜態2D圖像，結合姿態估計技術，初步鑒定體態問題，而后結合用戶選擇的興趣方向，和專業的訓練計劃數據庫中對應情況的數據相匹配，向用戶智能提供個性化訓練方案。而后在動態姿態跟蹤技術的幫助下，用戶可以即時、即處地進行姿態矯正運動。幫助用戶在低經濟成本的情況下高效識別不正確體態并進行矯正。與健身房私教相比，該系統可以在保證訓練私密性和安全性的同時，大大降低所花費的時間和錢財，真正做到：便捷、隱私、安全、高效。

參考文獻：

[1]Jaim A，Tompsom J，Amiriluka M，et al.LearningHuman Pose Estimation Features with CoavolutioaalNetworks[J].Computer ence，2013.

[2]盧思羽.基于多模態人機交互的虛擬樂器演奏系統研發[D].華中師范大學，2016.

項目編號：S201910500062

項目名稱：基于深度學習的多姿態人體姿態診斷矯正系統。