董小萌 劉丁寧 王湛文 孫楚晰 劉東來



摘要:席卷全球的新冠疫情為我們帶來了前所未有的挑戰,“非必要不出門”不僅僅是國家對公民的防疫號召,更是每一位公民自覺參與到這場沒有硝煙的抗疫之戰的行動與決心。人們減少外出鍛煉健身的活動,對線下健身行業造成不容小覷的影響。抱著服務大眾,緩解線下健身行業壓力的想法,開發出適合隨時隨地,想跳就跳,以達成鍛煉與發揚傳統國風目的的舞蹈健身服務平臺。
關鍵詞:運動健康;疫情;平臺開發;傳統文化
1引言
1.1 項目背景
新冠疫情刷新了國民對健康的認知,致使傳統線下聚集型健身模式受到了前所未有的沖擊與限制,人們自覺減少了外出鍛煉健身的活動,更不便參與到線下聚集型的健身中[1-2]。家庭體育再次受到全國廣泛關注,在此種與病毒的抗衡之中,我們抱著服務大眾,緩解線下健身行業壓力、提高線上健身質量的想法,開發出適合隨時隨地,想跳就跳,以達成鍛煉目的的舞蹈健身平臺—New Younger。
1.2 研究意義
當今線上教學興起,在線教育用戶規模增長迅速,市場規模不斷上升。將多媒體技術應用于舞蹈教學中這一想法擁有更多可能性和拓展空間。我們思考出一種能夠更適合在當下及未來舞蹈網絡教學的方式。
黨的十九大報告中強調“文化興國運興,文化強民族強",我們正處于全球文化一體化迅速發展的新時代,中國傳統舞蹈也在現代舞蹈影響下與時俱進,轉向更具有現代特色的新形勢舞蹈[3]。我們加入民族服飾、音樂、動作等,更有力的傳揚傳統文化。
隨著國務院頒布的《全民健身計劃》,我國健身行業市場規模持續增長, “互聯網+健身”發展尤為迅速。而線上健身一方面為健身行業提供了一個新的增長點,另一方面也使得健身市場有更多的經濟效益有待開發。
音樂游戲是電子游戲的一個細分種類,以歌曲為核心內容,核心玩法是讓玩家跟隨音樂節奏發出相應輸入指令。音樂游戲注重音效與視覺反饋和操作動作的關聯性[4]。作為一款節奏舞蹈類教學服務平臺,本文與目前熱門的Just Dance相比,內容采用了古典中國風融合現代潮流形式,且減少了對玩家外部設備的需求,實現玩家解放雙手“隨時隨地、想跳就跳”的想法和需求。
通過對人體關鍵點的識別、捕獲、對比,以游戲互動性為基礎,需要玩家切實做出相應的動作,而不只是對玩家的反應能力及反應速度做出判斷,增強了跳舞的沉浸感。
1.3 創新點
1.3.1傳統文化 + 現代技術 = 多維度—— 更新穎的方式體驗傳統文化
要堅定文化自信,推動社會主義文化繁榮興盛。傳統文化的傳揚得到各級政府重視。在網絡技術逐漸普及的今天,新媒體作為一種網絡傳播時代常見的媒體傳播形式已經受到了大眾的廣泛喜愛[5]。我們利用現代技術,通過身臨其境的體驗,以游戲互動為手段,直觀感受民族文化的魅力。
1.3.2 舞蹈 - 成本 = 新理念—— 降低舞蹈學習門檻
市面上現有的絕大多數舞蹈運動類軟件需要相應設備支持才可以體驗,本文具有一次開發多平臺部署的優勢,不受硬件設備限制,通過智能設備使用,降低使用成本和支出。另一方面,鑒于疫情提出的新挑戰,我們思考多媒體技術應用于舞蹈教學中的拓展空間,從而使本文創造更符合新時代的教學新理念。
2項目框架
2.1系統功能
系統分為用戶端與管理員端,用戶端為手機應用,可以在本平臺中進行舞蹈的訂閱與學習,同時可以瀏覽社區與其他用戶進行交流;管理員端為系統網站,用戶端的練習數據,會及時傳入后臺數據庫,同時管理員可以上傳視頻,實現線上練習課程定制化,如圖2.1所示。
2.1計算機視覺
本文采用了tensorflow-lite框架,先利用級聯的深度網絡結構來進行人體二維關節點的提取,由二維關節點提取的準確性直接影響了三維姿態重建,利用雙目視差原理來恢復關節點的三維信息,利用卡爾曼濾波來修正關節點信息,進而反饋人體三位姿態。
得到各個關節點的信息,對單幀動作的評價基于每個關節特征向量的相似程度,即每個關節對計算相似性并求和作為兩個姿態間的相似程度,各關鍵點公式如表2.1.2所示。
實現相似度匹配算法,獲取關鍵點的特征向量,進行模板舞蹈與玩家動作數據比對計算測試,公式為:
其中,vi和vj分別表示模板動作和待測動作中的第i個關節姿態與實際捕捉關鍵姿態vj的相似性比較,式子的取值為[-1,1]。在比較整體相似性時,對各個部位比較結果進行求和。cos(0)=1,相似性得分越高,說明該動作越接近標準動作[6]。通過后臺算法實現對分數閾值的記錄整理,并為用戶在游戲結束后呈現出整場游戲的得分情況。
2.2界面設計
2.2.1選歌界面
考慮到手機屏幕小、人性化防誤觸等問題,本文將歌單列表羅列在整個界面的右側,便于用戶進行想學習或練習歌曲舞蹈的選擇。
2.2.2 游戲界面
2.2.3 結算界面
將后臺數據通過與數據庫中數據進行記錄和比對,顯示在結算界面中。設置有“返回主頁”、“重新游戲”的功能,滿足用戶的游戲需求。
2.3后臺系統
3算法計算
3.1 人體關鍵點識別
本文利用tensorflow-lite框架實現人體關鍵點識別技術,對于攝像機捕捉到的畫面,模型會預測關節點置信圖PCM,同時預測兩兩關節點親和度PAF,匹配后將PAF相關值作為邊權值,利用匈牙利算法得到最優關鍵點鏈接結果。基于已有預訓練tensorflow-lite模型,對錄制好的舞蹈進行關鍵點匹配,后將數據存入csv文件中。當用戶開始進行舞蹈學習時,手機攝像頭會實時捕捉用戶關鍵點信息進行數據匹配,進行相似度計算,以相似度分值當作得分,在用戶學習完畢后即可查看。
3.2 開發引擎
游戲開發引擎是為電子游戲的創建和開發而設計的軟件框架。為用戶提供更豐富的體驗,提升玩家的沉浸感。本文實際開發所使用的是Unity3D物理游戲引擎,在開發過程中,主要使用了Canvas、音頻、動畫相關組件,使用C#語言實現程序功能。
3.3后臺系統
系統后端的開發使用輕量級開源框架SSM(Spring+Spring MVC+Mybatis),解決了系統開發的復雜性問題。應用Maven倉庫,對三大框架進行了很好地整合,大大提高了系統的效率以及穩定性。
4展望
目前應用市場平臺較多,表現用戶對本類型應用較認可,但真正實現寓教于樂和線上有效學習管理的應用并不占多。展望國內市場,未出現將openpose應用于運動健身以及舞蹈進行可視化教學的相關產品,國內市場近乎空白;且中國傳統的舞蹈也是中國文化的代表之一,將中國傳統舞蹈融入現代編舞之中,讓傳統舞蹈以新穎的方式表達出來,也正是項目意義所在。
參考文獻
[1]屈晨旭.新冠疫情背景下青少年體育活動的開展變化與啟示[J].遼寧體育科技,2021,43(02):1-5.
[2]蔣建瓊,張冰松.后疫情時代國民健身的困境與反思[J].四川民族學院學報,2020,29(06):76-79.
[3]岳辰星.潛移默化下的新形式舞蹈——西方舞蹈影響下的舞蹈作品[J].戲劇之家,2021(10):121-122.
[4]吳迪. 音樂游戲設計中多維感官的沉浸式體驗研究[D].西安電子科技大學,2018.
[5]張戚安生. 新媒體背景下舞蹈創編教學的發展研究[D].哈爾濱師范大學,2020.
[6]陳學梅. 基于人體三維姿態的動作評價系統[D].浙江大學,2018.
項目編號:202110172B009
指導教師:王冬