基于Stacked Hourglass的智能康復評估系統研究

盧鵬飛　鄭建立　尹梓名

摘要：2020年康復領域異常嚴峻，一方面，疫情爆發，人群不易聚集，患者不方便去醫院或者康復中心做康復及檢測身體狀況，另一方面，全球人口老齡化問題加劇，老人腿腳不方便，不便于頻繁地去康復中心復查，并且全國康復中心資源較少，不僅造成康復師工作壓力增大，還會出現醫患溝通不充分，延誤康復等問題。隨著人工智能技術不斷發展，機器視覺在人工智能中的表現尤為突出，其中骨架識別不斷被認可，應用在了多個領域。因此本次研究設計了基于StackedHourglass的智能康復評估系統，期望可以提高康復醫師工作效率。本系統主要為智能康復評估，首先構建以量表為中心，建立量表答題結構的數據庫，將量表儲存在數據庫中。其次，將骨架識別移植到移動端軟件識別出量表所需數據。然后，將骨架識別數據通過計算，算出填表所需值，智能填表。最后，通過各個量表數據，全部顯示出來并提供給康復師，讓康復師了解患者狀況。通過這些步驟設計量表模型，完成智能康復評估。

關鍵詞：骨架識別;Hourglass;TensorFlow;智能量表

【Abstract】Thefieldofrehabilitationin2020isextremelysevere.Ononehand，theoutbreakoftheepidemicmakesitdifficultforpeopletogather，anditisinconvenientforpatientstogotohospitalsorrehabilitationcentersforrehabilitationandchecktheirphysicalconditions.Ontheotherhand，theproblemofglobalpopulationaginghasintensified，andthelegsandfeetoftheelderlyareinconvenient.Notonlyfrequentvisitstorehabilitationcentersforreviewandfewerresourcesinrehabilitationcentersacrossthecountryincreasetheworkpressureofrehabilitationpractitioners，butalsoinadequatecommunicationbetweendoctorsandpatientsanddelaysinrehabilitationwillalsohappen.Withthecontinuousdevelopmentofartificialintelligencetechnology，theperformanceofmachinevisioninartificialintelligenceisparticularlyprominent，amongwhichskeletonrecognitioniscontinuouslyrecognizedandappliedinmanyfields.Therefore，thisstudydesignsanintelligentrehabilitationevaluationsystembasedonStackedHourglass，hopingtoimprovetheefficiencyofrehabilitationphysicians.Thissystemismainlyforintelligentrehabilitationassessment.First，buildadatabasewiththescaleasthecenter，establishthestructureofthescale，andstorethescaleinthedatabase.Secondly，transplanttheskeletonrecognitiontothemobileterminalsoftwaretorecognizethedatarequiredbythescale.Then，theskeletonidentificationdataiscalculatedtoachievetherequiredvalueforfillingtheform，andtheformisfilledintelligently.Finally，throughthedataofeachscale，allaredisplayedtotherehabilitationpractitioner，sothattherehabilitationpractitionercanunderstandthepatient'scondition.Throughthesesteps，thescalemodelisdesignedtocompletetheintelligentrehabilitationassessment.

【Keywords】skeletonrecognition;Hourglass;TensorFlow;intelligentformfilling

作者簡介：盧鵬飛（1994-），男，碩士研究生，主要研究方向：醫學人工智能;鄭建立（1965-），男，博士，副教授，主要研究方向：醫學信息系統與集成技術、醫學儀器嵌入式技術;尹梓名（1986-），男，博士，講師，主要研究方向：臨床決策支持、醫學人工智能。

0引言

智能康復評估系統是用戶通過手機等移動端使用攝像頭等硬件運用機器視覺來非人工填寫康復健康表并輔助患者訓練的智能系統，讓康復師和患者隨時隨地了解患者或自己的康復狀況，可以免去醫生和患者必須在固定位置、固定時間診斷所造成的資源浪費，大大地減少了醫生和患者雙方的時間和經濟成本，同時也可以避免一些誤診，錯填的意外情況[1-3]。智能量表的準確性和完整性對后續的康復計劃和康復實施都具有重大意義。考慮到疫情的影響，許多醫院及康復中心每天的接診人數受限，并需要先預約才能就診，這就導致預約患者多數時候都要等待數日才能就診，既耽誤康復進度，又可能會進一步加劇醫患矛盾。為了改變康復診斷現狀，就會希望能夠依托骨架識別等智能技術手段，實現智能量表和智能訓練，以優化康復流程。智能量表就是智能填寫康復量表，患者可以在任意地點、任意時間完成康復量表的智能填寫，通過骨架識別的技術，模擬康復師與患者的問診流程，智能收集患者身體狀況等信息，形成初步的康復量表，以供康復師了解康復進度。智能訓練就是智能指導輔助患者訓練，患者同樣解除了時間與地點的束縛，可以隨時隨地訓練。

骨架識別技術是通過深度學習技術學習出人體的骨架，行為識別分析的相關研究可以追溯到1975年Johansson[4]的一個實驗，研究提出了12點人體模型，這種描述行為的點模型方法對后來基于人體結構的行為描述算法起到了重要的指導作用。在引發學界廣泛關注的同時，骨架識別技術也開始進入發展階段，通過對多個人物圖像數據集進行學習，輸出相關的骨架關鍵點位置數據。目前，世界范圍內開放骨架識別主要有OpenPose[5-6]等，中國方面則有清華大學-紫為云使能中心、京東云人體關鍵點檢測等。但在垂直領域，如康復，相關的骨架識別并不多，且多以治療為主。

本次研究的主要內容是基于StackedHourglass的智能康復評估訓練系統。研究中將使用康復中心正規的康復量表建立量表數據庫，將一些可以智能量表的數據整理出來，在系統中運用骨架識別技術進行智能量表，并將其數據存入數據庫SQLite中，以供康復師使用。此后通過患者類型，將患者分配到不同的訓練中，患者可以隨同制作好虛擬人物一起訓練。通過骨架識別，系統可識別出患者的動作是否標準并給予提示，再對患者的動作進行后續的評估和打分，填入量表中。

1骨架識別模型構建

本系統運用的是StackedHourglass骨架識別模型，該模型是通過多個沙漏網絡串聯起來得到的，通過各個沙漏模型輸出的關節點信息來提高各個關節點的識別精度，再通過中間監督的方式來提高精確度。沙漏網絡是StackedHourglass模型的核心部分，可通過提取多層次的特征來識別出骨架的關鍵點，是對CNN神經網絡的一次升級，具有更高的準確性。

1.1沙漏網絡

首先，要了解沙漏網絡與CNN神經網絡的不同。CNN網絡是通過不斷的分層提取特征，而后使用最后一層的卷積特征進行識別，這會造成一些圖片信息的丟失，并且由于骨架關鍵點的不同最好的識別精度會發生在不同層次的特征圖上，由此則會造成骨架識別各個關鍵點的最佳精度不能統一在一個特征圖上，而沙漏網絡就很好地解決了這個問題。

沙漏網絡中使用了多層的特征，整體結構如圖1所示，就像一個沙漏，C1～C7就與CNN網絡一樣，可進行深層特征提取。而與其不同的是，沙漏網絡又在位于其后的C1a～C4a中復用了C1～C4，并運用在后面的層次中，這樣就防止了信息的缺失。

在后半部分，沙漏網絡通過合并2個不同的層次，如C4b是通過對C7進行上采樣擴大一倍后再與C4a合并而來，通過這樣的層層疊加后，最后一層C1b就保留了所有圖像的信息。

1.2數據集

本次實驗選用的是AIChallenger數據集。AIChallenger數據集是由“AIChallenger全球AI挑戰賽”提供的，這是目前對于骨架數據標記較為完善的數據集。本數據集包括著70萬個人體動作分析標注數據、30萬張圖片場景標注和語義描述數據，是國內迄今公開的規模最大的科研數據集。

AIChallenger數據集如圖2所示。本次實驗選取了22447個人體圖片數據作為訓練集，1501個作為測試集。本實驗只需要單人的骨架識別，因此所有的圖片數據都是單個人的圖像數據，具有很好的針對性。

1.3實驗結果

本實驗通過對比較常用的開源骨架識別技術openpose和本次研究選用的骨架識別技術Hourglass進行對比。實驗結果見表1。

從表1的結果可以看出，Hourglass的關鍵點正確估計的比例高于目前常用的骨架識別技術openpose，由于openpose主要使用多個CNN進行訓練，而在前文的介紹中，提到了Hourglass比CNN所保留的數據更多，并且運用中間監督提升了精確度，所以Hourglass骨架識別整體效率同樣高于openpose。

2康復評估系統設計

2.1系統架構

本次研究的康復評估訓練系統，以Android手機軟件作為系統與患者的交互的載體，通過手機端的攝像頭獲取圖像數據，并對獲取的圖像數據進行深度學習，將其量化，整理出量表所需要的數據。整體系統架構如圖3所示，應用層包括漸進式的情景交互康復評估虛擬場景、康復效果評估和康復量表評估。其中，康復效果評估為動態評估，通過在訓練過程中，患者所做出的動作是否標準，進行一個完整性的評估，而康復量表評估為靜態評估，讓患者做出一個動作，對該動作的程度進行評估。在姿態評估與數據存儲層中，姿態評估運用的是StackedHourglass骨架識別技術，由計算機訓練出具有較高準確率的模型，再通過TensorFlow-lite技術，將模型移植到移動端，在識別出骨架關鍵點后通過靜態評

估運算和動態評估運算得出量表所需要的數據，存入數據庫中，供系統的康復評估使用。

2.2康復評估

康復評估主要是對患者的康復狀況進行一次智能填寫康復量表，系統會根據患者的個人情況分配患者需要評估的康復量表，患者根據提示進行操作，在許多問題上，可以通過骨架識別技術幫助患者完成康復量表，具體如圖4所示。由圖4可知，患者登錄自己的賬號進入主界面2，點擊參加評估，進入界面3選擇自己要評估的量表，進入界面4，根據提示進行評估，在評估中，如界面4中的題目就可以運用智能評估，點擊智能評估，患者將手機放在手機支架上，正對自己，界面上顯示患者的圖像，系統播放動作動畫與語音，患者跟隨動畫和語音提示來做一些康復量表所需要的動作，手機攝像頭會對患者的動作進行捕捉，實時獲取其關節點信息保存到數據庫中，再將所需數據通過計算得出量表的所填項填寫到量表中，展示到界面7上，評估結束后可在主界面2上點擊“我的評估”獲取如界面8展示的評估信息。

2.2.1靜態評估

在該模塊中，通過骨架識別出來的數據需要通過計算處理得出系統所需要的數據，如在填寫關節活動度量表中，需要測量左肘關節活動的最小角度，此時就需要獲取該患者左手肘、左手腕和左肩膀的關鍵點位置，由于運用的是移動端前置攝像頭，所以左手位置也在圖像左邊，通過對3個關鍵點的位置數據，計算出其手肘角度。左手肘角度計算流程如圖5所示。由圖5可知，A表示系統通過骨架識別出來的左手腕、左手肘和左肩的關鍵點標記，B表示識別出的各個關鍵點的位置坐標，C為角度計算公式，通過該公式，得出D的結果，再將結果填寫進康復量表中。

2.2.2動態評估

康復訓練評估主要是幫助患者自己進行康復的訓練，通過隨同手機屏幕上的虛擬虛線人物的動作進行康復訓練，系統會提示患者調整自己的姿勢，起到很好的規范動作作用，并對患者訓練的動作進行評估。

虛擬虛線人物如圖6所示，這個動畫是通過MOHO動畫制作軟件制作，先將頭部四肢軀干等綁定好骨骼，對虛擬人物做訓練所需要的動作，再將該動畫轉為gif格式，移植到系統中去。

在評估中，系統通過骨架識別出來的數據需要通過計算處理得出系統所需要的數據，該評估通過計算出人體四肢的角度，實時對患者的訓練動作做出評價，系統中會設定好該訓練動作于該時段內四肢角度的一個范圍，系統識別出的角度如果有一個在此范圍之外，會在界面上顯示紅叉，如果四肢角度都在此范圍內就會顯示綠勾，最后會根據綠勾與紅叉的比例進行一個打分，判斷康復訓練的完成度，并將該評分計入康復量表中，參與量表的評估。

3結束語

本文設計的基于StackedHourglass的智能康復評估系統能通過骨架識別的技術讓患者可以在空閑之余對自己的康復情況進行一定的評估與訓練，可以免去醫生和患者必須在固定位置、固定時間診斷所造成的資源浪費，大大地減少了醫生和患者雙方的時間和經濟成本，同時也可以避免一些誤診，錯填的意外情況。此外，患者也可以隨時隨地進行康復訓練，加快其康復進程。

本系統在疫情期間可以有效防止康復中心人群聚集，減少醫患接觸，同時也可以緩和醫患關系。但是現階段康復量表數據較少，也只做了骨骼活動度的量表評估和訓練評估，具有一定的局限性，因此，如何兼容其他復雜的量表將會是下一步的研究方向。

參考文獻

[1]NEWELLA，YANGKaiyu，DENGJia.StackedHourglassnetworksforhumanposeestimation[M]//LEIBEB，MATASJ，SEBEN.ComputerVision-ECCV2016LectureNotesinComputerScience.Cham：Springer，2016，9912：483-499.

[2]BAOWenxia，YANGYaping，LIANGDong，etal.Multi-residualmodulestackedHourglassnetworksforhumanposeestimation[J].JournalofBeijingInstituteofTechnology，2020，29（1）：110-119.

[3]HUAGuoguang，LILihong，LIUShiguang.Multipathaffinagestacked—hourglassnetworksforhumanposeestimation[J].FrontiersofComputerScience（print），2020，14（12）：219-229.

[4]JOHANSSONG.Visualmotionperception[J].ScientificAmerican，1975，232（6）：76-88.

[5]都文龍.基于多尺度級聯沙漏網絡的人體姿勢估計[D].杭州：杭州電子科技大學，2019.

[6]陳汝峰，謝鵬飛，彭成，等.基于OpenPose的人體姿態檢測系統設計與實現[J].電子世界，2020（17）：183-184.

[7]曹青峰.基于深度學習的人體骨架動作識別[D].徐州：中國礦業大學，2020.

[8]YANGHaiwei，JIANGPeilin，WANGFei.Multi-view-basedposeestimationanditsapplicationsonintelligentmanufacturing[J].Sensors，2020，20（18）：5072.

[9]MIURAT，SAKOS.3Dhumanposeestimationmodelusinglocation-mapsfordistortedanddisconnectedimagesbyawearableomnidirectionalcamera[J].IPSJTransactionsonComputerVisionandApplications，2020，12（1）：4160-4169.

[10]趙康.利用稀疏編碼結合深度學習的人體姿態估計[J].信息技術，2020，44（9）：61-65，69.

[11]BASTIANBT，VICTORJC.Detectionandposeestimationofauto-rickshawsfromtrafficimages[J].MachineVisionandApplications，2020，31（6）：393-403.

[12]LIYang，LIKan，WANGXinxin，etal.Exploringtemporalconsistencyforhumanposeestimationinvideos[J].PatternRecognition，2020，103（1-3）：107258.

[13]BENZINEA，LUVISONB，PHAMQC，etal.Single-shot3Dmulti-personposeestimationincompleximages[J].PatternRecognition，2020，112（1-2）：107534.

[14]BINYanrui，CHENZhaomin，WEIXiushen，etal.Structure-awarehumanposeestimationwithgraphconvolutionalnetworks[J].PatternRecognition，2020，106：107410.

[15]ZHENGGuanghui，WANGSuyu，YANGBin.Hierarchicalstructurecorrelationinferenceforposeestimation[J].Neurocomputing，2020，404：186-197.

[16]YANGXiaohan，LIXiaojuan，GUANYong，etal.Overfittingreductionofposeestimationfordeeplearningvisualodometry[J].ChinaCommunications，2020，17（6）：196-210.