基于Xception-LSTM的下肢運動能力評價方法

張燕，王銘玥，王婕，姜愷寧，張筠晗

1.河北工業大學人工智能與數據科學學院，天津市 300130；2.鄭州大學國際學院，河南鄭州市450001

我國老齡化問題日趨顯著[1]。預計到2050 年，老年人口將超4 億。大部分老年人會出現嚴重的運動障礙，步態特征發生明顯變化[2-3]，通過評估下肢能力可為配備相應的助行設備提供參考。有必要對老年人下肢運動能力進行量化評估[4]。

目前，一般采用評價量表和步態指數對運動能力進行評估。大部分評價量表基于《國際功能、殘疾和健康分類》標準演化而來，根據國情改進評估內容并進行等級劃分[5-6]。如日本根據身體功能、精神行動障礙等方面評估老年人活動能力，美國的評估工具最小數據庫(Minimum Data Set,MDS)和澳大利亞的養老護理評估表(Aged Care Funding Instrument,ACFI)等[7-9]。這些量表存在耗時長、主觀性強等弊端，且準確性主要依靠醫師的經驗和水平。此外，一些研究提出采用步態指數來實現病理步態的定量分析，如吉萊特步態指數(Gillette Gait Index,GGI)、步態偏差指數(Gait Deviation Index,GDI)、步態外形分數(Gait Profile Score,GPS)、步態變異指數(Gait Variability Index,GVI)和分類定向步態評分(Classifier Oriented Gait Score,COGS)等[10-13]。這些步態指數能夠準確評估運動能力，但由于采集過程和特征提取過程復雜，并不適合老年人下肢運動能力的評估。

本研究提出一種基于Xception、長短期記憶網絡(long short-term memory,LSTM) 并聯的Xception-LSTM 網絡與核主成分分析(kernel principal component analysis,KPCA)相結合的下肢運動能力評估方法。在此基礎上，建立融合步態圖像特征、膝關節角度和地面反作用力(ground reaction force,GRF)的下肢運動能力評估指標步行能力評分(gait ability score,GAS)。

1 資料與方法

1.1 一般資料

2016 年8 月至2017 年3 月，選取學校和周邊社區自愿參與本研究的中老年人和年輕健康人共40例。通過威斯康辛步態量表(Wisconsin Gait Scale,WGS)對受試者進行評估。WGS 是基于步行視頻的用于評定步態異常的半主動評定方法，總分45分，分數越高，表明步態異常越嚴重。根據專業醫師的評分建議，本研究將試驗對象分為不具有任何運動障礙的20～39 歲的年輕健康人作為對照組，共20 例，WGS 評分14 分；40～59 歲的中年組共10 例，WGS 評分15～30 分；60～70 歲的老年組共10 例，WGS 評分31～45 分。中年組、老年組作為試驗組。對所有受試者進行不借助任何儀器或協助的步態信息采集。

1.2 數據采集

采用Vicon MX三維步態采集設備(英國VICON公司)進行數據采集。將反光標記球固定在人體下肢的各個標記點處，通過視頻捕捉設備記錄受試者的運動狀況，得到受試者在三維空間的運動信息；通過測力板采集腳底的壓力信息。得到受試者行走時步態視頻、膝關節角度和GRF。

1.3 評估模型的建立

采用ViBe 算法對步態視頻進行預處理，提取步態輪廓圖像。采用Xception-LSTM 網絡提取步態輪廓圖像特征，并與膝關節角度、GRF 串聯成融合特征。最后經KPCA降維處理，生成GAS。

1.3.1Xception-LSTM網絡特征提取

Xception-LSTM 網絡結構是由在ImageNet 上預訓練的Xception 和LSTM 并聯結合。其中，Xception 包括14個卷積塊(Block_1～Block_14)。見圖1。

經網絡訓練，采用遷移學習，將在ImageNet數據庫上預訓練的模型參數作為Xception 的初始化參數。首先，Xception 網絡的所有卷積塊參數不動，僅訓練LSTM 網絡；然后訓練整個Xception-LSTM 模型；再根據采集的步態圖像數據集對網絡參數進行微調，以提高模型準確率和泛化能力；最后，利用神經網絡注意機制合并由Xception 和LSTM 產生的兩個特征，得到全連接層特征FC，并與膝關節角度、GRF 數據經特征歸一化后串聯融合成融合特征。見圖2。

1.3.2特征歸一化

圖1 Xception-LSTM網絡結構

圖2 Xception-LSTM特征提取與特征融合

對Xception-LSTM 提取的步態圖像特征與膝關節角度、GRF 串聯成的融合特征矩陣M=[m1,m2,...,mk]l×k歸一化，l為特征融合后的維度，k為實驗對象的人數，mi為第i個受試者的融合特征。計算每一名受試者的均值μi和方差σi，將M歸一化為[0,1]范圍內的MG，公式為：

1.3.3特征降維與GAS建立

在KPCA 中，通過定義閾值(E)和方差貢獻度(VAF)，確定降維后的特征維度。利用降維后的特征[c1,c2,...,ck]r×k建立GAS。

任意受試者的融合特征cα與年輕健康組融合特征向量平均值偏差為：

計算原始的GAS：

對年輕健康組的均值與方差進行Z-Score標準化：

對所有受試者，可用下式進行定量評估：

GAS ≥100，運動能力正常；GAS越小，運動障礙越嚴重。

1.4 統計學分析

采用SPSS 19.0 軟件進行統計學分析。組間GAS比較采用t檢驗，WGS 評分與GAS 進行Pearson 相關性分析。顯著性水平α=0.05。

2 結果

中年組和老年組的GAS 均明顯低于年輕健康組(P＜0.01)，且老年組明顯低于中年組(P＜0.01)。見表1。GAS與WGS評分呈負相關(r=-0.91,P ＜0.01)。見圖3。

表1 三組間GAS比較

圖3 GAS與WGS的相關性分析

3 討論

本研究利用視頻信息和運動信息，實現人體運動能力客觀評價，為康復訓練方案的制定和輔助行走設備的控制奠定基礎。

人體衰老后，多種因素相互作用，造成肌肉萎縮和身體功能下降。大部分運動功能評價方法在步態分析中只用到矢狀面的下肢關節運動信息或部分關節在特定姿態下的運動信息，而人體步行過程涉及中樞命令和下肢各關節的協同運作，任何正常步態產生環節或各環節的相互聯系出現問題都會引起異常步態[14-15]。老年人肌肉力量下降，身體控制能力減弱，平衡穩定性不足，行走時為避免跌倒損傷，足跟著地時會加倍小心。這種身體保護機制，導致足底壓力分布發生變化[16-17]。隨著年齡增長，膝關節和小腿的靈活性顯著下降，膝關節活動范圍變小，小腿離地擺動角速度下降，發生步態變化[18]。

卷積神經網絡(convolutional neural network,CNN)在計算機視覺、圖像識別和心電圖分類等領域成效卓然，通過大量數據訓練的CNN 能夠提取具有代表性的數據特征[19-22]。與傳統特征相比，高層的深度特征與低層特征結合能夠得到更具表達能力的特征信息。文獻[23]用CNN 自動提取乳腺圖像特征并結合形態和紋理特征，建立一個乳腺腫瘤分類模型，準確性很高。LSTM 作為循環神經網絡(recurrent neural network,RNN)的一種變體結構，能更好地挖掘序列時間信息[24-26]。文獻[27]將CNN 和LSTM 結合用于手勢識別，性能優于單獨使用CNN 或LSTM。考慮到步態視頻能夠直觀反映人體運動狀態，且步態圖像前后信息之間存在時序相關性，為能提取步態圖像中包含的時空特征，并有效地學習步態圖像的結構特征，本研究將CNN與LSTM結合提取步態圖像特征。

本研究提出一種基于Xception 與LSTM 結合的下肢運動能力評價方法，通過效果最優的Xception-LSTM提取步態視頻圖像的步態特征，與膝關節角度、GRF 融合后建立步態指標對老年人的下肢運動能力進行評估。結果顯示，年齡對膝關節、GRF 等影響顯著，隨著年齡增長，各項功能均有顯著下降，GAS也明顯降低，說明GAS可以客觀量化老年人下肢運動能力。GAS 與WGS 呈顯著負相關，說明GAS 在老年人下肢運動能力評估方面的有效性與臨床相關性。

本算法通過提取步態特征并由此建立指標，使得針對老年人下肢運動能力系統、量化的評估成為可能。但本研究仍存在不足之處。在未來的研究當中可以增加受試者的數量，顯示各年齡段的運動能力；針對不同障礙程度的老年人，提供不同的康復指導。