連續(xù)康復(fù)訓(xùn)練動作分割與評估

胡銘軒, 喬 鈞, 張執(zhí)南

(1. 上海交通大學(xué) 機(jī)械與動力工程學(xué)院, 上海 200240;2. 上海市長寧區(qū)精神衛(wèi)生中心 康復(fù)科, 上海 200335)

康復(fù)運(yùn)動訓(xùn)練可以幫助由于中樞神經(jīng)損傷病癥引起運(yùn)動障礙的患者進(jìn)行神經(jīng)功能重組,恢復(fù)精細(xì)動作能力[1-2].當(dāng)前對于康復(fù)訓(xùn)練的指導(dǎo),往往通過臨床醫(yī)師的直接觀察與輔助來進(jìn)行.然而我國目前供應(yīng)康復(fù)患者的醫(yī)療資源不足[3],智能醫(yī)療器械普及度不高,且由于90%以上的康復(fù)訓(xùn)練由患者居家完成[4],許多患者缺乏專業(yè)客觀的康復(fù)訓(xùn)練評估與反饋,這直接影響訓(xùn)練效果和持久性.直觀而及時地評估反饋能夠提高患者的訓(xùn)練積極性,也能提高訓(xùn)練效果[5].因此,研究智能評估康復(fù)患者訓(xùn)練動作的方法具有重要的臨床應(yīng)用價值.

針對康復(fù)訓(xùn)練的動作評估,傳統(tǒng)方式多采用康復(fù)運(yùn)動量表,例如運(yùn)動功能性篩查[6]和Fugl-Meyer評估[7].這類量表將特定的動作幅度劃分為多個等級,由臨床醫(yī)師觀察病人表現(xiàn)并根據(jù)量表打分,最后計算多個動作指標(biāo)得分,得到康復(fù)病人運(yùn)動能力的評估結(jié)果.隨著傳感器與體感設(shè)備投入應(yīng)用,以距離度量的方式衡量動作表現(xiàn)水平的研究逐漸增加[8].湯翾等[9]利用Kinect相機(jī)對人體關(guān)鍵點(diǎn)信息和環(huán)境的深度信息進(jìn)行跟蹤分析,依次使用歐氏距離和模板匹配定位方法來判斷人體動作是否標(biāo)準(zhǔn);楊文璐等[10]采用動態(tài)時間規(guī)整(Dynamic Time Warp～ing, DTW)算法來計算Kinect相機(jī)所獲得的患者下肢體動作序列信息與動作庫中標(biāo)準(zhǔn)動作序列特征之間的相關(guān)度,加入時間參量后綜合得出患者動作評估結(jié)果;吳齊云等[11]在使用Kinect相機(jī)的基礎(chǔ)上,改進(jìn)DTW算法,提高運(yùn)算速率,進(jìn)行兩組動作序列的角度值匹配,再通過K-means聚類方法對距離進(jìn)行評估并得到結(jié)果.

除了使用距離度量方式進(jìn)行動作評估,使用概率模型進(jìn)行動作評估也成為研究熱點(diǎn).Houmanfar等[12]利用佩戴在人體上的慣性測量傳感器數(shù)據(jù),提出基于運(yùn)動特征和基于隱馬爾科夫模型兩種動作評估方法,分別實現(xiàn)對單項訓(xùn)練科目的動作評估和多項訓(xùn)練科目的總體動作評估.Su等[13]利用Kinect相機(jī),采用DTW算法和模糊邏輯完成對康復(fù)患者居家訓(xùn)練的動作評估.Capecci等[14]則提出用隱半馬爾科夫模型對RGBD相機(jī)的動作數(shù)據(jù)進(jìn)行處理,并通過臨床評估和DTW算法來驗證方法的可靠性.Liao等[15]首次提出采用深度學(xué)習(xí)框架來進(jìn)行動作評估,先采用高斯混合模型(Gaussian Mixture Model, GMM)對動作數(shù)據(jù)進(jìn)行降維和建模,根據(jù)概率模型的似然數(shù)據(jù)輸出動作的評估分?jǐn)?shù)作為標(biāo)簽,然后訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)來評估康復(fù)訓(xùn)練動作.

在以上研究中,傳統(tǒng)人為動作評估方法具有較強(qiáng)的主觀性并且需要大量的康復(fù)醫(yī)師資源,難以滿足大量的康復(fù)訓(xùn)練需求.利用動作相似性度量方法(如歐氏距離)來進(jìn)行動作評估的方式采用與傳統(tǒng)方式類似的觀察視角,度量重要運(yùn)動關(guān)節(jié)的運(yùn)動數(shù)據(jù)變化,獲得區(qū)分顯著的動作評估結(jié)果.但是這種方法往往要求動作序列具有邊界固定性[10],即只能評估已分割完成的單個動作序列樣本,難以評估連續(xù)動作重復(fù)樣本.有研究[16-17]采用動作識別的方式檢測康復(fù)訓(xùn)練動作,但通常需要引入深度學(xué)習(xí)等方式增加運(yùn)算量,缺乏實用性;基于概率模型的評估方式近年來有較多研究,在對動作的評估中也有研究利用概率模型完成對連續(xù)重復(fù)動作序列的自動分割.但基于概率模型的動作評估結(jié)果對于健康樣本和患者樣本的區(qū)分效果有限,無法顯著區(qū)分健康人與康復(fù)患者的動作評估得分[18].

由此,提出一種對連續(xù)康復(fù)訓(xùn)練動作分割與評估的方法.首先,對健康人動作進(jìn)行概率模型建模和標(biāo)準(zhǔn)動作模板制作;然后,對于康復(fù)患者的連續(xù)重復(fù)運(yùn)動數(shù)據(jù)樣本,使用概率模型進(jìn)行動作分割,將單個運(yùn)動分割片段分別進(jìn)行概率模型評估和距離評估;最后,融合兩種方法的評估結(jié)果并進(jìn)行多特征融合動作評估,得到連續(xù)康復(fù)訓(xùn)練動作樣本的評估得分.該方法運(yùn)用醫(yī)療領(lǐng)域的先驗知識,利用概率模型對建模后的動作進(jìn)行分割與評估,結(jié)合距離度量手段來提高動作評估模型對正負(fù)樣本的區(qū)分度,具有良好的實際應(yīng)用價值.

1 動作建模

連續(xù)康復(fù)訓(xùn)練動作分割與評估框架如圖1所示.主要步驟為:先根據(jù)健康人運(yùn)動數(shù)據(jù)建立動作模型,再根據(jù)動作模型對康復(fù)患者運(yùn)動進(jìn)行分割與評估.

圖1 連續(xù)康復(fù)訓(xùn)練動作分割與評估框架Fig.1 Framework of continuous rehabilitation exercises segmentation and evaluation

人體運(yùn)動數(shù)據(jù)通常是由多個人體關(guān)鍵點(diǎn)坐標(biāo)組成的高維運(yùn)動向量,用來表征運(yùn)動時每個人體關(guān)鍵點(diǎn)的位置信息,進(jìn)一步計算能夠得到運(yùn)動時每一個關(guān)節(jié)角度的變化信息.為了使常用于描述低維數(shù)據(jù)的GMM能夠表達(dá)人體運(yùn)動信息,需要對人體運(yùn)動數(shù)據(jù)進(jìn)行特征提取來降低維度.

首先對運(yùn)動數(shù)據(jù)進(jìn)行預(yù)處理,利用運(yùn)動采集儀器得到的動作數(shù)據(jù)為關(guān)節(jié)角度值,若以角度為單位,數(shù)據(jù)區(qū)間為[0°, 180°].不同關(guān)節(jié)角數(shù)據(jù)變化差異較大,不進(jìn)行縮放會對后續(xù)建模處理帶來計算開銷過大、特征混雜的問題,影響算法收斂速度.因此,需要對運(yùn)動數(shù)據(jù)進(jìn)行歸一化處理.數(shù)據(jù)預(yù)處理具體實施步驟為:先得到整體運(yùn)動數(shù)據(jù)的均值、最大值與最小值,將所有數(shù)據(jù)減去均值使得數(shù)據(jù)均勻分布在0兩側(cè),以最大值與最小值的差值作為縮放比例,再將所有數(shù)據(jù)乘以縮放比例即可得到在區(qū)間 [-1, 1]的所有數(shù)據(jù).

對于預(yù)處理后的運(yùn)動數(shù)據(jù),采用主成分分析法對高維人體運(yùn)動數(shù)據(jù)進(jìn)行降維處理,利用正交變換對一系列可能相關(guān)的變量觀測值進(jìn)行線性變換,從而投影為一系列線性不相關(guān)變量的值,保留數(shù)據(jù)中對方差貢獻(xiàn)最大的特征作為動作分析的主要特征.最后,取用具有最大方差的特征數(shù)據(jù)作為人體運(yùn)動特征進(jìn)行后續(xù)分析,其方差大小占所有方差總和的97.8%.

1.1 GMM原理

GMM是一種常用的聚類算法,能夠用多個正態(tài)分布的概率密度函數(shù)的線性組合來描述任意維度變量的分布,因此有研究[15]將該模型用于人體動作建模.

將觀測數(shù)據(jù)表示為x,模型參數(shù)表示為θ,則GMM的概率分布模型如下:

(1)

(2)

式中:D為數(shù)據(jù)維數(shù);μk為樣本均值,維數(shù)為2;Σk為樣本的協(xié)方差矩陣,維數(shù)為2×2.

對于數(shù)據(jù)樣本序列x=(x1,x2, …,xj),j=1, 2, …,N,由GMM計算似然對數(shù)概率值的計算方法如下:

(3)

基于式(3)計算,可以得到每個運(yùn)動特征點(diǎn)上在GMM中的對數(shù)似然概率值,通過求取均值即可得到單次動作序列的平均似然概率值,基于概率模型的動作評估根據(jù)此值來生成相應(yīng)的動作分?jǐn)?shù).

對于GMM的參數(shù)計算,可以使用期望極大(Expectation Maximization, EM)算法來進(jìn)行迭代求解[19].EM算法的計算主要為兩步,分別為E步與M步.

對于觀測變量數(shù)據(jù)xj,反映其來自第k個分模型的隱變量記為γjk,k=1, 2, …,K.只有當(dāng)?shù)趈個觀測來自第k個分模型時,γjk值為1,其他情況下γjk的值為0.完全數(shù)據(jù)(xj,γj1,γj2, …,γjK|θ)的似然函數(shù)如下:

(4)

E步構(gòu)造包含模型參數(shù)的Q函數(shù),模型參數(shù)為θ=(α,μ,Σ),如下:

Q(θ,θ(i))=E(lnP(x,γ|θ)|x,θ(i))=

(5)

(6)

j=1, 2, …,N;k=1, 2, …,K

M步求使Q(θ,θ(i))極大化的θ,確定第i+1次迭代的參數(shù)的估計值θ(i+1),如下:

(7)

初始化θ(0)=(α(0),μ(0),Σ(0)).

(8)

k=1, 2, …,K

重復(fù)E步與M步,直到算法收斂,得到GMM的參數(shù).

1.2 連續(xù)重復(fù)動作序列分割

康復(fù)訓(xùn)練中的動作需要康復(fù)患者多次重復(fù)以達(dá)到鍛煉相應(yīng)肢體的目的,在運(yùn)動數(shù)據(jù)上表現(xiàn)為一連串連續(xù)重復(fù)動作序列.如果要評估患者的動作,就需要對連續(xù)動作進(jìn)行分割,得到單次動作的運(yùn)動數(shù)據(jù),再進(jìn)行動作建模以及后續(xù)的動作評估.進(jìn)行連續(xù)重復(fù)動作序列的分割時,首先需要在已分割的健康人運(yùn)動數(shù)據(jù)樣本上基于概率模型進(jìn)行動作建模,以概率模型的特性建立分割方法,然后應(yīng)用到健康人與康復(fù)患者的運(yùn)動數(shù)據(jù)當(dāng)中.

利用二維GMM對歸一化處理、特征提取后的動作數(shù)據(jù)進(jìn)行建模,可以獲得如圖2所示的各高斯模型分布.圖中:Tf為時間幀;Wf為角度特征值;橢圓形區(qū)域為各高斯模型的主要分布,數(shù)字代表各模型編號.由于經(jīng)過EM算法的迭代,原本有序的編號重新排列.其中高斯模型數(shù)量根據(jù)各高斯模型能否均勻完整覆蓋所有特征數(shù)據(jù)進(jìn)行設(shè)定,同時也需要根據(jù)后續(xù)動作分割效果進(jìn)行調(diào)整,在本文中,高斯模型數(shù)量設(shè)定為5,在該數(shù)量下各高斯模型能較好地描述所有特征數(shù)據(jù)的分布且能獲得較好的動作分割效果.

圖2 運(yùn)動特征點(diǎn)在高斯混合模型上的分布Fig.2 Distribution of motion feature points on a Gaussian mixture model

文獻(xiàn)[18]利用自左向右的隱馬爾科夫模型完成對連續(xù)重復(fù)動作的動作分割,其隱馬爾科夫模型中由狀態(tài)序列到觀測序列的觀測概率矩陣為二維GMM,每一個高斯模型視為隱馬爾科夫模型的一個狀態(tài).由此,將動作模型劃分為多個狀態(tài)進(jìn)行動作分割,各狀態(tài)對應(yīng)的就是GMM中的各高斯模型.一次完整的動作周期數(shù)據(jù)是按序遍歷各高斯模型后得到的,故可以通過檢測運(yùn)動數(shù)據(jù)中所遍歷的高斯模型順序來判斷當(dāng)前運(yùn)動數(shù)據(jù)的時間切片是否符合概率模型分布,若符合則保留分布相符合的部分作為一次動作的區(qū)間,即完成一次動作分割,省去額外的概率計算步驟.

為降低運(yùn)算量與避免使用滑動窗口,采用基于特征的匹配隊列方法[18]進(jìn)行動作分割.對于連續(xù)重復(fù)運(yùn)動,其單次動作周期常出現(xiàn)在導(dǎo)數(shù)為0處,表明人體在此刻到達(dá)動作的末端,即將開始下一段動作.因此可以選取運(yùn)動曲線中的極值點(diǎn)作為待分割區(qū)域的起點(diǎn)與終點(diǎn).為避免匹配隊列中各匹配點(diǎn)過于集中以及數(shù)據(jù)噪聲的影響,需要優(yōu)化匹配隊列.將幅值較小的極值點(diǎn)進(jìn)行過濾,同時對兩個0交叉點(diǎn)中存在多個極值點(diǎn)的情況進(jìn)行取均值處理,保證在相鄰0交叉點(diǎn)之間只有一個極值點(diǎn).若直接使用所有的極值點(diǎn)輸入特征匹配隊列,則會出現(xiàn)錯誤分割動作區(qū)間的情況.如圖3所示,左側(cè)曲線上的空心圓代表特征匹配隊列中的預(yù)備分割點(diǎn),背景中矩形框代表動作分割的各個區(qū)間,矩形框左下角的編號代表重復(fù)動作編號,匹配隊列中的每一分段都將由GMM計算狀態(tài)序列.由圖3可知,未進(jìn)行優(yōu)化的特征匹配隊列會產(chǎn)生異常分割點(diǎn)和較近距離內(nèi)多個分割點(diǎn).對異常分割點(diǎn)所形成的動作區(qū)間進(jìn)行動作分割判斷時,會由于部分?jǐn)?shù)據(jù)分布特征相似而產(chǎn)生動作分割錯誤的情況,同時也會產(chǎn)生單次動作區(qū)間截斷的問題,而較近距離內(nèi)的多個分割點(diǎn)則會導(dǎo)致冗余運(yùn)算與錯誤分割.因此,優(yōu)化特征匹配隊列能夠避免異常分割點(diǎn)和重復(fù)分割點(diǎn)的出現(xiàn),提高動作分割的正確率.對連續(xù)重復(fù)動作的最終分割結(jié)果如圖4所示.

圖3 特征匹配隊列優(yōu)化對動作分割的影響Fig.3 Impact of feature matching queue optimization on motion segmentation

圖4 連續(xù)重復(fù)動作序列的動作分割Fig.4 Motion segmentation for continuous repetitive motion sequences

2 多特征融合動作評估

動作評估的相關(guān)算法主要分為距離度量和概率模型評估.距離度量是通過測量并計算特定動作運(yùn)動指標(biāo)來評估動作的標(biāo)準(zhǔn)程度,例如深蹲動作中的膝關(guān)節(jié)角度;概率模型評估則是先提取全身運(yùn)動特征,對降維后的運(yùn)動數(shù)據(jù)用概率模型描述,計算每個運(yùn)動特征點(diǎn)的概率,以此評判動作的好壞.

以上兩種方法對于連續(xù)重復(fù)動作序列的動作評估均有不足,距離度量需要所對比的動作序列具有相同的起點(diǎn)與終點(diǎn),概率模型評估則容易得出正負(fù)樣本評估分?jǐn)?shù)相近的結(jié)果.但由于概率模型可以對連續(xù)重復(fù)動作序列進(jìn)行動作分割,所以本文在動作分割的基礎(chǔ)上融合概率模型動作評估與動作相似性距離度量,建立多特征融合動作評估方法,既彌補(bǔ)概率模型動作評估區(qū)分度不高的缺陷,又滿足動作相似性度量對單次動作分割的需求.

2.1 顯著運(yùn)動特征的動作相似性距離度量

在所有健康樣本中,可以根據(jù)醫(yī)學(xué)方面的先驗知識手工制作或者挑選顯著運(yùn)動特征.例如,在深蹲動作中,可以直接挑選膝關(guān)節(jié)與髖關(guān)節(jié)的角度變化信息作為顯著運(yùn)動特征,因為這兩個關(guān)節(jié)是參與運(yùn)動的主要關(guān)節(jié),直接關(guān)系到運(yùn)動質(zhì)量與準(zhǔn)確度;也可以根據(jù)相關(guān)醫(yī)學(xué)量表,制作運(yùn)動特征,例如骨盆前傾、高低肩、脊柱傾斜等.

采用運(yùn)動關(guān)節(jié)的角度變化作為顯著運(yùn)動特征時,對所有健康樣本中該關(guān)節(jié)的運(yùn)動數(shù)據(jù)求取均值,得到標(biāo)準(zhǔn)運(yùn)動角度變化曲線;制作多個標(biāo)準(zhǔn)曲線,得到標(biāo)準(zhǔn)動作模板.選取深蹲動作中兩個具有顯著正負(fù)樣本區(qū)別的角度特征,進(jìn)行數(shù)據(jù)縮放后制作標(biāo)準(zhǔn)動作模板,則同一動作下不同樣本與標(biāo)準(zhǔn)動作模板的比較如圖5所示.

圖5 健康樣本、患者樣本與動作模板的兩個顯著特征比較Fig.5 Comparison of two significant features between healthy samples, patient samples and motion templates

可以利用度量時間序列相似性的DTW算法來計算同一動作下不同樣本與標(biāo)準(zhǔn)動作模板的相似性,Hoda等[20]已通過臨床實驗驗證了該算法在康復(fù)評估中的有效性.DTW算法[11]是一種用來衡量兩個時間序列數(shù)據(jù)相似度的方法,可用于模板匹配,例如孤立詞語音識別、手勢識別等.對于兩個形貌相似的時間序列數(shù)據(jù),它們在時間軸上可能未對齊,因此需要在計算兩者相似度時,將其中一個或者兩個序列的時間軸進(jìn)行延伸和縮短,來達(dá)到映射對齊的要求,如果兩個序列的點(diǎn)相互正確對應(yīng),則兩者之間的歐氏距離就會達(dá)到最小.

DTW算法的核心為動態(tài)規(guī)劃,令動作模板的時間序列數(shù)據(jù)為

A=(a1,a2, …,ay),y=1, 2, …,U1

測試動作的時間序列數(shù)據(jù)為

B=(b1,b2, …,bz),z=1, 2, …,U2

U1與U2分別為模板動作和測試動作的時間序列長度.令D(y,z)為點(diǎn)ay與bz之間的DTW距離,DTW算法的狀態(tài)轉(zhuǎn)移方程如下:

D(y,z)=d(ay,bz)+min{D(y-1,z),

D(y,z-1),D(y-1,z-1)}

(9)

式中:d(ay,bz)為點(diǎn)ay與bz之間的歐氏距離.根據(jù)動態(tài)規(guī)劃的思路,從D(1, 1)開始,通過迭代中每一步選擇局部最優(yōu)值,計算到D(U1,U2)時便能得到全局最優(yōu)解,只要在獲得最優(yōu)解后逆向遍歷就能找出其所對應(yīng)的DTW路徑,如圖6所示.圖中:W為時間序列數(shù)據(jù)的值.

圖6 DTW算法 Fig.6 DTW algorithm

由于模板是通過健康樣本生成的,所以計算健康樣本與模板動作的DTW距離時,得到的結(jié)果基本都會維持在一個較低且集中的距離范圍內(nèi);而患者樣本在顯著運(yùn)動特征方面數(shù)據(jù)差異較大,與模板動作相似度低,兩者之間的DTW距離較遠(yuǎn),且DTW距離分布也較為離散.

2.2 多特征融合動作評估方法

多特征融合動作評估先使用數(shù)據(jù)降維方法處理運(yùn)動數(shù)據(jù),再利用GMM對降維后的運(yùn)動數(shù)據(jù)進(jìn)行動作建模.由于所建立的概率模型對動作只有整體性描述,缺少類似康復(fù)量表等具體運(yùn)動指標(biāo)的局部性描述,所以重新從原始運(yùn)動數(shù)據(jù)中提取顯著運(yùn)動特征,建立動作模板并進(jìn)行動作評估,將概率模型與顯著運(yùn)動特征的評估結(jié)果融合,給出最終的動作評估分?jǐn)?shù).多特征融合動作評估的計算方法如下:

Gf=βGg+(1-β)Gd

(10)

式中:Gf、Gg、Gd分別為多特征融合評估、GMM似然評估以及顯著運(yùn)動特征DTW距離評估的分?jǐn)?shù),且均通過放縮手段統(tǒng)一到相同數(shù)據(jù)區(qū)間;β為評估分?jǐn)?shù)的融合系數(shù),取值為0.5,可根據(jù)具體健康人與康復(fù)患者動作分?jǐn)?shù)分布特點(diǎn)進(jìn)行調(diào)整.

多特征融合動作評估方法流程圖如圖7所示.

圖7 多特征融合動作評估方法流程圖Fig.7 Flow chart of multi-feature fusion motion evaluation method

3 動作評估實驗結(jié)果及分析

3.1 實驗數(shù)據(jù)集

為驗證多特征融合的康復(fù)訓(xùn)練動作評估方法的有效性,采用UI-PRMD數(shù)據(jù)集[21],該數(shù)據(jù)集包含來自10個實驗對象的人體運(yùn)動數(shù)據(jù),其中有10個動作類別(深蹲、跨欄步、內(nèi)聯(lián)弓步等),每個動作類別由實驗對象產(chǎn)生正確樣本和不正確樣本,不正確樣本用來模擬康復(fù)患者的動作,表現(xiàn)出一些動作的運(yùn)動障礙.采用Vicon光學(xué)追蹤系統(tǒng)和Kinect傳感器采集數(shù)據(jù),其中每種方式采集的數(shù)據(jù)包含人體關(guān)鍵點(diǎn)的角度數(shù)據(jù)和位置數(shù)據(jù).除以上特點(diǎn)外,數(shù)據(jù)集預(yù)先完成所有動作的時間序列數(shù)據(jù)分割,每個實驗對象的每個動作都有單次重復(fù)動作的運(yùn)動數(shù)據(jù),方便研究者進(jìn)行人體動作研究.

3.2 連續(xù)重復(fù)動作序列分割

以深蹲動作為研究對象,對健康樣本分割數(shù)據(jù)集進(jìn)行GMM建模后,對數(shù)據(jù)集中未進(jìn)行動作分割的連續(xù)重復(fù)動作序列進(jìn)行動作分割,部分健康樣本與患者樣本的動作分割結(jié)果如所圖8所示.圖中:Wr為實際關(guān)節(jié)角度值;不同底色的矩形區(qū)域為分割得到的單次重復(fù)動作區(qū)間.

圖8 深蹲動作樣本進(jìn)行分割的部分結(jié)果Fig.8 Partial results of segmentation of deep squat movement sample

所有健康樣本與患者樣本的動作分割結(jié)果中正確與錯誤數(shù)量如表1所示.統(tǒng)計結(jié)果表明,基于GMM模型的動作分割在數(shù)據(jù)集上表現(xiàn)出色,對健康樣本的識別率達(dá)到97%,對患者樣本的識別率達(dá)到94%.由分析分割結(jié)果可以看出,該分割方法對動作序列中連續(xù)有規(guī)律的動作分割較準(zhǔn)確,對首尾兩端的動作以及運(yùn)動間隔時間較長的動作分割存在一定困難.

表1 連續(xù)重復(fù)動作序列分割結(jié)果

3.3 多種動作評估方法效果比較

為表征多種評估方法的評估效果,采用文獻(xiàn)[15]中的數(shù)據(jù)縮放方式和分離度(Separation Degree,SD)評價指標(biāo),計算健康人群與康復(fù)患者之間動作評估結(jié)果的區(qū)分度.

該數(shù)據(jù)縮放方式將數(shù)據(jù)縮放到區(qū)間[1,20],該取值范圍為經(jīng)驗取值[15],對于健康樣本h=(h1,h2, …,hl)與患者樣本p=(p1,p2, …,pl),l=1, 2, …,L,具體數(shù)據(jù)放縮的計算公式為

(11)

(12)

在相同深蹲動作數(shù)據(jù)[21]上將多特征融合評估方法與各評估方法進(jìn)行對比,得到如表2所示的對比結(jié)果.首先用各方法對所有實驗對象的數(shù)據(jù)建立一個泛化的評估模型,利用該模型得出每個動作樣本的評估得分,在不同實驗對象之間比較評估得分的分離度.其次,由于數(shù)據(jù)集是通過健康人模擬康復(fù)患者表現(xiàn)來得到患者數(shù)據(jù)樣本,故可以通過對同一個實驗對象單獨(dú)建立特化的評估模型,來提高各方法在所有降維數(shù)據(jù)上的分離度.由表2的對比結(jié)果可以看出,本文多特征融合評估方法在泛化動作模型和特化動作模型兩方面均優(yōu)于現(xiàn)有評估方法結(jié)果,其中泛化動作模型方面提高較大,相較原先較好的GMM似然評估方法提高19%.

表2 不同評估方法對于同一動作樣本的分離度對比

3.4 多種動作評估方法評分?jǐn)?shù)據(jù)分布比較

根據(jù)文獻(xiàn)[15]中所使用的換算公式,將人體運(yùn)動數(shù)據(jù)從GMM似然估計得分、顯著運(yùn)動特征估計得分以及多特征融合評估得分轉(zhuǎn)化為[0,1]之間的分?jǐn)?shù)值,對于健康樣本h=(h1,h2, …,hl)與患者樣本p=(p1,p2, …,pl),l=1, 2, …,L,換算公式為

(13)

式中:μ為健康樣本均值;δ為健康樣本方差;α1與α2為兩個經(jīng)驗參數(shù),分別取3.2和10,可根據(jù)具體數(shù)據(jù)特點(diǎn)調(diào)整.

根據(jù)式(13)計算結(jié)果進(jìn)行運(yùn)動評估分?jǐn)?shù)繪圖,得到如圖9所示的數(shù)據(jù)分布箱圖與各評估方法分?jǐn)?shù)圖.圖中:G為動作評分;R為重復(fù)動作編號,表示同一動作的重復(fù)執(zhí)行次數(shù).在各評估方法運(yùn)動得分的子圖中,可以看出在GMM似然評估中,患者樣本與健康樣本評分分布距離不大,但一些病患樣本表現(xiàn)出與健康樣本相同的分?jǐn)?shù);在顯著運(yùn)動特征評估中,患者樣本評分主要分布區(qū)間與健康樣本評分距離較大,但同時也出現(xiàn)患者樣本評分?jǐn)?shù)據(jù)離散程度過大、部分患者樣本評分結(jié)果高于健康樣本的異常數(shù)據(jù)結(jié)果;在多特征融合評估中,健康樣本評分基本保持較為集中且得分較高的分布,病患樣本評分離散分布,得分基本低于健康樣本,與健康樣本較少或幾乎不重疊.圖9表明GMM似然評估下健康樣本與患者樣本分布距離較近,顯著特征DTW距離評估下則有較大的正負(fù)樣本分布距離,但同時存在患者樣本異常評分的問題.多特征融合評估方法結(jié)合前兩種評估方法,增大了正負(fù)樣本的分布距離,減少了異常動作評分的出現(xiàn).

圖9 不同評估方法對同一動作的評估打分結(jié)果Fig.9 Evaluation scoring results of the same motion by different evaluation methods

以圖9中箱圖各數(shù)據(jù)的上下四分位點(diǎn)作為評估分?jǐn)?shù)的主要分布區(qū)間,如表3所示,在健康樣本運(yùn)動評估分?jǐn)?shù)分布相近的情況下,多特征融合評估患者樣本的主要分布區(qū)間為[0.817, 0.892],均值為0.851,均優(yōu)于GMM似然評估方法的分布區(qū)間與均值.

表3 不同評估方法對于同一動作的不同實驗對象評估分?jǐn)?shù)主要分布區(qū)間和均值

由此得出,多特征融合評估在增大健康樣本與患者樣本運(yùn)動質(zhì)量分?jǐn)?shù)分布距離的同時,也優(yōu)化了健康樣本和患者樣本各自動作評分的分布特點(diǎn),減少了顯著運(yùn)動特征評估患者樣本分布中的患者樣本異常評分?jǐn)?shù)量.

3.5 多特征融合動作評估示例

采用UI-PRMD數(shù)據(jù)集中Vicon光學(xué)追蹤系統(tǒng)采集的人體深蹲動作數(shù)據(jù),對一組連續(xù)運(yùn)動進(jìn)行動作分割后,分別進(jìn)行GMM似然評估、顯著運(yùn)動特征的DTW距離評估以及多特征融合動作評估.

動作樣本分割效果如圖10所示,圖中灰色實線為樣本的運(yùn)動數(shù)據(jù),不同顏色的矩形區(qū)域為分割出來的單次運(yùn)動區(qū)間,矩形框左下角的數(shù)字為單次運(yùn)動區(qū)間的序號,可以看出健康樣本和患者樣本都有較為清晰完整的動作分割結(jié)果,原數(shù)據(jù)中的噪聲與誤差對于特征提取后的動作分割影響有限.

圖10 深蹲動作連續(xù)重復(fù)序列的分割結(jié)果Fig.10 Segmentation results for sequential repetition sequences of deep squat movements

采用3種評估方法對分割完成的數(shù)據(jù)進(jìn)行動作評分,得到如圖11所示的評分圖.可以看出,在GMM似然評估與顯著特征DTW距離評估中都存在個別患者樣本動作分?jǐn)?shù)高于健康樣本的不合理情況,例如圖11(a)中重復(fù)動作編號為1、8的動作和圖11(b)中重復(fù)動作編號為6的動作.圖10的原始動作數(shù)據(jù)顯示,患者樣本編號為1、8的動作明顯差于健康樣本,樣本編號為6的患者其動作與健康樣本相似,在數(shù)據(jù)細(xì)節(jié)上差別較小.在多特征融合動作評估結(jié)果中,該不合理的數(shù)據(jù)分布情況得到有效改善,健康樣本的得分基本高于患者樣本,編號為6的動作由于健康樣本與患者樣本的實際運(yùn)動數(shù)據(jù)相似而評估分?jǐn)?shù)相近,表明多特征融合動作評估方法能夠減少單一評估方法導(dǎo)致的異常評估分?jǐn)?shù),使得健康樣本動作分?jǐn)?shù)基本高于患者樣本,讓兩者的得分呈現(xiàn)較為合理的分布.

圖11 3種連續(xù)重復(fù)動作評估結(jié)果比較Fig.11 Results of three continuous repetitive motion evaluation methods

4 結(jié)論

提出基于GMM的動作分割方法,在單次動作過程中建立多個狀態(tài)以及運(yùn)動數(shù)據(jù)在狀態(tài)之間的變化對連續(xù)重復(fù)的動作序列進(jìn)行分割,分割結(jié)果顯示該方法在健康樣本中正確率為97%,在康復(fù)患者樣本中正確率為94%,正確率均較高.針對動作分割所得到的單次動作數(shù)據(jù),提出結(jié)合顯著運(yùn)動特征DTW距離評估與GMM似然評估的多特征融合動作評估方法,從康復(fù)訓(xùn)練動作的整體動作與局部關(guān)節(jié)信息兩方面進(jìn)行動作評估.將本文方法在數(shù)據(jù)集UI-PRMD上進(jìn)行實驗,與其他動作評估方法進(jìn)行對比分析,得到以下結(jié)論:

(1) 在動作分割的基礎(chǔ)上進(jìn)行動作評估, 能夠滿足動作相似性距離度量方法對邊界固定性的需求, 無需測試對象刻意進(jìn)行單次動作或人工手動分割運(yùn)動數(shù)據(jù), 有效實現(xiàn)對連續(xù)重復(fù)動作序列的動作評估, 使之具備在居家治療等場景下應(yīng)用的潛力.

(2) 通過融合顯著特征DTW距離評估和概率模型似然評估結(jié)果, 有效提高單一概率模型動作評估對健康樣本與患者樣本的區(qū)分程度.對于不同實驗對象, 正負(fù)樣本的分離度為0.425, 較GMM似然評估方法提升19%;對于同一實驗對象的不同表現(xiàn), 正負(fù)樣本的分離度為0.609, 同樣優(yōu)于GMM似然評估方法的結(jié)果.

(3) 多特征融合動作評估方法使得健康樣本動作分?jǐn)?shù)主要分布在0.930～0.944的得分區(qū)間, 均值為0.937;患者樣本動作分?jǐn)?shù)主要分布在0.817～0.892的得分區(qū)間, 均值為0.851.統(tǒng)計特征均優(yōu)于GMM似然評估方法, 表明多特征融合動作評估方法在動作運(yùn)動質(zhì)量打分方面具有更好的表現(xiàn).