基于作業(yè)療法的上肢協(xié)調(diào)功能虛擬訓(xùn)練系統(tǒng)研發(fā)

張瑞青 鄒任玲

摘要：為解決傳統(tǒng)作業(yè)療法訓(xùn)練過程枯燥、患者參與度低、康復(fù)效果不理想等缺點(diǎn)，將作業(yè)療法協(xié)調(diào)訓(xùn)練與虛擬現(xiàn)實(shí)技術(shù)相結(jié)合，利用虛擬現(xiàn)實(shí)技術(shù)的趣味性、沉浸感、目的導(dǎo)向性，提高作業(yè)訓(xùn)練的康復(fù)效果。基于作業(yè)療法的上肢協(xié)調(diào)功能虛擬訓(xùn)練系統(tǒng)使用高精度5DT數(shù)據(jù)手套和電磁位置跟蹤系統(tǒng)，分別采集手指彎曲度數(shù)據(jù)和手臂運(yùn)動(dòng)數(shù)據(jù)，通過Socket進(jìn)行通信，控制游戲虛擬手的彎曲和移動(dòng)，實(shí)現(xiàn)“手張開一抓握”、“二指尖捏”的作業(yè)訓(xùn)練。將虛擬現(xiàn)實(shí)技術(shù)應(yīng)用于作業(yè)療法中，極大提高了作業(yè)訓(xùn)練的安全性，提高了患者參與訓(xùn)練的積極性，康復(fù)訓(xùn)練效果顯著。

關(guān)鍵詞：作業(yè)療法;虛擬現(xiàn)實(shí)技術(shù);5DT數(shù)據(jù)手套;電磁位置跟蹤器

DOI：10.11907/rjdk.192119 開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

中圖分類號：TP319文獻(xiàn)標(biāo)識碼：A 文章編號：1672-7800（2020）006-0121-04

0 引言

作業(yè)療法（Occupational Therapy，OT）是上肢功能障礙患者常用的康復(fù)治療方法，患者可通過有目的、經(jīng)過選擇的作業(yè)活動(dòng)鍛煉上肢運(yùn)動(dòng)功能。傳統(tǒng)針對上肢功能康復(fù)的作業(yè)療法是結(jié)合康復(fù)醫(yī)師給出的特定手功能訓(xùn)練動(dòng)作，采用小游戲如跳棋、捏橡皮泥、栓狀插件游戲等，或配合輔助器如輕觸式按鈕、手握力器、手靈活度訓(xùn)練盒等，或結(jié)合日常活動(dòng)如折疊衣服、系鞋帶、筷子夾捏小物件等，對手部進(jìn)行康復(fù)訓(xùn)練。但手損傷患者往往不能很好地控制手指力度，需要康復(fù)醫(yī)師指導(dǎo)或家庭人員的陪護(hù)，費(fèi)時(shí)費(fèi)力，易對手指造成二次傷害。在訓(xùn)練過程中，作業(yè)療法重復(fù)動(dòng)作多，枯燥乏味，無法調(diào)動(dòng)患者主動(dòng)訓(xùn)練的積極性。

上肢協(xié)調(diào)訓(xùn)練是提高上肢日常活動(dòng)能力的重要康復(fù)訓(xùn)練內(nèi)容，用虛擬現(xiàn)實(shí)技術(shù)開發(fā)的虛擬游戲越來越多地應(yīng)用于協(xié)調(diào)康復(fù)訓(xùn)練。2011年，Ksenia I Ustinova等針對腦損傷患者手臂姿勢協(xié)調(diào)障礙，開發(fā)了一款3D沉浸式視頻游戲——八爪魚，患者通過左右手的姿態(tài)運(yùn)動(dòng)控制虛擬環(huán)境中的左右手對氣泡進(jìn)行攔截，對上肢的姿勢協(xié)調(diào)具有一定的訓(xùn)練效果。但該游戲需要用戶大幅度擺臂，上肢障礙患者往往不能完成游戲任務(wù)。2017年Ji-Hye Do等，對虛擬現(xiàn)實(shí)系統(tǒng)Nintendo Wii進(jìn)行研究，選定4個(gè)Nintendo Wii虛擬現(xiàn)實(shí)游戲：獨(dú)木舟、高爾夫、劍術(shù)和自行車運(yùn)動(dòng)，進(jìn)行對稱上肢協(xié)調(diào)運(yùn)動(dòng)和不對稱上肢協(xié)調(diào)運(yùn)動(dòng)。雖然具有一定的訓(xùn)練效果，但該游戲訓(xùn)練系統(tǒng)無醫(yī)學(xué)理論依據(jù)，對上肢障礙患者潛在影響未知。

本文將作業(yè)療法與虛擬現(xiàn)實(shí)技術(shù)相結(jié)合，根據(jù)手部作業(yè)活動(dòng)設(shè)計(jì)針對性的虛擬康復(fù)訓(xùn)練游戲，開發(fā)了一種基于作業(yè)療法的上肢協(xié)調(diào)功能虛擬訓(xùn)練系統(tǒng)。采用虛擬現(xiàn)實(shí)技術(shù)結(jié)合上肢康復(fù)訓(xùn)練改善上肢功能障礙，提高患者的參與度和訓(xùn)練積極性，縮短病人的康復(fù)時(shí)間。

1 系統(tǒng)總體設(shè)計(jì)

上肢協(xié)調(diào)障礙患者往往不能進(jìn)行如更衣、飲食、洗漱等一系列最基本的上肢活動(dòng)，嚴(yán)重影響患者的生活質(zhì)量。手、腕部、肘部、前臂、肩部是構(gòu)成上肢運(yùn)動(dòng)功能的基本元素，抓取物體放置另一位置是日常生活中常見的活動(dòng)，這一作業(yè)能很好地鍛煉手、腕部、肘部、前臂、肩部等部位的協(xié)調(diào)合作，對上肢正常運(yùn)動(dòng)功能康復(fù)具有重要作用。上肢正常運(yùn)動(dòng)功能也是患者日常生活活動(dòng)的基礎(chǔ)。系統(tǒng)根據(jù)Jebsen手功能測估方法中的“拾起小物品件進(jìn)容器”作業(yè)，設(shè)計(jì)康復(fù)訓(xùn)練動(dòng)作，根據(jù)協(xié)調(diào)康復(fù)訓(xùn)練動(dòng)作設(shè)置虛擬作業(yè)訓(xùn)練游戲。

系統(tǒng)采用上下位機(jī)結(jié)構(gòu)，下位機(jī)數(shù)據(jù)采集系統(tǒng)由5DT數(shù)據(jù)手套和電磁式位置跟蹤器兩部分組成，分別實(shí)現(xiàn)。其中5D了數(shù)據(jù)手套實(shí)現(xiàn)5個(gè)手部協(xié)調(diào)運(yùn)動(dòng)程度的獲取，測量5個(gè)手指的平均彎曲度;電磁式位置跟蹤器測量手腕部運(yùn)動(dòng)位置，由USB口將運(yùn)動(dòng)數(shù)據(jù)傳輸至計(jì)算機(jī)。采集的數(shù)據(jù)與上位機(jī)虛擬康復(fù)游戲通過socket進(jìn)行通信，用于控制游戲?qū)ο蟆μ摂M游戲訓(xùn)練設(shè)置訓(xùn)練難度和訓(xùn)練時(shí)間參數(shù)，并對訓(xùn)練結(jié)果進(jìn)行打分，以便醫(yī)師進(jìn)行評估。系統(tǒng)總體設(shè)計(jì)流程如圖1所示。

2 硬件實(shí)現(xiàn)

2.1 5DT數(shù)據(jù)手套

本系統(tǒng)使用的數(shù)據(jù)手套為5DTData Glove 5Ultra，有5個(gè)光纖傳感器，分別分布于5個(gè)手指，通過對傳感器的彎曲曲率（曲線上某點(diǎn)的切線方向上角對弧長的轉(zhuǎn)動(dòng)率）進(jìn)行歸一化處理，對手指彎曲程度（取指掌關(guān)節(jié)、近指關(guān)節(jié)、遠(yuǎn)指關(guān)節(jié)彎曲度最大的輸出值）進(jìn)行計(jì)算，并通過串口實(shí)現(xiàn)與計(jì)算機(jī)的通信。

5DT數(shù)據(jù)手套利用光纖傳感器計(jì)算彎曲曲率，獲得佩戴手套手指的彎曲程度。式（1）中K為模擬手指的屈曲程度。

其中，k表示曲率，△s表示弧長，Ae表示弧兩端的夾角。數(shù)據(jù)手套的驅(qū)動(dòng)能夠?qū)鞲衅髟紨?shù)值線性地轉(zhuǎn)換為0～4095之間的整數(shù)（伸直時(shí)為最小值0，彎曲180°為最大值4095）。因?yàn)槭种钢荒茉谝欢ǚ秶鷥?nèi)彎曲，所以手指完全伸直或彎曲時(shí)達(dá)到的極限位置為傳感器的最小值fLow和最大值rUp。數(shù)據(jù)手套SDK中設(shè)計(jì)了式（2）所示的標(biāo)定方法，將當(dāng)前的原始數(shù)值rVal線性映射為[0，1]區(qū)間內(nèi)的數(shù)值scaled，從而實(shí)現(xiàn)歸一化。當(dāng)手動(dòng)標(biāo)定出現(xiàn)錯(cuò)誤時(shí)，scaled的計(jì)算如式（3）所示。

2.2 電磁式位置跟蹤器

本系統(tǒng)使用Polhemus公司的Library電磁跟蹤系統(tǒng)，能精確獲取腕部的旋轉(zhuǎn)方向與位置，提供穩(wěn)定且連續(xù)的位置數(shù)據(jù)流和方向數(shù)據(jù)流，是一個(gè)基于交流的跟蹤系統(tǒng)，由系統(tǒng)電子處理單元、發(fā)射源和傳感器（即接收器）組成，系統(tǒng)框圖如圖2所示。其中發(fā)射源用來發(fā)射磁場信號，系統(tǒng)以發(fā)射源所在位置建立坐標(biāo)系，并以此基準(zhǔn)建立傳感器坐標(biāo)系;系統(tǒng)電子處理單元利用發(fā)射源的發(fā)射信號和傳感器的感應(yīng)信號間的耦合關(guān)系，實(shí)現(xiàn)對傳感器位置和姿態(tài)角度確定。

電磁跟蹤系統(tǒng)中發(fā)射源和接收器的位置關(guān)系如圖3所示。發(fā)射源為基本坐標(biāo)系O-XYZ，接收器坐標(biāo)系為O-XYZ。ξ、ψ和ω分別表示接收器的姿態(tài)角度，其中ξ表示橫滾角，ψ表示俯仰轉(zhuǎn)角，ω表示水平轉(zhuǎn)角。根據(jù)電磁系統(tǒng)中的磁場感應(yīng)原理以及方位坐標(biāo)的矩陣轉(zhuǎn)換關(guān)系，可以求出接收器相對于發(fā)射源的位置坐標(biāo)（x，y，z）和轉(zhuǎn)角坐標(biāo)（（ω，ξ，ψ）。

3 康復(fù)虛擬系統(tǒng)設(shè)計(jì)

3.1 基于作業(yè)活動(dòng)的虛擬場景搭建

本系統(tǒng)的虛擬游戲場景建立在unity3d開發(fā)環(huán)境下，采用實(shí)體建模方法在3Dmax中創(chuàng)建虛擬手臂，該模型包括手指和手腕兩部分，其中手指關(guān)節(jié)及手腕都可通過函數(shù)控制其運(yùn)動(dòng)。將由3DMax制作的虛擬手臂生成后綴為。fbx的文件，加載到Unity3D的Assets中。在3DMax中制作麥穗、小車等模型，模型尺寸大小根據(jù)人手可抓取的尺寸進(jìn)行設(shè)計(jì)。

根據(jù)將物體撿起放置容器這項(xiàng)作業(yè)活動(dòng)，設(shè)計(jì)兩個(gè)虛擬作業(yè)訓(xùn)練場景，分別針對手功能康復(fù)中的“手張開一抓握”和“二指尖握”兩個(gè)動(dòng)作，二指尖握訓(xùn)練場景如圖4所示。添加plane，并對其貼圖。將三維模型設(shè)置為預(yù)制體，拖人游戲場景，在Inspector窗口對Transform進(jìn)行調(diào)整，依次排列。修改虛擬手的Rotation屬性，傾角調(diào)整為45度，模擬現(xiàn)實(shí)中人進(jìn)行二指尖握的狀態(tài)。通過控制虛擬手拇指和食指運(yùn)動(dòng)，抓取稻穗放人小車內(nèi)，完成將物體撿起放置容器這項(xiàng)作業(yè)活動(dòng)。另外，該訓(xùn)練也可進(jìn)行拇指與中指、無名指或者小拇指之間的對指活動(dòng)。手抓握訓(xùn)練場景如圖5所示，與二指尖握場景類似，地面放置大小尺寸不同的三維模型，模擬現(xiàn)實(shí)生活中人抓握大小不同物體的場景。通過控制虛擬手彎曲程度，抓取不同大小的物體放人小車，訓(xùn)練不同程度的手抓握訓(xùn)練。

3.2 基于作業(yè)活動(dòng)的游戲設(shè)計(jì)

進(jìn)入系統(tǒng)開始界面，患者可以根據(jù)康復(fù)需求選擇合適的模式。兩種模式的作業(yè)活動(dòng)均要求患者在規(guī)定的時(shí)間內(nèi)，通過手部康復(fù)動(dòng)作，盡可能多地抓取物體放人相應(yīng)位置。開始游戲后，倒計(jì)時(shí)由初始值5分鐘開始逐秒遞減。用If語句判斷倒計(jì)時(shí)是否小于零，若小于零跳轉(zhuǎn)至分?jǐn)?shù)和結(jié)果評估界面。為游戲?qū)ο筇砑觿傮w和碰撞器，當(dāng)物體與小車接觸會(huì)觸發(fā)OnTriggerEnter（）函數(shù)，進(jìn)行得分計(jì)算并銷毀該物體。游戲流程如圖6所示。

設(shè)計(jì)游戲過程中，虛擬手的抓握和移動(dòng)由鍵盤和鼠標(biāo)控制。定義鼠標(biāo)左右方向移動(dòng)為虛擬手在游戲場景中沿X軸方向移動(dòng)，鼠標(biāo)上下移動(dòng)為虛擬手在游戲場景中沿Y軸方向移動(dòng)，滑動(dòng)鼠標(biāo)滾輪表示虛擬手在游戲場景中上下位置的變化，運(yùn)動(dòng)代碼如下：

兩個(gè)游戲都需要手指彎曲實(shí)現(xiàn)抓取物體。點(diǎn)擊鼠標(biāo)左鍵，調(diào)用StartBendFingers（）函數(shù)，虛擬手的手指彎曲，松開鼠標(biāo)左鍵，虛擬手手指伸展。二指尖握訓(xùn)練手指的彎曲由鍵盤字母控制，與鼠標(biāo)控制類似，彎曲代碼如下：

3.3 人機(jī)交互訓(xùn)練

作業(yè)協(xié)調(diào)訓(xùn)練開始前，系統(tǒng)需要患者配戴5DT數(shù)據(jù)手套，同時(shí)將電磁式位置跟蹤器置于腕部。游戲開始后，患者通過移動(dòng)腕部，使電磁式位置跟蹤器位置發(fā)生變化。虛擬手的位置為采集到的電磁位置跟蹤器的位置坐標(biāo)與初始坐標(biāo)的差值，將該差值與虛擬環(huán)境中的坐標(biāo)方向做出相應(yīng)轉(zhuǎn)換，進(jìn)而控制虛擬手的上下左右移動(dòng)。核心代碼如下

根據(jù)選擇模式不同進(jìn)行不同的手部動(dòng)作，通過5DT數(shù)據(jù)手套控制虛擬手完成該動(dòng)作。5DT數(shù)據(jù)手套采集5個(gè)手指彎曲數(shù)據(jù)代碼如下

患者抓取物體放人小車，可以得到對應(yīng)的分?jǐn)?shù)，游戲結(jié)束后顯示病人訓(xùn)練成績，醫(yī)生可根據(jù)患者成績對患者上肢運(yùn)動(dòng)狀況進(jìn)行評估。圖7為二指尖握訓(xùn)練，圖8為手抓握訓(xùn)練。

4 結(jié)語

基于作業(yè)療法的上肢康復(fù)游戲訓(xùn)練系統(tǒng)，將傳統(tǒng)的作業(yè)訓(xùn)練與虛擬現(xiàn)實(shí)技術(shù)相結(jié)合，具有針對性、趣味性、主動(dòng)性特點(diǎn)。根據(jù)手功能障礙患者日常生活活動(dòng)需要，選取二指尖握和手抓握兩個(gè)經(jīng)典的康復(fù)訓(xùn)練動(dòng)作，具有針對性。當(dāng)患者進(jìn)行手抓握訓(xùn)練時(shí)，可以根據(jù)手指抓握程度選取抓握不同大小的物塊，不但降低了難度，還利于患者完成預(yù)定目標(biāo)。在訓(xùn)練過程中設(shè)置不同的難易程度，對患者作業(yè)情況進(jìn)行打分并給予語音鼓勵(lì)，極大激發(fā)了手功能障礙患者訓(xùn)練的積極性，提高了訓(xùn)練效果。但是系統(tǒng)在進(jìn)行抓握時(shí)無力反饋，游戲類型較單一，使游戲沉浸感大大降低。可以嘗試添加力反饋裝置，增加訓(xùn)練沉浸感，從而使病人訓(xùn)練更多的時(shí)間，提高訓(xùn)練效果;也可針對不同的病人提供不同的訓(xùn)練形式，增強(qiáng)康復(fù)效果。