基于虛擬現實技術的手功能康復評估訓練系統的設計①

肖　陽，徐秀林，翟　藝，安美君

?

基于虛擬現實技術的手功能康復評估訓練系統的設計①

肖陽，徐秀林，翟藝，安美君

[摘要]目的設計一種基于虛擬現實技術的手功能康復評估訓練系統。方法利用5DT Data Glove 5 Ultra、Visual Studio 2010集成開發環境及DirectX 9.0開發組件，并基于MFC編程框架集成系統。結果和結論系統實現對患者手指功能狀態評估、手勢動作識別及三維環境虛擬訓練，能夠指導患者進行主動訓練。

[關鍵詞]手功能；手指；康復；評估；訓練；虛擬現實

[本文著錄格式]肖陽，徐秀林，翟藝，等.基于虛擬現實技術的手功能康復評估訓練系統的設計[J].中國康復理論與實踐,2016,22(3):341-344.

CITED AS:Xiao Y,Xu XL,Zhai Y,et al.Develepment of hand function rehabilitation evaluation and training system based on virtual reality technology[J].Zhongguo Kangfu Lilun Yu Shijian,2016,22(3):341-344.

腦卒中是導致患者永久殘疾的主要原因之一[1]，嚴重影響患者的生活質量，增加家庭和社會的負擔[2]，必須依靠長期康復才能逐漸恢復[3]。面對每年大量增加的腦卒中幸存者[4]，傳統“一對一”的康復模式已無法滿足社會的需求。隨著計算機網絡信息技術的發展，多種康復平臺應運而生；康復訓練方式從患者被動地簡單訓練到促進患者積極主動投入到訓練中[5-6]。

手不僅能完成復雜運動，還具有精細感覺功能[7]。腦卒中患者手功能缺陷主要表現為屈曲攣縮，握持、側捏、對掌、對指等功能喪失[8]。目前針對手功能的康復訓練仍以傳統的物理療法為主[9-11]，患者被動參與，訓練過程枯燥乏味，難以取得理想的康復效果。

研究表明，采用虛擬環境的訓練模式可以有效提高患者主動參與積極性，從而達到良好的康復效果[12]。虛擬現實技術因其具有交互、想象和沉浸三大特征[13]，利用虛擬環境與現實的交互，給人以強烈的感官刺激[14-16]，可以極大提高患者主動訓練的興趣。

伊利諾伊大學于2014年開發的手功能康復訓練設備[17]，主要由氣動手套PneuGlove、數據采集與傳輸PC機和虛擬訓練軟件組成，實現3D虛擬屋的呈現，但設備缺乏康復評估功能。芝加哥康復研究中心設計一種虛擬鍵盤系統(Virtual Keypad System-AVK)[18]，實現對三維手指的模擬仿真以及針對每個手指的虛擬鋼琴鍵訓練，可以對患者康復程度進行初步評估。國內東南大學研發的手指康復訓練輔助裝置[19]，能實現單個手指康復訓練，但無法對手指運動的協調性進行訓練，且康復過程相對單調。

本研究設計一種基于虛擬現實技術的手功能康復評估訓練系統。該系統基于虛擬現實技術，實現對三維虛擬物體的運動控制，包括手指功能評估、手勢動作識別等模塊，以期提高康復效率。

1系統設計

系統由三部分組成：數據傳輸設備、計算機、用戶(User Interface,UI)系統軟件。系統軟件部分包括手指功能評估模塊、手勢動作識別模塊、三維虛擬訓練模塊。系統總體框架如圖1。

圖1　系統框架圖

數據傳輸設備采用5DT公司生產系列數據手套中的5DT Data Glove 5 Ultra[20-21]。5DT Data Glove 5 Ultra內含有5個光纖傳感器，分布于5個手指；利用傳感器的彎曲曲率并進行歸一化處理模擬手指的屈曲角度(近指關節屈曲角度)。最高采樣頻率200 Hz。封裝數據采集的API函數接口，提供二次開發平臺。

系統軟件的設計利用Visual Studio 2010集成開發環境，VC++編程語言，Office 2010組件中的Access數據庫，DirectX 9.0開發組件。

2軟件的設計與實現

UI系統軟件部分主要包括手指功能評估、手勢動作識別、三維虛擬訓練三大功能模塊。

2.1手指功能評估模塊

該模塊采集5DT Data Glove 5 Ultra數據手套上5個手指的數據，實現手指運動曲線圖的動態顯示和數據回放；根據數據手套中光纖傳感器的彎曲曲率，對手指屈曲角度進行歸一化線性擬合，并計算每個手指的最大屈曲角度及平均屈曲角度。

其中K表示曲率，Δs表示弧長，Δ?表示弧兩端點的夾角。

Xi表示傳感器輸出值，rawval表示傳感器當前值，rawmax表示傳感器最大值，rawmin表示傳感器最小值，100表示近指關節的最大屈曲角度(拇指為90)。

數據采集頻率為100 Hz，主要調用數據手套的接口函數(API)，主要包括：fdGlove *fdOpen(char *pPort)、int fdScanUSB(unsigend short *aPID,int &nNumMax)、int fdClose(fdGlove *pFG)、float fdGet-SensorScaled(fdGlove *pFG,int nSensor)，將采集到的數據動態顯示到對應的功能區內。

手指運動曲線圖繪制的采樣頻率為10 Hz，實現方式為自定義類CGraphView，包括數據的填充LoadGraphyData(DataBuff&dataShow)、顯示DrawG-raphy(CDC* pDC,CRect rectCoord)、刷新DrawCoordinate(CDC* pDC,CRect rectCoord)等。手套的數據及手指運動軌跡的動態顯示圖如圖2，左邊曲線顯示手指運動軌跡，右邊數據顯示手套傳感器數據。

數據回放主要是對采集的數據重新進行動態繪圖，為其分配內儲空間，并進行讀取回放，便于醫生與患者及時查看。評估結果的查看模塊主要是計算5個手指的最大屈曲角度和平均屈曲角度，使醫生能夠對患者手指的屈伸程度進行初步了解，并以此為依據設置后續訓練的強度。數據回放與結果查看如圖3，左邊曲線顯示運動軌跡的回放，右邊數據顯示五指屈曲角度最大值和平均值。

2.2手勢動作識別模塊

該模塊根據Brunnstrom六級評價法[22]設計6種手勢：握拳、拇指伸展、食指伸展、雙指伸展、對指、五指平伸。患者需要根據計算機屏幕上隨機出現的手勢提示進行相應的動作；患者若能在規定時間內完成對應的手勢，系統提示成功；反之失敗。

系統通過API接口接收姿態數據，每隔1 s對傳入的數據進行判斷，根據30 s內患者完成該手勢的次數判斷此次手勢動作是否完成。設計有30 s倒計時以提醒患者對時間的把握。

訓練結果查看模塊對患者每種手勢的完成情況進行總結。結果查看如圖4，左側顯示當前手勢動作完成情況，右邊數據顯示每種手勢的完成次數。

圖2　手指功能評估模塊：數據及手指運動軌跡

圖3　手指功能評估模塊：數據回放

圖4　手勢動作識別模塊

2.3三維虛擬訓練模塊

該模塊主要訓練患者五指屈伸功能，根據五指的運動姿態控制虛擬人物的運動方向。

三維虛擬訓練模塊主要包括地形、人物、天空等虛擬場景的渲染(分別自定義三個類：CD3DMap、CSkinMesh、CSkyBox)，利用DirectX 9.0開發組件實現三維虛擬場景。

采集五指同步運動的數據，得到手指屈伸運動姿態，以此控制虛擬人物的運動方向。當五指的彎曲度之和>2.5時(五指處于深度屈曲狀態)，虛擬人的運動方向為左；<2.5時(五指處于放松至平伸狀態)，運動方向為右。

虛擬人物采用3ds Max建模軟件進行三維建模，并保存為.X文件，然后由系統進行調用控制。三維渲染的流程圖如圖5。

圖5　三維虛擬渲染流程圖

3結論與展望

本系統實現了對腦卒中患者手指功能的康復評估及訓練，可以為患者手部康復訓練提供有效指導。系統具有如下特點：①所有模塊均需患者主動參與，體現提高患者主動參與的設計初衷；②手指功能評估模塊可以使患者對自己手指功能狀態的實時了解；③手勢動作識別模塊根據系統設計的手勢，可以了解患者整體手運動狀態；④三維虛擬訓練模塊以現實環境中的手動作控制虛擬環境中的人物運動，增強患者主動訓練的積極性。

由于手部結構的復雜性和精細性[23-24]，設計精確的康復評價機制，對患者手部的各項功能(各關節的屈伸，手指的對指、側捏等)進行測試和定量評定，依然是手功能康復的難點和熱點。隨著計算機技術的發展，利用虛擬現實技術實現對手語的識別[25-26]，以改善聽障人士的學習生活條件，也是康復領域的發展方向之一。

[參考文獻]

[1]楊啟志,曹電鋒,趙金海.上肢康復機器人的研究現狀的分析[J].機器人,2013,35(5):630-640.

[2]彭錦繡,王粵湘,張衍,等.城鎮老年人生活狀況及健康需求的調查研究[J].廣西中醫學院學報,2011,14(1):122-124.

[3]盧正秋.腦卒中患者社區康復的療效觀察[D].大連:大連醫科大學,2012.

[4]翟藝,徐秀林.基于虛擬現實技術的上肢康復訓練系統發展現狀[J].中國康復理論與實踐,2014,20(10):908-910.

[5]Krebs HI,Krams M,Agrafiotis DK,et al.Robotic measurement of arm movements after stroke establishes biomarkers of motor recovery[J].Stroke,2014,45(1):200-204.

[6]Cho S,Ku J,Cho YK,et al.Development of virtual reality proprioceptive rehabilitation system for stroke patients[J].Comput Methods Programs Biomed,2014,113(1):258-265.

[7]薛慧琴,烏蘭圖雅.AM-1000A神經功能重建儀治療正中神經損傷后手部感覺功能康復療效的觀察[J].內蒙古醫科大學學報,2013,35(s2):551-552.

[8]邢科新.手功能康復機器人系統若干關鍵技術研究[D].武漢:華中科技大學,2010.

[9]由麗,饒江,劉莉,等.作業療法改善腦卒中后偏側感覺障礙及手功能的效果[J].中國康復理論與實踐,2012,18(7):638-639.

[10]王維,馬躍文,楊巍.鏡像療法對腦卒中偏癱患者上肢功能和手功能的影響[J].大連醫科大學學報,2013,35(6):600-602.

[11]李芳華,劉靖,劉艷,等.運動針灸療法對偏癱患者手功能障礙恢復的臨床觀察[J].針灸臨床雜志,2012,28(8):36-37.

[12]Levanon Y.The advantages and disadvantages of using high technology in hand rehabilitation[J].J Hand Ther,2013,26(2):179-183.

[13]肖喜玲,楊朝輝,黃劍,等.基于虛擬現實技術手功能康復訓練系統的設計及臨床應用[J].中國康復醫學雜志,2014,29(6):537-541.

[14]王宏圖.虛擬現實技術在腦卒中運動康復中的應用現狀[J].中國康復理論與實踐,2014,20(10):911-915.

[15]梁明,竇祖林,王清輝,等.虛擬現實技術在腦卒中患者偏癱上肢功能康復中的應用[J].中國康復醫學雜志,2012,28(2):114-118.

[16]Saposnik G,Levin M.Virtual reality in stroke rehabilitation:a meta-analysis and implications for clinicians[J].Stroke,2011,42(5):1380-1386.

[17]Tsoupikova D,Stoykov NS,Corrigan M,et al.Virtual immersion for post-stroke hand rehabilitation therapy[J].Ann Biomed Eng,2015,43(2):467-477.

[18]Thielbar KO,Lord TJ,Fischer HC,et al.Training finger individuation with a mechatronic-virtual reality system leads to improved fine motor control post-stroke[J].J Neuroeng Rehabil,2014,11:171

[19]張金龍,黃劍,楊朝暉,等.結合捏力采集與虛擬現實技術的手指康復系統[C].廣州:中國自動化學會中南六省(區)2010年第28屆年會,2010:227-230.

[20]5DT.5DT公司官方網站[OL].(2014-05-12).[2015-08-01].http://www.5dt.com.

[21]5DT.5DT-VR產品介紹[EB/OL].(2014-05-12).[2015-08-01].http://www.5dt.com/?page_id=115.

[22]紀樹榮.康復醫學[M].北京:高等教育出版社,2004:156-158.

[23]周春臨,張紅健,李芳,等.多功能手指關節康復儀的設計[J].制造業自動化,2011,33(14):148-150.

[24]王鵬,付宜利,王樹國,等.創傷手指康復外骨骼手系統的設計[J].光學精密工程,2010,18(1):108-117.

[25]王凱.基于OpenCV的手語識別研究與實現[D].成都:電子科技大學,2012.

[26]王海鵬.基于視覺的手語識別技術研究與實現[D].成都:西南交通大學,2014.

·康復護理·

Develepment of Hand Function Rehabilitation Evaluation and Training System Based on Virtual Reality Technology

XIAO Yang,XU Xiu-lin,ZHAI Yi,AN Mei-jun
School of Medical Instrument and Food Engineering,University of Shanghai for Science and Technology,Shanghai 200093,China

Correspondence to XU Xiu-lin.E-mail:xxlin100@163.com

Abstract:Objective To develop a system for hand function evaluation and training based on virtual reality.Methods 5DT Data Glove 5 Ultra,Visual Studio 2010 were integrated as the development environment and DirectX 9.0 as components,and the system was developed based on the MFC programming framework.Results and Conclusion The system can assess the fingers function,recognise gestures and can be used as a 3D environment for virtual training,which may guide the patients to take the training actively.

Key words:hand function;fingers;rehabilitation;evaluation;training;virtual reality

(收稿日期：2015-09-12修回日期：2016-01-07)

作者簡介：作者單位：上海理工大學醫療器械與食品學院，上海市200093。肖陽(1991-)，男，漢族，江蘇泰州市人，碩士研究生，主要研究方向：精密醫療器械。通訊作者：徐秀林，女，教授。E-mail:xxlin100@163.com。

基金項目：上海市科技支撐計劃項目(No.14441905100)。

DOI:10.3969/j.issn.1006-9771.2016.03.023

[中圖分類號]R496

[文獻標識碼]A

[文章編號]1006-9771(2016)03-0341-04