基于虛擬現實技術的腦卒中患者康復訓練系統

楊源，馬樂，陳仲本，陳璟，陳濤，宋嶸

1.中山大學工學院，廣東 廣州 510006；2.中山大學中山醫學院, 廣東 廣州 510080

專欄——臨床診斷與康復設備研究進展

基于虛擬現實技術的腦卒中患者康復訓練系統

楊源1，馬樂1，陳仲本2，陳璟1，陳濤1，宋嶸1

1.中山大學工學院，廣東 廣州 510006；2.中山大學中山醫學院, 廣東 廣州 510080

編者按：近年來，臨床醫學、智能控制技術、計算機技術、信息技術及其他新興技術的迅速發展，為醫療工程技術逐步向臨床醫學領域應用提供了契機。同時，圍繞預防、診斷、治療、手術、急救、康復等醫療、家庭和個人保健市場的醫療儀器裝備產業也被國務院確定為戰略性新興產業。本期專欄主要介紹本課題組在面向臨床診斷與康復的相關技術研究進展，主要包括為偏癱患者研發的康復訓練與助行設備以及基于生物電阻抗的人體器官檢測技術。

欄目主編：宋嶸

宋嶸博士于1999年在清華大學電機工程系獲得工學學士學位，2002年于汕頭大學電子信息工程系獲得工學碩士學位，2006年于香港理工大學康復科技及資訊學系生物醫學工程專業獲博士學位，2007年至2009年，在飛利浦公司亞洲研究院擔任研究員，2009年加入中山大學生物醫學工程專業。自2002年以來，宋嶸博士主要在康復工程技術、醫療電子儀器、生物醫學信號處理等領域開展研究工作，具體內容包括針對偏癱患者研發康復機器人和便攜式家庭康復游戲系統，利用肌電信號定量評估偏癱患者運動功能，人體神經肌肉骨骼建模等方面。目前主持和參與了包括國家自然科學基金，廣東省自然科學基金等資助的科研項目。

隨著虛擬現實技術的發展和成熟，這項技術滲透到了越來越多的領域，特別是在康復醫學領域發揮了巨大的作用。本文主要介紹了一個基于OptiTrack運動捕捉系統搭建的虛擬訓練平臺。它捕捉并記錄分別貼在肩部、肘部和腕部的三個反光標記點的坐標值，從而建立一個虛擬的手臂模型，并通過現實的手臂動作實時驅動。整個程序是由VC++和OpenGL共同實現的。該系統以正常人和腦卒中患者為實驗對象進行測試，完成了喝水這一動作。實驗結果驗證了該平臺的有效性，它未來在上肢康復領域具有潛在的應用前景。

虛擬現實技術；運動捕捉；腦卒中；康復訓練；康復醫學

作為嚴重危害人類健康和生命安全的常見的難治性疾病，腦卒中給人類健康和生命造成極大威脅，降低高致殘率是當務之急[1]。目前的腦卒中康復治療手段存在單一、重復、枯燥的缺陷，使患者很容易產生厭倦感，積極性和配合度不高[2]，同時訓練動作的選擇不貼近生活，患者回歸正常社會生活還有一定的難度。虛擬現實技術的出現可以說是開辟了康復醫學的一個新領域，它讓康復醫學走出了禁錮，打破了原有康復手段的局限性。虛擬現實(Virtual Reality)，簡稱VR。是利用計算機技術生成的一個模擬現實環境，人對其有真實的三維視覺、立體聽覺、質感觸覺和嗅覺。人處于這一環境可以用其自然技能對這個虛擬的現實進行交互式體驗，體驗的結果(即虛擬現實的反應)與在相應的真實環境中相似或相同。它的沉浸感和交互性[3]讓康復訓練不再單調枯燥，大大激發了患者的配合性，同時將功能測評、心理治療和運動治療有機的結合起來。

針對這一現狀，本文介紹一種采用基于虛擬現實技術和運動捕捉系統搭建的康復訓練系統，完成日常動作的康復訓練。患者可以在虛擬環境里安全地完成喝水這一動作的訓練，如同游戲一般，激發患者的主動性，增強患者自我心理暗示，達到心理治療的輔助作用。

1 系統平臺搭建

為了實現喝水動作虛擬現實的實時同步，我們需要搭建這樣一個可以實時采集運動學數據、處理分析運動學數據、驅動虛擬模型的平臺。實驗對象在指引下完成喝水這個實驗動作，虛擬世界里的手臂模型也同時完成相應的動作。對比分析采集到的上肢肩、肘、腕三個關節處的運動學數據，我們期望可以得到腦卒中患者和正常人在完成喝水這一動作時的運動差異，來建立更好的康復訓練項目。

1.1 系統平臺的架構

系統平臺的架構如圖1所示。通過OptiTrack捕捉系統自帶的紅外攝像頭作為傳感器來獲取人上臂的運動信息，從而驅動虛擬世界里的3D模型實時同步的運動，完成喝水動作。同時保存實驗對象的運動學數據，獲得腦卒中患者和正常人喝水的運動軌跡，分析比較后確定標準的喝水動作，作為未來康復訓練的標準引導動作，對實驗對象進行引導。

1.2 紅外運動捕捉系統

本試驗平臺采用OptiTrack運動捕捉系統采集運動學信息。實驗對象運動的肢體關節上貼有標記點，OptiTrack系統的紅外攝像頭發射的紅外光被標記點反射后再由攝像頭再次接收。全身動作捕捉最少需要配置6個攝像頭，當3個以上的攝像頭接收到反射光線后就會產生相應標記點的三維空間坐標（x，y，z）[4]。運動捕捉系統采集到的坐標信息仍需要進一步分析處理，才能對其合理地應用。

1.3 三維模型的建立

人體手臂的結構可分為上臂和前臂、手三部分，由肩關節、肘關節和腕關節及相關肌肉控制手臂的運動。為了完成喝水的動作，需要對前臂和上臂分別進行控制，故分別繪制了上臂和前臂（包含手部）。為了使虛擬環境更加逼真，讓實驗對象更有身臨其境的感受，還按照實驗環境制作了相應的虛擬訓練環境，如圖2所示。本課題采用了3Ds Max制作上肢模型[5]，它是一款集建模、渲染為一體的三維制作軟件，被廣泛用于建模仿真中，制作方法簡單、模型逼真。它所繪制的模型均以3DS格式文件保存，3DS文件經過格式轉換[6]就可以被OpenGL程序調用。

圖2 虛擬環境與手臂模型

1.4 模型驅動程序的設計

整個程序是基于一個MFC環境下的單文檔應用程序[7]，包括OpenGL應用程序、數據處理程序、數據接口程序三大部分。其中數據接口程序通實時地將OptiTrack系統捕捉到的標記點初始位置和當前位置坐標數據以數組的形式保存下來,并會根據特定的算法判斷出不同標記點對應的坐標值進而對數組進行排序。數據處理程序將排好序的坐標值按一定的算法轉換為旋轉角度和相對位移，作為控制3D模型運動的參數。OpenGL應用程序初始化了三維環境，它特有的函數glCallList()可以完成外界3D模型的調用[8]，組合使用glRotatef()和glTranslatef()函數[9]可以通過參數的改變而靈活地驅動3D模型運動。以下是相應的算法介紹：

（1）標記點區分的算法：為了區分各個標記點，本實驗采用的是最小距離算法，按照z軸坐標的大小判斷一幀里手臂上不同位置的標記點，再按最近原則計算出與前一幀最近的一幀即為當前標記點的位置。

（2）空間數據轉換算法：根據空間向量的夾角的計算公式，可以很容易得到空間里任意兩個向量的夾角。將手臂各標記點初始位置與當前位置均用捕捉到并經過算法區分后的坐標值(空間向量)表示，如一個標記點初始坐標為，當前位置坐標為，通過余弦公式就可以得到標記點當前位置相對于初始位置旋轉的角度值θ，同時已知當前位置的空間坐標與初始位置空間坐標易求得空間的位移向量就是標記點相對于初始位置的位移值。

（3）模型驅動算法：OpenGL中控制模型移動的函數為glTranslatef（x，y，z）,參數值即為相對于當前位置的移動向量（x，y，z），它可以控制模型在OpenGL設置的空間中沿x，y，z軸方向移動。控制模型旋轉的函數為glRotatef（θ，x，y，z）,參數控制旋轉角度θ，x，y，z選擇旋轉所繞的軸線。但實際移動的是原點的位置而并非坐標值，所以每次移動模型后為了不影響其他模型的正常移動，需使用glLoadIdentity()函數將當前原點重置于屏幕中心。將OptiTrack系統捕捉到的數據經過標記點區分算法和空間轉換算法處理后，得到相對位移γ =(x,y,z)和相對旋轉角度θ,作為函數glRotatef()和glTranslatef()的控制變量，并結合函數glCallList()和glLoadIdentity()的組合使用，再加上一定的運動軌跡運算，就能夠實現對模型的實時控制。

2 實驗設計

我們使用搭建好的系統平臺進行喝水動作的試驗，以獲得正常人、腦卒中患者的運動學數據，同時驗證系統虛擬現實的實時性。整個實驗平臺的示意圖如圖3所示。

圖3 實驗平臺示意圖:采用6個紅外攝像頭，黑色圓點代表標記點位置。

2.1 實驗對象以及標記點的設計

實驗對象為2名：1名正常人和1名腦卒中患者。志愿者來自中山大學附屬第二醫院康復科。

本實驗采用三個標記點，分別貼在肩關節、肘關節和腕關節。之所以要用到三個標記點，是因為每兩個標記點可以確定一個空間向量，故可以得到前臂和上臂模型的坐標點的位移和旋轉的數據。當然標記點越多，對模型的控制量越多，模型的運動控制就更為精細，但考慮到動作的簡化和軌跡運算的可行性，所以目前只采用了三個標記點，分別貼在實驗對象肩關節、肘關節和腕關節處，如圖3所示。

2.2 實驗動作的設定

為了指引實驗對象完成實驗，將喝水動作分解為以下三個階段：初始位→獲取水杯→送水近口邊。如圖4所示。

圖4 喝水動作分解

3 結果分析

3.1 系統實時驅動測試結果

圖5展示了實驗對象完成喝水動作時，虛擬世界里手臂模型的實時同步。可以看到，在程序的驅動下，虛擬世界里的三維手臂與現實環境中的手臂一起運動。經驗證，系統平臺的實時性良好，虛擬與現實環境的運動基本完全同步。

圖5 實時性驗證

3.2 正常人與腦卒中患者運動的空間軌跡

系統將兩個實驗對象的運動數據進行分析，分別繪制三個關節點的空間軌跡。如圖6所示。

圖6 正常人與患者的喝水運動軌跡

4 結束語

本系統是基于虛擬現實技術和OptiTrack運動捕捉系統建立的一個針對腦卒中患者上肢康復訓練平臺，它采用日常活動喝水作為訓練項目，實時跟蹤受訓者的動作進行三維建模，從而達到幫助受訓者在虛擬世界中完成任務訓練的目的。并且繪制了腦卒中患者與正常人在這一過程中的運動軌跡，為未來確定標準引導動作提供了依據。如果在運動學分析的基礎上再加以一些更深入的研究，完全有可能判斷出是哪些肌肉在完成喝水動作時出現了偏差。也就是說，未來該平臺除了完成康復訓練，也可以對康復情況進行評估和為診療提供有力依據[10]。

與現有的基于虛擬現實和運動捕捉的康復平臺相比，本系統在訓練動作選擇和設計上有了獨特的創新，喝水這一動作是我們日常生活中常用動作，采用它作為訓練動作，使患者能更快地融入社會生活，實現生活的自理。同時，選擇正常人和腦卒中患者作為實驗對象，均驗證了系統的有效性和實時性。并且相較于現有的康復訓練平臺僅能實現的粗大簡單的運動，本系統實現了較為精細和復雜的運動，動作更逼真現實。相信隨著后續的工作和努力，基于虛擬現實和運動捕捉的上肢康復訓練系統會更進一步完善，并且在腦卒中患者的康復治療過程中實現它的價值。

[1] 朱新漢,殷愛竹．腦卒中的社會康復現狀與康復措施[J]．中國民康醫學,2010,22(1):60-61．

[2] 余學飛,陳光杰．虛擬現實技術及其在康復醫學上的應用[J]．醫療衛生裝備,2001,(4):31

[3] 姜學智,李忠華．國內外虛擬現實技術的研究現狀[J]．遼寧工程技術大學學報,2004,23(2):238-240．

[4] 百度百科．OptiTrack全身動作捕捉系統評估．[EB/OL]．http://wenku.baidu.com/view/8772bd2b7375a417866f8f4f.html

[5] 蕭成風．3ds max人體建模-手[EB/OL]．http://tech.ddvip.com,2006(12).

[6] 楊帆,楊克儉,王玉,等．3DS文件格式與自定義文件格式的轉換[J]．交通與計算機,2004(1),22(3):101-118．

[7] 盛亮,晏群．基于VC和OpenGL的人體模型運動控制與姿態仿真的研究與實現[J]．人類工效學,2010,16(2):57-60．

[8] 胡偉,王弘．如何在VC++中用MFC進行OpenGL編程[J]．計算機應用,2001(8),21(8):87-89．

[9] 施耐瑞爾(著),李軍(譯)．OpenGL編程指南[M]．7版．北京:機械工業出版社,2010:77-112．

[10] Chris Freeman,Ann-Marie Hughes,Jane Burridge,et al．An Experimental Facility using Functional Electrical Stimulation for Stroke Rehabilitation of the Upper Limb[J]．Rehabilitation Robotics, 2007,(5):393-400．

A Rehabilitation Training System for Patients after Stroke Based on Virtual Reality Technique

YANG Yuan1, MA Le1, CHEN Zhong-Ben2, CHEN Jing1, CHEN Tao1, SONG Rong1
1. School of Engineering , Sun Yat-sen University, Guangzhou Guangdong 510006, China ;2. Zhongshan School of Medicine, Sun Yatsen University, Guangzhou Guangdong 510080, China

With the development of the virtual reality technology, it has been applied into more and more fields, especially in rehabilitation training. This paper introduces a virtual training platform which is based on the virtual reality technology. Three retro-reflective markers were attached to shoulder, elbow and wrist, respectively, and the coordinates of the markers are recorded by the motion capture system. A three-dimensional model of arm was built, and the virtual model was driven by the actual movement of the arm in real time. The programs were realized by the Microsoft Visual C++ and OpenGL. The platform was tested on a healthy person and a patient after stroke, and the movement of drinking was designed. The results illustrated the efficiency of the platform, and the platform is promising in the rehabilitation of upper limb in the future.

virtual reality; motion capture; stroke; rehabilitation training; rehabilitation medicine

R496

A

10.3969/j.issn.1674-1633.2014.03.001

1674-1633(2014)03-0001-04

2013-12-14

廣東省自然科學基金項目(S2012010010350)；中山大學2011年國家大學生創新訓練項目(111055808)；中山大學廣東省大學生創業訓練項目(1055813240)。