構建基于Unity3D的腦卒中康復訓練系統

中國醫科大學 王 爽 于建發 譚玉恩 王 濤

?

構建基于Unity3D的腦卒中康復訓練系統

中國醫科大學 王 爽 于建發 譚玉恩 王 濤

【摘要】目的：將體感交互技術與腦卒中認知訓練結合起來，設計一套康復訓練系統。方法：以體感技術和Moca量表為依據，以已有的Kinect姿態、手勢識別為基礎，通過單個部位運動分析和多個部位姿態快照的狀態機匹配，實現骨骼追蹤。并利用體感操作中間件準確捕捉患者姿態與手勢的數據。結果：構建出基于虛擬現實的腦卒中患者上肢康復訓練系統。結論：基于3Dmax與unity3D構建的虛擬訓練環境可以在康復訓練中實現人機交互，達到數據準確采集、訓練有效的目的，且該系統具有實用性、可操作性強等特點，對虛擬現實技術在腦卒中康復治療領域中的應用有積極的推動作用。

【關鍵詞】虛擬現實；康復訓練；手勢識別

前言

隨著老年人群的增長，腦卒中因其具有高發病率、高致殘率和高死亡率的特點而逐漸受到重視。研究表明，除手術和藥物治療外，科學的康復訓練對腦卒中偏癱患者的肢體功能康復起著重要的作用[1]。通過虛擬環境來鼓勵患者，使患者積極地主動地參與康復訓練，了解康復的規律，制定訓練的目標，不僅可以達到訓練目的，還有助于提高康復訓練的效果。為了實現這一目標，首先要尋求捕捉目標動態姿勢的輕巧傳感器。作為一種全新的交互傳感方式，Kinect正逐漸滲透到人們生活的各個領域[2]。基于Kinect傳感器研制的康復系統以虛擬現實技術為基礎借助Kinect傳感器和電腦，在一定范圍的空間內實施具有趣味性的康復訓練[2]。此康復系統實現了Kinect與計算機技術的結合與運用于在康復領域的應用。

當前，國內針對腦卒中患者的康復訓練還主要是以人工指導為主。只有部分設備生產商制造了矯形器、肢體運動康復機等輔助訓練器械來協助康復訓練。在康復訓練系統研究方面，主要集中在少數工科性綜合大學[3]。

1 康復訓練系統的構成及功能

圖1　Moca評分與訓練難度一覽表

整個系統采用Visual Studio 2010的開發環境以及Kinect for Windows SDK v1.7的傳感器進行操作。患者訓練客戶端采用Windows窗體應用程序與3Dmax與unity3D應用程序進行搭建。進行康復訓練前首先要由受過專業培訓的醫師在安靜的環境下對患者采用蒙特利爾認知評估量表(Montreal Cognitive Assessment，MoCA)中文版進行檢測與評定，所有檢測需一次完成。MoCA表可以快速檢測輕度認知損傷（mild cognitive impairment，MCI，檢測內容總分30分，大于或等于26分為認知正常，但是如果受教育年限小于或等于12年，則為校正教育偏差，將測定分加1分，每份MoCA表限制在10min內完成[4，5]。接下來實施訓練時，根據MOCA量表結果判斷患者認知功能受損程度，針對不同程度的障礙進行相應的康復訓練計劃（如圖1所示）。虛擬認知康復訓練系統主要針對定向能力、注意力、空間知覺能力、思維操作能力和動作運用進行訓練，構建的虛擬場景主要由5個難度等級不同的迷宮游戲構成，迷宮等級分類主要依據彎道數目，等級一為1個彎道，等級二為3個彎道，等級三為5個彎道，等級四為7個彎道，等級五為9個彎道，虛擬人物的運動形式有跑步和行走，兩種形式的切換可在患者的通過操作下完成，彎道的順利通過需要患者手勢控制使其轉向。

本系統主要為以軀體正中矢狀線為軸，對患者進行上肢的進行康復訓練，針對功能障礙的特點，場景與人物的構建使用UNITY 3D的建模實現，人物動作用C++虛擬現實技術實現，通過Kinect傳感器及手勢識別向WPF程序進行傳遞指令，在unity虛擬場景嵌入WPF程序的情況下完成操作。

2 系統各模塊功能分析

2.1 傳感器模塊

Kinect是微軟公司推出的一款高性能的體感器，由紅外投影機、RGB彩色攝像頭、紅外深度投影頭所構成的3D結構光深度感應器，可以識別并提供人體的20個骨骼關節點的三維坐標，通過Kinect獲得人的20個骨骼節點后對姿勢的識別就可以定義為如何辨識20個骨骼節點的相對位置，圖2為得到人體的骨架圖[6]。Kinect傳感器將數據采集和處理結合一體，它可以同時獲取3D深度影像、彩色影像、以及聲音訊號，進行數據處理、數據存儲、數據輸出，提供深度數據、彩色視頻和原始音頻三大類原始數據信息[2]。數據采集并簡單初步處理后，系統根據各個動作所對應的算法對每幀數據進行計算，以實現實時評分。基本的原理是使用The-Chin的近似算法來提取手部輪廓，該算法是通過計算某一輪廓的支配點來對輪廓進行近似，計算出相應關節連線的夾角，再根據關節點的具體位置進行相關動作得分的評判。

圖2　人體的骨架圖

2.2 虛擬現實模塊

先在3Dmax中完成迷宮的設計，用直線畫出直角彎道迷宮，步驟為首先在俯視圖下利用樣條線工具中的線按住shift繪制直線，一級彎道則為兩組、每組兩條互相垂直的直線構成，制作中注意通道的寬度一致；再進行輪廓，使其具有一定的厚度，在修改工具下對line中的樣條線進行操作，點擊輪廓后在俯視圖中拖動，根據設計的墻體厚度確定數值；最后進行擠出，使其向z軸方向伸長，具有立體性，是利用修改器下的擠出工具對line進行操作。為使其更加逼真，再進行貼圖，利用材質編輯器進行墻體外觀的改善。以此操作設計出5個彎道數目不同的迷宮。再在Unity中進行操作，利用Unity的角色控制器實現角色在場景中受控制的移動。

2.3 網絡交流模塊

患者測試數據上傳、醫師數據下載[2]。

2.4 評估

根據患者上肢運動情況及對應的虛擬環境所得結果對患者運動及認知狀態進行評估，如圖2所示。

3 設計與實現方法

以腦卒中患者上肢患病特點為出發點，以C#語言為工具，以3DMax和unity 3D建模為支持完成康復訓練系統，其框架規劃及關鍵語句如下：

3.1 框架規劃

以游戲場景為訓練系統核心，利用軟件建模實現場景的構架，通過Kinect手勢識別將患者將指令傳于場景中進行訓練，如圖2所示。

圖3　康復訓練系統框架規劃

3.2 關鍵C#實現語句如下

3.2.1 Unity3D移動控制腳本部分

利用ASDW四個按鍵控制3D人物移動，例如按A，其關鍵代碼為：

if (Input.GetKey (KeyCode.A))

{ animator.SetBool ("idle",true);

animator.SetBool ("walk",false);

transform.Rotate (0,-1,0);

}

3.2.2 手勢識別部分

（1）前進部分：

if (hand.Position.X <= elbow.Position.X - WAVE_ THRESHOLD)

{

tracker.UpdatePosition(WavePosition.Left, timestamp);

}

（2）左轉部分：

if (hand.TrackingState != JointTrackingState. NotTracked && elbow.TrackingState != JointTrackingState. NotTracked)

{

if (tracker.State == WaveGestureState.InProgress && tracker.Timestamp + WAVE_MOVEMENT_TIMEOUT < timestamp)

{

tracker.UpdateState(WaveGestureState.Failure, timestamp);

System.Diagnostics.Debug.WriteLine("Fail!");

}

}

（3）右轉部分：與左轉部分類似

4 總結

腦卒中患者有明顯的認知與運動障礙。認知是指人對外界事物的全面感知，包括感覺、知覺、思維、注意、記憶、智能、判斷、推理、學習、想象、概括和語言等心理過程，任一過程損害均可導致認知功能的障礙[8]。運動障礙主要表現為:運動難、少、慢[9]。將虛擬現實技術應用到康復訓練系統中，開發虛擬康復訓練平臺有助于改善腦卒中患者康復訓練枯燥單調的狀況，使其產生一種身臨其境的感覺[10]。在虛擬環境中通過視覺交互，物體運動反映了患肢的運動狀態及其與虛擬環境中物體的交互情況[11]。提高依從性和訓練效率的同時減少治療師人力資源成本，降低醫療費用[12]。不同難度等級的訓練較好的適合了不同患者的個人狀況，具有趣味性的同時也具備了挑戰性，在無形中減少患者康復訓練的厭煩心理[3]。相信隨著后續的工作和科技的進步，基于虛擬現實和運動捕捉的上肢康復訓練系統會更進一步完善，并且在腦卒中患者的康復治療過程中實現它的價值[13]。

參考文獻

[1]易金花,張穎,官龍,顧余輝,喻洪流.腦卒中患者上肢康復訓練系統研究進展[J].中國康復醫學雜志,2013,28(4): 249-251.

[2]楊藝,許源,張俊杰,劉燕.基于Kinect與虛擬現實的社區家庭康復系統的研制[J].微型電腦應用,2014,30(3):32-34.

[3]姜華強,項潔.Kinect康復訓練輔助系統研究[J].人工智能與機器人研究,2013,2:79-82.

[4]劉軍莉,許慧寧,代青湘,左小芹.MoCA量表對腦梗死患者認知功能障礙評估的臨床研究[J].現代預防醫學,2012, 39(20):5502-5503.

[5]王衛紅,何國平,肖旭平,李建民,陳華英,鄧曉雯.阻塞性睡眠呼吸暫停低通氣綜合征患者認知功能與焦慮情緒相關研究[J].中國全科醫學,2012,15(5A):1513-1515.

[6]戰蔭偉,于芝枝,蔡俊.基于Kinect角度測量的姿勢識別算法[J].傳感器與微系統,2014,33(7):129-132.

[7]蒙特利爾認知評估量表(MoCA)word.

[8]王文春,王倩,龐日朝,江玥,王彧,羅緋,田恬,劉鵬遠,楊孝光,張安仁.基于虛擬現實技術的認知功能康復訓練系統的設計與構建[J].中國康復理論與實踐,2012,18(10):988-990.

[9]龔文青,諸強.虛擬現實技術應用于運動障礙康復的研究[J].生物醫學工程學進展,2009,30(4):8877-8881.

[10]馬樂,宋嶸,劉燕,許蓮.基于虛擬現實技術的康復訓練系統設計與實驗驗證[J].計算機應用于軟件,2013,30(7):95-97.

[11]李會軍,宋愛國.上肢康復訓練機器人虛擬環境建模技術[J].中國組織工程研究與臨床康復,2007,11(44):8877-8881.

[12]肖喜玲,楊朝輝,黃劍,黃厚瑞,王雙,夏曉萱,王剛,陳振兵.基于虛擬現實技術手功能康復訓練系統的設計及臨床應用[J].中國康復醫學雜志,2001,29(6):537-541.

[13]龔文青,諸強.虛擬現實技術應用于運動障礙康復的研究[J].中國醫療設備,2014,29(03):1-4.

王爽（1993—），遼寧阜新人，大學本科，現就讀于中國醫科大學臨床醫學七年制。

張志常（1976—），通訊作者，男，遼寧沈陽人，碩士研究生，講師，中國醫科大學計算機教研室副主任，主要從事計算機及醫學統計工作。

作者簡介：

基金項目：體感交互技術在康復醫學認知評估中的作用（編號：L2013283）。