Kinect體感交互技術及其在醫(yī)療康復領域的應用①

丁晨，王君澤，瞿暢，高瞻

富有沉浸感和操縱感的人機交互技術是虛擬現(xiàn)實學科研究者的追求目標。隨著3D技術的日益發(fā)展和對各個領域不斷的滲透，對人機交互技術所能帶來的沉浸感和生動性的要求亟待提高，作為最新興的人機交互技術，體感交互技術成為當前的研究熱點[1-2]。

Kinect是目前最為人們熟知的體感設備，它是微軟公司于2010年11月4日推出XBox360游戲機體感周邊外設的正式名稱，起初名為Natal。Kinect以低廉的價格和嶄新的方式，將體感交互融入到用戶的生活中。Kinect徹底顛覆了游戲的單一操作，使人機互動的理念更加徹底地展現(xiàn)出來。用戶無需適應游戲手柄上的搖桿和按鍵，用身體即可直接控制游戲[3]。2012年的CES 2012大會上，微軟正式發(fā)布了Windows版Kinect體感外設和Kinect for Windows SDK軟件開發(fā)工具包1.0正式版。

許多變革是由娛樂開始，而將Kinect的體感交互技術引入到虛擬現(xiàn)實領域正是人機交互方式變革的又一個起點，使得體感交互技術被譽為繼鼠標和多點觸摸技術之后的“第三次人機交互革命的原點”。

1 Kinect體感交互技術簡介

Kinect體感設備共有3個攝像頭，中間是RGB彩色攝像頭，左右兩邊分別為紅外線發(fā)射器和紅外線CMOS攝像頭。Kinect搭配了追焦技術，底座馬達會隨著對焦物體移動而轉(zhuǎn)動。Kinect內(nèi)置麥克風陣列，用于語音識別。Kinect主要有三大功能：

1.1 3D影像偵測

Kinect利用紅外線發(fā)射器發(fā)出連續(xù)光(近紅外線)，通過紅外線CMOS攝像機記錄空間的每個散斑，結(jié)合原始散斑圖案，對測量空間進行編碼。感應器讀取編碼的光線，由芯片運算進行解碼，生成3D深度的圖像。

1.2 人體骨架追蹤

將偵測到的3D深度圖像，轉(zhuǎn)換到骨架追蹤系統(tǒng)。該系統(tǒng)最多可同時偵測6人，包含2人動作追蹤，可記錄包含軀干、四肢以及手指等20組細節(jié)。

1.3 音頻處理

Kinect的音頻系統(tǒng)采用四元線性麥克風陣列技術、先進的噪音抑制、回聲消除以及用于識別當前聲源的波束形成等技術。

Kinect對用戶進行動態(tài)捕捉和麥克風輸入，通過影像和語音辨識，轉(zhuǎn)換到骨架追蹤系統(tǒng)，與應用程序進行交互，從而完成整個系統(tǒng)的工作目標。

Kinect的核心技術是PrimeSense公司體感偵測裝置Prime-Sensor的Reference Design。Reference Design能夠?qū)崟r生成場景的深度、色彩和音頻數(shù)據(jù)。在Reference Design基礎上對其進行深入研究和二次開發(fā)，將這一技術與自主研發(fā)的虛擬現(xiàn)實平臺相結(jié)合，經(jīng)過圖像識別分析、圖像跟蹤算法將Reference Design提供的深度信息轉(zhuǎn)化為人體的骨骼節(jié)點數(shù)據(jù)，并嵌入到虛擬現(xiàn)實平臺中，能讓計算機像人類一樣感知三維世界并將其轉(zhuǎn)換成同步影像，有效突破了虛擬交互過程中需要配戴復雜動作捕捉設備的限制，進一步擴大虛擬現(xiàn)實的應用范圍。

2 Kinect體感交互技術在醫(yī)療康復領域的應用

基于Kinect的體感技術從最初的游戲產(chǎn)業(yè)領域迅速向醫(yī)學、建筑[4]以及網(wǎng)絡[5-6]等領域滲透。在醫(yī)學領域中，Kinect體感技術目前主要應用于醫(yī)療康復、醫(yī)學影像學[7-8]和心理學[9]。尤其在醫(yī)療康復領域，Kinect體感技術發(fā)展十分迅猛。

在醫(yī)療康復領域，目前Kinect體感技術主要用于患者的主動運動訓練與康復治療，適用于社區(qū)與家庭康復。利用Kinect體感技術開發(fā)出的康復訓練系統(tǒng)可以替代許多繁瑣復雜的傳統(tǒng)器材，為廣大患者在社區(qū)與家庭更有效地得到康復服務提供幫助。

2.1 認知障礙的康復

Chang等開發(fā)了基于Kinect的Kinempt系統(tǒng)[10]。Kinempt系統(tǒng)用于認知障礙患者的工作提示訓練，該系統(tǒng)模擬了一套針對認知障礙患者的比薩餅店快速配餐的康復訓練。計算機將任務指令以視頻的形式將反饋信息實時顯示在一臺42英寸LCD顯示器上。受測的兩位患者中，一位是患有輕度癡呆癥的31歲女性患者，另一位是患有腦損傷及偏執(zhí)型精神分裂癥的39歲男性患者。受測患者在Kinempt系統(tǒng)的語音激勵作用下，進行比薩餅餡料的選擇。Kinempt系統(tǒng)利用Kinect傳感器對患者手部及其腕部的動作進行干預，對動作的正確性進行驗證：若患者配餐動作準確，系統(tǒng)語音模塊給予鼓勵；若患者配餐動作有誤，語音模塊提示錯誤并進行糾正。在無Kinempt系統(tǒng)干預的1-5以及11-12階段的康復療程中，患者訓練成功率在20%～60%之間；在有Kinempt系統(tǒng)干預的6-10和13-17階段的康復療程中，患者訓練成功率在90%以上。

為了減緩老年人腦力衰退，預防老年癡呆，Chen利用Kinect傳感器，開發(fā)了能提升老年人認知功能的體感交互游戲[11]。該游戲的首批試用者是53位常年使用輪椅的老年人，試用者必須有言語溝通能力和基本的生活自理能力。而整個游戲分為“追尋箭頭”、“對號入座”和“打松鼠”3個子游戲。在“追尋箭頭”游戲中，游戲體驗者要在5 s內(nèi)用雙臂指出屏幕中從5個不同方向彈出的紅色箭頭以完成單個操作任務，并在1 min內(nèi)完成20個操作任務；在“對號入座”游戲中，體驗者用雙手將屏幕中的大量圖形符號按形狀一一配對，并且要在1 min內(nèi)完成15個組配對；在“打松鼠”的游戲中，體驗者需要觀察屏幕中4棵松樹的狀況，用手觸擊樹上出現(xiàn)的紅、綠色松鼠來得分，避開金色松鼠以免減分，而游戲時長同樣為1 min。試用者每周進行3次游戲訓練，每次訓練30 min，其中包括5 min熱身，20 min的互動游戲以及5 min恢復調(diào)整。衰老會導致中樞神經(jīng)系統(tǒng)退化，神經(jīng)系統(tǒng)傳導精確度降低，老年人的反應時間會越來越慢，手眼協(xié)調(diào)能力變差。通過視頻游戲的訓練可以改善認知能力，消除認知障礙的隱患。為了驗證Kinect視頻游戲能夠提升試用者反應速度，他們利用維也納心理測驗系統(tǒng)的S9反映測試模塊對試用者進行測試。為了驗證試用者手眼協(xié)調(diào)能力的提升，他們引入一套“翻汽水罐”的實物訓練游戲，測試桌上畫有6個圈，1、3、5號圈中各放有一個汽水罐，游戲內(nèi)容就是依次將1、3、5號圈中的汽水罐分別翻轉(zhuǎn)并放在2、4、6號圈中。試用者在4周的Kinect視頻游戲體驗前后均進行這兩項測試，反應速度有不同程度的提升，而手眼協(xié)調(diào)能力有明顯的改善。

2.2 運動障礙的康復

為了對青年運動障礙患者的運動康復治療進行指導，Chang等開發(fā)了基于Kinect的Kinerehab系統(tǒng)[12]。該系統(tǒng)利用Kinect傳感器的圖像處理技術檢測運動障礙患者的運動信息。受測的兩例患者中，一例是患有因腦癱引起的上肢僵化與先天性肌無力的17歲男性患者，另一例是患有肌肉萎縮并且肌無力的16歲女性患者。受測患者依次進行雙臂前舉、側(cè)舉以及上舉的康復動作，整套動作緩慢并且連貫。系統(tǒng)將Kinect傳感器捕獲的患者關節(jié)點位置與計算機中的數(shù)據(jù)庫進行匹配，計算出動作到位的精準程度。系統(tǒng)以“鯨魚甩尾唱歌”的動畫形式(患者動作準確性越高，鯨魚尾部擺動越活躍，歌聲越響亮)反饋在顯示設備上，對患者進行干預和指導，從而檢驗康復效果。在無Kinerehab系統(tǒng)干預階段，因無法得到反饋的動作指導，受測的兩例患者動作準確率較低；在有Kinerehab系統(tǒng)干預階段，由于Kinerehab系統(tǒng)的影音提示，受測患者訓練動作的準確率顯著提高。

提高運動障礙患者受損或病變的神經(jīng)系統(tǒng)運動機能的可塑性和后續(xù)恢復能力的最有效方法是大運動量康復訓練[13]。為了達到這一目的，Belinda等結(jié)合虛擬現(xiàn)實與電視游戲技術，將三維模型與場景通過Unity3D三維引擎導入到開發(fā)平臺中，開發(fā)出適宜于脊柱損傷和腦外傷患者進行平衡康復訓練的游戲[14-15]。參與該平衡康復訓練的20例患者(16例男性，4例女性)中，10例為腦卒中患者，3例為創(chuàng)傷性腦損傷患者，另外7例為脊髓損傷患者。在游戲過程中，系統(tǒng)用虛擬人反映患者的形象姿勢和運動狀態(tài)，Kinect傳感器實時準確地進行影像追蹤。患者通過接收到的反饋信息進行肩、肘等部位的平衡調(diào)整，實現(xiàn)與虛擬人的實時互動，從而提高自身的平衡感知能力，達到訓練目的。整個游戲分為多個訓練階段，患者在每個階段都需要完成相應的訓練指標，計算機會進行評分和數(shù)據(jù)存儲，驗收患者的康復成果。在受測的患者中，其中8例未能按要求的體姿完成訓練，另外12例在醫(yī)療師的輔助下被動地進行肩部的屈曲、外站以及外旋等科目訓練，完成預定的動作。

Alana等設計出一套基于Kinect的針對肩、肘部運動康復訓練的系統(tǒng)[16]。在康復訓練過程中，患者保持雙肩等高，進行手臂自下而上的側(cè)舉運動。受測患者若保持正確的體姿，系統(tǒng)交互界面的信息欄會實時顯示關節(jié)的活動度(手臂從體側(cè)外伸至水平位置，即0°～90°)。如果動作未能達到要求，系統(tǒng)會通過提取Kinect傳感器捕捉的深度圖像，計算肩部與肘部在冠平面(將人體分成前、后兩個部分的平面)內(nèi)的夾角(肩、肘節(jié)點連線與肩、髖節(jié)點連線所形成的角度)，對患者進行動作糾正指導。糾正主要包括手肘部的彎曲糾正和平面偏離糾正。當肩、手節(jié)點連線矢量與冠平面的法矢量夾角不等于90°，系統(tǒng)報錯，提示患者手肘部運動偏離冠平面；當肩、肘節(jié)點連線與肘、手節(jié)點連線的矢量和不等于肩、手節(jié)點連線的矢量，系統(tǒng)報錯，提示患者手肘部產(chǎn)生了彎曲。受測者來自三種不同的人群：理療專業(yè)人員(3名)，目的是收集系統(tǒng)和給予應用程序技術意見；普通成年人(4名)，來評估系統(tǒng)的通用性和交互體驗；需要物理治療的老年人(3名)，是系統(tǒng)今后應用的主要對象。在測試體驗之后，其中8人在人為提示幫助下順利完成10個科目，另外2人在無任何幫助下完成了所有科目。受測者同時給該系統(tǒng)進行了評分(滿分5分)，該系統(tǒng)最后平均得分為4.66。

羅元等利用Kinect深度傳感器所獲取的深度信息圖像，將手勢部分從背景中分割獲得二值圖像，再對二值圖像進行目標識別，把得到的識別結(jié)果轉(zhuǎn)換成控制指令通過網(wǎng)絡傳送給殘疾人用輪椅，實現(xiàn)對輪椅運動的智能控制，方便下肢運動障礙的患者在康復過程中自理生活[17]。他們在Hu不變矩基礎表達式(Hu首先提出連續(xù)函數(shù)矩的定義和關于矩的基本性質(zhì)，并具體給出具有移動、旋轉(zhuǎn)、縮放不變性的7個不變矩基礎表達式)上加入了3個表達式，使不變矩表達式包含更多的細節(jié)特征，優(yōu)化了算法。此外，他們還通過驗證手勢分割對光照及背景干擾的魯棒性、手勢識別系統(tǒng)的三重不變性，證明該手勢識別控制輪椅系統(tǒng)的方案可行。

3 結(jié)論

Kinect體感設備可以進行深度圖像獲取、動態(tài)捕捉以及麥克風輸入，可以通過Kinect for Windows SDK提供的軟件庫與應用程序進行交互。可以將Kinect體感交互技術與自主研發(fā)的虛擬現(xiàn)實平臺相結(jié)合，對Kinect進行二次開發(fā)。

利用開發(fā)接口，研究圖像處理與實時交互的相關算法，將Kinect體感交互技術嵌入到自主研發(fā)的虛擬現(xiàn)實平臺中，可進一步擴大虛擬現(xiàn)實技術在醫(yī)學領域的應用范圍。結(jié)合虛擬現(xiàn)實技術，可以研究基于Kinect體感交互技術的運動障礙和認知障礙患者醫(yī)療康復訓練的關鍵技術。針對運動障礙患者肢體運動不便，認知障礙患者在空間認知、智力和記憶上存在障礙，鼠標、鍵盤等傳統(tǒng)輸入設備不適用的特點，可以開發(fā)基于Kinect體感技術的運動功能康復訓練模塊、空間認知障礙康復訓練模塊、智力障礙康復訓練模塊和記憶障礙康復訓練模塊，實現(xiàn)醫(yī)療康復訓練的評估與指導。將該成果應用于康復醫(yī)院、社區(qū)醫(yī)療機構(gòu)及家庭的醫(yī)療康復臨床實踐，對患者的早日順利康復將起到十分重要的作用，為患者重返社會、提高生活質(zhì)量創(chuàng)造條件，對減輕甚至消除家庭和社會的物質(zhì)精神負擔具有重要的現(xiàn)實意義。

[1]張光劉,李琳,譚劍波.體感設備與被動立體相結(jié)合的人機交互方法研究[J].合肥工業(yè)大學學報,2011,34(2):251-254.

[2]Uwe R,Kristian S.Designing a BIM-based serious game for fire safety evacuation simulations[J].Advanced Engineering Informatics,2011,25(4):600-611.

[3]Ioannis C,Georgios M,Panagiotis K,et al.Irene Mavrommati.Implementing multiplayer pervasive installations based on mobile sensing[J].The Journal of Systems and Software,2011,84(11):1989-2004.

[4]Brian M,Zak M,Caroline A.Utilizing Explorable Visual Environments for Experiential Applications[J].Procedia Computer Science,2012,8:261-266.

[5]Boulos MN,Blanchard BJ,Walker C,et al.Web GIS in practice X:a Microsoft Kinect natural user interface for Google Earth navigation[J].Int J Health Geogr,2011,10:45-59.

[6]Michael Z,Michael M,Günther G,et al.Automatic reconstruction of personalized avatars[J].Computer Animation Virtual Worlds,2011,22(1):195-202.

[7]Luigi G,Alessio PP,Mario C.Controller-free exploration of medical image data:experiencing the kinect[C].24th InternationalSymposium onComputer-BasedMedicalSystems(CBMS),Bristol,Britain:IEEE,2011:1-6.

[8]Sebastian B,Jakob W,Sven H,et al.Multi-modal surface registration for markerless initial patient setup in radiation therapy using Microsoft's kinect sensor[C].Barcelona,Spain:International Conference on Computer Vision Workshops(ICCV Workshops),IEEE,2011:1175-1181.

[9]Yu XY,Wu LY,Liu QY,et al.Children tantrum behaviour analysis based on kinect sensor[C].Beijing,China:Third Chinese Intelligent Visual Surveillance(IVS)Conference,2011:49-52.

[10]Chang YJ,Chen SF,Chuang AF.A gesture recognition system to transition autonomously through vocational tasks for individuals with cognitive impairments[J].Res Dev Disabil,2011,32:2064-2068.

[11]Chen ST.Using Xbox 360 Kinect Games on Enhancing Visual Performance Skills on Institutionalized Older Adults with Wheelchairs[C].Takamatsu,Japan:Fourth International Conference on Digital Game and Intelligent Toy Enhanced Learning,IEEE,2012:263-267.

[12]Chang YJ,Chen SF,Huang JD.A Kinect-based system for physical rehabilitation:A pilot study for young adults with motor disabilities[J].Res Dev Disabil,2011,32(6):2566-2570.

[13]Lang BS,Flynn SM,Rizzo AA.Initial usability assessment of off-the-shelf video game consoles for clinical game-based motor rehabilitation[J].Physical Therapy Review,2009,14(5):355-363.

[14]Belinda L,Chien-Yen C,Evan S,et al.Development and evaluation of low cost game-based balance rehabilitation tool using the Microsoft kinect sensor[C].Boston,USA:Engineering in Medicine and Biology Society Annual International Conference,IEEE,2011:1831-1834.

[15]Belinda L,Sebastian K,Eric M,et al.Interactive Game-Based Rehabilitation Using the Microsoft Kinect[C].Costa Mesa,USA:Virtual Reality Workshops,IEEE,2012:171-172.

[16]Alana DG,Thiago C,Lucas F,et al.Poster:Improving Motor Rehabilitation Process through a Natural Interaction Based System Using Kinect Sensor[C].Costa Mesa,USA:3D User Interfaces Symposium,IEEE,2012:145-146.

[17]羅元,謝彧,張毅.基于Kinect傳感器的智能輪椅手勢控制系統(tǒng)的設計與實現(xiàn)[J].機器人,2012,34(2):110-113.