基于Kinect體感交互式虛擬學習環境的構建

董 麗，陳仕品

（西華師范大學教育學院，四川南充637002）

基于Kinect體感交互式虛擬學習環境的構建

董 麗，陳仕品

（西華師范大學教育學院，四川南充637002）

和傳統設備相比，交互式電子白板在學習交互性特征方面顯示出它的優越性。然而，它高昂的價格讓人望而卻步，同時初始化設備繁雜。Kinect體感硬件可以運用手勢、體態、語音等自然方式實現人機交互，同時價格適中無需任何外設。文章運用Kinect、投影儀、計算機等硬件從環境外設層面、功能實現層面、程序設計層面來設計，構建體感交互式虛擬學習環境，真正實現低成本交互式電子白板。

kinect；交互式電子白板；體感交互；虛擬學習環境

一、引言

交互式電子白板由于其在學習交互性特征方面顯示出的優越性廣受歡迎，逐漸被應用在教育教學過程中。這項技術得到了廣泛的支持，對教學質量的提高也起了不可估量的作用。［1］但是，由于成本昂貴，并不是所有學校都可以承受。這項技術主要被分為兩大類：主動識別與被動識別，主動識別的結果更穩定有效，價格也更昂貴一些。大部分電子白板都是通過電子筆、手指觸摸或者其他設備來控制。但是，隨著體感技術的出現，這些問題就不難解決了，它可以提供人與計算機之間的自然交互。自然交互就是指通過一些自然交互設備如Kinect等來捕捉人體動作和聲音來實現與計算機之間的交互。［2］

所以，我們就希望通過利用體感技術，運用Kinect傳感器、投影儀、計算機來構建一個體感交互式虛擬學習環境，既實現交互式電子白板的功能，又可以降低成本消費，同時運用在教學中又可以取得很好的效果。

二、交互式虛擬學習環境的設計

近幾年，有關研究Kinect體感技術在教學中的應用越來越多。Avancini［3］在其研究中運用Kinect技術模擬制作了一臺交互式白板，運用九點刻度技術來匹配手部與鼠標之間的協調功能，并且加強檢測手部手指動作。中國學者提出了一個基于Kinect技術的交互式白板，在機器視覺理論基礎的指導下，運用具有紅外線掃描技術的紅外線LED筆來研制。［4］我們所要研究的就是運用Kinect體感技術模擬制作一個低成本的交互式電子白板，創建一個交互式虛擬學習環境，實現人機之間的自然交互，提高學生的學習機會。

我們創設的體感交互式虛擬學習環境主要包括環境外設層面、功能實現層面、應用程序層面三大部分。它的環境外設主要是運用Kinect體感外設來開發，是環境設計的硬件部分；功能實現層面主要是軟件部分實現的，主要是運用人體檢測和識別技術來識別真實世界人體與手部動作與虛擬鼠標坐標的匹配協調；應用程序層面主要是將教育教學材料與系統相關聯，到達系統教育性特點。

1.環境外設層面

體感交互式虛擬學習環境中交互式電子白板的硬件開發主要是依賴于Kinect的使用，Kinect是微軟公司最近發布的XBox360外接體感設備，具有兩個深度傳感器，可實現對人體骨骼的捕獲功能，它具有機械轉動結構的底座，在底座的支持下Kinect可以上下移動，以便擴大它的體感交互范圍以及人體捕捉界面。Kinect包含的體感交互技術主要包括語音、紅外線感應及攝像頭，不需要借助任何外部設備就能進行體態動作捕捉和語音識別［5］。它主要是通過一個體感輸入設備來控制人與計算機的交互，人通過手勢聲音等命令通過自然用戶界面與計算機進行自然交互。［6］

基于Kinect的交互式虛擬學習環境下，不需要任何外部設備，如筆、鼠標等，人只需要通過手勢、聲音等即可與交互式電子白板進行自然交互，Kinect由四個主要組件組成：深度傳感器是由紅外線激光投影儀與單色CMOS傳感器相結合而成；Kinect應用程序通常依賴于獲取對象目標的被動標記和可以同時發出和接受紅外線的深度傳感器；Kinect軟件可以自動校準傳感器并且可以調節它的傳感范圍；Kinect還包括一個普通8位VGA攝像頭，多陣列麥克風用于聲音識別和機動傾斜定位。為了提高使用Kincet的效率，我們將實用范圍限制設為1.2-3.5米的距離，面積控制在6平方米，Kinect傳感器觀看距離的水平磁場至少為0.8米，垂直場大約為0.63米。［6］

2.功能實現層面

對于系統來說，硬件與軟件是不可分割的一個整體。在我們所研究的基于Kinect交互式虛擬學習環境中，軟件的主要作用就是運用java語言來解析Kinect傳感數據并協調現實與虛擬環境中的無縫對接。軟件可以檢測人體數據并且識別手指動作，也可以用手來控制鼠標。

（1）人機數據匹配。基于Kinect交互式虛擬學習環境的構建主要實現的就是人機之間的自然交互，我們可以運用身體運動、手勢、聲音等來控制計算機，只有體感外設感應到我們手部的動作或者聲音、手勢等，便會傳送數據到計算機，計算機快速計算數據然后將數據反映到投影屏幕上，實現真實場景中手部數據與虛擬三維鼠標數據進行匹配，然后達到人機自然交互。這些功能的實現必須是硬件配置加以軟件支持，才能達到真正的匹配。

（2）手部動作控制計算機。當真實數據與虛擬數據匹配之后，開始進行交互，我們研究的自然人機交互主要是讓計算機來適應人的變化，所以功能實現層面需要通過軟件來實現人通過聲音、手勢等來控制計算機，計算機會隨著人手勢的變化做出不同的反應，實現我們手部動作來控制虛擬鼠標。

（3）克服手部動作的不協調性。當手部動作變化過快時，虛擬手部數據就會與真實手部數據不協調，不能及時轉換，導致交互延后，但是使用相關軟件程序后，會通過不同算法提高運行速度，克服其他無關動作，及時響應真實手部動作，不會出現延遲、卡死等情況。

（4）檢測用戶身體數據變化。Kinect無法直接識別到用戶的轉身，當用戶在設備前轉身，左右手的位置就進行了顛倒，Kinect就無法識別出當前左右手的位置，甚至錯亂，導致手部動作與虛擬鼠標動作不一致，所以為了克服這方面的缺陷，我們運用一個軟件來跟蹤面部變化，這個軟件就是計算機視覺庫OpenCV［6］。當軟件檢測不到面部數據時，說明用戶轉身或者離開了，接下來就會對左右手的數據進行轉換。

3.應用程序層面

應用程序設計層面主要是實現將學習材料、學習資源植入系統中，實現環境的教育性特點。這是環境構建的最后一部分。體感交互式學習環境的應用程序的設置主要是這些程序的編程，動作腳本語言用來開發交互式應用程序。Adobe多媒體設計軟件應用程序主要用來幫助教師處理教學資源，教學材料如圖片、動畫、視頻、演示文稿、三維目標等，并且可以隨時訪問互聯網。

這項環境構建過程中成本預算中，投影儀、計算機、Kinect傳感器三個主要硬件部分是必須的，三者的價格分別大約是1600元/臺、3600元/臺、500元/臺，合起來大約5700元，這只是半臺交互式白板價格。

三、總結

運用體感技術進行人機交互是當前人機交互技術的發展方向，顯示出我們現在對技術的運用注重人本主義，主要向著計算機的發展適應人的發展方向，這在人機交互發展史上是一個轉折點，同時也是一個里程碑。傳統的人機交互技術構建的交互界面事實上成為隔離物質世界和信息世界之間的屏障。［7］

我們主要是通過運用Kinect來構建一個體感交互式學習環境，學生在這樣的環境中學習，提高了學習積極性、學生參與度，不僅提高學習成績，而且可以樹立自信心。最重要的是以低廉的價格實現交互式電子白板的功能，大大縮減了成本投資，提高了學校使用率。除此之外，還可以讓大家多多了解體感技術，感受體感技術乃至信息技術為學習帶來的好處。當然Kinect也有自己的局限性，當用戶轉身時，不能及時轉換左右手監測數據，導致動作撲捉不準確。同時由于能力有限，我們現在只能實現體感交互等功能，還不能達到多點觸控，也不能對用戶的行為進行準確評估，為了使構建的環境更加完善，今后要加強這方面的研究。

［1］BECTA.What the researrch saysabout Interactive Whiteboards［DB/OL］.http://dera.ioe.ac.uk/5318/1/w trs_white boards.pdf，2003.

［2］OpenN I［EB/OL］.http://en.w ikipedia.org/w iki/ OpenN I.

［3］Avancini.Using Kinect to emulate an interactive whiteboard［M］.Unpublished Disserta-Tion，2012.

［4］Zhang，S.，He，W.，Yu，Q.，Zheng.Low-costinteractive whiteboard using theKinect［J］.InternationalConferenceon ImageAnalysisand SignalProcessing（IASP），2012:1-5.

［5］Kalal Z，Mikolajczyk K，Matas J.Face-tld:Tracking-learning-detection applied to faces［C］.Proceedings of the International Conference on Image Processing. Hong kong，2010:3789-3792.

［6］Kinect［DB/OL］.http://en.w ikipedia.org/w iki/Kinect.

［7］孫正興.人機交互技術概論［EB/OL］.http://blog. sciencenet.cn/blog-39479-332668.htm l，2010，06.

（編輯：魯利瑞）

G434

B

1673-8454（2016）14-0086-02