基于Leap Motion的虛擬翻書系統設計與實現

李杰

（北方工業大學計算機學院，北京 100144）

基于Leap Motion的虛擬翻書系統設計與實現

李杰

（北方工業大學計算機學院，北京 100144）

隨著計算機技術的發展，非接觸式的交互越來越受到人們的重視。為了提高學習興趣，增強學習的交互性，結合Leap Motion體感交互設備，在學習和掌握相關技術的基礎上，設計并實現虛擬翻書系統。針對揮手翻頁的姿勢識別問題，重點研究坐標變換技術，將不同坐標系的數值進行處理判斷；針對翻頁的特效問題，重點研究曲面變形技術，將不同的平面進行旋轉縮放；針對圖片資源加載緩慢的問題，研究異步加載技術，避免資源切換出現的停頓現象。經實踐證明，系統具有良好的運行效果，達到預期目標。

Leap Motion；坐標變換；曲面變形；異步加載

0 引言

隨著計算機技術的快速發展，傳統的鼠標、鍵盤等交互方式已不能滿足人們的需要。而自從微軟在2010年推出Kinect For Windows體感設備用來捕獲人體姿勢、動作及面部跟蹤等技術，引起開發者的廣泛興趣；緊接著Leap Motion公司推出Leap Motion Controller小型捕捉系統，用來更精確的追蹤人體手部的運動，帶來了體感交互的新方式[2-3]。隨著新型體感設備的發展，人們越來越關注這種非接觸式的交互，更是引起人們的體驗興趣，同時也在互動娛樂，項目展示等方面得到了很好的應用。

1 系統總體設計

1.1 系統結構設計

系統主要有Leap Motion控制器和計算機組成，Leap Motion控制器與計算機通過USB串口連接，Leap Motion主要完成數據采集，后通過數據分析及動作定義來判定人體進行的操作，從而執行翻書的動畫，其對應的結1構圖和流程圖圖1和圖2所示。

圖1 系統結構圖

圖2 系統流程圖

1.2系統功能描述

系統的主要功能模塊如圖3所示。

圖3 功能結構圖

動作數據分析模塊是對Leap Motion采集的數據進行分析，與事先定義好的手部動作進行對比，從而判斷當前人體手部執行的動作。因Leap Motion所使用的數據是以mm為單位，且手部移動的范圍與屏幕顯示的范圍大小不一致，為了避免出現手部移動過大或過小的現象，需要劃定手部在Leap Motion坐標系下移動的范圍，同時也需要事先確定出待繪制屏幕的大小，通過坐標變換來校準手部移動的范圍。

翻書動畫實現模塊主要是通過定義多個曲面，將每個曲面設置不同的參數來進行旋轉，變形，從而形成不同的形狀。本文需要設置5個曲面，分別用來設置正反封皮，正文。一般來說，正反封皮的厚度要比正文的厚度要大，且書籍翻頁時能看到一頁的正反面，為了增加書籍的真實度，我們在這里就用3個曲面來設定書籍的正文，可以依據設定的翻頁速度，曲面間隔等參數來實現不同的動畫。

圖片加載模塊主要是通過異步加載的方式將多張圖片加載到內存，為了避免圖片加載過慢，導致卡頓的現象，需要將多張圖片打包，進行異步加載。

2 系統關鍵技術

人體動作有很多種，同一種動作，不同的人進行的操作也不一樣，為了方便使用人的操作，在定義動作執行規范的同時，也需要對多人進行訓練，找到動作操作的相似點。但因采集到的動作數據是相對Leap Motion體感設備來說，它的坐標原點是以設備的中心點為準，滿足右手坐標系，與顯示輸出設備的坐標是不一致的，需要對數據進行校準，這就需要用到坐標變換技術。

為了模擬真實書籍的翻頁效果，需要對不同的曲面進行縮放，旋轉等操作，尤其在執行翻頁效果時，能同時看到三個不同的曲面。這就需要對不同的曲面執行不同的操作，涉及到曲面變形技術。

為了模擬真實書籍效果，需要加載多張圖片，甚至達到1000多張圖片。為了避免在圖片加載過程中，出現卡頓等現象，需要使用異步加載技術，將圖片資源事先加載到系統內存，避免在圖片進行切換出現的停頓或無法顯示圖片等情況。

2.1 坐標變換技術

坐標變換技術對數據處理非常重要，若體感設備坐標系與屏幕坐標系一致的話，數據只需要進行歸一化處理，按照設定的大小來處理即可；若體感設備坐標系與屏幕坐標系不一致，就在歸一化后，進行相應的處理。因每個體感設備的坐標系是不一致的，這里就針對Leap Motion體感設備來說明坐標變換技術。

圖4 LeapMotion坐標系向屏幕坐標系轉換

圖5 LeapMotion坐標系向Unity坐標系變換

由圖4和圖5可知在進行二維體感交互和三維體感交互時，都需要進行坐標變換，本系統主要使用的是Leap Motion坐標系向屏幕坐標系轉換，為了保證拿到的數據比較準確，都需要進行歸一化處理，可通過以下公式進行歸一化處理。

在這里假定設定的Leap Motion交互的最小距離點為（Lsx，Lsy），交互的最大距離點為（Lex，Ley）；屏幕的最小距離為（Sex，Sey），最大距離為；（X1，Y1）為Leap Motion坐標系下的某一點，這里需要確定出在屏幕坐標系中的某一點（Xs，Ys）。

這里注意的是，對屏幕坐標系來說，獲取的數據在Y軸上互為反向；對Unity坐標系來說，在Z軸上是互為反向，需要進行方向互換。可通過上述方法來自定義體感設備的交互范圍，以及與屏幕互動的范圍大小。若不需要設定交互范圍，可使用LeapMotion所提供的InteractionBox方法來快速獲取手或手指的位置坐標。在獲取位置坐標后，可依據移動的范圍或方向來判斷人體所執行的動作，與事先定義好的姿勢識別進行對比，從而判斷所執行的操作。

2.2 曲面變形技術

曲面變形是為了模擬書籍，尤其是在執行翻頁特效時尤其重要。本文用到的是MegaFiers變形插件，是Unity專用的物體變形與動畫解決方案，支持所有的開發平臺，具備將40種以上的變形功能單獨或整合到一個多邊形物體中。本文主要使用的是MegaBook，是用來快速創建虛擬書籍的正反封皮以及多張不同的頁面，可以用來依據需要來設定頁面的大小和翻頁的速度等，縮短系統開發的時間。

虛擬書籍是有5個平面組成，分別用于設定正反封皮，和頁面翻頁特效；為了對不同的平面進行變形，需要將這些平面進行網格劃分，同時將設定頁面的3個平面生成動畫，在執行平面旋轉時，需要實時更換這三個平面的貼圖，已達到翻書的模擬效果。

2.3 異步加載技術

異步加載是為了解決圖片資源過多而影響系統運行，避免圖片在進行切換出現的卡頓現象。因本系統主要使用的是Unity游戲引擎開發，在這里就說明Unity中的異步加載技術。

Unity中主要使用LoadAsync方法來加載圖片資源，為了提高加載速度，需要使用Unity給定的打包方法來對多張圖片進行打包壓縮，后可調用StartCoroutine方法新開個線程來進行異步加載。

3 系統實現

本系統采用Unity游戲引擎和Leap Motion體感設備開發，圖6為系統運行及體感設備界面，圖7到圖8為系統運行界面，該系統開發成功后，已被運用到各個幼兒園中。

圖6 系統運行的體感設備

圖7 揮手運行界面

圖8 系統運行界面

4 結語

本文結合Leap Motion體感設備在Unity游戲引擎上設計并實現了虛擬翻書系統，可在一定程度上增加孩子的互動性以及趣味性，提高孩子的學習能動性，在市場上具有一定的應用前景。

參考文獻：

[1]李楊韜，禹東川等.基于LeapMotion手勢識別的認知訓練系統的設計和實現[J].電子設計工程，2016（5）：12-14.

[2]黃俊，景紅.基于LeapMotion的手勢控制技術初探[J].計算機系統應用，2015（10）：259-263.

[3]林書坦，尹長青.基于LeapMotion的數字手勢識別[J].電腦知識與技術，2015（12）：108-109.

[4]Guna J,Jakus G,Pogaanik M,et al.An Analysis of the Precision and Reliability of the Leap Motion Sensor and Its Suitability for Static and dynamic tracking[J].Sensors,2014,14(2):3702-3720.

Design and Implementation of Virtual Open Book System Based on Leap Motion

LI Jie

（College of Computer Science,North China University of Technology,Beijing 100144）

With the development of computer technology,people pay more attention to non-contact interaction.In order to increase interest in learning and enhanced interactive learning,combined with Leap Motion somatosensory interactive device,on the basis of learning and mastering related technologies,designs and implements virtual open book system.Aiming at the problem of turning hand gesture recognition,focuses on the coordinate transformation technique,and processes the numerical value of different coordinate system;aiming at the problem of the page with effect,focuses on surface modification technology,this has zoom in different plane;aiming at the problem of slow loading image resources,studies the asynchronous loading technology,to avoid the phenomenon of the emergence of resource switching.The practice shows that the operation of the system has a good effect,which achieves the desired goals.

Leap Motion;Coordinate Transformation;Surface Deformation;Asynchronous Loading

1007-1423（2016）33-0065-04

10.3969/j.issn.1007-1423.2016.33.015

，男，河南南陽人，助理研究員，碩士，研究方向為虛擬現實、數字娛樂等

2016-09-27

2016-11-15

優秀青年教師培養計劃（No.XN072-007）