基于VR技術的工程圖學移動學習系統

劉 偉， 杜 強， 張順心， 張建軍

(河北工業大學機械工程學院，天津 300130)

基于VR技術的工程圖學移動學習系統

劉 偉， 杜 強， 張順心， 張建軍

(河北工業大學機械工程學院，天津 300130)

基于虛擬現實(VR)技術，利用JPCT-AE三維引擎、3DsMAX以及 OpenGL ES 2.0等工具，開發出應用于Android平臺移動終端的工程圖學移動學習系統，詳細描述了系統的底層結構、功能及技術開發方案。針對工程圖學課程的認知規律開發了分屏功能，使多媒體影音講解與立體虛擬模型同屏展示，同時實現了對虛擬模型的交互控制。

虛擬現實；工程圖學；虛擬模型；分屏功能

移動學習[1](mobile-learning)是一種基于無線網絡和移動終端的新型學習方式，具有可攜帶性、無線性、移動性、便捷性等特點；基于虛擬現實(virtual reality，VR)技術的移動學習模式具有傳統學習所沒有的高度沉浸感、交互性、移動性等優點。

隨著智能終端硬件性能的快速提高，基于移動設備的3D圖像處理能力也越來越受到人們的重視，為虛擬現實在移動設備上的發展提供了機會。早在1997年芬蘭奧盧大學(University of Oulu)VTT電子研究中心首次提出了虛擬現實移動化的概念，并研究了基于蜂窩數據網絡的無線數據傳輸，制訂了相應的協議體系[2]；Wang等[3]將移動網絡和虛擬現實技術相結合，提出移動虛擬空間(virtual model phone design space，VMPDS)，實現移動平臺虛擬模型數據庫的擴展；Vélaz等[4]將VR技術應用到機械工程教學中，深入探討了交互技術對教學過程的影響。

近年來，國內許多研究機構在緊跟國際虛擬現實新技術的同時也積極將虛擬現實技術應用到移動平臺，Ma等[5-6]針對移動硬件平臺，提出了虛擬化身的分布式渲染技術，采用動作層次細節(levels of detail，LOD)模型和替代物技術相結合的方法進行壓縮數據，實現3D模型在移動平臺實時渲染；葉琳等[7-10]探討了虛擬模型造型技術，并建立機械制圖虛擬模型室；邱龍輝等[11]利用Direct3D Mobile開發出基于Windows Mobile平臺的工程圖學虛擬模型庫，加載VRML虛擬模型，實現虛擬模型在移動設備的顯示。

綜上分析，國內外針對VR的研究多是獨立于移動平臺，在移動教學領域也沒有得到廣泛應用，本文將VR技術應用于工程圖學教學領域，設計并開發出一款基于 VR技術的工程圖學移動學習系統，針對工程圖學課程的認知規律開發了分屏功能，使多媒體影音講解與立體虛擬模型同屏展示，同時實現了對虛擬模型的交互控制，在Android智能終端構造出真實的學習情境，有助于學生獲得較好的學習體驗和學習效果。

1 底層結構

工程圖學移動學習系統開發應用平臺為Android，該移動學習系統底層結構如圖1所示，當用戶根據需要，用手指觸控用戶界面時，系統會發送請求至服務器業務邏輯層，分析并處理界面請求數據后，會對數據訪問層發出相應的指令，調用Mssql與Access數據庫，通過無線網絡傳輸至Android設備上，可保證數據傳輸的效率和傳輸過程的穩定性。

圖1 底層結構設計

2 系統方案

工程圖學移動學習系統主要用于輔助教學，目的是為了加強學生對立體模型的理解，提高學生在空間和平面之間的思維轉換能力，同時該系統也可以幫助學生有效利用碎片化時間進行學習。系統分為硬件系統、網絡協同、軟件平臺 3部分，系統方案設計如圖2所示。

圖2 系統方案設計

2.1 系統功能

工程圖學移動學習系統，設計理念立足于移動學習模式，基于VR技術進行開發，分為4個模塊：多媒體教學模塊、立體模型庫模塊、繪圖練習模塊和討論與評價模塊，實現如下功能：

(1) 重要知識點的視頻講解，可隨時調出相關立體模型，與視頻講解實時分屏交互演示；

(2) 模型演示支持多點觸控，可實現虛擬模型的縮放、旋轉、正交與透視投影等交互操作，并能夠實現虛擬模型亮度調節；

(3) 提供實時繪圖練習功能，可隨時調出答案及相關立體模型進行參考對照；

(4) 學生通過系統提交學習過程中所產生的問題，與教師進行實時交流。

2.2 軟件開發

基于移動學習系統的功能要求，軟件開發綜合考慮 Android設備的硬件性能以及軟件的兼容性，具體方案如圖3所示。

(1) 以Eclipse作為開發平臺，配置JDK (Java Development Kit)和 Android SDK (Software Development Kit)安裝環境，安裝 Android 插件ADT (Android Development Tools)，創建 AVD (Android Virtual Device)。

(2) 使用 Solidworks建立三維模型，在3DsMAX進行貼圖處理，通過JPCT-AE與OpenGL ES 2.0將其導入移動虛擬現實系統中，并實現人機交互。

(3) 工程圖學移動學習系統視覺模塊，主要通是過Multimedia技術實現視頻播放，為了實現系統功能，減小應用軟件體積，視頻選用 MP4格式。

(4) 工程圖學移動學習系統觸覺模塊使用MotionEvent，并在多點觸控技術的支持下，實現手勢與模型的交互操作。

圖3 軟件開發方案

3 系統流程

利用三維設計軟件Solidworks建立三維模型，導入3DsMAX中做貼圖及紋理處理，得到虛擬模型，利用JPCT-AE與OpenGL ES 2.0、MotionEvent等工具與插件實現模型在 Android設備上的顯示與交互。系統的詳細開發流程如圖4所示。

3.1 虛擬模型制作

3DsMAX建立的模型很難達到機械產品的技術要求，而 Solidworks建立的幾何模型又無法直接轉換為虛擬現實模型。因此，基于優勢互補理念[12]，利用Solidworks建立模型后，導入3DsMAX中進行模型轉化與材質優化，最終會使得模型在Android設備上顯示更加細膩，色彩更加鮮明。

3.2 模型加載與顯示

JPCT-AE是一種封裝了OpenGL ES的三維引擎，是JPCT在Android平臺上的移植版本，擁有強大的3D解決方案，World類是JPCT-AE最重要的一個類，其包含的對象和光線定義了 JPCT-AE的場景；在3DsMAX中得到虛擬模型與顏色后，利用該引擎將其載入到移動虛擬現實系統中，由Object3D 加載模型到 World 類中，通過SetAmbientLight與 SetIntensity設置環境光源強度，控制場景明暗，這樣就建立了JPCT-AE引擎環境，實現模型在虛擬場景中的加載。

本文是通過JPCT-AE加載模型，并聯合OpenGL ES 2.0設置Camera實現模型顯示以及不同模式之間的轉換，并使用MotionEvent進行模型控制，實現模型縮放、正交與透視等交互。圖 5為虛擬模型在Android設備上的顯示效果，所用設備為聯想智能手機，CPU主頻為1.2 GHz，運行內存1 GB，屏幕分辨率為960×540，操作系統為Android 4.2.2。

圖4 系統開發流程

圖5 模型展示

3.3 分屏教學

基于OpenGL ES 2.0所實現的分屏教學模式是工程圖學移動學習系統的核心。

分屏教學的實現：①在程序界面設置并定義mGLView，通過Loadobj( )與Camera實現三維模型在 mGLView中顯示；②在模型下方添加底部View，定義為 vGLView，通過 frameLayout.add View( )將教學視頻添加到vGLView中，通過設定mGLView的大小比例，實現分屏顯示；③依靠重力感應，通過判斷Android設備的橫屏與豎屏，實現不同的效果，當豎屏時可以規定模型占屏幕的50%，進行分屏，而當橫屏時則規定授課視頻鋪滿全屏幕。圖 6為豎屏狀態下的分屏顯示，屏幕的上下兩部分可同時操作，互不影響。

圖6 分屏教學

4 結 論

本文在Android平臺下開發的“工程圖學移動學習系統”，充分利用了JPCT-AE三維引擎強大的向下兼容性以及輕量化的優點，并將其應用于工程圖學的移動教學領域。根據工程圖學教學特點和認知規律，設計實現了立體模型與視頻教學在同一界面下的實時分屏演示，并能夠對立體模型進行縮放、旋轉、正交投影的交互操作，同時還具備實時繪圖練習的功能，方便學生隨時隨地進行學習。河北工業大學在2015年將工程圖學移動學習系統應用到工程圖學的教學實踐中，教學計劃采用多媒體教學、實驗平臺教學以及移動學習系統相結合的模式，取代以往傳統的多媒體影音教學；學生運用移動學習系統在Android終端主動學習，經過一個學期的學習后，學生的學習興趣與學習積極性得到提升，學習成績有所提高。

本文是VR在教育領域的應用一種實踐探索，基于 VR技術的移動學習模式具有傳統學習所沒有的虛擬性、交互性、移動性等優點，虛擬現實技術與移動學習在教育領域的結合將是未來教育的一種發展趨勢。

[1] Zhang Y K, Wei C M. Research of adults’ M-learning based on mobile phone [J]. Advanced Materials Research, 2013, (9): 14-15.

[2] Pyssysalo T, Pulli P. A Picocell-based architecture for a real-time mobile virtual reality [C]//Proceedings 9th Euromicro Workshop on Real Time Systems, June. 11-13, 1997. Los Alamitos: IEEE Computer Society Press, 1997: 144-151.

[3] Wang P J, Bj?rnemo R, Motte D. A web-based interactive virtual environment for mobile phone customization [J]. Journal of Computing and Information Science in Engineering, 2005, (5): 67-70.

[4] Vélaz Y, A Rce J R, Gutiérrez T, et al. The influence of interaction technology on the learning of assembly tasks using virtual reality [J]. Journal of Computing and Information Science in Engineering, 2014, 14(4): 36-44.

[5] Ma J, Zhu H J, Gong J H. Study of navigation based on intelligent avatar with mobile virtual reality [C]//IET International Conference on Wireless Mobile and Multimedia Networks Proceedings, Nov. 6-9, 2006, Hangzhou, China. New York: IEEE Press, 2006: 435-439.

[6] 馬 駿, 朱衡君, 韓景蕓, 等. 移動虛擬現實中虛擬化身的分布式渲染[J]. 北京工業大學學報, 2007, 33(10): 33-37.

[7] 葉 琳. 機械制圖虛擬現實網絡模型室的建立[J]. 工程圖學學報, 2002, 22(3): 202-206.

[8] 馮桂珍, 池建斌. 基于 Web的虛擬現實模型創建工具[J]. 工程圖學學報, 2004, 24(3): 30-34.

[9] 馮桂珍, 池建斌, 王大鳴, 等. 基于 Web的機械制圖虛擬模型庫的構建[J]. 工程圖學學報, 2008, 29(6): 149-153.

[10] 張向華, 董曉英, 葉 霞, 等. 基于 VRML的虛擬現實技術在遠程教育中的應用[J]. 裝備制造技術, 2012, (12): 194-197.

[11] 邱龍輝, 楚建明, 葉 琳. 基于智能手機的工程圖學虛擬模型庫的研究與實現[J]. 圖學學報, 2013, 34(1): 83-86.

[12] 劉加妹, 周志堅, 甄 苓. 多媒體教學與傳統教學優勢互補的探討[J]. 大學數學, 2005, 21(6): 32-35.

Mobile Learning System of Engineering Graphics Based on VR Technology

Liu Wei, Du Qiang, Zhang Shunxin, Zhang Jianjun
(School of Mechanical Engineering, Hebei University of Technology, Tianjin 300130, China)

In the perspective of the cognitive process and the demand of diverse learning needs in the future, this paper presents a mobile learning system of engineering graphics based on the android platform and describes the main program of underlying structure, function and technology solutions. The mobile learning system of engineering graphics is designed based on virtual reality (VR), which is combined with JPCT-AE 3D engine, 3DsMAX and OpenGL ES 2.0 on the mobile terminals. In particular, according to the cognitive rules of engineering graphics course, this kind of application is characterized by split-screen function that displays multimedia and 3D virtual models at the same time. It also achieves interactive control of virtual models.

virtual reality; engineering graphics; virtual model; split-screen function

TB 23

10.11996/JG.j.2095-302X.2016060857

A

2095-302X(2016)06-0857-05

2016-05-17；定稿日期：2016-06-27

河北省高等教育教學改革研究與實踐項目(2015GJJG016)

劉 偉(1978?)，男，河北獻縣人，講師，博士。主要研究方向為并聯機器人、計算機圖形學。E-mail：buaawei@126.com

張建軍(1971?)，男，河北滄州人，教授，博士，博士生導師。主要研究方向為并聯機構、機構學。E-mail：zhjjun96@139.com