基于增強現實技術的工程圖學移動端教學系統設計與開發

伊 鵬，劉衍聰，石永軍，秦 臻，張宗波

?

基于增強現實技術的工程圖學移動端教學系統設計與開發

伊 鵬，劉衍聰，石永軍，秦 臻，張宗波

(中國石油大學(華東)機電工程學院，山東 青島 266580)

依托當前快速發展的虛擬現實技術，以工程圖學課程圖感培養為目標，將增強現實技術引入課程教學，開發以移動終端為應用平臺的輔助教學系統，將真實場景中的平面視圖與虛擬三維立體模型相結合，通過視覺耦合疊加和增強交互操作突出體驗的真實感，搭建起視圖與形體間的以圖感意識為橋梁的高效轉換通道，提升了抽象三維形體的可接受度。配合課程講解和課下輔導，學生能夠有意識地強化圖感在視圖解讀中的認知作用，該教學模式和資源的改革探索將有助于推動新時期工程圖學教學的發展。

工程圖學；增強現實；移動端；教學系統

工程圖學作為工程類專業的技術基礎課程，以培養學生空間思維能力、繪制以及增強學生工程實踐能力和創新意識為目標[1-2]。工程圖學的學習過程是一個復雜的認知過程，要求學生在相關規范和標準的約束下，對包含不可見實體信息的工程圖樣進行快速接受、加工并認知和應用[3]。工程圖學教學過程就是幫助學生逐漸增強圖樣認知能力的過程[4]。已有研究表明，圖樣作為平面和實體之間的認知媒介，其在腦海中還具有著更為底層的解讀過程，即“圖感”編碼和解碼的潛意識過程。圖感是對所看到圖形的直觀感覺，在靈活應用圖學理論的基礎上，以形象思維和抽象思維為依托，經過大量訓練逐漸形成，其對圖形的敏感程度是圖學能力的重要度量[4-5]。因此真正用圖學的語言進行思考，調動圖感直接對相關知識檢索進而將對象結構進行快速分析，成為提高圖學能力和工程意識的有效途徑。

當前教學實踐中，圖感的認識和建立主要依靠課上、課下的實體模型展示和多媒體課件播放，能夠取得一定的效果，然而在目前學時縮減、內容增加且不斷更新的大學課程體系環境下[6]，受限于模型制作質量、數量、學生和教師的時間甚至場地，傳統的教學手段越來越難以適應圖學教學的發展趨勢和要求，所能發揮的作用也越來越有限。因此，如何在圖學教學中引入新的思路和技術手段，提升圖感認知效率，并有針對性的對教學方法和內容進行建設，是十分具有意義的圖學教學改革探索。近年來，虛擬現實技術(virtual reality，VR)和增強現實技術(augmented reality，AR)的迅速發展，為圖學課程的教學改革提供了有效的技術手段。從教學法層面看，需要在教學活動層面針對VR體驗進行設計，Robert Heinich提出的“計劃-準備-實施-跟進”四階段模型對于VR教學設計具有很強的參考價值[7]。文獻[8-9]將VR技術分別應用于機械和土木工程制圖教學中，增強了學生感知形體內外部結構、工藝和裝配結構以及閱讀、繪制工程圖樣的能力。劉偉等[10]基于VR技術，開發出應用于Android平臺移動終端的工程圖學移動學習系統，針對工程圖學課程的認知規律開發了分屏功能，使多媒體影音講解與立體虛擬模型同屏交互展示。伴隨著VR技術的快速發展，近幾年以VR為基礎的新一代增強現實技術AR迅速成長并正在得到廣泛應用。AR技術可以將三維虛擬實體與真實環境相融合，提升用戶對實體的感知和認識，具有虛實結合、交互性好、真實感強等特點[11]，同時由于移動智能終端的迅速發展和極高的普及率，能夠成為搭載AR技術的理想平臺[12]，特別適合引入教學環節，開發新穎的教學資源，配合傳統教學方法以提高教學質量。然而當前AR技術的移植與應用還十分有限，PEJOSKA等[13]在對建筑場景數據分析的基礎上提出了基于AR的Soar系統設計框架和原型，應用于建筑工人的職業教育課程；HSIAO等[14]利用無標識物的增強圖像識別開發了MAR天氣教學系統；CHIANG等[15]開發了基于位置的AR系統，為學習者提供知識分享服務；文獻[11]應用具有自主知識產權的識別技術和跟蹤注冊技術，開發了Android系統下的移動增強現實光學平臺；徐鵬等[16]則應用AR和計算機視覺技術開發了VECAR虛擬教教室，為學生提供了沉浸式和交互式的學習環境；文 獻[12]開發了適用于主流移動終端操作系統的AR應用并用于車床加工工藝實訓教學環節。

以上教學研究工作雖然形成了具有可操作性的實驗教學輔助工具，但研發工作分散于多個學科，且多以演示為主，交互性不足，另外，較少應用于大學教學，在工程圖學教學領域的工作則更未見報道。然而根據前文的分析，工程圖學的教學環節特別需要此類AR技術對現有教學手段進行補充，因此本文將AR引入工程圖學教學，與基于圖感培養的教學方法相融合，并以智能移動終端為平臺，開發多功能的可交互AR圖學模型系統，使其成為重要的配套教學資源，推動圖學教學質量的提高。

1 系統架構和開發方案

基于AR技術的工程圖學移動端輔助教學系統，應突出虛擬模型與現實場景耦合疊加的增強現實的技術特點，以手機和平板等移動智能終端設備為應用平臺。根據教研室多年的工程圖學教學經驗，結合已開展的針對工程意識和圖感因素培養的教學改革和實踐工作，進行教學系統的功能需求分析，系統應具備的主要功能包括：①能夠快速識別圖形碼并調出立體模型，與真實場景中的平面視圖疊加顯示；②對立體模型進行多點觸控的交互操作，包括縮放、旋轉、剖切和正交投影以及針對組合體、裝配體的拆分展示等；③為每個模型錄制視頻講解，可隨時調出并與分屏播放；④可對模型進行實時評分和評論，通過系統提交學習過程中的問題和感想，與教師和同學進行交流，并能提供模型的下載量和評分統計。

根據AR教學系統的功能需求，為充分發揮其技術優勢，系統的資源支持層由3個模塊構成，分別為模型庫管理模塊、模型交互模塊、模型討論與評價統計模塊；系統的技術實現層則由硬件系統、網絡協同和軟件平臺三部分構成，系統的總體架構如圖1所示。

圖1 系統總體架構

系統軟件開發過程綜合考慮移動終端設備的硬件性能及開發平臺軟件的兼容性，開發方案如圖2所示。系統以Eclipse作為開發平臺，對Java Development Kit和Android Software Development Kit安裝環境進行配置，安裝Android插件Android Development Tools，創建Android Virtual Device；在3Ds Max建模環境中建立三維立體模型并進行材質貼圖處理，通過OpenGL ES將模型導入Unity3D平臺引擎進行人機交互和視覺追蹤的開發，利用Finger Gestures操作實現模型的觸覺感知功能，配合多點觸控的支持，實現手勢操作與模型的交互。

圖2 系統開發方案

2 系統開發

基于AR移動端教學系統的功能需求和總體架構，軟件開發工作主要集中于三維形體建模和導入、目標識別和跟蹤注冊以及耦合顯示和交互。

2.1 三維形體建模

建模對象為教材中的三維形體，覆蓋的知識點章節有平面立體及其截切、曲面立體及截切和相貫、組合體畫圖和讀圖、表達方法、標準件和常用件、零件圖和裝配圖，根據已有教學研究和教學經驗[17]選擇了在圖樣閱讀和繪制能力方面較典型的共68個形體進行建模。

現有的虛擬教學系統模型庫大多以3D Max為建模工具，再導入Unity3D中渲染，得到的虛擬模型占用空間大且視覺仿真度不高、交互操作不流暢[18]。所以本系統直接在3D Max中進行三維建模以及貼圖和渲染后處理，充分利用3Ds Max模型與Unity3D平臺良好的兼容性，可以節省存儲空間和數據傳輸時間，同時優化提升系統使用過程中用戶的視覺效果和交互體驗。建模技術方面，采用基礎、復合和多邊形相結合的建模方法，嚴格控制每個模型的面數以保證系統的流暢運行和良好的顯示效果，以教材中相應的圖號和圖名的對模型命名和檢索，提供模型庫的管理和調用功能，模型庫部分模型如圖3所示。

圖3 3Ds Max模型庫

2.2 目標識別和跟蹤注冊

教學系統通過移動端攝像頭掃描目標圖形，快速識別并調出立體模型疊加在現實場景中顯示，系統采用基于計算機視覺的跟蹤注冊技術，通過對跟蹤注冊算法的優化開發，實現對虛擬模型局部坐標系的實時修正，計算攝像機的相對姿態并在屏幕的相應位置完成虛擬三維形體的快速刷新，使得在觀察和交互過程中，應用終端姿態的變化不會對模型和場景相對位置造成影響，從而持續提供具有高仿真度的視覺感受。

目標識別方面，如圖4所示，首先將攝像頭讀取到的平面視圖(圖4(a))轉換成小規模灰度圖片(圖4(b))，利用窮舉法計算得到前景色和背景色各自的類內差異最小和類間差異最大的最佳閾值，通過該閾值將灰度圖片再轉換為黑白縮略圖像(圖4(c))，然后將黑白縮略圖識別為像素矩陣，從而能夠對模型進行標記并與模型庫建立對應聯系。

圖4 目標識別過程

跟蹤注冊方面，增強現實系統的單攝像頭跟蹤注冊問題涉及到多個坐標系的變換操作，首先，從真實場景坐標系到攝像機坐標系的變換過程，是通過攝像頭采集圖像，將真實場景圖像轉換為二維圖像并在攝像機的成像平面上顯示；之后將攝像頭參數作為已知條件，實時計算攝像頭在真實場景的位置姿態，通過坐標變換確定攝像頭和真實場景坐標系之間的轉換關系；而轉換關系是由變換矩陣確定，該矩陣可由一個旋轉矩陣和一個平移矩陣組成，通過對真實場景中的標志物進行圖像分析得到[11-12]。由于標志物的大小已知，即標志物頂點在其坐標系下的坐標已知，同時，圖像處理過程中可以得到攝像頭像平畫上4個頂點的坐標。在確定了變換矩陣中的旋轉矩陣之后，根據頂點在標志物坐標系的坐標和在攝像頭平面中的坐標就可以計算出坐標系的變換矩陣，進而計算確定虛擬模型在場景中的確切位置，以實現注冊。

2.3 耦合顯示和交互

Unity3D渲染得到的模型與移動端IDE的真實場景視圖在同一場景中并行顯示，使得虛擬模型始終疊加于IDE視圖之上且對現實場景具有遮擋和干涉的效果。系統以Unity3D為開發主體，充分利用Unity3D內部封裝的OpenGL ES三維引擎提供的強大的3D解決方案。完成3DsMAX建模后，通過FBX模塊將模型加載到Unity3D中，設置環境光源強度以控制交互操作時場景的明暗效果；同時構建系統邏輯，以實現模型在虛擬場景中的加載、展示和交互，預期效果如圖5(a)所示。利用Unity Player Native Activity. java類中Unity Player類型變量，基于Eclipse編寫Java耦合顯示及交互效果功能插件，與配置文件集成導入Unity平臺，運行效果如圖5(b)所示，屏幕輸出了真實場景與虛擬模型的耦合顯示效果，模型與目標場景的相對姿態保持一致，攝像頭或者目標場景發生姿態變化，模型也會隨之變化，從而能夠提供更為真實的增強現實效果。

圖5 耦合顯示和交互效果

3 教學應用

為了提供更為便捷和直接的用戶體驗，提高軟件系統的使用率，系統將工程圖學教材封面定義為可識別圖像(圖6(a))，提供攝像頭掃描圖像并識別下載的功能，用戶使用智能終端設備的攝像頭掃描教材封面，即可下載安裝相應平臺的“工程圖學AR模型系統”APP程序，終端手機設備的安裝運行效果如圖6(b)所示。

為方便學生安裝使用，針對目前主流移動平臺Android和IOS分別進行了軟件開發，圖7為學生在利用手機端掃描調出模型并進行模型觀察和交互學習的場景。學生進入系統并啟動自動識別功能，掃描教材中預定好模型視圖，調出虛擬立體模型，與真實場景耦合疊加顯示。學生可以對模型進行如圖觸控交互操作(圖8)，包括對模型實現正交投影操作(圖8(a))、進行三維旋轉操作(圖8(b))、對模型進行預設的剖切操作(圖8(c))、模型縮放操作(圖8(d))、模型短評及教學視頻短片的分屏播放(圖8(e)、(f))。通過一系列完備的交互操作，增強學生們的用戶體驗感，自覺進行模型與視圖的快速對比轉換，輔助建立圖感意識，加深對視圖表達的理解和認識。

圖6 軟件識別、下載及安裝運行

圖7 AR系統應用場景

圖8 模型的觸控操作

通過在典型教學環節進行教學試點實踐，課上課下引入圖學AR輔助教學系統，配合傳統教學手段，學生主動學習的積極性明顯得到提升，尤其是在基本體及截切、組合體讀圖和表達方法等環節，能夠更快地培養圖感意識和思維，并將圖感內化為圖學能力，在形體分析中自覺運用。學生的空間思考和答疑討論明顯增多，也讓教師可以更多地了解學生對模型的理解和接受情況，對于教師的課堂講解也具有很強指導意義。

4 結 論

本文依托當前快速發展的虛擬現實交互技術，以工程圖學中圖感培養和加強為目標，將AR引入課程教學，分別開發了以Android和IOS移動終端為應用平臺的增強現實圖學教學系統，建立課堂教學和課下自學環節中高效率的AR鋪助圖感培養的教學資源。該資源將實際教材和習題集中的平面視圖與虛擬的三維立體模型環境相結合，通過視覺耦合疊加和增強的交互操作，突出了體驗的真實感，提升了圖學課程吸引力和學生學習興趣，同時搭建起二維視圖與三維形體間高效的轉換通道，配合課程講解和課下輔導，學生可以方便、自覺地利用該通道有意識的強化圖感在視圖解讀中的認知作用。下一步的工作將同步擴充教學和模型資源、完善教學客戶端系統，為學生提供更好的軟件服務。本文是移動端AR與工程圖學教學進行有機結合的實踐探索，其成果具有的學習模式的虛擬性、交互性、擴展性和移動性優點，有助于推動新時期工程圖學教與學的革新與發展。

[1] 段志堅, 楊甫勤, 田廣才, 等. 改革工程制圖教學理念構建全程教育課程體系[C]//2012管理創新、智能科技與經濟發展研討會論文集. 南昌: 南昌工程學院, 2012: 104-107.

[2] 姜文銳, 宮娜. 拔尖人才培養模式下的工程圖學教學研究[J]. 圖學學報, 2014, 35(3): 455-458.

[3] 王珉, 張宗波, 伊鵬,等. 以圖學能力內化為中心的效果導向型教學模式探索與實踐[J]. 圖學學報, 2016, 37(4): 567-572.

[4] 劉衍聰, 馬曉麗, 伊鵬. 現代圖學教學中的圖感因素探析[J].圖學學報, 2013, 34(6): 110-113.

[5] 伊鵬, 劉衍聰, 馬曉麗, 等. 工程圖學"圖感"形成過程分析及教學實踐研究[J].中國電力教育, 2013(31): 84-85.

[6] 張宗波, 王珉, 吳寶貴, 等. “線上+線下融合式”工程圖學課程建設與教學實踐[J].圖學學報, 2016, 37(5): 718-725.

[7] 張志禎. 虛擬現實教育應用:追求身心一體的教育——從北京師范大學“智慧學習與VR教育應用學術周”說起[J]. 中國遠程教育, 2016(6): 5-15.

[8] 朱文博, 陳龍, 崔怡, 等. 基于虛擬現實技術的機械制圖教學[J]. 教育教學論壇, 2014(9): 57-58.

[9] 鄧朗妮, 馬晉超, 趙軍. 虛擬仿真在工程制圖課程中的教學改革研究[J]. 價值工程, 2017(3): 170-171.

[10] 劉偉, 杜強, 張順心, 等. 基于VR技術的工程圖學移動學習系統[J].圖學學報, 2016, 37(6): 857-861.

[11] 陳澤嬋, 陳靖, 嚴雷, 等. 基于Unity3D的移動增強現實光學實驗平臺[J]. 計算機應用, 2015, 35(S2): 194-199.

[12] 何福本, 梁延德, 張紅哲, 等. 增強現實技術在車削加工實訓教學中的應用[J]. 實驗技術與管理, 2017, 34(3):127-129, 150.

[13] PEJOSKA J, BAUTERS M, PURMA J, et al. Social augmented reality: enhancing context-dependent communication and information learning at work [J]. British Journal of Educational Technology, 2016, 47(3): 474-483.

[14] HSIAO H S, CHANG C S, LIN C Y, et al. Weather observers: a manipulative augmented reality system for weather simulation at home, in the classroom, and at a museum [J]. Interactive Learning Environments, 2016, 24(1): 1-19.

[15] CHIANG T H C, YANG S J H, HWANG G J. Students’ online interactive patterns in augmented reality-based inquiry activities [J]. Computers and Education, 2014, 78: 97-108.

[16] 徐鵬, 劉艷華, 王以寧. 國外增強現實技術教育應用研究演進和熱點——基于SSCI期刊文獻的知識圖譜分析[J]. 開放教育研究, 2016, 22(6): 74-80.

[17] 李雨桐, 王玉新. 強化工程意識與工程圖樣繪制能力的工程圖學教學探討[J].圖學學報, 2014, 35(5): 791-797.

[18] WEI X D, WENG D D, LIU Y, et al. Teaching based on augmented reality for a technical creative design course [J]. Computers & Education, 2015, 81: 221-234.

Design and Development of Engineering Graphics Teaching System on Mobile Devices Based on the Augmented Reality Technology

YI Peng, LIU Yancong, SHI Yongjun, QIN Zhen, ZHANG Zongbo

(College of Mechanical & Electronic Engineering, China University of Petroleum, Qingdao Shandong 266580, China)

Supported by the currently rapid development of virtual reality technology, in order to improve the sense of drawing set as the goal in engineering graphics course, the augmented reality technology was introduced into curriculum teaching and auxiliary teaching system on mobile devices as application platform was developed. In this system, the real scene of plane view was combined with virtual 3D models. The coupling and interaction experience reality was enhanced by a high level visual superposition. The sense of drawing can be set up as an efficient conversion bridge between the imaging and three-dimensional solid. By using such bridge, the acceptable degree of abstract three dimensional model and the learning interest were promoted. With the lecture and the guidance after class, students will consciously strengthen sense of figure interpretation in the view of cognitive function. The reform of teaching mode and resource discovery will help to promote the development of engineering graphics education in future.

engineering graphics; augmented reality; mobile devices; teaching system

G 642.0

10.11996/JG.j.2095-302X.2018061207

A

2095-302X(2018)06-1207-07

2017-10-06；

2017-11-19

山東省本科高校教學改革研究重點資助項目(B2016Z013)；中國石油大學(華東)教學改革項目(JY-B201831)

伊 鵬(1983-)，男，山東淄博人，副教授，博士。主要研究方向為工程圖學、計算機輔助設計與圖形學。E-mail：yipupc@163.com