基于增強現實的交互式視覺環境學習場景設計研究

馮建平，王 軍

（海南師范大學，海南 海口 571158）

增強現實（Augmented Reality，AR）技術是將虛擬元素包含在真實的物理環境中[1]，以實時創建混合的現實，這是對現實世界中視覺、聽覺和觸覺等感官的補充和增強。AR提供不同程度的沉浸感和互動性，可以幫助學生參與學習活動，在基于AR的學習環境中，學生注意力和滿意度的激勵因素比在普通播放幻燈片學習環境中獲得的效果更好。

學術界也不可避免地受到新技術的影響，在一些學科中已經開始引入AR技術。然而，這一技術在教學知識傳播和適用性方面的作用微乎其微，其主要的障礙是缺乏具備開發AR編程技能的專業人員，關鍵是同時也缺乏專門為教育而設計的工具。

本文介紹了一種基于MIT APP Inventor環境的可視化環境創作工具VEDILS，該工具使用戶能夠開發基于AR的交互式的學習場景，并試圖將AR技術融入教育環境。采用基于MIT的易于使用的開發Android應用程序的在線環境應用APP Inventor[2]，可以通過簡單的塊語言使移動編程實現民主化。

1 主要內容

1.1 技術增強學習和AR

近年來，技術增強學習（Technology Enhanced Learning，TEL）的研究越來越多地集中在AR、泛在學習、移動學習、學習分析等新興技術上，以提高用戶在豐富的多模態學習環境中的滿意度和體驗。這些研究利用了移動設備硬件和軟件的技術創新，并日益受到人們的歡迎。用戶建模和個性化過程的重大發展將學生置于學習過程的中心位置，對AR的研究也證明了它在提高學生學習動機方面的有效作用。

AR應用可以在不同的學習場景中使用，如模擬實驗室實驗，教育游戲等。一般來說，AR應用分為兩類：基于地理位置的應用和基于計算機視覺的應用。基于地理位置的應用程序使用移動設備的GPS、加速計、陀螺儀和其他技術來確定移動設備的位置和方向。用戶可以在查找位置的方向上看到計算機生成的重疊的圖像。基于計算機視覺的應用程序使用圖像識別功能來識別圖像頂部的圖像和疊加信息，在這個類別中，我們有基于標記的AR和無標記的AR兩種不同的選項。

1.2 AR編寫創作工具

有不同的工具可以來處理RA功能。就算是最基本的工具一般也會為應用程序開發人員提供許多復雜的工具包、庫和腳本框架，例如ArUco，DroidAR等。這些支持開發功能強大且定制的AR應用程序，但同時需要應用程序開發人員對Java和C等編程語言有很高的了解。此外，還有許多更高級的圖形創作工具，如Layar，Aurasma等，允許非程序員用戶構建AR場景，修改虛擬對象的參數，如位置、大小、旋轉或標記。

除上述工具外，還有其他面向非程序員用戶的AR應用程序的高級編寫工具，如DART，Amire和MARS，其中一些編寫工具支持腳本和拖放界面，更高級別的AR編寫創作工具可以滿足用戶的交互性需求。然而這些工具中有許多沒有考慮將要部署它們的設備，因此不會使用移動設備提供的許多功能。在所有這些高級工具中發現的主要缺點可以歸納為以下幾點：標記和虛擬對象之間的關系總是一一對應的，使用標記時翻轉、旋轉等交互無響應，無法檢測到虛擬對象之間的碰撞沖突，不允許收集執行該活動用戶的有關信息，無法申請評估學生能力和缺乏在應用程序本身中包含使用說明的機制。

2 AR學習場景設計環境

近年來，軟件開發工具應運而生，它隱藏了許多傳統編程語言的復雜性，以幫助沒有編程技能的人開發新的應用程序。在這方面，我們可以注意到用于開發電子游戲的工具Scratch和用于開發Android移動應用程序的APP Inventor。這兩個工具的共同之處在于它們都使用基于塊的可視化語言，這些塊語言必須組裝起來以設計新應用程序的行為。近年來，這種編程方式越來越受歡迎，并被用于創建許多基于區塊的微世界。

APP Inventor是由谷歌在開源環境下創建的，現在由麻省理工學院（Massachusetts Institute of Technology，MIT）進行維護[2]。這是一個基于塊的編程工具，可以使每個人甚至新手都能夠開始編程，能夠為Android設備構建功能相對完整的應用程序。通過這個創作工具，教師和普通人都可以在移動設備上創建部署簡單的應用程序，同時這些應用程序也可以使用這些設備所允許的共同功能，如傳感器、多媒體元、繪圖和動畫、與社交數據共享網絡和不同的Web服務等。APP Inventor的體系結構由幾個模塊組成：用于設計新應用程序的用戶界面的GWT應用程序、用于編程應用程序行為邏輯的塊編輯器、用于將設計和上述邏輯轉換為可導出文件的構建服務器、運行在移動設備上來調試應用程序的解釋器，以及一個包含所有內置組件的模塊，這些是其他模塊所需要的，并可供最終用戶開發其應用程序。

APP Inventor組件時定義應用程序的外觀和行為所需的構建塊，它們由多個屬性、事件和方法組成。

ARCamera這個組件表示AR場景，它顯示設備的攝像機直接捕捉到的真實圖像。允許用戶配置屏幕方向、攝像機類型、要識別的物理目標的外部數據庫以及是否需要立體渲染等參數。當用戶用手指點擊屏幕時，此組件觸發事件。

ARTracker這類組件對應于最終應用程序中用于觸發某些操作的物理元素。該物理元素通常可以是典型的AR標記、外部對象，也可以是具有特定顏色或文本片段的區域。當在攝像機的視野中識別物理元素或者當它的位置發生變化或消失時，該組件進行管理各種事件。

ARAsset這種類型的組件允許用戶聲明要在屏幕上給定位置呈現的虛擬對象。這些元素可以是文本，也可以是更常見的不同格式的基于圖像或顏色的紋理。還有一個附加的屬性“粘貼”，用于將虛擬對象與給定的跟蹤器和其他屬性綁定，以設置該綁定的位置、旋轉和平移。而且，用戶還可以通過在3D模型上用一個手指滑動虛擬對象來旋轉虛擬對象。此外，當虛擬對象與屏幕上的另一個對象發生碰撞時，此組件將觸發特定事件。

3 結語

目前，這種重新使用現有軟件來包含AR功能的選擇已經成功地應用于其他產品中。例如，AR Spot是一個基于MIT的Scratch項目的AR創作環境，它允許孩子們創建將真實和虛擬元素混合在一起的體驗。現階段關于AR組件的開發改進仍在進行，以支持更多類型的跟蹤器和虛擬資產，并避免與Vuforia數據庫的物理目標耦合。此外，一個比APP Inventor中已有的FusionTable組件更直觀的用來捕捉用戶交互的新的系統也在開發研究中。以后，設計交互式視覺環境學習場景時AR創作工具決定組件時將會有更大的選擇空間。

[參考文獻]

[1]BACCA J，BALDIRIS S，FABREGAT R，et al.Augmented reality trends in education: a systematic review of research and applications[J].Journal of Educational Technology & Society，2014（4）：133-149.

[2]BUJAK K R，RADU I，CATRAMBONE R，et al.A psychological perspective on augmented reality in the mathematics classroom[J].Computers & Education，2013（1）：536-544.