基于AR技術(shù)的全息玩具兒童古詩詞移動應(yīng)用系統(tǒng)設(shè)計與實現(xiàn)

陳幗鸞 高劉杰

摘要：隨著科技的發(fā)展，AR增強現(xiàn)實技術(shù)已經(jīng)融入到當(dāng)下的教育中。本系統(tǒng)是基于MergeCube全息玩具的兒童古詩詞教育系統(tǒng)，用戶將應(yīng)用安裝到移動設(shè)備端，通過掃描Merge Cube全息玩具，能夠在移動設(shè)備中把原來的全息玩具變成不同詩詞對應(yīng)的AR立體場景及動畫，旋轉(zhuǎn)全息玩具即旋轉(zhuǎn)全息的立體場景，并能與之交互，并能實現(xiàn)錄像，拍照，語音召喚等多種功能。

關(guān)鍵詞：AR技術(shù);MergeCube全息玩具;Unity3D;古詩詞

中圖分類號：TS958.02 文獻標識碼：A 文章編號：1007-9416（2020）02-0177-02

中國家庭非常重視孩子的教育，并且對兒童學(xué)前教育的重視程度日益加深。但傳統(tǒng)的教育形式多為枯燥無味，難以讓孩子提起興趣。隨著計算機技術(shù)的發(fā)展，傳統(tǒng)的教育體系開始煥發(fā)出新的活力，未來的教育系統(tǒng)是與計算機科技、大數(shù)據(jù)技術(shù)、網(wǎng)絡(luò)技術(shù)等整合起來的一個完整的系統(tǒng)。[1]AR技術(shù)仿真和交互的特性，能將抽象、難懂的知識以更生動、全面、直觀的方式呈現(xiàn)，用沉浸式體驗增強用戶的代入感。這些增強現(xiàn)實的元素所產(chǎn)生的可視化效果，能夠大大加強學(xué)生對抽象概念和不可見現(xiàn)象的感知。在兒童學(xué)習(xí)詩歌領(lǐng)域，將傳統(tǒng)教育與AR技術(shù)相結(jié)合，在提升兒童認知能力的同時，又能賦予教育過程的創(chuàng)新性與娛樂性，實現(xiàn)寓教于樂的效果。[2]

本系統(tǒng)基于MergeCube全息玩具，采用Unity3D作為主要開發(fā)引擎，利用3dmax為三維建模工具，搭配MergeVR提供的SDK，進行二次開發(fā)實現(xiàn)基本增強現(xiàn)實效果。系統(tǒng)基本能實現(xiàn)增強顯示功能，搭配VR眼鏡更能實現(xiàn)虛擬顯示效果。另外具備UI交互，聲音系統(tǒng)，動畫系統(tǒng)等詩詞學(xué)習(xí)交互特色功能。

1 Merge Cube全息玩具

Merge Cube是MergeVR公司的其中一款產(chǎn)品，AR全息玩具。MergeCube是一個邊長為7cm的正方體，和一個標準魔方大小幾乎一致，它的表面帶有凸起花紋，花紋被漆成銀色（如圖1所示）。它必須搭配移動應(yīng)用才能產(chǎn)生AR或VR效果。只要在移動端安裝相應(yīng)的應(yīng)用，攝像頭對準MergeCube，就會在移動端屏幕呈現(xiàn)AR或VR效果，三維模型呈現(xiàn)在移動端從而取代真實的MergeCube。

MergeVR公司為廣大開發(fā)者提供Merge對應(yīng)的SDK，供廣大開發(fā)者開發(fā)應(yīng)用使用，SDK可以放在Unity3D引擎上進行二次開發(fā)。Merge Cube是利用Vuforia的跟蹤識別技術(shù)，對立方體的穩(wěn)定識別特性從而設(shè)計的立方體。該SDK包括了Unity和Vuforia的對接功能，立方體表面識別數(shù)據(jù)庫，還有VR/AR功能，實現(xiàn)了VR、VR兩種模式的切換，當(dāng)把移動設(shè)備放置在VR眼鏡中時，能夠?qū)崿F(xiàn)VR效果，并通過準心瞄準及觸摸板進行交互。AR功能則只需要移動端設(shè)備和識別物，用手指觸碰移動設(shè)備屏幕即可交互。該SDK還實現(xiàn)了拍照錄像功能。而且該SDK可以兼容開發(fā)IOS或Android版本的應(yīng)用，為廣大開發(fā)者提供便利。目前有很多基于MergeCube全息玩具應(yīng)用，例如：“MergeThings”、“The Body”等等。本文所開發(fā)的系統(tǒng)也是通過該SDK進行二次開發(fā)的兒童古詩詞學(xué)習(xí)應(yīng)用。

2 三維建模技術(shù)（法線翻轉(zhuǎn)）

由于AR識別物體是一個正方體，為了讓用戶產(chǎn)生神奇的視覺效果，我們對場景的建模都是以等比例的大小相同的立方體場景，需要根據(jù)不同的古詩詞場景進行設(shè)計。并且為了做到景但是在真實使用中，立方體肯定是要旋轉(zhuǎn)的，為了更好的實現(xiàn)增強現(xiàn)實的震撼效果，我們使用了3dmax中的法線翻轉(zhuǎn)技術(shù)。通過對模型進行法線翻轉(zhuǎn)操作后，我們可以看到正方體空間內(nèi)部場景以及直接對內(nèi)部場景的模型進行操作。法線翻轉(zhuǎn)，可以讓我們既可以看到立方體其中兩～三個表面的背景貼圖，當(dāng)旋轉(zhuǎn)物體一定的角度時，該表面貼圖就是變透明，從而讓我們看得到立方體內(nèi)部的模型（如圖2所示）。實現(xiàn)了手握或旋轉(zhuǎn)立方體等于手握或旋轉(zhuǎn)不同立方體場景的視覺效果。

3 Unity3D實現(xiàn)交互功能

利用Unity3D的功能組件來實現(xiàn)相應(yīng)的功能開發(fā)。

（1）UGUI用于實現(xiàn)界面的UI，例如朗誦詩詞、譯文功能以及顯示詩詞內(nèi)容及譯文內(nèi)容。UI設(shè)計盡量簡單清晰，使用世界坐標的UI，合理分布在場景中，并且做到當(dāng)用戶移動圖片時，UI隨之調(diào)整位置及角度。[3]每次UI觸發(fā)后等待5秒才能重新觸發(fā)，只要重新觸發(fā)，上次的聲音或動畫就會結(jié)束，避免出現(xiàn)重復(fù)交錯的聲音或動畫。

（2）用圓形準心做為交互的觸發(fā)器，當(dāng)準心移到可交互的對象時，準心會有填充，填充結(jié)束，交互觸發(fā)。這是利用Unity3D中的射線碰撞機制實現(xiàn)的，只要在可觸發(fā)的GameObject上面掛上碰撞體組件，通過腳本進行從Camera發(fā)射射線進行碰撞檢測即可實現(xiàn)該功能。考慮到用戶一只手既要握住MergeCube全息玩具，另一只手握住移動設(shè)備。此時，如果做成觸碰移動設(shè)備進行交互是有損用戶體驗的。因此利用圓形準心來觸發(fā)交互，會增加應(yīng)用的合理性和用戶體驗。

（3）動畫交互功能。利用Unity的Mecanim的TimeLine動畫系統(tǒng)，根據(jù)每首詩詞對應(yīng)的故事情節(jié)在Animator Controller里面設(shè)計動畫播放的狀態(tài)及觸發(fā)條件，再通過腳本進行邏輯控制，從而根據(jù)故事情節(jié)安排觸發(fā)對應(yīng)的交互動畫，增加學(xué)習(xí)系統(tǒng)的學(xué)習(xí)性和趣味性（如圖3所示）。

（4）系統(tǒng)引入了dataset動態(tài)加載技術(shù)及Assetbundle動態(tài)加載技術(shù)，改進了存儲優(yōu)化問題，從而使應(yīng)用更流暢，用戶體驗更好。

4 結(jié)語

基于MergeCube全息玩具的AR功能特性，開發(fā)的兒童古詩詞應(yīng)用系統(tǒng)，顛覆了傳統(tǒng)的學(xué)習(xí)教育模式，是一種全新的集學(xué)習(xí)、娛樂于一體的學(xué)習(xí)教具應(yīng)用。本應(yīng)用開發(fā)技術(shù)具有遷移性，可以開發(fā)除兒童教育類外，還對工業(yè)、制造業(yè)、汽車業(yè)等眾多領(lǐng)域的應(yīng)用提供了新的思路。

參考文獻

[1] 汪騰浪，田元.基于AR技術(shù)的教育產(chǎn)品的開發(fā)研究[J].軟件導(dǎo)刊，2017，16（6）：82-84.

[2] 李婷婷，王相海.基于AR-VR混合技術(shù)的兒童智力開發(fā)系統(tǒng)研究[J].計算機工程與應(yīng)用.2019（12）：8.

[3] 陳幗鸞，劉建翰，高劉杰.基于AR增強現(xiàn)實的古詩詞兒童教育系統(tǒng)的設(shè)計與實現(xiàn)[J].科技視界，2018，12（35）：6-7.

Design and Implementation of? Children's Poems Mobile Application Based on Augmented Reality

CHEN Guo-luan，GAO Liu-jie

（School of? Information Engineering， Zhongshan Polytechnic， Zhongshan? Guangdong? 528400）

Abstract：With the development of science and technology，Augmented reality has been integrated into today's education.This system is a application of Childrens Poems based on augmented reality.Download and launch Cube apps on your smartphone or tablet.Point your device at the Cube.Watch the Cube transform into a virtual object you can hold.The rotating MergeCube is the rotating three-dimensional scene. You can interact with it，and make Video recording， taking photos， voice calling and other functions come true.

Key words：Augmented Reality;MergeCube;Unity3D;childrens poems