增強現實動畫技術在兒童教育中的開發研究
——以AR涂涂樂為例

（四川音樂學院，四川 成都 610000）

隨著2016年增強現實（Augmented Reality）技術的爆發式增長，各大科技企業如谷歌、Facebook、阿里巴巴等開始投資虛擬現實和增強現實領域，而可口可樂與宜家家居在增強現實AR廣告的應用，更加印證了AR技術正在不斷的發展中。2018年的資本市場開始慢慢冷靜下來，增強現實概念逐漸淡出大眾視野。除了技術在不斷沉淀，AR技術應用開發將是其最終發展之路。增強現實AR技術在教育中將抽象的概念通過三維模型的疊加使其形象化。利用交互手段使得學生感受更加貼近真實世界，從視覺、聽覺沉浸式的體驗知識的樂趣增強了學習的趣味性，達到寓教于樂的目的。

一、增強現實（AR）技術的教育應用概述

增強現實技術最早于1990年提出，隨后經歷了近30年的探索研究。2009年SPRXmodbile公司推出了全球首款Layer的增強現實瀏覽器，能幫助用戶通過手機獲取當前環境的詳細信息，2012年4月，谷歌發布了一款眼鏡（Goolge Project Glass）用戶可以通過顯示屏提供輔助信息，同時可下達語音指令，實現拍照、導航、電話等功能。增強現實技術是在虛擬現實技術的基礎上發展而來，主要利用電腦圖形圖像技術、可視化技術將真是世界與虛擬世界進行“真實”結合的技術。其把虛擬物體信息疊加到真實空間，也可以將不可見的概念實時交互的融合在真實世界中。

增強現實的硬件系統主要以計算機系統、標識識別系統、顯示系統、傳感器組成的人機交互系統組成，其主要有以下幾種技術手段來實現計算機圖形和可視化技術，由此將虛擬的物體與真實環境進行融合。AR與VR技術相比，AR可以不用穿戴設備，將學習對象與仿真世界融合呈現，使之方便有效地進行操作，在應用中用戶以自然的交互手段進行自主探索，獲得知識，能將真實環境無法表現的信息比如說磁場、電波、分子結構等與真實環境結合，且能互動，獲得實時的交互體驗。

（一）圖像識別技術

通過對圖像的特征進行分析計算得出對應的攝像機位置和圖像特點。當攝像頭拍攝到預定圖像時將根據識別到的信息如圖像位置、大小、旋轉、反求出攝像機位置、移動、旋轉等，由此可將3D虛擬模型疊加到真實空間中。除了特定單一圖片，在特定場景或者物體的識別技術都與圖像識別技術原理相同。如宜家家居AR情景廣告，通過手機應用掃描宜家家居的畫冊，可以看到家具模型，可將喜歡的家具放入到自己家中查看展示效果。

（二）定位技術

除了通過圖像識別到鏡頭的旋轉等信息以外，還可以通過電子羅盤、GPS等設備來獲取定位所在位置。如Pokemon Go的交互游戲、谷歌發布的Project Glass等。例如Project Glass它體積雖小但是將智能手機、GPS、相機集于一身，可以通過語音來控制拍照、發信息，使用地圖導航、分享、直播等多種功能。利用定位技術，結合網絡的傳輸，可現實地圖信息將交互性提升到了一個新的臺階。

二、增強現實AR數字化教育的產品開發現狀

（一）幼兒教育

增強現實AR產品應用涵蓋多種方面，而在教育、醫療、科技、旅游、游戲以及大屏互動等應用中相對成熟。其中在幼兒教育領域比較成功的方式如AR卡片識物、多卡搭建場景、涂涂樂圖書。在未來AR教育依然是技術應用極其重要的方向，幼兒教育環境本身對創新教育方式保持相對積極的態度，而且幼兒又更容易接受新鮮事物，在實際課堂中，借助AR技術將世界各地風景以3D的形式體現出來，甚至還能加入人機交互，在豐富了課堂內容的同時增強了學習體驗，大大增加了課堂學習趣味，提高了學生學習興趣。這使得AR在教育領域應用變得更加具有開發價值。

（二）中學教育

在中學階段的增強現實應用主要以課堂理論和實驗室實踐為主要方案，提升理論知識的趣味性、形象化。在中學階段，學生開始學習物理、化學、數學等抽象概念學科，增強現實可以幫助老師在課堂快速實現理論知識的可視化操作，對提升學生的抽象思維、探索能力也具有積極的促進作用。例如“云幻科教AR教學”應用方案。其涵蓋了物理、化學、生物等學科，以中學的課程為方案設計，在演示過程中可以進行手勢操作。可以通過交互方式從各個角度觀察物理現象、生物動畫、化學反應動畫等，作為一種教學手段提升了學生的參與度，同時豐富了教學模式。

（三）高等教育

增強現實AR技術在高等教育中的應用同樣十分廣泛，它可以將抽象立體幾何圖形進行3D可視化，可以將機械模型進行拆分，將人體骨骼、肌肉、經脈等展現在學生面前等等。據研究表明，增強現實在教育教學中能幫助學生更加直觀方便地獲取專業知識，在教學過程中免去了復雜的抽象的概念，免去了手工拆分模型的煩瑣，有助于學生專注于核心知識。這種沉浸式的體驗，有助于培養學生專注力，訓練學生的空間思維能力。目前增強現實在各個學科領域的應用，表明了作為一種技術手段其特有的沉浸式、交互式的優勢，它可融合與各行各業，對各行各業相關專業的發展有很強的促進作用。

三、在移動客戶端下的兒童圖書動畫產品需求分析

增強現實在圖書領域的應用主要體現在書本作為可識別的對象，結合AR技術展現出3D物體，同時兼備沉浸式、交互式，甚至擴展AI智能的特點。開發兒童對事物認識的思維，拓展理解事物的維度。作為商業產品的應用，兒童圖書產品需要更多關注到用戶體驗，比如更多考慮到書本識別圖案的獲取便利性、移動端對物體識別的便利性、產品的趣味性、可拓展性等因素。由此在制作基于增強現實技術圖書中，除了遵守最基本的兒童教育圖書相關法律和道德規范。對3D畫面的設計應當適合兒童的美術風格；對交互性設計可選擇以非文字方式體現，可采取手勢控制、語音指令等方式體現。如由海洋出版社出版的兒童《AR涂涂樂2》系列圖書，分別由多樣職業系列、奇妙自然系列、多彩社會系列有趣物品系列四部分組成，通過手機客戶端下載APP選擇對應圖書進行AR識別，兒童可將自己涂色的人物顯示成三維模型，在美術和動畫設計上選用可愛Q版風格，畫面清新明亮，同時配有語音和屏幕觸摸交互設計。

四、兒童AR涂涂樂動畫產品開發

涂色類AR應用是將真實的圖書圖案圖上顏色顯示在虛擬模型上的一種AR應用，其通過繪畫的方式與虛擬模型的顏色呈現做了一個交互體驗，讓客戶有了另一種參與感受，這種AR技術方式對兒童的動手能力、色彩思維、立體空間形象思維等開發有很強的參考價值。目前涂色類AR在技術實現上有兩種體現，第一種是實時的涂色（涂色過程會實時顯示在虛擬模型上），另外一種是固定涂色（涂色結束以后，需要展示涂色效果的時候才顯示在虛擬模型上）。兩種方式各有優點，實時涂色方式可以實時顯示體驗過程，但在繪制過程中往往無法保持相機位置，識別容易受到環境因素而形成干擾；而固定涂色方式，是繪制結束以后才顯示繪制效果，在識別過程中不容易出現干擾。

五、基于計算機圖形識別的三維配準技術

在AR識物卡片涂涂樂實例中，可以方便的選定需要的三維配準工具，當下常用引擎為unity3D而支持引擎的增強現實的SDK配準插件包有Vuforia、EasyAR和Wikitude等。目前市面上主要的SDK開發工具包為Voforia和EasyAR。Voforia是增強現實應用的軟件開發工具包，其除了平面圖片識別還提供了圓柱體、立方體、虛擬按鈕、智能貼圖等功能。而EasyAR是國產增強現實SDK在行業中使用較多，其推出的免費版獲得了許多愛好者的擁護，隨著市場競爭愈來愈激烈EasyAR也不斷在更新使其功能更加完善，可實現的效果也就越來越豐富多樣，最終才會推動AR產業不斷向前發展。Wikitude是國外一款增強現實SDK，與其他競爭者相比，它支持地理信息定位，而識別類型目前只有圖片識別功能。

六、基于SDK開發工具包的增強現實制作技術整體設計

在制作AR增強現實中的SDK開發工具包有很多，本文以EasyAR為例。在基于EasyAR的增強現實制作流程中，主要劃分4個步驟：涂色類AR識別圖案設計、三維模型制作、配置識別圖和模型制作、獲取正確貼圖的編程。

（一）涂色類AR識別圖案設計分析

識別圖設計的優劣會直接影響到最終能否被引擎識別，最終影響呈現效果。在涂色類AR的識別圖中，分為兩個部分，第一部分是有色部分，這一部分信息會作為定位模型的依據，第二部分是空白區域，這一部分需要客戶手動上色以后在虛擬模型上呈現出來材質顏色區域。而第一部分的有色區域需要考慮美觀以及可識別性，我們可以利用加大圖案的復雜程度、清晰程度、對比程度來增強圖形的可識別性。識別圖的設計展現方式中常見有兩種呈現方式，一種是正交識別圖（空白待填色區域體現物體正面和背面），另一種是非正交識別圖（空白待填區域是生動的動作設計），兩種識別圖各有優點，正交識別圖可以比較完美地將顏色賦予虛擬模型，但是識別圖從設計上來講顯得呆板無趣；另一個非正交識別圖，動態感比較強提升了美觀性和故事性，但是最后識別出來的貼圖賦予到虛擬模型上以后，材質顯示會出現比較明顯的拉伸變形效果，有些部分會形成遮擋，以至于無法單獨上色。

（二）涂色類AR三維模型和動畫標準分析

在3D建模中常見的模型類型有多邊形網格和曲面。在引擎Unity3D中用于增強現實場景常用的是多邊形網格poly，為了提高客戶端運行效率，模型網格數量應該嚴格控制在一定范圍，目前行業對場景和普通物體模型的網格數量要求在三千個左右，而卡通人物的網格數量控制在一萬個以內，模型的網格數量越低運行效率越高，但是細節容易損失，需要在畫面質量和運行效率中找到一個平衡點，既能滿足普通客戶配置要求，又能得到更好的體驗。在對模型法線要求中需要法線方向朝外，以便更好顯示貼圖材質，在擁有動畫數據和貼圖數據后，需要將動畫進行烘焙。

七、配置識別圖與獲取正確貼圖的原理

在涂色類AR案例中，之所以能把圖書中涂色部分的顏色匹配到三維模型上，是因為三維模型的材質現實是基于UV貼圖，首先需要讓客戶端APP識別到圖書中的識別圖，并將識別圖作為UV貼圖傳遞到物體上，作為物體的材質素材圖啟用。所以在UV貼圖制作項目中需要將模型的UV展開，并將UV于識別圖模型的結構進行匹配，為了避免跟蹤數據的不穩定因素造成貼圖的錯誤，也可以適量將UV邊緣與識別圖的邊緣保持一段距離，來避免識別誤差導致的不理想效果。

八、資源整合及編程實現

在Unity3D引擎中我們可以很方便搭建三維場景，可將模型、動畫、聲音、物理系統等素材資源進行組合，它是一個多平臺綜合型的游戲開發工具，在增強現實AR領域應用十分廣泛。在本項目中選用可在Unity3D中使用的增強現實EasyAR工具包。在操作中我們需要登錄EasyAR的官網下載開發工具包，在導入引擎以后會自動提供一個“ImageTarget”，此物體是作為場景中的識別物體現實，將需要識別圖片拖入“StreamingAssets”目錄下，通過對“Inspector”中的屬性進行設置，并將場景材質與識別圖進行關聯。這樣即可實現基本的增強現實AR效果。

在實現可識別圖案后，作為涂涂樂AR的需要，對模型材質部分還需要用程序進行指定。在引擎中的實現方法可以采用自動啟用識別出的材質，也可以通過按鈕替換方式來實現貼圖材質。在自動啟用中，這里制作一個新的材質Mobile/Diffuse,將材質賦予模型（模型植物體中的網格物體），不過模型材質還是為空，是因為材質并沒有獲得任何可用信息。在這里解決辦法是新建一個C#Script對存儲的模型和貼圖通過函數將其關聯。其關聯主要代碼如下：

在另一種呈現方式是通過按鈕替換貼圖，要實現這一功能需要調用引擎的UGUI的“Button”來實現點擊按鈕來顯示貼圖或者取消顯示。在這里對按鈕的點擊事件中需要設置On Click（）下的表達式管理來添加對應的函數代碼。在此案例中使用按鈕替換貼圖，其主要代碼如下：

在后續測試中，會出現貼圖不準確的情況，這是因為在獲取識別圖時，直接將所有不想關聯的識別區域一并賦予模型。解決這一的問題可以通過獲取識別圖的四個邊角在空間位置的坐標，以此來準確獲取識別圖的區域，獲取此區域以后，就可以將它的位置定義到著色器shader上。最后通過將識別圖的資源與定位出來的區域進行調用即可實現正確的貼圖效果。

九、總結

如今科技不斷發展，教育數字化在教育應用中也在不斷創新，虛擬現實AR技術的采用加快了教育改革創新步伐，如何開發符合市場需求的創新產品也是當前所缺乏的，在教育領域增強現實AR技術為學生建立了直觀可視化的教學案例和交互平臺，其將抽象的教學知識可視化，輔助學生對不可見的自然物象進行可視化；同時讓學生交互式體驗不同實驗室的研究過程，增強了學生在學習過程的參與感，培養學生發散性思維。作為教學活動的新方式，增強現實AR技術也豐富了教學活動，為課堂注入了動力，提高了學生的學習趣味性，為傳道授業解惑的教育事業增添了新的活力，如何利用好增強現實技術AR為教育服務正是我們需要探索和研究的領域。