中小學生初探編程
——智能AR 學習系統的設計與研發

張君輝，路子寬，曹佳偉

（青島工學院，山東 青島 266399）

引言

AR（Augmented Reality）即增強現實，它是將真實世界和虛擬世界連接起來的的技術，把現實世界中所存在的虛擬信息，通過一種技術來模擬這種信息，模擬它、重復它，并將虛擬信息應用于現實世界，應用于人類感官。AR 在虛擬現實與現實中存在，它采用了專門的加工方法或使用了專門的道具，使現實和虛擬結合在一起，取得和諧統一。增強現實技術主要包括多媒體、三維建模、實時視頻顯示與控制、多傳感器融合、實時跟蹤與注冊、場景融合等新興技術[1]。

編程不斷成為我們生活中的一種必備技能，其學習手段和方式，必然成為我們關注的一個點。利用AR滲入學習的方式能夠帶來很多教育方面的優勢。第一，學習方式的多樣化增強。通過三維立體浮現，視頻，闖關游戲等方式，使得學生更加沉浸于其有趣多變的學習中。第二，學習的場景真實性加強。AR 技術結合學習內容，能夠有效的加強中小學生對知識的理解和對物體的認知能力。多媒體、三維建模、視頻、游戲等都提供給學生們以良好的互動。通過不斷研究AR 技術，讓AR 的使用范圍更加廣泛。根據學生不同的個性，提供不同的學習環境和交互體驗。

1 AR 學習平臺在教育領域的國內外發展動態

國內：2017 年11 月23 日上午，由教育部《中國教育信息化》雜志主辦的2017 年全國教育信息化創新與應用成果展覽在武漢國際博覽中心重啟。會上，國內首個AR / VR 普教云平臺、國內首個將K12 教學內容與AR / VR 技術、大數據技術相結合的教學平臺——AR 奇葩學校正式上線[2]。

AR 奇妙學堂作為中國首家AR/VR 普教云平臺及中國首家結合K12 教學內容的AR/VR 技術和大數據技術教學平臺，影新科技歷時2 年重磅推出，其運用最前沿的AR, VR 開發引擎以及教育行業特有的大數據分析算法嵌入AR/VR 教學課程2000+,成為當前中國最大的AR/VR 課程庫。

國外：自2016 年，美國教育部便在高等教育中推廣 VR 技術。據了解，華盛頓大學最早開設VR/AR 相關課程；位于加州圣何塞的科格斯韋爾大學（The Cogswell College）也正式開辦VR 和AR 專業[3]，美國中小學開始使用增強現實（AR）進行教學。增強現實（AR）是基于虛擬現實技術的一種擴展技術，它集顯示、交互、傳感、計算機圖形學和多媒體技術于一體，是一門典型的跨學科技術。加利福尼亞州的《加州公立學校課程標準》（K-12）提出，在教學中應用增強現實技術可以為培養學生的能力和教師應具備的素質提供巨大的外部幫助，從而促進學生內外學習動機的轉化，通過AR 技術進行學習可以促進學生的創造力[4]。

2 AR 學習平臺研究內容

2.1 研究視頻學習+模型展示的方法，簡單的視頻通過AR 技術后立馬變得立體、生動，實現跟蹤技術的基于視覺的跟蹤定位技術，實現二維圖片定位，三維圖片定位和基于SLAM 的三維環境定位，可以實現立體圖像通過視頻展示。

2.2 研究編程游戲制作＋闖關的實現，通過在AR 系統上構建編程游戲的背景模型，提供給用戶已經封裝好的編程命令，用戶通過各種組合不同的編程命令達到通過關卡的要求，并記錄闖關時間。

2.3 研究錄制視頻離線傳輸的實現，用戶使用錄制視頻離線傳輸的方式是通過流媒體傳輸形式進行的，其核心是串流(Streaming)技術和數據壓縮技術，使用緩存機制，解決數據傳輸的丟包問題和數據傳輸擁塞問題。選擇更合適傳輸視頻數據的UDP 等協議。

2.4 研究在線與用戶視頻的實現，通過在AR 系統上建立視頻交互窗口，通過服務器中轉方式以及編解碼（音視頻）技術+流媒體技術，采用UDX 協議，并解決網絡延遲問題。

3 AR 學習平臺創新點與項目特色

（1） 采用了當今流行的AR 技術，使得在顯示、交互、傳感、計算機圖形與多媒體技術等方面得到了充分的利用和結合。（2） 利用AR 技術，可以利用充分的立體結構模型來幫助孩子理解很多通過想象不容易理解的問題。加強了學生的學習能力，促進了孩子的興趣產生。（3） 利用AR 的學習平臺進行程序設計的初步學習，促進了孩子們對計算機對編程的認識和了解。從娃娃抓起的計算機編程，為以后孩子擁有更大的潛力做好充足的鋪墊。（4） 對于中小學的教育可以集中于在非智力因素上，如學習環境、學習方式、學習策略等來利用AR 技術。（5） AR 技術能夠降低成本，AR 技術能夠讓課程變得虛幻化，不需要實質性的物品和材料。例如，在人體解剖中，AR 可以呈現3D 虛擬人體，用戶可以控制控件并查看三維圖像。在生物課上，使用AR 卡進行教學，以便更直觀地了解生物結構[5]。

4 AR 學習平臺技術參數

3D 模型：3Dmax 或maya 輸出。

MP3 格式：音頻輸出4.8 hz。

識別圖：JPG 格式或者PNG 格式，1 200×1 200 px 以上。

客戶端類型：IOS，Android。

5 AR 學習平臺研究路線

研究路線：

5.1 準備工作。在vuforia 做的操作是添加數據庫，也就是用來識別的目標，切換到Target Manager 視圖，點擊Add Database：

選擇device 類型，target 就是我們添加過的目標對象，一個數據庫可以有多個識別目標，用名字區分，Rating 的星星數越多它的可辨識度就越高，勾選需要的目標點擊下載，平臺選擇Unity 就會自動生成一個unitypackage 給你下載到本地。

通過點擊Add Target 添加目標，這里選擇最簡單的二維圖像為目標。在數據庫面板點擊某個目標的名稱可以看它的特征點，十字表示的是計算得到的特征點，特征點數越多，識別效率越高：在Unity 中打開Edit->preference->External Tools 填 寫jdk 和sdk 路徑。

5.2 創建一個單圖片預定義目標識別的應用。在完成上述步驟后打開unity，導入VuforiaSDK 的擴展包（高版本不需要），新建場景刪掉主攝像機，進入主界面vuforia->prefab，選擇ARCamera 和ImageTarget：導入的模型，可以在Assest store 下載完整的模型擴展，當然也可以是自己做的，自己做可能需要導出fbx 模式。把模型拖到ImageTarget 下，把剛剛下載好的數據庫導入（在 Assests 面板點擊鼠標右鍵 ->import pacage->custom package，選擇下載的database）以備用。進入vuforia 項目配置面板填寫許可證并激活數據庫：點擊image target 在其右側Image Target Behaviour 中勾選數據庫及識別圖像。

5.3 用戶自定義目標識別應用實現。打開ImageTargetBehavior 組件，將Type 從predefined 改為userDefined。

5.4 模型動畫。點擊一個動畫，右側點擊Rig。找到模型，為其添加Animation 組件，添加一個默認動畫。

5.5 播放音樂。AudioClip 加入音源，可以調節音頻關的效果，還可以調節3D 效果。在ImageTarget 對應的面板將添加到模型上的音樂拖過去。

5.6 識別播放的視頻。目前vulforia 已經提供了免費的視頻組件VideoPlayback，官網可下，做法在下面給出：Imagegetarget 下添加預制體Video。ARCamera 下掛載 腳 本PlayVideo；Imagetarget 掛 載trackable Event Handler 腳本并刪除原先的Default Event Handler;Video 對象下Videoplayback 組件path 變量加入所播放視頻的名稱，視頻存在StreamingAssest 下。

AR Liscense 填寫及數據庫激活后即可實現播放視頻。

6 AR 學習平臺未來展望

AR 在現在有很大的發展潛力，在未來也有很多的發展空間。AR 在教學領域中的作用很大，但是如果老師或者學生的操作受限，也必然會影響AR 在學習領域的研究。學生依然以傳統學習方式為主，對于很多新型的AR 設備，他們了解的還甚少，很多方面的研究，我們還處在表面，因此發展需要很長的一段時間。隨著教育的不斷改革，科學技術的地位日益上升，因此，我們要適當加強AR 的研究力度，通過不同的方式，解決當前學生的編程學習問題。從電視機，投影儀開始學起，再到AR 眼鏡，AR 電腦等，從簡單的虛擬環境，慢慢配合三維移動物品，學生能學到除知識以外的很多操作技術，也能了解當今科技的前沿[6]。因此，相信在不久的將來，我國的AR 技術會與學習領域融合的非常融洽。

現在，我國“互聯網+”、人工智能、大數據的熱潮不斷涌起。AR 技術適用于學習之中，但是由于AR 技術的硬件設備還不夠完善，現階段市場上依然找不到可以大量生產的AR 設備。虛擬現實與增強現實技術為學生自主學習提供了有利條件，虛擬現實與增強現實技術為學生提供更加真實的情景，AR 可以讓全國各地的學生們聚集在一個虛擬環境中，一起學習，并且達到真實、實時的互動。

[1]周世明,柳思宇.基于AR 技術的學習系統的設計與研發[J].電腦迷,2018(3):182.

[2] 霍莉樺. 基于AR 的深度學習平臺研究與開發[D].天津：天津職業技術師范大學,2018.

[3]李小平,陳建珍,趙豐年,等.AR/VR 學習情境設計問題的研究[J].現代教育技術,2017,27(8):12-17.

[4]盤華,鐘正,陳衛東.基于移動AR 的幼兒學習資源設計與應用[J].教育研究與實驗,2020(3):76-79.

[5]鐘佳德.教育工具成AR 技術發展方向[J].消費電子,2016(6):50-53.

[6]梁慧慧.基于AR/VR 技術的室內設計專業高效課堂教學模式構建[J].工程經濟,2018,28(10):60-63.