增強現實與智能交互研究生課程教學設計與實踐

王菖 葉磊 牛軼峰

摘要：分析目前增強/虛擬現實（AR/VR）課程教學設計與實踐經驗的不足，提出以交互技術、成像技術、跟蹤定位技術為教學重點，面向全校范圍選課的研究生學員，通過難易適度的課程實踐設計，激發學員的學習熱情，培養學生的動手能力和創新能力，幫助學生深入理解增強現實與智能交互的基本理論，從而實現培養新型高素質AR/VR專業技術人才的目標。

關鍵詞：增強現實人機交互智能系統課程設計課程實踐

中圖分類號：G64文獻標識碼：A ? ? ? ?文章編號：1672-3791（2022）01（a）-0000-00

The Design and Practice of a Graduate-level Course： Augmented Reality and Intelligent Interaction

WANG ChangYE Lei NIU Yifeng

（National University of Defense Technology， Changsha，Hu′nan Province，410073 China）

Abstract： The limitation of the design and practice of the current Augmented Reality/Virtual Reality （AR/VR） is discussed， and it is proposed that interaction， imaging and tracking are the three core technologies. Considering the diverse source of graduate students that join the course， flexible levels of difficulties are designed for practicing the theories of the course， in order to motivate the students to improve their innovative and hands-on abilities. In this way， the students are expected to understand better the theories of augmented reality and intelligent interaction. As a result， the goal of educating high-quality AR/VR talents could be achieved.

Key Words： Augmented reality; Human-machine interaction; Intelligent systems; Course design; Curriculum practice

2021年3月13日，《中華人民共和國國民經濟和社會發展第十四個五年規劃和2035年遠景目標綱要》正式公布，在“建設數字中國”篇章中框定了數字經濟重點產業的七大產業方向，增強現實和虛擬現實位列其中。增強現實技術將計算機生成的圖形、數據疊加到真實世界的圖像上，為信息交流、過程可視化和思想的創造性表達提供了新方法，代表人機界面發展趨勢。《增強現實與智能交互》作為面向全校研究生學員的選修課，旨在幫助學生理解增強現實的基本原理和生成虛擬環境的過程，掌握增強現實系統實現方法。目前，國內高校開設的增強/虛擬現實相關專業課程資源較少，課程的理論教學缺乏系統性和科學性，尤其是實踐方面尚未充分考慮選課學員專業的差異性。該課程面向學校不同專業基礎的研究生學員，注重實踐環節的教學設計，使學員能自主選擇合適難度的增強現實軟件工具完成典型的人機智能交互設計任務。

1 ?增強現實相關概念內涵

增強現實（Augmented reality，簡稱AR）是一種將計算機生成的圖形、數據等虛擬對象疊加到真實場景上，并且可以通過多種方式與虛擬對象實時交互的一種技術。虛擬現實（Virtual Reality，簡稱VR）是指用計算機圖形學和仿真技術生成三維人工環境，使用者利用各種傳感器設備融入虛擬空間，以自然的方式與三維環境交互，使人感覺到完全沉浸在另一個世界中，使人能做在真實世界中不能做的事情[1-2]。將真實環境和虛擬環境分別作為連續統的兩端，位于連續統中間部分被稱為混合現實（Mixed Reality，簡稱MR），如圖1所示。

2 增強現實與智能交互課程學情分析

該課程面向全校研究生學員，歷年選課人數一般在10～20人左右。本課程要求學員具備計算機圖形學、圖像處理、程序設計語言等相關基礎知識。但是，近幾年的教學情況表明，部分學員不具備上述預修知識。例如，2020年春季學期有 9名學員選課，其中2人具備一般水平的計算機圖形學基礎知識，7人沒有接觸過相關知識。由于計算機圖形學是學習增強現實的必備知識，因此，該課程計劃安排6課時進行簡介。此外，選課學員的計算機編程水平參差不齊，計算機、自動化、電子信息等工科專業的學員編程基礎較好，但文科專業（例如語言學、政治學）的學員編程基礎薄弱。因此，本課程的實踐環節需要考慮學員的基礎差異較大的問題，因材施教，設置難度可選的作業。

3 增強現實與智能交互課程教學總體設計

3.1 ?教學目的與課程設計總體思路

該課程以交互技術、成像技術、跟蹤定位技術為教學重點，幫助學生掌握增強現實基本概念和原理，學習運動跟蹤和三維圖形生成技術，學習增強現實界面支持的新型人機交互模式，掌握設計增強現實系統的基本方法，了解增強現實的主要研究方向和應用領域，了解增強現實環境下的人機交互基本原理和技術。該課程采用的是兩本國外的經典教材[3-4]。該課程共36學時，其中課堂講授26學時（如圖2所示），課程實踐10學時。

3.2 ?線上線下混合式教學模式

受新冠疫情影響，該課程于2020年春季學期首次采用線上線下混合式教學模式。按照學校統一安排，理論課教學環節全部采用線上教學模式，實踐課環節采用線下教學模式。具體而言，線上教學采用騰訊會議結合長江雨課堂的方式。其中，騰訊會議的優勢在于網絡信號較好，具備多種屏幕共享模式，支持多人在線互動。長江雨課堂的優勢在于可保留教學過程視頻，支持教學過程中的隨堂測試和問卷，方便教師了解學員掌握相關知識點的情況，如圖3所示。

“增強現實與虛擬現實的差別”屬于較容易的知識點，通過一次講解，學員的掌握效果顯著。然而，對于較難的知識點，例如“增強現實系統基本功能結構”，通過一次講解，學員仍不能完全理解該知識點，需要教師及時調整授課策略。

4 增強現實與智能交互教學實踐環節

4.1 課程實踐環節的必要性和目的

增強現實與智能交互是一門實踐性很強的課程，主要涉及計算機圖性學、計算機視覺、圖像處理、人機交互、機器學習、計算機程序設計等許多學科，所以該學科具有知識點多、涉及面廣、理論性強，需要學生具備較好的邏輯思維能力和數理基礎等特點，因此，必須通過實踐才能加深對知識的理解。從加強學生的實踐能力出發，考慮到課程的建設需要，需要加強增強現實與智能交互課程的實踐教學內容。

4.2 面向學員基礎差異性較大的實踐設計思路

目前研究生學員的學習任務較重，并且學生的基礎參差不齊，所以在設計實踐環節時，必須把握如何能在較短的時間內讓學生得到最大的能力鍛煉。在這種情況下，教師必須進行充分的準備，事先搭好通用的軟件框架，減輕學生不必要的負擔，為學生營造良好的氛圍，將學生的主要精力集中在創新實踐上，這樣才能提高實踐教學的效率。結合該課題組在人工智能[5]、無人機系統[6-7]、智能系統[8]等課程實踐的設計經驗，該課程的實踐環節推薦學員使用Unity軟件，可根據學員自身的編程基礎和偏好，自選Vuforia、ARcore、easyAR等組件。

4.3 課程實踐小結

2020年春季學期，9名學員自愿分為6組完成了實踐環節。部分實踐作業完成情況如圖4所示。

圖4（a）所示實踐作業采用Unity+Vuforia平臺，用校園卡背面的圖案對著攝像頭，通過圖像匹配和視頻疊加，可在校園卡表面播放指定視頻，視頻具有暫停按鈕和播放按鈕等人機交互方式。

該組兩位學員來自于政治學專業，無任何計算機圖形學、計算機編程基礎。教員和他們自己起初都很擔心無法完成課程實踐環節，后來他們自學軟件使用方法，開發了增強現實小應用，提升了能力和信心，并計劃將增強現實技術用于政治工作的宣傳上，實現了多學科的交叉融合運用。

圖4（b）所示實踐作業采用Unity+Vuforia平臺，選擇C#編程語言。通過手機拍攝圖片，識別之后，會在圖片上方產生相應的動態背景與虛擬人物，并伴隨音樂背景。人物模型自下而上緩緩升起，當人物完全出現后，動態背景消失，系統會播放歡迎語句[9]。在不同的圖片上，會產生不同的人物的模型，每個人物模型會有不同的動作。通過手指操作手機屏幕，可以對人物模型進行操作，對人物進行放大或縮小，也可以旋轉人物模型，從不同角度觀察人物模型。撲克牌1中的人物模型的動作包含：“走路”“跳舞”“跑步”“射箭”。撲克牌2中的人物模型的動作包含：“跑步”“跳舞”“俯身”“眺望”“射箭”。

該組學員來自于計算機學院，具備較好的編程基礎，且具有較高的學習熱情，因此自選較高難度的實踐作業。通過課程實踐，該學員加深了對AR理論和技術的理解，初步具備了AR項目開發的經驗。

5 ?結語

增強現實與智能交互課程以交互技術、成像技術、跟蹤定位技術為教學核心內容，結合難易適度的課程實踐設計，幫助學員深入理解增強現實的基本理論，培養了學員的創新能力和信心，最終提高了課程的教學效果。2020年，首次實現了線上理論結合線下實踐的混合式教學模式，取得了較好的效果。學員們反饋，實踐環節難度合適，加深了他們對增強現實理論知識的理解，激發了他們對增強現實技術的興趣。該課程擬構建實踐教學案例庫，實現具有持續性和繼承性的實踐教學新模式。

參考文獻

[1] 張竑.虛擬實踐研究[D].北京：中共中央黨校，2019.

[2] 韋艷嬌.沉浸式虛擬現實課堂設計方案研究[D].上海師范大學，2017.

[3] 迪特爾·施馬爾斯蒂格，托比亞斯·霍勒爾.增強現實：原理與實踐（英文版）[M].北京：機械工業出版社，2018. [4] 盧強.信息技術環境下課程學習生態研究[D].華中師范大學，2017.

[5] 張國忠.淺談人工智能課程的教學實踐環節[J].科技資訊，2007（15）：139-140.

[6] 李杰，王菖，牛軼峰，等.無人機系統智能決策課程教學設計與實踐[J].計算機教育，2016（10）：11-14.

[7] 牛軼峰，賈圣德，李杰，等.以智能為核心的無人機系統課程體系設計[J].計算機教育，2016（10）：37-41.

[8] 王慧，姜守嶺.數字液壓缸反饋螺桿庫倫摩擦仿真研究[J].控制工程，2020，27（4）：662-668.

[9] 韓雨江.當代數字視覺藝術研究[D].長春：東北師范大學，2019.