曹 知,丁曉娥
(1.文山學院 信息科學學院,云南 文山 663099;2.文山學院 外國語學院,云南 文山 663099)
增強現實(Augmented Reality,簡稱AR)是對現實世界的延伸,“增強現實”這一詞匯是由20 世紀90 年代波音公司研究員托馬斯·考德爾提出的[1],最初用于解決飛機制造中工作量巨大的裝配問題[2]。
1994 年,Milgram、Takemura、Utsumi 等人探 討了增強現實技術的概念,認為增強現實廣義上是利用虛擬線索為用戶增加自然反饋的技術,狹義上是能夠實時看到現實世界的虛擬現實[3]。同時,還存在“混合現實”的說法,有學者認為這是對增強現實技術的進一步發展,比增強現實的概念范疇更廣。從廣義范疇上來看,“混合現實”與“增強現實”具有極大的重疊性,是同一事物不同時期的發展形態。
增強現實技術在學科教育、職業培訓、醫學、工程教育中已有一些應用,尤其是在技能類教學及語言教學中有不少應用案例。2016 年之后,微軟等商業公司加大了對虛擬現實、增強現實、混合現實等技術的投資和開發,推出了相應的開發套件,如ARCore、ARKit 等,這些開發工具促進了增強現實技術在移動終端的普及應用,同時相繼推出了一些可穿戴式增強現實產品,引發了消費者及學者的新一輪關注。
國內對增強現實技術在教育中的應用研究早已起步,2007 年曲阜師范大學徐媛探討過增強現實技術在教與學中的應用方式。通過CNKI 檢索發現,2011 至2015 年,平均每年有22 篇相關文獻,2016 年相關文獻數量增至60 篇,之后逐年增長,到2018 年為158 篇。
縱觀這些研究,早期關注增強現實技術引入教育教學的路徑,之后聚焦與具體學科的融合方式及教學App的開發。從這些研究中還可以看到,目前增強現實技術的教育應用中還存在一些瓶頸問題:一是增強現實在技術層面還有待進一步突破,二是增強現實技術在教育教學中應用的理論體系還有待完善,三是圍繞增強現實的教學資源建設還處于起步階段,具體如下:
隨著相關基礎技術的不斷發展,增強現實在技術方面已經達到了一個新的層次,但依然存在著一些影響用戶體驗的瓶頸問題,限制其進一步的發展。目前較為主流的增強現實技術,與概念中所界定的特征還有一定的差距,新的普及性特征有待發展,這一過程可能是漫長的。
(1)顯示方面
顯示方面的局限主要體現在分辨率、系統延遲、刷新率等指標上。
傳統的多媒體,一般只處理和呈現文本、圖形、圖像、音頻、視頻等形式的一種或幾種,處理的信息量相對有限。而增強現實虛實結合的特點,意味著在處理現實數據的同時,還要處理生成的虛擬環境,這是以往的普及性設備所難以勝任的。
頭戴式設備過低的顯示分辨率會導致“紗窗效應”,用戶能夠看到像素點,產生不真實感,影響體驗的沉浸性。2019 年更新的新版Hololens,分辨率也僅達到2K 級別,而根據AMD 公司之前的數據,16K 分辨率的設備才能形成優質的體驗[4]。而高分辨率又對圖像處理能力提出了一定的要求,當前一些顯示處理設備每秒生成的圖像數量低于60 幀,會導致用戶因視覺疲勞產生“暈動”反應,甚至出現頭暈、嘔吐等癥狀,有類似相關性的還有顯示設備的刷新率。
受限于當前的顯示技術和計算能力,頭戴式增強現實產品還難以提供優質的沉浸性體驗,這一類的消費級設備價格昂貴,用戶黏性較差。而手持式和臺式增強現實產品,不追求極致的沉浸性,大多是將增強現實應用運行在現行設備上,從而提供較為基本的增強現實體驗。
(2)交互方面
豐富的交互是以跟蹤和定位為基礎的,得益于傳感器技術的發展以及圖像處理算法的優化,當前增強現實中識別和定位物體的精度已有很大程度的提高,可以滿足非復雜環境下的基本需求。但現實環境中的光線、表面平整度等會對定位及跟蹤形成干擾,加上數據處理帶來的延遲,使得最終畫面出現大量的錯位,極大地影響著實際使用體驗。這些對用戶造成的技術不成熟印象是較為直接的。環境理解、光線評估等方面問題的解決亟待機器視覺研究的突破,大數據技術、人工智能技術正在為這一領域帶來改變。
此外,人機交互方面也存在一些問題。為了保障可靠性,很多增強現實設備還在依靠手柄實現大部分交互,這與傳統多媒體計算機依靠鼠標和鍵盤輸入信息的方式如出一轍,沒有擺脫傳統的交互思維。另外,設備主要依靠視覺和聽覺反饋信息,未能有效納入對觸覺、嗅覺、味覺的支持,也會造成不完整的沉浸體驗。
(3)人體工程學方面
頭戴式顯示設備經過這些年的發展,由早期笨重的形態逐步向小型化、集成化方向發展。然而,無論是虛擬現實、增強現實或者混合現實,目前主流消費級產品所采用的頭戴式顯示方案,都不太適合長時間使用,在體積、重量、佩戴方式上都有待突破。
常見的主動式頭戴設備,比如Microsoft Hololens 2、Magic Leap One 等,都還存在很多佩戴上的問題,自重、配重和佩戴方式或多或少會分散用戶的注意力。
一些設備為了兼顧高處理性能和低延遲,通過線纜連接外置主機,限制了用戶的活動范圍,用戶很難獲得完整的沉浸式體驗。這些還都是價格較高、用戶體驗相對較好的主動式設備,被動式設備在營造沉浸式體驗方面的表現只能是差強人意。這些問題的解決,需要依賴計算機處理性能、新材料、傳感器、交互技術等方面的綜合發展。
Verma Media 創始人AJ Agrawal 在“增強現實沒有被大規模采用的三個原因”中提及增強現實設備的人體工程學因素,認為“日常情況下沒有人愿意隨時帶著大護目鏡”[5],《新媒體聯盟地平線報告》(2019 高等教育版)也認為人體工程學因素是影響人們采用增強現實技術的一個因素。
從以上三個方面可以看出,即便忽略成本因素,在當前增強現實技術的實際應用中,還不能一味地追求沉浸感和多樣的交互方式。我們所探討的增強現實的教育應用,主要是通過手持式或臺式設備呈現,在抓住虛實結合、實時交互本質特征的前提下應有所取舍。
增強現實技術在教育教學中的應用和推廣,除了面臨上述的技術問題外,還存在其他掣肘。《新媒體聯盟地平線報告》(2016 高等教育版)中曾認為增強現實技術會在兩到三年內得到普及,而2019 版中重新審視了這一論斷,將增強現實列為中期技術。
根據于翠波等人的調查,在增強現實教育應用實驗性研究中的學段層次主要集中高等教育階段(占比34.2%),其次是小學階段;學科領域主要集中在自然科學、人文與社會科學,工程技術和醫學領域也有一些涉及[1]。
另一份研究顯示,2008 至2017 年,國內前三名的研究增強現實技術教育應用的機構都是高校教育技術專業院系[6],相關研究重心的變化趨勢,從研究增強現實在教育教學領域落地的可行性及理論支撐,逐步向利用增強現實技術的課堂教學設計上轉變。
2018 年,以“增強現實教育或教學”為題的期刊文獻有80 篇,26 篇被引用過。其中發文量最多的是北京師范大學“VR/AR+教育”實驗室主任蔡蘇,共有4 篇相關文獻,內容涉及增強現實技術在K-12 教育中的實證案例,用到的教學工具是該實驗室根據課例逐一開發的。其余22 篇文獻中,17 篇在探討增強現實技術在不同教育環境下的應用,針對具體的教育用途,采用了各不相同的增強現實軟件,還有2 篇探討了增強現實教學軟件的設計與開發,主要涉及Unity3D、Vuforia 等開發工具。
從中不難發現,當前的增強現實技術應用具有一定的門檻,普通教師使用增強現實技術開展教學有兩個途徑:一是自行開發課程相關的軟件和資源,只有極少數教師有技術能力實現;二是尋找并使用與學科配套的增強現實軟件及資源,而當前相關軟件碎片化較為嚴重,還沒有形成豐富的資源庫,使用者也難以修改內容以適應多樣化的教學需求。
反觀當前課堂中應用已久的多媒體幻燈片,一方面教師可以在短時間內掌握PowerPoint 這類軟件的基本功能;另一方面,長期以來形成了豐富多樣的幻燈片資源庫。增強現實技術要走進更多的教學過程,至少需從其中一個方面有所突破。
從創新擴散的角度來看待增強現實,作為一門有待在發展中完善的新技術,創新的采用需要一個學習的過程[7],技術創新的擴散過程主要通過“干中學”(Learning by Doing)實現,“邊干邊學”導致邊際成本下降,當達到一個“臨界水平”時,潛在采用者會采用創新,而這一過程的重復會不斷推動新技術的普及。
筆者曾結合K.Lonigo 的教學媒體選擇模型,從增強現實技術當前的成本和效能角度出發,發現在多種學習類型中增強現實都還不是最優媒體[8]。隨著成本下降到臨界點之后,增強現實的能效比會得到改善,才有機會成為更多學習類型中選用的教學媒體。當前增強現實技術的采用者數量還不足以形成“潮流效應”,針對這一現狀,可以通過“干中學”降低邊際成本,擴大采納者數量。
如何實現“干中學”呢?增強現實已經在一些需求較高、成本不敏感的教學領域優先應用,要更進一步在一般課堂中運用增強現實技術,可以通過開發豐富的資源或者降低增強現實內容制作及使用難度實現,如果能夠在現有平臺或硬件的基礎之上實施,會更加促進“干中學”。使用增強現實技術的課堂,還需要一個類似PowerPoint 的整合軟件,既可以處理一般精度的3D 模型,又可以整合呈現增強現實環境。換言之,一般課堂需要一套普及性更好的增強現實解決方案,當課堂的一般需求被滿足之后,就會產生新的需求,增強現實技術與教育的結合會以“S”型曲線循序發展。
為了進一步探討教育教學中應用增強現實技術的具體路徑,筆者以英語詞匯教學為例,分析增強現實在教學應用中的作用原理、存在問題,并提出輕量級解決方案。

圖1 語義三角
詞匯學習是當前增強現實教學應用研究中的一個重要領域,在2016 年之前已有增強現實英語詞匯輔助學習工具的相關研究。根據英國學者奧格登(Ogden)和理查茲(Richards)《意義的意義》一書中的語義三角理論(見圖1),客觀事物、符號、意義之間存在一種相互制約、相互作用的關系[9],符號與客觀事物之間的聯系不是必然的。對于詞匯學習來說,詞匯和所指代的事物之間通過語義三角建立聯系,詞匯和事物沒有直接關系,意義(或概念)存在于人的思維中。
第一語言習得時,學習者往往是在符號和事物之間建立意義聯系,而二語習得中,學習者經常會使用第一語言作為中介,使得學習過程更加復雜,也增加了認知的負荷。根據建構主義學習理論,為了促進意義的構建,學習要在一定的情境下進行,而增強現實技術可以搭建這樣的情境。增強現實在語言教學中發揮作用的情境,區別于虛擬現實情境,它不是對現實環境的復刻或模擬,而是在現實存在的情境元素中實時增加意義符號,將符號與意義的聯系具體化、可視化。通過增強現實建立的情境,在形象性的內容上直接附加信息,符號與事物的聯系由隱性轉為顯性,降低了學習者的認知負荷,有利于學習者在已有經驗上構建新的語言技能。
之前不少研究英語詞匯增強現實教學的案例,多利用Unity3D、3d Max、Maya 等軟件,結合不同的編程語言和增強現實開發工具實現。這些案例中開發或者應用的詞匯輔助學習軟件,其共同特點是技術門檻高、通用性差。僅是開發環境的搭建,就對增強現實技術的潛在使用者構成了障礙,同時還存在多平臺需多次開發的問題。
從當前增強現實技術的發展現況來看,降低教學應用中的邊際成本十分重要。對于一般教師,可以將入手難度較低的通用AR 工具引入教學過程,以在詞匯學習中搭建適當的增強現實學習環境。AR 工具選擇的基本原則是在保證教師一定的編輯自由度的同時,減少對跟蹤、識別以及交互編程等方面的技術學習要求,滿足基本課堂教學需求,讓部分教師先成為用戶。通過這種普及方式,實現前文提到的“干中學”,一方面在增強現實的教育應用中產生更為精準的發展需求,另一方面也給技術本身的發展成熟提供了緩沖期。
在移動AR 領域,已有滿足上述要求的低成本工具,如123D Design(Tinkercad)、3D Builder、ENTiTi、視+AR 等。在英語詞匯增強現實場景制作中,可以選擇Windows 系統自帶的3D Builder 應用結合在線模型庫進行建模,用免費的“視+AR”平臺進行內容呈現。
(1)建模工具
3D Builder 是微軟的輕量級建模軟件,內建一些常見物品模型,并可以連接Remix 3D 模型社區獲取更多模型。123D Design 是Autodesk 的輕量化建模工具,配合123D Catch 等123D 系列軟件,可以大大降低建模的難度,Autodesk 已推出了在線版的建模工具Tinkercad 來替代123D Design。
(2)呈現工具
視+AR 編輯器是國內輕量級的WebAr 內容展示平臺,支持35Mb 以內的FBX 和OBJ 格式模型文件,但編輯自由度有限。Kivicube 是在百度DuMix AR 平臺上二次開發的國內WebAr 平臺,其在線編輯器有一定自由度,支持基本的動畫和交互事件,但不支持SLAM(同步定位與地圖構建)技術,對識別圖的平面跟蹤效果支持不足,與環境融合的體驗不夠完整。
ENTiTi 是以色列WakingApp 的增強現實和虛擬現實工具平臺,ENTiTi 提供了輕量級別中較為成熟的交互設計解決方案,使用者可以將場景中的對象與分類詳細的交互代碼進行綁定,通過拖拽完成復雜交互,使用體驗接近Authorware 中對圖標和流程線的操作,ENTiTi 對3D 模型格式支持豐富,其缺點是上傳的模型在云端處理時間較長、中文支持有限等。國內需要一款與ENTiTi理念相似的增強現實軟件平臺,對3D 模型支持友好,能夠完成復雜度較高的交互,同時實現交互設計可視化、去代碼化。
新興媒體在教育中的應用研究,一般會經歷關注媒體本身、與教學過程融合、系統性優化等不同時期,即重媒體、重過程、重優化的不同階段。增強現實技術在教育中的應用研究,處于重媒體向重過程過渡階段。增強現實在教育教學應用中,一方面受到技術成熟度的限制,另一方面技術門檻也減少了潛在使用者。
在增強現實技術的應用中,教師不應該只是內容的使用者,還要逐步成為內容的制作者。從創新擴散的角度來看,可以先滿足一部分學科、一部分課堂的基本需求,實現“干中學”,逐步提高技術采用率。隨著增強現實在教育教學中的深入應用會產生新的需求,技術局限性也會逐漸顯現,要真正完成這一轉變,需要降低開發工具的技術門檻,通用型整合工具應該是下一步的發展方向。