基于媒介情境理論的研學AR交互設計

關鍵詞：戶外研學；AR交互；媒介情境理論；沉浸式；游戲化

中圖分類號：TP391.9 文獻標識碼：A

文章編號：1003-0069（2024）24-0063-04

引言

信息技術快速發展下，增強現實（AR）技術逐漸成為連通虛擬世界與現實世界的橋梁。通過AR 技術可以將計算機形成的虛擬信息疊加到現實中的真實場景中，增強人們對現實世界在視覺、聽覺、觸覺等方面的體驗，對現實世界起到補充作用[1]。

根據中華人民共和國的國家標準《學科分類與代碼》（GBT13745-2009），AR 技術在教育領域應用廣泛，具體學科分布情況如表1 所示[2]106。

從表1中可以看出，“自然科學”領域的 AR應用教育占比最高，達到 42.1%。大部分著重利用增強現實技術來改進或增強自然科學的教學[2]106，這表明AR交互應用與戶外研學適配度極高——增強現實技術有助于改變戶外自然研學存在著講授信息傳達效率低、互動趣味性不足等問題，為提升戶外研學體驗提供創新性新的設計思路。因此，探討AR 技術作為新媒介技術帶來的用戶新的交互體驗可能性與戶外研學情境如何高效適配，媒介情境理論給出了有益指導。文章首先介紹了媒介情境理論及其在AR 交互設計中的應用作用，然后詳細分析了《學趣》App 的研學AR 交互設計探索，最后對設計進行了分析評估和總結。

一、媒介情境理論下的AR交互

（一）媒介情境理論。媒介情境理論是由梅羅維茨結合麥克盧漢的“媒介傳播”理論和社會學家戈夫曼的“情境主義理論”提出的，強調媒介、情景和行為之間相互作用的理論。麥克盧漢提出不同媒介會改變人的感知和認知行為。梅羅維茨認為情境就是信息系統；每一種獨特的行為需要一種獨特的情境，并提出了新媒介——新情境——新行為的新思路[3]。該理論強調了技術、環境和用戶行為之間的相互作用，很好地詮釋了電子媒介所帶來的新的行為變化，認為不同的媒介形式能夠創造出不同的交流情景，進而影響用戶的行為模式。隨著新媒體技術的發展，媒介情境理論也被廣泛應用于新興媒介的研究之中。

（ 二）AR 技術下的交互。增強現實（Augmented Reality，AR）技術通過計算機視覺、傳感器技術和顯示技術，將虛擬信息與現實世界無縫融合，具有“虛擬物體能夠準確地以3D形式再現真實物體”“將物理現實世界與虛擬世界相連接”“支持實時交互”三大特點[2]105。增強現實（AR）在現實世界中的應用能夠彌補虛擬現實（VR）在操作真實感方面的不足[4]。AR 技術通過捕捉現實環境中的圖像信息特征等調取相關虛擬信息，根據使用者不同的空間位置、觀看角度及肢體動作，虛擬信息數據可與現實環境產生相應的、準確的互動，大大提高信息獲取的效率[5]。AR 技術還具有多模態的交互方式，包括觸摸屏、手勢、視覺識別、語音輸入等，與真實世界進行互動，使用戶的交互體驗豐富化，為教育領域提供了新的可能性。

二、基于媒介情境理論的研學AR交互設計分析

（一）作為新媒介的AR 交互可能性。交互設計，強調的是雙方或多方的互動與協作。通過各式各樣的設計手段，使人和產品、技術等人造事物之間能夠相互交流、協作，最終達到某個共同的目的[6]。

AR 技術交互的實現依賴于XR 硬件媒介設備，主要的有智能手機、平板電腦、AR 眼鏡、投影設備和體感設備等。在眾多設備中，由于手機普及度高且功能強大（具有的GPS 定位能縮小識別范圍，提高準確率而環境光傳感器可根據環境光強度自動調整圖像采集參數，優化圖像質量），且具有交互形式多樣性（觸摸屏、手勢等），系列多模態交互越來越多地被綜合應用于交互設計中，提供更為自然和高效的用戶體驗[7]。

（二）基于AR 研學的新情境分析。相較于目前的戶外研學，AR研學通過AR 技術能夠創建多樣化的學習情境，突破時空限制，適應個性化需求。不但使真實世界與虛擬世界相連結，創造全新的學習情景，還可以在虛擬世界中詳細、精準地展示現實世界中難以觀察到的事物，偶發性高的事件抑或是較為危險的情景，繼而激發同學們新的學習行為。如對動植物觀察，學生們常面臨無法近距離觀察與實時討論互動，而AR 技術交互可創建與自然環境融合的新學習場景，通過AR 識別聚焦觀察主體，疊加主體信息標簽說明、3D動態、通過移動設備來更好地展示主體具體形態，還可以創建AR 互動游戲任務，改變自然研學的直線式流程，呈現出了一種多線程、多方位、非線性的敘事單元。

總的來說，AR 技術能夠感知用戶的現實環境，并根據情境提供相應的虛擬信息。這種情境感知能力使得AR 應用能夠適應不同的用戶和環境，提供相對應的更加自然和適應性的體驗。

（三）研學新需求行為分析。圖1是通過組織團隊前往戶外研學現場，實地觀察并記錄，目標人群訪談，問卷調查等調研方式獲取并匯總真實、豐富的現場數據而成。

由數據可知，在研學活動中用戶期望通過研學獲取知識、享受安全便利環境、獲得多元體驗、互動反饋及個性化指導，實現知識、體驗和發展全面提升；用戶在研學活動中呈現出諸多行為，他們會主動觀察環境、用智能手機答疑、小組討論分享、思考記錄所學知識，識別興趣與不足。

三、研學AR交互設計邏輯建構

本節以媒介情境理論為基礎框架，圍繞“新媒介—新情境—新行為”展開，構建起基于研學新情境的AR 交互設計的邏輯建構，如圖2。

研學AR 情境作為綜合交互系統，需要全面考量交互技術、情境映射、學習者等因素。繼而通過構建虛實融合的新情境，AR 游戲任務等方式來增加人與知識的交互，激發多元感官體驗，確保每個設計環節都能有效地服務于研學目標，推動用戶更積極地參與研學活動。

（一）新媒介——發揮AR強沉浸多模態特性的研學交互設計。在戶外研學情境下，AR提供了一種新的媒介交互，用戶可通過觸屏，語音，文字等形式來與自然或IP 生成物或助手進行多模態交互，這擴展了學生在虛實融合的新場景中的氛圍、情感與行為等情境空間，并力求通過交互技術來使得現實場景與虛擬場景有實時的交互變化；尤其是在人工智能快速發展的當下，可以通過虛擬AI 助教的方式，通過攝像頭對觀察主體的識別與實時語音交互完成學習任務，也可以通過圖文疊加、3D 虛擬模型或動態演示進一步地呈現觀察物更詳細介紹信息與動態變化。如，戶外動植物觀察的AR 交互可以了解植物的名稱、分類、生長習性等。當對準一棵樹時，在AR 指引下與虛擬模型進行互動調取植物的從小到大的生長形態變化、生長環境特征、分布范圍等信息的動態展示。還可以通過對植物的虛擬3D 模型的旋轉和放大等AR 交互更深入地觀察植物內外結構，如葉片的紋理、根系的布局等。

（二）新情境——從單一到多線敘事單元情境交互設計。研學AR 交互設計通過AR 技術實現打破虛實空間與時空限制，進行多線敘事的情境映射，可以對固有線性研學模式的突破。將研學內容分割成多個相互關聯但又相對獨立的敘事單元，每個單元都有其獨立的敘事情境與信息內容，學生可以自由選擇探索順序。同如戶外觀察研學識別某一動植物后，AI助教實時問答調用或生成更具個性化的信息內容，可以了解動植物的前世今生、生活環境、生物結構、食物鏈關系等，從起源演化（多時間）、生態環境（多空間）、與人類關系（多角度）、自身生理結構（多部位）等多個維度的敘事的個性化AR 交互，能夠激發學生的主動性，讓他們在自主構建知識體系的過程中更全面地了解戶外大千世界理解。再者，可以在現實場景中通過情境映射整合更多維情境中的跨學科知識與故事、游戲等娛樂情境或更富邏輯的知識網絡圖譜，促進STEM（科學、技術、工程、數學）等跨學科教學。通過創建相關知識相關的情境任務游戲化設計，增強參與度可增加學習趣味性。

（三）新行為——從單向到實時交互反饋的新行為模式?；诿浇榍榫忱碚摰腁R研學App以用戶為核心進行設計，構建虛實互動場景，使人與環境之間的交互更加的深入；通過游戲化的情境式任務，如食物鏈匹配和AR 植樹，調動學生的積極性，增強學生的情境參與度。這種基于現代AR技術與虛實相融情境而生的設計方式是對戶外研學行為模式的一種創新，利用 AR 技術的優勢，使學生在研學過程中能與虛擬環境和內容進行即時互動，讓學生獲得多感官認知體驗。學習過程變得更加有趣和富有挑戰性，同學們的學習模式也從被動接受信息轉變為主動探究知識，形成了一個良性的動態學習循環。同時，AR 設備還能夠即時提供反饋，幫助學生糾正錯誤和鞏固知識，從而提高學習效果。此設計還鼓勵協作學習，讓多個學生組隊，通過AR設備共同完成任務，一起完成復雜的生態項目，通過分工合作增強學生的團隊合作能力。

綜上，在構建研學AR交互設計邏輯中，媒介、情境、行為被重新聯結，形成新的結構關系，通過設備、用戶、情境的交互，創構了AR 技術深度調動多感官、激發探索欲、提高積極性、增強情感共鳴等的AR 研學交互體驗模式。

四、《學趣》研學AR交互設計探索

《學趣》研學AR 交互設計基于上述“新媒體——新情境——新行為”理論框架邏輯，為線下研學服務設計虛實融合的游戲化創新研學體驗，針對青少年戶外自然研學場景。其邏輯構建見圖3，具體設計成果將分3 個方面進行詳細介紹。

（一）發揮AR 新媒介特性的交互設計探索。

1. 多模態交互提升信息獲取與體驗設計

借助AR技術具有“虛實融合”的視覺識別與語音多模態交互能力，對應青少年戶外研學中親近自然，具象觀察與科學探索、溫習課本與學習新知等多樣化的研學需求深度融合，借助最新的科大訊飛人工智能大模型為首的學習智能體可通過觸屏、語音等多模態交互來適應視覺傾向者與聽覺傾向者等不同研學用戶的個性化學習習慣。

設計中關注AR 交互與教育情境的適配，基于視覺感知原理幫助學生構建多維的認知框架，提升對自然知識的信息獲取體驗。如圖4，研學用戶觀察研學點設計的動植物情景，可利用AR 圖像識別精準識別動植物并調取現有庫內多模態信息，不僅設計有相關的介紹信息，還增加三維可交互模型展示、生長過程動畫、成長環境視頻與生態圖譜可視化設計等，并通過觸屏與語音交互協同作用完成，特別融入AI 研學助手的實時講解與問答，能講調動還在多感官參與，改進知識獲取方式，提升學習積極性與知識吸收效率。

2. 界面設計與戶外環境協調統一

考慮到戶外研學環境的復雜性，UI 交互設計界面采用了冷色調與中性色相結合的簡約風格。見圖4（a），圖標（icon）形狀簡潔、線條流暢，提高了在復雜光線條件下的辨識度。各個界面色調以綠色為主，設計風格清新自然，不僅與戶外自然環境相協調，給人帶來寧靜、舒適的感覺，減輕學生在戶外學習時的視覺疲勞，同時在潛意識中強化學生與自然環境的聯系，使其更容易進入學習狀態。另外，在不同界面中使用了適量的，不同顏色的線條和文字來突出重點信息，使內容更加有層次感，清晰易讀。

AI助手設計在與整體界面風格統一的基礎上，基于與青少年兒童建立深層次情感連接的任務，著重突出可愛、溫暖和友好的特質，吸引注意力并產生親近感。從圖4（b）中可見，AI助手外觀設計采用毛絨質感，搭配具有個性化的背包服飾，給人一種準備去戶外探險的感覺，與戶外研學的主題相契合。該形象擬人化的設計使當學生在戶外遇到問題或需要引導時，讓他們感到親切和安心、成為學生亦師亦友的“伙伴”，從而更愿意與之互動，增強了學生與 App 之間的情感連接，提升了學習體驗的愉悅感。AI 助手的動作和表情設計也需進行交互設計，例如，當學生成功完成一項任務時，AI 助手會做出歡呼慶祝的動作，給予學生積極的反饋，進一步激發他們的學習動力。

（二）戶外研學新情境設計探索。情境設計強調以情感、情節引導為主的設計方式，通過一個個故事化的敘事單元的牽引，提高對知識的理解與應用能力。在實際研學過程中，學生體現出既有對現實自然情境的觀察需求，也有對更局部微觀探索的需求，在原有自然景象上細化微觀生態探秘的情境設計，打破傳統的情境認知局限，從而拓寬他們對自然生態系統更深入與全面的理解，通過以微觀敘事來增強學生對生態知識的的學習探索，更有助于培養其主動構建知識體系的自然科學素養。如圖5，利用AR 識圖對準植物園里的一抔腐葉土壤識別其類別屬性后可以調出肉眼難以觀察的小生物，如蚯蚓、甲殼蟲的3D動態模型動畫，并配合AI 研學助手詳細介紹這些小動物的生活習性、在土壤改良中的作用，還可深入講述了土壤中微生物群落的構成和作用等知識內容。為增強情境的沉浸感，特別設計有動物在腐葉或沙土中輕微的震動聲、小動物爬行的沙沙聲等聲音特效。這種情境設計讓學生們直觀領略生態系統最基層的物質循環運作，突破了對自然觀察的常規尺度，激發了他們對微觀世界的好奇心和探索欲。

2. 多場景情境構建滿足多元需求。青少年在研學過程中渴望從不同角度、不同尺度去探索自然，用AR 多情景疊加的虛實交互新情景建構，不僅設計微小場景如腐葉土堆情景外，還設計了更大的生態場景，如池塘生態系統的情境，利用 GPS 定位和場景識別技術，到達池塘附近時，自動啟動池塘生態系統的 AR 展示。通過水下攝像頭模擬視角呈現池塘中各類生物的實時動態，包括魚類的游動、水草的搖曳以及微生物的分布。利用 AR 的信息標注功能，為不同生物標注名稱、習性、食物鏈位置等關鍵信息。設置互動環節，點擊生物彈出詳細信息窗口，包含高清圖片、視頻介紹和相關知識問答，幫助學生深入了解生物之間的相互關系。此外，還可以結合季節變化模擬，展示池塘在不同季節的生態特征變化，讓學生感受時間維度對生態系統的影響。

（三）游戲化任務所產生的交互新行為。由前期調研可知，戶外研學群體不愿被動接受知識而是希望以娛樂化方式寓教于樂。因此，研學任務的機制設計可在AR 技術支撐的基礎上進行相應的游戲化，與平時經典的游戲機制相結合，形成游戲化研學任務。

1. 基于“消消樂”游戲機制的食物鏈匹配任務研學互動行為，見圖6（a）。青少年在學習生態知識時，對于理論性概念闡述和純文字性的生態關系描述往往覺得抽象和枯燥。在設計新任務以適配戶外研學用戶新行為時，可采用基于 “消消樂” 游戲機制的食物鏈匹配任務改善生態知識學習困境。將復雜的生態知識以一種趣味化、互動性強的游戲元素形式呈現。過程中，通過游戲化湊齊一行則消除的形式，以直觀視覺反饋詮釋生態平衡，讓學生在輕松愉快的氛圍中主動運用所學知識，更加深入地理解生態系統的運行規律，促進思維的系統性和條理性發展。

例如，在森林場景中，學生需要判斷鹿、狼、草等生物之間的食物鏈關系。同時，通過積分等游戲化反饋機制增強學生的學習動力和自我糾錯能力，提升學習效果。

2. 基于傳統拼圖合作機制的AR 拼圖任務共創行為。在戶外研學中，培養青少年的團隊協作和競爭意識具有重要意義。前者有助于他們在未來更好地適應團隊工作環境，學會合作共贏；后者則能激發學生的積極性和進取心，促使他們不斷挑戰自我，提升個人能力。AR 植物拼圖任務的設計，旨在創造一個有趣且富有挑戰性的學習新情境，讓學生在合作完成任務的過程中激發新行為——學會溝通、協調和互相支持，提高團隊合作能力與上進心。

基于此，設計了AR 植物拼圖任務以促進團隊協作與競爭。見圖6（b），植物園工作人員提前設定多種本地特色植物及珍稀植物的拼圖任務，每個小組領取不同植物主題任務后，需在園內利用AR 技術四處探索識別，收集拼圖碎片（被隨機隱藏在不同植物展區角落，靠近后會以虛擬光影閃爍形式提示位置）。收集齊后小組成員會合，共同在App 內合作拼湊出植物全貌。拼湊成功瞬間觸發該植物詳細科普動畫彈出，介紹其獨特結構、繁殖方式等。完成后各小組作品還能匯總展示在植物園公共大屏上形成 “植物拼圖墻”，激發團隊協作自豪感與競爭意識。

小結：《學趣》研學 AR 交互設計的突出亮點在以下多方面。通過多模態交互，利用AR 與AI 技術實現了智能識別和多感官信息融合，滿足了不同學習習慣學生的需求，提升了信息獲取效率和學習體驗。界面設計與戶外環境高度協調，色彩心理學原理的應用和精心設計的圖標及 IP 助手，增強了學生的情感連接和學習愉悅感。微觀生態探秘情境和多場景情境構建豐富了學生的學習內容，拓展了他們的視野，通過深入的知識呈現、跨學科整合和個性化支持，培養了學生的多種能力。游戲化任務將生態知識與游戲機制巧妙結合，在激發學生學習興趣的同時，培養了團隊協作和競爭意識，并促進了知識的遷移應用能力。

總結

綜上，本研究基于媒介情境理論“新媒介—新情境—新行為”模式，以《學趣》研學AR 交互設計為例探討了研學AR 交互設計的理念思路與實踐策略、以期實現虛實融合的創新型研學體驗。《學趣》AR 交互完成了情境映射所倡導的主體參與、情境創設和知識建構的任務。然而，當前仍存在個性化推薦的精確度、沉浸式體驗的真實感、社會情感層面的教學支持等問題有待進一步優化的交互。我們期待在技術的持續革新與青少年教育改革過程中，研學AR 交互設計能進一步發揮其尊重個體差異、強化實踐操作、培養創新思維等方面的價值，為戶外研學注入了新活力，為 AR 技術在教育領域的發展提供了新思路。