面向混合現實教學的空中手勢交互體驗設計應用研究

魯藝，王曉燁，王煜琳，蓋森，周樂甲

面向混合現實教學的空中手勢交互體驗設計應用研究

魯藝*，王曉燁，王煜琳，蓋森，周樂甲

（北京工業大學，北京 100124）

對混合現實教學中的空中手勢交互體驗進行深入研究，設計創新的教學體驗模式，通過空中手勢交互體驗設計來提升教學體驗。采用文獻研究、田野觀察、深度訪談及實驗研究法，以理論研究為基礎，結合教學體驗需求，圍繞場景、用戶、產品構建設計方法，定義滿足教學需求的空中手勢類型，最終結合有效技術手段，搭建混合現實教學場景、設計個性化教學體驗環節、完成空中手勢交互界面設計。構建了針對混合現實教學的空中手勢交互體驗設計方法，定義了滿足教學需求的八類空中手勢類型，提出用戶自定義空中手勢的手勢交互方式，設計了“教學指引”“徒手繪畫”等具有教學指導意義的交互體驗環節，適用于遠程和線下的混合現實STEM教學場景，也形成了豐富的混合現實STEM課程教學資源。通過用戶實驗論證了八類默認空中手勢類型和用戶自定義手勢的整體可用性，為混合現實教學領域的交互體驗設計研究開辟了新路徑。

空中手勢；混合現實教學；交互體驗設計；智慧教育

混合現實結合了虛擬現實和增強現實的特征，通過在現實環境中引入虛擬場景信息，在虛擬世界、現實世界和用戶之間搭起一個交互反饋的信息回路，以增強用戶體驗的真實感。混合現實教學可以突破時間和空間的限制，擴展了教學空間，實現了真正意義上的交互式學習[1]。混合現實教學體驗更加強調通過身體姿勢、手勢等行為交互，實現具身的沉浸式體驗。手勢是重要的人機交互姿態，空中手勢更是擺脫設備的束縛，與虛擬信息深度互動，極大地提高了交互的沉浸性。然而當前的教學體驗研究，大多數通過手勢進行簡單的拖拽移動，或者重在實現繪制草圖、建模的功能，而利用行為識別技術，讓用戶模擬現實世界的交互方式比較少，自然交互特征很少展現，在教學中使用不同手勢的不同特征更是缺乏針對性研究。此外，現有研究大多數是理論層面，而不是從用戶體驗層面出發進行交互體驗設計、實踐和評估[2]。本研究重在發揮空中手勢在教學演示中的潛力，對混合現實教學的用戶行為特征進行全面的分析，利用混合現實環境的特點，通過自然的交互，輔助教師更生動地教學，增強教學互動，提升教學效果。并從用戶體驗的層面進行空中手勢交互設計，實現虛實融合、自然交互、臨場感的教學體驗。

1 混合現實教學中的空中手勢類型

“空中手勢”也被稱為“徒手手勢”“裸手手勢”，是基于非侵入式傳感器（或最小侵入式，主要基于計算機視覺）跟蹤身體運動、姿勢，對數字內容或遠程設備進行無接觸操作[3]。空中手勢比使用交互手柄更加靈活，無需手持設備擴展了手的交互空間，極大地提高了交互的沉浸性[4]，Hololens是微軟推出的混合現實眼鏡，用戶與虛擬信息的所有交互都通過空中手勢完成，圖1展示了典型的應用場景。

圖1 空手手勢的應用案例（圖片來源：Microsoft官方）

關于空中手勢的分類沒有統一的規范，研究者往往不是提供一組特定的手勢，而是提供一組手勢類型，并通過手勢啟發式研究[5]來了解哪些手勢對哪種操作任務有效，以此來探究用戶的偏好。Piumsomboon等[6]，通過實驗探究AR中自然手勢類型。通過實驗評估確定了全選和打開、關閉、選擇水平菜單四項基本任務對應的44個手勢“共識集”。共識集中的所有手勢都是對應任務中用戶評分最高的手勢。空中手勢分類的研究始于語言交流環境，早期有許多伴隨語言交流的自然手勢的分類方法[7-9]。然而這不適合人機交互（HCI）領域，在HCI中最具代表性的就是Aigner等[10]的分類模型（見圖2），在這個模型中手勢用于描述身體形狀和言語所指的形式，同時也用于人機交互。“指向”用于指示對象和方向，不一定涉及伸展的食指。它也可以用多個手指、拇指、扁平的手掌等進行；“啞劇手勢”用于用戶要執行或模仿的特定任務，其中主要涉及動作和特定的手勢。它們通常由演員在沒有任何物體的情況下表演；“信號手勢”，通常就是手的比劃，表示傳遞某些信號，就像交通指揮一樣；有些從社交符號或禮儀中獲取含義，例如豎起大拇指表示“OK”或向前平掌表示“STOP”、打電話手勢、拍照手勢等；“圖標手勢”，表示某種被大家普遍認同的符號標志，例如人們會用手形容物體的形狀（例如比劃一個三角形）。在交互任務中，用戶通常做出圖標的動作，系統識別后會做出反應；“操作手勢”的特點是用戶的動作和要操縱的物體的動作之間存在緊密關系。在操縱手勢的情況下，用戶會等待物體“跟隨”然后再繼續，而不是預先執行，只在隨后引起反應。

這些在混合現實教學場景也同樣適用，但教學場景也有其特殊性：1）交互內容多樣性，用戶不只是純粹的個人體驗，如教師不僅和虛擬信息交互還要和人（學生）交流，因此平衡好兩者的關系進行設計才能有良好的用戶體驗；2）用戶身份特殊性，教師的工作是知識傳授，混合現實只能作為輔助教學的形式，因此對手勢的分類應該簡單，不必定義過多的手勢，以免影響教學；3）交互空間多變，由于身體姿態經常需要在面對黑板和學生之間轉換，徑向轉動是全方位的，因此需要手勢識別設備對空中手勢進行實時精準的跟蹤，手勢交互更自由。基于以上特點，本研究在前人的基礎上，針對混合現實教學場景對空中手勢的分類進行擴展，形成了適合教學的分類方式。

圖2 空中手勢的分類和各個手勢的使用方式[8]

1）靜態手勢和動態手勢。從時間的角度，空中手勢可分為靜態手勢和動態手勢。靜態手勢，指的是手的特定狀態，在一定時間和空間內，手的姿勢、位置、方向、角度不發生變化。動態手勢，是手的狀態的時間序列，意味著手勢的姿勢、位置、方向、角度會隨著時間在空間中發生變化，它的自由度更高，手勢類型也更加豐富。靜態和動態手勢實現了對大多數手勢的區分，這簡化了手勢區分的難度，在手勢識別技術角度也更容易理解。

2）預定義手勢和自定義手勢。以手勢交互為主的混合現實應用的共同特征是，所有手勢類型都是設計師預先定義，用戶需要學習這些手勢，這就是預定義手勢。而另一種形式，叫自定義手勢，是由用戶根據自身喜好決定的手勢，用戶需要學習手勢交互系統的規則，之后在系統中更改手勢的默認選項，或者在系統中錄入自己的手勢作為新的選項。與前者最大的不同是用戶不需要學習手勢，交互更加自然。這適合需要處理復雜任務的教學場景，使教師減少額外的學習負擔，保證課堂效率。

3）抽象化手勢和基于物理操作的手勢。手勢的分類和用途與使用環境密切相關。“抽象化手勢”可以用于執行選擇、切換、開關、移動等操作。這類手勢跟文化習慣也有一定的聯系。“基于物理操作的手勢”，是像操作真實物體一樣操作虛擬物體，讓用戶感覺直接在操作某些東西，沉浸感更強，例如抓握、捏合、拍打等。基于物理操作的手勢與操作對象之間幾乎是同步的，然而抽象手勢與實際想要達到的效果可能是不同步的，這加深了記憶難度，或者用戶會無意做出某些觸發動作，引發系統做出回應。在教學場景中，教師會有大量的無意識動作，因此在設計教師自定義手勢時，需要少用抽象手勢，更多地去使用基于物理操作的手勢。

本研究要解決的關鍵問題是讓教師在混合現實教學中完成教學任務的同時，達到良好的教學體驗。因此，一是從用戶環境出發，設計預定義手勢完成基本的系統交互功能，此外設計自定義手勢交互，實現個性化教學體驗環節，保證教學互動完成教學目標；二是從手勢識別技術的角度，對靜態手勢和動態手勢進行了區分，讓用戶根據自身習慣定義與虛擬內容的交互，不給正常教學增加額外負擔；三是豐富教學體驗內容，設計“虛擬教學指引”“增強標簽”“徒手繪畫”等輔助教學，設置虛擬形象和遠程協作以增加學習樂趣，帶動課堂氛圍，提升教學體驗和教學效果。

2 混合現實教學的空中手勢交互設計

2.1 用戶研究

本研究將混合現實空中手勢交互應用到基礎教育學科，研究對象為具有STEM教學經驗的教師。預調研階段在網絡上收集了遠程STEM教學案例，初步了解用戶環境和用戶行為特征。實際調研階段依次采用了實地觀察、半結構訪談的方式，了解實際教學現狀和用戶需求，見表1。

表1 調研結果

Tab.1 Research results

結果顯示，積極的教學互動尤為重要。這就需要發揮混合現實技術的優勢，通過營造同位空間感來增強互動。基本上，教師行為除了拼搭樂高時的手部動作，可以總結為三類：指示性手勢、描述性手勢、互動性手勢。指示性手勢表現為，教師通過手指或手掌，指向教學環節中特定的內容，或者在講解某一機械原理時吸引學生注意力；描述性手勢表現為，教師習慣于用手勢表達齒輪轉動、機器人行走等，通過手形或手的運動軌跡來描繪教學內容的各個方面；師生互動性手勢用于調動課堂氛圍，在教學過程中得到基本教學需求，即知識講解、演示拼搭過程、指導學生拼搭、豐富的資源（動畫、文字、視頻等）進行輔助教學、書寫和手繪。

2.2 設計方法

結合用戶體驗需求，圍繞環境、用戶、產品，形成了虛實融合的沉浸式教學、自然的空中手勢創作、個性化空中手勢界面的設計策略，構建了針對混合現實教學的空中手勢交互體驗設計方法（見圖3）。

圖3 設計方法

2.2.1 環境：虛實融合的沉浸式教學

混合現實教學可以打破距離和空間限制，讓教師和學生可以感受彼此的存在，增強教學互動。因此，通過虛擬化身來營造臨場感和同位空間感是增強互動的必要手段，使參與實時混合顯示的師生能夠與彼此的虛擬形象交互，也增強了趣味性。此外，虛擬元素對STEM教學具有輔助作用。空中手勢通過控制虛擬元素與真實教學結合進行教學演示，有助于提升教學效果。虛擬元素具備兩個功能：一是便捷地擴展教學資源。虛擬空間的優勢在于其可以把實物虛擬化，并可以實現良好的兼容，所有二維界面的教學資源都可以存在在三維空間，更重要的是可以補充二維界面實現不了的三維元素，這加深了對知識的多維度理解；二是輔助教師進行教學引導。通過虛擬信息的動態變化，給學生明確的指引，即使遠距離也能實現“手把手”搭建指導，增強了沉浸式教學體驗感。

2.2.2 用戶：自然的空中手勢創作

結合教學現狀，總結教學體驗需求為，講課體驗、指導體驗、創作體驗和協作體驗。講課體驗和指導體驗是在沉浸式混合現實環境支持下最基本的需求，用戶在虛擬元素輔助下進行教學指導。而創作體驗和協作體驗是進一步提升教學體驗效果的必要途徑。從用戶行為來看，滿足教學的基本手勢類型對應到混合現實中，得到的空中手勢需求可以總結為選擇、移動、切換等抽象化手勢和一些基于物理操作的操作性手勢（例如旋轉、放大縮小等），把這些滿足基本需求的手勢定義為默認手勢。此外，學生對多媒體形式及教師的演示極大的學習熱情賦予了用戶自定義手勢交互的空間。由此，本研究創新性地設計用戶自定義手勢。采用簡單靈活的定義手勢交互流程，實現手勢動作到虛擬效果的多樣映射，無需復雜的編程或編輯過程，使用戶能夠在任何環節都能以自定義的方式實時創作，完成動畫效果演示，通過自然的空中手勢創作提供實時的教學創作體驗。

2.3.3 產品：個性化空中手勢界面

在調研中了解到，教師表示遠程課程前期準備工作多、課程過程更加累人和困難。因此，空中手勢界面應該使用一種直觀的教學輔助工具，操作簡單，不影響課堂進程；同時具備功能性手勢操作界面，輔助教師進行實時教學演示和知識講解，支持舒適、個性化的手勢創作。首先，一個快速直觀的導航是教師順利完成教學的關鍵，教師不應該因為操作問題影響教學進度和上課效率；其次，在一個共享的MR環境中，需要打破傳統的用戶顯示模式。手勢界面設計需要某種雙向信息傳輸方式，學生能夠感知虛擬內容，并且能夠與教師就內容進行主動交流；最后，空中手勢是三維的輸入方式，但現實中，并非所有任務都是三維的。有些任務本質上是二維的，另外，教師的教學過程中有許多教具的使用需要手來完成，菜單應該以更方便快捷的方式出現，靈活的手勢菜單更適合需要處理復雜任務的教師。

3 設計實踐

3.1 交互技術的實現

本研究使用Unity3D在Microsoft HoloLens 2上構建系統，在Windows全息版OS上運行。Microsoft Dynamics 365 Guides混合現實應用程序，實現實時指導和遠程協作。系統支持音頻，用戶界面在Microsoft混合現實工具包（MRTK）、FinalIK和網格效果庫的支持下實現。

對于自定義手勢的交互邏輯，基于Wang等[9]的研究進行搭建，遵循編寫應用程序的步驟：創建虛擬內容及其性能——定義用戶和虛擬內容之間的交互。利用實時手勢識別，通過設計輸入動作和不同輸出效果的組合，實現多種輸入手勢和輸出效果的映射。為了實現直觀的創作體驗，采用了用于徒手交互輸入和輸出的觸發器動作編程模型[9]。包括靜態+離散、靜態+連續、動態+離散、動態+連續及多重定義交互。用戶可以在手勢界面中通過連接不同的輸出屬性和輸入動作來創建不同類型的交互。基本流程為創建手勢-創建手勢和虛擬內容之間的交互-手勢演示。

3.2 混合現實教學的空中手勢類型定義

在Piumsomboon等[6]和Aigner等[10]的指導下，首先提出用戶自定義手勢的交互方式，此外，默認手勢包括選擇、移動、旋轉、縮放、復制、框選、協作、切換手勢，這些手勢由四類基本手勢構成：單手指、兩指拿、三只捏合、手掌運動。由此形成了針對混合現實教學的空中手勢類型，見圖4。

選擇、移動縮放、旋轉手勢以Hololens2內置的手勢規則定義，此外包含框選手勢在內，符合Piumsomboon等[6]提出的手勢共識集。旋轉和縮放均采用雙手捏或單手捏的動作來實現，單手時定軸旋轉。復制手勢通過視覺提示和捏合動作結合來實現，適用于從真實物體中復制出1∶1虛擬物體；協作手勢的實現方式為：一位用戶選擇零件執行拋出動作，3 s內，另一用戶執行選擇手勢接到物體；切換手勢用于界面切換，使用單手左、右揮動手掌即可實現。單手翻轉觸發手勢菜單，菜單選項附著在手的邊緣，一只手充當選項的集合，另一個則充當選擇器。手掌再次翻轉，菜單收回。

圖4 混合現實教學的空中手勢類型

3.3 空中手勢交互界面設計

3.3.1 混合現實教學場景

基于Microsoft 混合現實技術，利用Microsoft Hololens2（混合現實眼鏡）作為手勢的輸出設備構建混合現實教學場景。師生在共同的混合現實空間，共享相同的演示視圖。師生互為生動的虛擬形象出現在彼此身邊，這使在遠程教學的情況下也實現了師生“面對面”交流，見圖5。

3.3.2 基于單手菜單的空中手勢交互

用戶左手觸發手勢菜單，右手充當選擇器，共包含“主頁”“素材庫”“手勢創作”“文本”四個選項，可在“主頁”-“我的課程”選擇所需課程，不同等級課程難度不同，見圖6。

3.3.3 輔助教學：教學指引和增強標簽

虛擬教師控制界面的切換、講課，并指導學生每一步的搭建，每一步所需零件和對應知識都有相應的文字提示和視覺提示。學生根據需要搭建模型的完整三維全息影像（見圖7）和“虛擬手”（見圖7b～c）指導提示把樂高依次放到三維影像中對應的位置。“虛擬手部指導”是一個3D建模的手部（見圖7b～c）。“增強標簽”是在真實教具上增強顯示虛擬信息，對教具的名稱進行解釋。界面中出現文本信息的同時會伴有語音播報。如圖7所示，用戶選擇立體互鎖標簽，隨即出現立體互鎖結構的知識信息框界面。

3.3.4 個性化空中手勢創作

自定義空中手勢。用戶通過在虛擬素材上添加“動畫效果”，創建動態或靜態手勢，在動畫效果和空中手勢之間創建關聯，即可實現手勢與虛擬元素之間的自由交互。如圖8所示，用戶選擇創建靜態手勢或者動態手勢，經過5 s的準備時間后系統開始記錄用戶的手勢。對于靜態手勢，用戶保持手靜態姿勢2.5 s，以允許手勢識別系統對手勢的多次采樣直到5 s結束；對于動態手勢，用戶需要記錄兩組手勢數據，以2.5 s為節點，當檢測到用戶已保持相同手勢2.5 s時，停止記錄該手勢，手勢的骨架模型作為手勢的觸發對象。接著，用戶可以為虛擬模型或者素材庫的虛擬元素添加“效果”動畫（見圖6），隨即與手勢骨架模型之間創建鏈接，之后選擇“開始”，用戶即可以用自定義的空中手勢動作演示動畫效果。圖8中還原了用戶首先自定義了“開合”的“動態手勢”，并給虛擬飛機添加“飛行”動畫效果，最后把手勢與添加了動畫的飛機鏈接起來，隨即控制飛機起飛。圖9展示了在教學演示中，教師在素材庫中選擇了“跑道”素材，并用空中手勢繪制一個大門，最后創建了靜態空中手勢觸發汽車行走動畫的交互行為。

圖5 混合現實教學場景

圖6 手勢菜單的交互流程

圖7 “教學指引”和“增強標簽”的交互過程

圖8 用戶自定義空中手勢創作的交互過程

空中手勢繪畫。用戶可以用食指在空間中簡單繪制線條，也可以調整畫筆的顏色和粗細，并支持擦除和填充效果。如圖8所示，用戶為學生繪制出一棵小樹。

圖9 “教學指引”和自定義手勢的教學示例

游戲化學習和遠程協作。“我的游戲”，讓學生通過游戲的方式進行STEM課程學習，有利于鞏固學生對課程知識的理解。這些游戲都會使用默認手勢和手勢菜單完成，能增添學生的學習樂趣。為了實現實時協作體驗，在游戲中，學生或者教師可以通過邀請的方式共同協作完成一件虛擬作品。

4 實驗評估

實驗招募了12名STEM課程教師，其中6名女性、6名男性，年齡在23～40歲（為25.2，SD值為7.63），他們的教學經驗2～8年不等，授課類型從基礎課程到高級課程，一半的人有過VR游戲的經驗，但均未使用過混合現實眼鏡。實驗在每一位參加者的家中進行，Hololens2和攝像機進行視頻記錄。同時招募了5歲及以上的學生進行試聽，見圖10。

4.1 空中手勢交互系統的SUS評分

為了解空中手勢交互系統的整體可用性，在對參加者進行指導后，讓他們各自準備課件，設計講課環節并講課，課前準備時間和上課時間分別被記錄。結束后完成系統可用性量表（SUS），共10個問題，每個問題從“強烈不同意”到“強烈同意”，得分從1～5，正面題（奇數題）得分記為2i–1，反面題（偶數題）得分2i，=（1，2，3，4，5），SUS總分見式（1）。

結果表明，參加者認為系統的各項功能都很好地整合在一起（Q5：AVG值為3.2），相信有更多可能性去適應不同的教學環境（Q9：AVG值為3.2）。實驗中每人都創作了3個以上交互任務，表明他們認為這些手勢交互對教學很有用，大多數人愿意使用空中手勢來輔助教學（Q1：AVG值為3.2），但部分認為需要更加系統的學習。在練習環節，所有參加者共進行了21次自定義手勢任務，總體成功率為94.44%（SD值為0.08），表明他們可以使用空中手勢交互順利地操縱虛擬對象，也驗證了空中手勢的易操作性。參加者也認為，空中手勢交互系統很便捷，并會促進教學高效進行。總體來說，用戶認為手勢系統操作并不復雜，容易學習和使用（Q4、Q10：AVG值為70）。SUS平均分數為79分，對應百分等級約85分，可用性分數AVG值為81.25（Q1～Q3，Q4～Q9），證明了空中手勢交互體驗系統的整體可用性。

4.2 空中手勢類型的偏好和易學性評分

此環節，每人需完成一遍所有默認手勢和自定義手勢的交互練習，并重復2次，全部結束將會邀請他們根據喜好選擇3種手勢，并對每個手勢進行易學性評分（1～7分）。結果表明（見圖11），受歡迎度排行是縮放手勢>自定義手勢（動態>靜態）>旋轉手勢，由于條件限制，協作手勢并未納入評估。縮放手勢更受歡迎，他們習慣于不斷調整虛擬元素、圖片，以引起學生注意。旋轉手勢很少被使用，這似乎和具體課堂類型有關。雖然自定義靜態手勢展現出較高的易學性評分，但大多數參加者更喜歡使用自定義動態手勢，因為能實現手勢與動畫效果的同步交互，并有多種變化，更具有趣味性。12名參與者認為大多數手勢容易學習和使用，但有人反映復制手勢的提示特征不明顯，導致其不知道如何使用。因此，還需進一步改進復制手勢的設計，讓它更符合人的使用習慣，并且更清晰地表明意圖。

圖10 實驗過程

圖11 參加者對各個手勢的偏好

Fig.11 Participants' preferences for various gestures

圖12 參加者對各個手勢的易學性評分均值

4.3 教學體驗的滿意度評估

為了解教師對教學體驗的滿意度，結束后向參加者提出了一些問題，對幾個教學體驗環節進行評價，每道題進行7點評分，最后計算每道題總分均值和所有題項總分均值及標準差。

如圖13所示，所有教學體驗環節的趣味性、舒適度和功能性都呈現積極的分數。徒手繪畫的功能性評分較高（為6.45），參與者雖然無法繪制出完美的圖形和線條，但有助于學生對知識的理解，這種圖形和色彩的表達對于低齡且識字不多的兒童更適用。然而其趣味性分數略低，一方面是由于空間位移導致參加者只能繪制出簡單的圖案；另一方面他們可能會追求完整的畫面效果而重復繪畫產生了疲勞。“教學指引”和“增強標簽”的功能評分略低（為5.75），但參加者仍肯定了它在輔助教學和遠程指導中的作用，比幻燈片更生動。自定義手勢得到了較高的整體體驗滿意度，參加者喜歡使用自定義動態手勢控制神奇的動畫效果，有助于吸引學生注意力、調節課堂節奏及增強教學互動。也肯定了所有教學體驗環節對教學是有幫助的，并愿意使用（功能性評分為6.22，SD值為0.39），使用意愿評分為6.17，SD值為0.24）。總之，參加者并未認為這些教學體驗會造成十分疲勞（疲憊度為1.82，SD值為0.87）。遠程協作交互邀請了參加者們彼此體驗，除了愉快的體驗感，他們一致認為，這是獨特的工作模式，這種方式增加了彼此的聯系，讓會議內容可視化，提升工作效率，有沉浸式體驗感。

圖13 參加者對教學體驗的平均評分

Fig.13 Average score of participants on their teaching experience

5 結語

本文提出了針對混合現實教學的空中手勢交互體驗設計方法，以及結合默認手勢和用戶自定義空中手勢的個性化教學體驗模式。實驗評估結果表明，最受歡迎的是縮放、旋轉和自定義手勢。參加者對所有手勢的易學性和舒適度表示了積極評價，空中手勢交互系統具有高度可用性。此外，所設計的教學體驗環節有助于提升教學體驗、增加課堂趣味性、提高教學效率。然而，未來還需進一步開發適合學生的操作系統，讓學生完全參與體驗，不斷優化教學效果的評價指標，設置對照實驗，對教學效果進行客觀評估，并對協作手勢進行量化評估。未來還要進一步完善空中手勢的類型，探索更多遠程協作的體驗場景，擴展協作手勢的空間，豐富系統功能，讓教師之間可以通過空中手勢進行協作交互，促進教育資源的共享。

[1] 祝智庭, 彭紅超, 雷云鶴. 智能教育: 智慧教育的實踐路徑[J]. 開放教育研究, 2018, 24(4): 13-24. ZHU Z T, PENG H C, LEI Y H. Intelligence Education: Practical an Approach to Smarter Education[J]. Open Education Research, 2018, 24(4): 13-24.

[2] 李小平, 趙豐年, 張少剛, 等. VR/AR教學體驗的設計與應用研究[J]. 中國電化教育, 2018(3): 10-18. LI X P, ZHAO F N, ZHANG S G, et al. Research on the Design and Application of VR/AR Learning Experience [J]. China Educational Technology, 2018(3): 10-18.

[3] VOGIATZIDAKIS P, KOUTSABASIS P. Gesture Elicitation Studies for Mid-Air Interaction: A Review[J]. Multimodal Technologies and Interaction, 2018, 2(4): 65.

[4] VULETIC T, DUFFY A, HAY L, et al. Systematic Literature Review of Hand Gestures Used in Human Computer Interaction Interfaces[J]. International Journal of Human-Computer Studies, 2019, 129: 74-94.

[5] ZHU Z T, YU M H, RIEZEBOS P. A Research Framework of Smart Education[J]. Smart Learning Environments, 2016, 3(1): 4.

[6] PIUMSOMBOON T, CLARK A, BILLINGHURST M, et al. User-Defined Gestures for Augmented Reality[C]// IFIP Conference on Human-Computer Interaction. Berlin: Springer, 2013: 282-299.

[7] KENDON A. How Gestures Can Become Like Words [M]. Toronto: Hogrefe & Huber Publishers. 1988: 131-141.

[8] CADOZ C, Les Réalités Virtuelles[M]. Paris: Flammarion. 1994.

[9] MCNEIL D. Hand and Mind: What Gestures Reveal About Thought[M]. London: Univ of Chicago Press, 1992.

[10] AIGNER R, WIGDOR D J, BENKO H, et al. Understanding Mid-Air Hand Gestures: A Study of Human Preferences in Usage of Gesture Types for HCI[J]. Microsoft Research TechReport MSR-TR-2012-111, 2012(2): 30.

[11] WANG T Y, QIAN X, HE F M, et al. GesturAR: An Authoring System for Creating Freehand Interactive Augmented Reality Applications[C]// UIST '21: The 34th Annual ACM Symposium on User Interface Software and Technology. ACM: Virtual Event, 2021: 552-567.

[12] 溫圳, 李鵬, 王敘萌, 等. 基于混合現實的可視分析綜述[J]. 計算機輔助設計與圖形學學報, 2022, 34(6): 821-829.WEN Z, LI P, WANG X M, et al. Mixed Reality Based Visual Analytics[J]. Journal of Computer-Aided Design & Computer Graphics, 2022, 34(6): 821-829.

[13] GROENEWALD C, ANSLOW C, ISLAM J, et al. Understanding 3D Mid-Air Hand Gestures with Interactive Surfaces and Displays: A Systematic Literature Review[C]// Proceedings of the 30th International BCS Human Computer Interaction Conference: Fusion. ACM, 2016: 1-13.

[14] 袁慶曙, 王若楠, 潘志庚, 等. 空間增強現實中的人機交互技術綜述[J]. 計算機輔助設計與圖形學學報, 2021, 33(3): 321-332.YUAN Q S, WANG R N, PAN Z G, et al. A Survey on Human-Computer Interaction in Spatial Augmented Reality[J]. Journal of Computer-Aided Design & Computer Graphics, 2021, 33(3): 321-332.

[15] 黃進, 韓冬奇, 陳毅能, 等. 混合現實中的人機交互綜述[J]. 計算機輔助設計與圖形學學報, 2016, 28(6): 869-880.HUANG J, HAN D Q, CHEN Y N, et al. A Survey on Human-Computer Interaction in Mixed Reality[J]. Journal of Computer-Aided Design & Computer Graphics, 2016, 28(6): 869-880.

[16] 周小舟, 宗承龍, 郭一冰, 等. 多模態交互中的目標選擇技術[J]. 包裝工程, 2022, 43(4): 36-44.ZHOU X Z, ZONG C L, GUO Y B, et al. A Review of Target Selection Techniques in Multimodal Interaction[J]. Packaging Engineering, 2022, 43(4): 36-44.

[17] 劉革平, 王星, 高楠, 等. 從虛擬現實到元宇宙：在線教育的新方向[J]. 現代遠程教育研究, 2021, 33(6): 12-22. LIU G P, WANG X, GAO N, et al. From Virtual Reality to Metaverse: A New Direction of Online Education[J]. Modern Distance Education Research, 2021, 33(6): 12-22.

[18] 陳笑浪, 劉革平, 李姍澤. 基于虛擬現實技術的教育美學實踐變革——新情境教學模式創建[J]. 西南大學學報(社會科學版), 2022, 48(1): 171-180.CHEN X L, LIU G P, LI S Z. Reform of Educational Aesthetics Practice Based on Virtual Reality Technology: Establishment of New Situational Teaching Model[J]. Journal of Southwest University (Social Sciences Edition), 2022, 48(1): 171-180.

[19] 劉革平, 高楠. 手勢交互虛擬實驗對學習體驗的影響機制[J]. 現代遠程教育研究, 2021, 33(2): 22-32.LIU G P, GAO N. Influential Mechanism of Gesture Interaction Virtual Experiment on Learning Experience[J]. Modern Distance Education Research, 2021, 33(2): 22-32.

[20] 張軍, 劉粵, 陳坤杰. 基于情境模型的可穿戴設備手勢交互設計[J]. 包裝工程, 2019, 40(12): 140-146.ZHANG J, LIU Y, CHEN K J. Gesture Interaction Design for Wearable Devices Based on Scenario Model[J]. Packaging Engineering, 2019, 40(12): 140-146.

Application of Mid-air Gesture Interactive Experience Design for Mixed Reality Teaching

LU Yi*, WANG Xiaoye, WANG Yulin, GE Sen, ZHOU Lejia

(Beijing University of Technology, Beijing 100124, China)

The work aims to conduct in-depth research on the interactive experience of mid-air gestures in mixed reality teaching, design innovative teaching experience modes, and enhance teaching experience through the design of mid-air gesture interactive experience. The methodsof literature research, field observation, in-depth interviews, and experimental research methods were adopted. Based on theoretical research and combined with teaching experience needs, design methods were constructed around scenes, users, and products to define the types of mid-air gestures that met teaching needs. Finally, effective technical means were combined to build mixed reality teaching scenes, design personalized teaching experience links, and complete the design of mid-air gesture interaction interfaces. As a result, a design method for interactive experience of mid-air gestures for mixed reality teaching was constructed, and eight types of mid-air gestures were defined to meet teaching needs. A gesture interaction method for mid-air gestures was proposed. Interactive experience links with teaching guidance significance such as "teaching guidance" and "freehand painting" were designed, which were suitable for remote and offline mixed reality STEM teaching scenes, forming rich mixed reality STEM teaching resources. The conclusion demonstrates the overall usability of eight types of default mid-air gesture types and user-defined gestures through user experiments, opening up a new path for interactive experience design research in the field of mixed reality teaching.

mid-air gestures; mixed reality teaching; interactive experience design; smart education

TB472

A

1001-3563(2024)04-0181-10

10.19554/j.cnki.1001-3563.2024.04.019

2023-09-11