體感交互技術應用于基礎教育的成效初探

劉亮

摘要：人工智能時代的教育形態在持續變化。體感技術結合學習內容資源應用于基礎教育的學習場景，能夠實現趣味性的自主探究互動學習模式，是教育信息化技術創新應用的關注重點，也是人工智能大趨勢下虛擬現實技術落地教育應用的典型場景。作者所在單位過去四年的體感交互學習資源建設研究成果表明，體感交互學習具有情境化和游戲化的特點，并能采集測評學習過程數據，在情境扮演游戲、安全自護演練、體質測評運動干預及特殊教育個別化訓練等基礎教育應用場景中使用具有良好的成效和應用推廣價值。

關鍵詞：體感交互技術;基礎教育;情境化;游戲化

中圖分類號：G434? 文獻標識碼：A? 論文編號：1674-2117（2019）11-0094-04

● 背景介紹

現代教育技術的信息化和數字化迅速普及，智能時代的教育形態也在改變。教學單位迫切需要與時俱進，采用更高效的人機交互解決方案服務創新學習模式的探索，滿足日常教學與發展需求。

體感交互技術通過體感攝像頭采集彩色和深度圖像信息，捕捉判斷人體動作姿態，與計算機軟件交互，是自然人機界面技術的典型應用，也是人工智能應用的重要分支領域。在教學應用場景中，體感技術配合虛擬和增強現實技術，融合適切的學習內容，有效構建情境引導、自主探究、智能測評的學習流程，增強學生注意力、參與感、趣味度。體感交互學習彌補傳統教學手段的某些局限性，提供學生行為觀察工具和測評數據，實現基于游戲的自主學習、數據驅動的有效學習，助力學生發展成長，具有寶貴的學習活動應用價值。

自2014年開始，江蘇省南京市電化教育館組織研發團隊和試點學校開展了體感交互學習資源的建設研究。項目著眼于新技術條件下基礎教育教學場景的體感交互學習創新應用的研究，進行了由點到面的資源建設研究探索，驗證了體感技術在情境扮演游戲、安全自護演練、體質測評運動干預和特殊兒童個別化訓練等四大領域的可行性和適用性，開發了相關的體感交互學習系列資源，在幼兒園、小學、初中各學段和融合教育等基礎教育場景中使用，取得了初步的成效。

本文基于上述體感交互學習資源開發研究的成果和經驗，從教育新技術應用的角度，對體感技術在基礎教育領域的應用成效進行了初步的探討。

● 體感技術的特點

體感技術屬于新一代人機交互技術，使用計算機視覺、信號處理和機器學習算法實現三維空間深度測量，人體骨骼點檢測，動作、手勢、面部和語音等識別功能，從而使得操作者能夠使用身體姿態和動作與計算機軟件進行人機交互。體感交互的檢測技術手段主要有：①實時深度圖像、紅外圖像、高清彩色圖像視頻和音頻數據流，每秒30幀;②實時跟蹤1～6個人體，每個人體25點骨骼檢測識別數據流，每秒30幀;③根據采集的數據實現動作檢測和識別、臉部追蹤和語音識別以及數據記錄等功能。

典型的體感動作包含（但不限于）手勢、上肢、下肢和身體等單一或組合類型動作：①手勢動作——支持左右手各自上下左右揮手、前后推拉、手掌握拳松開等;②上肢動作——單雙臂側平舉、上舉、前平舉、雙臂前舉旋轉、單臂上前拋擲、單臂下前拋擲、單臂向肩后折彎等;③下肢動作——單腿前置/后退/左右側伸、雙腿原地踏步、單腿前踢等;④身體動作——自由移動、自由動作、左右轉身、下蹲、舉手上跳、立定上下前后連續跳躍等;⑤可檢測動作的位移、時序、速度等定量參數;⑥臉部追蹤及指向性聲音采集、語音識別。

體感交互學習軟件采用體感技術，結合適切的學習內容，依托合適的界面表現和交互方式，實現學習目標。根據體感交互學習軟件的界面表現及交互方式，可將其分為以下三種場景類型：①虛擬場景——軟件界面采用二維或三維虛擬界面、畫面及場景，構成學習內容情境，操作者采用身體動作與虛擬界面中的道具進行交互。②增強現實場景——軟件界面采用體感攝像頭實時采集的現實視頻疊加虛擬道具，構成真實畫面疊加虛擬道具的虛實結合場景。③混合現實場景——軟件界面將體感攝像頭實時采集的現實視頻中的操作者人像摳圖后疊加到虛擬背景和道具場景中，重新構成真實人像融入虛擬場景的混合現實場景。

● 體感交互技術在基礎教育領域的應用場景分析

體感交互的方式和特點能夠方便高效地創設學習情境，特別適合基于游戲的自主探究學習，引導學生參與，增強學習趣味性。學生通過情境、交互、測評相融合的活動流程達成學習目標，培養自我管理意識，改良認知思維習慣，增強學習效果。

學齡前階段主要采用體感游戲發展幼兒的健康、語言、社會、科學、藝術五大領域能力，為幼兒提供視聽與動作的多重情境刺激和感知維度，并培養自主學習的好奇心和求知欲，符合兒童感知和生理心理階段特點，是一種優良的數字化學習手段。

小學階段主要采用體感交互學習軟件資源培養學生信息化環境下的學習能力，體感技術在創設學習情境及學生行為測評方面擁有顯著優勢，可以彌補常規教學手段的某些局限性，拓展學生依托新技術手段實現自主探究學習的思維方式和態度。

初中階段的體感技術應用更強調學習輔助及測評屬性。體感技術結合計算機視覺技術可以提供學生動作姿態的捕捉和測評，為體質健康測評及運動干預提供手段和數據，可以減輕體育教學的定標定量工作難度，顯著激發學生的投入程度，實現德智體全面發展的目標。

在融合及特殊教育場景中體感交互學習也具有獨到的優勢。體驗式沉浸式學習是非常有效的個別化訓練手段，它不僅可以激發學生的肢體興趣與意識體驗，在生活自理、社會常識、肢體康復等方面對其具有獨特的康復訓練效果，還可以根據檢測到的學生個體的行為認知水平實施個別化訓練，減輕教師勞動強度，提升學習效率。

● 體感交互技術在基礎教育領域的案例分析

筆者所在研究團隊針對體感交互學習的形式和特點，在多感官認知學習、基于游戲的學習、自主探究學習、合作學習、個性化學習、融合教育等各種學習活動形式方面進行了研究和相關的學習資源開發。

情境扮演游戲系列選取幼兒發展五大領域題材，構建虛擬情境，以角色動作進行互動扮演游戲，具體互動形式有：①虛擬場景角色扮演游戲，如根據經典兒童故事改編開發的小紅帽郊游記、三只小豬等;②實景視頻和虛擬道具融合的增強現實交互游戲，如超級舞者、職業換裝扮演、兒童實像與虛擬玩偶互動游戲等;③實景人物摳圖融合虛擬場景的混合現實交互體驗，如海底星空、世界大觀等。

安全自護演練系列針對少兒生命安全教育，培養生存技能，強化逃生及安全自護意識。系列資源模擬學校、家庭、商場、戶外等各類場所火警、地震、雷擊等虛擬險情場景和道路交通情境，構建安全的代入式學習環境，將各個知識點嵌入游戲進程，由學生自主探究，以對應動作驅動虛擬場景發展，檢測學生應對險情的動作行為，通過游戲得分機制測評學生學習表現給予演練評分，實現體感交互模擬演練和效果評估。該系列資源可以通過不同場景拓展學生在安全教育實訓室學習到的基本概念，虛擬場景構建成本大大低于實體場景，且可以模擬諸多實訓環境無法模擬的場景，充分體現了體感交互學習的代入式、多場景、動作測評、低成本，以及規避訓練安全風險的優勢，成為常規知識學習和基本安全實訓之外的一個優良學習手段，打破了現有學習方式的某些局限性。

體質測評運動干預系列融合體質、體能和技能學習目標，依托體感技術實現對學生動作進行捕捉、檢測、指標判定及結果反饋的定量定標測評功能，以游戲化的形式呈現給學生，實現體質測評和運動干預的閉環流程，形成隨時隨地可運動的游戲化體育氛圍。特別地，依托體感及計算機視覺技術，研究團隊還實現了對初中生和小學生在單杠引體向上、燕式平衡、立定跳起摸高、高抬腿、全身強度體育練習等科目中的全身骨骼實時定量追蹤，無需穿戴任何器械設備即可采集運動數據，測評學生體質健康能力，凸顯體感技術的數據功能優勢。

特殊兒童個別化訓練系列關注特殊兒童（腦癱后遺癥、唐氏綜合癥、孤獨癥、多動癥等）個別化身體康復鍛煉、感統及官能康復、注意力訓練和簡單認知學習的融合及特殊教育場景。其中一個資源案例采用增強現實方式，學生根據屏幕鏡像自我形象視頻與虛擬道具交互，通過體感技術對學生頭部轉動的角度進行檢測、跟蹤和界面反饋，實現注意力訓練。上述資源能夠提供有效的刺激引導，使特殊兒童從被動訓練轉向半自主參與學習，并能夠記錄學生學習的過程數據和提供定量的測評指標，大大減輕了教師勞動強度，幫助教師有效利用輔導時間，關注學生對訓練刺激的反應和行為及認知矯正，對融合及特殊教育的康復訓練和學習具有顯著的效果和實際應用價值。

上述案例結果表明，運用體感技術的基礎教育學習場景較之傳統課堂，極大地改變了學生的學習方式，凸顯了課堂中學生的自主探究學習動能，有效提高了教學效率。

● 體感交互技術應用于基礎教育領域的成效探討

體感交互技術在各個學科有廣泛的滲透性，在其優勢學習場景內具有顯著的使用價值，特別體現在它的情境、互動、測評三個特點上。例如，體感交互方式對幼兒及低年級小學生的空間方位訓練極其有效，對實施運動、表演、音律、生活體驗、安全演練等方面的學習活動具有極強的吸引力和較高的學習效率，還能夠采用非接觸方式采集學生動作數據，提供更加便捷的學習測評手段。筆者所在研究團隊對體感技術應用于基礎教育場景的成效有如下體會：

（1）體感交互通過多感官即時反饋提升學習注意力、趣味性和效果。運動促進全身血液循環和靈敏度，游戲互動增強趣味性，從而幫助學生在體感交互學習過程中更好地集中注意力。另外，體感技術在教學應用中可以充分激活學生的視、聽、肢體運動等感覺，并通過界面反饋調整學生的應激反應，有效提升其在游戲中的置入感、沉浸感和具像感。多感官刺激提高學生的手眼協調能力，促進學習效率和效果的提升。

（2）創新表達方式通過教學主體轉換有效增強學習主動性并開啟創新思維。體感技術的應用使得學習行為本身成為機體與環境相互作用的過程，通過自主探究的特點將學生推向了學習過程的中心，而教師在活動中則扮演了設計、引導和教練的角色。另外，體感技術提供了新穎有趣的自然動作表達方式，夸張的肢體活動不僅有利于學生對概念的認知，也能幫助他們在運動中放松舒緩情緒，在輕松歡樂的環境中實現有效的學習，激發創新思維能力。

（3）合作或競爭式學習促進學生能力和個性發展。體感交互學習軟件支持多個學生同時參與或輪流參與，根據教學目標設計出讓學生結對對抗或分組合作等多種形式的競技活動，加強了學生之間的人際互動聯系，促進了團隊合作能力。

（4）體感交互學習可以幫助減輕學生用眼壓力。數字化學習設施和環境導致學生面對屏幕的時間快速增加，而相較于移動平板等小屏，體感交互學習使用42英寸以上的大屏幕，且需要至少1.5米可視距離，并不可能持續使用，因而可以減輕學生用眼壓力。

（5）體感交互技術協助大數據收集，為個性化學習提供數據依據。體感游戲不但可以實時捕捉學生的行為，還能記錄學生的行為軌跡。因此在體感游戲上疊加運動數據檢測功能，對于運動監測和調整設定個性化的體育學習目標具有很高的應用價值，可以很好地支撐個性化體育學習的實踐探索。

● 總結

體感交互技術在基礎教育領域的應用屬于信息化時代下人工智能新技術服務教學需求的典型案例，具有創新性、可行性和適切性，也具備一定程度的不可替代性。體感交互學習資源能夠有效融合情境、交互、測評三個關鍵要素，實現預期的學習目標，同時，大部分的學習資源還可以打破原先設定的應用場景和應用年段限制，達到多場景多年段共用，是一種優異的數字化學習手段和測評工具。

當然，和其他新技術一樣，教師在這類教學活動的設計上普遍缺乏經驗，體感交互學習需要新的教學法支持，修正并形成固定可操作的教學模式可能會需要一個較長的探索過程。為達到較好的效果，亟須對教師進行專項培訓，并提供典型課例與可供參考的教學方案。此外，由于體感交互學習資源更傾向于在非正式的學習活動中使用，常常缺乏明確的、可度量的教學目標，或者和現有教學目標存在偏差。由此導致由于缺乏合適的評價模型和評價策略，對參與者學習結果和學習績效的衡量比較困難。

下一步，筆者所在研究團隊將繼續開展體感技術在基礎教育領域的深度和廣度研究與開發，尤其將加強對其在相關學科方面教學方法標準化應用的探索，并對如何結合特色課程進行項目開發進行深度探索。

參考文獻：

[1]張詩潮，錢冬明.體感技術現狀和發展研究[J].華東師范大學學報：自然科學版，2014（02）：40-49.

[2]李青，王青.體感交互技術在教育中的應用現狀述評[J].遠程教育研究，2015（01）：48-56.

[3]袁旭.體感交互技術教育應用研究現狀分析[J].中國教育信息化，2016（10）.

[4]楊寧.體感交互技術在幼兒教育中的應用[J].幼兒教育：教育科學，2016（01）：35-38.

[5]徐云，朱旻芮.體感游戲對智障兒童干預的效用分析[J].中國特殊教育，2016（09）：24-29.

[6]李為.新技術、新模式、新應用[J].南京教育，2019（01）.

[7]周云.基于體感技術的單杠引體向上測評應用研究[Z].中國教育科學研究院三等獎研究報告，2017.