蔣艷雙 朱立新 逯行 高紅英
摘要:孤獨(dú)癥兒童常具有社會(huì)交往障礙、行為重復(fù)刻板和興趣固定狹隘等特征,教育訓(xùn)練為其主要治療手段。虛擬游戲以其可視化、交互性與場(chǎng)景性等特點(diǎn),有助于孤獨(dú)癥兒童的教育干預(yù)。利用系統(tǒng)性文獻(xiàn)綜述法對(duì)國(guó)際上利用虛擬游戲支持孤獨(dú)癥兒童干預(yù)的相關(guān)研究進(jìn)行分析發(fā)現(xiàn):(1)虛擬游戲支持孤獨(dú)癥兒童教育的關(guān)鍵技術(shù)包括可視化技術(shù)、虛擬代理技術(shù)和新興技術(shù)。可視化技術(shù)將人的肢體與面部情緒以3D動(dòng)畫的形式突顯,促進(jìn)孤獨(dú)癥兒童情緒理解與識(shí)別能力的培養(yǎng);虛擬代理技術(shù)幫助孤獨(dú)癥兒童通過化身與其他對(duì)象交互,提升其社交能力;利用新興技術(shù)構(gòu)建可交互的虛擬現(xiàn)實(shí)環(huán)境,可強(qiáng)化孤獨(dú)癥兒童因果關(guān)系理解與獨(dú)立出行體驗(yàn)。(2)虛擬游戲可作為孤獨(dú)癥兒童教育中的認(rèn)知工具和教與學(xué)支持工具,幫助其進(jìn)行詞匯學(xué)習(xí)、數(shù)字化閱讀與編程學(xué)習(xí)。我國(guó)孤獨(dú)癥兒童教育發(fā)展可運(yùn)用多模態(tài)分析技術(shù),拓展虛擬游戲教學(xué)效果的測(cè)評(píng)方式;重視虛擬游戲教育應(yīng)用倫理風(fēng)險(xiǎn),構(gòu)建“政—企—校”協(xié)同聯(lián)動(dòng)的多元共治機(jī)制;以學(xué)習(xí)需求為導(dǎo)向,構(gòu)建虛擬游戲設(shè)計(jì)框架;在職業(yè)培訓(xùn)與就業(yè)支持中,重視數(shù)字素養(yǎng)與技能的培育。
關(guān)鍵詞:虛擬游戲;孤獨(dú)癥兒童教育;特殊教育;系統(tǒng)性文獻(xiàn)綜述
中圖分類號(hào):G434? ?文獻(xiàn)標(biāo)識(shí)碼:A? ? 文章編號(hào):1009-5195(2022)03-0104-09? doi10.3969/j.issn.1009-5195.2022.03.012
基金項(xiàng)目:北京市教育科學(xué)“十四五”規(guī)劃2021年度青年專項(xiàng)課題“雙師教學(xué)場(chǎng)域中的學(xué)生情感氛圍動(dòng)力學(xué)模型研究”(CECA21109)。
作者簡(jiǎn)介:蔣艷雙,博士,助理研究員,北京師范大學(xué)互聯(lián)網(wǎng)教育智能技術(shù)及應(yīng)用國(guó)家工程研究中心(北京 100875);朱立新,博士,副研究員,北京師范大學(xué)互聯(lián)網(wǎng)教育智能技術(shù)及應(yīng)用國(guó)家工程研究中心(北京 100875);逯行,博士,講師,碩士生導(dǎo)師,浙江師范大學(xué)浙江省智能教育技術(shù)與應(yīng)用重點(diǎn)實(shí)驗(yàn)室(浙江金華 321004);高紅英,助理實(shí)驗(yàn)師,陜西師范大學(xué)外國(guó)語(yǔ)學(xué)院(陜西西安 710062)。
一、引言
孤獨(dú)癥譜系障礙(Autism Spectrum Disorder,ASD)是一組以社會(huì)交流和社會(huì)互動(dòng)缺陷、行為重復(fù)刻板與興趣固定狹窄為特征的神經(jīng)發(fā)育性障礙疾病(American Psychiatric Association,2013,p.426),其在兒童群體中患病率呈逐年遞增的態(tài)勢(shì)(五彩鹿自閉癥研究院,2017),目前ASD治療以教育訓(xùn)練為主,藥物治療為輔(閆海虹等,2022)。因此,面向ASD兒童的教育研究具有重要的現(xiàn)實(shí)意義。
虛擬游戲是基于互聯(lián)網(wǎng)和計(jì)算機(jī)技術(shù)發(fā)展起來的游戲方式的總稱,包括交互式視頻游戲、虛擬環(huán)境等(孫巖,2008),其不僅可作為娛樂消遣工具,還可為ASD兒童的教育干預(yù)提供助力。已有研究表明,虛擬游戲?qū)陋?dú)癥患者的孤獨(dú)感存在顯著影響,孤獨(dú)癥患者用適量時(shí)間體驗(yàn)網(wǎng)絡(luò)游戲,能夠減少孤獨(dú)感(Sundberg,2018)。近年來,為了提升虛擬游戲在ASD兒童教育中的應(yīng)用成效,學(xué)者們?cè)谔摂M游戲框架設(shè)計(jì)和對(duì)ASD兒童群體特征分析的基礎(chǔ)上,聚焦基于不同技術(shù)的虛擬游戲?qū)SD兒童教育教學(xué)的影響和評(píng)估等方面開展了一系列的研究。如Bremer等(2016)探討了兩組基本運(yùn)動(dòng)技能干預(yù)對(duì)ASD兒童運(yùn)動(dòng)技能及社交技能的作用;Stone等(2019)發(fā)現(xiàn)了多人虛擬游戲?qū)脊陋?dú)癥小學(xué)生的社會(huì)互動(dòng)質(zhì)量提升具有支持作用,并且通過多模態(tài)交互技術(shù)與虛擬游戲?qū)ζ渖缃患寄苓M(jìn)行有效性評(píng)估。由此可見,虛擬游戲支持ASD兒童的教育教學(xué)研究已積累了一定的經(jīng)驗(yàn),尤其在缺陷補(bǔ)償教學(xué)與技能培訓(xùn)領(lǐng)域。但面向ASD兒童的虛擬游戲干預(yù)仍存在操作性差、實(shí)施難度大等問題,缺少全局性、系統(tǒng)性和針對(duì)性的技術(shù)應(yīng)用方法,缺乏明確的技術(shù)干預(yù)機(jī)制(Mora et al.,2015)。基于此,本研究梳理國(guó)內(nèi)外虛擬游戲支持ASD兒童教育的相關(guān)研究,探討虛擬游戲支持ASD兒童教育的關(guān)鍵技術(shù)及其特征,揭示當(dāng)前虛擬游戲在ASD兒童教育中的作用及應(yīng)用重點(diǎn),以期為我國(guó)ASD兒童教育游戲化研究提供理論參考和行動(dòng)指南。
二、研究設(shè)計(jì)
1.研究方法
本研究采用系統(tǒng)性文獻(xiàn)綜述方法。系統(tǒng)性文獻(xiàn)綜述旨在以明確的研究問題、全面的檢索策略、清晰的文獻(xiàn)納入標(biāo)準(zhǔn)與綜合的數(shù)據(jù)分析,來得出可信的研究結(jié)果,可減少由傳統(tǒng)文獻(xiàn)綜述方法帶來的研究偏倚(Xiao et al., 2019)。
2.研究問題
為呈現(xiàn)利用虛擬游戲?qū)SD兒童實(shí)施教育干預(yù)的研究現(xiàn)狀,本研究確定了以下研究問題:(1)虛擬游戲支持ASD兒童教育的關(guān)鍵技術(shù)有哪些?(2)虛擬游戲在ASD兒童教育中的作用如何體現(xiàn)?(3)虛擬游戲可以從哪些方面支持ASD兒童教育?其有效性如何?
3.研究樣本及篩選
(1)文獻(xiàn)檢索策略
本研究所主張的虛擬游戲是指以教育為目標(biāo),將數(shù)字技術(shù)應(yīng)用于教育教學(xué)過程,發(fā)展ASD兒童適應(yīng)外界變化、自主社交、獨(dú)立出行、情緒識(shí)別等技能的嚴(yán)肅游戲。因此,在檢索策略方面,本研究以“Autism & Virtual Games”“Autism & Serious Sames”“ASD & Serious Games”“ASD & Virtual Games”等為關(guān)鍵詞,對(duì)Web of Science和Springer Link等數(shù)據(jù)庫(kù)的相關(guān)文獻(xiàn)進(jìn)行檢索,檢索時(shí)間限定為2003年12月至2021年11月,共得到文獻(xiàn)287篇。
(2)文獻(xiàn)篩選標(biāo)準(zhǔn)
為精確掌握虛擬游戲?qū)SD兒童教育的支持情況,本研究根據(jù)研究問題對(duì)檢索得到的287篇文獻(xiàn)制定了相應(yīng)的文獻(xiàn)納入和排除標(biāo)準(zhǔn),具體如表1所示。其中第1~3條旨在進(jìn)一步提升文獻(xiàn)樣本篩選的精確性;第4~7條分別對(duì)研究對(duì)象、研究?jī)?nèi)容、研究目標(biāo)與研究過程作限定,以便更好地聚焦研究問題。
4.文獻(xiàn)篩選過程
本研究遵循系統(tǒng)性文獻(xiàn)綜述方法,通過檢索、篩選、合格和納入四個(gè)階段對(duì)虛擬游戲支持ASD兒童教育的相關(guān)文獻(xiàn)進(jìn)行篩選,最終納入有效文獻(xiàn)共45篇,具體PRISMA流程如圖1所示。
三、虛擬游戲支持ASD兒童教育的研究概略
從文獻(xiàn)發(fā)表時(shí)間來看,45篇文獻(xiàn)發(fā)表時(shí)間跨度為2003—2021年。伴隨信息技術(shù)的快速發(fā)展,虛擬游戲支持ASD兒童教育的形態(tài)日趨豐富,文獻(xiàn)納入數(shù)量也整體上呈現(xiàn)出增長(zhǎng)趨勢(shì)。
從文獻(xiàn)發(fā)表的期刊分布情況來看,發(fā)表于計(jì)算機(jī)類期刊的文獻(xiàn)數(shù)量為16篇(占比35.6%),發(fā)表于教育研究類期刊的文獻(xiàn)數(shù)量為13篇(占比28.9%),發(fā)表于心理學(xué)期刊的文獻(xiàn)數(shù)量為11篇(占比24.4%)。文獻(xiàn)發(fā)表數(shù)量排名前五的期刊依次為《Journal of Autism and Developmental Disorders》(6篇)、《Computers in Human Behavior》(3篇)、《Computers & Education》(3篇)、《Interactive Learning Environments》(2篇)和《Universal Access in the Information Society》(2篇),可見有關(guān)虛擬游戲支持ASD兒童教育的研究已受到計(jì)算機(jī)科學(xué)、教育學(xué)和心理學(xué)等領(lǐng)域?qū)W者的關(guān)注。
從文獻(xiàn)引用率來看,有16篇(占比35.6%)文獻(xiàn)的引用率在20次以上,超過50次引用的文章有14篇(占比31.1%)。其中,引用率最高的文章是Golan等(2010)關(guān)于基于交通運(yùn)輸場(chǎng)景的虛擬游戲?qū)SD兒童情感詞匯的理解以及情緒理解與識(shí)別能力的影響作用的研究(189次);其次是Bosseler等(2003)關(guān)于基于虛擬教師的虛擬游戲?qū)SD兒童詞匯和語(yǔ)言學(xué)習(xí)的影響的研究(184次)。可以發(fā)現(xiàn),引用率較高的文章主題主要聚焦于虛擬游戲支持ASD兒童的詞匯學(xué)習(xí)及其情緒理解與識(shí)別能力的提升,這是虛擬游戲教育應(yīng)用的研究熱點(diǎn)。
從作者分布特征來看。為呈現(xiàn)國(guó)際上虛擬游戲支持ASD兒童教育文獻(xiàn)的作者分布情況,研究對(duì)45篇文獻(xiàn)樣本的第一作者進(jìn)行分析。其中,作者總共來自16個(gè)國(guó)家,其區(qū)域分布分別是歐洲(n=15,33.3%)、北美洲(n=14,31.1%)、亞洲(n=11,24.4%)以及大洋洲(n=5,11.1%)。從發(fā)文作者數(shù)量來看,美國(guó)作者共計(jì)13位,占總作者數(shù)的28.9%,表明美國(guó)學(xué)者是虛擬游戲支持ASD兒童教育研究的主要群體。
四、虛擬游戲支持ASD兒童教育的技術(shù)基 礎(chǔ)及作用方式
對(duì)文獻(xiàn)內(nèi)容進(jìn)行分析發(fā)現(xiàn),虛擬游戲在支持ASD兒童教育中的關(guān)鍵技術(shù)主要包括可視化技術(shù)、虛擬代理技術(shù)和新興技術(shù):可視化技術(shù)將人的肢體與面部情緒以3D動(dòng)畫的形式突顯,可促進(jìn)ASD兒童情緒理解與識(shí)別能力的培養(yǎng);虛擬代理技術(shù)幫助ASD兒童通過化身與其他對(duì)象交互,可提升其社交能力;利用新興技術(shù)構(gòu)建可交互的虛擬現(xiàn)實(shí)環(huán)境,可強(qiáng)化ASD兒童因果關(guān)系理解與獨(dú)立出行體驗(yàn)。
1.可視化技術(shù)提升情緒理解與識(shí)別能力
在近二十年的相關(guān)研究中,基于可視化技術(shù)的虛擬游戲教育應(yīng)用文獻(xiàn)數(shù)量占總樣本的20.0%(9篇)。可視化技術(shù)通過3D動(dòng)畫角色模擬和3D動(dòng)畫場(chǎng)景創(chuàng)設(shè),可改善ASD兒童的情緒理解與識(shí)別能力。
第一,角色模擬。孤獨(dú)癥患者在識(shí)別、理解和回饋他人的面部表情、語(yǔ)音語(yǔ)調(diào)、身體姿勢(shì),以及表達(dá)自己的情緒方面存在較大困難(Aitken,2012)。3D動(dòng)畫通過模擬真實(shí)物體,以自然逼真的表現(xiàn)方式來突顯虛擬人物的動(dòng)作與表情,有助于ASD兒童觀察與感受虛擬人物的行為與情緒,為ASD兒童的情緒干預(yù)提供支持。由文獻(xiàn)分析可知,當(dāng)前利用基于3D動(dòng)畫角色的虛擬游戲支持ASD兒童習(xí)得情緒識(shí)別技能的研究數(shù)量較多,且主要集中于面部表情和肢體動(dòng)作的識(shí)別。例如,“少年偵探培訓(xùn)計(jì)劃”(Beaumont et al.,2008)作為一項(xiàng)提升ASD兒童情感識(shí)別能力的虛擬教育游戲,以3D動(dòng)畫欣賞與角色扮演等策略引導(dǎo)ASD兒童體驗(yàn)案件偵破的過程,幫助其學(xué)會(huì)識(shí)別復(fù)雜情緒(如尷尬、內(nèi)疚等)。當(dāng)完成一系列學(xué)習(xí)任務(wù)后,研究人員對(duì)參與者開展為期5個(gè)月的跟蹤訪談,發(fā)現(xiàn)干預(yù)組ASD兒童的社交技能和情緒管理能力均得到顯著提升。
第二,場(chǎng)景創(chuàng)設(shè)。基于面部表情的干預(yù)以孤獨(dú)癥情緒認(rèn)知理論為基礎(chǔ)。Baron—Cohen等(2005)提出的“移情—系統(tǒng)化”理論(Empathising—Systemising,E—S)認(rèn)為ASD兒童的大腦是高度系統(tǒng)化的,他們?cè)谡J(rèn)知他人心理狀態(tài)、眼神互動(dòng)、語(yǔ)言交流等移情機(jī)制上存在障礙,但在細(xì)節(jié)觀察、處理高度結(jié)構(gòu)化信息、認(rèn)知物理結(jié)構(gòu)等系統(tǒng)化機(jī)制上具有優(yōu)勢(shì)。因此,沉浸式、無監(jiān)督的3D場(chǎng)景技術(shù)能夠?yàn)锳SD兒童營(yíng)造適合其認(rèn)知特點(diǎn)的虛擬場(chǎng)景。如情緒認(rèn)知?jiǎng)赢嫛癟he Transporters”(Golan et al.,2010),在有軌電車、纜車、鏈輪、長(zhǎng)途汽車、纜索鐵路和拖拉機(jī)六種虛擬車輛上移植了情感表達(dá)的擬人面孔,并將虛擬車輛之間的娛樂性交互進(jìn)行情境化處理。該游戲所展現(xiàn)的故事具有高度結(jié)構(gòu)化的特征,且將面部表情嵌入交通工具等物理結(jié)構(gòu)中而非肢體語(yǔ)言或有情緒的聲音里,契合ASD兒童高度系統(tǒng)化大腦的認(rèn)知需求。這就使得ASD兒童的優(yōu)勢(shì)能力得到有效發(fā)揮,能夠補(bǔ)償其社會(huì)認(rèn)知方面的障礙(劉理陽(yáng)等,2014)。評(píng)估結(jié)果表明,該系列游戲能夠顯著提升ASD兒童對(duì)虛擬游戲中所呈現(xiàn)的15種關(guān)鍵情緒的理解和識(shí)別能力。
2.虛擬代理技術(shù)提升應(yīng)變能力與社交能力
在虛擬游戲支持ASD兒童的教育研究中,有關(guān)虛擬代理技術(shù)應(yīng)用的文獻(xiàn)數(shù)量占總樣本的33.3%(15篇),其中虛擬教師設(shè)計(jì)與應(yīng)用的關(guān)注度最高。從文獻(xiàn)數(shù)量可以看出,伴隨虛擬游戲的快速發(fā)展,虛擬代理技術(shù)應(yīng)用逐步成為虛擬游戲教育研究中的重要議題。虛擬代理技術(shù)逐步向個(gè)性化和強(qiáng)交互性發(fā)展,虛擬代理的化身形象由2D動(dòng)畫演變?yōu)?D動(dòng)畫,技術(shù)特征也由簡(jiǎn)單的音視頻交互轉(zhuǎn)變?yōu)樘摂M現(xiàn)實(shí)學(xué)習(xí)環(huán)境交互,教育應(yīng)用體現(xiàn)為智能導(dǎo)師和智能學(xué)伴等。
(1)化身技術(shù)
化身技術(shù)能夠模擬人類的生理機(jī)能,使虛擬代理具備擬人的外觀、姿態(tài)、行為和情感。在應(yīng)用過程中,化身技術(shù)可以表征為圖片、視頻和動(dòng)畫等形式。化身技術(shù)可以幫助ASD兒童模擬現(xiàn)實(shí)的生活與社交場(chǎng)景。例如,澳大利亞“孤獨(dú)癥游戲”項(xiàng)目①利用音視頻、2D動(dòng)畫等技術(shù)讓ASD兒童與化身進(jìn)行交互,幫助患有中度甚至重度孤獨(dú)癥的兒童接受并應(yīng)對(duì)日常生活中的變化(如天氣變化和生活中的突發(fā)事件等),提升其應(yīng)變能力。智能代理游戲“SHARE-IT”(Porayska-Pomsta et al.,2013)在沉浸式學(xué)習(xí)環(huán)境中,以生活情境中的實(shí)際問題為導(dǎo)向,融合化身與音視頻等技術(shù),讓ASD兒童通過與虛擬角色的多維互動(dòng)來增進(jìn)其對(duì)外部多通道信息的感知,提升其環(huán)境適應(yīng)能力。
(2)協(xié)同虛擬環(huán)境
目前絕大多數(shù)虛擬現(xiàn)實(shí)類嚴(yán)肅游戲采用預(yù)編程或關(guān)聯(lián)技術(shù),與動(dòng)態(tài)真實(shí)世界相比,缺乏社交和通信的靈活性(Zhang et al.,2018)。為此,構(gòu)建一個(gè)計(jì)算機(jī)支持的分布式虛擬場(chǎng)景的集合,即協(xié)同虛擬環(huán)境(Collaborative Virtual Environment, CVE),促進(jìn)多位玩家同時(shí)與虛擬物體進(jìn)行交互,可以改善虛擬環(huán)境中交互層面的局限性(Benford et al.,2001)。協(xié)同虛擬環(huán)境技術(shù)憑借場(chǎng)景設(shè)置、交互特效、人機(jī)交互和智能算法等優(yōu)勢(shì),通過營(yíng)造一個(gè)集游戲化展示、學(xué)習(xí)內(nèi)容交互以及學(xué)習(xí)體驗(yàn)為一體的場(chǎng)景交互體系為ASD兒童的訓(xùn)練提供支撐。例如,基于CVE的“虛擬咖啡館”游戲(Parsons et al.,2004)通過強(qiáng)化溝通(游戲程序向玩家詢問問題)、交互(玩家使用鼠標(biāo)與游戲進(jìn)行響應(yīng))和導(dǎo)航(玩家使用操縱桿在虛擬環(huán)境中按照指示方向前進(jìn)),能夠激發(fā)ASD兒童的社交動(dòng)機(jī),強(qiáng)化個(gè)體之間的社交強(qiáng)度,進(jìn)而促進(jìn)ASD兒童社交技能的提升。已有研究證實(shí),基于CVE的虛擬游戲不僅能夠增進(jìn)ASD兒童的社交能力,激發(fā)其參與社會(huì)性活動(dòng),還能在其共情能力方面產(chǎn)生促進(jìn)效果(Chene et al.,2010),類似的干預(yù)項(xiàng)目還有多場(chǎng)景虛擬實(shí)景游戲“Second Life”等(Ke et al.,2013)。
3.新興技術(shù)強(qiáng)化因果關(guān)系理解與獨(dú)立出行體驗(yàn)
新興技術(shù)應(yīng)用方面的文獻(xiàn)數(shù)量占總數(shù)的46.7%(21篇),其中關(guān)于沉浸式場(chǎng)景創(chuàng)建與評(píng)估的實(shí)證研究較多。以觸控交互、動(dòng)作捕捉、可穿戴技術(shù)為代表的新興技術(shù)正加速與5G、人工智能等技術(shù)交叉融合,并已衍生出新的應(yīng)用場(chǎng)景。經(jīng)文獻(xiàn)內(nèi)容分析可知,新興技術(shù)在虛擬游戲中的應(yīng)用研究多聚焦于自然交互技術(shù)與多模態(tài)學(xué)習(xí)分析。
(1)觸控交互技術(shù)
虛擬游戲能夠?qū)SD兒童的思維發(fā)展置于真實(shí)的問題境脈中,借助多媒體技術(shù)和觸控交互技術(shù)的交叉融合,在點(diǎn)擊、觸控等操作行為的反饋下,提升ASD兒童對(duì)虛擬學(xué)習(xí)環(huán)境的感知體驗(yàn)?zāi)芰Γ蛊淅斫饨换バ袨榘l(fā)生的因果關(guān)系。例如,在“虛擬花園”(Bernardini et al.,2014)中,ASD兒童可通過單點(diǎn)觸控、多點(diǎn)觸控、多指拖動(dòng)以及疊加拖動(dòng)等操作改變花園中各個(gè)對(duì)象的形態(tài),實(shí)現(xiàn)將花朵逐步“栽種”至對(duì)應(yīng)花盆中的目標(biāo)。觸控操作行為與操控對(duì)象的狀態(tài)變化一一對(duì)應(yīng),能幫助ASD兒童了解操控對(duì)象變化的原因,理解游戲中事物變化的因果關(guān)系。除此之外,觸控交互技術(shù)與可穿戴設(shè)備以及大數(shù)據(jù)技術(shù)等的融合,能夠創(chuàng)新人機(jī)交互方式,從而增強(qiáng)ASD兒童的學(xué)習(xí)體驗(yàn)。
(2)可穿戴技術(shù)與動(dòng)作捕捉技術(shù)
可穿戴設(shè)備作為一種能夠穿戴的便攜式計(jì)算設(shè)備,具有移動(dòng)性、可攜帶和強(qiáng)交互性等特點(diǎn),可以為ASD兒童提供豐富的視覺、聽覺和觸覺體驗(yàn),增強(qiáng)ASD兒童在虛擬環(huán)境中的感知與交互能力。動(dòng)作捕捉技術(shù)在人體的關(guān)鍵部位設(shè)置追蹤器,并由系統(tǒng)捕捉追蹤器的位置,再經(jīng)過計(jì)算處理后得到空間坐標(biāo)數(shù)據(jù),使虛擬游戲能更精準(zhǔn)地獲取ASD兒童的姿態(tài)、動(dòng)作等身體數(shù)據(jù)。動(dòng)作捕捉技術(shù)與可穿戴技術(shù)相結(jié)合有助于對(duì)ASD兒童進(jìn)行獨(dú)立出行訓(xùn)練。例如,Yang等(2016)開發(fā)了一款面向ASD兒童自主出行場(chǎng)景的VR訓(xùn)練系統(tǒng),包括認(rèn)識(shí)路標(biāo)、安全過馬路、乘坐公共汽車和地鐵以及在停車場(chǎng)散步等,旨在訓(xùn)練ASD兒童的多種獨(dú)立出行技能。該訓(xùn)練系統(tǒng)利用基于Kinect和IMU的可穿戴設(shè)備捕捉ASD兒童關(guān)節(jié)的旋轉(zhuǎn)運(yùn)動(dòng),估計(jì)關(guān)節(jié)的運(yùn)動(dòng)軌跡,使用Microsoft Face跟蹤工具獲得頭部姿態(tài)數(shù)據(jù),在第一人稱視圖模式下控制虛擬環(huán)境視圖,并識(shí)別ASD兒童的姿態(tài)行為模式。虛擬現(xiàn)實(shí)出行訓(xùn)練系統(tǒng)通過將動(dòng)作捕捉技術(shù)、自然交互技術(shù)和可穿戴技術(shù)相結(jié)合,來增強(qiáng)車輛與行人之間互動(dòng)的真實(shí)性,能夠幫助ASD兒童在無監(jiān)督的安全環(huán)境下練習(xí)出行必備技能。同時(shí),基于手勢(shì)的自然人機(jī)交互和直觀的虛擬環(huán)境導(dǎo)航也可提升ASD兒童的虛擬出行體驗(yàn)。
對(duì)ASD的診斷取決于對(duì)觸覺、聲音、溫度和視覺等感官輸入的非典型反應(yīng)(American Psychiatric Association,2013,p.429),對(duì)ASD兒童而言,感覺反應(yīng)的改變表現(xiàn)出高度差異性。因此,監(jiān)測(cè)與分析可穿戴設(shè)備反饋的視聽覺和觸覺信號(hào)是確定ASD兒童能否安全應(yīng)用可穿戴設(shè)備的重要議題。但AR技術(shù)支持ASD兒童的教育研究大多數(shù)以智能手機(jī)和平板電腦應(yīng)用程序?yàn)檩d體(Sahin et al.,2018),缺乏針對(duì)ASD兒童的頭戴設(shè)備安全性的研究。
綜上,虛擬游戲支持ASD兒童教育的關(guān)鍵技術(shù)日趨多元且個(gè)性化,其中有兩方面值得重點(diǎn)關(guān)注:第一,由前文案例可知,有研究已經(jīng)實(shí)現(xiàn)通過多種數(shù)據(jù)采集技術(shù),獲得并分析ASD兒童的多模態(tài)數(shù)據(jù),從而計(jì)算出ASD兒童的行為模式,以提供精準(zhǔn)的教育服務(wù)及反饋。在虛擬游戲教育應(yīng)用過程中,多模態(tài)學(xué)習(xí)分析使得針對(duì)ASD兒童非語(yǔ)言信號(hào)的檢測(cè)成為可能,也是創(chuàng)新多元測(cè)評(píng)方式的重要切入點(diǎn)。第二,伴隨AR/XR技術(shù)、可穿戴設(shè)備等新技術(shù)的快速發(fā)展,其在ASD兒童教育應(yīng)用中的風(fēng)險(xiǎn)問題變得尤為突出,例如安全性問題、隱私泄露、算法歧視等。這均是我國(guó)在特殊教育領(lǐng)域中科技倫理治理所需關(guān)注的內(nèi)容。
五、虛擬游戲在ASD兒童教育中的應(yīng)用路徑
虛擬游戲在ASD兒童教育中的應(yīng)用主要聚焦于作為學(xué)習(xí)的認(rèn)知工具以及作為教與學(xué)的支持工具兩個(gè)方面。
1.作為學(xué)習(xí)的認(rèn)知工具
隨著以虛擬現(xiàn)實(shí)為代表的新一代信息技術(shù)的快速發(fā)展,基于虛擬游戲的認(rèn)知工具日益成為ASD兒童適應(yīng)性認(rèn)知發(fā)展的有效手段,具體包括化身與手勢(shì)兩類。
化身技術(shù)可為ASD兒童提供形象直觀的交互載體,創(chuàng)設(shè)真實(shí)的視覺體驗(yàn)。例如,Bosseler等(2003)設(shè)計(jì)并研發(fā)了一款虛擬游戲“Language Wizard/Player”,利用虛擬教師角色教授詞匯和語(yǔ)法知識(shí),為ASD兒童獨(dú)立學(xué)習(xí)詞匯提供了有效的認(rèn)知平臺(tái)。在游戲化教學(xué)過程中,虛擬教師Baldi發(fā)出語(yǔ)音指令,ASD兒童響應(yīng)后屏幕將出現(xiàn)反饋正誤的表情,強(qiáng)化ASD兒童的認(rèn)知效果。經(jīng)過30天的實(shí)驗(yàn)干預(yù),評(píng)估結(jié)果顯示,ASD兒童的詞匯學(xué)習(xí)效果得到了顯著改善,30天后單詞記憶率仍保持在91%左右。
手勢(shì)在ASD兒童的知識(shí)習(xí)得、復(fù)雜精細(xì)運(yùn)動(dòng)和認(rèn)知發(fā)展中具有重要作用。基于手勢(shì)的虛擬游戲是一種極具潛力的認(rèn)知工具,能夠幫助ASD兒童更好地與計(jì)算機(jī)進(jìn)行交互,并獲得即時(shí)反饋,持續(xù)提升其精準(zhǔn)運(yùn)動(dòng)技能及認(rèn)知能力(Cai et al., 2018)。“粉紅海豚游戲”通過基于虛擬現(xiàn)實(shí)技術(shù)的沉浸式互動(dòng),賦予ASD兒童海豚馴養(yǎng)師的角色體驗(yàn),讓其能根據(jù)游戲指令以手勢(shì)的方式為海豚指出正確路徑,培養(yǎng)ASD兒童對(duì)不同手勢(shì)作用和含義的認(rèn)識(shí),緩解其在方向跟隨、心理動(dòng)作和手眼協(xié)調(diào)能力上較弱的問題。除此之外,該游戲還可通過不同的游戲情境和關(guān)卡設(shè)置來幫助ASD兒童習(xí)得算術(shù)以及識(shí)別顏色和形狀等技能(Lu et al., 2018)。
綜上所述,虛擬游戲通過化身和手勢(shì)將學(xué)習(xí)內(nèi)容以沉浸式、體驗(yàn)式、定制化和趣味化的形式進(jìn)行呈現(xiàn),為ASD兒童提供了認(rèn)知發(fā)展的支持,持續(xù)提升其認(rèn)知學(xué)習(xí)效果。
2.作為教與學(xué)的支持工具
(1)以多感官通道整合促進(jìn)詞匯學(xué)習(xí)
詞匯在日常語(yǔ)言交流中發(fā)揮著社會(huì)意義建構(gòu)的橋梁作用,其不僅是閱讀理解中不可或缺的組成部分,也是語(yǔ)言運(yùn)用的“催化劑”。但詞匯學(xué)習(xí)對(duì)ASD兒童而言是一項(xiàng)極具挑戰(zhàn)性的任務(wù)。與普通兒童相比,ASD兒童在語(yǔ)用能力和情緒認(rèn)知方面存在著一定程度的障礙(Melogno et al., 2016)。正常發(fā)育的兒童僅需8~14個(gè)月便能說出第一個(gè)單詞,而ASD兒童卻需約38個(gè)月,且ASD兒童不能遵循正常兒童的言語(yǔ)發(fā)音順序(Howlin, 2003)。一般情況下,結(jié)合真實(shí)的生活情境,利用虛擬游戲開展面向ASD兒童的詞匯教學(xué),可對(duì)學(xué)習(xí)效果產(chǎn)生積極影響。馬來西亞學(xué)者Khowaja等(2019)基于ASD兒童特征設(shè)計(jì)了專門針對(duì)ASD兒童詞匯學(xué)習(xí)的游戲設(shè)計(jì)框架并在此基礎(chǔ)上研發(fā)了詞匯學(xué)習(xí)軟件“Vocab Builder”,旨在通過視聽教學(xué)媒介呈現(xiàn)日常生活中的物品,以輔助ASD兒童學(xué)習(xí)不同類別的單詞。在游戲過程中,ASD兒童可以自由選擇一個(gè)物體來瀏覽,也可選擇不同的聲音播放對(duì)應(yīng)的單詞發(fā)音。實(shí)證結(jié)果顯示,在該軟件的幫助下,ASD兒童的詞匯學(xué)習(xí)能力有所提升,表現(xiàn)為只聽物體名稱就可以識(shí)別出相應(yīng)物體,且在一段時(shí)間內(nèi)還能回憶起相同物體。可見,將詞匯學(xué)習(xí)的文本和其表征的視覺圖像、聲音相結(jié)合,有助于ASD兒童對(duì)目標(biāo)詞匯的記憶和習(xí)得,也有助于其語(yǔ)言理解能力的提升。
(2)以沉浸式虛擬場(chǎng)景支持?jǐn)?shù)字化閱讀
虛擬游戲?qū)⒙曇簟⒁曨l與閱讀文本等多媒體信息進(jìn)行有效整合,以沉浸式虛擬教學(xué)場(chǎng)景的方式,為ASD兒童的數(shù)字化閱讀提供支持。研究發(fā)現(xiàn),ASD兒童在閱讀課文并理解文本意義的過程中,面臨著不同程度的困難與挑戰(zhàn)(Khowaja et al.,2020)。數(shù)字化閱讀是一種基于終端閱讀設(shè)備的超文本閱讀方式。伴隨信息社會(huì)發(fā)展,數(shù)字化閱讀已成為閱讀的重要組成部分(鄒群霞,2020)。在數(shù)字化閱讀的過程中,通過虛擬游戲,將ASD兒童的注意力轉(zhuǎn)移到數(shù)字閱讀場(chǎng)景中,并設(shè)置與之相匹配的虛擬游戲資源,可以幫助ASD兒童便捷獲取閱讀內(nèi)容并理解文本的意義。基于對(duì)ASD兒童閱讀障礙的考量,可采用“1分鐘課堂”等策略幫助他們獲取關(guān)鍵信息,通過“閱讀書簽”“社會(huì)日歷”等輔助工具幫助其理解虛擬化閱讀情境,或引導(dǎo)其將注意力集中于人物的語(yǔ)音語(yǔ)調(diào)或面部表情等線索(Melogno et al.,2016),最大程度地為ASD兒童解決“數(shù)字使用鴻溝”帶來的差異化閱讀困難。綜上,面向ASD兒童的數(shù)字化閱讀,以虛擬游戲?yàn)檩d體,集圖像、聲音、視頻、動(dòng)畫和VR/AR等技術(shù)為一體,表現(xiàn)內(nèi)容趨于生動(dòng)且精簡(jiǎn),顯著提升ASD兒童的文本理解能力。
(3)以多元交互支持ASD兒童編程教育
虛擬游戲與編程教育的融合為ASD兒童計(jì)算思維的發(fā)展提供了新的可能性。研究顯示,ASD兒童表現(xiàn)出對(duì)數(shù)字工具的自然傾向性,因此計(jì)算機(jī)編程被認(rèn)為是一種較為適合孤獨(dú)癥患者從事的工作類型(王純純等,2021)。當(dāng)虛擬游戲應(yīng)用于編程教育時(shí),其智能可視化、協(xié)同交互的特點(diǎn),對(duì)ASD兒童的社交技能、計(jì)算思維和認(rèn)知發(fā)展具有顯著的影響作用。例如結(jié)合“虛擬”與“社交”之意的“Virtuoso”虛擬游戲(Schmidt et al.,2016),利用“虛擬可編程機(jī)器人”幫助11~14歲ASD兒童解決計(jì)算機(jī)編程的入門問題。在問題解決過程中,ASD兒童利用虛擬學(xué)習(xí)材料,在虛擬學(xué)習(xí)空間中開展協(xié)作學(xué)習(xí),可針對(duì)性地改善其社交技能。總體而言,以虛擬游戲集成的計(jì)算工具不僅能夠提升ASD兒童的社交技能,也能提升其計(jì)算思維。
綜上,作為ASD兒童的教與學(xué)支持工具,虛擬游戲?qū)SD兒童的詞匯學(xué)習(xí)、數(shù)字化閱讀和編程學(xué)習(xí)等具有積極影響。其中有兩方面值得重點(diǎn)關(guān)注:一是國(guó)際上已經(jīng)具備了專門面向ASD兒童學(xué)習(xí)的游戲設(shè)計(jì)框架,并且通過了有效性和適用性檢驗(yàn),但是我國(guó)對(duì)虛擬游戲設(shè)計(jì)框架的研究還未被重視,對(duì)游戲易用性和可用性的評(píng)估還較為欠缺(宿淑華等,2019)。二是通過已有研究可知,國(guó)際上基于虛擬游戲的ASD兒童教育愈來愈趨向于數(shù)字素養(yǎng)與技能的全面培養(yǎng),這也與我國(guó)《提升全民數(shù)字素養(yǎng)與技能行動(dòng)綱要》中的“數(shù)字社會(huì)無障礙改造提升工程”要求不謀而合。多措并舉提升ASD兒童的數(shù)字意識(shí)、計(jì)算思維、終身學(xué)習(xí)能力等,是我國(guó)加快彌合數(shù)字鴻溝的普惠性服務(wù)重點(diǎn)與經(jīng)驗(yàn)(中央網(wǎng)絡(luò)安全和信息化委員會(huì),2021)。
六、研究啟示
通過對(duì)虛擬游戲支持ASD兒童教育的研究與案例的分析,可總結(jié)出以下四點(diǎn)經(jīng)驗(yàn),為我國(guó)開展虛擬游戲支持ASD兒童教育教學(xué)提供借鑒。
1.運(yùn)用多模態(tài)學(xué)習(xí)分析,拓展教學(xué)測(cè)評(píng)方式
多模態(tài)學(xué)習(xí)分析的快速發(fā)展,為ASD兒童教學(xué)測(cè)評(píng)帶來了新機(jī)遇。從社會(huì)符號(hào)系統(tǒng)來看,對(duì)多模態(tài)的釋義更加偏向于機(jī)器對(duì)外部環(huán)境的感知模式或信息通道(Lahat et al.,2015),既包括身體姿態(tài)、面部表情等信息感知通道,也包括教學(xué)情境中基于多種傳感設(shè)備的數(shù)據(jù)采集方式(蔣艷雙等,2022)。與單模態(tài)數(shù)據(jù)相比,多模態(tài)數(shù)據(jù)融合不僅能夠提升測(cè)評(píng)的準(zhǔn)確性和全面性,還可通過對(duì)多通道數(shù)據(jù)的驗(yàn)證來提升問題闡釋的合理性(穆肅等,2021)。多模態(tài)學(xué)習(xí)分析能夠豐富虛擬游戲教育應(yīng)用的效果評(píng)估手段,可為ASD兒童學(xué)習(xí)成效驗(yàn)證提供數(shù)據(jù)支撐。在虛擬游戲支持ASD兒童學(xué)習(xí)的過程中,可以利用多種數(shù)據(jù)采集設(shè)備(例如超高清攝像機(jī)、眼動(dòng)設(shè)備和心率傳感器等),伴隨式采集師生的多模態(tài)學(xué)習(xí)行為數(shù)據(jù),并利用多種分析技術(shù)對(duì)其進(jìn)行同一化整合與建模,為師生等利益相關(guān)者提供教學(xué)支持與服務(wù)(Stone et al.,2019)。為此,建議構(gòu)建混合式、系統(tǒng)化的虛擬游戲教育應(yīng)用效果測(cè)評(píng)方案,以綜合考查ASD兒童在情緒識(shí)別、適應(yīng)變化、社交協(xié)作和計(jì)算思維等上的訓(xùn)練成效。
2.重視虛擬游戲教育應(yīng)用倫理風(fēng)險(xiǎn),構(gòu)建“政—企—校”協(xié)同聯(lián)動(dòng)的多元共治機(jī)制
虛擬游戲作為助力ASD兒童教育的有效且可靠的技術(shù)手段,在教育應(yīng)用過程中仍面臨諸多科技倫理挑戰(zhàn)。例如,由于ASD兒童的感覺反應(yīng)存在高度差異,可穿戴設(shè)備對(duì)其感知覺的反饋可能存在過度刺激,使其不能應(yīng)對(duì)虛擬環(huán)境帶來的變化;ASD兒童使用虛擬游戲的時(shí)間過長(zhǎng)可能導(dǎo)致成癮風(fēng)險(xiǎn);ASD兒童的聲紋和面部特征等隱私數(shù)據(jù)存在被泄露與盜用的風(fēng)險(xiǎn)。針對(duì)以上科技倫理問題,需加強(qiáng)“政—企—校”之間的協(xié)同聯(lián)動(dòng),建立差異化、全覆蓋的多方問責(zé)機(jī)制,制定并執(zhí)行監(jiān)督與防范措施,持續(xù)提升科技倫理治理能力(中共中央辦公廳 國(guó)務(wù)院辦公廳,2022)。“政—企—校”協(xié)同的多元共治機(jī)制可由政府主導(dǎo),建立虛擬游戲在特殊教育中應(yīng)用的倫理規(guī)范與風(fēng)險(xiǎn)預(yù)警機(jī)制,并明確企業(yè)和學(xué)校的責(zé)權(quán)范疇。企業(yè)應(yīng)遵守市場(chǎng)規(guī)范,確保其產(chǎn)品不違反科技倫理。例如,設(shè)計(jì)游戲時(shí)遵循教育倫理、規(guī)范好用戶數(shù)據(jù)采集方式、建立數(shù)據(jù)保護(hù)機(jī)制等。學(xué)校作為虛擬游戲的應(yīng)用主體,應(yīng)加強(qiáng)科技倫理日常管理,主動(dòng)研判虛擬游戲教育應(yīng)用可能引發(fā)的倫理風(fēng)險(xiǎn)。例如,學(xué)校嚴(yán)格把控虛擬游戲納入學(xué)校教學(xué)活動(dòng)的入口,并規(guī)范其在教學(xué)中的應(yīng)用方式等。
3.以學(xué)習(xí)需求為導(dǎo)向,構(gòu)建虛擬游戲設(shè)計(jì)框架
從整體上看,國(guó)際上已有關(guān)于虛擬游戲設(shè)計(jì)框架的研究。由于我國(guó)特殊教育的研究與實(shí)踐起步較晚,尚缺乏一套符合我國(guó)ASD兒童學(xué)習(xí)需求,且契合中國(guó)國(guó)情的虛擬游戲設(shè)計(jì)框架。制定此類框架,首先要在充分遵循ASD兒童認(rèn)知發(fā)生機(jī)制和心理發(fā)展規(guī)律的基礎(chǔ)上,掌握ASD兒童群體的特征、興趣偏好和學(xué)習(xí)風(fēng)格等。這是虛擬游戲設(shè)計(jì)框架構(gòu)建的出發(fā)點(diǎn)。其次,虛擬游戲的設(shè)計(jì)框架應(yīng)具備多種分支路徑,每個(gè)分支的游戲激勵(lì)策略、學(xué)習(xí)內(nèi)容呈現(xiàn)方式、進(jìn)度安排等均有差異化設(shè)置,且每個(gè)分支需提供不同等級(jí)難度的學(xué)習(xí)內(nèi)容及測(cè)驗(yàn)題目。具體而言,等級(jí)難度設(shè)置不僅要與不同能力水平的ASD兒童相匹配,還要差序配對(duì)學(xué)生的學(xué)習(xí)需求,以持續(xù)調(diào)動(dòng)學(xué)生的參與動(dòng)機(jī)和學(xué)習(xí)興趣。再次,基于數(shù)字文化體驗(yàn)的差異性考慮,虛擬游戲中的化身應(yīng)選用本國(guó)或本民族的人物形象,幫助ASD兒童更好地接受知識(shí)教授與情感訓(xùn)練。最后,在大數(shù)據(jù)、人工智能等技術(shù)支持下,虛擬游戲設(shè)計(jì)時(shí)可加入感知與采集ASD兒童個(gè)性化特征與需求的功能,進(jìn)而為其推薦適切的學(xué)習(xí)資源和學(xué)習(xí)活動(dòng)序列,形成自適應(yīng)學(xué)習(xí)路徑推薦機(jī)制,并提供實(shí)時(shí)數(shù)據(jù)分析與可視化呈現(xiàn)功能,為ASD兒童的認(rèn)知發(fā)展和社交技能改善提供智能化學(xué)習(xí)路徑。
4.在職業(yè)培訓(xùn)與就業(yè)支持中,重視ASD兒童數(shù)字素養(yǎng)與技能的培育
當(dāng)前,我國(guó)孤獨(dú)癥青年就業(yè)率仍不足10%,且絕大多數(shù)家長(zhǎng)認(rèn)為獨(dú)孤癥兒童的職業(yè)培訓(xùn)與就業(yè)支持需求未得以滿足(董萍等,2020)。適當(dāng)給予ASD兒童職業(yè)學(xué)習(xí)的機(jī)會(huì),讓其接觸所選職業(yè)相關(guān)的工作內(nèi)容,幫助其確定個(gè)人工作偏好,這對(duì)ASD兒童職業(yè)發(fā)展與就業(yè)選擇等方面具有重要意義。信息化社會(huì)對(duì)ASD兒童數(shù)字素養(yǎng)與技能的培養(yǎng)提出了新的要求。從國(guó)際上來看,美國(guó)《殘疾人教育法》建議在中學(xué)前后開始職業(yè)過渡培訓(xùn)(Strickland et al., 2013),通過職業(yè)過渡培訓(xùn)和數(shù)字化技能補(bǔ)償培訓(xùn)等方式發(fā)展ASD兒童的職業(yè)技能和數(shù)字素養(yǎng)與技能。從我國(guó)來看,中央網(wǎng)絡(luò)安全和信息化委員會(huì)印發(fā)的《提升全民數(shù)字素養(yǎng)與技能行動(dòng)綱要》強(qiáng)調(diào)穩(wěn)步提升殘疾人等特殊群體的數(shù)字技能,加快彌合數(shù)字鴻溝(中央網(wǎng)絡(luò)安全和信息化委員會(huì),2021)。我國(guó)應(yīng)在充分考慮國(guó)情和教育文化特色的基礎(chǔ)上,完善相關(guān)教育制度及規(guī)范,開展面向ASD兒童的職業(yè)過渡培訓(xùn)課程。在培訓(xùn)過程中可以采用適切的虛擬游戲來進(jìn)一步挖掘其職業(yè)潛能,輔助其確立就業(yè)意向與職業(yè)方向,并提升其數(shù)字素養(yǎng)與技能。
注釋:
① 澳大利亞“孤獨(dú)癥游戲”項(xiàng)目網(wǎng)站為:www.autismgames.com.au。
參考文獻(xiàn):
[1]董萍,徐添喜(2020).SEARCH項(xiàng)目在自閉癥學(xué)生“從學(xué)校到就業(yè)”轉(zhuǎn)銜中的應(yīng)用與啟示[J].殘疾人研究,(4):80-88.
[2]蔣艷雙,崔璨,逯行等(2022).雙師課堂中的多模態(tài)學(xué)習(xí)情感分析:關(guān)鍵問題、邏輯理路與實(shí)施路線[J].現(xiàn)代教育技術(shù),32(4):13-20.
[3]劉理陽(yáng),莫書亮,梁良等(2014).孤獨(dú)癥譜系障礙兒童面部表情識(shí)別障礙及臨床干預(yù)[J].中國(guó)特殊教育,(2):41-48.
[4]穆肅,崔萌,黃曉地(2021).全景透視多模態(tài)學(xué)習(xí)分析的數(shù)據(jù)整合方法[J].現(xiàn)代遠(yuǎn)程教育研究,33(1):26-37,48.
[5]宿淑華,胡慧賢,趙富才(2019).基于ICT的自閉癥譜系障礙兒童情緒干預(yù)研究綜述[J].中國(guó)特殊教育,(4):47-53.
[6]孫巖(2008).虛擬游戲:兒童游戲的一種文化延伸[J].現(xiàn)代教育科學(xué),(2):61-63.
[7]王純純,陳建軍(2021).行為技能訓(xùn)練應(yīng)用于自閉癥譜系障礙者職業(yè)技能干預(yù)的研究述評(píng)[J].中國(guó)特殊教育,(9):40-46.
[8]五彩鹿自閉癥研究院(2017).2017《中國(guó)自閉癥教育康復(fù)行業(yè)發(fā)展?fàn)顩r報(bào)告II》發(fā)布會(huì)今日在京舉行[EB/OL].[2021-12-01].https://www.sohu.com/a/131582510_661957.
[9]閆海虹,張喜蓮,戎萍等(2022).中西醫(yī)治療兒童孤獨(dú)癥譜系障礙的臨床研究進(jìn)展[J].中華中醫(yī)藥雜志,37(2):933-938.
[10]中共中央辦公廳 國(guó)務(wù)院辦公廳(2022).關(guān)于加強(qiáng)科技倫理治理的意見[EB/OL].[2022-04-01].http://www.gov.cn/zhengce/2022-03/20/content_5680105.htm.
[11]中央網(wǎng)絡(luò)安全和信息化委員會(huì)(2021).提升全民數(shù)字素養(yǎng)與技能行動(dòng)綱要[EB/OL].[2022-04-01].http://wwww.cac.gov.cn/2021-11/05/c_1637708867754305.htm.
[12]鄒群霞(2020).兒童數(shù)字化閱讀的應(yīng)對(duì)策略[J].出版廣角,(6):83-85.
[13]Aitken, K. (2012). Autism Spectrum Conditions: FAQs on Autism, Asperger Syndrome, and Atypical Autism Answered by International Experts[J]. Journal of Autism and Developmental Disorders, 42(9):2023-2024.
[14]American Psychiatric Association (2013). DSM-5: Diagnostic and Statistical Manual of Mental Disorders, 5th Edition[M]. Arlington VA: American Psychiatric Publishing.
[15]Baron-Cohen, S., Wheelwright, S., & Lawson, J. et al. (2005). Empathizing and Systemizing in Autism Spectrum Conditions[M]// Volkmar, F. R., Paul, R., & Klin, A. et al. (Eds.). Handbook of Autism and Pervasive Developmental Disorders. John Wiley & Sons, Inc. :628-639.
[16]Beaumont, R., & Sofronoff, K. (2008). A Multi-Component Social Skills Intervention for Children with Asperger Syndrome: The Junior Detective Training Program[J]. Journal of Child Psychology and Psychiatry, 49(7):743-753.
[17]Benford, S., Greenhalgh, C., & Rodden, T. et al. (2001). Collaborative Virtual Environments[J]. Communications of the ACM, 44(7):79-85.
[18]Bernardini, S., Porayska-Pomsta, K., & Smith, T. J. (2014). ECHOES: An Intelligent Serious Game for Fostering Social Communication in Children with Autism[J]. Information Sciences, 264:41-60.
[19]Bosseler, A., & Massaro, D. W. (2003). Development and Evaluation of a Computer-Animated Tutor for Vocabulary and Language Learning in Children with Autism[J]. Journal of Autism and Developmental Disorders, 33(6):653-672.
[20]Bremer, E., & Lloyd, M. (2016). School-Based Fundamental-Motor-Skill Intervention for Children with Autism-Like Characteristics: An Exploratory Study[J]. Adapted Physical Activity Quarterly, 33(1):66-88.
[21]Cai, S., Zhu, G., & Wu, Y. et al. (2018). A Case Study of Gesture-Based Games in Enhancing the Fine Motor Skills and Recognition of Children with Autism[J]. Interactive Learning Environments, 26(8):1039-1052.
[22]Chene, Y., Chiang, H., & Ye, J. et al. (2010). Enhancing Empathy Instruction Using a Collaborative Virtual Learning Environment for Children with Autistic Spectrum Conditions[J]. Computers & Education, 55(4):1449-1458.
[23]Golan, O., Ashwin, E., & Granader, Y. et al. (2010). Enhancing Emotion Recognition in Children with Autism Spectrum Conditions: An Intervention Using Animated Vehicles with Real Emotional Faces[J]. Journal of Autism and Developmental Disorders, 40(3):269-279.
[24]Howlin, P. (2003). Outcome in High-Functioning Adults with Autism with and Without Early Language Delays: Implications for the Differentiation Between Autism and Asperger Syndrome[J]. Journal of Autism and Developmental Disorders, 33(1):3-13.
[25]Ke, F., & Im, T. (2013). Virtual-Reality-Based Social Interaction Training for Children with High-Functioning Autism[J]. Journal of Educational Research, 106(6):441-461.
[26]Khowaja, K., & Salim, S. S. (2019). Serious Game for Children with Autism to Learn Vocabulary: An Experimental Evaluation[J]. International Journal of Human-Computer Interaction, 35(1):1-26.
[27]Khowaja, K., & Salim, S. S. (2020). A Framework to Design Vocabulary-Based Serious Games for Children with Autism Spectrum Disorder (ASD)[J]. Universal Access in the Information Society, 19(4):739-781.
[28]Lahat, D., Adali, T., & Jutten, C. (2015). Multimodal Data Fusion: An Overview of Methods, Challenges, and Prospects[J]. Proceedings of the IEEE, 103(9):1449-1477.
[29]Lu, A., Chan, S., & Cai, Y. et al. (2018). Learning Through VR Gaming with Virtual Pink Dolphins for Children with ASD[J]. Interactive Learning Environments, 26(6):718-729.
[30]Melogno, S., Trimarco, B., & Pinto, M. A. et al. (2016). Sensitizing a Gifted Child with Autism Spectrum Disorder Towards Social Cognition: From Assessment to Treatment[J]. World Journal of Neuroscience, 6(2):171-180.
[31]Mora, A., Riera, D., & González, C. et al. (2015). A Literature Review of Gamification Design Frameworks[C]// 2015 IEEE 7th International Conference on Games and Virtual Worlds for Serious Applications (VS-Games). New York: IEEE:100-107.
[32]Parsons, S., Mitchell, P., & Leonard, A. (2004). The Use and Understanding of Virtual Environments by Adolescents with Autistic Spectrum Disorders[J]. Journal of Autism and Developmental Disorders, 34(4):449-466.
[33]Porayska-Pomsta, K., Anderson, K., & Bernardini, S. et al. (2013). Building an Intelligent, Authorable Serious Game for Autistic Children and Their Carers[C]// Reidsma, D., Katayose, H., & Nijholt, A. (Eds.). Advances in Computer Entertainment. 10th International Conference, ACE 2013. Cham: Springer:456-475.
[34]Sahin, N. T., Keshav, N. U., & Salisbury, J. P. et al. (2018). Safety and Lack of Negative Effects of Wearable Augmented-Reality Social Communication Aid for Children and Adults with Autism[J]. Journal of Clinical Medicine, 7(8):188.
[35]Schmidt, M., & Beck, D. (2016). Computational Thinking and Social Skills in Virtuoso: An Immersive, Digital Game-Based Learning Environment for Youth with Autism Spectrum Disorder[C]// Allison, C., Morgado, L., & Pirker, J. et al. (Eds.). Communications in Computer and Information Science. Cham: Springer International Publishing AG:621:113-121.
[36]Stone, B. G., Mills, K. A., & Saggers, B. (2019). Online Multiplayer Games for the Social Interactions of Children with Autism Spectrum Disorder: A Resource for Inclusive Education[J]. International Journal of Inclusive Education, 23(2):209-228.
[37]Strickland, D. C., Coles, C. D., & Southern, L. B. (2013). JobTIPS: A Transition to Employment Program for Individuals with Autism Spectrum Disorders[J]. Journal of Autism and Developmental Disorders, 43(10):2472-2483.
[38]Sundberg, M. (2018). Online Gaming, Loneliness and Friendships Among Adolescents and Adults with ASD[J]. Computers in Human Behavior, 79:105-110.
[39]Xiao, Y., & Watson, M. (2019). Guidance on Conducting a Systematic Literature Review[J]. Journal of Planning Education and Research, 39(1):93-112.
[40]Yang, T., Zhou, C., & Shen, J. (2016). Virtual Reality Based Independent Travel Training System for Children with Intellectual Disability[C]// Aldabass, D., Colla, V., & Vannuci, M. et al. (Eds.). UKSim European Symposium on Computer Modeling and Simulation. New York: IEEE:143-148.
[41]Zhang, L., Warren, Z., & Swanson, A., et al. (2018). Understanding Performance and Verbal-Communication of Children with ASD in a Collaborative Virtual Environment[J]. Journal of Autism and Developmental Disorders, 48(8):2779-2789.
收稿日期 2021-12-10
How Can Virtual Games Support the Education for Children with Autism?
——A Systematic Literature Review of International Research
JIANG Yanshuang, ZHU Lixin, LU Hang, GAO Hongying
Abstract: Children with autism are often characterized by social communication disorders, repetitive behaviors, and fixed and limited interests, for which educational training serves as the main means of treatment. Virtual games, with the features of visualization, interactivity and simulation scene, are helpful to the educational intervention of autistic children. Based on a systematic literature review, this paper examines relevant international research on the intervention of virtual games for autistic children. The results are found as follows. First, the key technologies for virtual games to support the education for autistic children include visualization technology, virtual agent technology and emerging technology. Visualization technology that highlights human body and facial emotions in the form of 3D animations can promote the development of emotional understanding and recognition in autistic children. Virtual agent technology helps autistic children interact with other objects through avatars to improve their social skills. Using emerging technologies to construct interactive virtual reality environments can enhance autistic children’s understanding of causation and independent travel experience. Second, virtual games can function as cognitive tools and teaching and learning support tools in the education for autistic children, helping them with vocabulary learning, digital reading and programming. Therefore, in the development of the education for autistic children in China, multi-modal analysis technology can be used to expand the methods of evaluating the teaching effects of virtual games; the ethical risk of the application of virtual games in education should be emphasized to establish a multi-governance mechanism integrating “government, enterprise and school”; the design framework of virtual games should be constructed based on learning needs; the cultivation of digital literacy and skills in professional training and employment support should also be stressed.
Keywords: Virtual Games; Education for Autistic Children; Special Education; Systematic Literature Review