



【摘要】 擴展現實技術是虛擬現實、增強現實、混合現實等新興沉浸式技術的統稱,能夠將真實與虛擬結合,打造出人機交互的虛擬環境,從而改善孤獨癥譜系障礙者的社交障礙。梳理2000—2024年國外擴展現實技術對孤獨癥譜系障礙者社交技能干預研究成果,從被試信息、干預目標、干預方式、干預技術、干預效果等方面總結歸納研究特征,汲取有益經驗。在此基礎上作出展望,以期為我國將信息技術應用于孤獨癥譜系障礙者社交技能的理論研究和實踐開展提供借鑒。
【關鍵詞】 孤獨癥譜系障礙;社交技能;虛擬現實;增強現實;混合現實
【中圖分類號】 G769
【作者簡介】 佘麗,講師,湖南師范大學教育科學學院(長沙,410081),SHELI1989@163.com;刁會,碩士研究生,湖南師范大學教育科學學院(長沙,410081);黃珊,講師,浙江師范大學兒童發展與教育學院(通訊作者:hss0711311013@126.com,杭州,311231)。
一、引言
孤獨癥譜系障礙(Autism Spectrum Disorder,以下簡稱ASD)是一種以持續性的社會交往和溝通障礙、刻板重復行為和狹隘興趣為核心癥狀的神經發育障礙[1]。社會交往缺陷是ASD的核心癥狀,具體表現為缺乏用言語或非言語的方式進行社交互動的能力[2],常導致ASD兒童較難融入同齡人社會活動,也易在日常生活中表現出情緒低落、焦慮和憤怒等狀態[3]。近年來,全球孤獨癥發生率普遍上升。2023年美國疾病控制與預防中心孤獨癥和發育障礙監測最新數據顯示,ASD兒童發生率已上升至1/36[4]。截至2024年,我國ASD發病率為1%,0—14歲ASD兒童約200萬,且每年新增約16萬[5]。日益增多的ASD者顯示出對其進行教育康復的必要性與急迫性。《孤獨癥兒童關愛促進行動實施方案(2024—2028年)》強調“以孤獨癥兒童健康成長、全面發展為目的,全面提升孤獨癥兒童關愛服務水平”[6]。《“十四五”特殊教育發展提升行動計劃》明確指出,“促進醫療康復、信息技術與特殊教育融合。鼓勵有條件的地方充分應用互聯網、云計算、大數據、虛擬現實和人工智能等新技術,推進特殊教育智慧校園、智慧課堂建設”[7]。如何通過信息技術改善ASD兒童社交障礙,提高其融入社會的能力成為亟待解決的焦點問題。
擴展現實(Extended Reality,以下簡稱XR)是指通過計算機將真實與虛擬結合,打造出人機交互的虛擬環境,也是虛擬現實(Virtual Reality,以下簡稱VR)、增強現實(Augmented Reality,以下簡稱AR)、混合現實(Mixted Reality,以下簡稱MR)等新興沉浸式技術的統稱[8]。VR是一種基于多媒體計算機技術、傳感技術、仿真技術的沉浸式交互環境,其特點為沉浸性、交互性和構想性[9]。AR是在VR基礎上發展起來的新興技術,具有虛實結合、實時交互和三維配準特征[10]。MR是VR和AR技術的進一步發展,該技術通過在現實場景呈現虛擬場景信息,在現實世界、虛擬世界和用戶之間搭起一個交互反饋的信息回路,以增強用戶體驗的真實感[11]。有研究指出,XR所提供的逼真、沉浸式教學場景在提高ASD者社交技能上具有潛能[12]。Parsons等人的研究證實虛擬場景能成為干預ASD者社交技能的良好工具[13]。該研究利用虛擬場景對6名ASD青少年進行社交理解教學,最終提高了ASD青少年在社會場所的社交理解能力[14]。隨著信息技術發展,我國研究者關注到現代技術在ASD者中的應用,開始引介國外VR技術在ASD者社交技能和溝通互動干預進展[15],探索ASD家庭康復中VR技術的應用[16]。但整體而言,該領域的國內研究成果偏少,且在內容上集中于社交溝通與評估,對社交認知與動機關注較少;在技術上偏重VR技術,尚未關注到AR、MR等其他新興沉浸式技術在ASD者社交技能上的應用效果。鑒于此,本研究系統梳理21世紀以來國外XR對ASD者社交技能的干預成果,并從研究的基本情況、被試信息、干預目標、干預方式、干預技術、干預效果等方面進行分析,以期為我國ASD者社交技能的理論研究和實踐開展提供參考。
二、 研究方法
本研究從EBSCO、Springer、ScienceDirect、Web of science等外文數據庫系統收集2000—2024年(截至2024年5月)的研究文獻。首先,使用關鍵詞“孤獨癥譜系障礙”(Autism Spectrum Disorder/ASD)、“孤獨癥”(Autism)、“患孤獨癥”(Autistic)等有關孤獨癥的詞匯與“擴展現實”(Extended reality/XR)、“虛擬現實”(Virtual reality/VR)、“增強現實”(Augmented reality /AR)、“混合現實”(Mixed reality/MR),結合“社交技能”(Social skills)、“溝通技能”(Commu-nication skills)等詞組合進行高級檢索,選擇“同行評議”,文獻類型為“期刊”,語言為“英語”,共檢索到1351篇文獻。其次,閱讀文獻標題、摘要與關鍵詞,基于以下標準進行篩選:①研究對象必須包括但不局限于ASD者;②干預中使用VR、AR、MR技術;③研究主題與ASD社交技能有關;④研究類型為干預研究,即有明確的干預目的、干預過程和干預結果的文章。基于以上標準篩選出相關文獻21篇。最后,為防止文獻遺漏,對21篇研究的參考文獻進行閱讀篩查,獲得2篇文獻,最終納入本研究的文獻共計23篇。
三、研究結果
(一)研究基本情況
從發文年限來看,該領域研究成果在2010年前僅有2篇,2010年后關注度提高,每年至少有1篇文獻,其中2013年、2021年、2023年產出最高,均有3篇文獻;其次是2017年、2018年、2022年,均有2篇文獻。從發文空間來看,該領域研究成果集中在歐美地區。23篇文獻來自8個國家,其中美國7篇、英國6篇、西班牙5篇,澳大利亞、芬蘭、荷蘭、印度、韓國各1篇。從研究方法來看,該領域文章主要采用實驗法,其中隨機對照實驗設計6篇,單組前后測實驗設計6篇,單一被試實驗設計11篇。
(二)研究內容情況
研究者對所選取的23篇文獻從被試信息、干預目標、干預歷程、干預技術、干預時長、干預效果等方面進行整理與分析,具體結果見表1。
1.被試特征
在數量上,23項研究共393名被試,其中334名被試為ASD,5項研究被試≥30人;在性別上,有3篇對性別無具體描述,剩余20篇中共有308名被試,其中男性被試較多(n=231,75%),女性被試較少(n=77,25%);在年齡上,最小低至2歲,最高達63歲以上。在共患病上,62名被試有共患病,占ASD被試總數的19%。其中注意缺陷多動障礙(n=27,44%)和語言障礙(n=20,32%)占比最高,其次是運動障礙(n=7,11%),再次是發育障礙(n=4,6%)與智力障礙(n=3,5%),最后是焦慮障礙,僅1人,占比2%。在能力上,大多數被試智商處于正常水平,具有基本的語言、認知、閱讀、書寫能力。13項研究明確報告被試智商大于70,6項研究未明確提及,4項研究提及被試智力水平低。
2.干預目標與內容
分析文獻發現,干預目標有三個,分別為社交互動、情緒訓練、面試訓練。其中社交互動包括社交溝通與社交認知,情緒訓練包括情緒識別與情緒表達,面試訓練主要是教授面試相關技能與方法。
(1)社交互動的干預目標與內容
社交互動干預目標與內容聚焦于社交溝通和社交認知提升。社交溝通干預目標是通過設計沉浸式虛擬技術場景,讓兒童在與虛擬人物或真實人物互動過程中,以語言或非語言形式展開雙向溝通發展能力。與虛擬人物溝通時允許ASD兒童自主選擇溝通樣本。Lahiri等人設計VR社交系統,當虛擬伙伴向被試講解社交故事時,VR系統呈現對應的故事場景(如海邊旅行),被試使用菜單選擇低、中、高三個不同互動難度級別的對話獲取信息及與虛擬伙伴互動。與真實人物溝通時設計游戲以激發ASD兒童溝通動機[40]。Gali-Perez等人以提高被試社交溝通能力為目標在MR系統中設置圓形游樂區,ASD學生與普通學生通過帶有LED燈的技術蝴蝶網進行“面對面”的對話、玩耍、交流,通過互動促進彼此的語言和非語言行為發展[41]。社交認知干預主要是通過MR技術設計具有社交線索、社交沖突等的情境,要求ASD兒童對情境做出正確的判斷,通過解決具體的社交問題來理解抽象的社交概念。Herrero等人為提高ASD兒童社交認知能力,使用沉浸式VR系統呈現教室和花園兩個虛擬環境,在教室場景,教師向虛擬化身介紹被試之后,被試與虛擬化身互動溝通;但在花園場景,兩個虛擬化身會產生沖突,教師則站在被試身邊討論尊重、包容、公平等話題,借由討論提高被試社交認知能力[42]。進一步分析可知,23項研究中共有19項研究的目標和內容涉及社交溝通,其中有1項研究使用3D可視化技術,12項研究使用VR技術,4項研究使用AR技術,1項研究使用MR技術,1項研究使用AR與VR混合技術。23項研究中有8項研究涉及社交認知學習,其中7項使用VR技術,1項使用AR技術,干預結果均有效地提升了ASD兒童對社交情境線索的辨識及運用抽象社交概念解決社交問題的能力。
(2)情緒訓練的干預目標與內容
情緒識別訓練干預上,Kellems等人通過XR技術設計立體、明顯的面部表情數據庫,如快樂、悲傷、驚訝、恐懼、厭惡、憤怒,結合動畫的虛擬角色展示夸張的面部表情,通過沉浸式虛擬環境允許ASD者以一種結構化、視覺化和可持續的方式在不同的社會情境下訓練情緒識別能力,從而提高被試的情緒識別與命名能力[43]。在情緒表達上,Mcgowan等人將3D可視化應用程序添加到音樂治療中,用多感官方法鼓勵ASD個體參與音樂創作,在與治療師的合作中改善情感表達能力[44]。進一步分析可知,23項研究中有6項研究涉及情緒的識別與表達訓練,使用的技術比較多元,有3D可視化技術、VR技術、AR技術、AR技術和VR技術結合,而且有效提升了ASD者理解和區分基本情緒、感受與表達自身情緒等的能力。
(3)面試訓練的干預目標與內容
面試訓練主要是通過開發虛擬互動培訓系統,讓被試通過與虛擬面試官交談和回應進行面試訓練,在可重復試錯的過程中學習面試禮儀,如問候、面試常見的話題、如何禮貌結束面試以及怎么感謝面試官,并教導ASD學生回答面試中常見問題、理解面試官的隱含期望和情緒變化等[45]。研究顯示,ASD個體不但可在虛擬面試中練習基本的面試技巧,還可完成基于能力匹配相應難度級別的任務,這些干預都能有效地提高被試的面試技巧和能力[46]。與社交互動訓練類似,在兩項面試訓練研究中所使用的擴展技術均是VR技術,這可能是因為VR的核心特征是沉浸性。在沉浸式VR系統中,用戶完全沉浸在一個計算機生成的世界中,身臨其境,能夠與虛擬化身高度互動,達成預期的干預目標。
3.干預歷程
干預歷程是指實施干預方案過程中的干預時長、組織形式和干預策略。統計每篇研究的干預時長發現,23項研究中,干預時長在10周以上的研究有9項,其中1項研究時長達40周;干預時長低于10周的研究有9項,有2項干預時長低于1周;另外有5項未提及研究時長。干預組織形式主要包括個別干預、團體干預。個別干預是根據干預目標對每名被試進行單獨的社交技能訓練;團體干預是指兩個或兩個以上被試在共同的活動中彼此交往,相互學習社交技能。統計發現,23項研究中有8項研究(34.7%)以團體的形式組織干預,其余均為“一對一”的個別化形式干預。
干預策略是指將XR技術與教育干預手段相結合的策略,主要包括與音樂治療、情境教學、游戲設計及視覺支持相結合。音樂治療與XR技術結合是在虛擬的環境中采用音樂對 ASD兒童的聽覺、視覺進行多感官刺激并模擬真實的社交場景,以使兒童沉浸其中,促進感官意識和社交技能發展。Mcgowan等人把音樂課程與3D視聽刺激交互界面相結合,將ASD學生交流溝通過程中的聲音振幅、音高、諧波內容、速度、音高彎曲等數據以形狀視覺形式輸出,將抽象的溝通符號具體化,直觀引導ASD學生改善自我溝通問題[47]。游戲設計與XR技術的結合是為ASD兒童提供身臨其境的結構化、可多次試錯的3D虛擬游戲環境,ASD兒童需要通過與他人在VR游戲中的交互式合作完成相應的任務和挑戰。如為ASD兒童設計多用戶協同完成的VR游戲,兩人一組堆積虛擬的雙色積木,并在游戲過程中相互交流確定所選積木能夠匹配游戲目標,由此促進參與者合作能力和換位思考能力的發展[48]。情境教學與VR的結合是基于干預目標設計相應的社交場景,以形象、生動、具體的場景激發ASD學生的生活和心理體驗,幫助其在不同的生活模擬場景中練習社交技能。例如,Mitchell等人設計虛擬的咖啡館情境,讓ASD學生練習在不同的空間格局和社交情境中,通過視覺提示、口頭反饋掌握在公共場合如何禮貌、有效地找到合適的位置[49]。視覺支持與MR技術的結合是指將干預目標以可視化技術呈現,借由積極的視覺反饋促進參與者理解社交線索和內容。例如,Taryadi等人采用AR技術呈現圖片交換系統中的溝通圖片來幫助ASD學生更直觀地理解圖片意義[50]。進一步分析發現,23項研究中有近一半的研究采用了個別干預的組織和情境干預策略,這主要是因為ASD兒童注意力易分散,短期記憶不佳,隨機應變及生活經驗不足,“一對一”的形式能夠給予足夠的關注和反饋(見表2)。虛擬情境則是讓學生在身臨其境中獲得情緒體驗和語言記憶,而且能在之后的生活中檢索和提取這種記憶,這樣將更有利于知識細節的探索和知識結構的建立,進而促進有效學習的發生[51]。
4.干預技術及實現形式
進一步分析VR技術、AR技術和MR技術發現,三種技術都借助虛擬代理技術和可穿戴技術來實現虛擬環境創設和互動。其中虛擬代理技術幫助ASD者通過虛擬化身與其他對象互動;動作捕捉技術和可穿戴技術能為構建互動式虛擬環境提供支持。
第一,VR技術創設動態、復雜、真實的社交環境。ASD者專注細節感知,通常不會將注意力集中在社交情境中的所有相關信息,以致對某些社交情景產生誤解[52]。VR則可提供動態、復雜、真實的社交環境來訓練和提高ASD者對社交場景的解讀能力[53]。Van Pelt等人基于VR設計社會認知訓練方案,共提供4位虛擬化身的日常聚餐視頻,在視頻中虛擬化身將呈現多樣的面部表情、肢體動作和想法供ASD者觀察學習,并在學習后提問被試虛擬化身的想法、感受及情緒[54]。Ke等人采用VR模擬日常生活環境(辦公樓、咖啡館、學校和公園)中的各類社交場景來提高ASD者對各種日常社交情境的認識與區別能力[55]。
第二,AR技術強化情緒識別與表達的物理表現形式。面部表情、眼神等微妙的社交線索在社交場景中可傳達重要的社交信息。然而,ASD者在面部情緒識別上的困難往往會造成其社交溝通障礙[56]。基于此,Liu等人開發出基于智能眼鏡的AR腦力系統幫助ASD兒童和成人提高情感理解、面部定向凝視、眼神交流和自我控制能力[57]。Wedyan等人則使用AR設置面部情緒識別與表達小程序,在呈現面部特征表現的同時也能提供情緒識別能力評估與干預訓練[58]。
第三,虛擬代理技術創設面試學習的多重場景與機會。ASD者也具有成功就業潛能,但多人在場、多層次交流的面試情境往往令其備感焦慮[59]。虛擬代理技術可以創造出虛擬化身,且具備擬人的外觀、姿態、行為和情感,可讓ASD者重復、安全、自信地學習面試技巧。Burke等人利用虛擬代理系統設置面試情景,創建了6個不同年齡和背景,表現出溫柔、中立和敵對行為傾向的男性和女性虛擬代理人提供包括面試禮儀(如問候、可接受的閑聊、結束面試或感謝面試官)、面試技巧等的課程,為ASD者提供面試學習機會,學習效果顯示被試的自我優勢識別、自我推銷、回答情境問題等能力顯著提升[60]。
第四,可穿戴技術構建互動式虛擬環境。互動式虛擬環境需要借助傳感器、可穿戴設備等器材才能構建。同理,ASD者也需佩戴相關設備才能沉浸其中,探索虛擬環境及與虛擬人物互動。Van Pelt等人的研究中被試需戴上頭戴式顯示器才能感知VR世界,并需以操縱桿控制器在虛擬環境中探索與互動[61]。Lorenzo等人在干預中讓被試戴上結合紅外傳感器的眼鏡和LED帽子來“眼見”3D圖像[62]。
5.干預效果
整體來看,23項研究均顯示出XR技術在ASD者社交技能干預上具有明顯的效果,提升了他們的社會互動動機,增強了其社交認知能力,促進了其語言與非言語溝通、社會關系等能力發展,也在其面部表情識別、基本情緒識別、求職面試技能等領域發揮作用。另外,有7項研究顯示出XR技術在ASD者社交技能干預上具有良好的維持、泛化效果,這說明XR技術在促進ASD者社交技能干預上不僅有良好的即時效果,還有助于其將干預中習得的社交技能運用到日常生活中。進一步深究發現,這7項研究的干預周期普遍在10周以上,最長達40周,且是采用多種干預相互組合的形式。這從側面驗證,只有在充足的干預時間和多元的干預形式條件下,ASD者社交技能干預才能發揮最大效應,并促使其將所學的知識和技能遷移至日常情境。
四、研究結論
(一)XR技術應用優勢與挑戰并存
通過以上分析發現,XR技術在ASD者社交技能干預中顯現出明顯的優勢。①VR技術與AR技術能提供安全可控、多元化、有意義的社交場景,既避免被試受傷,也允許被試反復試錯,在很大程度上滿足了ASD者社交訓練的情景需求。②MR技術將虛擬環境與真實環境連接起來,使被試沉浸在環境中與虛擬化身直接互動而非單調的訓練,明顯提高了ASD者的學習興趣與熱情。同時,ASD者還能夠看到真實的干預者,這不僅能增加他們的安全感,也使干預者可以隨時為其提供幫助和指導。③ASD者缺乏想象力和抽象思維能力,MR技術能將真實環境和虛擬角色融為一體,幫助ASD者與特定社交情境形成聯系,減少他們因缺乏想象力而產生的認知負荷。④多數研究數據顯示,社交技能干預后ASD者表現出良好的維持和泛化效果,這充分說明結合信息技術的干預能幫助ASD者將學到的社交技能遷移到現實生活中,促進同伴友誼、語言溝通、社會融入能力的發展。然而,XR技術在ASD者社交技能干預上也逐漸凸顯出困境:①虛擬環境及虛擬人物的逼真度和真實感待提高,許多虛擬場景和社交對話的構建過于腳本化、編程化與結構化,相對缺乏人性化、自發性及個性化的反應方式,容易讓被試在訓練中形成單一社交反應。②沉浸式VR可能使被試出現“網絡病”,過度沉浸于虛擬環境而對現實生活中的社交活動失去興趣。③長時間佩戴頭戴式顯示器或護目鏡可能會讓被試生理上出現頭暈、不適等癥狀,甚至拒絕佩戴。④XR技術的運用需干預者及其單位花費資金購買設備、培訓技術人員及維護設施設備,這增加了虛擬社交課程開發與推廣的難度。此外,虛擬環境的構建更需復雜的建模技術、交互技術和信息技術,導致多數家長和教師在短時間很難掌握,由此對技術推廣和應用造成困難。
(二)充分利用各類技術特點,實施綜合性干預
本研究涉及的干預技術主要有VR技術、AR技術、MR技術,以及用于實現虛擬環境創設和互動的虛擬代理技術和可穿戴技術,這些技術均在社交干預中發揮著重要作用。例如,針對ASD者較難感知和理解他人情緒、無法預測他人行為等特質,VR技術可以提供社交場景提升參與者的社交線索解讀與認知能力;AR技術可以通過視覺支持AR物體的物理特征來幫助參與者理解社交互動中抽象、復雜的概念[63];虛擬代理技術可以提供引導員、學習伙伴、動物等虛擬化身,借由與虛擬化身之間互動性更強的環境幫助參與者習得社交技能;可穿戴設備能夠讓參與者在虛擬環境中獲得更豐富的視覺、聽覺、觸覺等感官體驗,通過多種XR技術的綜合使用來提升ASD者的情緒感知與行為預測能力。
(三)以聯合干預模式,最大化干預效果
受限于ASD者身心發展的復雜性和差異性,“一對一”的個別化訓練能為其社交技能習得提供個別訓練機會,使得干預的針對性更強、成效更高,因此是研究中最先選擇、最廣泛使用的干預形式。但囿于個別化訓練不利于ASD者社交技能的維持和泛化,團隊訓練也受到干預者青睞,且有研究顯示同伴加入提高了ASD者參與活動的積極性,自然創造出人與人社交互動的空間,提供了ASD者通過模仿、學習發展社交能力的機會[64]。Stichter等人的研究也證實,同伴互動使ASD者社交學習過程更輕松、有趣,大大降低了社交焦慮水平,提升了社交溝通動機[65]。但是,無論是個別化訓練還是團隊訓練形式,往往都需要與情境干預、視覺支持干預、游戲干預、音樂干預相結合才能突破以往ASD者社交訓練中單一治療模式難以解決的問題,最大限度優化XR技術介入后的干預成效。
五、研究展望
(一)擴大被試選取條件
首先,該領域多數研究選取的被試障礙程度較輕,智商處于正常水平,有基本的閱讀、表達、書寫能力,然而,美國疾病控制與預防中心調查顯示,大約有31%的ASD兒童存在智力障礙[66]。此外,約25%—50%的ASD兒童無功能性語言交流能力[67]。因此,未來研究應納入不同障礙程度的ASD者,為他們開發相應的虛擬社交場景,幫助其應對現實生活中復雜多元的社交場景。其次,許多研究的被試主要集中在青少年群體。丁寧等人對12657名2—6歲兒童進行篩查診斷顯示,ASD兒童患病率為 0.41%[68]。由此可見,ASD幼兒群體不能忽視,需要對他們采取早期干預以改善社交障礙。同時,涉及30歲以上成年ASD被試群體的研究也較少。因此,未來的研究應更多地將幼兒和30歲以上的成年ASD者納入研究范圍。最后,很多研究中女性被試的代表性不足,還有的研究只選取了男性被試。Kanfiszer等人對女性ASD者的采訪顯示,因缺乏社交信心和技能,她們在日常生活中很難與他人維持對話,且容易焦慮和沮喪[69]。因此,未來的研究應該納入更多的女性被試。
(二)提高虛擬環境的適宜性
Williams White等人在關于社會互動訓練的研究中提出個性化干預對學習者的成功至關重要[70]。由于ASD者異質性較強,在基于VR的社交互動環境和任務中會表現出不同的互動方式,因此需要對學習活動、框架和場景進行更動態和更個性化的設計來滿足其多樣化需求。此外,一些ASD者表示,他們希望自己能夠參與VR環境和角色的設計。未來的研究或許應給ASD者提供參與及修改訓練場景的機會。Soltiyeva等人的研究認為,ASD者普遍對光和聲音敏感[71],因此,調整訓練環境的亮度、色調、音量以適應不同ASD者顯得尤為重要。例如,應將對ASD兒童具有刺激性的顏色慢慢地添加到場景中。同時,虛擬代理應展現多樣化的反應模式,以適應ASD者在反復訓練過程中可能形成的對特定故事腳本與角色的固定聯想,未來研究須審慎考量此因素,以規避加重ASD者刻板行為等不利影響。
(三)深入研究維持泛化效果
23項研究中僅有7項研究探索了維持和泛化效果。社交技能與日常生活息息相關,ASD者將所學技能用于改善日常生活質量更能凸顯研究價值。后續研究不僅要關注即時效果,也要對維持和泛化效果做深入探索,以提高干預的社會效度。為實現這一目的,首先,在設計干預方案時可征集ASD者及重要他人意見,獲得他們認可,這樣既能激發被試持續參與意愿,也便于研究者從生態化角度深入探究干預的維持和泛化效果。其次,邀請ASD者重要他人在日常情境中觀察和評估學生,將信息反饋給干預者用于調整、優化干預方案。最后,充分利用重要他人在干預實施中的作用,為其提供與干預方法、策略相關的培訓,從而最大限度幫助ASD者在學校、家庭、社會環境中遷移技能。
(四)充分規劃引導員角色
引導員是幫助ASD者使用VR學習社交技能的重要角色,能幫助被試解釋場景中正在發生的事情并做出適當反應[72]。社交技能的習得是一個復雜的發展過程,ASD者的刻板行為傾向可能會影響他們對語言背后社交含義的準確理解以及對社交行為的適當推理能力,從而限制社交技能的獲得性和適用性。此外,ASD者常伴有情緒和行為障礙,而干預過程中的引導員能夠及時應對各種情況。可見,引導員在輔助ASD者通過VR技術、AR技術和MR技術學習社交技能的過程中扮演著至關重要的角色。因此,未來研究應始終充分規劃引導員的角色,使他們成為整個社交技能干預的重要組成部分。
(五)深化擴展研究干預目標
盡管許多ASD者在情緒識別和同理心方面存在缺陷[73],但23項研究中僅有不足三分之一的研究將情緒訓練作為社交技能干預目標,且干預內容以面部表情識別為主。事實上,動作和表情在社交交流中作用同等重要,且有研究發現ASD者在社交情緒解讀中對于肢體動作的識別度高于面部表情識別度[74]。為此,未來研究一方面應增加對XR技術應用于ASD者識別、情緒調節等的研究,另一方面應基于ASD者傾向關注社交環境中身體互動的特征,積極采用更具辨別力的材料和方法輔助其在社交場景中精準地識別肢體互動和面部情緒變化。此外,針對ASD者面試技能干預研究成果甚少的結果,未來應進一步深化ASD者面試訓練干預研究,探究其在不同面試場景和內容下的技能提升效果。
【參考文獻】
[1]美國精神醫學學會.精神障礙診斷與統計手冊 第5版[M].張道龍,肖茜,鄧慧瓊,等譯.北京:北京大學出版社,2024:35-46.
[2]Orsmond G I,Krauss M W,Seltzer M M. Peer re-lationships and social and recreational activities among adolescents and adults with autism[J]. Journal of Au-tism and Developmental Disorders,2004(3):245-256.
[3]Kleinhans N,Akshoomoff N,Delis D C. Executive functions in autism and asperger’s disorder:flexibility,fluency,and inhibition[J]. Developmental Neuropsy-chology,2005(3):379-401.
[4]Maenner M J. Prevalence and characteristics of autism spectrum disorder among children aged 8 years-autism and developmental disabilities monitoring net-work,11 sites,United States,2018[J]. MMWR Surv-eillance Summaries,2021(2):70.
[5]光明日報出版社.中國孤獨癥教育康復行業發展狀況報告(第五部)[R/OL](2024-04-02)[2024-10-05].https://edu.cnr.cn/list/20240402/t20240402_526650066.shtml.
[6]中國殘聯.關于印發《孤獨癥兒童關愛促進行動實施方案(2024—2028年)》的通知[EB/OL].(2024-07-26)[2024-11-05]. https://www.cdpf.org.cn/zwgk/zcwj/wjfb/e9e23982df5248e3b0d82d180c3689 96.htm.
[7]國務院辦公廳.“十四五”特殊教育發展提升行動計劃[EB/OL].(2022-01-25)[2024-09-12].https://www.gov.cn/zhengce/content/2022-01/25/content_5670 341.htm.
[8]成生輝.元宇宙概念、技術及生態[M]. 北京:機械工業出版社,2022:55-67.
[9]張建武,孔紅菊.虛擬現實技術在實踐實訓教學中的應用[J].電化教育研究,2010(4):109-112.
[10]蔣中望.增強現實教育游戲的開發[D].上海:華東師范大學,2013.
[11]周忠,周頤,肖江劍.虛擬現實增強技術綜述 [J].中國科學:信息科學,2015(2):157-180.
[12]Mosher M A,Carreon A C,Craig S L,et al. Imm-ersive technology to teach social skills to students with autism spectrum disorder:a literature review[J]. Review Journal of Autism and Developmental Disorders,2022(3):334-350.
[13]Parsons S,Mitchell P. The potential of virtual re-ality in social skills training for people with autistic spectrum disorders [J]. Journal of Intellectual Disab-ility Research,2002(5):430-443.
[14]Mitchell P,Parsons S,Leonard A. Using virtual environments for teaching social understanding to 6 adolescents with autistic spectrum disorders [J]. Jour-nal of Autism and Developmental Disorders,2007(3):589-600.
[15]高菀彤,孫玉梅.運用虛擬現實技術改善孤獨癥譜系障礙者社交技能的研究綜述[J].現代特殊教育(高等教育研究),2023(10):72-80.
[16]趙俊強,張欣欣,盧一,等.基于虛擬現實技術的孤獨癥譜系障礙患兒核心癥狀家庭康復干預效果研究[J].護理研究,2021(12):4214-4217.
[17][44][47]Mcgowan J J,Mcgregor I,Leplatre G. Evaluation of the use of real-time 3D graphics to aug-ment therapeutic music sessions for young people on the autism spectrum[J].ACM Transactions on Acce-ssible Computing (TACCESS),2021(1):1-41.
[18][40]Lahiri U,Bekele E,Dohrmann E,et al. A physiologically informed virtual reality based social communication system for individuals with autism [J].Journal of Autism and Developmental Disorders,2014(4):919-931.
[19][52][54][61]Van Pelt,B J,Nijman S A,et al. Dynamic interactive social cognition training in virtual reality(DiSCoVR)for adults with autism spectrum dis-order:a feasibility study[J].Research in Autism Spec-trum Disorders,2022(8):1-7.
[20]Didehbani N,Allen T,Kandalaft M,et al. Virtual reality social cognition training for children with high functioning autism[J]. Computers in Human Behavior,2016(9):703-711.
[21][65]Stichter J P,Laffey J,Galyen K,et al. Social:delivering the social competence intervention for ado-lescents (SCI-A) in a 3D virtual learning environment for youth with high functioning autism[J]. Journal of Autism and Developmental Disorders,2013(2):417-430.
[22][58]Wedyan M,Falah J,Alturki R,et al. Aug-mented reality for autistic children to enhance their understanding of facial expressions [J]. Multimodal Technologies and Interaction,2021(8):1-17.
[23][43]Kellems R O,Charlton C,Kvers?y K S,et al.Exploring the use of virtual characters (avatars),live animation,and augmented reality to teach social skills to individuals with autism [J]. Multimodal Technolo-gies and Interaction,2020(3):1-11.
[24][64]Nekar D M,Kang H Y,Alao H,et al. Feasi-bility of using multiplayer game-based dual-task trai-ning with augmented reality and personal health record on social skills and cognitive function in children with autism[J]. Children,2022(9):1398.
[25][55]Ke F,Im T. Virtual-reality-based social in-teraction training for children with high-functioning autism[J]. The Journal of Educational Research,2013(6):441-461.
[26]Ke F,Moon J. Virtual collaborative gaming as social skills training for high-functioning autistic child-ren[J]. British Journal of Educational Technology,2018(4):728-741.
[27]Lorenzo G,Pomares J,Lledó A. Inclusion of imm-ersive virtual learning environments and visual control systems to support the learning of students with Asper-ger syndrome[J]. Computers amp; Education,2013(3):88-101.
[28]Parsons S,Leonard A,Mitchell P. Virtual environ-ments for social skills training: comments from two adolescents with autistic spectrum disorder[J]. Com-puters amp; Education,2006(2):186-206.
[29][49]Mitchell P,Parsons S,Leonard A. Using virtual environments for teaching social understanding to 6 adolescents with autistic spectrum disorders[J].Journal of Autism and Developmental Disorders,2007(3):589-600.
[30][46]Moon J,Ke F. Effects of adaptive prompts in virtual reality-based social skills training for child-ren with autism[J]. Journal of Autism and Develop-mental Disorders,2024(8):2826-2846.
[31][42]Herrero J F,Lorenzo G. An immersive virtual reality educational intervention on people with autism spectrum disorders (ASD) for the development of communication skills and problem solving[J]. Edu-cation and Information Technologies,2020(3):1689-1722.
[32][45][60]Burke S L,Bresnahan T,Li T,et al. Using virtual interactive training agents (ViTA) with adults with autism and other developmental disabi-lities[J]. Journal of Autism and Developmental Dis-orders,2018(3):905-912.
[33][71]Soltiyeva A,Oliveira W,Madina A,et al. My lovely granny’s farm: an immersive virtual reality trai-ning system for children with autism spectrum disorder[J]. Education and Information Technologies,2023(12):16887-16907.
[34][62]Lorenzo G,Gómez-Puerta M,Arráez-Vera G,et al. Preliminary study of augmented reality as an instrument for improvement of social skills in children with autism spectrum disorder[J]. Education and In-formation Technologies,2019(7):181-204.
[35][50]Taryadi,Kurniawan I. The improvement of autism spectrum disorders on children communication ability with PECS method multimedia augmented reality-based[J].Journal of Physics:Conference Series,2017(9):1-8.
[36][41]Gali-Perez O,Sayis B,Pares N,et al. Eff-ectiveness of a mixed reality system in terms of social interaction behaviors in children with and without au-tism spectrum condition[C]//Molina-Tanco L,Manresa-Yee C.Proceedings of the XXI international conference on human computer interaction.New York:Associa-tion for Computing Machinery, 2021:1-9.
[37][48]Parsons S. Learning to work together:de-signing a multi-user virtual reality game for social collaboration and perspective-taking for children with autism[J]. International Journal of Child-Computer Interaction,2015(6):28-38.
[38]López-Bouzas N,del Moral-Pérez M E,Casta?eda-Fernández J. Communicative competence in students with ASD:interaction and immersion in a Gamified Augmented Environment[J]. Education and Informa-tion Technologies,2023(12):1-25.
[39][57]Liu R,Salisbury J P,Vahabzadeh A,et al. Feasibility of an autism-focused augmented reality sm-artglasses system for social communication and behav-ioral coaching[J].Frontiers in Pediatrics,2017(5):145.
[51]陳笑浪,劉革平,李姍澤.基于虛擬現實技術的教育美學實踐變革——新情境教學模式創建[J].西南大學學報(社會科學版),2022(1):171-180.
[53]Lawson R P,Rees G,Friston K J. An aberrant precision account of autism [J]. Frontiers in Human Neuroscience,2014(8):302.
[56]Tanaka J W,Sung A. The “eye avoidance” hypo-thesis of autism face processing[J]. Journal of Autism and Developmental Disorders,2016(5):1538-1552.
[59]Maddox B B,White S W. Comorbid social anxiety disorder in adults with autism spectrum disorder[J]. Journal of Autism and Developmental Disorders,2015(12):3949-60.
[63]Lizbeth E,Monica T. Mobile augmented reality to support teachers of children with autism[C]//Hervas R,Lee S,Nugent C,Bravo J. Ubiquitous computing and ambient intelligence:personalisation and user ada-pted services. Berlin:Springer International Publishing,2014:60-67.
[66]Sandoval-Norton A H,Shkedy G,Shkedy D. How much compliance is too much compliance:is long-term ABA therapy abuse?[J]. Cogent Psychology,2019(1):164-172.
[67]Patten E,Ausderau K K,Watson L R,et al. Sen-sory response patterns in nonverbal children with ASD[J].Autism Research and Treatment,2013(7):1-9.
[68]丁寧,徐慧,沈棫華.蕪湖市學齡前兒童孤獨癥譜系障礙患病現狀及影響因素研究[J].華南預防醫學,2021(11):138-147.
[69]Kanfiszer L,Davies F,Collins S.‘I was just so di-fferent’:the experiences of women diagnosed with an autism spectrum disorder in adulthood in relation to gender and social relationships[J]. Autism,2017(6):661-669.
[70]Williams White,S. Keonig K,et al. Social skills development in children with autism spectrum disorders:a review of the intervention research[J]. Journal of Autism and Developmental Disorders,2006(10):1858-1868.
[72]Parsons S,Leonard A,Mitchell P. Virtual envir-onments for social skills training:comments from two adolescents with autistic spectrum disorder[J]. Comp-uters amp; Education,2006(2):186-206.
[73]Kourtesis P,Kouklari E-C,Roussos P,et al. Vir-tual reality training of social skills in adults with autism spectrum disorder:an examination of acceptability, us-ability,user experience,social skills,and executive fu-nctions[J]. Behavioral Sciences,2023(4):336.
[74]Tsai W T,Lee I J,Chen C H. Inclusion of third-person perspective in CAVE-like immersive 3D virtual reality role-playing games for social reciprocity train-ing of children with an autism spectrum disorder[J]. Universal Access in the Information Society,2021(2):375-389.
Current Status and Prospects of Research on Extended Reality in Social Skills Intervention for People With Autism Spectrum Disorders Abroad
SHE Li" "DIAO Hui" "HUANG Shan
Abstract:Extended reality is a general term for emerging immersive technologies such as virtual reality,augm-ented reality,and mixed reality, which helps to combine the real and the virtual to create a virtual environment for human-computer interaction to improve the social impairment of people with autism spectrum disorder. This paper reviews the research results of foreign extended reality intervention in social skills of people with autism spectrum disorder from 2000 to 2024,summarizes the research characteristics and useful experience from the aspects of participant information,intervention objectives,intervention methods,intervention techniques,and intervention effects. On this basis, the prospect is put forward in order to provide reference for the theore-tical research and practical development of information technology in the development of social skills of people with autism spectrum disorder in China.
Key words:autism spectrum disorder; social skill;virtual reality;augmented reality;mixed reality
Authors:SHE Li,lecturer,School of Educational Sciences,Hunan Normal University(Changsha,410081),SHELI1989@163.com;DIAO Hui,master’s degree candidate,School of Educational Sciences,Hunan Normal University(Changsha,410081);HUANG Shan,lecturer,College of Child Development and Education,Zhejiang Normal University(corresponding author,hss0711311013@126.com,Hangzhou,311231).
(責任編輯:幸琪琪)
【基金項目】 本文為2023年首屆湖南省基礎教育教學改革研究項目“特殊兒童社會交往技能課程建構與應用研究”(Z2023200)的研究成果。