增強(qiáng)現(xiàn)實(shí)教育應(yīng)用研究中的多模態(tài)學(xué)習(xí)分析

劉 瀟，王志軍，薛 彬

（1.天津師范大學(xué)教育學(xué)部，天津 300387；2.滄州交通學(xué)院計算機(jī)與信息技術(shù)學(xué)院，河北滄州 061100）

0 引言

在“增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）+教育”的大背景下，“如何實(shí)現(xiàn)AR 學(xué)習(xí)的適應(yīng)性設(shè)計”逐漸得到研究者的重視，解決這一問題的前提在于理解AR環(huán)境下學(xué)習(xí)發(fā)生的內(nèi)在機(jī)理。以“測量、收集、分析和使用學(xué)生數(shù)據(jù)”為特征的多模態(tài)學(xué)習(xí)分析不僅有助于弄清和解釋學(xué)習(xí)的復(fù)雜性，還可用于預(yù)測和指導(dǎo)更有效地學(xué)習(xí)［1］。基于此，本研究著力探討AR 教育應(yīng)用研究中多模態(tài)學(xué)習(xí)分析應(yīng)用現(xiàn)狀并針對性地提出改進(jìn)措施，以期通過優(yōu)化學(xué)習(xí)分析的手段幫助研究者更好地揭示AR學(xué)習(xí)的本質(zhì)。

1 多模態(tài)學(xué)習(xí)分析的研究基礎(chǔ)

1.1 多模態(tài)學(xué)習(xí)分析的基本概念

多模態(tài)學(xué)習(xí)分析（Multimodal Learning Analytics，MMLA）是指通過捕獲、融合和分析多種來源的數(shù)據(jù)，如自然交流過程中的講話、凝視、手勢、眼動、面部表情、皮膚電、腦電圖、心率等，以實(shí)現(xiàn)對學(xué)習(xí)行為、認(rèn)知、信念、動機(jī)與情緒等多方面的客觀理解和深刻洞察［2］，其所涵蓋的內(nèi)容不僅包括數(shù)據(jù)獲取，還應(yīng)包含數(shù)據(jù)整合。

1.2 多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)整合

數(shù)據(jù)整合是多模態(tài)學(xué)習(xí)分析的核心和難點(diǎn)。穆肅等［3］在分析了相關(guān)研究后，將多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)整合特點(diǎn)歸納為數(shù)據(jù)多模態(tài)、指標(biāo)多維度和方法多樣性。

（1）數(shù)據(jù)多模態(tài)。數(shù)據(jù)多模態(tài)體現(xiàn)了大數(shù)據(jù)時代數(shù)據(jù)類型的多元化。多模態(tài)數(shù)據(jù)采集構(gòu)成了多模態(tài)學(xué)習(xí)分析的核心和關(guān)鍵，也為學(xué)習(xí)指標(biāo)的分析奠定了基礎(chǔ)。從目前的研究看，多模態(tài)數(shù)據(jù)有不同的分類方法。本研究考慮到測試題是常用的評價依據(jù)，將多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)來源進(jìn)行了歸納，見表1。

表1 多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)來源

（2）指標(biāo)多維度。指標(biāo)多維度體現(xiàn)了學(xué)習(xí)過程的復(fù)雜性。通過對不同學(xué)習(xí)狀態(tài)的建模，可精準(zhǔn)刻畫學(xué)習(xí)者的學(xué)習(xí)特征，并在更深層次上探究和解釋學(xué)習(xí)者的學(xué)習(xí)規(guī)律。從目前的研究來看，多模態(tài)學(xué)習(xí)分析需包括行為、注意、認(rèn)知、情感等諸多種類的評價指標(biāo)。尹睿等［4］將這些評價指標(biāo)歸納為知識狀態(tài)、認(rèn)知狀態(tài)、情感狀態(tài)、交互狀態(tài)和綜合狀態(tài)，見表2。

表2 多模態(tài)學(xué)習(xí)分析中的評價指標(biāo)

（3）方法多樣性。方法多樣性體現(xiàn)了分析技術(shù)的靈活性。利用不同方法對數(shù)據(jù)進(jìn)行整合，能盡可能提高測量的準(zhǔn)確性和信息的全面性，使得研究結(jié)論更具指導(dǎo)意義。就數(shù)據(jù)與指標(biāo)之間的對應(yīng)關(guān)系而言，從目前的研究來看，數(shù)據(jù)整合方式主要包括4 種類別：一對一、多對一、一對多、多對多和三角互證，見表3。

表3 多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)整合方式

2 “AR+多模態(tài)學(xué)習(xí)分析”的研究設(shè)計

2.1 “AR+多模態(tài)學(xué)習(xí)分析”的研究對象

本研究旨在對“AR 教育應(yīng)用研究中的多模態(tài)學(xué)習(xí)分析應(yīng)用現(xiàn)狀及改進(jìn)措施”進(jìn)行系統(tǒng)描述和解釋，重點(diǎn)探討在相關(guān)研究中的數(shù)據(jù)整合是否做到以及如何更好地做到“數(shù)據(jù)多模態(tài)”“指標(biāo)多維度”和“方法多樣性”的三大基本要求，如圖1 所示。

圖1 AR教育應(yīng)用研究中數(shù)據(jù)整合情況分析框架

問題1AR 教育應(yīng)用研究中的多模態(tài)學(xué)習(xí)分析是否做到了“數(shù)據(jù)多模態(tài)”？

問題2AR 教育應(yīng)用研究中的多模態(tài)學(xué)習(xí)分析是否做到了“指標(biāo)多維度”？

問題3AR 教育應(yīng)用研究中的多模態(tài)學(xué)習(xí)分析是否做到了“方法多樣性”？

問題4未來在AR教育應(yīng)用研究中的多模態(tài)學(xué)習(xí)分析應(yīng)如何達(dá)到理想狀態(tài)？

2.2 “AR+多模態(tài)學(xué)習(xí)分析”的研究方法

本研究采用系統(tǒng)性文獻(xiàn)綜述法進(jìn)行。系統(tǒng)性文獻(xiàn)綜述法（Systematic Review Methodology）是人們借助互聯(lián)網(wǎng)，利用不同的數(shù)據(jù)庫和多種檢索與分析技術(shù)，全面而準(zhǔn)確地掌握某一專題研究進(jìn)展的標(biāo)準(zhǔn)化文獻(xiàn)研究方法［5］。它克服了傳統(tǒng)文獻(xiàn)綜述法主觀性強(qiáng)和存在難以避免的偏見等問題，在國際上較為普適和流行。

2.3 “AR+多模態(tài)學(xué)習(xí)分析”的樣本選取

（1）數(shù)據(jù)檢索。為廣泛搜集文獻(xiàn)，本研究按照表4 所示的檢索方式，共得到408 篇文獻(xiàn)。

表4 文獻(xiàn)檢索方式及結(jié)果

（2）確定納入和排除條件。為確保樣本文獻(xiàn)納入的準(zhǔn)確性和文獻(xiàn)分析結(jié)果的可靠性，本研究制定如表5 所示的文獻(xiàn)納入/排除標(biāo)準(zhǔn)。

表5 文獻(xiàn)納入/排除標(biāo)準(zhǔn)

（3）文獻(xiàn)篩選和分析。結(jié)合表5 所示的文獻(xiàn)納入/排除標(biāo)準(zhǔn)，本研究共從408 篇文獻(xiàn)中篩選得出93篇符合要求的文獻(xiàn)，具體分布情況如表6 所示。

表6 選用文獻(xiàn)分布情況

（4）納入文獻(xiàn)分析框架設(shè)計。根據(jù)表1～3所歸納的內(nèi)容，本文構(gòu)建了如表7所示的文獻(xiàn)分析框架。兩名評判員需獨(dú)立逐篇分析文獻(xiàn)，在滿足條件的單元格內(nèi)標(biāo)記“√”。結(jié)果顯示，評判員完全同意的類目數(shù)為88、相互同意度約為0.95、編碼信度約為0.97 和信度大于0.90的標(biāo)準(zhǔn)，可直接采用主評判員的評判標(biāo)準(zhǔn)。

表7 文獻(xiàn)分析框架

3 “AR +多模態(tài)學(xué)習(xí)分析”的統(tǒng)計結(jié)果與問題解決方案

3.1 AR 教育應(yīng)用研究中的多模態(tài)學(xué)習(xí)分析數(shù)據(jù)來源

表7 中“數(shù)據(jù)來源”維度的編碼結(jié)果如圖2 所示。

圖2 “數(shù)據(jù)來源”維度的編碼結(jié)果

圖2 顯示，在AR教育應(yīng)用研究中，多模態(tài)學(xué)習(xí)分析的數(shù)據(jù)主要來自文本測量（91%）、物理空間（6%）和生理體征（3%），數(shù)字空間數(shù)據(jù)和環(huán)境空間數(shù)據(jù)在研究中尚未涉及。

（1）文本測量數(shù)據(jù)。包含測試題、調(diào)查問卷、調(diào)查量表和訪談工具等在內(nèi)的文本測量數(shù)據(jù)獲取較為便捷，是傳統(tǒng)的評價依據(jù)，也是占比最高的數(shù)據(jù)來源。

“測試題”可用于衡量AR 學(xué)習(xí)效果，常應(yīng)用于前測及后測階段。研究中的測試題一般可分為兩類：一類由研究者自主擬制，如Binhomran 等［6］自主設(shè)計了“前測-后測-延時測試”試卷；另一類為經(jīng)典題目復(fù)用，如Baba 等［7］借用了2012 年開發(fā)的“21 世紀(jì)技能量規(guī)”（21CSS）。

“調(diào)查問卷”和“調(diào)查量表”在研究中被廣泛用于考查學(xué)習(xí)者的行為與態(tài)度，均由學(xué)習(xí)者自主填答完成。研究中運(yùn)用最多的問卷與量表包括：Keller基于ARCS動機(jī)模型所編制的“教學(xué)材料動機(jī)量表”（IMMS）［8］和Davis基于“技術(shù)接受模型”（TAM）編制的“AR態(tài)度量表”（ARRQ）［9］等。

“訪談工具”具有較好的靈活性和適用性。為獲得更深入的有關(guān)學(xué)習(xí)者AR 學(xué)習(xí)的主觀信息，研究者普遍采用“半結(jié)構(gòu)化訪談”形式，既了解學(xué)習(xí)者對AR學(xué)習(xí)的看法，也適當(dāng)提出一些探索性問題。

（2）物理空間數(shù)據(jù)。“視頻錄像”通常通過攝像頭錄制和屏幕錄制兩種方式獲得，在研究中常被用于觀測學(xué)習(xí)者在AR 學(xué)習(xí)過程中的行為表現(xiàn)，具體包括積極性的變化、行動和互動方式、學(xué)習(xí)中遇到的困難等。

（3）生理體征數(shù)據(jù)。“眼動”和“心率”在AR 教育應(yīng)用研究中運(yùn)用較少。眼動，主要通過Tobii Pro Glasses、SIM Glass 等眼動追蹤設(shè)備獲取平均瞳孔直徑［10］、眨眼率、凝視次數(shù)、凝視時間和總注視時間［11］等指標(biāo)數(shù)據(jù)；心率，不同于對認(rèn)知過程的考查，葉強(qiáng)等［12］利用Polar Team Pro團(tuán)隊心率儀評估了學(xué)習(xí)者在AR體育訓(xùn)練過程中的運(yùn)動負(fù)荷。

3.2 AR 教育應(yīng)用研究中的多模態(tài)學(xué)習(xí)分析評價指標(biāo)

表7 中“評價指標(biāo)”維度的編碼結(jié)果如圖3 所示。

圖3 “評價指標(biāo)”維度的編碼結(jié)果

圖3 顯示，在AR教育應(yīng)用研究中，多模態(tài)學(xué)習(xí)分析的評價指標(biāo)主要包括知識狀態(tài)（33%）、認(rèn)知狀態(tài)（10%）、情感狀態(tài)（29%）、交互狀態(tài)（5%）和綜合狀態(tài)（23%），大致做到了指標(biāo)多維度。

（1）知識狀態(tài)。“學(xué)習(xí)成績”占比較高，被較多的AR教育應(yīng)用研究采用。學(xué)習(xí)成績，按測試發(fā)生時間節(jié)點(diǎn)，一般包括前測成績、即時后測成績、延時后測成績和補(bǔ)救測試成績；按測試題目性質(zhì)，也可分為保持測試成績和遷移測試成績。

（2）認(rèn)知狀態(tài)。“思維”涉及批判性思維、視覺思維和空間思維等方面內(nèi)容。批判性思維一般可從決策支持的技能、推斷技能和澄清技能等進(jìn)行綜合評價；視覺思維通常從視覺形狀識別、視覺關(guān)系感知和第三維度感知等維度進(jìn)行評測［13］；空間思維通常涉及空間旋轉(zhuǎn)可視化能力等。但現(xiàn)階段關(guān)于AR學(xué)習(xí)中思維評價的研究相對較少。

“認(rèn)知負(fù)荷”可體現(xiàn)工作記憶對信息進(jìn)行存儲和加工的總量，一般包括由學(xué)習(xí)材料本身復(fù)雜性所引發(fā)的內(nèi)在認(rèn)知負(fù)荷、由教學(xué)程序設(shè)計不當(dāng)而引發(fā)的外在認(rèn)知負(fù)荷以及處理內(nèi)在認(rèn)知負(fù)荷所需要的關(guān)聯(lián)認(rèn)知負(fù)荷。

（3）情感狀態(tài)。“態(tài)度”中暗含興趣和情感，較常被用于考查，態(tài)度一般包括兩類：一類是學(xué)習(xí)者對于學(xué)科知識的態(tài)度，如對科學(xué)的探究興趣、敏感度、責(zé)任感等［14］；另一類是學(xué)習(xí)者對于AR 技術(shù)的態(tài)度，如感知有用性、感知易用性、技術(shù)復(fù)雜性、使用滿意度、使用焦慮感［15］和行為意向等。

（4）交互狀態(tài)。“行為表現(xiàn)”通常通過觀察來發(fā)現(xiàn)。例如，Yildirim［16］觀察了七年級學(xué)生在課堂上使用AR卡片的動作，并將觀察結(jié)果作為推斷學(xué)習(xí)者是否具有科學(xué)學(xué)習(xí)興趣和動力的重要參考。

（5）綜合狀態(tài)。“學(xué)習(xí)動機(jī)”可反映學(xué)習(xí)者維持個體學(xué)習(xí)活動的內(nèi)在心理力量，常通過基于ARCS 動機(jī)模型的IMMS工具、學(xué)習(xí)動機(jī)策略問卷（MSLQ）等來測量。

“綜合技能”主要用于評價學(xué)習(xí)者的21 世紀(jì)技能，如“創(chuàng)造力與創(chuàng)新”“批判性思維和問題解決”“協(xié)作與交流”“預(yù)測技能”和“溝通技能”等。

3.3 AR教育應(yīng)用研究中的多模態(tài)學(xué)習(xí)分析數(shù)據(jù)整合方式

表7 中“數(shù)據(jù)整合方式”維度的編碼結(jié)果如圖4所示。

圖4 “數(shù)據(jù)整合方式”維度的編碼結(jié)果

圖4 顯示，在AR教育應(yīng)用研究中，多模態(tài)學(xué)習(xí)分析的數(shù)據(jù)整合方式主要包括一對一（78%）、多對一（10%）、一對多（10%）和多對多（2%），“三角互證”維度未得到關(guān)注。

（1）一對一。“一對一”的數(shù)據(jù)整合方式在研究中占比最高。數(shù)據(jù)來源和評價指標(biāo)一般都具有特定的匹配關(guān)系，如“測試題→學(xué)習(xí)成績”和“態(tài)度量表→態(tài)度”等。

（2）多對一。“多對一”的數(shù)據(jù)整合方式在研究中部分涉及，出現(xiàn)多個數(shù)據(jù)來源用于評價單個指標(biāo)的情況，對研究數(shù)據(jù)做相互間的必要補(bǔ)充。如眼動指標(biāo)中的“興趣區(qū)”可輔助情緒問卷判斷學(xué)習(xí)者學(xué)習(xí)時的情感狀態(tài)，“平均瞳孔直徑”和“眨眼率”則可輔助認(rèn)知負(fù)荷量表判斷學(xué)習(xí)者學(xué)習(xí)時的認(rèn)知狀態(tài)。

（3）一對多。“一對多”的數(shù)據(jù)整合方式在研究中部分涉及，出現(xiàn)一個數(shù)據(jù)來源用于評價多個指標(biāo)的情況，主要集中于調(diào)查問卷的使用上。基于調(diào)查問卷題目設(shè)計的靈活性，很多研究者嘗試將多領(lǐng)域問題匯集在一張問卷中，通過一次填答得到較為完整的數(shù)據(jù)。

（4）多對多。“多對多”的數(shù)據(jù)整合方式在AR教育應(yīng)用研究中偶有涉及，但占比較低。例如，Cook［17］綜合運(yùn)用訪談工具和調(diào)查問卷來考查來自學(xué)習(xí)者的態(tài)度和動機(jī)等多方面的信息。

3.4 AR 教育應(yīng)用研究中的多模態(tài)學(xué)習(xí)分析改進(jìn)方向

3.4.1 數(shù)據(jù)來源“在線化”

學(xué)習(xí)者在AR學(xué)習(xí)過程中形成的差異性對于解讀學(xué)習(xí)結(jié)果具有關(guān)鍵作用。傳統(tǒng)的“文本測量工具”依然占據(jù)絕對優(yōu)勢地位。文本數(shù)據(jù)通常是在學(xué)習(xí)者完成學(xué)習(xí)任務(wù)后取得，與學(xué)習(xí)者實(shí)時的認(rèn)知加工并不同步，具有“離線”的特點(diǎn)。如果僅通過文本測量工具來獲取所需數(shù)據(jù)，可能會缺失一些重要的、客觀的信息。未來的AR 教育應(yīng)用研究應(yīng)加強(qiáng)“在線”評測工具的使用，具體包括：

（1）關(guān)注生理表征數(shù)據(jù)的采集和分析。以SIM Glass為代表的穿戴式眼動儀能實(shí)現(xiàn)對瞳孔直徑、注視時間和眨眼率等常用眼動指標(biāo)的實(shí)時觀測，并以學(xué)習(xí)者視角記錄AR學(xué)習(xí)的全過程。后續(xù)研究應(yīng)繼續(xù)深入挖掘各類眼動指標(biāo)的評價潛力，同時積極輔之以腦電、心電和皮膚電等生理表征數(shù)據(jù)來實(shí)現(xiàn)對AR學(xué)習(xí)過程的全面考查。

（2）關(guān)注空間類數(shù)據(jù)的采集和分析。學(xué)習(xí)者在AR學(xué)習(xí)過程中會與物理、數(shù)字和環(huán)境空間產(chǎn)生信息與能量的雙向交流。后續(xù)研究應(yīng)關(guān)注來自上述空間的數(shù)據(jù)與AR學(xué)習(xí)過程的內(nèi)在關(guān)聯(lián)，強(qiáng)化不同模態(tài)數(shù)據(jù)之間的信息互補(bǔ)機(jī)制，有效實(shí)現(xiàn)AR 學(xué)習(xí)生態(tài)全貌的有機(jī)分解。

3.4.2 評價指標(biāo)“高階化”

AR學(xué)習(xí)情境可幫助學(xué)習(xí)者調(diào)動已有經(jīng)驗，并借助手勢、肢體動作等消解與降低知識、概念的抽象層次，促進(jìn)其高階思維的發(fā)展。研究者多關(guān)注AR 技術(shù)對學(xué)習(xí)效果的影響以及學(xué)習(xí)者對AR 技術(shù)的情感態(tài)度，也愈發(fā)傾向于從多個維度綜合評價學(xué)習(xí)者的學(xué)習(xí)表現(xiàn)。現(xiàn)階段研究者對于“認(rèn)知狀態(tài)”和“交互狀態(tài)”的關(guān)注度仍然較低，不利于從發(fā)展思維能力的層面對學(xué)習(xí)者做出科學(xué)評價。未來的研究應(yīng)當(dāng)做到：

（1）加強(qiáng)高階思維能力考查。檢測學(xué)習(xí)者是否達(dá)到學(xué)習(xí)目標(biāo)，不能僅僅考量知識技能的掌握程度，還需判斷學(xué)習(xí)者是否形成相應(yīng)的思維體系。目前的研究對于有益學(xué)習(xí)的高階思維關(guān)注較少，應(yīng)加強(qiáng)考查力度。

（2）加強(qiáng)行為表現(xiàn)考查。學(xué)習(xí)者在AR學(xué)習(xí)中的行為表現(xiàn)是影響學(xué)習(xí)績效和思維能力的重要因素。研究者常用的視頻錄像是觀測學(xué)習(xí)者行為表現(xiàn)的重要數(shù)據(jù)來源，但只能對其外顯學(xué)習(xí)過程做客觀記錄，還需借用科學(xué)的編碼體系對視頻錄像中的行為進(jìn)行深入分析。

3.4.3 整合方法“關(guān)聯(lián)化”

AR學(xué)習(xí)中的數(shù)據(jù)來源與評價指標(biāo)之間存在若干錯綜復(fù)雜的非線性關(guān)聯(lián)，給數(shù)據(jù)整合方式的選擇帶來挑戰(zhàn)，“一對一”成為主流，“三角互證”則未涉及。這種僅用一種數(shù)據(jù)評價一個指標(biāo)的方式容易造成結(jié)論片面，缺乏科學(xué)性。未來的研究應(yīng)當(dāng)做到：

（1）加大“多對多”數(shù)據(jù)整合方式的比重。將數(shù)據(jù)來源由單一的“文本測量工具”擴(kuò)大到多源數(shù)據(jù)相結(jié)合，使得研究結(jié)論能由多源數(shù)據(jù)共同驗證，最大程度克服主觀傾向；充分利用采集工具的特性，盡可能用來源數(shù)據(jù)評價多個指標(biāo)，減少資源浪費(fèi)。

（2）嘗試“三角互證”在研究中的應(yīng)用。三角互證能控制研究中存在的系統(tǒng)變異、外生變異和誤差變異，形成證據(jù)鏈以提升研究效度［18］。無論是質(zhì)性還是量化研究，都應(yīng)做到：廣泛收集多源數(shù)據(jù)、采用不同分析方法、允許多研究者參與、實(shí)現(xiàn)多種方法“取長補(bǔ)短”。

4 結(jié)語

AR教育應(yīng)用研究正處于初級階段，關(guān)于AR環(huán)境下學(xué)習(xí)發(fā)生的內(nèi)在機(jī)理，尚未有絕對權(quán)威的解釋。學(xué)習(xí)分析的作用在于打開AR“學(xué)習(xí)黑箱”，利用評價結(jié)果反推學(xué)習(xí)者內(nèi)部認(rèn)知加工機(jī)制、學(xué)習(xí)規(guī)律以及內(nèi)外部相互作用的學(xué)習(xí)原理，揭秘學(xué)習(xí)本質(zhì)，變“學(xué)習(xí)黑箱”為“學(xué)習(xí)白箱”［19］，充分發(fā)揮AR技術(shù)的教育潛力，推動AR技術(shù)在教育領(lǐng)域的大規(guī)模普及。

本研究發(fā)現(xiàn)，在當(dāng)前的AR教育應(yīng)用研究中，多模態(tài)學(xué)習(xí)分析的應(yīng)用偏于簡單，不利于其“解密”功能的發(fā)揮。未來的研究應(yīng)當(dāng)努力做到數(shù)據(jù)來源在線化、評價指標(biāo)高階化和整合方法關(guān)聯(lián)化。