可解釋性人工智能有助于提升自適應(yīng)學(xué)習(xí)的學(xué)習(xí)效果嗎？

摘要：當(dāng)前，以數(shù)據(jù)驅(qū)動(dòng)為基礎(chǔ)的自適應(yīng)學(xué)習(xí)技術(shù)在教育領(lǐng)域展現(xiàn)出了巨大的潛力，然而其不透明的“黑箱”屬性引發(fā)了教育研究者和實(shí)踐者的普遍擔(dān)憂。可解釋性人工智能被認(rèn)為有潛力在自適應(yīng)學(xué)習(xí)情境中幫助學(xué)習(xí)者理解干預(yù)決策，從而提升學(xué)習(xí)成效，但其在教育應(yīng)用中的實(shí)踐效果存在爭(zhēng)議。為此，文章采用元分析方法，對(duì)29項(xiàng)實(shí)證研究的66個(gè)效應(yīng)量進(jìn)行分析，發(fā)現(xiàn)可解釋性人工智能對(duì)自適應(yīng)學(xué)習(xí)的學(xué)習(xí)效果的提升為中等程度，其中對(duì)學(xué)習(xí)者認(rèn)知和元認(rèn)知維度的影響更大；可解釋性人工智能的促進(jìn)作用因受到解釋設(shè)計(jì)、呈現(xiàn)設(shè)計(jì)、實(shí)驗(yàn)設(shè)計(jì)的影響而存在差異。基于研究結(jié)果，文章提出未來(lái)的自適應(yīng)學(xué)習(xí)干預(yù)應(yīng)堅(jiān)持以學(xué)習(xí)者為中心，注重學(xué)習(xí)干預(yù)解釋的互動(dòng)性、可讀性和邊界性等啟示，以促進(jìn)可解釋性人工智能在教育領(lǐng)域的深度應(yīng)用。

關(guān)鍵詞：自適應(yīng)學(xué)習(xí)；可解釋性人工智能；元分析

【中圖分類號(hào)】G40-057 【文獻(xiàn)標(biāo)識(shí)碼】A 【論文編號(hào)】1009—8097（2024）10—0092—11 【DOI】10.3969/j.issn.1009-8097.2024.10.010

引言

隨著人工智能技術(shù)在教育領(lǐng)域中的高速發(fā)展，越來(lái)越多的研究表明人工智能技術(shù)能夠在教、學(xué)、評(píng)等各個(gè)環(huán)節(jié)體現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的自適應(yīng)、個(gè)性化的教育價(jià)值[1]。然而，智能分析與決策的“黑箱問題”造成了人對(duì)機(jī)器的“認(rèn)識(shí)缺失”，在教學(xué)實(shí)踐中也呈現(xiàn)出算法厭惡干擾、推送錯(cuò)誤風(fēng)險(xiǎn)、教師難以理解等個(gè)性化教學(xué)信賴危機(jī)[2]。為了解決人工智能的可控性問題，可解釋性人工智能（Explainable AI，XAI）方法逐漸受到重視。先前一些研究對(duì)XAI的教育內(nèi)涵進(jìn)行了分析，體現(xiàn)在教育領(lǐng)域中應(yīng)用XAI（XAI-ED）的特征包括：①透明性，XAI技術(shù)可以對(duì)數(shù)據(jù)處理和決策過(guò)程進(jìn)行透明化展示，使用戶了解每一步操作的邏輯。②可追溯性，XAI的決策過(guò)程可以追溯，幫助用戶理解每個(gè)決策背后的依據(jù)與數(shù)據(jù)處理流程。③用戶友好性，XAI技術(shù)重視用戶交互，可以通過(guò)可視化、自然語(yǔ)言解釋等方式，使不同背景的用戶理解和使用人工智能系統(tǒng)[3]。例如，在個(gè)性化學(xué)習(xí)環(huán)境中，XAI技術(shù)可以提供關(guān)于推薦內(nèi)容或?qū)W習(xí)路徑選擇的詳細(xì)解釋，幫助學(xué)習(xí)者理解這些推薦是如何產(chǎn)生的，從而增強(qiáng)其對(duì)于學(xué)習(xí)規(guī)劃的理解；XAI還可以詳細(xì)解釋預(yù)測(cè)成績(jī)或自動(dòng)反饋背后的依據(jù)，協(xié)助教師識(shí)別哪些因素影響了學(xué)習(xí)者成績(jī)或者評(píng)估結(jié)果等[4][5]。

此外，過(guò)往對(duì)XAI在教育情境下的應(yīng)用研究也指出，XAI的解釋信息本身具有促進(jìn)學(xué)習(xí)者自身水平發(fā)展的教育功能[6]。Miller[7]指出，在教育情境下，解釋不僅被視為一種信息產(chǎn)出，還被視為學(xué)習(xí)者和教學(xué)對(duì)象互動(dòng)的過(guò)程，以及從解釋者到被解釋者的知識(shí)轉(zhuǎn)移過(guò)程。因此，從教育實(shí)踐上看，XAI的解釋不僅應(yīng)該增加學(xué)習(xí)者對(duì)系統(tǒng)或系統(tǒng)決策的信任，還應(yīng)該賦予其更好的學(xué)習(xí)表現(xiàn)[8][9]。例如，對(duì)于自適應(yīng)學(xué)習(xí)路徑的解釋性說(shuō)明能夠幫助學(xué)習(xí)者適時(shí)調(diào)整自身的學(xué)習(xí)策略，對(duì)于自適應(yīng)學(xué)習(xí)者建模的解釋性說(shuō)明能夠幫助學(xué)習(xí)者進(jìn)行有效的自我監(jiān)控，等等。然而，當(dāng)前對(duì)于可解釋性人工智能的教育應(yīng)用效果爭(zhēng)論不一，其中Robbins[10]認(rèn)為教育應(yīng)用中人工智能算法的許多用途是低風(fēng)險(xiǎn)的，不需要解釋；但在某些情況下，對(duì)自適應(yīng)決策的解釋信息可能會(huì)引入新的不確定性和認(rèn)知負(fù)荷。而Hostetter等[11]支持在人工智能教育應(yīng)用中對(duì)背后的自適應(yīng)干預(yù)決策進(jìn)行解釋，認(rèn)為這可以增強(qiáng)學(xué)習(xí)者對(duì)學(xué)習(xí)過(guò)程的控制和自我監(jiān)控能力，從而提升學(xué)業(yè)表現(xiàn)。Conati等[12]發(fā)現(xiàn)，提供人工智能決策解釋增加了學(xué)習(xí)者對(duì)智能導(dǎo)學(xué)系統(tǒng)中提示的信任、感知提示的有用性和再次使用提示的意愿。

綜上所述，盡管已有研究在一定程度上探索了應(yīng)用可解釋性人工智能與學(xué)習(xí)者學(xué)習(xí)效果之間的關(guān)系，但“可解釋性人工智能對(duì)自適應(yīng)學(xué)習(xí)應(yīng)用的影響”仍存在諸多爭(zhēng)議。目前來(lái)看，還未有研究針對(duì)可解釋性人工智能教育應(yīng)用的效果進(jìn)行定量的證據(jù)描述。基于此，本研究采用元分析的方法，梳理了過(guò)去二十年國(guó)際上可解釋性人工智能相關(guān)的教育實(shí)證研究，并按照元分析方法的規(guī)范要求對(duì)這些文獻(xiàn)進(jìn)行篩選、梳理、分析，以期進(jìn)一步探明使用可解釋性人工智能對(duì)自適應(yīng)學(xué)習(xí)中學(xué)習(xí)成效的影響，為可解釋性人工智能的應(yīng)用設(shè)計(jì)與教學(xué)實(shí)踐提供建議。

圖1 "文獻(xiàn)篩選過(guò)程

一 研究設(shè)計(jì)

1 文獻(xiàn)檢索與篩選

為了盡可能多地收集到可解釋性人工智能在自適應(yīng)學(xué)習(xí)研究中的實(shí)證文章，本研究在Web of Science和Scopus兩大文獻(xiàn)庫(kù)中展開了搜索，以explanation、explainable AI、XAI交叉性組合learner、adaptive、personalized、experiment、education為檢索詞，選取時(shí)間為2003年～2023年，最終在Web of Science中獲得628條文獻(xiàn)，在Scopus中獲得432條文獻(xiàn)。本研究按照以下標(biāo)準(zhǔn)對(duì)這些文獻(xiàn)進(jìn)行了篩選：①文獻(xiàn)主題應(yīng)為應(yīng)用可解釋性人工智能對(duì)學(xué)習(xí)者學(xué)習(xí)效果的影響，排除僅簡(jiǎn)單介紹可解釋性人工智能算法或應(yīng)用了可解釋性人工智能算法（如專家規(guī)則、決策樹）卻沒有向?qū)W習(xí)者呈現(xiàn)解釋信息的文獻(xiàn)。②文獻(xiàn)必須是教育實(shí)證實(shí)驗(yàn)或準(zhǔn)實(shí)驗(yàn)研究。其中，單組實(shí)驗(yàn)需要有前后測(cè)的對(duì)照，雙組實(shí)驗(yàn)必須包含一個(gè)干預(yù)下的實(shí)驗(yàn)組，以及與之相對(duì)應(yīng)的對(duì)照組。③文獻(xiàn)的數(shù)據(jù)分析部分有可計(jì)算效應(yīng)量的信息。依據(jù)上述篩選標(biāo)準(zhǔn)，兩位研究者和一位研究助理通過(guò)篩選復(fù)核，最終得到29篇納入分析的樣本文獻(xiàn)，篩選過(guò)程如圖1所示。

2 文獻(xiàn)編碼

本研究的自變量為是否使用可解釋性人工智能方法，因變量為學(xué)習(xí)者的學(xué)習(xí)效果。由于可解釋性人工智能的相關(guān)實(shí)證研究關(guān)注了學(xué)習(xí)者學(xué)習(xí)效果的不同方面，因此本研究基于馬扎諾教育目標(biāo)分類模型，將學(xué)習(xí)者的學(xué)習(xí)效果分為認(rèn)知發(fā)展效果、元認(rèn)知發(fā)展效果和自我發(fā)展效果三個(gè)維度[13]。從調(diào)節(jié)變量來(lái)看，本研究基于Khosravi等[14]提出的XAI-ED框架，從解釋設(shè)計(jì)、呈現(xiàn)設(shè)計(jì)和實(shí)驗(yàn)設(shè)計(jì)三個(gè)維度進(jìn)行分類：①解釋設(shè)計(jì)維度重點(diǎn)關(guān)注XAI技術(shù)對(duì)自適應(yīng)學(xué)習(xí)中的哪些教育要素進(jìn)行解釋。其中，交互行為關(guān)注解釋的可互動(dòng)性，分為解釋僅可查看、解釋可協(xié)商對(duì)話和解釋可編輯；解釋邏輯指對(duì)所有的自適應(yīng)算法決策都進(jìn)行解釋（全局解釋邏輯），還是針對(duì)學(xué)習(xí)者個(gè)體需要進(jìn)行解釋（局部解釋邏輯）；社會(huì)比較指學(xué)習(xí)者是否能夠查看同伴的人工智能解釋；導(dǎo)航行為指人工智能進(jìn)行解釋的信息是否包含新的學(xué)習(xí)資源[15]。②呈現(xiàn)設(shè)計(jì)維度重點(diǎn)關(guān)注人工智能教育決策是如何被呈現(xiàn)的。其中，呈現(xiàn)形式指人工智能解釋是用文本、圖片還是表格形式進(jìn)行呈現(xiàn)；色彩編碼指是否用不同顏色對(duì)內(nèi)容加以標(biāo)識(shí)；應(yīng)用場(chǎng)域指人工智能解釋所呈現(xiàn)的教育應(yīng)用形式（智能導(dǎo)學(xué)系統(tǒng)、教育游戲等）。③實(shí)驗(yàn)設(shè)計(jì)維度包括實(shí)驗(yàn)時(shí)長(zhǎng)、學(xué)習(xí)材料和學(xué)習(xí)對(duì)象三個(gè)調(diào)節(jié)變量，具體的文獻(xiàn)編碼表如表1所示。研究團(tuán)隊(duì)通過(guò)討論后對(duì)該編碼內(nèi)容達(dá)成了共識(shí)，并基于此編碼表對(duì)29篇文獻(xiàn)進(jìn)行了獨(dú)立編碼。通過(guò)檢驗(yàn)可知，整體的編碼一致性為可接受的（Cohen’s Kappa=0.71）。最終，研究團(tuán)隊(duì)對(duì)編碼不一致的文獻(xiàn)和變量通過(guò)討論達(dá)成了一致。

表1 "文獻(xiàn)編碼表

3 數(shù)據(jù)分析

（1）效應(yīng)量計(jì)算

在元分析中，效應(yīng)量是衡量單個(gè)研究結(jié)果的綜合指標(biāo)，本研究使用標(biāo)準(zhǔn)化平均差（Std. Mean Difference，SMD）作為效應(yīng)量來(lái)評(píng)估可解釋性人工智能教育應(yīng)用對(duì)學(xué)習(xí)者學(xué)習(xí)效果的影響。由于納入分析的研究中測(cè)量學(xué)習(xí)效果的維度和方式各有不同，故最終納入了66個(gè)可用于元分析的效應(yīng)量，其中部分實(shí)驗(yàn)與準(zhǔn)實(shí)驗(yàn)研究包括多個(gè)效應(yīng)量。

（2）偏倚分析與異質(zhì)性檢驗(yàn)

為保證元分析結(jié)果的科學(xué)性和準(zhǔn)確性，本研究在進(jìn)行所有分析之前先進(jìn)行了發(fā)表偏倚檢驗(yàn)。本研究基于Egger偏倚檢驗(yàn)方式，計(jì)算得到t=1.31，p=0.32＞0.05，未達(dá)到顯著水平，表明不存在顯著的發(fā)表偏倚[16]。隨后，本研究采用失安全系數(shù)（Fail-safe N）檢驗(yàn)發(fā)表偏倚，如果失安全系數(shù)遠(yuǎn)遠(yuǎn)大于“5N+10”（N為樣本數(shù)），則表明未發(fā)表的研究對(duì)元分析結(jié)果沒有影響[17]。本研究計(jì)算得到的失安全系數(shù)為2636，遠(yuǎn)大于340（5×66+10），再次證明無(wú)顯著的發(fā)表偏倚。

本研究進(jìn)一步使用Q統(tǒng)計(jì)量和I2值評(píng)估異質(zhì)性，I2值增加表明異質(zhì)性增強(qiáng)[18]。具體來(lái)說(shuō)，0～25%表示異質(zhì)性較低，25～75%表示異質(zhì)性中等，75～100%表示異質(zhì)性較大[19]。本研究的統(tǒng)計(jì)數(shù)據(jù)（Q=499.667，I2=86.991，p＜0.001）證實(shí)分析中效應(yīng)量的異質(zhì)性顯著，因此可以使用隨機(jī)效應(yīng)模型來(lái)計(jì)算總體效應(yīng)量。

4 研究方法和工具

元分析是一種綜合性研究方法，目的是探究獨(dú)立研究之間的共同效應(yīng)或其差異產(chǎn)生的原因，對(duì)有爭(zhēng)議甚至矛盾的同類研究進(jìn)行元分析可得出較為明確的結(jié)論[20]。本項(xiàng)研究采用元分析方法探究可解釋性人工智能教育應(yīng)用對(duì)學(xué)習(xí)者學(xué)習(xí)效果的影響，借助元分析軟件CMA 3.0，將不同研究的樣本量、實(shí)驗(yàn)的前后測(cè)均值以及標(biāo)準(zhǔn)差等原始數(shù)據(jù)作為輸入，以進(jìn)行綜合計(jì)算和分析。

二 研究結(jié)果與分析

1 可解釋性人工智能對(duì)于學(xué)習(xí)者學(xué)習(xí)效果的總體影響

根據(jù)CMA 3.0軟件的計(jì)算，整體效應(yīng)檢驗(yàn)結(jié)果如表2所示，本研究采用隨機(jī)效應(yīng)模型得出的總體效應(yīng)量為0.426（p＜0.001）。Cohen的元分析效應(yīng)值統(tǒng)計(jì)結(jié)果認(rèn)為，當(dāng)效應(yīng)量小于等于0.2時(shí)，表明影響較小；效應(yīng)量位于0.2～0.5時(shí)，表明具有中等程度的影響；效應(yīng)量位于0.5～0.8時(shí)，表明具有較大影響；效應(yīng)值大于0.8時(shí)，表明影響程度很大[21]。本研究的總體效應(yīng)量為0.426，表明可解釋性人工智能對(duì)學(xué)習(xí)者的學(xué)習(xí)效果具有中等的促進(jìn)作用。

表2 nbsp;整體效應(yīng)檢驗(yàn)

注：***p＜0.001。

2 可解釋性人工智能對(duì)于學(xué)習(xí)者學(xué)習(xí)效果的具體影響

根據(jù)CMA 3.0軟件的計(jì)算，不同類別學(xué)習(xí)效果的具體影響如表3所示。在認(rèn)知發(fā)展維度，可解釋人工智能對(duì)于學(xué)習(xí)者認(rèn)知方面的促進(jìn)作用的合并效應(yīng)量為0.446（p＜0.001），具有顯著的中等程度促進(jìn)作用。其中，遷移學(xué)習(xí)表現(xiàn)（SMD=0.570，p＜0.05）具有平均水平之上的效應(yīng)量，表明可解釋性人工智能可以更好地促進(jìn)學(xué)習(xí)者的遷移學(xué)習(xí)表現(xiàn)；而學(xué)業(yè)表現(xiàn)（SMD=0.405，p＜0.001）的促進(jìn)作用相對(duì)較小，表明可解釋性人工智能在教育應(yīng)用中對(duì)學(xué)業(yè)表現(xiàn)的影響還有待提高。

在元認(rèn)知發(fā)展維度，可解釋性人工智能對(duì)于學(xué)習(xí)者元認(rèn)知方面的促進(jìn)作用的合并效應(yīng)量為0.493（p＜0.01），表明其對(duì)于學(xué)習(xí)者元認(rèn)知水平具有顯著的中等偏上的促進(jìn)作用。其中，自我評(píng)估水平的效應(yīng)量達(dá)到了0.714（p＜0.01），表明可解釋性人工智能對(duì)于學(xué)習(xí)者的自我評(píng)估表現(xiàn)有著較高的促進(jìn)作用；但是，可解釋性人工智能對(duì)于自我監(jiān)控水平（SMD=0.280，p＜0.05）和自我調(diào)節(jié)水平（SMD=0.282，p＜0.05）具有中等偏低的促進(jìn)作用。

在自我發(fā)展維度，可解釋性人工智能對(duì)學(xué)習(xí)者自我發(fā)展的促進(jìn)作用總體而言并不具有顯著性（SMD=0.272，p＞0.05）。具體來(lái)看，可解釋性人工智能能夠小幅促進(jìn)學(xué)習(xí)者的動(dòng)機(jī)水平（SMD=0.221，p＜0.01），但對(duì)于參與度水平（SMD=0.230，p＞0.05）和自我信念水平（SMD=0.440，p＞0.05）都不存在顯著的促進(jìn)作用，表明可解釋性人工智能對(duì)于改善學(xué)習(xí)者自我發(fā)展維度的效果并不充分。

3 "可解釋性人工智能對(duì)不同類別學(xué)習(xí)效果的具體影響

注：***p＜0.001，**p＜0.01，*p＜0.05。下同。

3 不同調(diào)節(jié)變量對(duì)學(xué)習(xí)者學(xué)習(xí)效果的影響

由異質(zhì)性檢驗(yàn)可知，學(xué)習(xí)者認(rèn)知發(fā)展、元認(rèn)知發(fā)展和自我發(fā)展的效果之間存在異質(zhì)性，表明對(duì)這三個(gè)維度的效果分別進(jìn)行調(diào)節(jié)效應(yīng)分析具有可行性，維度效果分離的調(diào)節(jié)效應(yīng)分析也能夠更加深入地挖掘調(diào)節(jié)變量的作用差異。同時(shí)，由可解釋性人工智能對(duì)學(xué)習(xí)者學(xué)習(xí)效果的影響分析可以看出，可解釋性人工智能對(duì)于學(xué)習(xí)者的自我發(fā)展維度的作用并不顯著，因此具體分析對(duì)學(xué)習(xí)者的自我發(fā)展維度的調(diào)節(jié)效應(yīng)意義較小。綜上，本研究基于學(xué)習(xí)者的認(rèn)知發(fā)展（30個(gè)效應(yīng)量）和元認(rèn)知發(fā)展（16個(gè)效應(yīng)量）分別對(duì)調(diào)節(jié)效應(yīng)進(jìn)行分析（如表4、表5所示），以期更加深入地探索可解釋性人工智能對(duì)學(xué)習(xí)者學(xué)習(xí)效果的調(diào)節(jié)差異。

（1）不同解釋設(shè)計(jì)的調(diào)節(jié)效應(yīng)分析

從解釋設(shè)計(jì)維度來(lái)看，不同的交互行為對(duì)學(xué)習(xí)者的認(rèn)知發(fā)展和元認(rèn)知發(fā)展有不同的促進(jìn)作用。其中，僅可查看人工智能的解釋信息能夠中等程度地促進(jìn)學(xué)習(xí)者的認(rèn)知發(fā)展（SMD=0.362），而可與人工智能解釋進(jìn)行可協(xié)商對(duì)話的學(xué)習(xí)者體現(xiàn)出了顯著的元認(rèn)知發(fā)展（SMD=0.439）。針對(duì)算法整體進(jìn)行解釋的全局解釋邏輯能夠非常有效地促進(jìn)學(xué)習(xí)者的認(rèn)知表現(xiàn)（SMD=0.933，p＜0.001），而針對(duì)學(xué)習(xí)者個(gè)體表現(xiàn)進(jìn)行解釋的局部解釋邏輯能夠顯著地提升學(xué)習(xí)者的元認(rèn)知表現(xiàn)（SMD=0.571，p＜0.05）。此外，在解釋設(shè)計(jì)中加入社會(huì)比較功能（認(rèn)知發(fā)展SMD=0.192，p＜0.001；元認(rèn)知發(fā)展SMD=0.886，p＜0.001）和導(dǎo)航行為功能（認(rèn)知發(fā)展SMD=0.744，p＜0.001；元認(rèn)知發(fā)展SMD=0.477，p＜0.001）都能夠促進(jìn)學(xué)習(xí)者認(rèn)知維度和元認(rèn)知維度的發(fā)展。

表4 "可解釋性人工智能對(duì)學(xué)習(xí)者認(rèn)知發(fā)展的調(diào)節(jié)效應(yīng)分析

（2）不同呈現(xiàn)設(shè)計(jì)的調(diào)節(jié)效應(yīng)分析

從呈現(xiàn)設(shè)計(jì)維度來(lái)看，人工智能解釋信息的呈現(xiàn)形式差異也會(huì)帶來(lái)認(rèn)知發(fā)展和元認(rèn)知發(fā)展的區(qū)別。其中，通過(guò)圖片解釋能夠更好地促進(jìn)學(xué)習(xí)者的元認(rèn)知發(fā)展（SMD=0.625），但對(duì)于認(rèn)知發(fā)展（SMD=0.253）的促進(jìn)效果較弱。解釋信息時(shí)采用色彩編碼具有顯著的學(xué)習(xí)效果促進(jìn)作用（認(rèn)知發(fā)展SMD=0.477；元認(rèn)知發(fā)展SMD=0.352）。而對(duì)于解釋的應(yīng)用場(chǎng)域，無(wú)論是認(rèn)知發(fā)展維度還是元認(rèn)知發(fā)展維度，其異質(zhì)性檢驗(yàn)都不顯著，表明教育實(shí)踐工具的不同對(duì)可解釋性人工智能的應(yīng)用沒有影響。

表5 "可解釋性人工智能對(duì)學(xué)習(xí)者元認(rèn)知發(fā)展的調(diào)節(jié)效應(yīng)分析

（3）不同實(shí)驗(yàn)設(shè)計(jì)的調(diào)節(jié)效應(yīng)分析

從實(shí)驗(yàn)設(shè)計(jì)維度來(lái)看，實(shí)驗(yàn)時(shí)長(zhǎng)對(duì)學(xué)習(xí)者的認(rèn)知發(fā)展和元認(rèn)知發(fā)展有著不同的促進(jìn)作用。從認(rèn)知發(fā)展來(lái)看，實(shí)驗(yàn)時(shí)長(zhǎng)越短，可解釋性人工智能應(yīng)用對(duì)于學(xué)習(xí)者認(rèn)知發(fā)展的促進(jìn)作用就越顯著，其中實(shí)驗(yàn)時(shí)長(zhǎng)少于24小時(shí)對(duì)于學(xué)習(xí)者的認(rèn)知發(fā)展有著較大的促進(jìn)作用（SMD=0.789）；而從元認(rèn)知發(fā)展來(lái)看，實(shí)驗(yàn)時(shí)長(zhǎng)越長(zhǎng)，可解釋性人工智能應(yīng)用對(duì)于學(xué)習(xí)者元認(rèn)知發(fā)展的促進(jìn)作用就越顯著。學(xué)習(xí)材料方面，學(xué)習(xí)者進(jìn)行計(jì)算機(jī)知識(shí)學(xué)習(xí)的人工智能解釋應(yīng)用具有較好的學(xué)習(xí)效果（認(rèn)知發(fā)展SMD=0.689；元認(rèn)知發(fā)展SMD=0.789）。學(xué)習(xí)對(duì)象方面，只有大學(xué)生及成人學(xué)習(xí)者能夠從教育應(yīng)用中的人工智能解釋信息中獲益（認(rèn)知發(fā)展SMD=0.651；元認(rèn)知發(fā)展SMD=0.702）。

三 研究結(jié)論

本研究使用CMA 3.0元分析軟件，選取29篇關(guān)于可解釋性人工智能教育應(yīng)用的實(shí)驗(yàn)和準(zhǔn)實(shí)驗(yàn)研究進(jìn)行了元分析，從認(rèn)知發(fā)展、元認(rèn)知發(fā)展和自我發(fā)展三個(gè)方面探究了可解釋性人工智能對(duì)學(xué)習(xí)者學(xué)習(xí)效果的影響，同時(shí)分析了解釋設(shè)計(jì)、呈現(xiàn)設(shè)計(jì)和實(shí)驗(yàn)設(shè)計(jì)三個(gè)調(diào)節(jié)維度的差異對(duì)可解釋性人工智能教育應(yīng)用效果的影響。通過(guò)對(duì)結(jié)果的分析，本研究得到如下研究結(jié)論：

1 整體上可解釋性人工智能的應(yīng)用顯著促進(jìn)學(xué)習(xí)者的認(rèn)知發(fā)展和元認(rèn)知發(fā)展

從總體效果來(lái)看，使用可解釋性人工智能的教育應(yīng)用對(duì)學(xué)習(xí)成效的總體效應(yīng)為0.426，即具有中等程度的正向促進(jìn)作用。這一發(fā)現(xiàn)回應(yīng)了“人工智能教育決策的解釋對(duì)學(xué)習(xí)者學(xué)習(xí)效果有怎樣的影響”這一研究問題。同時(shí)，進(jìn)一步的細(xì)分分析發(fā)現(xiàn)，可解釋性人工智能能夠有效促進(jìn)學(xué)習(xí)者的認(rèn)知發(fā)展和元認(rèn)知發(fā)展，特別是對(duì)自我評(píng)估維度的影響效果最好。過(guò)往的眾多研究關(guān)注如何應(yīng)用智能技術(shù)培養(yǎng)學(xué)習(xí)者的元認(rèn)知能力，而較少關(guān)注智能決策的解釋能否提高學(xué)習(xí)者的元認(rèn)知發(fā)展水平，本研究的發(fā)現(xiàn)為可解釋性人工智能應(yīng)用提高學(xué)習(xí)者元認(rèn)知能力提供了一個(gè)證據(jù)結(jié)果[22]。因此，后續(xù)研究可以重點(diǎn)發(fā)展和設(shè)計(jì)富供給的人工智能解釋，增強(qiáng)學(xué)習(xí)者對(duì)于智能學(xué)習(xí)環(huán)境的掌控感，從而促進(jìn)學(xué)習(xí)者元認(rèn)知能力的提升[23]。

2 可解釋性人工智能的應(yīng)用成效受解釋設(shè)計(jì)、呈現(xiàn)設(shè)計(jì)和實(shí)驗(yàn)設(shè)計(jì)的調(diào)節(jié)

從調(diào)節(jié)效應(yīng)的分析來(lái)看，不同的解釋設(shè)計(jì)、呈現(xiàn)設(shè)計(jì)和實(shí)驗(yàn)設(shè)計(jì)會(huì)帶來(lái)不同的學(xué)習(xí)者認(rèn)知發(fā)展和元認(rèn)知發(fā)展表現(xiàn)。具體來(lái)說(shuō)：

（1）可協(xié)商、可比較、可導(dǎo)航的解釋設(shè)計(jì)促進(jìn)元認(rèn)知發(fā)展

解釋設(shè)計(jì)維度的調(diào)節(jié)分析結(jié)果表明，僅可查看的解釋對(duì)學(xué)習(xí)者的元認(rèn)知效果并不顯著但能夠促進(jìn)認(rèn)知發(fā)展，而可協(xié)商對(duì)話的解釋能夠有效提升學(xué)習(xí)者的元認(rèn)知水平。究其原因，可能是具有互動(dòng)性質(zhì)的解釋方式可以使學(xué)習(xí)者成為學(xué)習(xí)過(guò)程的積極參與者。因此，后續(xù)研究可以交替使用不同的交互方式，設(shè)計(jì)分層次的人工智能決策解釋。例如，學(xué)習(xí)階段前期以可查看的交互方式為主，后期逐步引入可協(xié)商對(duì)話的交互方式，確保學(xué)習(xí)者在具備一定的認(rèn)知能力后，再進(jìn)行更高層次的元認(rèn)知提升。本研究還發(fā)現(xiàn)，加入社會(huì)比較和導(dǎo)航行為兩個(gè)功能可以提升學(xué)習(xí)者的認(rèn)知水平和元認(rèn)知水平，表明人工智能的解釋設(shè)計(jì)應(yīng)當(dāng)與同伴比較、學(xué)習(xí)資源供給相結(jié)合，構(gòu)造可感知、可交互的人工智能解釋，幫助智能算法決策下的學(xué)習(xí)者主動(dòng)掌握自己的學(xué)習(xí)進(jìn)程。

（2）可視化、易區(qū)分、促理解的呈現(xiàn)設(shè)計(jì)促進(jìn)認(rèn)知發(fā)展

呈現(xiàn)設(shè)計(jì)維度的調(diào)節(jié)分析結(jié)果表明，以文本形式構(gòu)建的人工智能解釋對(duì)學(xué)習(xí)者的影響最弱。究其原因，可能是以文本形式構(gòu)建的人工智能解釋往往含有計(jì)算機(jī)領(lǐng)域所定義的抽象概念名詞，不利于教育場(chǎng)景下學(xué)習(xí)者的理解和掌握；而帶有色彩區(qū)分的圖表等可視化形式能夠直觀展現(xiàn)個(gè)性化路徑、學(xué)習(xí)者水平等自適應(yīng)建模對(duì)象，對(duì)學(xué)習(xí)者而言理解難度更低。因此，未來(lái)的可解釋性人工智能教育應(yīng)用可以參考過(guò)往成熟的教育設(shè)計(jì)，提供圖表、色塊等更符合學(xué)習(xí)者認(rèn)知理解水平的解釋，突出可視化元素的理解輔助作用。

（3）針對(duì)數(shù)理知識(shí)學(xué)習(xí)和成人學(xué)習(xí)者的實(shí)驗(yàn)設(shè)計(jì)促進(jìn)認(rèn)知與元認(rèn)知的共同發(fā)展

實(shí)驗(yàn)設(shè)計(jì)的調(diào)節(jié)分析結(jié)果表明，在學(xué)習(xí)材料方面，針對(duì)數(shù)理學(xué)科的人工智能解釋能夠促進(jìn)認(rèn)知與元認(rèn)知的共同發(fā)展，這可能是因?yàn)槔萌斯ぶ悄芨櫤徒＿@些結(jié)構(gòu)化知識(shí)點(diǎn)的方法更加成熟[24]。在學(xué)習(xí)對(duì)象方面，小學(xué)生和中學(xué)生并不是可解釋性人工智能教育應(yīng)用的理想目標(biāo)對(duì)象。有研究指出，當(dāng)前K-12水平的人工智能素養(yǎng)（AI Literacy）教育正在處于起步階段，缺乏對(duì)人工智能的理解使K-12學(xué)生很難從人工智能的可解釋性中受益[25]。本研究發(fā)現(xiàn)，只有大學(xué)生及成人學(xué)習(xí)者才能顯著提升學(xué)習(xí)效果，表明針對(duì)大學(xué)生及成人學(xué)習(xí)者的人工智能解釋應(yīng)是未來(lái)重點(diǎn)關(guān)注的方向。

四 研究啟示

綜合來(lái)看，元分析結(jié)果肯定了可解釋性人工智能在自適應(yīng)學(xué)習(xí)情境下對(duì)學(xué)習(xí)者認(rèn)知和元認(rèn)知方面的發(fā)展具有積極的促進(jìn)作用，但這種作用效果會(huì)受到呈現(xiàn)形式、實(shí)驗(yàn)設(shè)計(jì)等外在因素的影響，因此在自適應(yīng)學(xué)習(xí)情境下應(yīng)用可解釋性人工智能時(shí)，應(yīng)綜合考慮多方要素。

1 注重自適應(yīng)學(xué)習(xí)干預(yù)解釋的互動(dòng)性，重視學(xué)習(xí)者的自主性

在自適應(yīng)學(xué)習(xí)環(huán)境中，可解釋性人工智能有助于揭開算法驅(qū)動(dòng)教學(xué)干預(yù)的神秘面紗，從而促進(jìn)學(xué)習(xí)者對(duì)學(xué)習(xí)進(jìn)程的掌控。本研究發(fā)現(xiàn)，相較于僅供查看的決策解釋，協(xié)商式?jīng)Q策解釋更能增強(qiáng)學(xué)習(xí)者的元認(rèn)知表現(xiàn)，這強(qiáng)調(diào)了在個(gè)性化學(xué)習(xí)中，學(xué)習(xí)者主動(dòng)參與的重要性不可忽視。人類的思考過(guò)程不應(yīng)被機(jī)器替代，在應(yīng)用可解釋性人工智能時(shí)，需要考慮學(xué)習(xí)者生能否對(duì)干預(yù)解釋進(jìn)行互動(dòng)反饋，如提供對(duì)智能推薦解釋的“確認(rèn)”步驟、對(duì)智能干預(yù)解釋的“報(bào)錯(cuò)”步驟，來(lái)激發(fā)學(xué)習(xí)者的主觀能動(dòng)性，并根據(jù)學(xué)習(xí)者的具體反饋調(diào)整和改善干預(yù)策略，防止機(jī)器“馴化”人的不良現(xiàn)象發(fā)生[26]。

2 推動(dòng)可視化方式創(chuàng)新，完善自適應(yīng)學(xué)習(xí)干預(yù)解釋的可讀性

當(dāng)前，可解釋性人工智能的核心在于為自適應(yīng)教學(xué)干預(yù)提供易于理解的解釋方法[27]。為了使干預(yù)解釋真正為學(xué)習(xí)者所理解和認(rèn)識(shí)，需要推動(dòng)計(jì)算機(jī)科學(xué)、教育學(xué)、心理學(xué)等多學(xué)科的交叉融合，共同研究如何更好地設(shè)計(jì)和呈現(xiàn)解釋信息。例如，利用色彩和圖像來(lái)促進(jìn)學(xué)習(xí)理解已受到教育心理學(xué)研究和人機(jī)交互研究的重視[28][29]。本研究也驗(yàn)證了圖表形式的可視化解釋更有利于促進(jìn)學(xué)習(xí)者的學(xué)習(xí)成效，學(xué)習(xí)者在接受解釋時(shí)還會(huì)受到色塊差異的影響。因此，未來(lái)實(shí)踐中可以關(guān)注過(guò)往交叉學(xué)科研究中提出的可視化創(chuàng)新方式，如動(dòng)態(tài)圖表和交互式可視化工具等，以進(jìn)一步推動(dòng)和完善自適應(yīng)學(xué)習(xí)干預(yù)解釋的可讀性[30]。

3 確立適用邊界，避免自適應(yīng)學(xué)習(xí)干預(yù)解釋的無(wú)效使用與濫用

盡管可解釋性人工智能在自適應(yīng)學(xué)習(xí)情境下具有積極的作用，但本研究發(fā)現(xiàn)，自適應(yīng)干預(yù)的解釋對(duì)于中小學(xué)生而言并不能促進(jìn)學(xué)習(xí)效果。對(duì)于認(rèn)知發(fā)展并不成熟的低年級(jí)學(xué)生而言，自適應(yīng)干預(yù)的解釋理解并不是其學(xué)習(xí)的重點(diǎn)，相反還可能帶來(lái)更高的認(rèn)知負(fù)荷[31]。因此，未來(lái)實(shí)踐中必須警惕因不合適的學(xué)習(xí)對(duì)象而導(dǎo)致的不匹配應(yīng)用，對(duì)學(xué)習(xí)者的年齡、認(rèn)知水平、學(xué)習(xí)風(fēng)格等因素進(jìn)行充分考慮，以確保所提供的解釋信息能夠滿足他們的實(shí)際需求。同時(shí)，還需要建立相應(yīng)的監(jiān)管機(jī)制，嚴(yán)格控制自適應(yīng)干預(yù)解釋對(duì)學(xué)習(xí)者個(gè)人權(quán)限數(shù)據(jù)的訪問范圍，確保學(xué)習(xí)者的權(quán)益和數(shù)據(jù)隱私得到有效保障。

參考文獻(xiàn)

[1]賈積有，張譽(yù)月.人工智能與教育：機(jī)遇、挑戰(zhàn)與對(duì)策[J].北京大學(xué)教育評(píng)論，2023，（1）：49-61、188-189.

[2]樂惠驍，汪瓊.人機(jī)協(xié)作教學(xué)：沖突、動(dòng)機(jī)與改進(jìn)[J].開放教育研究，2022，（6）：20-26.

[3][14][27]Khosravi H， Shum S B， Chen G， et al. Explainable artificial intelligence in education[J]. Computers and Education： Artificial Intelligence， 2022，3：100074.

[4]王一巖，鄭永和.可解釋學(xué)習(xí)者建模：價(jià)值意蘊(yùn)與應(yīng)用圖景[J].現(xiàn)代遠(yuǎn)程教育研究，2023，（5）：96-103.

[5]王萍，田小勇，孫僑羽.可解釋教育人工智能研究：系統(tǒng)框架、應(yīng)用價(jià)值與案例分析[J].遠(yuǎn)程教育雜志，2021，（6）：20-29.

[6]Darvishi A， Khosravi H， Sadiq S， et al. Incorporating ai and learning analytics to build trustworthy peer assessment systems[J]. British Journal of Educational Technology， 2022，（4）：844-875.

[7]Miller T. Explanation in artificial intelligence： Insights from the social sciences[J]. Artificial intelligence， 2019，267：1-38.

[8]Ferguson R. Ethical challenges for learning analytics[OL].

lt;https：//learning-analytics.info/index.php/JLA/article/view/6587gt;

[9]孫立會(huì).人工智能之于教育決策的主體性信任危機(jī)及其規(guī)避[J].電化教育研究，2023，（3）：21-27、43.

[10]Robbins S. A misdirected principle with a catch： Explicability for AI[J]. Minds and Machines， 2019，（4）：495-514.

[11]Hostetter J W， Conati C， Yang X， et al. XAI to increase the effectiveness of an intelligent pedagogical agent[C]. Proceedings of the 23rd ACM International Conference on Intelligent Virtual Agents. New York： Association for Computing Machinery， 2023：1-9.

[12]Conati C， Barral O， Putnam V， et al. Toward personalized xai： A case study in intelligent tutoring systems[J]. Artificial intelligence， 2021，298：103503.

[13]孫立會(huì)，王曉倩.基于馬扎諾教育目標(biāo)新分類學(xué)的計(jì)算思維評(píng)價(jià)框架構(gòu)建[J].電化教育研究，2021，（6）：20-26、33.

[15]Bull S. There are open learner models about！[J]. IEEE Transactions on Learning Technologies， 2020，（2）：425-448.

[16]Egger M， Smith G D， Phillips A N. Meta-analysis： Principles and procedures[J]. BMJ， 1997，7121：1533-1537.

[17]Cohen J. A coefficient of agreement for nominal scales[J]. Educational and Psychological Measurement， 1960，（1）：37-46.

[18]Rosenthal R. The file drawer problem and tolerance for 1 results[J]. Psychological Bulletin， 1979，（3）：638.

[19]Borenstein M， Hedges L V， Higgins J P， et al. Introduction to meta-analysis[M]. USA： John Wiley amp; Sons， 2021：3-7.

[20]翟雪松，孫玉璉，沈陽(yáng)，等.“虛擬現(xiàn)實(shí)+觸覺反饋”對(duì)學(xué)習(xí)效率的促進(jìn)機(jī)制研究——基于2010-2021年的元分析[J].遠(yuǎn)程教育雜志，2021，（5）：24-33.

[21]Higgins J P T. Measuring inconsistency in meta-analyses[J]. BMJ， 2003，（7414）：557-560.

[22]Aleven V， Roll I， McLaren B M， et al. Help helps， but only so much： Research on help seeking with intelligent tutoring systems[J]. International Journal of Artificial Intelligence in Education， 2016，（1）：205-223.

[23]樂惠驍，賈積有.智能的邊界——智能教學(xué)系統(tǒng)中的用戶自主度研究[J].中國(guó)遠(yuǎn)程教育，2021，（9）：49-58.

[24]Hooshyar D， Pedaste M， Saks K， et al. Open learner models in supporting self-regulated learning in higher education： A systematic literature review[J]. Computers amp; Education， 2020，154：103878.

[25]Casal-Otero L， Catala A， Fernández-Morante C， et al. AI literacy in k-12： A systematic literature review[J]. International Journal of STEM Education， 2023，（1）：29-47.

[26]王一巖，劉淇，鄭永和.人機(jī)協(xié)同學(xué)習(xí)：實(shí)踐邏輯與典型模式[J].開放教育研究，2024，（1）：65-72.

[28]Elliot A J， Maier M A. Color psychology： Effects of perceiving color on psychological functioning in humans[J]. Annual Review of Psychology， 2014，（1）：95-120.

[29]Mithun A M， Bakar Z A， Yafooz W M. The impact of web contents color contrast on human psychology in the lens of hci[J]. International Journal of Information Technology and Computer Science， 2019，（10）：27-33.

[30]Guo Y， Zhu J， You J， et al. A dynamic visualization based on conceptual graphs to capture the knowledge for disaster education on floods[J]. Natural Hazards， 2023，（1）：203-220.

[31]Paas F， Renkl A， Sweller J. Cognitive load theory and instructional design： Recent developments[J]. Educational Psychologist， 2003，（1）：1-4.

Does the Explainable Artificial Intelligence Help Enhance the Learning Outcomes of Adaptive Learning？

——Meta-Analysis based on 29 Experiments and Quasi-Experiments

CHEN Ang-Xuan " "JIA Ji-You[Corresponding Author]

（Department of Educational Technology， Graduate School of Education， Peking University， Beijing， China 100871）

Abstract： Currently， data-driven adaptive learning technology has shown tremendous potential in the field of education. However， its opaque “black box” nature has raised widespread concerns among educational researchers and practitioners. Explainable artificial intelligence （XAI） is believed to have the potential to help learners understand intervention decisions in adaptive learning contexts， thereby enhancing learning outcomes， but there is controversy over its practical effects in educational applications. Therefore， the paper employed meta-analysis to analyze 66 effect sizes from 29 empirical studies. It was found that interpretable AI improved the learning effect of adaptive learning to a moderate degree， with a greater impact on learners’ cognitive and metacognitive dimensions. The facilitation effect of XAI varied due to differences in explanation design， presentation design， and experimental design. Based on research results， the paper proposed that future adaptive learning interventions should remain learner-centered， emphasize the interactivity， readability， and boundaries of learning intervention explanations， so as to further promote the in-depth implementation of XAI in education.

Keywords： adaptive learning; explainable artificial intelligence; meta-analysis

*基金項(xiàng)目：本文為國(guó)家社會(huì)科學(xué)基金教育學(xué)國(guó)家一般課題“基于大數(shù)據(jù)挖掘的學(xué)生智能評(píng)測(cè)和輔導(dǎo)研究”（項(xiàng)目編號(hào)：BCA220208）、東湖高新區(qū)國(guó)家智能社會(huì)治理實(shí)驗(yàn)綜合基地項(xiàng)目“人工智能賦能地方教育高質(zhì)量發(fā)展”的階段性研究成果。

作者簡(jiǎn)介：陳昂軒，在讀博士，研究方向?yàn)槿斯ぶ悄芙逃龖?yīng)用，郵箱為angxuan.chen@stu.pku.edu.cn。

收稿日期：2024年3月4日

編輯：小時(shí)