王靖 巴安妮 吳寶鎖



摘要:反饋是有效教學中不可或缺的要素,智能技術在教育領域的興起為形成性、個性化的教學反饋帶來新的可能。對相關研究進行系統性梳理能夠為智能反饋系統的設計、開發與應用提供指導。從目標、作用機制和系統架構三個維度對智能教學反饋的研究現狀進行分析后發現:基于智能技術的教學反饋旨在為學習者的認知、情感與態度、元認知帶來積極影響,促使學習者改進當前狀態和學習成效。在反饋作用機制層面,基于正確/錯誤響應的自動反饋通常采用基于規則的匹配模式,通過對比答案正誤來觸發反饋;個性化教學反饋的關鍵在于構建學習者模型,使教學反饋適應不同學生的特征,并結合本體論或采用多輪人機對話的方式實現教學反饋的個性化;人機協同反饋通過實現教師、學生與計算機之間的互動與互補,來提升教學反饋的有效性。在系統架構層面,反饋系統由輸入層、分析層、推理生成層三個層次組成,通過一系列算法模型和反饋機制生成反饋決策,其與學習者模型、專家模型、領域模型的相互作用決定著教學反饋的精確性與適應程度。
關鍵詞:智能技術;教學反饋;反饋目標;反饋機制;人機協同
中圖分類號:G434? ?文獻標識碼:A? ? 文章編號:1009-5195(2023)03-0102-11? doi10.3969/j.issn.1009-5195.2023.03.012
基金項目:國家社會科學基金教育學青年課題“跨學科教育中的協同概念轉變研究”(CCA190260);江蘇省教育科學“十四五”規劃2021年度課題“學習評價改革對大學生學習收獲影響機制研究”(D/2021/01/46)。
作者簡介:王靖,博士,副教授,碩士生導師,江南大學江蘇高校“互聯網+教育”研究基地(江蘇無錫 214122);巴安妮,碩士研究生,江南大學江蘇高校“互聯網+教育”研究基地(江蘇無錫 214122);吳寶鎖,助理研究員,江南大學教務處(江蘇無錫 214122)。
一、引言
當前,大數據、云計算等數字技術的創新和迭代速度明顯加快,數字化轉型已成為世界各國發展的必然趨勢(吳巖,2023)。教育數字化轉型的核心陣地在于課堂,如何在課堂中使用當今蓬勃發展的智能技術,為不同特征的學習者提供差異化的學習支持,成為課堂數字化轉型的重要研究議題。教學反饋作為課堂學習支持的重要形式,被視為“對學習和成就最有力的影響之一”(Hattie et al.,2007)。智能技術在教育中的應用越來越普遍,尤其是生成式人工智能的飛速發展,更是引起人們對智能技術如何與課堂深度融合、如何更好地賦能教學反饋的思考。
當前,智能技術賦能教學反饋的文獻綜述中,研究者主要是在智能教學系統視角下審視反饋功能的設計。例如Crow等(2018)通過綜述報告如何在編程智能教學系統中集成反饋功能,尤其針對自適應反饋功能模塊進行了詳細論證;Mousavinasab等(2021)梳理了智能教學系統的經典架構,并統計了智能技術的應用領域(含反饋)和常見的技術方法。然而在智能技術的支持下,教學反饋到底能夠解決什么問題?具體是如何產生教學效果的?在技術上如何實現?這些問題尚未得到很好的回答。基于此,研究擬在明晰反饋內涵的基礎上,通過系統梳理與審視智能反饋相關研究,嘗試回答以下三個研究問題:(1)智能教學反饋的作用維度和具體目標是什么?(2)智能教學反饋的作用機制和效果如何?(3)智能反饋系統的體系架構是什么?其實現的算法有哪些?
二、反饋的內涵
當前關于反饋的內涵主要有兩種觀點。一種認為:反饋是一種有助于學生提高績效的信息。Ramaprasad(1983)將反饋形容為“實際水平和參考水平之間差距的信息,用于以某種方式改變差距”。與之相似的,Hattie等(2007)將反饋概念化為一個代理人(例如,老師、同伴、書本、父母、自我、經驗等)提供的關于促進一個人表現或理解方面的信息。這與課堂實際情況相符,學生接收到教師等人的反饋信息,可能產生行動上的改變。然而,并不是所有的反饋信息都能達到預期效果,必須考慮它的作用機制以及后續影響等問題。這使部分研究者將反饋概念化為一個過程,即反饋的第二種內涵。Price等(2010)指出,只有當學習者理解反饋,愿意且能夠根據反饋采取行動時,反饋信息才會有效。換句話說,教育工作者需要思考如何設計反饋信息,以及如何使反饋信息逐步被學生理解、運用。正如Beaumont等(2011)的觀點,反饋的價值在于將它重新定義為形成性指導過程,而不是單一的事件。Boud等(2013)同樣強調,反饋需要對學習產生積極且持續的影響。
隨著技術和學習理念的發展,反饋的第二種內涵越發受到研究者青睞,即反饋不僅是信息,還應包含它完整的作用過程。有效的反饋應從學習者被動接受反饋信息轉變為關注他們的需求,促使學習者主動感知、理解與采納反饋信息。智能技術工具不應僅作為反饋信息的載體和輸出端,它們還應承擔起“思考”反饋過程與有效性的責任。反饋系統應以學習目標和需求為出發點,模擬人類教師的持續理解與干預過程,設置特定的反饋事件,為學生帶來積極、可持續發展的影響。
綜上,本研究關注的教學反饋是指在教育教學中由智能系統、AI技術或者其他數字化學習軟件提供的智能反饋和支持,即“計算機→學生”反饋路徑,這也是后續文獻搜索和綜述的依據。
三、研究過程與方法
本研究采用系統性文獻綜述法。系統性文獻綜述是利用不同的數據庫和多種檢索與分析技術,全面而準確地掌握某一專題研究進展,并得出和檢驗研究結論的標準化文獻研究方法(黃甫全等,2017)。本文采用的文獻檢索、文獻評估、數據抽取與整合過程與方法如下。
1.文獻檢索
本研究選定的數據庫為CNKI、Web of Science、EBSCO,搜索時間限定為2012—2021年。中文檢索關鍵詞包括“智能反饋”、“反饋”+“智能”,文獻來源限定為北大核心期刊、CSSCI期刊,學科選擇“教育理論與教育管理”,在CNKI中獲得文獻94篇。英文檢索語句為:TS=intelligent feedback AND AB=students,加入“學生”作為限定詞是因為前期搜索時發現大量工程學文獻;研究領域選擇“教育教學研究”,搜索得到319篇文獻。中英文文獻共計413篇。此外研究還選取了International Conference on Artificial Intelligence in Education(AIED)、International Conference on Educational Data Mining(EDM)等智能教育、教育大數據領域有較大影響力的國際會議論文集,根據題目與摘要初步篩選出19篇會議文獻。
2.文獻評估
為解決研究問題,本研究制定了文獻納入與排除標準,確保最終納入文獻的內容與研究高度相關,如表1所示。結合文獻納入與排除標準,通過排除重復文獻、閱讀文獻標題與摘要、閱讀全文三個步驟,對413篇期刊文獻進行篩選,最終獲得40篇文獻。對于會議論文,采取逐一閱讀全文的方式,并通過滾雪球納入相關文獻,最終得到10篇文獻。二者共計獲得文獻50篇。整個篩選過程與結果如圖1所示。
3. 抽取與整合數據
對于納入的50篇文獻,研究編制了文獻信息抽取單,從以下四個方面完成關鍵信息的提取:(1)文獻基本信息;(2)反饋的目標與反饋的結果;(3)反饋設計的內容、流程;(4)反饋系統的架構、算法。
四、智能反饋的目標
研究從認知、情感與態度、元認知三個維度梳理了納入文獻中智能反饋的目標(如表2所示)。其中,23項研究重點關注對學生認知層面的錯誤糾正與學習過程指導,這可能與當下對智能反饋的需求有關。研究者期望使用精確、及時的糾正性反饋來減輕教師的負擔,增強教學便利性。在情感與態度方面,研究主要探討基于智能技術的反饋是如何激發學生學習動機、增強教學互動以及改善學生的情感體驗的。在學生的元認知方面,相關研究主要涉及反饋是如何促進學生自我調節以及是如何反映學習異常的。
1.認知維度的反饋目標
認知維度的反饋目標是指借助智能技術,通過表征學生關于某一問題或知識點的理解及掌握程度,及時提供輔助性信息,幫助學生達到提升認知和能力水平的目的。認知維度的反饋存在提示解釋錯誤、指導學習過程兩種目標。
提示解釋錯誤。智能技術賦能的教學反饋在二外寫作、反思性寫作、編程等領域或解決封閉式問題過程中,能為學生提供有關答案正誤的信息,輔以解釋或提示,幫助學生及時修正錯誤,減少不確定性。例如,Hung等(2015)通過基于對話的認知輔導系統為學生提供強化反饋、糾正性反饋和進一步建議;Ai(2017)在智能計算機輔助語言學習環境中根據學習者表現為其提供隱式、一般或顯式的、具體的糾正反饋。在寫作領域的反饋中,Kang等(2015)通過元分析發現,糾錯反饋確實能夠對外語寫作的準確性產生積極效果,但其有效性受學習者的熟練程度、任務背景和類型等許多變量的影響,因而在設計與實施反饋時應綜合考慮多重因素,最大化地發揮反饋作用。
指導學習過程。針對任務過程的反饋能夠支持學習者更深入地理解他們的當前水平以及未來應如何逐步達成目標(Balzer et al.,1989),它是對學生任務選擇、學習策略選擇、下一步行動等方面的干預指導,通常與認知錯誤提示結合使用。如Bush(2021)設計的自適應有理數導師中,每個任務完成后學生會收到此次任務的正誤反饋,如果連續多次任務作答錯誤,系統會調整教學順序或提供面向過程的反饋,這種反饋以可交互的視頻形式呈現;Tacoma等(2020)嘗試將內外部反饋結合,幫助學生調整當前關于領域的知識狀態以及選擇合適的后續任務或學習活動。
2.情感與態度維度的反饋目標
基于學生情感與態度在學習中的重要性,許多智能教學反饋系統將學生的情緒,如沮喪、無聊、困惑、好奇和焦慮等,納入學習者模型。本研究認為,情感與態度維度的反饋主要存在激發學習動機、增強教學互動和改善情感體驗三種目的。
激發學習動機。為學生提供的學習支持服務需要情感層面的互動,通過鼓勵學生來提高其學習動機。例如,Xie等(2021)研究激勵式在線對話代理,通過表達共同的情緒、緩解心理抗拒和呈現認知沖突來促使低參與度的學習者產生改變行為的動機;Rajendran等(2019)使用智能輔導系統對學生出現的錯誤和挫折進行外部歸因,并通過提供與認知相關的鼓勵、表揚等方式,增強學生的自我效能感,促進其參與學習活動。
增強教學互動。反饋的隱喻之一是作為學習者的工具(Jensen et al.,2021),其核心是學生使用反饋來學習(Chen et al.,2018)。反饋作為師生溝通的媒介,通常需要借助軟件和硬件設備,通過增強交互的方式來提升學習者的課堂投入與參與感。例如,王偉東等(2015)研究中的互動反饋系統能夠將學生終端的作答實時呈現于教室內的大屏幕上,便于師生及時了解學生及同伴答題情況并促進學生積極參與課堂互動;田嵩(2018)使用基于微信的移動課堂實時屏幕反饋系統,促進師生實時觀點交互,提升學生對課堂的關注度與滿意度,同時延伸了課堂話語空間。
改善情感體驗。通過智能技術模擬人類教師的情感并回應學習者的情緒狀態,是改善學習者情感體驗的良好方式。Jiménez等(2018)為學生提供的反饋系統,能實現問候、積極地感嘆以及道歉等情感支持,有效地延長了學生的學習時間,提升了學生愉悅程度。Bringula等(2018)嘗試采用包含高興、悲傷、驚訝和中性面部表情反饋的個人教學代理,一定程度上提升了學習者的數學績效。
總的來說,情感與態度維度的反饋研究表現出兩種趨勢:一是通過增強智能技術對學習者情感態度的感知,設計相應的情感反饋機制;二是通過增強智能技術反饋的情感表達,例如包含情緒的表情、問候、關懷等,促進虛擬教師與學生的情感交互,提升系統交互友好性與學習體驗。
3.元認知維度的反饋目標
學習者的元認知是其對自己學習過程的監控。納入文獻中元認知維度的反饋主要存在促進學生自我調節和反映學習異常兩個子目標。
促進自我調節。促進自我調節的反饋具備“可持續發展”的特性,它幫助學習者自我發現錯誤、反思原因、改進學習策略和方法等。Duffy等(2015)為具有不同成就動機的學生提供腳手架和自我調節策略,并反饋其使用的準確性和質量;Wolff等(2014)使用機器學習和可視化呈現來幫助學習者檢查觀點是否具有內在一致性,糾正思維中的不一致。在這個過程中,反饋系統不會給學習者提供任何明確的指示,而是引導他們反思自我表現并解決問題。
反映學習異常。學生在自主學習中常見的異常狀態包括離線、沉默和濫用提示等;在協作學習中突出的異常表現為學生不積極參與,甚至不參與(張立山等,2021)。這些均可從系統監測角度對學生行為表現進行追蹤并干預,例如識別學生當下行為屬于任務型或非任務型,在兩者間轉化時及時提供鼓勵或警告反饋(Sun et al.,2019)。Chiu等(2021)利用傳感器技術和圖像識別技術收集數據,采用貝葉斯分類網絡對學生的學習狀態進行推斷,將即時的學習狀態分析結果反饋給學生。
五、智能反饋作用機制與效果
1.智能反饋的作用機制
對于反饋如何發揮作用這一問題,研究者們持有不同觀點,這與他們秉持的學習理念及對反饋概念的理解息息相關。何克抗(2017)在前人觀點的基礎上總結出兩種影響較大的模型:一是機械模型,二是建構主義模型。前者將學生作為反饋信息的被動使用者,后者強調學生主動使用反饋并積極建構自我的過程。從作用機制來分析納入文獻,可將其劃分為基于正確/錯誤響應的自動反饋和智能系統中的個性化反饋。前者屬于機械模型,以答案正誤為反饋觸發機制;后者以學習者需求為出發點,基于學習者模型,為學生提供個性化反饋。此外,隨著智能技術與課堂的深度融合,人機協同是進一步提升反饋個性化和全面性的發展趨勢。
(1)基于正確/錯誤響應的自動反饋
能夠檢測、糾正學生在測驗、考試、寫作中的認知錯誤的自動反饋,可以減輕教師負擔,提升教學效率,因而常被運用于編程、寫作以及數學、英語等學科教學之中。根據反饋信息的不同,有研究者將其總結歸納為驗證反饋和應變反饋兩類(Demaidi et al.,2018)。
驗證反饋也被稱為結果知識反饋。它只驗證學生答案的正誤,因此教師通常需要向專家知識庫中輸入題目ID和正確答案信息。學習者測試后,系統將學習者答案與標準答案進行匹配,根據結果提示正確或錯誤。通常采用文本、符號、語句、閃爍提示、顏色標注等方式呈現反饋信息。例如Mitrovic等(2013)使用教學系統SQL—Tutor,結合700個領域特定約束的知識庫,為學習者提供“干得好”“那是正確的”類似短語形式的正反饋。然而它的作用領域與效果有限,不適用于語句、段落等含義復雜的分析和反饋。應變反饋在驗證答案的基礎上增添了更多輔助性信息,例如錯誤后顯示正確答案、解釋答案正確與錯誤的原因等。Demir(2020)在英語教學中使用智能輔導系統,采用基于約束的學生模型發現學生錯誤并解釋原因。
由此可見,以上兩類反饋采用基于規則的匹配模式,實施路徑多為:由專家教師預測與總結學生可能產生的所有學習表現和錯誤類型,隨后在系統中預存儲和定義標準庫、學生的錯誤以及相應的應答語句等,因而當系統通過匹配發現異常時,能夠自動、迅速且精準地提取并推送反饋信息。然而面對多路徑問題,人為列舉出所有問題解決方案和學生錯誤類型十分困難。此外早有研究指出,學習者是影響反饋效果的重要因素之一(Esterhazy et al.,2019)。因此,在數據驅動的反饋中結合學習者特征可以使反饋產生更大的效益。
(2)智能系統中的個性化反饋
由于學習者在學習風格、動機、先驗知識等方面存在差異,所以提供統一的反饋顯然無法滿足個性化學習需求。個性化反饋可以根據學生和任務問題的特點來調整反饋類型及反饋內容(Narciss et al.,2014)。例如,Lallé等(2020)設計的FUMA系統,可以在線檢測學生行為并提取這些行為的關鍵特征,由此建立學習者模型。當學習者的后續學習行為“偏離”模型常規參數時,系統會為他們提供有針對性的、可行的建議——即個性化反饋。
在個性化反饋中,基于本體論的個性化反饋具有良好的應用前景。在這里本體論主要指的是領域本體,用于描述某一門課程中的核心概念及其相互關系。在基于本體論的個性化反饋系統中,系統能夠基于領域本體構建起屬于某個領域的知識圖譜,并生成和這個圖譜中知識點相關的問題,以及與這些問題對應的、不同類型的反饋。還有研究者將基于多個領域本體的個性化反饋用于跨學科教育領域。例如Demaidi等(2018)基于本體論開發了個性化反饋生成器OntoPeFeGe,集成了多種生成策略和模板來遍歷領域本體并自動生成基于跨學科領域知識的問題和反饋。然而,基于本體論的個性化反饋的本質是從領域知識出發,這種反饋所依賴的知識圖譜如何與學習者模型整合,構建更為全面、開放的反饋模型,是其面臨的關鍵挑戰(Belcadhi,2016)。
此外,對話反饋也能實現個性化。其通過智能系統扮演專家、激勵者、導師或同伴等角色,理解學生對話內容、情緒動機變化并不斷調整反饋,持續解答學生問題,輔以情感回應。對話反饋一般由信息輸入、自然語言理解、對話管理、對話反饋生成等模塊構成,完成從數據處理、語義與情感分析、推理、到生成對話的整個過程(Xie et al.,2021),通過一對一的答疑解惑與引導支持,提供持續的、多輪次的對話以滿足學習者個性化需求。
(3)人機協同的反饋
人機協同模式下,基于智能技術的反饋包括給教師的提示和給學生的反饋(張立山等,2021)。給教師的提示是將學生狀態評估結果做進一步表征,如采用可視化圖表、圖形符號、文字等方式呈現學生學習狀態。例如,Martinez-Maldonado(2019)為教師提供手持儀表盤,實時顯示學生學習參與情況和進度,方便教師為學生提供形成性反饋。如前文所述,面向學生的反饋在目標上可以是對學生認知、情感與態度、元認知等方面的調節改進;在內容上表現為對學生錯誤的糾正與解釋、對正確答案的肯定、鼓勵與歸因、反思性問題與提示、對異常狀態的警示等。現階段人機協同中的反饋機制多為單向的,即人機交互以“機器→學生”的單向反饋為主(董艷等,2021)。為了增強反饋的動態性,學生與計算機之間有必要建立雙向的信息傳遞途徑。例如,學生是否以及如何使用反饋信息、學生的滿意度等可以被系統采集作為后續智能系統自適應調整的依據。
總之,人機協同反饋模式下的人人、人機交互(教師—計算機—學生)還有待深入研究。但無論目標、內容上如何變化,學生在接受、理解、應用反饋上需要擁有一定的自主權,因為學習者是反饋的主體,反饋只有被學習者接受并用于改進當前學習狀態時才是有效的。
2.智能反饋的作用效果
納入文獻中,大多數經過設計的反饋實驗都取得了顯著成效,在一定程度上達成了反饋目標。基于正確/錯誤響應的自動反饋在及時糾正認知錯誤上有良好的應用前景和效果。在缺乏教師指導的情況下,學生可以通過智能導師系統得到足夠的反饋來即時糾錯,逐步完成復雜的問題解決過程。恰當的個性化反饋有助于改進學生在認知、情感與態度、元認知等各方面的表現,如Rajendran等(2019)通過激勵和歸因,顯著減少了大學生的受挫感;Jiménez等(2018)的書面情感反饋,增強了學生的愉悅程度和學習動機,最終使得學習績效有效提升。對于人機協同的反饋模式,許多研究在理論層面闡述了其具有的潛在優勢,但相關的教學模式和應用效果均有待進一步探究。在最新的研究中,李艷等(2022)通過準實驗發現,人機協同相較于僅通過教師評價反饋更能顯著提升學生寫作激情,初步展現了人機協同模式的作用。
綜上,良好的智能反饋設計能夠為學生的認知、內部心理過程、外部學習行為等帶來積極的影響。但并不是所有的反饋都能帶來令人滿意的效果,例如,包含情感內容的反饋可能成為學生注意力分散的因素(Cabestrero et al.,2018)。Tausczik等(2013)的實驗結果表明,使用實時語言反饋系統,能夠有效提升群體參與,但其會導致團隊績效的降低。因此,智能反饋研究必須厘清反饋的作用機制,探究如何在真實的課堂實踐中正確使用反饋。
六、智能反饋系統的架構、流程和算法
研究參考Grawemeyer等(2017)、董艷等(2021)、張立山等(2021)的相關研究和流程設計,并綜合考慮學生數據的多樣性、智能系統的適應性等因素,將反饋系統按照功能分為輸入層、分析層、推理生成層,它們與數據庫中的學習者模型、專家模型、領域模型相互作用,如圖2所示。
1.系統架構及工作流程
在反饋系統的輸入層,學習者基于客戶端與智能系統發生交互,根據不同的評估和反饋需求,利用攝影機、傳感器等設備采集特定的學習者數據,并存儲于數據庫中。例如,關注學習者情感狀態的反饋系統可以通過量表讓學習者進行主觀的情感自我評估(Cabestrero et al.,2018),也可以借助傳感器設備,檢測情感狀態,包括自信、興奮、無聊、專注、沮喪和焦慮等,獲取客觀的學生情感數據。
分析層內包含檢測器,用于識別學生的認知、情感狀態、行為表現等。首先,來自輸入層的數據需要經歷預處理、關鍵特征提取過程。例如,Lehman等(2020)提取填充詞、停頓、重復詞等6個關鍵的語音特征來判斷學習者語言學習情況。在該環節中自然語言處理(Natural Language Processing, NLP)是技術重點,研究人員需要收集人類如何理解和使用語言的知識,從而在計算機和人類語言之間搭建橋梁,具體包括潛在語義分析(Sung et al.,2016)、中文分詞(張登博等,2021)、句法分析(Ai,2017)等方法與技術。總之,提升計算機對自然語言的理解能力是后續進行精確分析與反饋的基礎和前提。其次,學習者的關鍵特征經過訓練完畢的算法模型的檢測、分類、擬合回歸等過程,被用于判斷和預測學習者認知水平、情感情緒、行為異常及其他狀態。例如,Arguedas等(2021)在情感教學導師中設置“認知—情感”分析模型,推斷出學生認知、情緒狀態的維度與范疇。分析層完成對學習者的評估后,這些數據將進入推理生成層,同時可以被納入學習者模型以便生成個性化、適應性的反饋。
推理生成層包含一系列算法和反饋機制,其決定著反饋類型、呈現方式等。簡單反饋機制的典型案例為對正誤答案的反饋。當系統判定學生給出正確的答案時,將給予表揚;當答案不正確時,將提供鼓勵和提示文本(Bringula et al.,2018)。以個性化、適應性反饋為需求的系統需要預設更復雜的反饋機制,并連接專家模型、學習者模型和領域模型。例如,Cabestrero等(2018)提出的學習者模型綜合考慮學習者情感狀態和之前的表現,從而決定接下來的問題難度等級和情感反饋類型。總而言之,推理生成層中根據分析層數據和預設的反饋機制選擇恰當的反饋內容、類型,決定反饋方式、時間等要素,最終生成并輸出反饋。
2.學習者模型、領域模型和專家模型
學習者模型是智能反饋系統的核心之一,它由一系列計算機算法和學生數據構成。學生數據的類型取決于任務與問題類型和系統的具體架構。早期的自動反饋系統中,學習者模型主要以知識結構為特征,記錄學習者當下認知水平。而在更具自適應的反饋系統中,學生數據包括他們的基本信息、學習風格、認知水平、行為交互、情感狀態、反饋信息(已經提供的反饋、學生是否查看反饋)、學習進度等(董艷等,2021)。近年來,數據挖掘和學習分析技術為學習者模型構建提供了新思路,研究者還可以通過建立學習者數字畫像,精準理解其內部心理機制和外部行為變化規律,構建更加開放、個性化的學習者模型(張濤等,2020)。正如前文提及的多項研究,學習者模型中的數據可以存儲事實信息,觸發反饋機制;也可以生成反饋約束規則,例如以高績效學生的行為模式為參照,促進低績效學生學習行為的改進(Wolff et al.,2014);還可以將學生學習狀態、進度等可視化顯示并反饋給學生,例如,Tacoma等(2020)使用包含9~14個知識組件的學習者模型,將任務完成情況用進度條的方式呈現給學習者,使之明確其與目標之間的差距。
專家模型和領域模型在很多研究中沒有明確的界限。為了進一步厘清反饋系統中的數據組成,本研究將教師及教育理論的特定信息集成稱為專家模型,包含教師經驗、教學理論與方法、問題解決方案、預設規則等內容;領域模型則是領域知識的結構化表示,包含解決相關任務所需的所有知識點,例如,數學、英語等學科的領域模型可以是其課程標準涵蓋的所有章節的知識點內容及其結構關系。專家模型和領域模型的結合可以用于構建反饋機制中的約束規則,也可以以兩者中的數據為驅動,匹配最相近的問題情境和已有解決方案來輸出反饋。
3.相關算法模型
反饋系統需要根據目標需求預訓練一系列的算法模型,將海量關鍵特征進行提取、歸納、整合,識別學習者的表現并生成決策。本研究將智能反饋中的算法劃分為兩大類:基于靜態測評的認知診斷算法與基于動態測評的知識追蹤算法,如表3所示。
基于靜態測評的認知診斷算法能夠客觀、快速、精確地評價學習者當前狀態。項目反應理論(Item Response Theory,IRT)模型是其中的經典模型,它通過特征曲線表示考生對一個測試項目作出反應的概率,在教育和心理測量領域常被用于考試測評。例如,Uto等(2020)將IRT融入基于深度神經網絡的自動論文評分模型中,改善“評分者偏見”問題,增強評分的穩定性。確定性輸入,噪聲“與”門(Deterministic Inputs,Noisy “and” Gate,DINA)模型是一種多維離散認知診斷模型,與IRT相比,它能提供更精確、具體的評估信息。例如,Zhao等(2020)使用它的通用模型G-DINA設計英語閱讀自動測試程序,并為師生提供科學、有針對性的反饋。然而,靜態的認知診斷僅能反映學生當前狀態。實際上,學生的認知水平隨著學習過程而動態變化。
基于動態測評的知識追蹤算法模型具有自動化和個性化的特點。貝葉斯知識追蹤(Bayesian Knowledge Tracing,BKT)模型是傳統的知識追蹤模型。它將學習者的表現看作可觀測變量,將學習者的知識狀態看作潛在變量,并且根據當前的狀態來預測學生的答題正誤概率。然而,BKT并不是一個完全理想的算法模型,它難以滿足大數據情境下的教育需求,研究者們對它進行了改進和拓展(Pu et al.,2020),包括動態貝葉斯網絡(Dynamic Bayesian Network,DBN)、深度知識追蹤(Deep Knowledge Tracing,DKT)等。DBN基于貝葉斯網絡對知識組件內的先決條件、層次結構和關系進行建模,能夠在一個模型中聯合表示多種知識組件(概念、知識點等)來增加知識追蹤表示能力。DKT在傳統模型的基礎上引入深度學習,它結合循環神經網絡,將上一時刻的表現輸出,用于預測下一刻學習者的表現情況,其在性能上取得了顯著的改進(曾凡智等,2022)。
除上述算法模型外,支持向量機(Support Vector Machine,SVM)、決策樹(Decision Tree,DT)、隨機森林(Random Forest,RF)、貝葉斯網絡(Bayesian Network,BN)、高斯樸素貝葉斯(Gaussian Naive Bayes,GaussianNB)、Logistic回歸(Logistic Regression,LR)和多層感知器(Multi-Layer Perceptron,MLP)等機器學習算法也能夠用于學生認知、情感動機狀態的測評。例如,Hayati等(2020)使用SVM將學習者認知參與情況分為四個層次;Lee等(2021)在自動反饋系統中使用DT模擬交互變量,預測學生科學論證的不確定性歸因得分等。
總之,無論采用哪種算法,其基本思路都是幫助智能系統識別學生狀態,跟蹤、評估學生的問題解決路徑和方案,甚至預測學生未來行為表現及績效,以作為后續生成反饋的依據。
七、總結與展望
本文系統梳理了近十年研究者們在智能技術發展背景下,為優化教學反饋做出的一系列探索工作,并針對三個研究問題,明晰了智能技術支持下反饋的目標、反饋的作用機制以及反饋系統架構等內容,主要得出以下結論:
第一,智能反饋的目標包含認知、情感與態度、元認知3個維度下7個子目標。反饋的主要作用是促使學生改進當前狀態和績效,因而智能技術支持的反饋同樣以認知維度為主,將提示解釋錯誤和指導學習過程作為主要目標;此外情感的反饋形式逐漸受到研究者青睞,期望能夠激發學生學習動機、增強教學互動和改善學生的情感體驗;元認知維度的反饋更加關注學生可持續發展能力的提升,希望通過反映學習異常和促進自我調節幫助學生反思改進。
第二,基于正確/錯誤響應的自動反饋機制通常以答案正誤為反饋依據,不考慮學習者的特征和差異;智能系統中個性化反饋模式的核心在于構建學習者模型,可以結合本體論或者開展多輪人機對話實現;人機協同反饋模式是實現教師反饋與計算機反饋互補互助,提升反饋全面性的有效途徑,但兩者如何協同作用、分擔反饋職責等問題仍需要在課堂實踐中進一步探索。對于反饋效果的分析表明,即使是經過良好設計的反饋,也必須在真實課堂情境中開展實踐,厘清作用機制和干擾因素,才能發揮反饋的作用。
第三,反饋系統架構分為輸入層、分析層、推理生成層,它們與學習者模型、專家模型、領域模型相互作用,實現個性化反饋。首先,輸入層與分析層的數據反映學習者當前認知水平、任務進展以及其他信息,不斷促進學習者模型的生成與更新;學習者模型、專家模型與領域模型中的數據影響反饋決策生成,包括內容、形式、頻率等,使得系統在學習者產生不同問題時能夠提供個性化的反饋。學習分析過程可以采用貝葉斯知識追蹤、動態貝葉斯網絡、決策樹等成熟的算法模型,為反饋決策提供依據。
盡管智能技術在優化教學反饋上具有巨大的潛力,但它們無法完全替代教師在教學反饋中的價值,在實際教學中兩者如何最大程度地發揮各自優勢,這個問題最終指向“人機協同”話題,且伴隨著ChatGPT等生成式人工智能應用的介入,智能反饋的內涵將會進一步擴展,由此引發的一系列問題都值得進一步探索。基于此,未來研究中,一是可以進一步建立動態的、個性化的智能教學反饋機制,明確反饋作用路徑;二是應優化智能反饋的算法模型,提升反饋的精確性。同時在課堂中可以使用已開發的智能反饋系統工具逐步開展實踐,探索人機融合、協同反饋的新模式,促進計算機與教師、學生協同交互,共同提升反饋效果。
參考文獻:
[1]董艷,李心怡,鄭婭峰等(2021).智能教育應用的人機雙向反饋:機理、模型與實施原則[J].開放教育研究,27(2):26-33.
[2]何克抗(2017).對反饋內涵的深層認知和有效反饋的規劃設計——美國《教育傳播與技術研究手冊(第四版)》讓我們深受啟發的亮點之二[J].中國電化教育,(5):1-7,14.
[3]黃甫全,游景如,涂麗娜等(2017).系統性文獻綜述法:案例、步驟與價值[J].電化教育研究,38(11):11-18,25.
[4]李艷,劉淑君,李小麗等(2022).人機協同作文評價能促進寫作教學嗎?——來自Z校拓展課的證據[J].現代遠程教育研究,34(1):63-74.
[5]田嵩(2018).開放話語課堂環境構建及實效驗證[J].現代遠程教育研究,30(3):104-112.
[6]王偉東,金義富(2015).一對一數字化互動反饋智能課堂學習環境研究[J].中國電化教育,342(7):55-59.
[7]吳巖(2023).打造引領世界高等教育數字化發展風向標——《無限的可能:世界高等教育數字化發展報告》序言一[J].中國教育信息化,29(1):3-4.
[8]曾凡智,許露倩,周燕等(2022).面向智慧教育的知識追蹤模型研究綜述[J].計算機科學與探索,16(8):1742-1763.
[9]張登博,劉明(2021).智能反思寫作反饋系統的設計與應用[J].現代教育技術,31(11):96-103.
[10]張立山,馮碩,李亭亭(2021).面向課堂教學評價的形式化建模與智能計算[J].現代遠程教育研究,33(1):13-25.
[11]張濤,張思(2020).教育大數據挖掘的學習者模型設計與計算研究[J].電化教育研究,41(9):61-67.
[12]Ai, H. (2017). Providing Graduated Corrective Feedback in an Intelligent Computer-Assisted Language Learning Environment[J]. ReCALL, 29(3):313-334.
[13]Arguedas, M., & Daradoumis, T. (2021). Analysing the Role of a Pedagogical Agent in Psychological and Cognitive Preparatory Activities[J]. Journal of Computer Assisted Learning, 37(4):1167-1180.
[14]Balzer, W. K., Doherty, M. E. & OConnor, R., Jr. (1989). Effects of Cognitive Feedback on Performance[J]. Psychological Bulletin, 106(3):410-433.
[15]Beaumont, C., ODoherty, M., & Shannon, L. (2011). Reconceptualising Assessment Feedback: A Key to Improving Student Learning?[J]. Studies in Higher Education, 36(6):671-687.
[16]Belcadhi, L. C. (2016). Personalized Feedback for Self Assessment in Lifelong Learning Environments Based on Semantic Web[J]. Computers in Human Behavior, 55:562-570.
[17]Boud, D., & Molloy, E. (2013). Rethinking Models of Feedback for Learning: The Challenge of Design[J]. Assessment & Evaluation in Higher Education, 38(6):698-712.
[18]Bringula, R. P., Fosgate Jr, I. C. O., & Garcia, N. P. R. et al. (2018). Effects of Pedagogical Agents on Students Mathematics Performance: A Comparison Between Two Versions[J]. Journal of Educational Computing Research, 56(5):701-722.
[19]Bush, J. B. (2021). Software-Based Intervention with Digital Manipulatives to Support Student Conceptual Understandings of Fractions[J]. British Journal of Educational Technology, 52(6):2299-2318.
[20]Cabestrero, R., Quirós, P., & Santos, O. C. et al. (2018). Some Insights into the Impact of Affective Information When Delivering Feedback to Students[J]. Behaviour & Information Technology, 37(12):1252-1263.
[21]Chen, X., Breslow, L., & DeBoer, J. (2018). Analyzing Productive Learning Behaviors for Students Using Immediate Corrective Feedback in a Blended Learning Environment[J]. Computers & Education, 117:59-74.
[22]Chiu, C. K., & Tseng, J. C. (2021). A Bayesian Classification Network-Based Learning Status Management System in an Intelligent Classroom[J]. Educational Technology & Society, 24(3):256-267.
[23]Crow, T., Luxton-Reilly, A., & Wuensche, B. (2018). Intelligent Tutoring Systems for Programming Education: A Systematic Review[C]// ACE 2018: 20th Australasian Computing Education Conference. New York: Association for Computing Machinery:53-62.
[24]Demaidi, M. N., Gaber, M. M., & Filer, N. (2018). OntoPeFeGe: Ontology-Based Personalized Feedback Generator[J]. IEEE Access, 6:31644-31664.
[25]Demir, ?. (2020). The Effect of Using Negative Knowledge Based Intelligent Tutoring System Evaluator Software to the Academic Success in English Language Education[J]. Pedagogies: An International Journal, 15(4):245-261.
[26]Duffy, M. C., & Azevedo, R. (2015). Motivation Matters: Interactions Between Achievement Goals and Agent Scaffolding for Self-Regulated Learning Within an Intelligent Tutoring System[J]. Computers in Human Behavior, 52:338-348.
[27]Esterhazy, R., & Damsa, C. (2019). Unpacking the Feedback Process: An Analysis of Undergraduate StudentsInteractional Meaning-Making of Feedback Comments[J]. Studies in Higher Education, 44(2):260-274.
[28]Grawemeyer, B., Mavrikis, M., & Holmes, W. et al. (2017). Affective Learning: Improving Engagement and Enhancing Learning with Affect-Aware Feedback[J]. User Modeling and User-Adapted Interaction, 27:119-158.
[29]Hattie, J., & Timperley, H. (2007). The Power of Feedback[J]. Review of Educational Research, 77(1):81-112.
[30]Hayati, H., Khalidi Idrissi, M., & Bennani, S. (2020). Automatic Classification for Cognitive Engagement in Online Discussion Forums: Text Mining and Machine Learning Approach[C]// Bittencourt, I. I., Cukurova, M., & Muldner, K. et al. (Eds.). Artificial Intelligence in Education: 21st International Conference. Morocco: AIED 2020:114-118.
[31]Hung, W. C., Smith, T. J., & Smith, M. C. (2015). Design and Usability Assessment of a Dialogue-Based Cognitive Tutoring System to Model Expert Problem Solving in Research Design[J]. British Journal of Educational Technology, 46(1):82-97.
[32]Jensen, L. X., Bearman, M., & Boud, D. (2021). Understanding Feedback in Online Learning-A Critical Review and Metaphor Analysis[J]. Computers & Education, 173:104271.
[33]Jiménez, S., Juárez-Ramírez, R., & Castillo, V. et al. (2018). A Feedback System to Provide Affective Support to Students[J]. Computer Applications in Engineering Education, 26(3):473-483.
[34]Kang, E., & Han, Z. (2015). The Efficacy of Written Corrective Feedback in Improving L2 Written Accuracy: A Meta-Analysis[J].The Modern Language Journal, 99(1):1-18.
[35]Lallé, S., & Conati, C. (2020). A Data-Driven Student Model to Provide Adaptive Support During Video Watching Across MOOCs[C]// Bittencourt, I. I., Cukurova, M., & Muldner, K. et al. (Eds.). Artificial Intelligence in Education: 21st International Conference. Morocco: AIED 2020:282-295.
[36]Lee, H. S., Gweon, G. H., & Lord, T. et al. (2021). Machine Learning-Enabled Automated Feedback: Supporting StudentsRevision of Scientific Arguments Based on Data Drawn from Simulation[J]. Journal of Science Education and Technology, 30:168-192.
[37]Lehman, B., Gu, L., & Zhao, J. et al. (2020). Use of Adaptive Feedback in an App for English Language Spontaneous Speech[C]// Bittencourt, I. I., Cukurova, M., & Muldner, K. et al. (Eds.). Artificial Intelligence in Education. Morocco: AIED 2020:309-320.
[38]Martinez-Maldonado, R. (2019). A Handheld Classroom Dashboard: TeachersPerspectives on the Use of Real-Time Collaborative Learning Analytics[J]. International Journal of Computer-Supported Collaborative Learning, 14(3):383-411.
[39]Mitrovic, A., Ohlsson, S., & Barrow, D. K. (2013). The Effect of Positive Feedback in A Constraint-Based Intelligent Tutoring System[J]. Computers & Education, 60(1):264-272.
[40]Mousavinasab, E., Zarifsanaiey, N., & Niakan Kalhori, S. et al. (2021). Intelligent Tutoring Systems: A Systematic Review of Characteristics, Applications, and Evaluation Methods[J]. Interactive Learning Environments, 29(1):142-163.
[41]Narciss, S., Sosnovsky, S., & Schnaubert, L. et al. (2014). Exploring Feedback and Student Characteristics Relevant for Personalizing Feedback Strategies[J]. Computers & Education, 71:56-76.
[42]Price, M., Handley, K., & Millar, J. et al. (2010). Feedback: All That Effort, but What Is the Effect?[J]. Assessment & Evaluation in Higher Education, 35(3):277-289.
[43]Pu, S., Yudelson, M., & Ou, L. et al. (2020). Deep Knowledge Tracing with Transformers[C]// Bittencourt, I. I., Cukurova, M., & Muldner, K. et al. (Eds.). Artificial Intelligence in Education. Morocco: AIED 2020:252-256.
[44]Rajendran, R., Iyer, S., & Murthy, S. (2019). Personalized Affective Feedback to Address Students Frustration in ITS[J]. IEEE Transactions on Learning Technologies, 12(1):87-97.
[45]Ramaprasad, A. (1983). On the Definition of Feedback[J]. Behavioral Science, 28(1):4-13.
[46]Sun, J. C. Y., Yu, S. J., & Chao, C. H. (2019). Effects of Intelligent Feedback on Online Learners Engagement and Cognitive Load: The Case of Research Ethics Education[J]. Educational Psychology, 39(10):1293-1310.
[47]Sung, Y. T., Liao, C. N., & Chang, T. H. et al. (2016). The Effect of Online Summary Assessment and Feedback System on the Summary Writing on 6th Graders: The LSA-Based Technique[J]. Computers & Education, 95:1-18.
[48]Tacoma, S., Drijvers, P., & Jeuring, J. (2020). Combined Inner and Outer Loop Feedback in An Intelligent Tutoring System for Statistics in Higher Education[J]. Journal of Computer Assisted Learning, 37(2):319-332.
[49]Tausczik, Y. R., & Pennebaker, J. W. (2013). Improving Teamwork Using Real-Time Language Feedback[C]// CHI: Conference on Human Factors in Computing Systems. New York: Association for Computing Machinery:459-468.
[50]Uto, M., & Okano, M. (2020). Robust Neural Automated Essay Scoring Using Item Response Theory[C]// Bittencourt, I. I., Cukurova, M., & Muldner, K. et al. (Eds.). Artificial Intelligence in Education: 21st International Conference. Morocco: AIED 2020:549-561.
[51]Wolff, A., Mulholland, P., & Zdrahal, Z. (2014). Using Machine-Learning and Visualisation to Facilitate Learner Interpretation of Source Material[J]. Interactive Learning Environments, 22(6):771-788.
[52]Xie, T., Liu, R., & Chen, Y.et al. (2021). MOCA: A Motivational Online Conversational Agent for Improving Student Engagement in Collaborative Learning[J]. IEEE Transactions on Learning Technologies, 14(5):653-664.
[53]Zhao, H., Wang, W., & Huang, Y. (2020). A Cognitive Analysis of An English Reading Test Through the G-DINA Model[C]// 2020 2nd International Conference on Applied Machine Learning and Data Science. UK: IOP Publishing:1629:12-37.
收稿日期 2022-12-20責任編輯 李鑫
Abstract: Feedback is an indispensable element of effective teaching and learning, and the rise of intelligent technologies in education has brought new possibilities for formative and personalized feedback. A systematic review of related research can provide guidance for the design, development and application of intelligent feedback systems. An analysis of the current state of research on intelligent technology-enabled feedback in terms of objectives, mechanisms of action, and system architecture has revealed that intelligent technology-based feedback aims to bring positive effects on learnerscognition, emotions and attitudes, and metacognition in order to motivate learners to improve their current states and learning outcomes. At the level of feedback mechanism, an automatic feedback based on correct and incorrect responses usually adopts a rule-based matching model to trigger feedback by comparing correct and incorrect answers; the key to personalized feedback is to build a learner model to adapt feedback to different studentscharacteristics and to realize personalized feedback by combining ontology or using multiple rounds of human-computer dialogue; a human-computer collaborative feedback can be achieved by realizing interaction and complementarity between teachers, students and computers. At the system architecture level, the feedback system consists of three layers: input layer, analysis layer and inference generation layer, generating feedback decisions through a series of algorithmic models and feedback mechanisms, whose interactions with learner models, expert models and domain models determine the degree of accuracy and adaptability of teaching feedback.
Keywords: Intelligent Technology; Instructional Feedback; Feedback Goals; Feedback Mechanism; Human-Computer Collaboration