趙蔚 程諾 徐曉青 姜強



[摘 ? 要] 學習分析儀表盤作為可視化反饋工具越來越受重視,但它在促進自我調節學習的成效方面仍然存在爭議。研究采用元分析方法,對學習分析儀表盤促進自我調節學習進行系統文獻分析。納入的24項實驗分析表明:學習分析儀表盤對自我調節學習有正向促進作用,合并效應值為0.415。研究進一步從實驗特征、表征形式和設計依據三個維度進行深入的調節變量分析,結果表明:實驗時長、環境和對象等實驗特征并不影響學習分析儀表盤對自我調節學習的促進效果,但學習分析儀表盤的內容、形式、挖掘程度以及是否有理論基礎都會對促進效果產生影響。基于此,研究從教育教學融合視角,建議學習分析儀表應強化與教學理論的聯結,形成平衡認知負荷,兼顧數據素養的設計原則,為提升自我調節學習提供有效支持。
[關鍵詞] 學習分析儀表盤; 自我調節學習; 元分析; 數據素養; 認知負荷
[中圖分類號] G434 ? ? ? ? ? ?[文獻標志碼] A
[作者簡介] 趙蔚(1963—),女,吉林長春人。教授,博士,主要從事學習分析、自我調節學習研究。E-mail:zhaow577@nenu.edu.cn。
一、 引 ? 言
自我調節學習(Self-regulated Learning,SRL)是維持學習狀態、決定在線學習成功的關鍵要素[1]。如何提升自我調節學習能力已經成為在線教育研究的核心關注點。學習分析儀表盤(Learning Analytics Dashboard,LAD)是優化學習和體驗的干預工具。它通過提供學習狀態、指導反思等方式,幫助學習者監控學習過程,從而改善自我調節學習,最終提高學業成績。當前學習分析儀表盤對自我調節學習影響的研究結論并不一致。部分研究肯定了學習分析儀表盤的作用:“有效”的學習分析儀表盤會影響學習者的自我調節行為,最終影響學習行為和結果[2-3]。部分研究指出:當前幾乎沒有證據表明學習者利用學習分析發展自我調節學習[4],學習分析儀表盤不被建議支持元認知[5]。由此可見,LAD對于SRL的作用仍存在結論不統一問題。其次,SRL和學習分析之間的交叉點未被充分研究,LAD作為學習分析反饋工具,在高等教育應用越來越廣泛,研究LAD在多大程度上支持自我調節學習依舊很有必要。
鑒于學習分析儀表盤在支持自我調節學習方面的廣泛認可,本研究通過綜述現有LAD的實證文章,利用元分析方法,從宏觀層面上解決研究結論及解釋存在爭議的問題,進一步驗證LAD是否促進SRL,探究LAD在多大程度上促進SRL,實施過程中,LAD的哪些關鍵要素會影響SRL效果,以期為學習分析儀表盤的研究、設計和實施更好地促進自我調節學習提供一定借鑒和參考。
二、研究設計
(一)研究方法與工具
研究采用元分析方法,對國內外LAD對SRL影響的相關文獻進行統計分析,以探究LAD對SRL的促進效果。元分析過程包括文獻檢索與編碼、數據分析(異質性檢驗、效應值計算、發表偏倚檢驗等)和證據解釋。研究使用Comprehensive Meta Analysis Version 3.0(CMA-v3.0)作為分析工具。該軟件可以依據內置的計算公式,對輸入的樣本量、均值、標準差進行計算,直接給出效應量表格,是教育領域元分析使用頻率較高的軟件。
(二)文獻搜索與篩選
英文以“Learning Dashboard & Self-regulated”和“Learning Analytics Dashboard & Self-regulated”為主題,檢索了WOS、Science Direct、Google Scholar等數據庫的教育領域文獻,包括學習分析領域較為權威的LAK會議論文,檢索時間為2012年1月至2022年9月。中文以“儀表盤+自我調節”為主題,在CNKI進行檢索。為保證文獻的代表性和全面性,對已獲取文獻的參考文獻進行二次檢索,同時擴大數據庫到ACM和書籍進行文獻補充。
文獻篩選過程如圖1所示。首先,通過閱讀文獻標題和摘要對檢索的1368篇文獻進行初篩。篩選過程中剔除僅在文中提到相關主題,但研究核心或重點不是LAD和SRL的文獻,同時剔除綜述類、概念類等非實證研究文獻和重復文獻,初篩得到有效文獻131篇。其次,全文閱讀階段,用于分析的文獻需報告均值、標準差和樣本量或效應量。按照元分析數據要求剔除非實證、實驗數據不全、數據不符合標準的文獻,剩余有效文獻20篇[6-25]。20篇文獻中可納入元分析的實驗共24項。
(三)文獻編碼
研究旨在探索LAD對SRL的影響,同時研究可能會對該影響產生作用的調節變量。因此,自變量為LAD,因變量為SRL效果。參考相關研究[26]選取標準,結合自身研究內容,將調節變量歸納為三類,分別為研究特征、LAD表征形式和LAD設計依據,見表1。
研究特征包括研究對象、干預時長和實驗環境。實驗涉及大學、小學兩個教育階段,考慮到MOOC課程特殊性,將研究對象劃分為大學、小學、MOOC。參考既往元分析文獻,將干預時長劃分為0~2月、2~4月、4個月及以上三個階段。實驗環境劃分為線上、線下和混合三類。
表征形式指LAD界面呈現方式,共四個調節變量:(1)LAD內容劃分為行為信息、表現信息、交互信息三類。行為信息指學習者登錄平臺次數、時長和點擊數據等行為指標。表現信息指學習者獲得的成績、測試得分等信息。交互信息指學習者與同伴互動的信息。同時包括多個信息編碼為混合信息。(2)LAD形式劃分為圖文、圖表。圖表指LAD以可視化圖表展示。同時由圖表和文字解釋編碼為圖文。若文獻未展示LAD,編碼為未說明。(3)根據LAD內容分析程度將挖掘程度劃分為簡單分析、深入分析和假設信息。(4)根據LAD是否包含個人與集體的對比信息分成兩類。
設計依據方面包含干預目的和理論基礎兩個調節變量。LAD的干預目的分為階段、行為、元認知和動機四類。具體來說,支持計劃、監控、反思等一個或多個過程劃分為“階段”,幫助學習者改變行為、制定計劃等劃分為“行為”,自我評估、反思和元認知劃分為元認知,情緒和動機劃分為動機。根據文獻中LAD是否有理論基礎,編碼為兩類。
為保證元分析編碼的質量與可靠性。研究由兩名成員共同完成編碼,先以兩篇文獻為例,對編碼框架進行協商討論,達成一致性后,獨立對剩余文獻進行編碼。編碼一致性采用Kappa系數,計算得出一致性為0.82,說明編碼一致性較高,編碼具有可靠性。不一致編碼由兩名成員再次協商確定。
三、數據分析
(一)效應值和異質性檢驗
效應值是衡量實驗效果大小的指標,常用的效應值包括Cohen's d和Hedges' g。在本研究中,由于樣本較小,因此采用Hedges' g作為效應值。參考Cohen提出的效應值標準,效應值絕對值為0.2代表小效應,0.5為中等效應,0.8為大效應。合并的效應值取值越大,代表實驗效應越好。
計算合并效應值前需要進行異質性檢驗,即判斷納入的研究是否存在異質性。如果異質性較大采用隨機效應模型,異質性較小采用固定效應模型。采用的模型不同,得到的效應值也不同,醫學通常建議采用隨機效應模型。異質性檢驗包括Q檢驗和I2兩種方法。本研究Q=117.78(p<0.05),說明樣本之間存在異質性;I2=80.47,說明80.5%的變異是由效應值的真實差異引起,19.5%的差異是由誤差導致。因此,采用隨機效應模型來綜合考慮研究間和研究內的變異。
(二)整體效應檢驗結果
LAD對SRL的整體作用效果見表2,分析共包含24個樣本量,合并效應值g=0.415,p<0.05。g值處于0.2到0.5之間,是中等的效應量。無論固定效應模型還是隨機效應模型都表明LAD對SRL有顯著的促進作用,作用效果中等。接下來對可能引起研究結果存在差異的調節變量進行分析,確定最優干預方式。
(三)調節效應檢驗結果
1. 研究特征對SRL效果的調節作用分析
在進行調節變量分析時,只有亞組的樣本量大于3才具有分析價值。根據調節變量組間效應量是否顯著,判斷該變量是否為造成元分析結果差異的因素。見表3,研究對象的組間效應QB=0.360,p>0.05,說明研究對象并沒有發揮調節變量的作用,其中MOOC研究樣本量小于3,則MOOC的效應值不具備參考價值。以此類推,研究特征維度沒有發現造成效應值存在差異的因素,具體而言:
研究對象方面,大學階段實施LAD對SRL的促進效果達到顯著性(p<0.05),促進作用中等(g=0.402);MOOC和小學階段的研究對象,因為納入的實驗數量較少,未達到分析標準。由此可知,在大學及以上階段實施LAD對SRL具有促進作用,其余學段在本研究中未得到準確結論。
干預時長方面,0~2月的實驗數量最多,效應值g=0.514,為中等偏上影響水平且達到顯著性(p<0.05);2~4月的實驗數量次之,促進效果中等偏下(g=0.384,p<0.05)。由此說明,0~2月時長的研究效果要好于2~4月時長,實施較短時間的LAD對SRL促進作用較好。
實驗環境方面,線下環境LAD對SRL的作用效果中等偏上(g=0.575),但樣本量為4,剛超過分析標準;線上環境的實驗數量最多,和混合環境效應值相似,為中等偏下的影響水平(g=0.37)。初步得出實驗環境方面對SRL的促進作用無差異。
除了考慮上述三個研究特征,我們還嘗試對研究對象的國別進行分析以期為我國研究提出更多針對性意見。分析發現,24項實驗中的研究對象分布在11個國家,其中美國有7項,荷蘭、土耳其、澳大利亞各有3項,剩余國家如韓國、意大利、芬蘭等研究數量小于3。總體而言,研究對象所處地域是影響元分析結果差異的原因(QB=33.916,p=0.000),說明不同國家實驗研究中LAD對SRL的作用不一。其中美國的實驗分析表明LAD對SRL有較小的促進作用,但未達到顯著水平(g=0.243,p=0.18)。
2. 表征方式對SRL效果的調節作用分析
由表4可知,表征方式維度中,LAD內容、形式和挖掘程度是造成異質性的原因,在促進SRL效果方面發揮了調節變量的作用。在設計LAD時,要重點關注這些調節變量的影響。具體分析如下:
就LAD的內容而言(QB=18.402,p<0.05),效果最好的是行為信息(g=0.634),為中等偏上效應量;表現信息具有較小促進作用(g=0.237);混合信息也有促進作用但結果不顯著(p>0.05)。因此,相對于表現信息,使用行為信息作為干預內容效果更好。
LAD形式方面(QB=20.689,p<0.05),圖表形式LAD具有中等偏下的影響效果(g=0.363,p<0.05);圖文效果略小于圖表效果(g=0.347,p<0.05)。也就是說,LAD的形式無論是圖文還是圖表都會對SRL產生促進作用。
就挖掘程度而言(QB=8.752,p<0.05),簡單分析的數據具有中等偏上效果(g=0.574,p<0.05);深入分析的數據效應值為0.324(p<0.05),為中等偏下的影響水平。挖掘程度是影響SRL效果的調節變量,其中,簡單分析的LAD作用效果更優。
是否有對比信息不影響LAD對SRL的促進作用。沒有對比信息的LAD對SRL促進效果一般(g=0.476,p<0.05),有對比信息的LAD促進效果較小(g=0.310,p<0.05)。
3. 設計依據對SRL效果的調節作用分析
設計依據中理論基礎是影響SRL效果的因素,干預目的未發現調節作用,見表5。
干預目的中,促進SRL“階段”的干預效果最好(g=0.578);其次為動機(g=0.256);行為的效果最小,且沒有達到顯著性(p>0.05)。
就理論基礎而言(QB=5.113,p<0.05),具有理論基礎的LAD對SRL促進效果較好(g=0.707);沒有理論基礎的LAD效應值為g=0.298。相較而言,有理論基礎的LAD對SRL促進效果更大。
(四)發表偏倚檢驗
一般來說,統計顯著的結果更容易發表,這會造成文獻檢索時,某些文獻很難被覆蓋到,導致元分析效應值與真實值有所差異,影響結果可靠性。發表偏倚檢驗是判斷效應值可靠性的重要一步。發表偏倚檢驗通常采用漏斗圖、Egger檢驗以及失安全系數法來判斷。本研究納入分析的效應量分布漏斗圖如圖2所示。圖中的數據點零散地分布在對稱軸中部兩側,基本呈左右對稱,左側的效應值略少于右側。采用Egger檢驗進一步驗證發表偏倚(B0=2.505,t=1.802,p1=0.042,p2=0.085),t值小于1.96,p2大于0.05,初步得出研究選取的文獻存在發表偏倚可能性較小。
圖2 ? 效應值分布漏斗圖
采用失安全系數法進行敏感性驗證,即判斷因為發表偏倚造成元分析結果出現相反結論的可能性,該方法的標準是元分析數量的5倍加10。本研究的Classic失安全系數N=638(α=0.050,p<0.0001),遠大于樣本數量×5+10。綜合以上數據表明,元分析的結果比較穩定,發表偏倚不明顯。
四、討 ? 論
研究對LAD促進SRL的作用進行元分析,結果表明,納入的24項實驗存在異質性。故而對結論可能產生影響的LAD表征形式、設計依據等調節變量進行詳細討論。
(一)LAD對SRL具有正向的促進作用
研究旨在分析LAD促進SRL的作用大小。結果表明,學習分析儀表盤對SRL有正向促進作用,作用大小中等。一方面說明納入本研究的實驗進一步驗證LAD的促進作用,與經驗證據相一致。該結論與現有LAD綜述文章結論相互認證:“學習分析”結合視覺儀表盤等技術可以支持諸如翻轉課堂的自我調節學習、個性化反饋等[27];使用學習分析來促進SRL是未來研究方向[28]。雖然LAD能促進SRL發展,但元分析效應值為0.415,促進效果中等。我們還需要考慮可能對結果有影響的調節變量。
(二)研究特征不影響對SRL的促進效果
本文研究對象、干預時長和實現環境等歸入研究特征的調節變量并沒有造成明顯差異,即研究對象、干預時長、實驗環境不會影響LAD對SRL的促進作用。換句話說,LAD對SRL的促進作用具有穩健性,不會因實驗對象的學段、實驗時長和環境而變化。
研究對象雖然被劃分為大學、小學和MOOC,但實際上小學、MOOC的實驗數量較少,不足以構成元分析調節變量分析的最少實驗組數。因此,只能得出在大學階段的研究對象中實施LAD對SRL有一定促進作用。考慮到兒童實驗的困難程度,大部分SRL的文獻都在高等教育中實驗,但事實上,SRL必須從小就開始培養。無論SRL被視為一套可明確傳授的技能還是源于經驗的自我調整過程,教師都應該為各個年齡段的學生提供信息,幫助他們成為獨立的學習者[29]。SRL作為終身學習的核心技能之一,增加其在國內初等教育,乃至幼兒教育的實證數量,以補充國內研究經驗仍然很有必要。此外,在梳理文獻時發現,國內關于LAD促進SRL的實證文獻寥寥可數,國外就LAD設計及應用開展了諸多研究,美國的研究數量最多。雖然地域不同的LAD在促進SRL方面有差異,但總體都是正向促進作用。因此,在LAD設計、應用和與智能平臺融合方面,都可借鑒國外研究成果。
在干預時長方面,實施0~2月的LAD對SRL促進作用最大。分析其原因,一方面,可能是高等教育以學期為周期進行授課,實驗時長多控制在一學期,所以4月及以上時長的研究數量較少,實驗結果仍有待驗證。另一方面,自我調節學習能力培養方法的研究中指出,漸隱式的腳手架可以幫助學習者自我調節學習[30]。即在課程之初提供腳手架,在學習者可以自我調節學習某些內容時淡化支持。我們可以推測在0~2月的干預時間內,學習者慢慢適應LAD,并且能自主調整行為或計劃向預期學習目標進展,在2月及以上時間,LAD的促進作用減少。無獨有偶,教育機器人對學習成果影響的元分析結果指出,實驗周期超過半年的效果反而不如半年以內的[31]。總體而言,研究時長并不是造成研究結論產生差異的原因,但在實施LAD時可以優先考慮0~2月的研究時長。與此同時,開展長時間的干預研究,探索隨著時間推移LAD在促進SRL作用的變化規律仍有價值。
實驗環境方面,研究雖劃分三種學習環境,但LAD一般都需要相應的網站或平臺去實施。嚴格來說,實驗都涉及線上部分,差別在于課程安排時長和關注程度不同。本研究并未明確得出何種授課環境最優的結論,建議教師依據課程內容和條件合理安排授課方式。
(三)LAD的表征方式影響對SRL的促進效果
LAD內容是造成文獻效應值差異的原因之一,其中行為信息效果優于表現信息。學習管理系統中日志的點擊流數據可以通過編碼框架與行為相對應[7],學習者能從行為信息中直觀得出需要增加或改進的行為。相對來說,表現信息傾向于總結性評價,更多作用在目標和動機水平上,對學習者指導的直觀性較弱。雖然沒有發現混合信息在促進SRL的顯著作用,但我們有理由認為行為信息、表現信息通過合理的設計會有更好的促進效果。交互信息的LAD多應用在協作學習中,通過展示小組成員之間交流合作的信息,減少協作學習中搭便車、投入不足等問題。LAD可以改善協作學習體驗,但在LAD中捕獲團隊的學習過程,及其與學習成果建立深入聯系方面還有很多工作要做[32]。協作學習儀表盤的設計也應該結合認知理論和社會互動理論的分析要素,以促進自我調節學習和社會共享調節學習[33]。由此可見,交互信息的LAD在支持協作學習中仍面臨著挑戰和機遇。
LAD形式是影響SRL促進作用的因素之一,圖文和圖表兩種LAD形式作用大小相似,主要差異在于是否包含文字型信息。Cha等[34]在LAD可視化設計指南的研究中,第一輪專家訪談建議:簡單的信息架構和設計可能要比過多的信息更加有效和直觀,因此,刪除了LAD原型中重復的特征和數據。經過第二輪學習者訪談后,增加了部分說明性提示。也就是說,LAD的形式既要簡單、直觀,以降低過多信息帶來的認知負荷,同時需要描述性信息幫助學習者理解LAD的內容。本研究的結果證實了LAD形式在干預中的重要性,但沒有顯著性的對比結論表明圖文和圖表形式何種最優。正如麗姿等[35]在研究中討論的那樣,學習者使用LAD的方法高度個性化,我們應該在數據呈現形式上給予學習者選擇機會,即允許學習者個性化自己的LAD。
挖掘程度在促進SRL的效果方面也發揮了調節作用,簡單分析的效果最好,深入挖掘的效果一般。對開發者來說,將有意義的數據合成為學習者可以直觀理解的內容并不是一件簡單的事情;對學習者來說,學習者數據素養能否支持其理解數據背后的信息也是需要思考的問題[36]。有學者[37]指出,學習者很難解釋LAD上的數據,他建議依據用戶的特定要求來確定LAD顯示信息的粒度級別。我們可以推測,相對于更易理解的簡單分析,深入挖掘的數據與學習者數據素養不匹配是造成其效果較小的原因。學習者能否在理解、評價LAD表征信息的基礎上進行監控和反思,取決于數據素養和自我調節學習的共同效力。如何平衡LAD數據的分析維度進而與學習者數據素養相匹配是接下來要研究的問題。
研究沒有發現對比信息的調節作用。是否包含對比信息一直是飽受爭議的話題。因為對比信息會影響到學習者的情緒和動機,但影響的方向卻是不確定的,可能激發動機,增加學習投入,亦可能造成挫敗感[38]。包含個人信息的對比還涉及隱私問題。因此,多數研究選擇了中庸方式,即在LAD中添加可選擇按鈕,學習者可根據個人情況選擇是否查看集體對比信息。
(四)LAD的理論基礎影響對SRL的促進效果
LAD是否有理論基礎是造成研究效應值異質性的原因之一。結果表明,有理論基礎的LAD共7篇,對SRL促進作用中等偏上;沒有理論基礎的類別有17篇,作用效果較小。其中自我調節學習理論是指導LAD設計的常見理論。當前LAD的設計大部分還是缺少理論基礎的,該結論與Matcha[5]總結出的缺少理論基礎的結論相同。有研究指出,除自我調節學習理論外,設計者還可以考慮如動機理論、目標導向理論、自我決定理論等[39]去指導LAD的設計。
LAD干預目的包括階段、行為、元認知和動機,不同目的LAD對SRL促進作用沒有差異。其中,支持“階段”的LAD具有中等偏上的促進作用,提升“動機”的LAD作用效果一般,其余目的效果沒有達到顯著水平。Pintrich[40]提出的SRL模型分為要素和階段兩個維度,要素包括認知、動機、行為和背景,階段包括預見、監測、控制和反思。徐曉青等[41]在研究學習分析對SRL的影響機理中,就每個階段中各個要素的變化都進行了分析。由此可見,對于SRL的研究可從要素和階段兩方面入手。但無論要素還是階段,都應有相應的理論和框架支撐。
五、啟 ? 示
本研究不僅驗證了LAD作為干預反饋工具在促進SRL的積極作用,也從研究對象、LAD設計依據等視角綜合探究LAD對SRL的影響。研究在對結果討論的基礎上得到如下建議和啟示:
(一)深化LAD與教育教學融合,以提升SRL能力
LAD對SRL的促進作用具有穩定性,不因實驗時長、環境等因素的改變而變化。但目前多數結論是以小范圍的準實驗課堂為實驗條件,缺少大規模真實環境中的實施效果。另外,LAD的實施對SRL具有促進作用,但與教育的融合仍處于初始階段。想要進一步發揮LAD在教育教學,乃至在教育信息化的作用,仍有兩方面需要思考:其一是LAD本身設計與教學隱喻、數字徽章、游戲化理念等結合[42],如部分LAD使用花草的生長狀態表示當前的學習進展[43];其二是LAD與教學過程的融合,工具之于課堂,不是雜亂無章的堆疊使用,更需要融合到教學的具體環節。已有可借鑒的文獻將LAD與翻轉課堂、PBL等教學模式相結合,綜合考慮教學流程、教學需求、LAD的作用和課程目的,將LAD真正嵌入課堂,融入課程,發揮其促進SRL的作用。
(二)形成平衡認知負荷、兼顧數據素養的LAD設計原則
LAD以數據可視化的方式幫助學習者快速定位和理解當前狀態。在結果討論中,我們發現LAD的設計需要注意或遵循兩個原則。一是平衡認知負荷、調和極簡和極繁主義原則,具體來說就是去除LAD中重復、冗余的元素和內容,增加引導性的線索和說明性信息。這里我們可以參考梅耶的多媒體學習理論,但需要注意的是,認知負荷并不是越低越好,適當的認知負荷更有助于學習者的加工和理解。二是LAD的設計應滿足兼顧數據素養的原則。多數LAD在設計過程中都忽略了學習者本身的數據素養,僅從需求的應然與理論的必然出發。實際上,學習者共同參與設計LAD是匹配數據素養的有效方式。在此過程中,學習者不僅意識到如何評估學習狀況與目標期望的達成度,同時增加了個人對數據的理解、反思和信任。
(三)強化LAD與理論的聯結
LAD需要在教育理論的支撐下,不斷改進、探索和創新。研究證實有理論基礎的LAD對SRL具有促進作用,但目前多數LAD研究沒有理論依據,更多的是在以往研究基礎上,根據自身研究對LAD的內容進行增補。應該重視理論在LAD設計和實施中發揮的頂層設計作用,強化LAD和理論的聯結。正如Matcha[5]所建議的,LAD指標選擇應該在理論為導向的前提下,尋求用戶意見。理論為LAD指標和SRL策略相對應提供依據,用戶意見滿足部分個性化需求。在LAD的實施過程中,經典的SRL理論將自我調節過程分為了詳細的循環階段,LAD可以根據每個階段特點和目的提供相應的反饋和支持,最終促進SRL提升。還需要注意的是,收集和呈現有關學習過程或者交互模式的LAD信息,不僅可以幫助學習者自我調節學習,亦可以幫助研究者理解自我調節學習本身發展和內部的變化機理,擴充SRL理論的應用范圍。
六、結 ? 語
研究采用元分析方法,對國內外近十年有關LAD對SRL促進的實證研究進行客觀分析,驗證了LAD在促進和提升SRL的作用,探索了研究特征、表征方式、設計依據等在支持SRL方面的調節作用。結果表明,LAD表征形式和設計依據都會對SRL促進效果產生影響。為此研究提出了幾點建議和啟示:一是深化LAD與教育教學融合;二是形成平衡認知負荷,兼顧數據素養的設計原則;三是強化LAD與理論聯結。研究仍存在一定局限,受文獻數據來源和樣本量的限制,未從我國教育國情為SRL的培養提供本土化建議,同時,需要綜合更多國內有關少兒SRL培養的研究,形成更為全面的結論。
[參考文獻]
[1] 蔡旻君,郭婉瑢,婁顏超.在線學習過程中如何實施有效的反饋——基于自我調節學習理論的在線反饋探討[J].電化教育研究,2020,41(10):82-88.
[2] PARK Y, JO I H. Factors that affect the success of learning analytics dashboards[J]. Educational technology research and development,2019,67(6):1547-1571.
[3] AGUILAR S J, KARABENICK S A, TEASLEY S D,et al. Associations between learning analytics dashboard exposure and motivation and self-regulated learning[J]. Computers & education,2021,162(3):104085.
[4] TSAI Y S, RATES D, MORENO-MARCOS P M, et al. Learning analytics in European higher education—trends and barriers[J]. Computers & education,2020,155(13):103933.
[5] MATCHA W,UZIR N A,GASEVIC D,et al. A systematic review of empirical studies on learning analytics dashboards:a self-regulated learning perspective[J]. IEEE transactions on learning technologies,2020,13(2):226-245.
[6] YOON M, HILL J, KIM D. Designing supports for promoting self-regulated learning in the flipped classroom[J]. Journal of computing in higher education,2021,33(2):398-418.
[7] MANGANELLO F, POZZI F, PASSARELLI M, et al. A dashboard to monitor self-regulated learning behaviours in online professional development[J]. International journal of distance education technologies,2021,19(1):18-34.
[8] AL-SHANFARI L, EPP C D, BABER C. Evaluating the effect of uncertainty visualisation in open learner models on students' metacognitive skills[C]// ANDRE E, BAKER R, HU X, et al. Artificial intelligence in education, AIED 2017,2017:15-27.
[9] MOLENAAR I, HORVERS A, DIJKSTRA R, et al. personalized visualizations to promote young learners' srl the learning path App[C]// LAK20: The Tenth International Conference on Learning Analytics & Knowledge.2020:330-339.
[10] HOWELL J A, ROBERTS L D, MANCINI V O. Learning analytics messages: impact of grade, sender, comparative information and message style on student affect and academic resilience[J]. Computers in human behavior,2018,89(12):8-15.
[11] CHEN C H, SU C Y. Using the BookRoll E-Book system to promote self-regulated learning, self-efficacy and academic achievement for university students[J]. Educational technology & society,2019,22(4):33-46.
[12] VALLE N, ANTONENKO P, VALLE D, et al. Predict or describe? How learning analytics dashboard design influences motivation and statistics anxiety in an online statistics course[J]. Educational technology research and development, 2021,69(3):1405-1431.
[13] KIM J, JO I H, PARK Y. Effects of learning analytics dashboard: analyzing the relations among dashboard utilization, satisfaction, and learning achievement[J]. Asia pacific education review, 2016,17(1):13-24.
[14] KARAOGLAN YILMAZ F G. The effect of learning analytics assisted recommendations and guidance feedback on students' metacognitive awareness and academic achievements[J]. Journal of computing in higher education,2022,34(2):396-415.
[15] HAN J, KIM K H, RHEE W, et al. Learning analytics dashboards for adaptive support in face-to-face collaborative argumentation[J]. Computers & education,2021,163(4):104041.
[16] VALLE N, ANTONENKO P, VALLE D, et al. The influence of task-value scaffolding in a predictive learning analytics dashboard on learners' statistics anxiety, motivation, and performance[J]. Computers & education,2021,173(14):104288.
[17] TABUENCA B, KALZ M, DRACHSLER H, et al. time will tell: the role of mobile learning analytics in self-regulated learning[J]. Computers & education,2015,89(10):53-74.
[18] DUAN X, WANG C, ROUAMBA G. Designing a learning analytics dashboard to provide students with actionable feedback and evaluating its impacts[C]// Proceedings of the 14th International Conference on Computer Supported Education. Online Streaming, Science and technology publications,2022:117-127.
[19] WAMBSGANSS T, SOELLNER M, KOEDINGER K R, et al. Adaptive empathy learning support in peer review scenarios[C]// CHI Conference on Human Factors in Computing Systems. New orleans LA USA:ACM,2022:1-17.
[20] JIVET I, WONG J, SCHEFFEL M, et al. Quantum of choice: how learners' feedback monitoring decisions, goals and self-regulated learning skills are related[C]// LAK21: 11th International Learning Analytics and Knowledge Conference. New York, NY, USA: Association for computing machinery,2021:416-427.
[21] 李綠山,趙蔚,劉鳳娟.基于學習分析的大學英語網絡學習可視化監控和反饋研究[J].外語電化教學,2022(2):23-31,115.
[22] ALEXIOU A, PARASKEVA F. Inspiring key competencies through the implementation of an ePortfolio for undergraduate students[J]. Procedia - social and behavioral sciences,2015,197(33):2435-2442.
[23] HAYNES C C. The role of self-regulated learning in the design, implementation, and evaluation of learning analytics dashboards[C]// Proceedings of the Seventh ACM Conference on Learning @ Scale. New York, NY, USA: Association for Computing Machinery, 2020:297-300.
[24] UYSAL M, HORZUM M B. Designing and developing a learning analytics dashboard to support self-regulated learning[M]// SAHIN M, IFENTHALER D. Visualizations and Dashboards for Learning Analytics. Cham:Springer international publishing,2021:477-496.
[25] AUVINEN T, HAKULINEN L, MALMI L. Increasing students' awareness of their behavior in online learning environments with visualizations and achievement badges[J]. IEEE transactions on learning technologies,2015,8(3):261-273.
[26] 曾昭炳,姚繼軍.尋找“最佳證據”:如何運用元分析進行文獻綜述——以STEM教育對學生成績的影響研究為例[J].華東師范大學學報(教育科學版),2020,38(6):70-85.
[27] CHEN X, ZOU D, XIE H. A decade of learning analytics: structural topic modeling based bibliometric analysis[J]. Education and information technologies,2022,27(8):10517–10561.
[28] ARAKA E, MAINA E, GITONGA R, et al. Research trends in measurement and intervention tools for self-regulated learning for e-learning environments—systematic review (2008-2018)[J]. Research and practice in technology enhanced learning,2020,15(1): 6.
[29] PARIS S, PARIS A. Classroom applications of research on self-regulated learning[J]. Educational psychologist - EDUC PSYCHOL, 2001,36(2):89-101.
[30] AZEVEDO R, HADWIN A F. Scaffolding self-regulated learning and metacognition - Implications for the design of computer-based scaffolds[J]. Instructional science, 2005, 33(5-6): 367-379.
[31] 單俊豪,宮玲玲,李玉,閆寒冰.教育機器人對學生學習成果的影響——基于49篇實驗或準實驗研究論文的元分析[J].中國電化教育,2019(5):76-83.
[32] ZAMECNIK A, KOVANOVI?V, GROSSMANN G, et al. Team interactions with learning analytics dashboards[J]. Computers & education,2022,185(10):104514.
[33] LIU A L, NESBIT J C. Dashboards for computer-supported collaborative learning[M]// VIRVOU M, ALEPIS E, TSIHRINTZIS G A, et al. Machine learning paradigms: advances in learning analytics. Cham: Springer international publishing,2020:157-182.
[34] CHA H J, PARK TAEJUNG. Applying and evaluating visualization design guidelines for a MOOC dashboard to facilitate self-regulated learning based on learning analytics[J]. KSII transactions on internet and information systems,2019,13(6):2799-2823.
[35] 麗姿·貝內特,肖俊洪.從學習的角度看學生對儀表盤數據的反應[J].中國遠程教育,2019(1):67-78,93.
[36] JIVET I, SCHEFFEL M, SCHMITZ M, et al. From students with love: an empirical study on learner goals, self-regulated learning and sense-making of learning analytics in higher education[J]. The internet and higher education,2020,47(4):100758.
[37] SCHWENDIMANN B A, RODR?魱GUEZ-TRIANA M J, VOZNIUK A, et al. Perceiving learning at a glance: a systematic literature review of learning dashboard research[J]. IEEE transactions on learning technologies, 2017,10(1):30-41.
[38] SAFSOUF Y, MANSOURI K, POIRIER F. TABAT: design and experimentation of a learning analysis dashboard for teachers and learners[J]. Journal of information technology education-research,2021,20(1):331-350.
[39] VALLE N, ANTONENKO P, DAWSON K, et al. Staying on target: a systematic literature review on learner-facing learning analytics dashboards[J]. British journal of educational technology, 2021,52(4):1724-1748.
[40] PINTRICH P R. A conceptual framework for assessing motivation and self-regulated learning in college students[J]. Educational psychology review,2004,16(4):385-407.
[41] 徐曉青,趙蔚,劉紅霞,姜強.自我調節學習中學習分析的應用框架和融合路徑研究[J].電化教育研究,2021,42(6):96-104.
[42] DE QUINCEY E, BRIGGS C, KYRIACOU T, et al. Student centred design of a learning analytics System[C]//Proceedings of the 9th International Conference on Learning Analytics & Knowledge. New York, NY, USA: Association for computing Machinery, 2019:353-362.
[43] 姜強,趙蔚,李勇帆,等.基于大數據的學習分析儀表盤研究[J].中國電化教育,2017(1):112-120.
Study on Impact of Learning Analytics Dashboard on Self-regulated Learning?
—A Meta-analysis Based on 24 Experimental and Quasi-experimental Studies
ZHAO Wei, ?CHENG Nuo, ?XU Xiaoqing, ?JIANG Qiang
(School of Information Science and Technology, Northeast Normal University, Changchun Jilin 130117)
[Abstract] Learning analytics dashboards are increasingly valued as visual feedback tools, but their effectiveness in facilitating self-regulated learning remains controversial. This study employs a meta-analytic approach to conduct a systematic literature analysis of learning analytics dashboards for promoting self-regulated learning. The analysis of 24 included experiments demonstrates that the learning analytics dashboard has a positive facilitative effect on self-regulated learning, with a combined effect value of 0.415. An in-depth moderating variable analysis is conducted in three dimensions: experimental characteristics, representational form, and design rationale. The results show that experimental characteristics such as length of experiment, environment, and subjects do not affect the facilitation effect of learning analytics dashboards on self-regulated learning. However, the content, format, degree of tapping, and the presence of theoretical bases of learning analytics dashboards all have an impact on the facilitation effect. Based on these findings, this study suggests that learning analytics dashboards should strengthen the linkage with pedagogical theories from the perspective of education and teaching integration, and form the design principles that balance cognitive load and take into account data literacy to provide effective support for enhancing self-regulated learning.
[Keywords] Learning Analytics Dashboard; Self-regulated Learning; Meta-analysis; Data Literacy; Cognitive Load