基金項目:國家自然科學基金2020年度面上項目“網絡學習空間中的學習風險預警模型和干預機制研究”(項目編號:62077012)
中圖分類號:G434 文獻標識碼:A 文章編號:1009-458x(2025)8-0057-18
一、問題提出
混合學習模式結合了線上與線下教學的優勢,在高等教育中的重要性愈發凸顯。這種學習模式通常具有規模較小、可控性較強以及學習任務明確等特點,但其復雜的過程使教師難以全面了解每個學生的學習情況。為實現更精準的教學,往往需要利用課程中各類學習數據開發有效的成績預測模型,從而為學習者提供個性化干預和指導,最終增強教學互動的效果和針對性。隨著教育數字化改革的深化,混合學習模式通過融合線上自主學習和線下引導性實踐,構建了一個多維度的學習證據生態系統。在此背景下,基于學習行為數據預測學生成績的研究具有重要價值。在技術層面上,通過挖掘行為與成績的潛在關聯,為學習分析模型提供解釋性框架;在教育層面上,賦能教師準確識別學習危機學生,提供精準教學服務(舒瑩等,2019)。因此,學習成績預測成為當前教育領域的研究熱點之一。
近年來,混合學習中學生成績預測的研究逐漸從傳統線性回歸方法轉向復雜機器學習(MachineLearning,ML)模型。早期研究大多基于線性回歸方法,結合學生線上學習過程數據構建預測模型。如徐等(Xuetal.,2020)基于SPOC平臺在線學習行為數據,使用多元線性分析方法預測了學生在混合學習中的表現。盡管該方法能在一定程度上預測學習成績,但僅使用在線數據可能未充分反映混合學習環境的復雜性,存在數據不全面、預測模型精度不足等問題。隨著ML模型的迅速發展,其強大的非線性建模能力在成績預測任務中展現出良好前景。如已有研究基于混合課程中學生在線行為數據,利用增量學習的隨機森林算法構建成績預測模型,實現 75.1% 的較高預測準確率(羅楊洋amp;韓錫斌,2021)。然而,ML模型種類繁多,預測模型構建過程中通常需要考慮許多超參數組合,存在人工干預復雜、重復建模、部署困難等諸多問題,限制了其在教學中的實用性。此外,ML模型具有“黑箱”特性,過往研究往往偏重成績預測而忽略了模型變量可解釋性問題,從而限制了對預測過程的深人理解,進一步阻礙了針對性反饋意見和干預措施的有效推進。
在教學實踐中,教師往往不具備專業的機器學習的知識背景。自動化機器學習(AutomaticMachineLearning,AutoML)的出現則彌補了這一點:AutoML集成了數據預處理、模型選擇、超參數調優和模型解釋等關鍵功能,顯著簡化了傳統ML模型優化和部署的復雜性(Truongetal.,2019),使不具備深厚數據挖掘背景的教師也能高效進行實驗并構建復雜的預測模型,從而更好地支持教學實踐和提升學習效果。研究發現AutoML在預測精度上超過了決策樹、隨機森林和支持向量機等傳統模型(Agrapetidou etal.,2021)。此外,AutoML進一步集成了模型可解釋性工具,典型如SHAP(SHapleyAdditive exPlanations),能夠識別對模型預測有關鍵影響的驅動因素,并提供對影響模型輸出的潛在因素的深入見解(Zhaoetal.,2023),從而增強模型透明度和可信度。無論是預測精度還是實用性方面,AutoML都能夠為教師提供更加具體和可行的數據支撐和參數解釋,進行有效的教學干預和策略調整。
面向混合學習成績預測的實際需求和AutoML的應用前景,本研究主要圍繞以下兩個問題展開探討:第一,如何利用自動化機器學習構建有效的混合學習成績預測智能模型?第二,在混合學習環境中,哪些學習行為變量對學生成績有顯著影響?為回答上述問題,本研究結合AutoML和SHAP,開發了混合學習成績預測智能模型,以解決學生成績的準確預測以及模型變量可解釋性問題。具體而言,本研究首先收集兩門混合課程的相關行為數據和成績數據,為分析學習成效奠定了數據基礎。然后,利用AutoML優化算法選擇和超參數調整,構建高效的成績預測模型。最后,通過引入SHAP,分析不同變量的重要性,揭示混合學習中學生行為變量與最終學習成績之間的貢獻關系。本研究能夠為混合教學中的學習診斷和個性化支持實踐提供模型支持,有助于準確識別學習不佳的學生,從而幫助教師提供準確的反饋和干預,促進學生自主化學習,優化教育教學過程。
二、文獻綜述
(一)混合學習成績預測相關研究
當前,混合學習成績預測主要依賴于反映學生學習過程的數據。研究表明,相比傳統的人口統計學或成績數據,過程導向的數據(如在線學習行為數據)能夠更有效地預測學習成績(Bernackietal.,202O)。陳等(Chenetal.,2023)研究發現,實驗科目成績、在線測驗成績、課堂參與度和在線視頻觀看時間等是影響學習成績的關鍵因素。此外,羅等(Luoetal.,2024)指出,準確預測混合學習成績的前提是大多數學生積極參與多種在線學習活動,而非僅專注于某一種活動。盡管已有研究采用線性模型分析了學習行為數據與學習成績間的關系(Xuetal.,2020),但由于混合學習環境中線上和線下活動的多樣性及復雜性,單純的線性模型難以準確預測學習成績。學習成績的預測不僅需要考慮多種學習行為和活動類型,還需綜合考慮教育資源的合理配置與使用效率,這些因素的交互作用使得學習成績與學習行為之間呈現出復雜的非線性關系。因此,盡管線性回歸算法易于實現且具有較強的解釋性,但在捕捉混合學習中影響學習成績的多維因素方面,其預測準確性往往不佳。
為克服這一問題,機器學習模型已被用于預測學生成績。如博蘭·塞克羅格魯(Sekeroglu,B.)等采用支持向量機等方法預測學生成績,分析結果證實了該算法在預測成績數據方面的有效性(Sekerogluetal.,2019)。羅楊洋和韓錫斌(2022)對邏輯回歸、多層感知器、隨機森林、多核支持向量機和樸素貝葉斯算法進行了比較,發現模型內在推理機制會影響學習行為與成績間的映射關系,從而影響預測效果。例如,隨機森林通過組合多個回歸決策樹(基學習器)進行預測,而樸素貝葉斯則計算學生行為匹配各成績等級的概率,選擇概率最高的作為預測輸出。焦等(Jiao etal.,2022)利用遺傳編程算法,開發了學生成績預測模型,且具有較高準確性和有效性。然而,“沒有免費的午餐”定理(NoFreeLunchTheorem)表明,沒有一個算法可以在所有情況下總是產生最準確的模型,由此推動了集成學習的發展。集成方法通過整合多種機器學習算法優勢,采用概率平均或投票機制,以減少單一模型的偏差和方差,往往能提供比單一模型更準確的預測結果(Shanthini etal.,2018)。例如,班文靜等(2022)通過融合神經網絡、決策樹等多種算法預測學習者在線學習成績,結果表明多算法融合預測精準性優于單一算法。此外,有學者(Adejoamp;Connolly,2018)通過應用決策樹、人工神經網絡和支持向量機三種算法的集成方法來預測學生成績,發現集成技術有效提高了預測準確性。然而,鑒于機器學習模型和架構的多樣性,每種模型都需要精確的超參數調整以實現最優性能,這顯著增加了模型開發和部署過程的復雜性,并大幅延長了所需時間,降低了模型在教學應用中的實用性。因此,仍需要更加自動化的解決方案,以簡化模型的選擇和優化過程。
(二)基于自動化機器學習的成績預測研究
AutoML旨在通過自動化方式處理機器學習任務,通過自適應優化各種算法的超參數,在眾多算法中篩選出最優算法組合,以達到最佳性能(Zeineddine etal.,2021)。這一過程顯著減少了人工選擇方法中的主觀性,在精確性和效率上通常優于單一算法(Kotthoff etal.,2017)。已有研究證明了AutoML在預測學生學習表現方面的實用性。例如,瑪麗亞·齊阿克馬基(Tsiakmaki,M.)等基于學生在線學習平臺參與度數據,探討了AutoML在教育數據挖掘中預測學習結果的有效性,并發現其顯著提高了傳統機器學習算法的效率(Tsiakmakietal.,2020)。哈桑·澤內丁(Zeineddine,H.)等利用學生在新課程開設前的多元數據特征,借助AutoML顯著提升了對學生未來表現的預測能力(Zeineddine etal.,2021)。尤達·N.姆尼亞瓦米(Mnyawami,Y.N.)等使用AutoML開發了高準確率的學生輟學預測模型,能夠及時識別可能導致學生輟學的風險因素,以便進行個性化的早期干預(Mnyawami et al.,2022)。
總的來說,AutoML不僅提升了預測的準確性,也幫助教師在無須深入理解機器學習技術細節的情況下,構建出高性能的預測模型。然而,盡管AutoML在教育領域取得了一定進展,但其在成績預測方面的研究仍存在不足。目前研究多集中于對學生在線學習成績的預測,對混合學習成績的預測研究相對較少。混合場景中線下教學數據的獲取難度、多源異構數據的特征融合等問題,對Au-toML的特征處理能力提出更高要求。
(三)成績預測模型的可解釋性研究
機器學習方法雖然可以更有效地處理非線性關系,從而提高成績預測的準確性,但這些方法多具有“黑箱”特性,在模型的可解釋性方面存在局限,影響了預測結果的進一步應用和反饋。研究(羅楊洋amp;韓錫斌,2022)發現,在混合學習中預測學生行為模式與學習成績間的關系時,模型難以達到理想的預測效果。AutoML可以借助SHAP高級解釋工具分析學習行為變量的重要性(Lund-bergamp;Lee,2017)。SHAP基于合作博弈論的Shapley值來量化各輸人變量的相對重要性,進而分析這些變量對預測結果的影響,已在多個研究中驗證了其在成績預測變量分析中的有效性。例如,已有學者(Mingyuetal.,2022)開發了基于Catboost和SHAP的大學生學業預警方法,對學業危機進行可解釋性分析。研究發現,既往成績、所獲獎項、就讀專業、宿舍氛圍、早餐用餐時間和良好的閱讀習慣等因素對學習成績有重要影響。然而,這些因素大多屬于基本信息,學生的行為數據尚未被吸納進人考慮的范疇。
綜上所述,在構建預測模型時,雖然線性回歸或單一機器學習模型由于實現相對簡單,常被用于成績預測模型的開發,但往往存在模型精度不足問題。相比之下,復雜的集成模型在預測性能上表現出色,具有更高的預測準確性。然而,這些模型的部署過程較為復雜,對使用者的技術水平要求較高,這使得普通教師難以操作應用。此外,這些集成模型通常被視為“黑箱”,不利于其在實際教學中推廣和應用。在研究變量的選擇上,目前研究多數集中于學生的基本信息和在線行為數據。然而,在混合學習中,課堂參與度也是評估學生學習努力程度的重要方面,學生的參與頻次、發言質量和互動情況等不僅反映了其學習態度,還可能顯著影響其學習成績,因此應被納人預測模型的考量范圍。基于此,本研究進一步探索如何綜合考慮各種學習行為變量,特別是課堂參與數據,以構建更高效、更具解釋性的預測模型。通過引人AutoML和解釋性分析方法,本研究旨在開發一種易于部署且易于理解的混合學習成績預測智能模型,以提高預測準確性,并幫助教師更好地理解哪些學習行為對學生成績有顯著影響,從而提供更具針對性的教學支持和反饋。
三、研究設計
(一)研究對象與數據采集
本研究以中國東北地區某高校教育技術學專業的“計算機網絡”和“教學技術與媒體”兩門混合課程為實驗對象。其中,“計算機網絡”課程數據被用作訓練集,“教學技術與媒體”課程數據用作驗證集,兩門課程分別由不同學生選修,訓練集與驗證集的學生群體不存在重疊。兩門課程均采用相同的混合教學模式,其中教師在課堂上面對面講解關鍵知識點,并通過實踐項目協作討論的方式,觀察學生的課堂參與表現。同時,通過Moodle在線學習平臺進行補充教學,該平臺不僅提供教師上傳的學習資源,而且支持學生通過發帖和回帖進行異步討論,從而加深對知識的理解,促進知識的深人交流。平臺的日志數據,如登錄次數、登錄時長和資源學習次數等,被用來分析學生的在線學習行為。
此外,課程中融人了協作學習模式的實踐項目,以增強學生的實踐能力。例如,“計算機網絡”課程中學生被分為10個小組,每組3至4人,任務為“使用思科模擬器設計一個校園網絡拓撲結構”。“教學技術與媒體”課程中學生被分為16個小組,每組4至5人,任務為“基于ASSURE模式,做一個完整的教學設計”和“根據上次ASSURE模式作業選題,制作微課”等。對每個小組在協作完成任務過程中的表現進行了完整錄制,以捕捉過程數據并分析學生的協作表現。課程結束后,學生進行自我反思,并填寫一份調查問卷,評估他們在該門課程中的知識掌握情況。兩門課程的數據收集方式相同。
(二)混合學習成績影響因素選擇
混合學習環境中,學生成績的預測是一個多因素共同作用的復雜過程,其影響因素主要包括學生的基本信息、線下學習表現和線上學習行為等。已有研究表明,學生成績與性別有密切關系(王改花amp;傅鋼善,2019)。此外,學生的認知能力和既往學習成績(如先前知識水平)對當前成績有影響(Yeoet al.,2022),同時學生對知識的掌握程度也被證實是決定其學習成績的關鍵因素(Ji-ao etal.,2022)。與學習行為相關的因素,如在線平臺登錄頻次和課堂表現,同樣對學習成績具有顯著預測作用(許煒 等,2021)。基于社會建構主義理論,本研究將實踐項目中的協作話語作為衡量學生課堂參與度的關鍵指標,整合話語參與度維度(發言時長、發言頻次、發言質量),并結合已有研究中廣泛使用的學生在線平臺日志數據(Conijnetal.,2018),構建學生成績預測模型。通過皮爾遜相關分析和方差膨脹因子( VIFlt;10 )檢驗,有效排除了多重共線性問題,確保了模型的穩健性。模型最終整合12個輸人變量(見表1),分為六大類:1)人口統計學變量,如性別;2)先前知識水平,如先前知識成績;3)平時作業成績,如章節課后作業成績;4)實踐項目表現,包括討論參與時長、討論參與次數、協作發言質量和小組互評成績;5)平臺參與表現,涵蓋平臺登錄次數、平臺登錄時長、發帖/回帖數和平臺資源學習次數;6)知識掌握度,即課程結束后學生對所學知識的自我評價。這些變量的綜合分析將有助于深人理解學生學習成績的形成機制。
表1預測模型輸入變量

(三)數據預處理
本研究基于Moodle平臺上的日志數據分析學生在線學習行為。“教學技術與媒體”課程日志記錄包含26,235條學習行為,“計算機網絡”課程日志記錄了14.381條學習行為,通過對原始數據進行預處理,包括數據篩選、清洗與標準化處理,將其轉化為可量化的行為指標,如平臺登錄次數、平臺登錄時長等,從而得到學生平臺參與表現數據。針對部分行為指標(如發帖/回帖數、平臺資源學習次數等)存在的缺失值問題,研究采用零值填補法進行處理,將其統一賦值為0,表明學習者沒有參與此學習活動。
本研究以課程實踐項目為切人點,系統分析學生的課堂學習行為。實踐項目采用協作學習模式,小組成員通過討論、交流理解和共同探究完成協作任務,從而體現其參與度并鍛煉其實踐能力。將學生在討論中的話語轉錄成文本,“計算機網絡”課程共記錄9,206條話語,“教學技術與媒體”課程共記錄9,186條話語,這些話語內容由兩名接受過專門培訓的編碼人員按照預先設定的編碼方案進行分析和編碼(見表2),編碼結果的Kappa值為0.86,表明編碼的一致性較高。該編碼方案設定三個級別的知識貢獻,即初級、中級和高級,分別賦值參數1、2、3(Ouyang&Chang,2019)。依據此方案,每位學生的協作發言質量通過計算加權分數來評估。此外,小組互評成績包含合作參與、團隊貢獻、溝通能力、創造能力和學習態度指標,用于評價學生在協作學習中的表現。同時,學生的知識掌握度通過問卷進行評估。問卷共包含7個問題,每個問題都要求學生就他們在課程中遇到的一個主要主題的知識水平進行自評,采用5分量表進行打分(1分代表不理解主題,5分代表理解主題)。通過這些評估指標,能全面了解學生在課程中的學習表現和知識掌握情況。
表2協作發言質量編碼方案

注:最終加權分數的計算公式為 Nsκ+2Nmκ+3NDK° 其中,N代表數量,即協作學習發言中出現的頻率。SK、MK、DK分別賦值參數1、2、3,表示權重逐漸增加。
為了將多源數據統一到相同尺度并消除不同量綱范圍帶來的偏差,本研究對數據進行歸一化處理。該過程涉及將屬性值標準化到[0,1]區間。具體如公式(1)所示,其中 xmin 和 xmax 代表某特征值的最小和最大值, x 是原始特征值, ?m 是歸一化后的新值(錫南·厄茲代米爾amp;迪夫婭·蘇薩拉,2019,p.67)。此外,AutoML通常集成了特征選擇和特征生成工具,這些工具能夠自動識別和創建對模型性能具有顯著影響的特征。這種自動化特征處理過程不僅能夠提高模型的預測準確性,還能增強模型在不同應用場景下的泛化能力和效率。

四、模型構建與解釋
(一)預測模型構建
教育數據中變量間普遍存在非線性關系(孫皓amp;宋平平,2022)。例如,學生的成績不僅僅與他們的在線學習時間成正比,還與課程內容的難度(劉玲amp;汪瓊,2021)、學生的互動模式(王瑩等,2017)等因素密切相關。傳統的線性回歸模型往往無法有效捕捉學生行為、成績與平臺互動之間復雜的非線性依賴關系。因此,選擇多變量非線性回歸模型能夠更好地建模這些非線性關系,并提供更準確的預測結果。本研究將成績預測視為多變量非線性回歸問題,進而基于AutoML構建了多因素驅動的成績預測模型。具體來說,將學習成績建模為多種預測因子的非線性映射函數 fx ,如公式(2)。
其中, p 表示對應的預測變量。在本研究中,我們使用AutoML來構造 fx 0
目前AutoML的實現主要基于超參數優化、元學習和神經架構搜索三種策略(Heetal.,2021)。由于元學習和神經架構搜索技術通常在大規模數據集上表現最佳,而本研究的數據集規模有限,因此選擇了基于超參數優化,并以進化計算為核心的AutoML框架——樹型管道優化工具(Tree-based Pipeline Opti-mizationTool,TPOT)。混合學習成績預測涉及多種因素的非線性組合,這與TPOT自動選擇非線性回歸算法的能力高度契合。
TPOT是一種基于遺傳算法的AutoML框架,能夠在各種可能的機器學習管道中自動尋優,并實現特征選擇、模型選擇、超參數優化,最終生成最佳的預測管道。其靈活的管道組合能力,能夠支持結構化與非結構化數據的聯合建模,在特征復雜且數據規模有限的環境下,更有利于挖掘非線性特征交互并抑制過擬合,從而更適合本研究對混合學習環境數據進行建模的需求。相比之下,其他常見AutoML框架,如Auto-Sklearn和H2O在小樣本且包含高維文本特征的場景中,易在搜索或特征擴展階段出現過擬合或維度過載問題。因此,使用TPOT作為本研究的AutoML框架更能凸顯其在混合數據處理、模型可泛化性以及操作靈活性上的綜合優勢。具體而言,TPOT生成一組隨機管道,并根據它們在數據集上的交叉驗證準確率進行評估。通過突變和交叉過程選擇、復制和修改性能優異的管道。經過多次迭代,逐步提高性能并降低管道復雜性,最終收斂到在數據集上表現最佳的管道。最后,通過多次重復過程,并采用貪心算法集成最優模型,生成TPOT優化過程的最終輸出,
本研究中,主要過程如下(見圖1):1)定義搜索空間:選取多種先進的機器學習算法,構建模型候選庫,并為每種算法定義超參數;2)構建搜索策略:采用進化算法進行超參數優化,自動調整每種算法的超參數,以獲得各個最佳預測性能;3)最優模型集成:運用貪心算法對模型進行集成,通過整合多個模型的預測結果提升整體預測精度;4)可解釋性分析:使用SHAP計算每個輸入變量對預測結果的平均邊際貢獻,進行關鍵變量的重要性分析。基于以上的預測及可解釋性分析結果,教師可以根據學習者的具體情況,通過可視化課堂參與度和自主作業完成情況等關鍵行為變量,提供針對性的反饋和干預策略,促進學生個性化和自主化學習。
圖1基于AutoML的混合學習成績預測智能模型

(二)預測模型評估
為了驗證提出的混合學習成績預測智能模型的有效性,首先使用“計算機網絡”課程數據進行模型訓練,然后使用“教學技術與媒體”課程數據進行模型驗證,二者完全獨立。這種跨課程的驗證方式本質上屬于二折交叉驗證,有效避免了隨機交叉驗證可能造成的數據泄露,確保了模型泛化性能評估的客觀性。研究采用決定系數 (R2) )、均方根誤差(RMSE)和平均絕對誤差(MAE)三個指標來評估預測模型的性能(Chiccoetal.,2021)。其中, R2 衡量預測結果與實際結果之間的相關性,其值范圍從0至1, R2 值越高,表明模型預測能力越強。RMSE評估預測值與實際值之間差異的標準差。而MAE則通過計算預測值與實際值之間的平均絕對差來衡量預測的準確性。理論上,RMSE和MAE值越低,表明模型預測效果越好。
為直觀展示預測模型的性能,本研究對AutoML與其他傳統機器學習模型在預測學習成績方面的效果進行了對比(如圖2),包括極端梯度提升機(eXtremeGradient Boosting,XGBoost)、決策樹(Decision Tree,DT)、隨機森林(Ran-domForest,RF)、遺傳編程(Genetic Programming,GP)、支持向量機(SupportVector Machine,SVM)、 k- 最近鄰(k-NearestNeighbor,KNN)和神經網絡(NeuralNetwork,NN)。通過比較這些模型的預測值與實際值之間的一致性,發現AutoML的 R2 最高,達到0.8,在預測準確性方面優于其他模型。同時,Au-toML的RMSE和MAE值均低于其他模型,表明其預測誤差較小,其預測與實際結果之間的擬合度最優。而單一的機器學習模型預測性能上表現往往較弱,其預測值相對于實際值分布更為分散。總之,精度評定結果證明,AutoML通過有效的集成策略顯著降低了模型的偏差和方差,從而提高了混合學習成績預測的準確性和可靠性。
圖2AutoML預測模型與其他模型預測效果對比

課程采用過程性和總結性評價相結合的方式得到學生實際成績,包括學生的出勤情況、課堂表現、實踐項目作品得分以及期末考試成績。圖3比較了驗證課程中實際真實成績與AutoML生成的預測結果。結果顯示,AutoML能夠準確捕捉課程中71名學生的成績分布模式,證明了該預測模型的準確性和有效性。因此,本研究基于AutoML開發的混合學習成績預測模型能夠有效預測學生的成績,為教師根據學生的個性化需求進行干預提供了有力依據。
(三)可解釋性分析

雖然AutoML在自動化優化方面具有強大優勢,但由于其“黑箱”性質,最終的預測結果往往缺乏透明度。為增強模型的可解釋性,本研究采用SHAP量化每個特征對模型預測結果的貢獻。SHAP可以為每個特征生成一個影響分數,以便深入理解模型是如何基于不同特征做出預測。通過分析樣本的Shapley值與各變量之間的關系,SHAP可以評估各變量對成績預測的具體影響。圖4(a)展示了SHAP匯總圖,其中橫軸表示SHAP值,用于量化每個變量對模型輸出的貢獻大小。點越遠離中心線(零點),該變量對模型輸出的影響越大。縱軸則按變量重要性從上到下排列,每個點的顏色變化(從淺到深)代表該變量的值從低到高,點的密度則反映了數據集中該特征值的分布情況,揭示了特征值的集中趨勢(ColakOzetal.,2023)。由于每個變量的SHAP值分布范圍不同,將所有樣本的SHAP值取絕對值后求平均,可以得到每個變量特征的整體重要性。如圖4(b)所示,橫軸表示重要程度,縱軸表示特征變量。
圖4影響成績的特征變量SHAP值分布

圖4的結果表明,平時作業成績是預測學生成績最重要的變量,其通過形成性評價機制有效促進學生的元認知調節與學習策略優化(Nicolamp;Macfar-lane-Dick,2006)。其次,平臺登錄時長、協作發言質量、討論參與時長和次數等也能顯著預測學習成績,這些變量主要反映了學生在在線學習平臺的參與程度及實踐項目中的表現,表征了學生的參與度和學習投人水平。具體而言,平臺登錄時長體現了學生在自我調節學習中的計劃與執行能力(喬麗方等,2022),表明其具備持續的學習動機和良好的時間管理能力,是預測學習成功的重要因素。協作發言質量通過展現學生的認知投人和差異化特征(劉清堂等,2024),有效揭示了學習深度。高質量的協作發言,如批判性質疑和概念重構,能有效引發認知沖突并促進高階思維發展,符合列夫·維果茨基(Vygotsky,L.)提出的社會文化理論所強調的社會互動促成認知發展機制(王光榮,2014)。同時,討論參與時長與次數作為學生活躍度的量化指標,不僅展示了其學習過程中的持續參與和社交互動能力,還揭示了知識建構的社會化過程,其預測效應支持了社會建構主義理論,即協作對話驅動認知發展(Mercer,1996),強調社交參與不僅是學習的外在表現,更是認知發展的動力機制。值得注意的是,這些變量相互作用,高頻參與討論的學生往往能發表高質量言論,顯示社交互動可以強化認知加工,促進知識內化,形成“參與一反饋一提升”的良性循環。相較而言,靜態個體特征(如性別、先前知識水平)對學生成績的預測作用相對較弱,這一發現與過程性數據較靜態特征更具預測效度的研究結論一致(Tempelaar et al., 2021)。
這些發現凸顯了學習過程中主動參與和高質量互動的重要性,表明它們在預測學習成績方面起著關鍵作用,而傳統被認為重要的變量,如性別和先前知識水平,在此模型中的影響則相對較小。這些結果為教學實踐提供了重要啟示,教師應結合動態學習行為分析方法,關注學生的參與頻次與互動質量等關鍵維度,實施數據驅動的精準教學干預。尤其是對于參與度不足或互動較少的學生,教師可以采用引導性討論、同伴互助等方式,提升學生學習投人和參與水平,從而有效改善學習效果。
五、研究討論與啟示
(一)研究討論
在混合學習中,分析學生的學習過程、預測其成績并提供精準的個性化反饋和干預措施,是當前混合教學研究的核心議題。盡管已有多項研究探討了學生成績預測方法,但混合學習環境因其獨特的數據特性而具有特殊挑戰。阿迪蒂亞·謝沙德里(Sheshadri,A.)等指出,混合學習生成的數據面臨更多挑戰,主要是因為這些數據往往缺乏對學生日常行為細節的全面反映,因此通常難以完整描述學生的綜合表現(Sheshadrietal.,2019)。本研究收集了兩門混合課程中學生學習過程數據,涵蓋了六大類別共12個變量,包括學生的人口統計學變量、先前知識水平、平時作業成績、實踐項目表現、平臺參與表現和知識掌握度等。這些變量全面反映了學生線上和線下的參與情況,為構建精準且有效的成績預測模型提供了多元且豐富的數據基礎
本研究基于AutoML構建了一個高效的混合學習成績預測智能模型。經過綜合比較,AutoML預測模型在多個評估指標上(如 R2 、RMSE和MAE)均顯著優于傳統單一模型(如支持向量機、神經網絡)以及其他集成學習方法(如XG-Boost、隨機森林)。此外,在另一門采用相同混合學習教學模式的課程中對模型進行了驗證,結果表明該模型具有較高預測精度,能夠提供準確的成績預測結果。通過使用AutoML,本研究不僅實現了成績預測過程的自動化,而且顯著降低了模型構建和應用的技術難度,使教師等非專業用戶能夠高效使用這一工具。本研究驗證了AutoML在提升模型準確性和操作效率方面的顯著優勢,為精確預測學生學習成績提供了一個可靠的方法。
本研究應用SHAP深人分析了影響學生混合學習成績的關鍵變量及其重要性,揭示了各變量在整體成績預測中的貢獻度和相互關系。相比于傳統回歸方法,SHAP通過利用Shapley值量化每個變量對成績預測的具體貢獻,有效增強了模型的可解釋性和可信度。研究發現,平時作業成績是影響學生成績的最關鍵因素,這與陸等(Luetal.,2018)的研究結果一致,他們指出常規考試分數和測驗分數能有效預測學生最終成績。從教育心理學視角看,持續性的評估機制能夠促使學生定期復習和鞏固知識,有助于形成穩定的知識結構,從而提升學習效果。此外,平臺登錄時長、協作發言質量、討論參與時長和次數等平臺參與表現及實踐項目表現,均對學生成績具有顯著影響。這一發現凸顯了協作學習在知識建構中的重要性,表明協作與交流是深化理解與培養批判性思維的關鍵途徑,與陳等(Chen etal.,2023)的研究結果一致,即在混合課程中表現優異的學生通常在課堂互動與小組活動中展現出更高參與度。相比之下,學生的先前知識水平和性別對學習成績影響相對較小。這與焦等(Jiaoetal.,2022)的研究結論相符,表明不同背景知識水平的學生通過課程學習后能達到類似的成績水平。這可能是因為課程的設計和協作學習策略能夠在一定程度上彌補先前知識的差異,使學生獲得相對均衡的知識和技能。
總之,本研究不僅識別了影響學習成績的關鍵變量,還為混合學習環境下的課程設計和教學干預提供了有力的數據支持,使教師能夠根據學生在課程學習過程中的表現進行精確干預和指導,優化教學資源配置,從而提高教學效率和質量。特別是在實踐性課程中,本研究構建的模型能夠有效評估學生的過程表現,為教師提供深人理解學生學習過程的工具,并針對性地進行教學調整。研究結果凸顯了數據驅動的教學干預策略的重要性,為科學精準的教育決策提供了實證依據。
(二)研究啟示
1.AutoML在混合學習成績預測中的優越性
混合學習中的成績受多種因素影響,因此提升其預測準確性和高效性成為一個挑戰。本研究所提出的AutoML預測模型,雖未顯示展開具體算法組合及其超參數設置過程,但正是其內置的自動化、自適應優化策略,使得無須人工干預即可高效地獲得最佳模型配置。這種機制有效避免了手動調參帶來的主觀性和局限性,充分體現了AutoML在教育實踐中應用的易用性與高效性,滿足了教育領域快速、精準且易操作的技術需求。AutoML在混合學習成績預測中展現出顯著的潛力,主要表現在以下幾個方面:1)提高了預測模型的開發效率。通過自動化的模型選擇和超參數調優,AutoML減少了對專業知識的依賴,使教育者能夠更容易地部署和使用高效的學習成績預測模型。2)增強了對學生行為變化的響應能力。AutoML的高效特性使其能夠根據輸人數據(如學生的互動頻率、討論參與度等動態數據)進行實時分析,快速捕捉學生行為的變化趨勢。依據這些變化,教師可以提供關于學生學習進度和參與質量的詳盡反饋。3)促進了個性化教學策略的實施。通過準確分析學生的學習行為和成績表現,教師可以為每位學生定制個性化的學習計劃,以適應他們的學習速度和能力,從而優化教學資源的配置和使用,提升教學效果。
2.在混合學習場景中應用成績預測模型的建議
本研究構建的成績預測智能模型為混合教學中的學習診斷和個性化支持提供了數據驅動的決策依據,有效促進教師在混合學習環境下實施精準教學。1)本模型基于AutoML開發,這不僅克服了教育數據小樣本條件下的建模挑戰,還通過自動化調參實現了高效且準確的成績預測;2)基于SHAP分析揭示了關鍵學習行為與學習成績之間的量化關系,為精準教學干預提供了可解釋的數據支持。該模型不僅提升了學業風險識別的時效性,更通過可解釋的行為特征分析,使教學干預更具針對性。
本研究發現,在混合學習中,學生的最終成績與其平時作業成績、實踐項目參與表現和平臺參與表現等密切相關。基于此,提出以下幾點在混合學習中應用成績預測模型的建議:1)平時作業成績作為形成性工具。平時作業成績是預測學生表現的最關鍵變量,建議教師將平時作業成績用作形成性評價工具,而非僅僅作為總結性評價工具,通過階段性公布成績激發學生在課程中取得更好成績的動力。2)提升學生學習過程中的參與度。與前人研究結果(Jiao et al.,2022)一致,本研究表明學生的參與度是其學習表現和成效的關鍵指標。一般來說,在課堂討論和在線學習平臺中更積極參與的學生,往往在課程中表現更為優異。為了進一步促進學生的積極參與,建議結合人工智能技術,開發相應的群體感知工具來實時監控并反饋學生在學習過程中的表現,包括協作討論的發言時長和次數、平臺登錄頻率以及資源的使用情況。此外,這些工具還應提供表現優秀的小組和班級成員的活躍度信息,從而進一步激勵所有學生的積極性。3)關注發言質量。學習者的發言質量會顯著影響其學習成績。發言質量在一定程度上反映了學習者對知識點的掌握程度以及是否進行了深人思考,從而體現了其高效、高質量完成任務的能力。然而,在協作學習過程中,學習者往往意識不到其發言質量的重要性。基于此,教師可以借助人工智能和深度學習技術實現話語智能化編碼,并提供及時反饋。例如,在協作知識建構的會話中(馬志強等,2022),通過實時反饋系統鼓勵學生進行更深人的思考和討論。這樣的技術應用不僅增強了課堂互動的質量,還促進了學生對知識的深層理解和應用。
六、結語
本研究基于AutoML,開發了一種用于混合學習環境中的學生成績預測智能模型,顯著提高了成績預測的準確性。利用SHAP進行模型的可解釋性分析,揭示了影響學生成績的關鍵變量,特別強調了學生動態參與數據的重要性。基于自動化預測模型和數據驅動的教學策略不僅能極大提高教育研究和實踐的效率,也突出了技術在促進教育個性化和優化學習成效評估中的關鍵作用。通過實施這些策略,教育者可以更有效地設計和實施教學策略,從而優化學生學習成效。然而,本研究仍存在一些挑戰。首先,在預測模型開發過程中,輸入變量的數據清理和分析,尤其是學生話語內容的手動編碼,仍然存在工作量大、主觀性強等問題。未來的工作應致力于整合自動內容分析技術,以構建具備端到端、實時化等特點的預測模型。其次,盡管本研究通過將一門混合學習課程的數據作為訓練數據集,另一門課程的數據作為驗證數據集,初步驗證了模型在跨課程場景中的遷移能力,但目前所用數據集在學科覆蓋度與教學模式多樣性上仍存在一定局限。為全面評估模型的可擴展性和適應性,未來研究將納入更廣泛的學習行為數據,利用不同混合學習課程進行多次迭代驗證,全面測試模型在不同教育環境的普適性。最后,本研究僅利用學生數據進行成績預測,未來將進一步強化成績預測智能模型在教育領域的應用,探索如何利用早期學習行為數據進行有效干預,以提升精準教學的實際效果。
參考文獻
班文靜,姜強,amp;趙蔚.(2022).基于多算法融合的在線學習成績精準預測研究.現代遠距離教育(3), 37-45.
劉玲,amp;汪瓊.(2021).混合教學模式下學生學習投入的特點及影響因素研究.現代教育技術(11), 80-86.
劉清堂,苗恩慧,鄭欣欣,尹興翰,amp;李小娟.(2024).教學代理的個性化情感反饋對大學生在線同步討 論學習投入的影響研究.遠程教育雜志(4),31-39,63.
羅楊洋,amp;韓錫斌.(2021).基于增量學習算法的混合課程學生成績預測模型研究.電化教育研究(7), 83-90.
羅楊洋,amp;韓錫斌.(2022).混合課程學生成績預測模型的可解釋性探究.中國遠程教育(6),46-55.
馬志強,郭文欣,amp;王萌.(2022).面向協作知識建構會話內容的智能挖掘分析.現代遠距離教育(1), 3-13.
喬麗方,趙蔚,段紅,amp;徐曉青.(2022).基于隱馬爾可夫模型的學習者在線自我調節學習過程挖掘 時間動力學視域下的分析.電化教育研究(10),57-64.
舒瑩,姜強,amp;趙蔚.(2019).在線學習危機精準預警及干預:模型與實證研究.中國遠程教育(8), 27-34,58,93.
孫皓,amp;宋平平.(2022).大數據環境下在線學習績效的監測預警模型構建與應用——基于非線性門限 回歸模型.現代遠距離教育(5),20-29.
王改花,amp;傅鋼善.(2019).網絡學習行為與成績的預測及學習干預模型的設計.中國遠程教育(2), 39-48.
王光榮.(2014).發展心理學研究的兩種范式——皮亞杰與維果茨基認知發展理論比較研究.華中師范 大學學報(人文社會科學版)(5),164-169.
王瑩,肖宏偉,amp;徐揚.(2017).基于移動互聯網的在線學習成績評價模型研究.中國電化教育(3), 132-137.
錫南·厄茲代米爾,amp;迪夫婭·蘇薩拉.(2019).特征工程入門與實踐(莊嘉盛譯).人民郵電出版社.
許煒,劉文同,詹曉慶,徐學軍,amp;陳小麗.(2021).基于大學課堂學習行為的成績預測方法研究.現代教 育技術(6),104-111.
Adejo,O. W.,amp; Connolly,T.(2018).Predicting student academic performance using multi-model heterogeneous ensemble approach. Journal of Applied Research in Higher Education,10(1),61-75.
Agrapetidou,A., Charonyktakis,P.,Gogas,P.,Papadimitriou,T.,amp; Tsamardinos,I. (2021). An AutoML application to forecasting bank failures.Applied Economics Letters, 28(1),5-9.
Bernacki, M.L., Chavez, M. M.,amp; Uesbeck,P.M. (202O). Predicting achievement and providing support beforeSTEMmajors begin to fail.Computersamp; Education,158,103999.
Chen,R.,Lai,F.,Li,Y.,amp; Wang, X. (2O23). Genetic programming-enabled prediction for students academic performance in blended learning.In M.B.Frutos,F.Paas,amp; M. Ohland (Eds.),Proceedings of the 15th International Conference on Education Technology and Computers (pp.297-303). ACM Press.
Chicco,D., Warrens,M.J.,amp; Jurman, G.(2O21). The coefficient of determination R -squared is more informative than SMAPE, MAE, MAPE, MSE and RMSE in regression analysis evaluation. Perj Computer Science, 7,e623.
Colak Oz,H., Guven, C.,amp; N?poles, G. (2O23). School dropout prediction and feature importance exploration in Malawi using household panel data: Machine learning approach. Journal of Computational Social Science, 6(1),245-287.
Conijn,R.,Van den Beemt,A.,amp; Cuijpers,P. (2O18).Predicting student performance in a blended MOOC. Journal of Computer Assisted Learning, 34(5), 615-628.
He,X.,Zhao,K.,amp; Chu,X.(2O21).AutoML: A survey of the state-of-the-art.Knowledge-Based Systems, 212,106622.
Jiao,P.,Ouyang,F., Zhang,Q.,amp; Alavi,A.H. (2022).Artificial intelligence-enabled prediction model of student academic performance in online engineering education. Artificial Inteligence Review, 55(8), 6321-6344.
Kotthoff,L.,Thornton, C.,Hoos,H.H.,Hutter,F.,amp;Leyton-Brown,K. (2017).Auto-WEKA 2.0: Automatic model selection and hyperparameter optimization in WEKA.Journal of Machine Learning Research,18(1), 826-830.
Lu,O.H.,Huang,A.Y.,Huang,J. C.,Lin,A.J.,Ogata,H.,amp; Yang,S.J. (2018).Applying learning analytics for theearly prediction of students’academic performance in blended learning.Journal of Educational Technology amp; Society, 21(2),220-232.
Lundberg,S.M.,amp;Lee,S.I. (2O17).Aunifiedapproach to interpreting model predictions.In U.vonLuxburg, I. Guyon,S.Bengio,H.Wallach,amp;R.Fergus (Eds.),Proceedings of the 3lst International Conference on Neural Information Processing Systems (pp. 4768-4777). Curran Associates, Inc.
Luo,Y.,Han, X.,amp; Zhang, C.(2O24).Prediction of learning outcomes with a machine learning algorithm based on online learning behavior data in blended courses.Asia Pacific Education Review,25(2),267-285.
Mercer,N. (1996). The quality of talk in children’s collaborative activity in the classroom. Learning and Instruction,6(4),359-377.
Mingyu,.,Sutong, W., Yanzhang, W.,amp; Dujuan, W.(2O22). An interpretable prediction method foruniversity student academic crisis warning. Complex amp; Intelligent Systems,8(1),323-336.
Mnyawami,Y.N.,Maziku, H.H.,amp; Mushi,J.C. (2O22). Enhanced model for predicting student dropouts in developing countries using automated machine learning approach: A case of Tanzanian’s secondary schools.Applied Artificial Intellgence, 36(1),2071406.
Nicol,D.J.,amp; Macfarlane-Dick,D. (2Oo6).Formative assessment and self-regulated learning:A model and seven principles of good feedback practice.Studies in Higher Education, 31(2),199-218.
Ouyang, F.,amp; Chang, Y.H. (2O19). The relationships between social participatory roles and cognitive engagement levels in online discussions.British Journal of Educational Technology, 50(3),1396-1414.
Sekeroglu,B.,Dimililer,K.,amp; Tuncal, K. (2o19).Student performance predictionand classficationusing machine learning algorithms.In M.D. Ventura (Ed.),Proceedings of the 2O19 8th International Conference on Educational and Information Technology (ICEIT 2019) (pp.7-11).ACM Press.
Shanthini,A.,Vinodhini, G.,amp; Chandrasekaran,R.M. (2O18).Predicting students’ academic performance in the university using meta decision tree classifiers.Journal of Computer Science,14(5), 654-662.
Sheshadri,A.,Gitinabard,N.,Lynch,C.F.,Barnes,T.,amp; Heckman,S.(2O19).Predicting student performancebased on online study habits:Astudy of blended courses.In K.E.Boyer,amp; M.Yudelson (Eds.), Proceedings of the 1Ith International Conference on Educational Data Mining (EDM2018)(pp.402-407). International Educational Data Mining Society.
Tempelaar,D.,Rienties,B.,amp;Nguyen,Q. (2O21).The contributionof dispositional learning analytics to precision education. Educational Technology amp; Society,24(1),109-122.
Truong,A., Walters,A., Goodsitt,J.,Hines,K.,Bruss,C.B.,amp; Farivar,R. (2019). Towards automated machine learning: Evaluation and comparison of AutoML approaches and tools.InL.O’Conner (Ed.),Proceedings of the 2O19 IEEE 31st International Conference on Tools with Artificial Intelligence (ICTAl)(pp. 1471-1479). IEEE Press.
Tsiakmaki, M.,Kostopoulos, G., Kotsiantis,S.,amp;Ragos,O. (2O2O). Implementing AutoML in educational data mining for prediction tasks.Applied Sciences,10(1),90.
Xu,Z.,Yuan,H.,amp;Liu,Q.(202O).Student performance prediction based on blended learning. IEEE Transactions on Education, 64(1) ,66-73.
Yeo,J.H.,Cho,I. H.,Hwang,G. H.,amp; Yang,H.H. (2O22). Impact of gender and prior knowledge onlearning performance and motivation in a digital game-based learning biology course.Educational Technology Research and Development, 70(3), 989-1008.
Zeineddine,H., Braendle, U.,amp; Farah,A. (2021). Enhancing prediction of student success: Automated machine learning approach. Computers amp; Electrical Engineering, 89,106903.
Zhao,W.,Feng,S.,Liu,J.,amp; Sun,B.(2O23).An explainable intelligent algorithm for the multiple performance prediction of cement-based grouting materials. Construction and Building Materials,366,130146.
How to Predict Blended Learning Performance Accurately: Intelligent Model Construction and Interpretability Analysis
Guo Qian, Zhao Wei, Jiang Qiang, Lan Guoshuai and Xu Xiaoqing
Abstract: The importance of blended learning has become increasingly prominent,highlighting the necessity of predicting students’academic performance based on their learning behaviors for personalized instructional guidance in this context. However, due to the lack of sufficient quantification and utilization of blended learning process data, as well as the difficulty in accurately capturing the nonlinear relationships between learning behaviors and performance,current student performance prediction models still face numerous challenges in terms of prediction accuracy,practicality, and interpretability. By utilizing students’online and ofline learning process data and integrating collaborative learning approaches,this study employs Automatic Machine Learning (AutoML) to develop an intelligent model for predicting performance in blended learning environments. The results demonstrate that the AutoML prediction model outperforms comparative models in terms of three performance metrics: R -square (R2) ,root mean square error (RMSE),and mean absolute error (MAE),achieving superior predictive accuracy and generalization capabilities compared to traditional machine learning models. Furthermore,using the SHAP (SHapley Additive exPlanations) method, this study explores the impact of different variables on the prediction outcomes. The results indicate that the mainvariables influencing students’academic performance include regular assignment scores, platform login duration,quality of collborative discussion contributions,and duration of discussion participation. In contrast, prior knowledge level and gender have no significant impact on performance. The findings of this study provide robust support for educators to promptly monitor students’learning progress and offer personalized feedback and interventions.
Keywords: blended learning; performance prediction; Automatic Machine Learning;prediction model; SHAP
Authors:Guo Qian,doctoral candidate of the School of Information Science and Technology,Northeast Normal University (Changchun 130117); Zhao Wei,professorof the School of Information Science and Technology,Northeast Normal University (Corresponding Author: zhaow577@nenu.edu.cn Changchun 130117); Jiang Qiang, professor of the School of Information Science and Technology, Northeast Normal University (Changchun 130117);Lan Guoshuai,associate professor of the Faculty of Education, Henan University (Kaifeng 475004); Xu Xiaoqing,postdoctor of the School of Information Science and Technology,Northeast Normal University (Changchun 130117)