在線學習過程評價模型研究

摘要：在線教育的發展離不開科學的評價體系，而過程評價是開展科學評價的基礎。現有過程評價研究主要針對開放性平臺和主題化教學模式，其在高校的局域性應用還不充分。為此，文章采用主流的指標構成方法，確定了參與類、交互類、自律類三類共11個在線學習過程評價指標，并以此為依托設計了在線學習過程評價模型。之后，文章通過“學在浙大”在線教學平臺，獲取學生的在線學習行為數據，基于多元線性回歸模型篩選對學習效果具有顯著影響的在線學習行為，并通過聚合后的行為標簽計算權重，得出評價模型結果。最后，文章通過學生行為雷達圖和教師端看板對在線學習狀態進行了量化分析，為教師直觀掌握學生學習狀態、改進教學策略提供了有力的依據。文章的研究在一定程度上打破了“唯分數論”的評價現狀，為個性化教學提供了新思路。

關鍵詞：在線學習；過程評價；學習行為；學習成績

【中圖分類號】G40-057 【文獻標識碼】A 【論文編號】1009—8097（2023）07—0118—08 【DOI】10.3969/j.issn.1009-8097.2023.07.013

在新冠肺炎疫情的推動下，我國在線教育經歷了高質量發展和深層次變革。進入后疫情時代，在線教育的應用越來越普及，正逐步由“應急式”教學轉變為“常態化”教學。據2022年中國互聯網絡信息中心發布的報告統計，我國在線教學用戶規模已達3.77億^[1]。在線教育在學習形態、學習管理等方面存在諸多新特點，如何評價學生的在線學習質量已引起大量學者的關注^{[2][3][4][5][6]}。過程性評價和終結性評價是目前主流的評價模式^[7]，《教育評價改革總體方案》強調要“改進結果評價，強化過程評價，充分利用信息技術，提高教育評價的科學性、專業性、客觀性”^[8]。因此，僅采用結果導向的終結性評價不符合當下教育評價的改革戰略。過程性評價強調“因材施教”，能及時反映學生的學習情況，解決在線學習中教師無法感知學生行為的困難。

一 文獻綜述

自Biggs^[9]提出學習過程理論以來，過程性評價范式逐步形成，但因其評測點繁多、數據記錄復雜、評測系統關聯性較差等原因而未被廣泛應用。隨著互聯網技術的快速發展和大規模在線教學應用的不斷深入，過程性評價的可行性和必要性日益增強。

國內外學者對在線學習過程評價方法進行了大量研究，主要內容多為評價指標的設計和評價機制的探索。其中，各研究的指標構成可分為由基礎學習行為組成的共性指標和與研究主題相關的個性指標兩類。例如，沈欣憶等^[10]基于共性指標、學習積極性等個性指標，用專家排序和德爾菲法設計評價模型，對參加中國慕課大學先修課程（The Chinese MOOC Advanced Placement Course，MOOCAP）的學習者進行效果評價；喬偉峰等^[11]根據視頻學習、時間分布等共性指標和價值觀塑造等個性指標建立分析體系，通過顯著性分析法對校內學生的在線學習效果進行評價。國外學者的研究多為特定主題類的在線學習評價，如Muhammad等^[12]依據學生在游戲化課程中的行為活動識別學習者類型，采用視頻學習、課程作業等共性指標和任務積分、徽章成就等游戲相關的個性指標對學生的學習風格進行評價；Kizilcec等^[13]依據學習者的自我調節類（Self-regulated Learning，SRL）策略預測MOOC中的學習行為和目標達成情況，即通過學習者的SRL技能評價預測其過程行為和最終學習成效。

綜上，國內外關于在線教學過程評價的實證研究較少，主要針對開放性平臺和主題化教學模式進行研究，其適用性有待考察；部分研究集中于學習者的某一類屬性，缺乏整體設計。對此，本研究采用主流的指標構成方法，嘗試設計在線學習過程評價模型。

二 在線學習過程評價模型的設計

1 過程評價指標設計

本研究通過知網、WOS等檢索平臺，對2016～2022年主題為“在線學習行為特征”“在線學習過程評價”的論文進行分析，選取其中引用率最高的8篇國內外核心文獻作為樣本文獻，梳理其涉及學習行為的過程評價指標，結果如表1所示。其中，“共性指標”是指各核心文獻均有提及的基礎指標，而“個性指標”是指各核心文獻特有的研究指標。

綜上可知，各核心文獻的共性指標主要包括視頻學習、課件資源學習、學習時間分布、課程作業、課堂測驗、學習順序、論壇討論七個。而對于個性指標，國內外研究者主要針對研究主題來設計，如清華大學針對校內學生的自主能力，提出了價值觀提升、能力提升等指標；北京大學針對課外學習，提出了學習積極性、參與主動性等指標；國外文獻多數為特定主題類的學習評價，如游戲化學習、SRL學習等。

2 評價模型設計

本研究采用上述七個共性指標，結合學習行為的特性，將在線學習過程評價指標分為參與類、交互類、自律類三種^[22]：①參與類指標涵蓋整個在線學習活動周期的參與情況，即包括視頻學習（完成課程）、資源學習、課程作業、課堂測試。由于視頻學習分為錄播和直播兩種形式，為探索不同參與類型對學習成績的影響，本類指標還包括時間分布（直播參與）。②交互類指標包含師生交互、生生交互和課外學生與平臺、學習資源的交互，即包括論壇討論、視頻交互（重復觀看）和資源交互。③自律類指標主要反映學生的學習周期和學習規律，即包括學習頻率、學習時間和學習順序。三類共11個在線學習過程評價指標的具體內容如表2所示，其中參與類、交互類指標按照公式（1）進行歸一化處理，而自律類指標進行Min-max歸一化處理。

公式（1）

依托上述三類共11個在線學習過程評價指標，本研究設計了在線學習過程評價模型（如圖1所示），分為四大模塊：①數據生成模塊，包括學生在在線學習平臺上進行操作生成的學習過程行為數據；②數據存儲模塊，負責將生成的數據存儲至日志與數據庫，用作模型的輸入數據；③數據分析模塊，通過數據擬合分析學習行為與學習成績的關系，篩選出具有顯著性影響的學習行為，之后生成評價標簽并計算權重，給出評價得分；④結果反饋模塊，基于數據分析得出的結果制定過程評價方案，給師生提出具體的評價意見，并引導師生改進，形成整體閉環。

三 在線學習過程評價模型計算分析

1 數據采集

作為浙江大學打造的在線教育空間產物之一，“學在浙大”除了支撐日常線上課程，還能完整記錄師生的教學行為軌跡。本研究以2020～2021年度秋冬學期（疫情初期）“學在浙大”平臺上在線教學的2380門本科生課程為數據來源，采集了學生的在線學習行為數據。根據如圖2所示的數據采集流程，經過多重篩選，本研究最終得到23970個有效學習樣本。

2 模型理論分析

依據圖1的在線學習過程評價模型設計，開展在線學習過程評價是先通過數據擬合分析學習行為與學習成績的關系，然后篩選確定最終的評價指標并計算權重，可見擬合模型是評價模型的重要前提。多元線性回歸模型是用兩個或兩個以上的解釋變量來解釋因變量的一種模型^[23]，本研究采用此模型進行數據擬合。依托此模型，本研究探討了各類學習行為（用x表示）對因變量學習成績（用y表示）的影響。由于在線學習過程評價指標有11個，故x有11個，可用向量形式表示為（x₁， x₂， x₃， ……， x₁₁）。多元線性回歸方程如公式（2）所示，其中β₀為常數項，β₁……β₁₁為偏回歸系數；ε為隨機誤差，是不確定因素影響的總和，不能用自變量解釋的部分，獨立服從正態分布。

公式（2）

本研究采用逐步回歸方法，對自變量進行篩選。逐步回歸方法可以消除變量順序的影響并自動從大量變量中得到最優組合，其原理是按照各類學習行為對學習成績作用的顯著程度大小來決定是引入還是剔除。顯著性檢驗F值的計算如公式（3）所示，其中 為剩余平方和，l為步進數，v_k為待檢驗變量。

公式（3）

公式（2）共引入11個變量，設定顯著性水平α=0.05，根據公式（3）計算可以得到參與類行為中的時間分布、交互類行為中的資源學習、自律類行為中的學習順序這三個自變量的F值。數據對比結果顯示，這三個自變量的F值均小于臨界值F_α，未通過F檢驗。這三個自變量的顯著性水平分別為0.586、0.115、0.807，說明參與直播課程的次數、課件和學習資料的瀏覽次數、是否按照章節順序進行課程的學習均對學習成績無顯著影響，故這三個自變量予以剔除。

3 模型求解

本研究采用SPSS Statistics 26對多元線性回歸模型求解，得到擬合結果，如表3所示，可以看出：調整后擬合優度R²=0.388，sig.=0.000≤0.05，說明模型擬合度良好，差異性顯著，具有統計學意義。

圖3為標準化后的殘差正態概率圖，顯示殘差服從正態分布，說明模型擬合結果較為可靠。將學習成績的實際值與擬合值進行對比，結果如圖4所示，可以看出：兩者的增長趨勢一致，呈線性關系。上述分析說明，在線學習行為可在一定程度上影響并預測學習成績。針對模型求解結果，本研究引入8個對學習成績有顯著影響的自變量，模型系數及t檢驗如表4所示。其中，系數值為正，表示該指標對學習成績有正向影響，反之則為負向影響；系數的絕對值越大，對學習成績的影響也越大。此外，VIF≤10，說明自變量之間不存在共線性。

綜合上述多元線性回歸模型的分析結果，本研究發現：①參與類行為方面，資源學習、課堂測試、課程作業均對學習成績有正向影響，其中課堂測試的影響最為顯著，說明在線學習活動中學習成績較好的學生更能在課堂上高效完成學習任務。視頻學習對學習成績有負向影響，習慣于觀看課程視頻進行學習的學生多數需要反復理解課程內容，或存在掛機現象。②交互類行為方面，論壇討論對學習成績有正向影響。有研究表明，學習論壇是師生互動的核心載體，發揮著增進師生之間交流、改進教學設計等多方面的作用^[24]。視頻交互也對學習成績有正向影響，間隔重復學習而非單次長時間學習，可增強對知識點的記憶。③自律類行為方面，學習頻率和學習時間對學習成績有負向影響。其中，學習頻率越低，時間間隔方差越大，說明學生登錄平臺的時間越不規律；而長期熬夜會導致學習效率降低，對精力和體能都有損耗。

本研究用v₁、v₂、v₃表示參與類、交互類、自律類三類在線學習行為的聚合標簽向量，將上述線性回歸模型求解的系數等比例映射為百分制，計算得到三類學習行為標簽的權重。用U表示在線學習行為過程評價得分，其計算如公式（4）所示。

公式（4）

4 模型驗證

本研究以2021～2022年度秋冬學期“學在浙大”平臺的在線課程數據及成績為驗證集、以同一學期擬合多元線性回歸模型的輸入數據為訓練集，采用SPSS Statistics 26進行了模型驗證。為控制變量，減少課程差異帶來的誤差，選取兩集合相同的1629門課程，采用在線過程評價模型對驗證集的行為數據進行成績預測，并與實際成績擬合，所得擬合效果如圖5所示。

圖5顯示，驗證集課程的預測成績與實際成績的曲線走勢基本一致，說明數據的擬合度較高，模型的泛化能力較強，適用于相同場景下在線課程的過程評價。同時，本研究針對驗證集課程中新增的756門在線課程進行了數據擬合，但擬合效果并不理想。按照不同的課程特點進行分析探討，可以發現：在疫情初期教學模式發生轉變的過程中，首先要從線下轉為線上的課程大多為通識課和專業基礎課，這些課程多為講授型課程，如大學物理、微積分等。這些課程常采取教師講解、學生完成在線作業和考試的形式，整個教學周期的過程數據較為完整，適用于本研究提出的在線學習過程評價模型。而后期新開設的實驗型或討論型課程，如機器人智能、臨床檢驗等，除了開展線上的學習活動，還提供實踐、調研等線下的課外活動，從課程特點來說更適合混合式教學^[25]。后續有待同時結合線上線下數據，進一步完善在線學習過程評價模型。

四 在線學習過程行為評價的量化分析

評價模型可統計學生在線課程中各類學習行為的評分情況，但該評分并不是用于外部排序，而是為了讓評價對象能夠更充分地實現自己的本質屬性^[26]。根據各行為的評價得分，本研究繪制了學生行為雷達圖和教師端看板，來量化學生的在線學習過程行為。

1 學生行為雷達圖分析

學生行為雷達圖如圖6所示，其中的藍色虛線表示最終成績低于60分的學生集合，綠色實線表示最終成績在[60， 80]區間的學生集合，橙色點線為最終成績在[80， 100]區間的學生集合。圖6顯示，藍色虛線代表的成績不及格學生，其自律類行為（7.3分）、參與類行為（30.7分）和交互類行為（6.7分）的得分都最低，說明該類學生的學習自律性、線上學習課程參與度、交互活躍度都較差；綠色實線代表的成績中等學生，其自律類行為（7.8分）、參與類行為（38.6分）的得分比成績不及格學生顯然有所提升，而交互類行為（18.3分）得分最高，說明該類學生能正常完成學習任務；而橙色點線代表的成績優秀學生，其自律類行為（8.3分）、參與類行為（38.8分）的得分都最高，交互類行為（16.5分）得分處于中間水平，說明該類學生深度參與整個學習周期，學習自律性較好，與師生和平臺的互動較為活躍。

2 教師端看板分析

教師端看板如圖7所示，涉及學生線上學習的討論互動情況、活動參與情況和自律情況。通過教師端看板，教師可以直觀掌握課程中學生的學習情況，教學管理者也可快速了解年級整體的學習行為，其相關數據還可為教學質量的評估提供輔助性依據。圖7顯示，深度互動（1%）、深度參與（3%）、高度自律（2%）的學生占比極少；大部分學生參與線上學習活動較多（48%），但在互動性、自律性方面的表現一般。基于此，在線學習可以增加不同形式的互動設計，加強教學的針對性；同時，可以安排一些打卡任務、定期簽到等，以促進學生形成良好的學習習慣。

五 結語

本研究從數據內部的關聯性出發，依托三類、共11個在線學習過程評價指標，建立了在線學習過程評價模型，并基于“學在浙大”在線教學平臺上的學生行為和成績數據進行回歸擬合，篩選評價指標并計算權重，得出評價結果。在線學習過程評價在一定程度上打破了傳統的“唯分數論”，也破解了學習過程中教師無法量化學生在線學習過程行為的難題。但是，現有研究依然面臨學習數據過于豐富、質量不佳的問題，尤其是在學生的心理、感官等方面信息極度缺失。隨著在線教育的不斷發展，后續研究可進一步結合行為科學、腦科學等領域的相關研究成果，采集全息數據，推動評價的科學化和全面化，實現教育目的與教學方法的有機統一。

————————

參考文獻

[1]中國互聯網絡信息中心.第50次中國互聯網絡發展狀況統計報告[R].北京：中國互聯網絡信息中心，2022：60.

[2][26]石中英.回歸教育本體——當前我國教育評價體系改革芻議[J].教育研究，2020，（9）：4-15.

[3]田偉，楊麗萍，辛濤，等.科技賦能教育監測與評價：現狀與前瞻[J].中國遠程教育，2022，（1）：1-11、92.

[4]張生，王雪，齊媛.人工智能賦能教育評價：“學評融合”新理念及核心要素[J].中國遠程教育，2021，（2）：1-8、16、76.

[5]劉三女牙，李卿，孫建文，等.量化學習：數字化學習發展前瞻[J].教育研究，2016，（7）：119-126.

[6]Dimah A F， Mike J， Masa’deh R， et al. Evaluating e-learning systems success： An empirical study[J]. Computers in Human Behavior， 2020，102：67-86.

[7]張洪巖.“SOLO”分類理論在高中英語必修模塊終結性評價中的應用[J].教育理論與實踐，2010，（16）：58-60.

[8]教育部.中共中央 國務院印發《深化新時代教育評價改革總體方案》[OL].

lt;http：//www.moe.gov.cn/jyb_xxgk/moe_1777/moe_1778/202010/t20201013_494381.htmlgt;

[9]Biggs J. Individual differences in study processes and the quality of learning outcomes[J]. Higher Education， 1979，（4）：381-394.

[10][14]沈欣憶，吳健偉，張艷霞，等.MOOCAP學習者在線學習行為和學習效果評價模型研究[J].中國遠程教育，2019，（7）：38-46、93.

[11][15]喬偉峰，劉威童，李曼麗.學生眼里的在線教學：行為、效果與挑戰——基于新冠疫情期間清華大學學生在線學習行為調查[J].清華大學教育研究，2021，（1）：57-66.

[12][18]Muhammad A H， Habiba U， Majeed F， et al. Adaptive gamification in e-learning based on students’ learning styles[J]. Interactive Learning Environments， 2021，（4）：545-565.

[13][19]Kizilcec R， Pe?rez-Sanagustin M， Maldonado-Mahauad J. Self-inductance learning strategies predict learner behavior and goal attainment in massive open online courses[J]. Computers and Education， 2017，104：18-33.

[14][16]曾嘉靈，歐陽嘉煜，紀九梅，等.影響MOOC合格學習者學習效果的行為特征分析[J].開放學習研究，2018，（6）：1-9.

[15][17][22]李爽，王增賢，喻忱，等.在線學習行為投入分析框架與測量指標研究——基于LMS數據的學習分析[J].開放教育研究，2016，（2）：77-88.

[20]Littlejohn A， Hood N， Milligan C， et al. Learning in MOOCs： Motivations and self-regulated learning in MOOCs[J]. The Internet and Higher Education， 2016，29：40-48

[21]Maldonado-Mahauad J， Pérez-Sanagustín M， Kizilcec R F， et al. Mining theory-based patterns from big data： Identifying self-regulated learning strategies in massive open online courses[J]. Computers in Human Behavior， 2018，80：179-196.

[23]李航.統計學習方法[M].北京：清華大學出版社，2012：77-79.

[24]劉向宇.互動行為研究之學習論壇現狀調查[J].繼續教育研究，2015，（5）：66-68.

[25]王宇，汪瓊.慕課環境下的真實學習設計：基于情境認知的視角[J].中國遠程教育，2018，（3）：5-13、79.

Research on the Evaluation Model of Online Learning Process

——Taking “Learning at Zhejiang University” Online Teaching Platform as an Example

ZHOU Yu""" YING Xin-di"" CHEN Wen-zhi

（Information Technology Center， Zhejiang University， Hangzhou， Zhejiang， China 310000）

Abstract： The development of online education is inseparable from a scientific evaluation system， and process evaluation is the basis of implementing scientific evaluation. The existing research on process evaluation mainly aims at the open platform and thematic teaching model， and its local application in colleges and universities is not enough. Therefore， this paper used the mainstream indicator composition method to determine three kinds of 11 online learning process evaluation indicators including three types of participation type， interaction type， and self-discipline type. Afterwards， through “Learning at Zhejiang University” online teaching platform”， this paper obtained students’ online learning behavior data， and selected the online learning behaviors with significant impact on learning effect based on the multiple linear regression model， and calculated the weight of the aggregated behavior labels to obtain the evaluation model results. Finally， this paper made a quantitative analysis of the online learning status through students’ behavior radar map and teacher-side display boards， which could provide a powerful basis for teachers to intuitively grasp students’ learning status and improve teaching strategies. The research of this paper broke the current evaluation status of “score only theory” to some extent and provided new ideas for personalized teaching.

Keywords： online learning; process evaluation; learning behavior; academic performance