基于在線學習行為數據的學習效果模型與影響因素分析

倪琴　徐宇輝　魏廷江　高榮

摘? 要： 為了探究學生在線學習情況與學習效果之間的關系，采用數據標注的方式解決學生學習行為表示的問題.以S大學在線教學平臺數據為研究對象，通過數據挖掘技術探尋學生在線學習行為與學習效果之間的關系.對比多種機器學習算法后，選定隨機森林算法作為學習效果預測模型的基本算法.研究發現：最能影響學習效果的因素是文檔學習總時長，最終構建的學習效果預測模型對整體數據集的分類準確率達到84.69%.

關鍵詞： 學習行為表示; 相關性分析; 數據挖掘; 隨機森林算法; 分類預測

中圖分類號： TP 391.77??? 文獻標志碼： A??? 文章編號： 1000-5137（2022）02-0143-06

NI Qin， XU Yuhui， WEI Tingjiang， GAO Rong

（College of Information， Mechanical and Electrical Engineering， Shanghai Normal University， Shanghai 201418， China）

In order to explore the relationship between students’ online learning situation and learning effect， students’ learning behavior representation was solved by adopting data annotation. Based on the data from the online teaching platform of S University， the relationship between students’ online learning behavior and learning effects was explored through data mining technology. By comparing a variety of machine learning algorithms， the random forest algorithm was selected as the basic algorithm of the learning effect prediction model. It was found that the total duration of document learning could affect the learning effect greatly. The final learning effect prediction model was constructed which provided an accuracy of 84.69% for the classification of the overall data set.

learning behavior representation; correlation analysis; data mining; random forest algorithm; classification prediction

0? 引言

2020年初，在新型冠狀病毒引起全國性肺炎疫情的影響下，教育部經多次研究決定2020年春季學期延期開學，提出“停課不停學”的在線學習方式，各大高校均延后開學.一時間在線教學的學習效果引起了廣大師生的關注.大學生的學習過程是一個復雜的過程，受到較多因素的影響.通常情況下，教育學者認為學業成績的高低受學生已有認知水平、學習策略、學習動機以及外部環境等因素的綜合影響.

對學生學習行為的研究早期主要以調查問卷和統計分析的方式為主，并且停留在簡單分析層面上.GONG通過對學生的學習行為進行統計與分析，探索師生交互狀態與學生學習效率之間的關系.BAO分析了我國高等院校學生的學習行為特征，以此尋找學生學習行為與高校教學質量的隱含關系.YAO等從多個角度分析大學生在網絡中的學習行為及其學習狀態.以上研究均采用調查問卷分析的方法，存在前后側數據回收統計耗時較長、分析結果較大程度受到問卷信效度制約的問題.

如今，研究者們逐漸轉向利用數據挖掘技術對學生學習行為進行建模.ZHAO等利用多元回歸方法尋找影響學生學業成績的因素指標，并構建干預模型，對教學過程中產生的學習行為進行Logistic回歸分析，從而找出存在學習危機的學生，并發起學業警示.LUO等將機器學習和學生行為分析相結合，通過決策樹算法對在線學習行為進行數據分析，搭建“學習行為-效果”模型，在此基礎上構建學習行為評估系統.FAKIR等利用分類、聚類和關聯規則挖掘算法對Moodle系統進行數據分析，提取學習行為和模式的特征，創造理想的教育環境.采用機器學習的方法構建相關的學習行為模型具有較強的可解釋性.

此外，還可以結合深度學習中的神經網絡對學生學習行為進行分析研究.MOU等為了探究學習行為對學習效果的影響，使用Back Propagation（BP）神經網絡探究MOOC課程中的低參與度和高輟學率等特征問題，為提高學習效果提供參考.但是，深度學習天然的黑盒特性，使得神經網絡在學習行為分析任務中缺乏可解釋性.

因此，本研究選用機器學習的方法對學生學習情況進行分析，并構建學習效果預測模型.從數據標注、數據清洗、數據建模及模型預測4個方面展示了在線學習環境下的學習行為分析過程，為在線教育中學生學習行為數據的表示和在線教學平臺的建設提供了參考建議.

1? 研究方法

為探究學生學習行為的表示和構建學習效果預測模型，本研究采用文獻調查法結合數據挖掘的方法對S大學在線教學平臺數據進行分析和探索.研究的對象包含一個主體和一個客體，主體是學生，客體是由主體所產生的各種行為與主體基本信息的有機結合.

學習行為表示方法

學生的學習行為主要包括作業記錄、測試記錄、討論記錄以及課程的參與情況等.學生與可視化界面之間的互動日志體現了學生的在線學習行為，本研究采用數據標注的方法將大量的日志數據轉換成學生的統計型學習行為指標，比如：以進入視頻界面到離開視頻界面時長作為視頻學習總時長，以文檔狀態為已看的數量除以文檔總數所得結果作為文檔學習率，以期末測試成績作為考試得分等.經轉換后，得到的17個學習行為指標：任務點查看率、視頻完成率、視頻學習總時長、文檔學習率、文檔學習總時長、課程學習時長、資料瀏覽數、資料瀏覽時長、作業完成率、作業平均分、測試完成率、測試平均分、發帖數、回帖數、點贊數、訪問數和簽到數.

在選取日志的過程中，為了保證數據能夠代表學生的真實學習記錄，除了點贊數、簽到數這類瞬時行為之外，其他行為的時長持續時間至少大于30 s，才能被計入統計指標中.另外，保留學生最后一次訪問課程的時間作為其學習該門課程的常規學習時間.

此外，為了衡量學生的學習效果，將學生的考試得分劃分為優異、良好、合格和不合格4個類別，如表1所示.

學習效果預測方法

本節通過對1.1節得到的學生學習行為指標進行梳理，并構建學習效果預測模型，從而找到影響學業成績的主要學習行為指標.模型的構建過程參照數據挖掘的流程，即數據預處理、特征處理、模型構建和模型評價.

1.2.1 數據預處理

進行數據處理之前，應先對特征數據進行正態分布檢驗.本研究的數據檢驗結果顯示大部分數據未呈現正態分布，說明無法直接使用傳統的統計檢驗方法構建模型.為了構建合理的學習效果預測模型，需要對原始數據進行如下預處理：

1） 根據“考試得分”字段濾除成績為0和空值的樣本，即刪除沒有期末成績的樣本.

2） 將數據集中課程的訪問數超過200次的樣本作為異常值，并用該學生在其他課程的平均訪問數替代該項異常值.

3） 對于其他的學習行為指標，采用拉依達準則對具有過大誤差值的壞值予以剔除.

在教學過程中，具有啟發式的討論式學習可以提高學生學習的主觀能動性.經過統計發現，在線教學平臺中只有少數學生產生發帖、回帖和點贊等討論類學習行為，本研究利用層次分析法（AHP），將主觀和客觀因素相結合，給討論類學習行為賦予合理的權重，以解決該特征下有效數據量不足的問題.

1.2.2 特征處理

類別特征，即所屬學院、專業、班級等具有能夠在有限類別內取值的特征.本研究采用序列編碼將類別特征轉換成可靠的數值特征，比如：將文本序列“大一、大二、大三、大四”對應轉化為數值序列“0，1，2，3”.

與上課時間固定不變的課堂教學不同，在線學習的學生可以根據自己的學習習慣調整相應學習的時間.因此，本研究將每門課程的常規學習時間設置為3個指標：周學習時間、日學習時間及是否為工作日學習時間，具體如下：

1） 周學習時間：一周分為7天，該指標反映學生更偏向于在一周中的哪一天學習.

2） 日學習時間：把一天分為8：00—12：00，13：00—17：00，18：00—22：00和其他時間4個時間片段，該指標衡量學生每天的學習習慣;

3） 是否為工作日學習：把學習時間劃分為周末和工作日，該指標衡量學生對工作日和周末學習的偏好程度.

為了衡量學生學習行為及基本信息對學習效果的影響程度，采用Spearman相關系數，根據原始數據的排序位置，求解數據間的相關性，

1.2.3 模型構建

由于學習行為數據間不存在線性可分的關系，難以找到合適的回歸模型對樣本數據進行精確的分數預測，本研究通過將學習效果劃分為4個類別進行預測，將學習效果預測問題轉化為分類預測問題.未確定數據分布之前需對以下6種基本的分類算法進行比較，選擇最優的算法構建模型：

1） K近鄰（KNN）：根據距離新樣本最近的個樣本點的類別來確定新樣本所屬的類別.

2） 樸素貝葉斯：假設樣本特征均獨立的情況下，利用貝葉斯公式計算各類別的概率，選取概率最高的類別作為該樣本的類別.

3） 決策樹：從樹的根節點開始，將樣本數據與決策樹中的特征節點進行比較，根據判斷結果選擇下一層的分支繼續比較，最終的葉子節點即為分類結果.

4） 支持向量機（SVM）：尋求一個能夠劃分數據集且幾何間隔最大的超平面，利用核技巧解決非線性分類問題.

5） 隨機森林：假設單個決策樹模型需要訓練的特征個數為，決策樹每次分裂時，通過比較信息增益、信息增益比及基尼指數3個指標值得到最好的特征進行分裂，循環該分裂過程，直到節點的所有訓練樣本成為同一類，最終的分類結果由多棵決策樹投票得到.

6） Adaboost：Adaboost算法是集成學習中的一種迭代算法，對同一個訓練集訓練不同的分類器，即弱分類器，然后將它們整合，形成一個更強的分類器，即最終分類器.

1.2.4 評估方法

本節介紹分類模型的評價指標：準確率、精準率、召回率和F1分數.準確率指分類器正確預測的樣本數量占被預測樣本總數量的比例;精準率指分類器中所有被預測為正的樣本中，實際為正的樣本的比例，該指標僅代表對正樣本結果中的預測準確程度;召回率指分類器中實際為正的樣本中同時預測也為正樣本的比例;F1分數是平衡召回率和精準率兩者之間差異的一個指標，該指標的值越大越好.計算公式如下：

2? 實驗設計與結果分析

數據概覽

樣本選用S大學學生在線教學平臺上的學習行為數據，數據選取的時間跨度為2017年2月19日—2020年7月8日，由日志數據轉化得到的統計型學習行為記錄共計54 720條，其中，1條樣本數據代表1個學生在某1門課程上的學習情況記錄.

首先對數據進行統計分析.根據視頻完成率的均值（0.32）較低可知，大部分學生未能看完整個視頻.瀏覽時長和文檔學習時長的均值分別為13.86 h及37.98 h，明顯低于視頻學習總時長的均值（144.63 h），可以推測學生在線上學習時更偏向于利用視頻進行學習，不包含學生將資料下載后自行學習的時間.討論模塊的發帖、回帖、點贊數的使用均值分別為0.63，1.39及2.63次，均較低，說明該部分學生的使用需求不強烈，導致研究無法統計到可用性強的討論學習行為指標.作業完成率和測試完成率均值分別為0.42和0.39，可以推測學生進行在線學習時的自覺性不強.

除17個學習行為特征外，本研究還設置了1個由考試得分劃分的學習效果標簽、6個基本信息類別特征和3個通過常規學習時間生成的學習習慣類別特征，具體的類別數量如表2所示.

學習效果與不同指標的相關性分析

本部分采用Spearman相關系數探究學習行為指標與學習效果之間的相關性.實驗結果表明：學生的訪問數和資料瀏覽數、資料瀏覽時長有極高的正相關性（值均為1），由此推測，學生登錄網上教學平臺，都會查看并下載學習資料;發帖、回帖、點贊的行為和視頻學習總時長、測試平均分、作業平均分等有較高的正相關性（值為0.52～0.72），由此可知，平時作業完成情況可以體現學生的學習態度，說明常常參與線上討論的學生學習態度相對較好.

但是，學習效果與各特征的相關性都較低（值低于或等于0.28），其中，文檔學習總時長和學習效果存在一定的正相關性（=0.28），而學院、專業、專業班、課程、教學班及學年這6個類別特征與學習效果的相關性值均低于0.1，所以用傳統的分析方法無法構建學習效果的預測模型，只能用機器學習的方法挖掘特征之間的內在聯系和隱含信息.

學習效果預測模型構建

在構建學習效果預測模型的過程中，各算法參數均設置為sklearn機器學習庫中的初始數據，經標準化處理，將訓練集和測試集的比例劃分為7∶3，如表3所示.

從表3可知，隨機森林算法的分類效果最佳，準確率、精準率、召回率和F1分數分別為84.69%、84.79%、84.16%和84.47%.由此可知，即使特征變量和目標變量之間的相關性不高，隨機森林算法也可以捕捉到特征內部對目標變量的隱含信息，以此提高分類的準確率.因此，建議以隨機森林算法作為學習效果預測模型的基本算法.

3? 結 論

本研究將學生在在線教學平臺中產生的行為日志數據整理成17個有意義的在線學習行為指標，并且將這些指標與學生的學習習慣指標、基本信息指標相結合，利用機器學習探究學生在線學習行為與學習效果之間的關系，通過相關性分析，找出學習行為中最能影響學習效果的指標為文檔學習總時長.此外，隨機森林算法能夠捕捉到各特征內部對學習效果的隱含信息，相比較其他傳統機器學習方法，更適用于完成對學習效果預測的工作，最終對數據集的分類準確率達到84.69%.此外，本研究的數據集是S大學在線教學平臺中產生的日志數據，數據的選取時間跨越了疫情期和非疫情期，數據真實性得到了保證.雖然本研究已經得到了較好的實驗效果，但是基于日志數據能夠生成的學習行為指標遠不止研究中提及的17個，未來將更進一步探究學習行為指標的生成，以期為平臺的建設和提升線上學習的質量提供更優、更完善的建議.

參考文獻：

[1]? XIE Y R， QIU Y， HUANG Y L， et al. Characteristics， problems and innovations of online teaching of “No Suspension of Classes” during the period of epidemic prevention and control [J]. E?Education Research，2020，41（3）：20-28.

[2]? LIU S N Y， YANG Z K， LI Q. Education data ethic：the new challenge of education in big data era [J]. Educational Research，2017（4）：15-20.

[3]? GONG Z W. An Empirical study on the influencing factors of adult students’ online learning behavior [J]. China Electronic Education，2004（8）：32-35.

[4]? BAO W. A trait analysis of learning behavior of university students in china since the enrolment expansion [J]. Tsinghua Journal of Education，2009，30（1）：78-87.

[5]? YAO Q H， WANG J， LI Y B， et al. Investigation and research on the online learning of college students [J]. Electrical Education Research，2010（7）：57-60，68.

[6]? ZHAO H Q， JIANG Q， ZHAO W， et al. Empirical research of predictive factors and intervention countermeasures of online learning performance on big data?based learning analytics [J]. E?Education Research，2017，38（1）：62-69.

[7]? LUO H， ROBINSON A C， JAE?YOUNG P. Peer grading in a mooc： reliability， validity， and perceived effects [J]. Journal of Asynchronous Learning Networks，2016，18（2）：1-14.

[8]? FAKIR M， TOUYA K. Mining students’ learning behavior in Moodle system [J]. Journal of Information Technology Research，2014，7（4）：12-26.

[9]? MOU Z J， WU F T. The Exploration of learning outcome prediction indicators and analysis of learning group characteristics for MOOC [J]. Modern Distance Education Research，2017（3）：58-66，93.

[10] ZHANG M， YUAN H. The PauTa criterion and rejecting the abnormal value [J]. Journal of Zhengzhou University（Engineering Science），1997（1）：87-91.

[11] XIE X Y， LIU S Y. Discussion?based teaching： the practical application of seminar teaching mode to undergraduate teaching [J]. Theory and Practice of Education，2013，33（33）：50-52.

[12] VAIDYA O S， KUMAR S. Analytic hierarchy process： an overview of applications [J]. European Journal of Operational Research，2006，169（1）：1-29.

[13] GUO G， WANG H， BELL D， et al. KNN model?based approach in classification [C]// OTM Confederated International Conferenceson the Move to Meaningful Internet Systems. Berlin： Springer，2003：986-996

[14] MURPHY K P. Naive Bayes classifiers [J]. University of British Columbia，2006，18（60）：1-8.

[15] SAFAVIAN S R， LANDGREBE D. A survey of decision tree classifier methodology [J]. IEEE Transactions on Systems， Man， and Cybernetics，1991，21（3）：660-674.

[16] SMOLA A J， SCH?LKOPF B. A tutorial on support vector regression [J]. Statistics and Computing，2004，14（3）： 199-222.

[17] BREIMAN L. Random forests [J]. Machine Learning，2001，45（1）：5-32.

[18] FREUND Y， SCHAPIRE R E. A decision?theoretic generalization of on?line learning and an application to boosting [J]. Journal of Computer and System Sciences，1997，55（1）：119-139.

（責任編輯：包震宇，郁慧）