在線學習行為與認知水平間的關聯分析

摘" "要：在線學習評價對保障在線學習質量意義重大。相較于常見的觀看視頻時長、發帖次數、測驗成績等簡單量化指標，文章更關注學習過程中所達到的認知水平。基于平臺細粒度數據，構建在線學習行為分析模型，量化指標體系，采用相關分析與聚類研究法，探究在線學習行為與認知水平間的關系。研究表明，章節測驗完成度、視頻觀看反芻比、作業完成度、發布帖子、回復別人帖子、同伴回帖等六個行為指標能表征在線學習認知水平。量化六個行為指標，既利于教師合理地對學習者實施過程性評價，又便于學習者更好地參與學習過程，促進認知水平的提升。

關鍵詞：在線學習行為；認知水平；學習行為分析模型；過程性評價；相關分析

中圖分類號：G434" " " " 文獻標志碼：A" " " " "文章編號：1673-8454（2022）12-0059-06

DOI： 10.3969/j.issn.1673-8454.2022.12.008

基金項目：2022年山西省高等學校教學改革創新項目“OBE理念下Web程序設計課程的教學改革研究與實踐”（編號：J20221040）的階段性成果；2021年山西省教育科學“十四五”一般規劃課題“成人在線學習流失問題透視及干預對策實證研究”（編號：GH-21105）的階段性成果。

一、引言

隨著在線開放課程在全世界范圍內的興起，在線學習被廣泛接受，尤其在新冠疫情期間，線上學習更是成為大學生主要的學習方式。為了保障學習效果，2020年教育部應對新型冠狀病毒感染肺炎疫情工作領導小組辦公室發布的《關于在疫情防控期間做好普通高等學校在線教學組織與管理工作的指導意見》中提出，保證在線學習與線下課堂教學質量實質等效。基于學習行為分析視角，國內外學者也從多個角度展開研究。 國外有學者認為學習者的課程資源交互頻率、練習次數、章節成績等行為，與在線學習效果顯著相關。[1]國內有學者對Coursera平臺上學習者多門課程的在線行為進行數據分析后，得出學習成績與觀看視頻次數、論壇參與度、在線時長、資源下載次數等行為指標關聯度高。[2]國外有學者發現學習者觀看視頻的完成比和時長，與課程學習保留呈正相關。[3]除了學習視頻相關行為，國內有學者認為學習者的參加在線測驗、提交作業、訪問資源及此類行為所涵蓋的跨度，也是影響在線學習的有用指標。[4][5]國內有學者的研究結果表明，MOOC下在線學習的內容、師生交互頻率及其自身的信息素養等因素，也將影響在線學習的持續性和深層次性。[6]

對在線學習效果評價時，有學者認為不僅僅關注顯性的行為指標，還應考慮學習過程中所產生的隱性知識建構、認知水平等。[7][8]針對哪些行為能反映在線學習質量、如何識別此類行為等問題，則相關研究較少。本文依據超星學習通平臺某課程的在線學習行為數據，采用內容分析、相關性分析、聚類等多種研究方法，分析在線學習行為與認知水平間的相關性，挖掘能反映在線學習質量的行為指標集，為在線學習的過程性評價提供依據。

二、理論分析框架

（一）在線學習行為分析模型

為了規范在線學習行為分析，許多學者建立了分析模型。基于行為分層理論的學習行為分層模型OCCP，從操作行為層OB（Operational Behavior），逐步到認知行為層ColB（Collaborative Behavior）、協作行為層CogB（Cognitive Behavior），再到最高層的問題解決層PSB（Problem Solving Behavior），反映出學習程度的逐步加深。[9]有學者提出包含結構維度、功能維度、方式維度的S-F-T（結構層次Structure layers—功能層次Function layers—行為方式Type layers）分類模型，為后續相關研究提供普適性的模型框架。[10]有學者從學習需求出發，建立起數據、機制、結果的三層在線學習分析模型，為分析評價在線學習行為提供嶄新視角。[11]考慮到學習分析過程中的制約因素、目標導向、受益對象等要素，相關研究者構建起目標導向下的分析模型，包括一個目標、二種約束、三類受眾，以及四個環節。[12]

研究目標的不同致使學習分析模型的側重點也各不相同，但總體上都有數據采集、數據處理、結果呈現的環節。有學者認為學習行為分析模型可分為宏觀、微觀兩層面，宏觀方面從共性問題著手，構建出普適性強的分析模型。[13]微觀層面基于某具體網絡學習平臺，構建針對性強的分析模型。本文以筆者學校超星學習通教學平臺為主，結合企業微信、Educode等多渠道在線學習行為數據，從微觀層面構建適合本次研究的在線學習行為模型，如圖1所示。

模型整體由網絡學習環境、學習資源、教學主體（教師、同伴、其他教輔人員）、學習過程四要素組成，將在線學習行為劃分為外顯行為和內隱信息兩個維度，其中外顯行為又劃分為個體行為和交互行為兩類，具體行為指標如表1所示。通過對外顯行為的診斷分析，辨別哪些行為指標能反映在線認知水平。

（二）認知水平分析

1.認知水平分析框架

《教育目標分類學：認知領域》一書中，將認知水平劃分為六個層級，引起學術界極大關注，眾多學者對其進行應用與改進。[14]還有國外學者于1992年提出五層認知水平（基本澄清、深入澄清、推理、判斷、策略）分析框架，其影響力和應用范圍較大，此框架沒有對應“分析”六層級。[15] 2001年美國學者對教育目標分類學進行修訂，圖2的虛線框內容表示修訂后的認知層級。[16]

眾多學者認為修訂版突出教學、學習、評價的一致性，對當前的教育指導、元認知技能、反思性教學等具有理論價值。[17]因此，依據修訂版教育目標認知歷程，結合學科課程特點，將認知水平層級依次劃分為知道、理解、應用、分析、評價、創新六層，作為對認知水平的評價標準。

2.認知水平的評價標準

為了便于對學習者認知水平解釋、界定、評價，借鑒相關學者團隊發布的Padagogy輪5.0中的認知層級分類動詞，結合課程特點及實際編碼需求，形成如表2所示的認知層級行為動詞表。[18]

三、研究設計

（一）研究對象

本研究采集2019—2020年度第二學期、線上教學模式、《Web前端程序設計》課程的在線學習行為數據，教學周10周，共有200名學生，師生通過平臺完成教與學、主題討論、提交作業等活動，篩選后得到的樣本如表3所示。

（二）認知水平量化

兩位研究人員按照認知水平評價標準對學生期末測驗內容進行獨立編碼，取平均值確定該生認知水平值。本研究編碼標準如下：首先，依據認知水平的高低依次分為6、5、4、3、2、1類；其次，若出現不同層級的動詞，以最高層級作為劃分標準；最后，若編碼存在差異，應進行小組討論，直到達成共識，編碼示例如表4所示。

研究人員隨機抽取50名學生樣本進行編碼，并對編碼結果做一致性檢驗，Kappa系數為0.773，表明兩位研究人員評價一致性較好，證實認知水平編碼可靠。

（三）相關性分析

在隨機抽取50名學生樣本基礎上，預設在線學習行為指標12項，經過數據采集、清洗、異常值處理、計算后，形成研究數據集，在SPSS下分析各在線學習行為特征與認知水平間的相關性，嘗試從行為視角評價認知水平，利于學習者數量較多時的認知評價。

1.認知水平分析框架

個體行為與認知水平的相關分析結果如表5所示。學習者的認知水平分別與視頻觀看反芻比P_wch、作業質量P_tskq、章節測驗質量P_Ctstq顯著相關（plt;0.01），且皮爾遜相關系數均大于0.6，表明上述行為與認知水平均呈正向強相關；作業完成度P_tsk、章節測驗完成度P_Ctest的皮爾遜相關系數在0.4附近，與認知水平均呈現中度相關，而簽到次數P_sgn與認知水平呈弱相關；資源下載次數P_dwn、訪問通知公告P_not與認知水平均無相關性。

從表5可看出認知能力與學生個體行為存在密切關系，學生反復觀看視頻，對作業和章節測驗的完成質量越高，其認知水平就越高，當然教師也需要督促學生進行線上簽到、完成作業與章節測驗，以促進認知水平的提升；由于學生在一起生活、學習時間較長，互相間轉發學習資源、交流信息較頻繁，可能導致P_dwn、P_not與認知水平間的關聯性不大。

2.交互行為與認知水平的相關分析

表6為交互行為與認知水平間的相關性分析結果。四個交互維度發布帖子C_pos、回復別人帖子C_rep、教師回帖C_trep、同伴回帖C_crep均與認知水平顯著相關（plt;0.05）。解讀分析結果，經常回復別人帖子的學生認知能力相對較高，也會表現出主動發布問題的交互行為；而教師回帖，多是鼓勵學習者積極發言，相較于其他行為，皮爾遜系數較低。

通過相關性分析，初步認為個體行為中的視頻觀看反芻比P_wch、作業質量P_tskq、章節測驗質量P_Ctstq、作業完成度P_tsk、章節測驗完成度P_Ctest、簽到次數P_sgn、交互行為中的回復別人帖子C_rep、發布帖子C_pos、教師回帖C_trep、同伴回帖C_crep等10項指標，與在線學習過程中的認知水平均關聯度較高。

3.聚類分析

對學習者的行為數據相關性分析后，初步得出能表征認知水平的在線學習行為集合，為使研究結果更具普適性，繼續采用K-Means聚類算法，對200名學習者的在線行為進行聚類，設定分類個數為6，劃分后的結果如表7所示。

從表7可看出，類別6中P_Ctstq、P_wch指標值最高，在16個樣本中認知水平達到創新6層級的比例達89.3%，表明P_Ctstq、P_wch行為指標與認知水平高度相關；類別3中的P_tskq、C_crep指標值最高，此類學習者與同伴積極互動交流，作業質量完成得較好，在32個樣本中認知水平達5層級以上的比例為87.7%，表明P_tskq、C_crep行為指標能反映學習者較高的認知水平。

類別4中C_rep、C_pos指標值相對較高，表明本類學習者喜歡發布帖子，積極回答同學的問題，在交互網絡中起到樞紐作用，在89個樣本中達到分析4層級的比例為74.9%，與認知水平關聯度較好；類別1中C_crep指標值相對較高，P_wch、P_tskq、P_Ctstq綜合指標較高，在45個樣本中認知水平達到4層級以上的比例達68.5%。類別2中的C_pos、C_rep高于類別5，但由于P_tskq、P_wch等指標值相對低，導致認知水平普遍偏低。

通過類別間行為指標的比較，結合相關性分析結果，最終得出能反映認知水平的行為集：章節測驗完成度P_Ctest、視頻觀看反芻比P_wch、作業完成度P_tsk、發布帖子C_pos、回復別人帖子C_rep、同伴回帖C_crep等六個行為指標集。通過網絡平臺簡單運算后得出六個行為指標數據，便于教師隨時掌握學習者在某時間段內的認知水平，了解學習狀態，以便有針對性地進行教學引導和干預，進而保障在線學習效果。

四、結論與啟示

對在線學習進行過程性評價時，多數教師采用較簡單的量化指標如視頻觀看時長、發帖次數、階段性測驗成績等，而忽略學生所達到的認知水平。然而，對于認知水平的質性評價，需人工基于內容分析完成，當學習者人數眾多時，難以實施。本研究基于學習行為分析視角，嘗試將認知水平的“質”性評價轉化為可量化的行為評價，通過探究學習行為與認知水平間的相關性，結合聚類結果，最終確定能表征認知水平的行為集合。量化能反映認知水平的行為集：一方面有助于教師對學習者進行過程性評價，掌控教學過程，保障教學質量；另一方面利于教師更好地引導和激勵學習者參與學習過程，促進學習者認知水平的提升。

本次研究基于《Web前端程序設計》課程，數據主要來源于超星平臺，研究結果在很大程度上依賴于獲取數據，不同課程、不同數據可能會產生不同的研究結論。因此，在后續研究中，會在更大范圍的課程及數據中去進一步完善、驗證研究結果。

參考文獻：

[1]LEAH L MACFAYDEN， SHANE DAWSON. Minging LMS data to develop an“Early Waring” system for educators： a proof of concept[J]. Computers amp; Education， 2010， 54（2）：588-599.

[2]賈積有，繆靜敏，汪瓊.MOOC 學習行為及效果的大數據分析——以北大6門MOOC為例[J].工業和信息化教育，2014（9）：23-29.

[3]介茜.基于Hadoop的在線學習行為數據分析及可視化研究與實現[D].西安：西安電子科技大學，2021.

[4]蔣卓軒，張巖，李曉明.基于MOOC數據的學習行為分析與預測[J].計算機研究與發展，2015，52（3）：614-628.

[5]王雪宇，鄒剛，李驍.基于MOOC數據的學習者輟課預測研究[J].現代教育技術，2017，27（6）：94-100.

[6]尹燁彬.在線環境下成人學習者多維特征研究——以開放大學遠程學習者為例[D].上海：華東師范大學，2017.

[7]陳鵬宇，馮曉英，孫洪濤，等.在線學習環境中學習行為對知識建構的影響[J].中國電化教育， 2015（8）：59-63，84.

[8]馮曉英，鄭勤華，陳鵬宇.學習分析視角下在線認知水平的評價模型研究[J].遠程教育雜志， 2016，34（6）：39-45.

[19]庫爾特·勒溫.拓撲心理學原理[M].高覺敷，譯.北京：商務印書館，2003.

[10]彭文輝.網絡學習行為分析及建模[D].武漢：華中師范大學，2012.

[11]胡藝齡，顧小清，趙春.在線學習行為分析建模及挖掘[J].開放教育研究，2014，20（2）：102-110.

[12]王懷波，李冀紅，楊現民.目標導向的學習行為模型構建[J].中國電化教育，2018（5）：96-102，117.

[13]黃瑤.基于在線學習環境下學習者行為模型構建與分析[D].昆明：云南師范大學，2019.

[14]B·S布魯姆，等著.教育目標分類學：認知領域（第一分冊） [M].羅黎輝，丁證霖，等譯.上海：華東師范大學出版社，1986.

[15]NORIKO HARA， CURTIS JAY BONK， CHAROULA ANGELI. Content analysis of online discussion in an applied education psychology course[J]. Instructional Science， 2000，28（2）：115-152.

[16]L·W·安德森，等編著.學習、教學和評估的分類學——布魯姆教育目標分類學修訂版（簡縮本）[M].皮連生，主譯.上海：華東師范大學出版社，2008.

[17]NILAY T BüMEN. Effects of the original versus revised bloom’s taxonomy on lesson planning skills： a Turkish study among pre-service teachers[J]. Review of Education， 2007，53：439-455.

[18]焦建利. Padagogy輪5.0中文版正式發布[EB/OL]. （2018-01-20）[2021-07-31].https：//designingoutcomes.com/assets/PadWheelV5/PW_CHI_V5.0_Android_PRINT.pdf.

作者簡介：

王溢琴，副教授，碩士，主要研究方向為技術增強學習、圖像處理，郵箱：applychance@126.com；

齊悅，副教授，碩士，主要研究方向為遠程教育、數據挖掘，郵箱：413740189@qq.com。

Correlation Analysis between Online Learning Behavior and Cognitive Level

Yiqin WANG1， Yue QI2

（1.Department of Information Technology and Engineering， Jinzhong University， Jinzhong Shanxi 030619;

2.Network Service Center， Taiyuan Open University， Taiyuan Shanxi 030024）

Abstract： Evaluation of online learnning is a guarantee for the quality of online learning.When evaluating online learning， different from simple quantitative indicators such as the time spent on watching videos， the number of posts and test scores， this research focuses more on the cognitive level achieved in the learning process. Based on the fine-grained data of platform， it constructs an online learning behavior analysis model and quantitative index system through correlation analysis and cluster research， so as to explore the relationship between online learning behavior and cognitive level. The results show that the cognitive level of online learning can be represented by six behavioral indicators： Chapter test completion rate， video watching ruminative ratio， homework completion rate， posting， others’ posts and peer replies. Quantification of the six behavioral indicators is not only conducive to teachers’ rational implementation of the process evaluation of learners， but also can help learners participate in the learning process and enhance their improvement of cognitive level.

Keywords： Online learning behavior; Cognitive level; Learning behavior analysis model; Process evaluation; Correlation analysis

編輯：王天鵬" "校對：王曉明