摘要:作為線上學習質量的重要憑據,學習者的在線學習投入備受關注。縱觀已有的在線學習投入研究,有基于行為數據的分析研判,也有結合認知、情感和社會因素的綜合評判,但仍有諸多未解之謎,需進一步深入持續地分析探討。從當前網絡信息獲取及應用的有效方式來看,大量的行為數據是在線學習投入質量分析的重要信息內容。從學習行為的外顯性和內隱性兩個屬性對學習者在線學習信息進行分類探索,有助于綜合考慮影響學習質量的行為、認知和情感等因素。在此分類基礎上,結合點、線、面研究方法各自的特點,先后通過百分等級量表、單維和多維Rasch分析技術的應用,分別構建了針對學習者在線學習行為投入強度、效度及精準度評估的模型。最后通過準確獲取在線學習的過程信息、全面掌握線上學習的質量結果,以及主動反思在線學習參與的實效性等應用驗證了評估模型的有效性。
關鍵詞:在線學習;行為投入;評估模型;象限圖法;Rasch分析
中圖分類號:G434 文獻標識碼:A
本文系全國教育科學“十三五”規劃課題“大學教學現代化的戰略愿景與理論創新研究”(課題編號:BCA180085)階段性成果。
近年來,我國相繼出臺多項政策,持續強調高等教育數字化轉型的強大引擎作用。2022年1月,全國教育工作會議明確提出“實施教育數字化戰略行動”。2023年1月,全國教育工作會議又提出“縱深推進教育數字化戰略行動,重點做好大數據中心建設、數據充分賦能、有效公共服務、擴大國際合作四件事”。數字化轉型的核心包括知識和數據驅動[1],數據驅動的目的在于因材施教,通過對學生進行大數據分析,發現學生的優點特長,從而實施精準培養[2]。數據作為數字化轉型的基礎,成為其顯著的特征。美國高等教育信息化協會發布報告《2023 年高等教育趨勢觀察》,總結了2023年高等教育中涌現的諸多趨勢,其中一個顯著的態勢就是,將基于數據的決策納入現有的高等教育機構規劃和管理活動的流程中,也可以將其編入應用程序中,為學生、教師和其他成員生成實時、個性化的建議[3]。互聯網智能時代的課堂教學已從過去簡單的“舞臺劇”式的教師獨白,逐漸變成虛實結合、生動有趣、實時交互的“大片”[4],疫情期間的“緊急遠程教學”模式也將由用“混合在線教學”模式所取代。無論采取何種形式的教學,學習質量始終是教學的生命線。眾多研究均已表明,學習投入是學習結果產出的必要保證,也是學習質量評估的一個顯性指標。對于學習投入的構成要素,從最初的“行為”“認知”兩個維度到“行為、認知、情感”三個維度,后來增加了社交投入維度,形成四維框架[5]。線上學習的過程信息為學習投入研究提供了直接的數據支持,學習者的在線學習投入研究引起了課程開發及相關管理服務工作者的持續關注。高等教育教學數字化轉型的本質是人的轉型[6],而網絡環境下學生的學習投入狀況將直接反映出學生是否真正成為學習的主角。
在線學習信息的記錄和累積為揭示在線學習者的學習投入狀況提供了一種可能,學習者的在線學習投入研究正經歷從傳統自我報告向多模態信息獲取轉變的過程。目前研究者基于海量文本與圖像等結果數據,實現了跨模態理解與生成,如GPT-4。相對于大量的學習結果信息,學習過程中所能獲取的過程數據還有待進一步深挖。就目前線上學習中所能記錄的數據只是學習者的行為表現,對其學習過程中深層次的認知思考及情感態度還無法大面積地獲取。在一些實驗控制狀態下借助特殊儀器可以獲取學習者生理學的、心理學的或行為學的、社會學的數據,試圖對學習者的學習投入進行多模態的分析評估,但其應用場景非常有限,無法滿足當前大規模在線學習數據分析的需要。尤其像腦電圖模式下的個體差異需要一個更復雜的教育投入評估指標[7]。因此,基于行為數據的學習投入研究依然是當前在線學習質量評估的主要路徑。從行為科學的角度來看,人的外顯行為和內在的心理特性之間有著必然的聯系。因此,如何將學習行為分析與人的內在情感及認知投入結合起來考慮是對線上行為數據加以合理利用的有效方式,也是針對當前學習者學習投入評估問題而采取的必要補充措施。
促進學習者的有效學習投入被認為是提升線上教學質量的關鍵,相關研究主要圍繞學習者的在線學習行為投入水平、效果及適切性程度展開。
(一)有關在線學習行為投入水平的研究
對于學習者學習投入水平的研究,眾多學者表明學習投入實際上是學習者用于學習的時間問題或交互性水平等,經常也簡稱為投入度。首先從不同的學習投入行為分類開始,基于不同的分類結果,眾多研究對在線學習投入水平結果進行了描述。蘭麗娜等從學習動力、學習態度、學習效率、學習毅力、創造思維和學習方法六個方面采集平臺數據,通過“六模”分析,對學習行為進行評估,將學習者的學習行為狀態進行分類,用學習行為模型評估表來計算學生學習行為要素值,由此實時動態反映學生學習行為投入水平[8]。沈欣憶等構建了MOOCAP在線學習行為和學習評價模型,將學習行為按偏好分為規律型、均衡型、積極參與型、序列型和張弛型,以此來對學生學習投入強度進行排列分類[9]。張思等人通過收集網絡空間中的在線學習數據,從參與、專注、規律、交互四個維度測量學習投入,包含學習者登錄網絡學習空間的次數、平均時間、登錄間隔、點度中心性等16個變量,通過計算均值與標準差描述學習投入的基本狀況[10]。韓錫斌等人提出利用學生學習投入量表,通過排序、相關性分析、分布描述統計、四分位距統計方法來對學生不同學習行為投入水平做出測量,能夠全面定量地描述學生在主動學習、師生交互、小組協作、策略運用、自我管理和情感投入六個維度上的表現[11]。李爽等編制遠程學生學習投入評價量表,通過量表測量學生投入現狀,并通過均值計算對學習行為投入進行排序[12]。Dixson依據編制的“在線學習投入量表”從四個維度探究在線學習環境下學習投入水平:技能、情感、參與和表現,并對其包含的行為投入進行高低排序[13]。也有研究通過相關性分析、滯后序列分析和聚類分析等對在線學習行為序列和參與模式進行了實證探索,將學生樣本根據其行為序列特征劃分為五種類型,并定義出五種在線參與模式:即低投入式、淺層次投入式、績效投入式、循序漸進式和隨機參與式[14]。王洪江等人還根據xAPI標準所提出的在線學習活動,確定當前能反應獨立自主學習活動的三類數據——教學視頻播放行為數據、視頻觀看時長和并發學習行為數據,提出在線學習投入度算法,實現了對自主學習投入度的實時觀測與計算[15]。
除了單一的在線學習行為投入分析之外,相關研究也嘗試將其與學習者的認知、情感等要素結合起來分析學習投入水平狀況。王改花、傅綱善從認知、情感和意志三個維度編制了網絡環境下學習者特征量表,并通過在線行為數據的聚類分析將在線學習者分為高沉浸性型、較高沉浸性型、中沉浸性型、低沉浸性型四種群體,通過分類剖面圖直觀呈現每個屬性及其分布,由每種群體中的人數判斷學習者學習投入整體水平[16]。李艷燕等從認知投入、行為投入、社交投入、情感投入四個維度構建了在線協作學習中小組學習投入的分析模型,采用標準差方式對于行為投入基本情況進行排列,以此表示學習者行為投入水平,其中行為投入中發帖量最能體現學生在線學習的投入強度[17]。
盡管前人的研究均已表明,學習者的在線學習投入類型不同其強度也各有差異,但總體上并沒有形成學習者在線學習投入強度評估的常模量表,即缺乏一個客觀衡量學習者在線表現優劣的標準。相關研究也只是較多傾向于針對學習者的在線學習行為類型進行相互比較,每一種學習行為相對于其它行為都有一個相對意義上的學習投入水平高低,但針對同一類型學習者的同一學習行為投入水平評估則缺乏一個可參照的依據,并不能從絕對意義上刻畫出每一位學習者的在線學習行為投入水平或強度。
(二)有關在線學習投入效果的研究
在線學習投入效果或有效性主要是指學習投入的時間、交互等問題與學習質量之間的關系。Carrol曾提出影響學生學習結果的個體內部因素和外部條件最終均可還原為時間,以學習時間來表示[18]。Andrew & Ronald的研究證明,學習投入能夠促進學生的學業成就,提升專業成熟性,降低輟學率,并與學習績效呈顯著的正相關[19]。Ji Won You通過調查大學生的課程數據發現,學生的學習規律、作業遲交數量、課程登錄頻率等學習行為都可以預測學生的課程成績[20]。胡小勇等人針對大學生群體的研究發現,在線學習投入對在線學習績效具有直接正向影響[21]。Adrienne E.Williams等對MOOC學習的第一周成績和線上學習行為做了相關分析,發現第一周的學習成績與在線學習行為投入呈正相關,且增加外部刺激會有助于提升學習效果[22]。Hughes Glyn等探討了技術對開放學習的影響,通過捕獲和分析學生表現的數據,發現積極參與、較高互動和良好出勤對應了較高的分數[23]。P.G.Barba等調查了動機和參與對學生學習MOOC的影響,結果發現績效的最強預測指標是參與度[24]。Li N等人在研究中也驗證了在線學習參與和學業表現之間的相關性[25]。Chia-Lin Tsai等則提出在線學習中投入更多互動的學生對學習結果最有利[26]。李艷燕等人得出在小組學習投入中行為投入、社交投入與小組成績呈顯著正相關關系的結論,而積極、消極、困惑三類情感投入則與小組成績呈負相關關系[27]。R.Conijn等在研究中進一步使用相關性、多元回歸和過程挖掘分析了學生總的活動頻率、對待特定課程項目的頻率和活動順序用以預測學生的表現,發現65%的特定課程項目活動與期末成績顯著相關[28]。Robert L.Peach等人利用貝葉斯模型和時間序列數據框架,分析描述了在線課程中個人和小組學習者的行為,發現高成績學習者對于課程的投入度更高[29]。
由此可見在線學習投入與學習成績、學習效果之間存在必然的聯系,也突顯出學習行為研究對學習效果的預測價值。而針對學習投入,它永遠離不開時間因素,如何推進解釋、預測學習時間與學習結果之間復雜關系的研究將成為學習研究領域持續關注的課題。從早期的學習時間與學習結果關系探討中也可以發現一些不足:如諸多研究過于強調時間,而忽視了學習任務性質;較少考慮不同時間段學習者學習效率的變化;缺少嗜好、態度和價值對學習時間影響的考慮等。
(三)有關在線學習投入適切性的研究
關于學習投入的適切性或精準度主要涉及學生如何學習的問題,即綜合考慮行為類型與投入時間共同對學習效果的影響作用。單從學習投入類型對學習的影響作用來看,已在學習投入強度和效果研究中有所體現。如張琪等利用學習者對信息交換活動的適應性調節過程分析了學習行為投入的狀態,建立起周期反饋循環模型,確定了包含持續性、反思性、主動性與專注性的“PRIC”評測維度,對其中的學習行為投入進行了權重計算,提出位于持續性的行為權重最高,其次是主動性、反思性與專注性,勾勒出學習行為投入各維度及指標的重要程度[30]。尹睿等人構建了“行為投入、認知投入、情感投入和社會交互投入”的理論模型,分析出在線學習投入各結構要素對總體在線學習投入有不同程度的影響,其中社會交互投入影響最大,接下來依次是認知投入、情感投入和行為投入[31]。總體來看,目前對于學習投入精準度的研究尚缺乏全面細化的投入分析模型,但從投入類型和投入時間兩方面結合分析的研究已陸續展開。W Peng結合網上學習過程的行為特征提出了“三維度四層次”的學生分析框架接觸模型,運用不同的方法對學生學習投入的三個維度進行精準分析研究[32]。宗陽等人在RFM模型基礎上依據xMOOC在線學習過程特點,提出中國MOOCs學習者的價值衡量模型ML-RFT,采用模型指標原始值與所有學習者平均值比較的方法將MOOCs學習者分為八大類[33]。R Deng等人設計了衡量學習者投入度的量表,該量表由四個維度組成:行為參與、認知參與、情感參與和社會參與,用來精確評估學習者在MOOC教學中的投入,并簡單分析了更有益于學習效果的行為投入強度[34]。
從已有的研究成果看,眾多研究主要采用描述性統計或回歸分析,僅能表征少量行為投入的簡單線性關系,缺少對不同階段認知、行為及情感投入綜合影響關系的結構化考查。同時,研究結果僅停留在對于學習行為投入維度的劃分上,缺乏對投入時間系列與學習質量關系的對比分析,對于學習者某一具體學習行為表現的最佳閾值區間還缺乏系統科學的論證。
目前在教育研究領域存在一種點、線、面類型的方法系譜[35]。“點”式方法,是從一個概念、一個假設、一個理論出發,或者一對范疇、或者從點構成的三角關系出發而展開的教育研究。如傅鋼善等從認知、情感和意志三個維度編制了網絡環境下學習者特征量表,以及從行為、認知和情感三方面研究在線學習投入就是典型的“三點式”;而假設學習者的學習投入會影響到其學習效果,就是“一點式”的研究。“線”性方法是指按照某種一元化標準對研究對象進行的兩個以上的分段或分類。具體來說,“線”性方法可分為階段法、分類法與連續體方法。如李爽等將36個行為序列分為五類在線參與模式,即低投入式、淺層次投入式、績效投入式、循序漸進式和隨機參與式。諸如這樣采用線性方法開展的分類或分段研究較多。象限圖分析法就是相對于“點”式方法與“線”性方法而言的“面”上研究方法,其分析構成要素包括“兩維”與“兩極”,由兩維與兩極構成的象限形成一個平面,稱作“面”上研究。當下“點”式方法是教育研究的主流方法,“線”性方法則有待進一步深化,“面”上方法,即象限圖分析方法卻很少被研究者關注。有關在線學習行為投入的研究目前也主要集中在點式或線性方法的交替應用上,采用面上方法開展的研究則不常見。
“面”上研究方法中的二維象限法最早起源于管理學,并受到認同和廣泛的應用[36]。廣義上的象限圖方法是指以事物(事件、工作、項目等)的兩個重要屬性為分析依據,進行分類分析,找出解決問題辦法的一種分析方法。運用象限圖法的分析思路并不復雜,但實際價值卻不容小覷。具體使用過程就是通過分析找到研究對象最重要或影響力最大的兩個方面分別構建“兩維”和“兩極”。“兩維”是指建立分析坐標的兩條軸線,分別用A、B表示;“兩極”是指同一坐標系軸線兩端所代表的方向完全相反的描述性標準,由“兩維”和“兩極”構成的象限是一個平面。只要A、B兩方面區分合理、相互獨立且每個維度的標準統一、兩極對立,就很容易將研究問題的一個新維度或新類型擴充出來,由此延伸下去,可以開拓出有意義的研究新方向,從而提出許多有意義的觀點。因為二維象限分析的基本特點是同時采用兩個分析維度,且至少把研究對象分成四種情況來加以考慮,其主要價值是可以拓展研究者的思維,超越狹隘封閉的一元化思維和簡單的線性模式。因此在教育現象研究中,運用象限圖法能夠在假設提出、類型劃分和模型構建等方面發揮其獨特的作用。
學習行為不僅存在各種外在表現形式,也反映著不同學習者的心理狀態。在心理學中,內隱是個體對事物所持的積極或消極的認知、情感或反應,由不自覺的以往經驗或不能歸因于以往某一確定經驗所引起。認知心理學和社會心理學中常用的內隱態度定義來自于Greenwald & Banaji對內隱認知相關概念的定義:即內隱態度是無法省識(或準確識別)的過去經驗痕跡,它調解著對社會上的事物喜歡或不喜歡的情感、認知和反應[37]。行為治療理論也把行為分為內隱和外顯兩種,其中內隱性行為包括思想、想象、感覺和情緒等。該理論認為,外顯行為和內隱性行為同出一源,處于同一連續體上,兩者的重要性是相同的。外顯行為可以轉化為內隱行為,影響內隱行為;反過來內隱性行為也可影響外顯行為,兩者之間具有交互作用。內隱性行為和外顯行為一樣受學習原理特別是操作條件作用原理的支配,其交互作用也遵循同樣的規律。因此,對學習者在線學習行為的分析便可借助二維象限分析法,將具體在線學習行為從外顯性和內隱性兩個維度考查,探究每一種學習行為的內部動機程度,綜合分析學習行為表現與學習效果的關系,形成多角度、多層次的評價指標體系,從而對在線學習行為投入做出更全面、更有應用價值的評估結果。
從目前在線學習規模和針對在線學習質量研究的現實落差來看,在線學習行為投入分析亟需探索新的設計思路與方法來提升研究的品質和實際效用。鑒于對在線學習投入研究真實狀況的分析了解,本研究擬從線上學習中最易獲取的行為數據入手,將從外顯性和內隱性兩個屬性對其進行深度分析,綜合應用點、線、面三級方法,試圖構建在線學習行為投入評估模型,以期對學習者的在線學習投入狀況進行全面評估。該評估模型將集中討論以下三項研究內容:(1)有效評估學習者的在線學習投入水平;(2)準確評估在線學習行為投入過程與學習結果之間的關系;(3)科學評估學習者在線學習行為投入的最佳閾值區間。
(一)基于“點”式的評估
構建基于“點”式的評估模型,首先假設行為投入度越高,學生的學習績效越好,然后建立在線學習行為投入度的百分等級量表。
1.建立每一種學習行為的百分等級常模
學習者在線學習的每一種行為都將有一個外顯特性和一個內隱特性,進而形成在線學習行為投入評估的基礎條件。選取一定數量的學生樣本,從平臺獲取學生的相關學習行為之后,在前期分類的基礎上,分別建立每一種行為外顯數值的百分等級量表和內隱數值的百分等級量表(如表1所示)。建立學習行為投入的百分等級量表是后續研究的基礎,其客觀程度一方面需要樣本數量的支持,同時也需要教師線上的精心指導和對學生學習狀況的綜合考慮,保證現有條件下的線上學習行為投入水平呈正態分布樣態。


2.計算每位學習者學習行為投入的百分等級位數
當通過取樣建立了某一行為的百分等級量表以后,針對某一學習者的學習行為投入就可以計算出其在學習者群體中所處的相對位置。基于此,可對學習者做出比較準確的反饋,對教師教學指導甚至為平臺自動化預警提供有益幫助。但這只是單純的描述性信息,其數量大小對學習結果的影響作用還需要進一步深究。
(二)基于“線”性的評估
目前大多數關于在線學習行為投入的研究采用了線性方法,根據其對學習效果的影響作用大小將直接檢驗到的學習行為重新定義分類,形成一組抽象的學習行為類別,其在某一方面已經暗示著投入的有效性。本研究在前期假設的基礎上,通過Rasch模型進一步分析呈現不同學習行為類型與學習績效之間的相關性,進而呈現出新的行為關系結構類型。Rasch模型是丹麥數學家喬治·拉希(Georg·Rasch)提出的一種基于概率的潛在特質模型。它主要的特點是能克服樣本依賴,并且能將數據放置在同一個Logit尺度中。本研究中建議可以將每種行為(某一外顯特性或某一內隱特性)類型看作是難度不同的測試項目,在行為數據樣本足夠多的情況下,將學習結果(成績)與學習行為類型放在同一量尺中,通過Rasch分析直接比較兩者之間的聯系,探索行為類型與學習結果的具體關系。這里使用單維Rasch模型進行具體數據分析,大致可以分為以下兩種情況:
1.學習者外顯行為投入與學習效果的關系
比如對學習者登錄總時長、登錄總次數等外顯行為與學習成績進行單維Rasch分析(如圖1所示),將學習者登錄總時長、登錄總次數等外顯行為,依據百分等級常模中角定的標準來衡量,低于標準的投入賦值為0,高于標準的投入賦值為1,全部外顯行為在懷特圖右側展示,左側分別代表學習者的學習成績。懷特圖中左邊的學習者學習成績,越靠近頂端,代表學習者學習效果越好;右邊代表外顯行為的類型,自上而下依次降低。越是處于上部的學習行為代表學生越好的結果,也即這些行為投入對學生的學習成績影響越大。如果將學生所有的外顯學習行為按自下而上或自上而下地排列分成幾階或幾段,依據影響學習效果的外在行為因素可以形成一個新的線上學習行為分類結果,以突出主要的行為外顯特征。
2.學習者內隱行為投入與學習效果的關系
比如對學習者登錄平均時長、平均登錄間隔等內隱行為與學習成績進行單維Rasch分析,將學習者登錄平均時長、平均登錄間隔等內隱表現,按照標準來衡量,低的賦值為0,高的賦值為1,全部內隱行為在懷特圖右側展示,左側分別代表學習者的學習成績。懷特圖中左邊的學習者學習成績,越靠近頂端,代表學習者學習效果越好;右邊代表內隱行為的影響程度,自上而下依次降低。越是處于上部的學習行為代表學生越好的學習效果,即這些行為對學生的學習成績影響越大。如果將學生所有的內隱學習行為按自下而上或自上而下地排列分成幾階或幾段落,依據影響學習效果的內在行為因素同樣可以形成一個新的線上學習行為分類結果,以突出主要的行為內隱特征。
(三)基于“面”上的評估

為兼顧學生的線上線下學習和其它課程內容的學習,在有限的學習時間范圍內,試圖分析學習者線上學習行為投入的最佳域值區間,為教師的合理引導提供證據支持。由于學生的學習總時間量是固定的,學生用于線上學習的時間如何分配,也即線上學習投入強度大小還缺乏具體的判斷準則。從已有研究結果看,就大學生的學習投入狀況如何并沒有給出一個明確結論。雖然各類研究均表明在線學習投入與學習結果有一定的關系,但針對是否存在適切的在線學習投入度(即精準度)并沒有給出答案,而且也缺乏對學習行為彼此交互影響關系的全面分析。這就需要突破原有的線性研究思路,通過面上研究方法的應用找到一些新的規律,在明晰行為投入強度與學習績效關系的基礎上,進一步分析不同的內隱行為與外顯行為對學習效果影響的一致性,并對其行為投入效果的最佳域值區間有比較準確的掌控。
1.在線學習行為的二維象限分類研究
將平臺上可能出現的學習行為序列已按外顯屬性和內隱屬性兩個方面進行分類,再借助二維象限分析法將其分為高低組合的四種類型,分別處于四個象限中(如圖2所示)。外顯行為屬于頻率性投入,受單一的行為表現因素影響;內隱行為屬于實質性投入,受較多的認知因素和情感因素影響。其高低劃分的標準主要是依據“點”式研究中所確立的百分等級量表,將學生學習行為數據由低到高進行排序,選擇50%的中間點作為標準。當外顯性行為投入和內隱性行為投入值的百分位數都大于50時,屬于高頻次投入,小于50時屬于低頻次投入。這樣不同程度的行為投入者就會進入不同的象限,具體分布在某一象限的學習者數量比較直觀地呈現出來。

2.外顯行為與內隱行為投入的組合分類
在前期點式和線性研究的基礎上,學習行為投入的頻次高低(強度)以及和學習成績的關系(效度)都已明確,此時需進一步細化分類,將同處高投入的內隱、外顯行為再分別劃分為“非常高(H3)、中等高(H2)、一般高(H1)”三個層級,這樣在A象限(高內隱高外顯)上由不同的內隱、外顯行為層級分割成9個區域。同樣將低投入的內隱和外顯行為也劃分為“一般低(L1)、中等低(L2)、非常低(L3)”三個層級,結合A象限的劃分層級,這樣在B象限(高內隱低外顯)和D象限(低內隱高外顯)上同樣被分割成9個區域。
3.用多維Rasch分析確定學習行為投入的精準度
通過單維Rasch分析分別確定了外顯行為和內隱性行為對學生學習成績的影響之后,再通過多維Rasch分析來判斷外顯行為和內隱性行為共同影響下與學習成績的關系,進而確定學習行為投入的最佳閾值,即精準度。
具體作法是構建出“學習成績——某一行為的內隱性表現——某一行為的外顯性表現”的多維Rasch模型,在A象限和B、D象限,內隱性行為投入和外顯行為投入都已分為三個層級(如圖3所示)。為便于使用Facets分析軟件,分兩步確立最佳行為投入區間。第一步,針對A象限,假定滿足A象限的行為數據規定為“1”,落在其它象限的數據則定為“0”。第二步,針對B、D象限,則規定滿足B、D象限的行為數據為“1”,落在其它象限的數據則定為“0”。此時,分析內隱和外顯同時作用下的行為類型對學習者成績的影響,包括高內隱性高外顯、高內隱性低外顯及低內隱性高外顯三種情況下的行為投入,得到雙重作用下對學習者學習效果的影響結果。

通過上面的分析得到了能體現學習者更高能力水平的學習行為,由此繼續分析這些學習行為究竟處于哪一區間最能影響學習者的學習質量,進一步用Rasch多維分析來判斷這些內隱與外顯行為表現落在“非常高(低)、中等高(低)、一般高(低)”三個層級組合形成的9個區域中的具體位置。多維Rasch模型允許分析多種因素與學習效果的關系,因此可以將學習成績、行為的內隱性表現及行為的外顯性表現結合分析,構建出“學習成績-內隱性投入-外顯性投入”的多維Rasch分析模型。應用Rasch多維模型,將學習者某一學習行為模塊中的兩種行為表現數據錄入多維分析軟件進行具體數據的加工處理,生成多維懷特量尺層面圖。在投入高低一欄中,越靠上的層次是對成績影響權重值越大的行為投入,越靠下的表現行為投入對成績的影響權重值越小。
為了細化分析每一種外顯性行為或內隱性行為與學習成績的關系,此時只需要將某一種行為的內隱性表現和外顯性表現按已有的高低層次劃分并進行等級賦值,將數據導入分析軟件就可以得到同一類學習行為中內隱性投入和外顯性投入的不同組合結果。最后,再根據其與前期劃分好的三個層級間的關系來判斷9個區域中哪一個組合與最優成績的相關性更高。以此方法對平臺記錄數據進行分析,進一步明確在線學習行為投入強度與學習成績的復雜關系。
高等教育數字化轉型歸根結底要落實到教師的思想和行動上,其中一項就是教師能夠準確診斷教學中存在的問題,借助數字技術解決問題,據此持續改進教學[38]。基于“點、線、面”研究方法的綜合應用,建立學習行為投入評估模型,對于推動在線學習發展有一定的應用價值。本研究通過對Moodle平臺上自建課程學習者行為數據的分析挖掘,可以進一步展示該評估模型在應用于獲取學生在線學習的過程信息、全面掌握學生的線上學習質量和主動反思在線學習參與的實效性等方面的潛在價值。
(一)準確獲取學生在線學習的過程信息
學習行為百分等級量表呈縱向分布,一方面可簡單為某門課程學習中所有參與者的每一類學習行為分布趨勢描繪一張張圖表,可以評價所有學生的學習行為投入強度。教師可以根據此表了解班級學生整體投入現狀,以及時調整教學內容、教學策略等,幫助學生提升在線學習投入水平。另一方面,通過建立的一個百分等級量表將直觀呈現學生某一類行為的投入水平,作為學習者個體可以通過此表直觀計算其在線學習行為投入具體表現狀況,對照檢驗自己某一行為投入水平處于班級水平的位置,達到反映個體學習者學習投入強度的目的。
研究中對登錄、文檔資料、作業、測驗和課程視頻等五類行為發生模塊中的11種外顯行為和11種內隱性行為建立百分等級量表,22種行為百分等級量表中的百分等級位數即反映每個學習者在不同行為層面的投入水平。從總體上來看,在行為的外顯性上,對于教師布置的測驗、課程視頻和作業等學習任務投入的時間精力較多,而對于文檔瀏覽等自我決定的學習任務參與積極性程度不高。在行為的內隱性上,學生對于在線學習中任務導向的單元測驗、作業提交等模塊重視程度高,而在質量導向的學習規律性和作業檢查頻次方面則表現一般。
總體上對于每一類行為投入都會有一個整體性認知,高水平的分布區間和低水平的分布區間及相關人員都會有明確標識。同時,結合不同的行為投入百分等級量表,可以總體上把握每一位個體學習者的學習行為投入水平,進而可以準確獲得學習者的學習過程信息。如表2所示,在登錄行為發生模塊,“登錄總時長”為43267秒,投入強度為84.1,與之對應的內隱行為“每周平均登錄時長”為2404秒,投入強度為84.4,這說明該生的登錄行為高于總體84.1%的學生,學習的自主性較高。

(二)全面掌握線上學習的質量信息
為了掌握某一課程學習中學生所有學習行為投入的有效程度,并不是單純依賴頻次進行高低排序,而是依據其與學習結果的關系進行排列,單維Rasch分析得出的懷特圖就能直觀呈現其分布情況。即越往上表明學習行為投入越難達到,完成后對學習結果的影響越大;越往下表明行為投入越容易達到,其對學習結果影響越弱。從行為的外顯性上來看,E2-1單個視頻最后觀看時間距課程結束時的平均天數等衡量學習持久性的行為是最難達到的;B1-1文檔瀏覽總時長、B2-1文檔瀏覽總次數、D1-1單元測驗完成平均分數、D3-1完成測驗時間距截止時間的平均天數是學生較難完成的學習行為;C2-1作業完成平均字數、D4-1單元測驗平均完成時長、C1-1作業提交總次數、A1-1登錄總時長、E1-1視頻平均觀看進度是學生完成得較為容易的學習行為;而D2-1單元測驗完成的總次數是學生最容易實現的學習行為。因此,該教學過程中應引導學生加大主動學習投入的力度。從行為的內隱性來看,B2-2文檔有效瀏覽次數這一行為是學生最難達成的行為,也是對學生學習成績影響最大的行為;D4-2單元測驗的相對時長差、E1-2視頻平均觀看時長、C1-2完成期末測驗與作業超時提交次數、D3-2單個測驗平均提交時間間隔、E2-2視頻平均觀看間隔、D1-2單元測驗分數進步則比較難達到;而B1-2單個文檔平均瀏覽時長、C2-2作業完成的低相似度、A1-2每周平均登錄時長、D2-2單個測驗最高答題次數是學生最容易完成的行為。如圖4所示,學生在測驗方面的投入水平較高,處于高內隱與高外顯的投入和高內隱與低外顯的投入都較高。由此可知,該課程學習中學生在績效投入方面水平較高,而其他內隱性行為投入較低,故在教學中應該加大學生的主動投入、自我管理投入和規律性投入力度。

(三)主動反思在線學習參與的實效性
諸多研究證明,學習投入與學習結果呈正相關,即時間付出越多學習效果越好。但學生學習的總時間是有限的,對每一門在線課程的學習時間也需要合理分配,不僅不同的學習行為投入對學習效果的影響大小各異,而且外顯行為與內隱行為投入水平的不同組合也影響到學習結果。二維象限分析可以直觀呈現所有人的行為投入狀況,并且以學生學習成績為參照,借助多維Rasch分析對外顯性與內隱性行為在投入程度上的影響力大小進行研究,通過多維懷特量尺層面的比較,比較適切的行為投入水平(即最佳閾值區間)最后得以確定,進而對學習者的在線學習行為投入效果做出更為科學合理的推斷。
通過對在線學習行為投入的精準度的分析可以發現,當學習者行為投入水平達到A象限(高外顯-高內隱)時,其外顯行為與內隱性行為對學習結果的影響幾乎是一樣大的,說明在高投入水平時,外顯行為與內隱性行為一樣重要。具體的行為表現中,“登錄的時長”類行為的表現為H3H2層級,即外顯性行為表現在“H3非常高”層級,內隱性行為表現在“H2中等高”層級;“瀏覽文檔”類行為的表現為H3H3層級,即外顯性表現和內隱性表現大多都分布在“H3非常高”層級;“作業完成質量”類行為的表現為H2H1層級,即外顯性表現分布在“H2中等高”層級,內隱性表現分布在“H1一般高”層級;“完成測驗頻次”類行為的表現在H3H1層級,即外顯性表現主要分布在“H3非常高”層級,內隱性表現多分布在“H1一般高”層級;“觀看課程視頻頻率”類行為的表現再H1H2層級,即外顯性表現多分布在“H1一般高”層級,內隱性表現多分布在“H2中等高”層級。
當學習者行為投入水平達到B、D象限(低外顯-高內隱、高外顯-低內隱)時,其外顯行為與內隱性行為對學習結果的影響則不一樣大。具體的行為表現中,“登錄時長”類行為的表現在H1L3層級,即外顯性行為表現在“H1一般高”層級,內隱性行為表現在“L3非常低”層級;“瀏覽文檔”類行為的外顯性表現多分布在“L3非常低”層級,內隱性表現多分布在“H1一般高”層級;“作業提交”類行為的表現在H2L2層級,即外顯性表現分布在“H2中等高”層級,內隱性表現分布在“L2中等低”層級;“完成測驗次數及分數變化”類行為的外顯性表現主要分布在“L1一般低”層級,內隱性表現多分布在“H2中等高”層級。總體上看,對于大多數學習者,登錄類行為和瀏覽文檔類行為,應投入在“H3非常高”層級至“H1一般高”層級;完成作業類行為和觀看課程視頻類行為,應投入在“H2中等高”層級;完成測驗類行為,應投入在“H2中等高”至“H1一般高”層級。學習者可以由此合理分配自己的時間,在不同的行為模塊中投入不一樣的強度,將更多的時間精力放在主動型的自我管理類學習行為中,而非被動型的績效投入類學習行為。
總之,通過綜合評估模型的應用,對學習者和教師都將產生積極的影響作用。該模型直觀展示并比較了學習結果與線上學習行為外顯性和內隱性投入之間的聯系,不僅反映學習者外在顯性的學習行為對學習效果的影響,還體現了學習者內在隱性的學習動機、情感態度于學習效果間的關系。二者有效的結合應用提高了基于學習行為預測的準確性,并為學習者改進學習質量提供理論支持及更加便捷有效的方法。
參考文獻:
[1] 程建鋼,崔依冉等.高等教育教學數字化轉型的核心要素分析——基于學校、專業與課程的視角[J].中國電化教育,2022,(7):31-36.
[2] 楊宗凱.高等教育數字化轉型的路徑探析[J].中國高教研究,2023,(3):1-4.
[3] 蘭國帥.高等教育數字化轉型的宏觀趨勢及應對策略——EDUCAUSE《2023年高等教育趨勢觀察》要點與思考[EB/OL]. https://doi.org/10.13878/j.cnki.yjxk.20230524.001,2023-06-20.
[4] 雷朝滋.智能技術支撐教學改革與教育創新[J].中小學數字化教學,2021,(1):5-7.
[5] Fredricks J A,Blumenfeld P C,Paris A H.School Engagement:Potential of the Concept,State of the Evidence [J].Review of Educational Research,2004,74(1):59-109.
[6][38] 韓錫斌,陳香妤等.高等教育教學數字化轉型核心要素分析——基于學生和教師的視角[J].中國電化教育,2022,(7):37-42.
[7] B.M.Booth,A.M.Ali,S.S.Narayanan,I.Bennett and A.A.Farag.Toward active and unobtrusive engagement assessment of distance learners [A].2017 Seventh International Conference on Affective Computing and Intelligent Interaction (ACII) [C].San Antonio,TX:IEEE,2017.470-476.
[8] 蘭麗娜,石瑞生等.基于學習行為模型的學習伙伴推薦方法研究[J].現代教育技術,2018,28(4):67-73.
[9] 沈欣憶,吳健偉等.MOOCAP學習者在線學習行為和學習效果評價模型研究[J].中國遠程教育,2019,(7):38-46+93.
[10] 張思,劉清堂等.網絡學習空間中學習者學習投入的研究——網絡學習行為的大數據分析[J].中國電化教育,2017,(4):24-30+40.
[11] 韓錫斌,程建鋼.基于網絡教學平臺的學習分析模型構建與應用[J].電化教育研究,2018,39(7):33-39+48.
[12] 李爽,喻忱.遠程學生學習投入評價量表編制與應用[J].開放教育研究,2015,21(6):62-70+103.
[13] Dixson,M.D..Creating effective student engagement in online courses:What do students find engaging [J].Journal of the Scholarship of Teaching and Learning,2010,(2):1-13.
[14] 李爽,鐘瑤等.基于行為序列分析對在線學習參與模式的探索[J].中國電化教育,2017,(3):88-95.
[15] 王洪江,穆肅等.自主學習投入度實時分析方法及應用研究[J].電化教育研究,2017,38(10):44-50.
[16] 王改花,傅鋼善.數據挖掘視角下網絡學習者行為特征聚類分析[J].現代遠程教育研究,2018,(4):106-112.
[17][27] 李艷燕,彭禹等.在線協作學習中小組學習投入的分析模型構建及應用[J].中國遠程教育,2020,(2):40-48+77.
[18] John B.Carroll.A model of school learning [J].Teachers College Record,1963,64(8):723-733.
[19] Andrew J W,Ronald G D.Construct Dimensionality of Engagement and its Relation With Satisfaction [J].The Journal of Psychology:Interdisciplinary and Applied,2009,143(1):91-112.
[20] You J W.Identifying significant indicators using LMS data to predict course achievement in online learning [J].Internet & Higher Education,2016,29:23-30.
[21] 胡小勇,徐歡云等.學習者信息素養、在線學習投入及學習績效關系的實證研究[J].中國電化教育,2020,(3):77-84.
[22] Jiang S,Williams A E,et al.Influence of Incentives on Performance in a Pre-College Biology MOOC [J].International Review of Research in Open & Distance Learning,2014,15(5):99-112.
[23] Hughes G,Dobbins C.The utilization of data analysis techniques in predicting student performance in massive open online courses (MOOCs) [J].Research & Practice in Technology Enhanced Learning,2015,10(1):10.
[24] Corrin L.,Kennedy G,et al.Completing the Loop:Returning Meaningful Learning Analytic Data to Teachers:A Handbook for Educators and Learning Analytics Specialists [R].Adelaide:University of South Australia,2016.64.
[25] Li N,Wang J,et al.Investigation of face-to-face class attendance, virtual learning engagement and academic performance in a blended learning environment [J].International journal of information and education technology,2021,11(3):112-118.
[26] Chia-Lin Tsai,Heng-Yu Ku & Ashlea Campbell.Impacts of course activities on student perceptions of engagement and learning online [J]. Distance Education.2021,42(1):106-125.
[28] Conijn R,Snijders C,et al.Predicting student performance from LMS data:A comparison of 17 blended courses using Moodle LMS [J].IEEE Transactions on Learning Technologies,2017,10(1):17-29.
[29] Peach R L,Greenbury S F,et al.Understanding learner behaviour in online courses with Bayesian modelling and time series characterization [J].Scientific Reports,2021,11(1):2823.
[30] 張琪,武法提.學習行為投入評測框架構建與實證研究[J].中國電化教育,2018,(9):102-108.
[31] 尹睿,徐歡云.在線學習投入結構模型構建——基于結構方程模型的實證分析[J].開放教育研究,2017,23(4):101-111.
[32] Peng W.Research on Model of Student Engagement in Online Learning [J].Eurasia Journal of Mathematics,Science and Technology Education,2017,13(7):2869-2882.
[33] 宗陽,鄭勤華等.中國MOOCs學習者價值研究——基于RFM模型的在線學習行為分析[J].現代遠距離教育,2016,4(2):21-28.
[34] Deng R,Benckendorff P,et al.Learner engagement in MOOCs:Scale development and validation [J].British Journal of Educational Technology,2020,(5):1-18.
[35] 陳廷柱.二維象限分析法及其在教育研究中的應用[J].教育研究與實驗,2012,4(3):55-59.
[36] 秦智勇.提高管理效果有奇招——解析二維象限法[J].管理工程師,2003,(4):30-32.
[37] Greenwald A G,Banaji M R.Implicit social cognition:attitudes,selfesteem,and stereotypes [J].Psychological Review,1995,102(1):4-27.
作者簡介:
蔡旻君:副教授,博士,研究方向為智能學習理論與應用、課程設計與評價。
A New Exploration of Learners’ Online Learning Behavior Investment
—Construction of Application Evaluation Model Based on Point, Line and Area Method
Cai Minjun
(School of Educational Technology, Northwest Normal University, Lanzhou 730070, Gansu)
Abstract: As an important evidence of online learning quality, learners’ online learning engagement attracts much attention. A comprehensive review of existing studies on online learning engagement includes analysis and judgment based on behavioral data and comprehensive evaluation based on cognitive, emotional and social factors. However, there are still many unsolved mysteries, which need further continuous and in-depth analysis and discussion. According to the effective ways of obtaining and applying network information, a large amount of behavioral data is the important information content of online learning investment quality analysis. This paper explores the classification of online learning information from the two attributes of explicit and implicit learning behaviors, which is helpful to consider the behavioral, cognitive and affective factors that affect the quality of learning.On the basis of this classification, combined with the characteristics of point, line and area research methods, the evaluation models for the intensity, validity and accuracy of learners’ online learning behavior investment were constructed by using percentage scale, single and multidimensional Rasch analysis techniques successively. Finally, through accurate access to online learning process information, a comprehensive grasp of online learning quality results, as well as active reflection on the effectiveness of online learning participation and other aspects of the application of the validation of the effectiveness of the evaluation model.
Keywords: online learning; behavioral input; evaluation model; quadrant graph method; Rasch analysis
責任編輯:趙云建