國際在線學習投入評價工具綜述

董安美

北京市正澤學校 北京 100033

0 引言

從2020年開始，為了應對新冠疫情，各級各類學校按照教育部的部署，利用信息技術實現“停課不停學”。在線學習是廣大師生使用的主要方式，例如，同步在線課程，異步在線課程。在這種學習方式下，教師不能像在面對面的課堂教學中一樣，通過學生的眼神、表情等狀態了解學生的課堂學習投入情況。因此，學生的在線學習投入成為廣大教師實施在線教學時最為關注的問題之一。

通過梳理研究文獻可以看出，在線學習投入的研究起源于學校教育中的學習投入。學習投入的內涵從行為投入、心理投入、認知投入逐步擴展與演進，不斷深入探究學習的本質。對于在線學習來說，學習投入更具有重要意義。以國家開放大學、各大高校的網絡教育學院（或遠程教育學院）以及慕課平臺（MOOC）為代表的在線學習機構和研究人員已經從教學管理、學習質量、學生發展方面，對在線學習投入進行了研究。技術的快速發展，拓展了測量投入的方法。研究者除了使用自我報告的問卷測量學習投入以外，還可以利用機器識別信號或行為，例如，腦電信號、皮膚電活動、面部表情、眼神、鍵盤輸入、鼠標移動，對在線學習投入進行分析。但是在研究文獻中還未對在線學習投入的內涵達成共識，在教學實踐中，在線學習投入的評價指標差異較大，在線學習投入的評價結果所導向的實踐應用也有所不同。因此，有必要對在線學習投入評價工具進行分析，幫助教師利用在線學習投入的數據有針對性地實施在線教學干預，促進學習者深層次的學習，提高學生的在線學習質量。

鑒于在線學習投入的研究建立在學校教育中學習投入的基礎之上，筆者先溯源學習投入的內涵演變。早期，Tyler（1930）觀察到學習時間對學習結果有積極的影響，Pace（1980）發現努力質量高的學生會有更多收獲，并使用“努力的質量”衡量學生在有學習意義的學習活動中付出的時間和努力。Astin（1984）在努力質量的基礎上提出參與理論（theory of involvement），并指出參與對學習成績的重要性。后來的研究從行為、認知和情感等不同維度分析學生在學習活動中付出的時間和努力，在此背景下，用學習投入（learning engagement）作為術語來表達這一含義。

隨著慕課的廣泛應用與推廣，在線學習的輟學率、學習質量成為在線教育特別關注的問題。提高在線學習投入成為解決這些問題的途徑之一。大部分研究沿用了學校與課堂中學習投入的內涵。但是實證研究發現學校課堂教學情境和在線學習情境中的學習投入的互相替代性低，需要對二者分別加以研究。有的學者認為在線學習投入是指學習者在在線學習環境中訪問學習資源、在線提問、評論和反思的學習過程。有的學者認為在線學習投入不能僅僅注重在線行為投入，還需要從認知和情感維度分析在線學習的深層次學習。從在線學習的基本要素，即學習內容、學習活動、學習支持出發，筆者認為在線學習投入是指學習者通過在線學習平臺與學習內容、同伴和教師的互動過程，置身于學習活動中理解、思考與討論，根據自身的學習需要選擇恰當的學習支持，為了達到知識、技能和情感等學習目標而付出的努力與精力。

1 文獻篩選與分析

1.1 研究問題

在理解了在線學習投入的內涵和應用價值之后，如何測量在線學習情景中的學習投入就成為關鍵問題。筆者提出的具體研究問題如下。

1）在線學習投入的研究中，使用頻率高的研究工具有哪些？

2）不同的研究工具獲取的數據內容是什么？

3）每一種研究工具的優缺點是什么？

1.2 文獻檢索與篩選

筆者在Web of Science （WOS）數據庫的核心合集中，設置檢索標題為（engag*） AND （student*OR learning OR learner* OR undergraduate*OR k12 OR education） AND （online OR MOOC OR e-learning OR distance OR networked OR internet OR computer OR technology OR ICT OR digital learning），在2022年2月17日對1900—2022 期間的文獻進行檢索，共得到843 篇文獻，去除79 篇沒有全文的論文（評論、會議摘要、書評），對764 篇論文進行文獻計量分析。

1.3 分析程序

采用文獻引文分析和內容分析法，對WOS 數據庫中搜集到的文獻進行分析。使用引文分析軟件（HistCite）查找使用頻率高的在線學習投入評價工具，然后閱讀所收集的文獻，辨別評價工具的類型，分析每一種工具的優缺點。

HistCite 軟件可以對被分析的文獻生成引文關系圖，表示重要文獻之間的關系。根據HistCite對文獻的本地數據庫引用次數（Local Citation Score，LCS）的分析結果，按照引用頻率的高低，依次閱讀每篇論文。新出版的文獻被引用的次數較少，例如，2020年和2021年。因此，對引用次數少的新文獻也要進行內容分析。在被分析的文獻中有一些是理論探討和文獻綜述，這兩種論文沒有介紹研究工具。質性研究的研究工具通常是訪談和觀察。筆者將這幾類論文排除在外，主要分析并量化研究論文中使用的研究工具。

通過內容分析發現，在線學習投入的評價工具有三種類型：問卷、計算機外設與傳感器、在線學習平臺。通過論文的引用次數篩選出高頻率使用的研究工具，借助內容分析發現不同類型的研究工具。

2 在線學習投入的評價工具

本小節介紹在線學習投入的三種類型的研究工具：自我報告的問卷、計算機外設與傳感器、基于在線學習平臺的統計和學習日志的數據挖掘。先分別介紹三種研究工具的具體評價維度和指標，再對比三種評價工具的優勢與不足。

2.1 利用自我報告的問卷評價在線學習投入

2.1.1 使用學校與課堂中學習投入的問卷

Chen 等學者的研究是在線學習投入中被引用次數最高的[1]，他們采用了學校情景中美國全國大學生投入調查問卷（National Survey of Student Engagement,NSSE）。該問卷的目的是調查學生在學習和學校活動中投入的時間和努力，希望評價學校如何部署資源、組織課程和其他學習機會、學生參與有關的活動的情況。該問卷的評價維度包括學術挑戰、同伴學習、教師支持、校園環境。

自我報告的問卷應用于在線學習投入時，需要考慮研究目的和應用情景。研究學習投入的目的不同，采用的操作性定義不同，評價的維度就不相同。在學校教育情境中，學習投入在學校層次和課堂層次的評價指標是不同的。兩個研究的問卷都包括行為投入、認知投入和情感投入三個維度，但是具體的評價指標不同。例如，在學校層次，師生互動和歸屬感是情感投入的評價指標[2]；但是在課堂層次，情感投入的評價是指興趣和焦慮，師生互動和歸屬感則是影響因素[3]。學習投入的評價指標是其包含的內容，而影響因素是影響學習投入的外部因素。

在學校層次的學習投入問卷中，NSSE 在大學使用較為廣泛。在課堂層次學習投入的問卷中，Kong 等學者的問卷是在中國小學五年級數學課堂情景下編制的[3]。Skinner 等學者和Schaufeli 等學者編制的問卷是研究者使用較多的評價工具。大多數研究者只使用Skinner 的問卷中行為投入和情感投入維度的題目[4]。Schaufeli 的問卷中學習投入的維度與其他研究明顯不同[5]，這是由于研究者編制問卷的研究假設是將投入與倦怠進行對照，從活力、奉獻、專注三個維度，評價學習和工作場景中的投入。

2.1.2 基于在線學習特征開發的在線學習投入的問卷

一些研究者基于在線學習特征開發了在線學習投入問卷。這一類的在線學習投入問卷有三個特點。

第一，采用學校教育情境中學習投入的維度與指標，使用在線學習的學習活動和情景編制問卷的題目。例如，Sun and Rueda 將在線學習投入分為行為投入、認知投入和情感投入三個維度[6]，行為投入維度的問卷題目是“我遵守在線課程的學習規則”，這個題目與學校層次學習投入問卷中Wang的問卷中的行為投入的題目類似，只是增加了“在線”這個學習情景。

第二，在現有維度的基礎上，增加新的維度和指標。例如，Redmond 等人的研究中除了將在線學習投入分為行為投入、認知投入和情感投入之外[7]，還增加了社交投入與合作投入。在線學習投入并沒有像學校教育中的學習投入問卷一樣區分學校層次和課堂層次，但是在分析在線學習投入與影響因素之間的關系時，需要根據研究問題選擇對應的問卷，才能分析影響因素與在線學習投入之間的關系。在Redmond 等人的研究中，社交投入與合作投入是在線學習投入包含的內容。然而對于使用Sun and Rueda 問卷的研究來說，社交投入與合作投入卻是在線學習投入的影響因素。

第三，依據在線學習的特征，重新設計在線學習投入的評價維度與指標。例如，Dixson 從技能、情感、參加、績效四個維度評價在線學習投入，反映學習者個人的行為，付出的努力，與教師、同伴和學習內容的互動，學習結果[8]。其中，技能和參加兩個維度的評價指標與在線學習平臺的學習活動密切相關，情感和績效兩個維度的指標與在線學習的體驗和學習結果有關。

Martin and Bolliger 提出在線學習的三種互動類型：同伴互動、師生互動、學生與內容的互動，開發了在線學習投入的量表，每一個互動類型都是一個評價維度，共29 題[9]，用于評價成年學習者的在線學習投入。Sun，Rueda 和Dixson 編制的問卷在已有研究中使用較為廣泛。Redmond 借鑒了NSSE 的評價指標，用于評價高等教育的在線學習投入。

2.2 獲取計算機外設與傳感器的信號評價在線學習投入

使用計算機外部設備或者穿戴式設備獲取學習活動中學習投入的數據，能夠較為客觀地獲取學生在學習過程中的數據，并且能夠記錄每一個活動的數據，更加精確地記錄學生在學習具體內容時的學習投入。穿戴式設備主要是頭戴式或手腕式的眼動儀、皮電設備等，電腦外部設備主要是電腦內置或外置的攝像頭、鼠標。以下用五個具有代表性的研究介紹如何使用這些設備獲取數據，以及評價在線學習投入。

Booth 等人利用攝像頭記錄的視頻，每10 秒鐘利用標簽視頻畫面進行注釋，對眼睛注視、人臉特征、面部編碼、光流大小和方向的均值、面部的幾何特征、頭部姿勢等進行編碼，采用K 最鄰近算法，將在線學習投入分為三種類型：高投入、投入、不投入[10]。

Zhang 等人在視頻中每2 秒選取一張靜態圖片，通過頭部姿勢、面部表情、眼睛注視的位置，使用1 ～5 之間的數字設置標簽的內容，1 表示最低程度的投入，5 表示最高程度的投入[12]。在獲取攝像頭數據的同時收集鼠標移動的數據。分析鼠標移動的數據，用于改進標簽的準確性。采用自適應加權LGCP 與快速稀疏表示的面部表情識別方法分析標簽數據。根據標簽的分析結果將數據分成投入和不投入兩類。

Miller 利用眼動儀獲取學生閱讀過程中停留的時間評價學習投入[13]。通過閱讀時間，預測是否發生注意，用于評價學習投入的初始水平，將其看作行為投入；通過眼睛在一個單詞或對象上停留的時間，預測認知努力的數量和質量，評價認知投入的程度；眼睛在一個單詞或對象上停留的時間，是一種情感反應，停留的時間越長，表明越喜歡，用于評價情感投入。與在線學習投入問卷的評價有所不同的是，該評價工具的三個維度不是互斥的，而是一個維度建立在另一個維度的基礎上。Miller的研究是在行為投入的指標基礎上測量認知投入，在行為投入和認知投入的指標基礎上測量情感投入。也就是說，先根據學生閱讀內容的時間判斷是否發生行為投入，如果發生了行為投入，將其作為認知投入的初始狀態，在此基礎上，通過眼睛在閱讀文本時停留時間的長短判斷認知投入的程度，然后根據在詞語上停留的時間判斷是否發生情感投入。

2.3 獲取在線學習平臺的數據評價學習投入

在線學習平臺是在線學習發生的載體。在線學習平臺的數據庫包括日志數據，觀看視頻和學習資料，提交測驗題、練習題與作業，討論區發帖與回帖等數據。研究者將自動記錄的數據進行識別與編碼等處理，形成具有在線學習特點的評價維度與指標，用于評價學習者的在線學習投入。例如，Wong等人根據學習者在學習平臺中的日志數據，通過響應時間、頻率、持續時間三個維度評價在線學習投入[14]。該研究認為，在在線學習環境中，只有學習者登錄學習平臺以后，與學習內容、同伴和教師互動時，學習才會發生。因此，在線學習投入要評價學習者的主動性、學習頻率、專注程度。具體的指標是通過學生的響應時間預測學習者的學習主動性；通過學習者訪問學習資源的頻率，推測學習頻率；通過學習者的在線持續時間推測專注程度。

除了對學習平臺中的日志數據進行量化分析外，還要對學習平臺中討論區的發帖情況進行分析。學習平臺中的學習視頻、測驗等學習任務是教師提前設計好的，是相對穩定的內容。討論區的內容是學習者、同伴與教師共同生成的內容，處于不斷更新的狀態。對學習平臺論壇中帖子的內容進行編碼。編碼的維度是問題解決從開始到結束的過程，包括關注、探究、整合、解決。

有研究針對高校學習平臺中的900 門課程，在學習平臺中收集一年的數據，從查看次數、學習互動、學習任務三個維度評價在線學習投入。還有研究針對高校學習平臺中的10 門課程，收集五年學習平臺中日志的數據，主要包括自我反思、學習、互動、作業、形成性評價、成績五個維度。也有研究使用課程平臺中的學習活動、論壇互動、作業三個維度測量在線學習投入。這三個研究以及其他研究在使用課程數據作為學習投入的分析來源時，評價學習投入主要是從查看學習資源、論壇互動、作業這三個維度進行評價。

2.4 在線學習投入研究工具的比較

通過分析在線學習投入評價工具的維度和指標可以看出，獲取在線學習投入的數據有三種方式。第一種，手動獲取數據。無論是使用學校和課堂中的學習投入問卷，還是使用在線學習投入的問卷，都是研究者發放問卷，學生以自我報告的形式填寫問卷，研究者再對問卷數據進行統計分析。自我報告的問卷可以測量行為投入、認知投入和情感投入三個維度，能夠較為全面地收集到學生學習投入的數據，并且問卷易于實施，是大部分研究者采用的方式。但是學生報告的數據較為主觀，易受社會期許效應的影響，這有可能干擾數據的準確性。

第二種是半自動獲取數據，主要通過計算機外設和傳感器獲取。通過攝像頭獲取面部表情、手勢和姿勢；采用心理和神經傳感器獲取的數據包括心率、EEG、血壓、皮膚電反應等。半自動獲取的方式能夠獲取具體學習活動中學習投入的數據，不占用學習者的額外時間，獲取的數據較為客觀。但是通過攝像頭獲取數據時，有些學習者可能會有心理負擔，穿戴式設備會在一定程度上對學習者造成干擾。在在線學習研究中大規模使用傳感器也會受到研究設施和研究經費的限制。另外，半自動獲取數據的方式收集了在線學習投入的個別維度，沒有像問卷一樣收集在線學習投入行為、認知和情感三個維度的數據。

第三種是自動獲取在線學習平臺中的數據。在線學習平臺中的數據包括系統自動記錄的登錄日志；還包括學生與學習平臺互動的數據，學習者參與學習活動時，由平臺記錄了這些數據。例如，學生在參與教師設計的練習題時，平臺會記錄學生完成練習題所需要的時間、做練習的次數、練習題的正確率。雖然是平臺自動記錄的，但是這些數據需要教師提前設計，學生參與之后才會被記錄下來。自動獲取在線學習平臺中的數據比問卷獲取學習者自我報告的數據更為客觀，可以收集跟蹤性數據，并且不干擾學習者，但是不能直接收集情感投入方面的數據，需要與其他方法聯合使用。

綜上所述，每一種獲取數據的方式都不是完美的。自我報告的問卷可以收集學習投入各個維度的指標并且易于實施，但是學生報告的數據較為主觀，易受社會期許效應的影響，數據的準確性容易受到干擾。通過鼠標、攝像頭、傳感器等設備采集的數據較為客觀，并且能夠獲得學習者在具體學習活動中的數據，但是不能測量所有學習投入的指標，需要聯合多種方式來判斷一個維度的學習投入。系統日志中的數據獲取較為方便，但是數據量大，需要較多的分析時間。

3 結束語

從國內外在線學習的發展來看，國外是從開放教育資源到遠程教育，再到慕課推行；我國是從現代遠程教育試點項目到網絡精品課程建設，再到慕課的廣泛應用。國內外不同發展階段的在線學習投入的研究主題呈現出較為相似的趨勢，最初都是較為關注在線學習者的輟學率，之后是關注學習資源和學習內容，再到學習滿意度，現在則從主動學習和深層次學習的視角關注在線學習投入。在未來的研究中，將更加重視在線學習投入的科學性和可靠性，可以采用多種研究工具相結合的方式測量在線學習投入。將自我報告的問卷、計算機設備和傳感器、在線學習平臺自動獲取的數據結合起來共同評價在線學習投入，既能全面地測量學習投入的維度，又可以相互驗證數據的準確性。

對于在線學習投入的理論研究方面，可以從微觀、中觀和宏觀角度進行不同層次的研究。在微觀層次，從學習活動、學習內容、學習支持的設計提升在線學習投入。在中觀層面，分析一門在線課程的設計、策略、評價如何影響在線學習投入。在宏觀層面，對于全體課程、連續多年的跟蹤，分析教學管理、教師、學生之間關系變化的趨勢。

在教育教學的實踐方面，在線學習投入既是評價學生的學習過程和學習結果的指標，也是評價教師的教學過程和教學質量的指標，同時也反映出教學管理人員如何部署資源、組織課程和其他學習機會。在未來的在線學習中，在線學習投入可以作為干預學習、改進教學和改善管理的評價指標，用于提高學習質量和教學質量。