在線協(xié)作學(xué)習交互效果評價方法的實證研究*
——基于信息流的分析視角

于俊輝 鄭蘭琴

（北京師范大學(xué) 教育學(xué)部教育技術(shù)學(xué)院，北京100875）

在線協(xié)作學(xué)習交互效果評價方法的實證研究*
——基于信息流的分析視角

于俊輝 鄭蘭琴【通訊作者】

（北京師范大學(xué) 教育學(xué)部教育技術(shù)學(xué)院，北京100875）

協(xié)作學(xué)習的評價是計算機支持的協(xié)作學(xué)習領(lǐng)域的重要內(nèi)容。文章把協(xié)作學(xué)習交互效果界定為小組共同的知識建構(gòu)水平，運用基于信息流的協(xié)作學(xué)習評價方法對在線協(xié)作學(xué)習的交互效果進行評價，而定義總激活量、聚焦程度、深度三個指標可評價協(xié)作學(xué)習的交互效果。研究結(jié)果表明：三個指標均能有效反映協(xié)作學(xué)習的交互效果，說明基于信息流的協(xié)作學(xué)習評價方法適用于在線協(xié)作學(xué)習的評價。

協(xié)作學(xué)習；評價方法；信息流

引言

在協(xié)作學(xué)習中，交互是激發(fā)和產(chǎn)生共同知識的基本活動單元[1]。在交互中，學(xué)習者通過建立積極互動的正依賴關(guān)系來獲得良好的協(xié)作學(xué)習效果[2]。研究表明，對協(xié)作學(xué)習評價反饋可以有效地激勵學(xué)習者的參與積極性，提升學(xué)習者的個體責任感，增強學(xué)習者之間的正依賴關(guān)系，從而提高協(xié)作學(xué)習的交互效果[3]。Strijbos[4]指出，對協(xié)作學(xué)習的評價，學(xué)習過程的質(zhì)量與學(xué)習結(jié)果同等重要。然而，目前大部分對協(xié)作學(xué)習的評價只關(guān)注學(xué)習結(jié)果，而忽視交互過程在協(xié)作學(xué)習中發(fā)揮的作用。形成性評價注重評價協(xié)作學(xué)習交互過程中的要素，通過內(nèi)容分析，可以對學(xué)習者的認知、社交、動機進行全方位評價，因此其在協(xié)作學(xué)習評價領(lǐng)域得到越來越多的應(yīng)用。目前相關(guān)協(xié)作學(xué)習過程的評價存在難以實現(xiàn)評價自動化、評價指標定義寬泛、評價指標繁雜、評價指標信效度低等問題。針對這些問題，本文著眼于協(xié)作學(xué)習的交互過程，在形成性評價的基礎(chǔ)上運用基于信息流的協(xié)作學(xué)習評價方法對在線協(xié)作學(xué)習開展評價。基于信息流的協(xié)作學(xué)習評價方法通過定義清晰的評價指標對特定領(lǐng)域知識實現(xiàn)半自動評價，通過計算小組知識激活總量來反映小組協(xié)同知識建構(gòu)水平，進而評價協(xié)作學(xué)習的交互效果。基于信息流的協(xié)作學(xué)習評價方法適用于面對面的協(xié)作學(xué)習情境[5]，由于面對面與在線兩種協(xié)作學(xué)習情境下信息流輸出具有差異性，所以本文需進一步論證這種方法在在線協(xié)作學(xué)習情境中的有效性。

一文獻綜述

1 常見的協(xié)作學(xué)習評價方法

常用的協(xié)作學(xué)習評價方法可應(yīng)用于不同的評價時機，具體如表1所示。其中，在協(xié)作學(xué)習過程中評價可以為學(xué)習者提供有效反饋，激發(fā)和維持他們協(xié)作學(xué)習的動機，提高學(xué)習效果[6]。但這個過程需借助有力的工具支持，提取、分析相應(yīng)的過程數(shù)據(jù)，然后可視化反饋結(jié)果，使指導(dǎo)者輕松、及時地了解學(xué)習者的學(xué)習狀態(tài)，然后決定是否對協(xié)作學(xué)習進行干預(yù)；同時，借助反饋信息也可以提高學(xué)習者的覺知、反思和意義建構(gòu)，從而幫助他們達到既定的學(xué)習目標[7][8]。在協(xié)作學(xué)習過程中及時開展評價是協(xié)作學(xué)習評價的發(fā)展趨勢，然而其對工具的開發(fā)有較高的要求，因此現(xiàn)階段的研究主要針對協(xié)作學(xué)習的過程數(shù)據(jù)獲取適當?shù)脑u價指標。

表1 不同協(xié)作學(xué)習評價方法應(yīng)用時機

2 形成性評價指標研究

形成性評價需借助協(xié)作學(xué)習的過程性數(shù)據(jù)，那么協(xié)作學(xué)習過程中要評價什么？協(xié)作學(xué)習過程中有哪些指標適合用來評價協(xié)作學(xué)習？這是形成性評價應(yīng)用于協(xié)作學(xué)習中必然要考慮的問題。

我們從評價指標、指標類型、指標計算方法對不同研究者的研究進行分析，發(fā)現(xiàn)研究者評價指標的確定主要集中在認知結(jié)果的評價、社會交互的評價、參與動機的評價等方面，從而細化出特定維度或指標來衡量和考察協(xié)作學(xué)習過程。研究者提出的評價指標具有一定的個性，適用于特定情境，這使得評價方法的可移植性較差；同時，研究者定義的評價指標含義寬泛，新情境中的應(yīng)用需重新對指標定義；再者，研究者缺乏對指標的信度效度檢驗，或者實證檢驗指標信度效度不高；最后，大部分研究提出的是評價模型，對指標的計算未能實現(xiàn)自動化，指標的量化也是依靠經(jīng)驗，因此評價指標缺乏客觀性。針對以上問題，本文從群體知識建構(gòu)的角度出發(fā)，通過信息流的分析方法，對在線協(xié)作學(xué)習的過程數(shù)據(jù)進行分析，確定評價指標，對協(xié)作學(xué)習效果展開評價，同時為了評價是否具有應(yīng)用價值，我們對評價指標的信度進行實證檢驗。

二研究設(shè)計

1 研究問題

在在線協(xié)作學(xué)習情境下，從信息流的分析視角如何評價在線協(xié)作學(xué)習的交互效果？

2 研究假設(shè)

本研究假設(shè)以下三個指標可以有效評價在線協(xié)作學(xué)習的交互效果：

（1）總激活量

總激活量是一種反映協(xié)作學(xué)習中知識點社會性建構(gòu)水平的抽象屬性。某個知識點被激活的次數(shù)越多，它的學(xué)習效果就越好。目標知識點的總激活量計算方法如公式1所示。

（2）聚焦程度

聚焦就是隨著時間持續(xù)激活某個知識點而產(chǎn)生的激活量越來越高的過程。交互過程中會呈現(xiàn)全局聚焦點和局部聚焦點。局部聚焦程度用激活量的平均增量和持續(xù)時間的乘積衡量，計算方法如公式2所示。

在公式2中，當Ci>1時，該知識點才為該時段的局部聚焦點；如果Ci<1，則該知識點并不是局部聚焦點。而全局聚焦程度的計算方法如公式3所示。

（3）深度

深度反映學(xué)習者與新舊知識發(fā)生聯(lián)系進而對知識進行細化的程度，可以用帶權(quán)路徑長度反應(yīng)協(xié)作學(xué)習的深度。激活生成樹的帶權(quán)路徑長度定義為樹中所有目標知識點的權(quán)（Wi）與深度（Li）的乘積之和。深度的計算方式如公式4所示。

3 研究方法

本研究采用實證研究的范式進行，通過設(shè)計實驗任務(wù)，招募被試對象開展在線協(xié)作學(xué)習，然后收集協(xié)作學(xué)習過程數(shù)據(jù)，進行數(shù)據(jù)分析。任務(wù)設(shè)計以“教育心理學(xué)”課程中的問題解決和自我調(diào)節(jié)學(xué)習的相關(guān)知識為目標。招募被試的對象是研究者所在大學(xué)的研究生和本科生，要求學(xué)習過“教育心理學(xué)”課程。實驗4人一組，在實驗中每人一臺電腦，借MSN討論組在線開展協(xié)作學(xué)習，所有的被試均在實驗室環(huán)境下進行協(xié)作學(xué)習，彼此所處空間不同，不能進行面對面交流。在被試對象進行協(xié)作學(xué)習過程中，軟件會自動保存聊天記錄。實驗進行前后測檢驗，前后測試卷在專家評分后進行統(tǒng)計，其目的是用傳統(tǒng)的方法評價獲取協(xié)作學(xué)習的交互效果。本研究共招募被試158人，分成40組，每組3~4人。最終收集32組以問題解決設(shè)計任務(wù)的數(shù)據(jù)和8組以自我調(diào)節(jié)學(xué)習設(shè)計任務(wù)數(shù)據(jù)，因此，本研究的樣本數(shù)據(jù)是40組協(xié)作學(xué)習記錄和40組前后測成績。本研究的研究樣本是信息流所映射的帶激活量的知識網(wǎng)絡(luò)圖。

4 數(shù)據(jù)分析方法

基于信息流的交互分析方法，對收集的聊天記錄進行內(nèi)容分析的具體步驟如下：

（1）繪制目標知識初始圖，如圖1所示。目標知識初始圖的繪制要依據(jù)協(xié)作學(xué)習的內(nèi)容，參考教科書，按照繪制規(guī)范進行繪制。同時，在信息流切分的時候，因協(xié)作學(xué)習超出既定知識范圍的內(nèi)容要隨時調(diào)整目標知識初始圖。

圖1 某一組的目標知識網(wǎng)絡(luò)圖

（2）進行信息流的切分，如圖2所示。信息項的表征格式采用IPLi<操作><表征形態(tài)><信息類型><知識網(wǎng)絡(luò)子圖>。切分信息流的規(guī)則一般為：信息貢獻者發(fā)生改變時進行切分，<操作>屬性發(fā)生改變時進行切分，<信息類型>屬性發(fā)生變化時進行切分，<知識網(wǎng)絡(luò)子圖>屬性發(fā)生變化時進行切分。

圖2 某一組的信息流切分圖

（3）形成帶有激活量的知識網(wǎng)絡(luò)圖，計算總激活量、聚焦程度、深度三個指標值，如圖3所示。指標值可以通過基于信息流的協(xié)作學(xué)習分析系統(tǒng)半自動計算出來。

圖3 某一組形成的帶有激活量的知識網(wǎng)絡(luò)圖

我們的分析過程由兩位分析者獨立完成，并對各自的信息項進行了信度校驗，一致性均達到90%以上，表明結(jié)果可信。其中不一致的信息項由兩位分析者面對面地經(jīng)過討論協(xié)商解決。

為了完成對指標有效性的檢驗，我們在實驗過程中通過前后測，獲取學(xué)習者在線協(xié)作學(xué)習對協(xié)作學(xué)習任務(wù)認知前后水平的差別（即運用傳統(tǒng)的評價協(xié)作學(xué)習效果的方法）。專家評分后，計算小組前后測分數(shù)差總和的平均值M。然后，把計算的總激活量、聚焦程度、深度的指標值依次與傳統(tǒng)的協(xié)作學(xué)習效果評價值M做相關(guān)性檢驗，借助SPSS軟件，如果得到的檢驗結(jié)果P值小于0.05則表明指標有效。

三研究結(jié)果

總激活量、聚焦程度、深度三個指標反映協(xié)作學(xué)習的交互效果，其效度結(jié)果如下：

1 總激活量效度

表2 總激活量與前后測成績差平均值相關(guān)性分析

由表2可知，總激活量與前后測成績差平均值的相關(guān)系數(shù)r=0.43，p=0.005<0.01，所以指標總激活量在在線協(xié)作學(xué)習交互方式下有效。

2 聚焦程度效度

表3 聚焦程度與前后測成績差平均值相關(guān)性分析

由表3可知，聚焦程度與前后測成績差平均值的相關(guān)系數(shù)r=0.37，p=0.02<0.05，所以指標聚焦程度在在線協(xié)作學(xué)習交互方式下有效。

3 深度的效度

表4 深度與前后測成績差平均值相關(guān)性分析

由表4可知，深度與前后測成績差平均值的相關(guān)系數(shù)r=0.36，p=0.024<0.05，所以指標深度在在線協(xié)作學(xué)習交互方式下有效。

通過簡單線性回歸分析發(fā)現(xiàn)，總激活量能夠解釋協(xié)作學(xué)習交互效果19%的變異（β=.432，t=2.955，p=0.005），聚焦程度能夠解釋協(xié)作學(xué)習交互效果的13%（β=.365，t=2.419，p=0.020），深度能夠解釋協(xié)作學(xué)習交互效果的13%（β=.356，t=2.351，p=0.024）。綜上所述，指標總激活量、聚焦程度、深度三個指標在在線協(xié)作學(xué)習交互方式下均有效，且總激活量指標的有效性最高。

四結(jié)論

通過對基于信息流的協(xié)作學(xué)習評價方法的實證研究，以及對在線協(xié)作學(xué)習過程數(shù)據(jù)的分析，可以發(fā)現(xiàn)三個反映協(xié)作學(xué)習交互效果的指標均有效，說明基于信息流的協(xié)作學(xué)習方法可以有效反映協(xié)作學(xué)習中小組的知識建構(gòu)水平，且指標定義清晰，借助工具實現(xiàn)半自動評價，故可以廣泛適用于特定知識領(lǐng)域的評價。但從目前研究的結(jié)果來看，三個指標對協(xié)作學(xué)習交互效果的解釋力較低。因此，未來的研究應(yīng)致力于進一步完善基于信息流的協(xié)作學(xué)習評價方法，以發(fā)現(xiàn)對協(xié)作學(xué)習交互效果預(yù)測力更高的指標，并實現(xiàn)自動評價。

[1]劉黃玲子,朱伶俐,陳義勤,等.基于交互分析的協(xié)同知識建構(gòu)的研究[J].開放教育研究,2005,(2):31-37.

[2]劉黃玲子,黃榮懷.協(xié)作學(xué)習評價方法[J].現(xiàn)代教育技術(shù),2002,(1):24-29.

[3]MacdonaldJ.Assessingonlinecollaborativelearning:processandproduct[J].Computers&Education,2003,(4):377-391.

[4]Strijbos J W.Assessment of(computer-supported)collaborative learning[J].IEEE Transactions on Learning Technologies,2011,(1):59-73.

[5]鄭蘭琴,楊開城,黃榮懷.基于信息流的面對面協(xié)作學(xué)習交互分析方法的實證研究[J].中國電化教育,2013,(11):30-35.

[6]韓后,王冬青.促進有效學(xué)習的評價反饋系統(tǒng)及其應(yīng)用[J].現(xiàn)代教育技術(shù),2015,(2):100-106.

[7]Maldonado R M,Kay J,Yacef K,et al.An interactive teacher’s dashboard for monitoring groups in a multi-tabletop learning environment[C].Berlin:Springer-Verlag,2012:482-492.

[8]Verbert K,Govaerts S,Duval E,et al.Learning dashboards:An overview and future research opportunities[J]. Personal and Ubiquitous Computing,2014,18(6):1499-1514.

編輯：小西

Empirical on the Assessment of Group Performance in Online Collaborative Learning——Based on the Information Flow Approach

YU Jun-hui ZHENG Lan-qin[CorrespondingAuthor]

(School of Educational Technology,Faculty of Education,Beijing Normal University,Beijing,China 100875)

The assessment of collaborative learning is very important in the domain of computer supported collaborative learning(CSCL).In this paper,the performance of collaborative learning was defined to the mutual degree of collaborative knowledge building,which was assessed through collaborative learning assessment approach based on the information flow.In order to evaluate group performance,the total amount of knowledge activation,the degree of knowledge convergence,and the depth were proposed in this study.The result indicated that the three indicators and the assessment approach were effective and appropriate in evaluating online collaborative learning.

collaborative learning;assessment;information flows

2015年5月29日

G40-057

A【論文編號】1009—8097（2015）12—0090—06

10.3969/j.issn.1009-8097.2015.12.014

book=95,ebook=96

本文受國家社會科學(xué)基金教育學(xué)青年課題“基于大數(shù)據(jù)學(xué)習分析技術(shù)的大學(xué)生適應(yīng)性調(diào)節(jié)技能的評價與干預(yù)研究”（項目編號：CCA140154）資助。

于俊輝，北京師范大學(xué)教育學(xué)部教育技術(shù)學(xué)院碩士研究生，研究方向是計算機支持的協(xié)作學(xué)習，郵箱yujunhuibnu@163.com。