協作學習活動設計質量評估方法的個案研究*

崔盼盼 鄭蘭琴

?

協作學習活動設計質量評估方法的個案研究*

崔盼盼 鄭蘭琴[通訊作者]

（北京師范大學 教育學部教育技術學院，北京 100875）

設計是教育研究的重要屬性之一，然而目前大多數研究重實施輕設計。協作學習活動包括設計與實施兩個方面。大多數研究主要關注協作學習活動實施的效果，缺乏對協作學習活動設計的研究，而設計從根本上影響著協作學習活動的質量和效果。文章從設計的視角出發，旨在開發評估協作學習活動設計質量的新方法。文章探索了協作學習活動設計質量的評估方法，從知識點范圍一致性、協同知識建構水平一致性和交互方式一致性三個方面，對協作學習活動的設計和實施過程進行了深入分析。結果表明，知識點范圍一致性、協同知識建構水平一致性和交互方式一致性三個指標可以有效評估協作學習活動設計的質量，并為改進協作學習活動的設計提供有價值的參考。

協作學習；活動設計；信息流；一致性

引言

設計是人類有目的的意識活動，其本質在于將事物從現存狀態改善到較好狀態[1]。自然科學著重探索“是什么”的問題，而設計科學重點探索“應該是什么”[2]。近年來，教育領域經常采用基于設計的研究范式（Design-Based Research，DBR）開展研究。然而，DBR關注教育干預的有效性，側重發展情境性知識，研究結論難以重復和推廣[3]。本研究采用另一種研究范式即以設計為中心的研究（Design-Centered Research，DCR），DCR關注教育中的設計要素，強調教育設計的一致性，通過一致性分析并判斷教育設計的好壞[4]。

協作學習是學生以小組形式參與、為達到共同的學習目標、在一定的激勵機制下最大化個人和他人習得的成果而合作互助的一切相關行為[5]。協作學習旨在通過同伴的交流互動，提高學習者的協同知識、技能、情感態度、價值觀的建構水平[6]。協作學習活動的設計具有舉足輕重的地位，從源頭上影響著協作學習活動。當學生進行協作學習活動時，為什么有的小組會產生好的效果，有的卻不會呢？哪些是由于設計因素引起的？哪些方面偏離了設計意圖？已有的研究成果大多關注協作學習的結果或實施過程，而忽略了協作學習活動的設計、協作學習活動設計與實施之間的聯系，也缺少對協作學習活動設計的評估。本研究旨在從信息流的視角，開發協作學習活動設計質量的評估方法，進而提高協作學習活動的效果。

一 國內外研究述評

1 關于協作學習活動設計的研究

約翰遜兄弟[7]提出協作學習包含五個要素：積極互賴、個體責任、小組自加工、社交技能、面對面的促進性交互。協作學習活動的設計離不開活動理論的指導，而活動理論與協作學習同時產生于20世紀70年代并逐漸走進研究者的視野?；顒永碚摻洑v了維果斯基的三角模型、列昂捷夫引入共同體、規則和分工的擴展模型、恩格斯托姆提出的兩個交互活動系統模型三代的演變，主要包含主體、客體、共同體、規則、分工等要素[8]。

已有的研究成果主要關注：①課堂中的協作學習活動。如H?m?l?inen等[9]提出教師要根據學習目標與需求設計協作學習活動，并采用基于問題的學習方式引導學生在解決問題的過程中協同建構知識，教師作為指導者、監督者和學習伙伴參與學生的協作學習過程。②協作學習活動過程和關鍵要素的設計。如余亮等[10]提出了協作學習活動的設計框架，該框架主要包含主體（學生）、客體（學習內容）、共同體（學習小組）、工具（學習資源和學習工具）、規則（角色）、勞動分工（任務）等要素；楊開城[11]提出了學習活動的構成要素，主要包括學習目標、活動任務、交互過程、學習成果、學習資源和工具、活動規劃等六個方面。本研究認為，協作學習活動設計主要包含目標設計、任務設計、交互方式設計、資源設計和評價設計等五個要素，其中交互方式設計包含交互策略的設計、角色的設計和交互信息類型的設計。

2 關于協作學習活動評估的研究

目前，對于協作學習活動評估不同研究所采用的方法也不盡相同，主要可歸納為以下三種：①采用前后測、問卷或訪談的方法，對學生的學習成績進行對比[12]；②采用內容分析法或行為序列分析法，來分析學生的討論記錄和行為特征，分析協作學習活動的過程，進而評估其效果[13]；③采用社會網絡分析法，分析學生的參與度、成員之間的互動關系等因素，來評估協作學習活動的效果[14]。

總的來說，前后測、調查法只關注學生參與協作學習活動前后的變化，而沒有關注學生在協作學習活動過程中的表現。內容分析法、行為序列分析法、社會網絡分析法等重點對協作學習活動的實施過程進行分析，卻沒有對協作學習活動的設計進行分析，也沒有將協作學習實施過程與活動設計進行對比，難以促進設計者的反思性分析。另外，以上這些分析方法未能對如何改進協作學習活動設計提供指導，尚未在微觀層面分析協作學習活動設計與實施過程的差異。

二 協作學習活動的評估方法

1 操作步驟

本研究團隊在前期的研究已經論證了基于信息流的協作學習交互分析方法的有效性[15]。鄭蘭琴[16]從一致性的視角，分析了課堂教學設計和實施的一致性，發現課堂教學設計和實施在知識點范圍和知識點激活量方面高度一致，但在信息流序列方面不一致?；诖?，本研究基于DCR的研究范式，采用基于信息流的分析方法來評估協作學習活動的設計質量，主要通過構建相關指標對協作學習活動進行分析，進而為協作學習活動的設計提供技術性知識?；谛畔⒘鞯膮f作學習活動設計質量的評估方法主要分為以下三個步驟：

（1）設計協作學習活動

協作學習活動設計方案從學習目標、任務、交互方式、資源和評價方法等五個方面進行設計：①學習目標設計包括知識與技能、過程與方法、情感態度與價值觀三個角度；②任務設計要求詳細且清晰；③交互方式包括交互策略、角色和交互信息類型的設計——交互策略包括討論、互采互訪、切塊拼接、頭腦風暴、同伴互評、辯論等，角色包含協調者、總結者、信息搜索者、評價者、鼓舞者等[17]，交互信息類型則主要包括知識語義、事實和范例、問題和答案、目標描述、情境、管理指令、其它相關信息、不相關信息；④資源設計包括學習工具、學習材料等要素；⑤評價方法的設計包括評價方式、評價標準以及獎勵規則。

（2）實施協作學習活動

實施協作學習活動包括對學習者開展關于協作學習平臺使用方法的培訓、學生開展協作學習活動等環節。面對面的協作學習活動需要全程錄制視頻，在線協作學習活動則需要記錄交互信息，以便于后續分析。

（3）評估協作學習活動設計質量

評估協作學習活動采用基于信息流的方法，主要包括繪制知識網絡圖、切分信息流和相關指標計算等步驟。針對一個協作學習活動設計方案可繪制一個知識網絡圖，而實施一次協作學習活動也可以生成一個知識網絡圖。本研究從一致性的視角開發計算指標，進而評估設計的質量。一致性是指如果目標合理、方案與目標一致，且行為按照方案發生，則行為可接受，是DCR關注的重點[18]。筆者認為，協作學習產生何種結果具有不確定性，而這種不確定性可以通過一致性分析來減少。因此，本研究中的分析指標主要包括知識點范圍一致性、協同知識建構水平一致性和交互方式一致性。

2 計算方法

（1）知識點范圍一致性

協作學習活動設計方案和實施過程在激活的知識點方面既有相同的部分，也有不同的部分。因此，對于活動設計方案和實施過程中知識點范圍的一致性可以通過比較兩者所激活的知識點的一致性進行分析。通過比較兩者知識點范圍的一致性，可以反映協作學習活動設計方案的質量。協作學習活動設計方案與活動實施過程知識點范圍一致性的計算如公式（1）所示[19]，其中A代表協作學習活動設計方案中所激活的知識點數量，B代表協作學習活動實施過程中所激活的知識點數量，f（A∩B）代表活動設計方案和活動實施過程中共同激活的知識點數量，f（A-B）代表活動設計方案中激活而活動實施過程中沒有激活的知識點數量，f（B-A）代表活動實施過程中激活而活動設計方案中沒有激活的知識點數量。

公式（1）

（2）協同知識建構水平一致性

協同知識建構水平一致性主要通過計算協作學習活動設計方案和實施中最終生成的知識網絡圖的一致性來分析。知識網絡圖是活動設計方案和活動實施過程的具體體現，可以反映學生在協作學習過程中的協同知識建構水平，并反映學生之間的協作是否聚焦于協作學習、是否存在跑題現象等。通過計算兩張知識網絡圖的一致性，可以反映教師期望的協同知識建構水平與學習者實際水平的差距，從而為活動設計的改進提供思路。知識網絡圖一致性的計算步驟如下：第一步，確定活動設計方案和活動實施所對應的知識網絡圖M1和M2的知識結點集合N；第二步，對于知識結點集合中每個結點Ni，分別找到活動設計方案和活動實施所對應的知識網絡圖中與其直接相連的結點，計算其交集中每個結點的知識點激活量總值I和并集中每個結點的知識點激活量總值U的比值，其中交集中每個結點的激活量取活動設計和實施中知識點激活量的均值；第三步，計算活動設計方案和活動實施所對應的知識網絡圖的一致性，如公式（2）所示。

公式（2）

（3）交互方式一致性

交互方式設計是協作學習活動設計的核心，也是影響協作學習效果的關鍵。交互方式包含交互策略T的設計、角色R的設計和交互信息類型X的設計等三個方面。其中，交互策略T包含討論、頭腦風暴、同伴互評、互采互訪、切塊拼接、辯論等子類型；角色R包含組織者、評價者、總結者、信息搜索者、技術員、鼓舞者等子類型；交互信息類型X包含知識語義、事實和范例、目標描述、情境、答案、管理指令、其它相關信息、不相關信息等子類型。交互方式一致性的計算方法如公式（3）所示。其中，TC表示協作學習活動設計方案和實施共同含有交互策略子類型的數量，TZ表示協作學習活動設計方案和實施共同含有交互策略子類型的總數；RC表示協作學習活動設計方案和實施共同含有角色子類型的數量，RZ表示協作學習活動設計方案和實施所含有角色子類型的總數；XC表示協作學習活動設計方案和實施所含有交互信息子類型的總數，XZ表示協作學習活動設計方案和實施所含有交互信息子類型的總數。

公式（3）

三 個案研究及其結果

1 設計協作學習活動

本研究搜集了兩個案例，旨在論證基于信息流的協作學習活動設計質量評估方法的可行性和合理性。這兩個案例分別針對意義建構類和作品設計類任務。個案一是意義建構類的協作學習活動，協作學習任務是設計人教版七年級課文《皇帝的新裝》的教案；個案二是作品設計類的協作學習活動，協作學習任務是制作介紹北京師范大學的PPT。協作學習活動設計方案主要從目標、任務、交互方式、資源、評價方法五個方面進行設計。為了更好地改進協作學習活動設計方案，本研究對每個個案均進行了2次協作學習活動的設計與實施，且2個個案都針對任務內容、交互方式、學習資源、評價方法等內容進行了改進。限于篇幅，本研究省略了改進前后協作學習活動的設計方案。

2 實施協作學習活動

本研究共招募12名學生，包括3名教育技術學專業碩士研究生，3名科學技術與教育專業碩士研究生，6名教育技術學本科生，所有學生均具有該實驗所需的知識基礎。本研究中的協作學習活動是在微格教學情境下通過面對面的方式進行的，個案一和個案二中的協作學習活動均開展了2次，2次實驗選用的學生不同，通過前測顯示兩組學生的知識沒有顯著性差異方可進行實驗。個案一中前測顯示兩組學生的成績沒有顯著性差異（=0.038，=0.972），個案二中前測顯示兩組學生的成績也沒有顯著性差異（=0.215，=0.840）。

3 評估協作學習活動的設計質量

協作學習活動設計質量評估方法包括三個步驟：第一步，繪制知識網絡圖；第二步，按照信息流切分規則，對個案一和個案二中協作學習活動的設計方案和實施過程進行切分；第三步，計算相關指標，從而評估協作學習活動設計的質量。

4 計算結果

個案一和個案二在知識點范圍一致性、協同知識建構水平一致性和交互方式一致性三個指標的計算結果如表1所示。

表1 個案一和個案二計算結果

（1）知識點范圍一致性

根據公式（1）計算得出，個案一改進前協作學習活動設計方案和實施過程的知識點范圍一致性為0.78；通過對活動設計進行改進，實施了第二次協作學習活動，發現改進后活動設計方案和活動實施過程的知識點范圍一致性為0.84——改進后知識點范圍一致性指標提高，說明改進后的協作學習活動設計質量有所提高。個案二同樣如此，知識點范圍一致性指標的計算結果有所提高，說明改進后的協作學習活動設計質量得到了提高。

（2）協同知識建構水平一致性

通過公式（2）的計算得出，個案一改進前協作學習活動設計與實施過程的協同知識建構水平一致性為0.48，改進后為0.59；個案二改進前協作學習活動設計與實施過程的協同知識建構水平一致性為0.58，改進后為0.64——兩個個案改進后相較于改進前的結果均有所提高，說明通過改進協作學習活動設計質量有所提高。

（3）交互方式一致性

公式（3）的計算結果顯示，個案一改進前協作學習活動設計與實施過程的交互方式一致性為1.81，改進后為2.38——改進后交互方式一致性有所提高，說明改進后的協作學習活動設計質量有所提高。同樣，個案二協作學習活動設計與實施過程的交互方式一致性在改進前為1.33、改進后為2.75，說明改進后的協作學習活動設計質量也提高了。

四 反思性分析

反思性分析的價值在于反思協作學習活動設計與實施過程，為更好地改進協作學習活動提供建議。通過對協作學習活動設計與實施過程進行反思，發現導致相關指標計算結果較低的原因，尋找改進的方法，進而提高協作學習活動設計的質量。

協作學習活動設計是影響協作學習活動效果的重要因素。通過對個案一和個案二中改進前的協作學習活動設計方案進行分析，本研究發現造成知識點范圍一致性較低、協同知識建構水平一致性較低、交互方式一致性較低的原因主要有以下幾點：①任務要求不明確，開展協作學習時間過短，導致學生對任務理解不透徹，學生不能進入協作學習的狀態而難以進行充分的討論和交流；②資源設計不充分，相關資源欠缺，導致個案一中教案設計內容不完善，個案二中學生制作的PPT內容匱乏單一；③缺少腳手架的設計，導致個案一中學生設計的教案缺乏必要的知識點，個案二中學生制作的PPT主題不全面；④交互方式設計不完善，僅要求學生通過討論的方式進行協作學習，缺乏其它交互策略來促進學生的深度交互；⑤缺少角色分工的設計，同時交互信息類型設計不完善，導致個案二中小組成員責任感較低，討論過程中跑題現象嚴重；⑥評價規則設計不完善，只進行簡單的描述，缺少明確的規定。詳細的評價規則有助于學生明確任務，激發學生進行協作學習的動機。針對以上問題，本研究分別對個案一和個案二中第一次協作學習活動設計方案進行改進，如個案一中對任務要求、交互策略設計和資源設計、評價規則進行了改進，個案二中對任務要求、評價規則進行了改進，同時增加了資源和腳手架的設計，增加了角色分工，增加了頭腦風暴和互采互訪交互策略的設計。最后，通過相關指標的計算發現，個案一和個案二中改進后的協作學習活動設計質量與改進前相比均有提高。

五 總結與展望

本研究兩個個案的研究初步探索了知識點范圍一致性、協同知識建構水平一致性和交互方式一致性三個指標的有效性，進而論證了協作學習活動設計質量評估方法的可行性和合理性。

需要指出的是，本研究的不足主要體現在兩方面：①本研究只分析了兩個個案，學科僅限于教育技術學；②本研究中協作學習活動設計的評估指標有待進一步完善。在后續的研究中，一方面將進一步擴大樣本量進行實證研究，針對不同類型的任務開展協作學習活動；另一方面將從多個維度開發協作學習活動設計質量的評估指標體系。

[1]王文靜,謝秋葵,杜霞.教育中的設計:研究與發展趨向分析[J].現代教育技術,2009,(5):13-16.

[2]Mor Y, Winters N. Design approaches in technology-enhanced learning[J]. Interactive Learning Environments, 2007,(1):61-75.

[3]鄭蘭琴,楊開城.為什么要研究一致性而不是有效性?[J].中國電化教育,2014,(9):20-23,33.

[4]楊開城.DBR與DCR哪個才能架起教育理論與實踐之間的橋梁[J].電化教育研究,2013,(12):11-15.

[5]黃榮懷.計算機支持的協作學習[M].北京:人民教育出版社,2003:3.

[6][15][17]鄭蘭琴.協作學習的交互分析方法——基于信息流的視角[M].北京:人民郵電出版社,2015:66.

[7](美)約翰遜等著,劉春紅,孫海法編譯. 合作性學習的原理與技巧[M].北京:機械工業出版社,2001:78.

[8]Engestr?m Y. Expansive learning at work: Toward an activity theoretical reconceptualization[J]. Journal of Education & Work, 2001,(1):133-156.

[9]H?m?l?inen R, H?kkinen P. Teachers’ instructional planning for computer-supported collaborative learning: Macro-scripts as a pedagogical method to facilitate collaborative learning[J]. Teaching and Teacher Education, 2010,(4):871-877.

[10]余亮,黃榮懷.活動理論視角下協作學習活動的基本要素[J].遠程教育雜志,2014,(1):48-55.

[11]楊開城.教學設計:一種技術學的視角[M].北京:電子工業出版社,2010:101.

[12]Ladage L D, Tornello S L, Vallejera J M, et al. Variation in behavioral engagement during an active learning activity leads to differential knowledge gains in college students[J]. Advances in Physiology Education, 2018, (1):99-103.

[13]Wang S M, Hou H T, Wu S Y. Analyzing the knowledge construction and cognitive patterns of blog-based instructional activities using four frequent interactive strategies (problem solving, peer assessment, role playing and peer tutoring): a preliminary study[J]. Educational Technology Research & Development,2017,(2):301-323.

[14]Zhang S, Liu Q, Chen W, et al. Interactive networks and social knowledge construction behavioral patterns in primary school teachers’ online collaborative learning activities[J]. Computers & Education, 2017,104:1-17.

[16][18][19]鄭蘭琴.教學設計與實施一致性分析的個案研究[J].現代遠程教育研究,2015,(3):95-103.

Case Study on the Evaluation Method of the Design Quality of Collaborative Learning Activities

CUI Pan-pan ZHENG Lan-qin

Design is one of the important attributes of education research, while most research centers on the implementation and neglects the design. The collabotative learning activites include the two aspects of design and implementation. However, major research primay focuses on the implementation results of collaborative learning activites, and lacks the study on the design of collaborative learning activities. In this article, a new method to analyze the design quality of collaborative learning was developed from the perspective of design. Meanwhile, the evaluation method of the design quliaty of collaborative learning activities was explored. In addition, the design and implementation process of collaborative learning activities were analyzed deeply from the three aspects of the consistence of knowledge scope, the consistence of construction level of collaborative knowledge, and the consistence of interactive approaches. The results indicated that the three indicators were effective to evaluate the design quality of collaborative learning activities, and could provide valuable reference for improving the design of collaborative learning activities.

collaborative learning; activity design; information flow; consistence

G40-057

A

1009—8097（2018）10—0064—06

10.3969/j.issn.1009-8097.2018.10.009

本文為北京市教育科學“十三五”規劃2018年度重點課題“北京市中小學人工智能課程的學習活動設計與評價研究——基于信息流的視角”(課題批準號：CAHA18089)的階段性研究成果。

崔盼盼，在讀碩士，研究方向為計算機支持的協作學習，郵箱201621010200@mail.bnu.edu.cn。

2018年4月28日

編輯：小西