在線協作討論中成員表現的綜合評價研究

【摘要】目前隨著網絡技術的發展和教學觀念的變革，網絡環境下的協作學習越來越受到重視，相應地其評價問題也日益突出。協作學習過程評價是協作學習評價的重點。本文提出由“互動”、“爭辯”和“建構”作為評價準則、十三類交互言行作為評價指標的評價模型，并引入基于AHP的綜合評價方法，對小組成員個人貢獻進行量化分析。實驗結果表明，該評價模型為輔助評價小組成員提供了更有價值的參考依據。

【關鍵詞】協作學習，學習評價，層次分析法

【中圖分類號】G420【文獻標識碼】B【論文編號】1009—8097（2007）03—0051—06

一、引言

20世紀60年代以來，隨著計算機網絡技術的飛速發展，其對包括教育在內的眾多領域產生了深遠的影響。互聯網的廣泛應用，為網絡遠程教育奠定了物質基礎。協作學習（Cooperative Learning，簡稱CL）是遠程教育中極有發展前景以及最具代表性的一種學習模式。

協作學習是學生以小組形式參與、為達到共同的學習目標、在一定的激勵機制下最大化個人和他人習得成果，而合作互助的一切相關行為^[1]。在協作學習中，有5個要素是不可或缺的，個人責任（Individual Accountability）就是要素之一。在線協作學習中最常見的問題就是：小組成員由于沒有明確個人責任，經常出現相互“搭便車”、逃避工作的“責任擴散”現象等等。如果讓群體里的個人相信，自己的行為貢獻會單獨進行測量，個人在協作學習中的表現會反映在個人的最終成績中，那么此類現象將會大大減少。

而在網絡環境下的協作學習過程中，評價是一項重要但又困難的工作^[2][3]，最主要的困難來源于教師很難從學生在線協作學習過程的記錄信息中獲取評價的有用信息。目前評價協作成員個人表現的方法大多是簡單地考慮言論或帖子的數量，作為評價依據太過片面，所以需要我們提出進一步的改進方法。

本文結合一實例，提出把“互動”、“爭辯”和“建構”作為在線討論的評價準則，按其內涵分解量化成可測度的13項評價指標，并引入了層次分析法（Analytic Hierarchy Process， 簡稱AHP）來科學有效地評價在線協作交互中小組成員的個人貢獻。結果表明，該方法與小組成員自評結果吻合，確實可行。

二、層次分析法介紹

20世紀70年代初，美國著名運籌學家、匹茲堡大學薩迪（T.L.Saaty）教授首先提出了著名的層次分析法。這是一種將同決策總是有關的元素分解成目標、準則、方案等層次，在此基礎上進行定性和定量相結合的決策方法。1982年冬在北京召開的國際能源、資源與環境學術討論會上，高蘭尼柴（H. Gholamnezhad）第一次將薩迪提出的層次分析法介紹到中國。

層次分析法從本質上說是一種思維方式。它把復雜問題分解為若干層次，以人們的經驗判斷為基礎，采用定性、定量相結合方法確定多層次、多指標的權重系數。其核心是利用1～9間的整數及其倒數作為標度構造判斷矩陣^[4]。在判斷矩陣滿足一致性的前提下得到層次單排序，最后合成各方案對于總目標的總排序。

現在，AHP在經濟分析與規劃、能源和資源政策分析等諸多領域，已得到較高重視以及廣泛的應用。但是，其在教育研究上的應用還不多見。教育信息系統具有高度的模糊性和主觀性，層次分析法的思想和方法適合教育研究，該方法可應用于教育目標分析、教育策略選擇、教育資源分配以及教育評價等教育過程的多個環節中。

三、在線協作學習的AHP綜合評價過程

層次分析法的基本假設是層次之間存在遞進結構，其基本方法是建立層次結構模型。首先就要對所解決的復雜問題進行分析，將問題中所含的各個因素按一定隸屬關系分為相互聯系的若干層次，再計算和確定每一層因素的重要性和權重，經過由低到高的層層計算，得到層次的總排序。

用層次分析法對在線協作學習中小組成員的貢獻進行評價時，一般有以下幾個步驟：

——建立層次結構的分析模型，用于表明層次間的階梯結構和各層之間的隸屬關系。一般按各層次性質劃分為三層：目標層、準則層和指標層；

——構造判斷矩陣，即根據同一層的各元素對上一層相應元素的重要性所給出的判斷矩陣。

——層次單排序和一致性檢驗。即根據構造的矩陣計算各層次因素相對于上一層有關因素重要性程度的量化值。

——層次總排序和一致性檢驗。在單排序的基礎上，計算出所有因素對目標層(最上層)的相對權重，即總的排名順序的量化值。并對總排序的一致性進行檢驗，最后得到措施層對目標層的重要性權值以及按優劣次序的排序值。

——采用加權求和的方法計算最后的評價結果。算出的值權重越大，其排位也就越高。

在具體應用中，分析模型及判斷矩陣的建立十分重要，這也是AHP法應用于在線協作交互成員個體表現評價中的關鍵環節。

1. 確定評價的層次結構

很多研究者都是從“互動”、“爭辯”和“建構”三個維度來分析和評價協作學習的質量的。Fisher（1993）、Mercer（1995）、Coelho（1994）等人認為有效的交互應體現為“探索性談話（exploratory talk）”^[5-8]。探索性談話的特征是：參與成員相互以批判性但同時又是建構性的方式進行交流^[9]。荷蘭烏得勒支大學（Utrecht University）的Veerman從三個方面來討論交互質量，這三個方面分別是：共同的并維持一定時間的關注焦點；討論具有爭辯的傾向性；討論具有建構的傾向性^[10]。美國斯坦福大學（Stanford University）的Barron等人非常重視成員之間的互動，他們認為協作成員之間應對同伴的建議、觀點予以積極的反饋或者循著同伴的思路進一步指出后續問題。

言語行為理論認為，人類交際的基本單位不是句子或其他任何表達手段，而是完成一定的行為。比如：陳述、請求、命令、提問、道歉、祝賀等行為。言語行為的特點是說話人通過說一句話或者若干句話來執行一個或者若干個上面列舉的行為，而且，這些行為的實現還可能給聽者帶來某些后果。以此為基本假設，我們可以認為：協作小組成員的討論就是通過一定的言語行為力量取得互動、建構和爭辯的效果的。

基于言語行為理論，為了引導學生開展更為有效的協作，一些研究者還在交流工具中設置了預定義的句首詞（sentence opener）。比如Baker定義了面向協作學習任務解決以及談話控制的交互行為詞組：“I propose to ”，“I think that”，“Why”，“Because……”，“What is”、“Where do we start”，“Wait!”等。Blandford（1994）定義的交互行為詞組包括：“I disagree”， “Why do you believe that”，“...because...”，“don't you agree?”， “do you really believe that”等。顯性化描述這些交互言行，被很多研究者認為有助于學習者反思個人的參與，并促進必要的協作交流技能。進一步分析互動、建構和爭辯的內涵，我們確定了反映成員協作交流意圖的13類交互言行（Interaction Acts），并設計開發了相應的有句首詞交互界面的協作交流工具。

表1 協作學習過程中實時討論的評價因素及對應的交互言行體系表

這樣，就建立了如上表所示的一個由互動、建構和爭辯3個評價準則、13類交互言行作為評價指標的評價小組成員個人表現的層次結構體系。

圖1 遞階層次結構示意圖

2．確定判斷矩陣

根據遞階層次結構示意圖(見圖1)，利用1~9間的整數及其倒數作為標度構造判斷矩陣（指標相對重要性標度值見表2）。首先可以得到四個矩陣：表3中，矩陣(a)表示準則層B在三個維度（互動性強度、爭辯性強度和建構性強度）上對總目標的重要性。其它三個矩陣則是指標層C對應準則層B上的重要性，即相應的交互言行對互動強度B1、建構強度B2和爭辯強度B3這三個維度上的重要性。

表2 指標相對重要性標度含義表

表3 判斷矩陣的構造

任務的設計對于協作學習過程特征和效果都有重要影響，不同的協作學習任務意味著不同的協作交互過程，特定類型的任務決定了特定形式交互的發生。Strauss (1999)通過實驗研究了三種不同類型的任務對交互的影響，結果是：觀點形成（idea generation）、智力的（intellective）和判斷(judgment)的任務對“贊同（approving）”、“反對(disagreeing)”、“程序性(procedural)”的交互言論有重要影響。因此，對于不同的協作學習任務，互動性強度、爭辯性強度和建構性強度對評判個人貢獻的重要性是不同的，其判斷矩陣需要依據具體情況設定。

教師在設計在線協作交互活動時，除了指定活動主題及其具體要求以外，還需要確定互動、建構和爭辯三類評價個人表現因素的重要性。我們采用的是 為了幫助教師理解這三類評價因素的涵義并基于具體協作學習任務有效設定判斷矩陣，我們提供了如表4所示的設計指南。

我們采用了專家咨詢法，分別根據各言論類型引發進一步互動交流的可能性、建構的認知加工水平以及爭辯的激烈程度，綜合專家們的意見，構建了判斷矩陣。表5中矩陣(a)、(b)和(c)是相應的交互言行對互動強度B1、建構強度B2和爭辯強度B3這三個評價因素重要性的判斷矩陣。

表4 比較互動、建構、爭辯要求高低的參考樣例

通過計算，得到了各項指標的綜合重要度和相容性指標C.I.。一般情況下，若C.I. 0.10，就可以認為判斷矩陣具有相容性，據此計算的重要度權值W可以接受。

表5 判斷矩陣及權重的確定

最后需要通過加權求和法比較出協作學習中小組成員的權值，得出排位結果。具體計算方法是：在協作小組中，根據其成員在每一類交互言論上言論數量百分比，按照計算出來的13類言論類型指標的權重，加權求和。

四、AHP法的應用實驗

在計算機支持的學習（Computer-Supported Collaborative Learning， 簡稱CSCL）中，計算機是“認知工具”。可靠的計算機平臺的搭建，使學生開展共同學習成為可能。我們用層次分析法作為評價量化依據，設計了一個協作交互的智能支持系統。我們可以對聊天室里的數據對學生進行相對評價。

本次試驗中，教師先登錄到平臺中設計以“協作寫作”為主題的一個協作任務、分配給21個小組（每組3~5人，共75人），并根據任務設定互動、建構、爭辯強度。任務的內容是：各小組成員閱讀給定的材料，圍繞“誰才是中國最需要的優秀老師”這個主題，在聊天室里充分討論后，合作寫一篇300字以內的小短文，時間限制為1小時。在本次任務中，我們認為其對總目標的重要性權值和相容性指標C.I如表6。表7則為此次試驗任務中得到的各言論類型指標權重，其C.I.值小于0.1，滿足相容度指標。

表6 以對學習任務的貢獻為準則的判斷矩陣及權重

表7 各言論類型指標相對學習任務的貢獻的綜合權重

21個小組的成員分別登陸到軟件平臺協作完成任務。交互任務結束以后，教師便可以進入平臺查看小組成員的學習效果，系統根據小組成員在聊天室的言論記錄自動進行綜合AHP評價，得到各小組成員的排名情況，其權值對應的是小組成員對任務做出的貢獻。

在進行數據統計時，我們收集了兩種方法的排名：一種是系統分別對21個小組內部組員的評價排序結果，一種是各小組成員的自評結果的平均值。將兩種評價排序結果采用KENDALL—W協和系數法進行一致性檢驗（采用SPSS 11.5中Nonparametric tests分析）。其中Kendall和諧系數W=0.734 {W | W ^[0，1]}，顯著性概率Asymp. Sig. = 0.005<0.05。結果說明其兩種方法評價排序結果具有一致性。

除此之外，為了進一步確認采用AHP法給出的評價排位確實合理，我們發放了關于此次試驗系統排名的滿意度問卷（滿意度的5分量表見下表）

表8滿意度的5分量表

經統計，發出問卷75份，其中回收問卷71份（占94.67%），有效問卷69份（占92%）。在回收的問卷中，項目的總應答率為96.63%（258/267）。各小組成員對系統給出的排名情況總體滿意度為3.88分。使用粗略估算法，將對于排名表示“非常滿意”和“比較滿意”的群體歸為高滿意度群體，將“不太滿意”和“非常不滿意”的群體歸為低滿意度群體，各小組成員中高滿意度與低滿意度群體分別為65.12%和8.53%。其余26.36%的學生則表示一般滿意。可以看出，我們應用AHP評價在線協作學習中小組成員的個人貢獻，得到了學生的普遍認可。

五、討論

協作學習的評價應該體現出共同學習的結果，由于小組學習表現是協作學習評價的基礎和核心^[11]，所以結合小組評價和個人評價也是十分必要的。在本協作交互的智能支持系統的評價功能中，同樣地應用了AHP對完成同一協作任務的各個小組進行評價。這也符合CL的教學評價方法，即以整個協作組的學習表現為基礎，綜合考慮個人表現的評價方法^[12]。

本論文基于層次分析法的算法，將協作學習的過程映射為具有目標層、準則層和指標層的一個遞階層次模型，最后通過加權求和得到小組成員的最終評價。并設計了一個網絡環境下的協作學習任務，應用該評價方法得到了小組成員對該任務的貢獻排名。

實驗證明，這種方法可以有效地應用于在線協作學習中小組成員貢獻的評價，更加簡便、他科學的測量小組成員的在協作學習中的行為效率，是在線協作學習中一種有效的輔助定量工具。需要指出的是，基于計算機網絡的在線協作學習和應用尚處于發展階段，因此，在線學習環境下的交互應當具有的特征還未有定論^[13]，其評價指標體系的確定還有待進一步的認識與研究。

參考文獻

[1] 黃榮懷. 關于協作學習的組態結構模型研究[C]. 臺灣：全球華人計算機教育應用大會論文集， 2001.

[2] J.Heywood. Assessment in Higher Education，2nd ed[C]. New York: Wiley， 1989.

[3] L.Dahlgrn. Outcomes of Learning in the Experience of Learning[A]. F.Marton， D.J.Housell N.J. Entwistle[C]. Eds.Edinburgh，U.K: Scottish Academic， 1984. 1-18.

[4] T.L.Saaty. Fundamentals of Decision Making and Priority Theory with the Analytic Hierarchy Process[M]. Pittsburgh PA: RWS Publications， 1994.

[5] Fisher， E. Distinctive features of pupil-pupil classroom talk and their relationship to learning: How discursive exploration might be encouraged[J]. Language and Education， 1993， 7(4): 239-257.

[6] Mercer， N. The guided construction of knowledge (Talk amongst teachers and learners)[M]. Clevedon: Multilingual Matters Ltd， 1995.

[7] Elizabeth Coelho. Learning Together in the Multicultural Classroom Markham[M]. Ontario: Pippin Publishing Limited， 1994: 108.

[8] Neil Mercer， Words and Minds: How We Use Language to Think Together[M]. London: Routledge， 2000.

[9] Wegerif， R. Mercer， N. Computers and Reasoning Through Talk in the Classroom[J]. Language and Education， 1996， 10 (1): 47-64.

[10] A. L. Veerman， J.E.B. Andriessen G. Kanselaar， Collaborative Learning Through Computer-Mediated Argumentation[A]. Proceedings of the Computer Support for Collaborative Learning Conference， CSCL’99[C]. Palo Alto， California: Stanford University， 1999. 640~650

[11] 穆肅. CSCL的教學評價[J]. 中國電化教育， 2000， (6): 20~22.

[12] 黃榮懷. 計算機支持的協作學習：理論與方法[M]. 北京：人民教育出版社， 2003.

[13] Brad Mehlenbacher， Carolyn R. Miller， David Covington， ＆Jamie S. Larsen. Active and interactive learning online:A comparison of web-based and conventional writing classes[J].IEEE transactions on professional communication， 2000， 43 （2）: 166~183

Synthetic Performance Assessment of Group Member in Online Collaborative Learning

Leng Jing Liu Huanglingzi Huang Ronghuai Li Qian

Institute of Knowledge Science Engineering， Beijing Normal University， Beijing， 100875

Abstract: With the development of network technology and the transformation of teaching ideas， more attention has been paid to the Web-based cooperative learning. Accordingly， the problem of assessment is increasingly prominent. The process of cooperative learning is the core of assessment in cooperative learning. This paper brings forward an assessment model with “interactive”， “conflictive” and “constructive” as assessment criteria， thirteen speech acts as assessment index. A synthetic method is also applied based on AHP theory aimed at analyzing the individual effort of group members in quality. In applications， it shows that using the model provides valuable reference in assessment of group member.

Keywords: Cooperative Learning， Learning Assessment， Analytic Hierarchy Process