同伴互評在不同文化中應(yīng)用的比較研究

武荷嵐 丁瑞君

(同濟(jì)大學(xué)物理科學(xué)與工程學(xué)院，上海 200092)

1　同伴互評概念的提出

隨著國內(nèi)外教育的不斷發(fā)展，學(xué)習(xí)評價方式也越來越趨于多元化。尤其是在以協(xié)作學(xué)習(xí)為主的教學(xué)模式中，之前的由教師全權(quán)負(fù)責(zé)對學(xué)生進(jìn)行評價的方式便不能全面快速地反映學(xué)生在整個學(xué)習(xí)過程中的具體表現(xiàn)，由此，可引入同伴互評的評價方法。

同伴互評(peer assess ment)的概念，是由Topping(1998)提出，又叫同儕互評、同伴反饋等，是由學(xué)習(xí)者扮演評分者的角色，針對同伴作品給予評分與建議[1]。國內(nèi)外有不少研究者曾論述了同伴互評的優(yōu)點(diǎn)：(1)同伴互評可以鼓勵學(xué)習(xí)者的學(xué)習(xí)動機(jī)[2];(2)同伴互評可以提升學(xué)習(xí)者的思考能力[3];(3)同伴互評能促進(jìn)學(xué)習(xí)者的自我反思并提升其交流能力[4];(4)絕大多數(shù)學(xué)生喜歡獲得同伴反饋，認(rèn)為對自己是有幫助的[5];(5)學(xué)習(xí)者可以從同伴互評的結(jié)果中獲得很多靈感[6];(6)同伴互評可以提高學(xué)習(xí)者的學(xué)習(xí)成績、學(xué)習(xí)動機(jī)及解決問題能力[7]。

雖說同伴互評有上述諸多優(yōu)勢，但是任何事物都是有兩面性的。同伴互評存在的問題主要表現(xiàn)在以下幾個方面：(1)反饋的多變性;(2)缺少對同伴互評的反饋;(3)匿名同伴互評時，對反饋結(jié)果無法要求明確或澄清;(4)缺乏學(xué)習(xí)社區(qū)意識或歸屬感[8];(5)學(xué)生動機(jī)的缺乏[9]。

為了解決同伴互評在實(shí)施過程中出現(xiàn)的一系列問題，國內(nèi)外有不少研究者基于不同算法或角度設(shè)計(jì)了一系列同伴互評模型，以期能提升同伴互評的信度與效度。在國內(nèi)研究中，孫力等(2014)構(gòu)建了3種關(guān)聯(lián)復(fù)雜度不同的同伴互評過程模型。最終結(jié)果認(rèn)為評分者偏差對模型實(shí)際效果的提高非常有效，而評分者可靠度對模型的實(shí)際效果影響甚微[10]。許云紅(2014)等建立了基于推薦機(jī)制的同伴互評模型，以期為學(xué)生作業(yè)匹配較為合適的評閱人，從而達(dá)到優(yōu)化互評過程并提高學(xué)習(xí)者滿意度的目的[11]。許濤(2015)從教學(xué)法和教育技術(shù)應(yīng)用的角度提出了慕課學(xué)習(xí)環(huán)境下5種不同的同伴互評模型，并指出慕課環(huán)境下進(jìn)行同伴互評模型設(shè)計(jì)應(yīng)關(guān)注的設(shè)計(jì)原則、標(biāo)準(zhǔn)和未來研究方向[8]。何升等(2016)為了達(dá)到為作業(yè)推薦合適評閱人的目的，構(gòu)建了作業(yè)評閱人推薦模型。結(jié)果表明，算法在評閱人的工作量均衡和作業(yè)評閱人的準(zhǔn)確推薦等方面均取得較好的效果，優(yōu)化提高了同伴互評系統(tǒng)的準(zhǔn)確性和可靠性[12]。在國外研究中，Tenório等(2016)使用游戲元素提出游戲化的同伴互評模型，并將其運(yùn)用于教學(xué)實(shí)踐，結(jié)果證實(shí)學(xué)生給出的平均成績與專家給出的大致相同，且大大降低了完成評價所需的時間與成本。在此基礎(chǔ)之上，使用游戲化模型后，學(xué)生提交論文的數(shù)量及評價的質(zhì)量與數(shù)量皆得到了一定程度的提升[9]。除此之外，還有不少研究者提出了基于貝葉斯網(wǎng)絡(luò)的同伴互評優(yōu)化模型[13]。

曾有研究指出，歐洲學(xué)生比亞裔學(xué)生更容易接受同伴互評，他們在互評中表現(xiàn)得比亞裔學(xué)生更自信[14]。呂林海等(2015)認(rèn)為，因?yàn)榻逃问降牟煌袊鴮W(xué)生的批判性思維發(fā)展顯著地滯后于西方學(xué)生[15]。且同伴互評的概念起源于國外，在國內(nèi)相當(dāng)于是“舶來之品”，因?yàn)槭艿絺鹘y(tǒng)文化、價值觀及教學(xué)方式等因素的影響，在國內(nèi)的應(yīng)用效果亦有可能異于國外的應(yīng)用效果。基于這樣的猜想，本文收集了中美兩所高校中學(xué)習(xí)大學(xué)物理課程的班的同伴互評數(shù)據(jù)(為保證數(shù)據(jù)的可比性，二者分別使用的是同一同伴互評系統(tǒng)的中文版和英文版)，并對其進(jìn)行比較分析，以期能對兩國學(xué)生互評效果的異同點(diǎn)有一個清晰明確的認(rèn)識。最后，根據(jù)數(shù)據(jù)分析結(jié)果，對我國同伴互評系統(tǒng)的設(shè)計(jì)提供了一些參考建議。

2　研究過程

2.1　數(shù)據(jù)來源

本文用來研究的數(shù)據(jù)來自中美兩所高校中學(xué)生的一次同伴互評，為了體現(xiàn)對比的合理性，二者分別使用的是同一同伴互評系統(tǒng)的中文版和英文版，且皆是參與學(xué)習(xí)大學(xué)物理課程的學(xué)生。

2.2　數(shù)據(jù)收集

本文使用同伴互評系統(tǒng)中的評價主要分為兩部分，一是評價量表，二是相對貢獻(xiàn)。評價量表包含6個等級評價題和兩個開放題，具體評價內(nèi)容如表1所示。

表1　同伴互評評價量表

續(xù)表

相對貢獻(xiàn)主要是對各個小組成員在協(xié)作過程中的整體表現(xiàn)進(jìn)行評價，從-3至+3，共分為7個等級。各組員可對其他成員及自己的行為表現(xiàn)做出整體評價，且相對貢獻(xiàn)的得分會影響學(xué)生最終的互評得分。但需要說明的是，每個成員的評分之和都必須為零，且需盡量保證不出現(xiàn)全為零的情況。即有人得高分的同時，就必須有人得低分，以此來減少一些“情感分”“面子分”的情況出現(xiàn)。

Schunn等(2006)曾指出，如果每份作業(yè)讓至少4人評價，同伴互評的成績與教師的評價則具有非常高的一致性，是可靠的[16]。劉玲(2014)也認(rèn)為，設(shè)定每個學(xué)生評4～5份作業(yè)比較合適[17]。所以本研究中將學(xué)生學(xué)習(xí)小組的人數(shù)定為4～5人，學(xué)生自愿組成學(xué)習(xí)小組，進(jìn)行討論或完成任務(wù)。一次學(xué)習(xí)活動結(jié)束之后，各小組成員需要對組內(nèi)成員及自己進(jìn)行公平合理的評價。在具體的評價過程中，各成員需先根據(jù)評價量表對各個組員的具體表現(xiàn)進(jìn)行評價，只有完成這一步之后，才能對他人及自己的相對貢獻(xiàn)進(jìn)行打分。且對于同一組的成員來說，只有所有人都完成評價且保證評價有效之后，各成員才能在系統(tǒng)中查看自己最終的評價報(bào)告。評價結(jié)束之后，研究人員通過同伴互評系統(tǒng)的后臺數(shù)據(jù)庫，對可用數(shù)據(jù)進(jìn)行提取。

3　數(shù)據(jù)分析

在收集的數(shù)據(jù)中，參與評價的中國學(xué)生為116人，分為25組，獲得的可用評價為548條，美國學(xué)生為87人，分為18組，獲得的可用評價為420條。數(shù)據(jù)的統(tǒng)計(jì)分析軟件為SPSS 12.0和Excel 2003。

3.1　評價量表中互評數(shù)據(jù)對比分析

首先，根據(jù)后臺數(shù)據(jù)庫所得數(shù)據(jù)，筆者對兩國學(xué)生各等級評價題得分的有效率進(jìn)行統(tǒng)計(jì)。有效性界定：若一條評價中所有等級評價題的得分皆相同，則視為無效。具體統(tǒng)計(jì)情況如圖1所示。

圖1　等級評價題得分有效率統(tǒng)計(jì)

由圖1可以看出，在等級評價題得分有效率的統(tǒng)計(jì)中，中國學(xué)生的有效得分只占所有評價的34.5%，而美國學(xué)生的有效得分則占86.4%。相比之下，中國學(xué)生評分的有效率還不到美國學(xué)生評分有效率的50%，可以說是非常低的。究其原因，筆者認(rèn)為很有可能是因?yàn)閮蓢鴮W(xué)生對待評價的態(tài)度不同，從而產(chǎn)生了不同的結(jié)果。

為進(jìn)一步了解兩國學(xué)生的評價態(tài)度，筆者對后面兩個開放題中的評價數(shù)據(jù)進(jìn)行了統(tǒng)計(jì)分析。統(tǒng)計(jì)的數(shù)據(jù)主要包括3個層級，即有內(nèi)容的評價、有效的評價及有針對性的評價。有內(nèi)容的評價是最低要求，即評價內(nèi)容不為空;有效的評價則有進(jìn)一步的要求，即學(xué)生的評價內(nèi)容是與小組協(xié)作有關(guān)，且能表達(dá)明確的觀點(diǎn)，而不是其他無關(guān)內(nèi)容;有針對性的評價則是能夠達(dá)到互評要求的評價，即在保證該評價有效的基礎(chǔ)上，有針對性的評價各個小組成員，而不是對整體小組成員做出統(tǒng)一的評價。基于這樣的界定，筆者分別對開放題1和開放題2的評價數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，具體結(jié)果如圖2、圖3所示。

圖2　開放題1(表現(xiàn)好的地方)

圖3　開放題2(需改進(jìn)的地方)

由圖2和圖3可以看出，不管是開放題1(表現(xiàn)好的地方)還是開放題2(需改進(jìn)的地方)中的評價，3個層級的評價所占總評價的比例皆是美國學(xué)生高于中國學(xué)生。在開放題1的評價中，兩國學(xué)生有內(nèi)容或有效評價的占比之差都在20%以上，且有針對性評價的占比之差超過了45%，即中國學(xué)生有針對性評價的占比只比美國學(xué)生有針對性評價占比的一半多一點(diǎn)。在開放題2的統(tǒng)計(jì)數(shù)據(jù)中，除中國學(xué)生有效評價的占比降低15%左右之外，其他情況與開放題1中的相差不大。

且在上面兩圖中可以發(fā)現(xiàn)，美國學(xué)生的評價中，3個層級評價的占比相差并不是很大，基本在2%以內(nèi)，且都在94%以上，即總體占比較高。反觀中國學(xué)生的評價，則差距較大，有內(nèi)容評價的占比與有針對性評價的占比之差皆高于20%，且總體占比皆在80%以下，有針對性評價的占比只有50%左右。

由此可見，不管是等級評價題，還是開放題，中國學(xué)生的評價質(zhì)量皆是低于美國學(xué)生的評價質(zhì)量。究其原因，一方面可能是因?yàn)閮蓢鴤鹘y(tǒng)文化及教學(xué)方式等因素的不同，中國學(xué)生暫時還沒有完全適應(yīng)這樣的評價方式;另一方面，也有可能是因?yàn)閮蓢鴮W(xué)生對同伴評價所持的態(tài)度有所不同，即中國學(xué)生需轉(zhuǎn)變現(xiàn)有的評價態(tài)度。

3.2　相對貢獻(xiàn)互評數(shù)據(jù)對比分析

為使學(xué)生的最終得分(與相對貢獻(xiàn)得分有關(guān))有所差異，本研究中所使用的同伴互評系統(tǒng)中，將同小組內(nèi)相對貢獻(xiàn)的得分之和設(shè)置為零，即零分為所有成員得分的平均分。且為保證評價的公平合理性，原則上不能使各成員的得分都為零，即相對貢獻(xiàn)得分全為零或得分之和不為零的評價視為無效，鑒于此，筆者首先對評價數(shù)據(jù)中相對貢獻(xiàn)的有效率進(jìn)行統(tǒng)計(jì)，具體情況如圖4所示：

圖4　相對貢獻(xiàn)有效率統(tǒng)計(jì)

由圖4可以看出，就相對貢獻(xiàn)的有效率來說，中國學(xué)生有效評價的占比要高于美國學(xué)生，二者之差為8%左右。由此可見，在評價分?jǐn)?shù)影響最終得分的情況下，中國學(xué)生的評價態(tài)度相對較好。

因?yàn)槎叩挠行式栽?0%以上，因此可進(jìn)行進(jìn)一步的對比分析。首先，筆者對兩國學(xué)生相對貢獻(xiàn)各分?jǐn)?shù)段的得分情況進(jìn)行統(tǒng)計(jì)，具體情況如圖5所示。

由圖5可以看出，在相對貢獻(xiàn)得分之和有明確限制的情況下，無論是中國學(xué)生還是美國學(xué)生，互評時都更傾向于給出接近平均分0的得分。但有所不同的是，美國學(xué)生的得分中，得分為平均分0的人數(shù)占比較多，緊接著則是得分為1的人數(shù)較多，而得分為3的人數(shù)則為零;而中國學(xué)生的得分中，則是得分為-1分的人數(shù)占比較多，接下來人數(shù)較多的得分為0分和1分，亦有個別人得分為3分。若按得分人數(shù)最多的一項(xiàng)進(jìn)行比較，則美國學(xué)生的為0分，中國學(xué)生的為-1分，除這兩項(xiàng)之外，其他各項(xiàng)的得分比例相差不是很大。

接著，筆者又對相對貢獻(xiàn)的自評得分進(jìn)行了統(tǒng)計(jì)與分析，具體情況如圖6所示。

由圖6可以看出，在自評得分中，兩國學(xué)生仍是傾向于給出接近于平均分的分?jǐn)?shù)，且都是0分和1分的占比較多，但可以明確的是，0分以上的占比明顯多于0分以下的占比。進(jìn)一步比較可發(fā)現(xiàn)，美國學(xué)生的自評得分中，仍然是得分為0的人數(shù)占比最多，而中國學(xué)生的則是得分為1分的占比最多，稍微多于得分為0的人數(shù)，且有接近于20%的人給自己的分?jǐn)?shù)是2分或3分，相較而言，美國學(xué)生自評時的高得分則較少。

為了進(jìn)一步了解兩國學(xué)生的自他評得分情況，筆者分別統(tǒng)計(jì)了兩國學(xué)生自他評中各分?jǐn)?shù)的得分率，具體情況如圖7、圖8所示。

由圖7和圖8可以看出，在兩國學(xué)生的自評與他評得分中，除美國學(xué)生得分為2分的是他評占比多于自評外，皆是得分為0分及以上的，自評占比多于他評占比，而0分以下的，則都是他評占比較多。由此可發(fā)現(xiàn)，不論是美國學(xué)生還是中國學(xué)生，在參與互評時，皆傾向于給出較高的自評分?jǐn)?shù)。羅恒等(2017)也指出，學(xué)生傾向給自己的作業(yè)更高分?jǐn)?shù)[18]。即學(xué)生很容易高估自己對小組的相對貢獻(xiàn)，故很難對自己的作業(yè)或表現(xiàn)給出一個相對公正合理的評價。

圖5　相對貢獻(xiàn)整體得分情況對比

圖6　相對貢獻(xiàn)自評得分情況對比

圖7　美國學(xué)生相對貢獻(xiàn)自他評得分情況對比

圖8　中國學(xué)生相對貢獻(xiàn)自他評得分情況對比

最后，為了進(jìn)一步明確兩國學(xué)生自他評得分之間的差異，筆者在SPSS中對兩國學(xué)生的自他評分?jǐn)?shù)進(jìn)行了配對樣本T檢驗(yàn)，具體分析結(jié)果如表2所示。

表2　自他評分?jǐn)?shù)配對樣本t檢驗(yàn)結(jié)果

由表2可以看出，兩組數(shù)據(jù)的分析結(jié)果皆是sig＜0.05，即可再次證明，兩國學(xué)生的自他評分?jǐn)?shù)之間皆是存在顯著性差異的。

4　研究結(jié)論及建議

從理論上來說，同伴互評有較多優(yōu)勢，但是在實(shí)施的過程中，總會因?yàn)楦鞣N人為因素的影響，使其優(yōu)勢無法得到很好的體現(xiàn)。總體來說，本文在一定程度上明確分析了同一同伴互評系統(tǒng)在中美兩國學(xué)生中應(yīng)用的異同點(diǎn)，具體表現(xiàn)在以下幾個方面：首先，在得分沒有明確限制且不影響最終成績的情況下，中國學(xué)生評價的有效性相對較低，即評價量表的作用沒有得到很好的體現(xiàn);其次，在明確告知相對貢獻(xiàn)影響最終成績的情況下，中國學(xué)生評價的有效性要高于美國學(xué)生;最后，在相對貢獻(xiàn)得分的統(tǒng)計(jì)中，不論是中國學(xué)生還是美國學(xué)生，皆是自評得分要明顯高于他評得分，從這一點(diǎn)來說，兩國學(xué)生的表現(xiàn)是較為相似的。

鑒于此，筆者認(rèn)為在設(shè)計(jì)適用于我國學(xué)生的同伴互評系統(tǒng)時，應(yīng)注意以下幾個方面：首先，評價量表中的得分應(yīng)該納入到最終成績的計(jì)算體系中，可在一定程度上提升評價的有效性;其次，若有設(shè)置開放題，可將其設(shè)置為必填，以此來提升定性評價的完成率;再次，可適當(dāng)考慮對評價的評價，因?yàn)樵谖覈鴮W(xué)生的評價中，即使是有內(nèi)容的評價，其有效性和針對性仍需進(jìn)一步提高，所以有必要對其進(jìn)行合理的反饋;最后，可設(shè)計(jì)一定的算法，來降低自評成績過高所帶來的影響，即自評過高時，可以在系統(tǒng)中設(shè)置減分這樣的懲戒措施，自評與他評吻合時，設(shè)置加分獎勵措施，以此來提升學(xué)生自評與同伴互評的一致性。