國內外在線同伴評價有效性的對比研究

周 玲

（韶關學院 教育學院，廣東 韶關 512005）

國內外在線同伴評價有效性的對比研究

周 玲

（韶關學院 教育學院，廣東 韶關 512005）

本研究在特諾里奧等的在線同伴評價有效性的研究基礎上，通過系統文獻分析法對國外2014-2016年和國內2004-2016年在線同伴評價的文獻進行梳理，進一步完善特諾里奧等的結論。通過國內外對比分析，指出國內在線同伴評價研究的局限：應用領域局限、實證性研究不足、缺乏在線同伴評價實踐研究等問題。預測基于大樣本的在線同伴評價實證研究趨勢。最后，提出側重心理機制，提倡以游戲模型為主的教學設計；以大樣本、實證性研究為主的評價系統優化路徑；以機器學習為代表的技術支持下的評價量規優化路徑和教師引導下的可控性在線同伴評價實施優化路徑。

在線教育；同伴評價；游戲化；機器學習

同伴評價是學習者對具有相同水平的學習同伴的學習作品或成果的評價，評價依據同伴作品完成的數量、水平、價值、作用、質量等。1998年，托平（Topping）通過系統文獻綜述法證明同伴評價在高等教育的很多學科應用，且信、效度水平均在可接受的范圍內［1］。我國遠程教育領域研究者很早就開始應用并推廣同伴評價。2012年“MOOC元年”至今，由于參與學習人數龐大，給教師和助教團隊帶來很大負擔。在線課程平臺中參與網絡課程的人數激增，為快速有效地對眾多學習者的課程作業進行評估，自評、互評和機器批閱均被應用于 MOOC 平臺中［2］。由于實施同伴評價對學習者的要求更高，開展活動難度更大，學習者的動機弱，怨言很多。到目前為止，沒有研究明確指出在線同伴評價的優、劣勢所在，即在線同伴評價的有效性亟待驗證。特諾里奧等（T.Tenorio et al.）通過對2004-2014年，與主題“在線同伴評價”密切相關的44篇英文文獻進行文獻分析，試圖證明在線同伴評價的有效性，該文發表在2016年《Computers in Human Behavior》雜志上［3］。本研究在此基礎上，對國外2015-2016年和國內2004-2016年的文獻進行梳理，以期進一步完善特諾里奧等的研究結論。通過國內外相關研究的對比分析，探索提高在線同伴評價有效性的路徑。

一、研究問題及方法

在線同伴評價有效性的證明，最重要的是找到在線環境下，同伴評價提升教學效果的證據。主要研究內容如下：

（1）在線同伴評價應用在什么樣的領域和教學層次？

（2）使用在線同伴評價的目的？

（3）是否有證據表明在線同伴評價的使用提高了學習效果？

（4）是否有證據表明在線同伴評價的使用對老師有幫助？

（5）在線學習環境下使用同伴評價是否有困難？

針對以上五個問題，在特諾里奧等研究的基礎上，本文通過文獻分析法對2004-2016年國內外文獻進行統計分析，試圖找到以上五個問題的答案。檢索國外數據庫（ACM Digital Library、IEEE Xplore、Science Direct、Springer Link、SCI），與主題緊密相關的2015-2016年文獻共15篇。見表1檢索中國知網2004-2016年與主題緊密相關的文獻共18篇。

表1 檢索文獻關鍵詞

二、國內外在線同伴評價的有效性對比分析

針對以上五個問題，下文在特諾里奧等研究數據的基礎上，進一步補充國際2015-2016年9月的文獻。國內文獻統計數據分布為2004-2016年9月。下文將特諾里奧等的研究結論簡稱T結論。

（一） 問題一：在線同伴評價應用在什么樣的領域和教學層次

T結論：同伴評價更多應用于高校在線課程。在線同伴評價的應用領域，2015年前局限于高校和工業，之后擴展到教師培訓領域，可查的第一個教師培訓項目是香港開展的基于wiki職前教師自主學習項目［4］。2015之后的18篇文獻中有11篇是高校教學，見表2。國際研究側重在線同伴評價在高校教學中的應用推廣。同伴評價為課程中成千上萬學生復雜的作業評分提供了有前途的解決方案，這正是以MOOC為代表的在線大學課程面臨的問題。與T結論相比，國際在線同伴評價的學術背景仍然是高校，但應用領域逐漸擴展。

表2 在線同伴評價應用領域（2004-2016）①

國內在線同伴評價的應用領域和教學層次均以高校為主。以高校（72.2%）為主，與國外（72.8%）基本一致。但在線同伴評價在其他領域的應用研究基本沒有，與國外工業領域（8.5%）相比，國內在線同伴評價的應用領域相對狹隘。在線同伴評價的應用教學層次方面，側重在高校（61.1%）高于國外高校（44.1%）。然而相關研究在中學和專業培訓等方面的應用基本沒有，遠低于國外中學（11.9%）和專業培訓（3.4%）見表3。國內外在線同伴評價的應用領域和教學層次上的側重點一致，但國內應用領域和教學層次相對單一，局限于高校和外語教學。結論：國內外在線同伴評價的應用領域和教學層次大致相同，均以高校為主，近兩年應用領域逐漸擴展；與國外研究相比，國內在線同伴評價的應用領域和教學層次相對單一。

表3 在線同伴評價應用的教學層次（2004-2016）

（二） 問題二：使用在線同伴評價的目的

T結論：組建高效的工作團隊和建構同伴評價系統。在線同伴評價使用（見表4）2015年之后的研究開始關注同伴評價策略（5%）。使用同伴評價的動機有很多種，不同動機支配下的結果也有所不同［5］。在線學習環境下如何使用同伴評價達到最科學的評價結果。在線同伴評價的信、效度，在線同伴評價分數和等級算法的優化是進一步完善在線同伴評價的科學路徑。寫作文本（16.9%）和課程活動（28.8%）依然是主要研究內容。2015年之后的國外文獻開始側重在線同伴評價體系（10.1%）見表4。與T結論相比，國際在線同伴評價的目的從組建高效的工作團隊和建構同伴評價系統轉向提高工作小組技能和同伴評價的科學性轉變，研究逐漸深入。

表4 在線同伴評價的應用目的（2004-2016）

國內在線同伴評價的目的集中在課程內容評價（寫作文本22.2%和課程活動16.7%）和提高同伴評價的科學性（評價策略16.7%和評價系統27.7%），側重點與國外基本一致。然而，國內研究在教師創建在線課程和提高工作小組技能方面基本沒有。實踐與研究沒有同步，出現這一現狀的原因與我國開展在線同伴評價實踐較少，對同伴評價的重視度不夠有關。國內在線同伴評價的目的與國外側重點基本一致，但其基于實踐需求的研究相對缺失。結論：國內外在線同伴評價的目的側重點大致相同，均以提高工作小組技能和同伴評價的科學性為主；與國外研究相比，國內在線同伴評價基于實踐需求的研究相對缺失。

（三） 問題三：是否有證據表明同伴評價使用提高了學習效果

T結論：超過60%的文獻證明同伴評價提高了在線學習環境下的學習效果。在線同伴評價對學習者的影響（見表5）方面，國外2015年之后的研究更加注重實證研究（15篇文獻中有13篇是實證研究）。較之T結論同伴評價提高學習效果的文獻比率從60%升至71.1%（有實證的積極評價54.2%+沒有實證的積極評價16.9%）。從這一結果來看，在線同伴評價的實施對提高學習者的學習表現的作用是正面的，這一結論為以后在線同伴評價的應用推廣提供了充分的理論依據。國際在線同伴評價與T結論一致，且進一步證明其結論的科學性（比率從60%提高至70.1%），見表5。

表5 在線同伴評價應用對學習者的影響（2004-2016）

國內使用在線同伴評價對學習者的積極作用全是正面的（見表5），持正面觀點的文獻比率達到90%（有實證的積極評價55.6%+沒有實證的積極評價33.3%）。這一結論與國外研究總體趨勢一致，且有實證的積極評價研究（55.6%）與國外（54.2%）基本一致。然而，沒有實證的積極評價研究（33.3%）則遠高于國外（16.9%），說明國內有較大一部分研究處于理論分析階段。進一步梳理國內文獻，值得一提的是馬志強等人的研究。從可查的18篇文獻中有3篇來自于馬志強等人。從2014年的文獻綜述，到網絡同伴評價的學習活動設計與應用，再到2016年的網絡同伴互評中反饋評語的類型與效果分析。馬志強等人的研究均以實證性為主，逐步深入，形成完善的系統理論，對我們在線同伴評價的發展意義重大。結論：國內外在線同伴評價對學習者的積極作用是一致的，至少有70%的研究文獻證明同伴評價提高在線學習效果；與國外研究相比，國內在線同伴評價對學習者的積極作用的實證性稍顯不足。

（四） 問題四：是否有證據表明使用同伴評價對老師有幫助

T結論：至少34.09%的研究表明在線同伴評價可以幫助教師。國外2015年之后與之前的研究基本沒有變化，即至少有35.6%（有實證的積極評價11.9%+沒有實證評價的積極評價23.7%）的研究持積極觀點。國內文獻對在線同伴評價對教師的積極作用的比率為27.8%，低于國外文獻的比率。總體來看，國內外對這一方面的關注度都不高。國內這一方面的研究全部沒有實證，低于國外實證研究的比率（11.9%），見表6。這一現象與在線同伴評價對學習者的影響方面的情況類似。以上數據說明國內在在線同伴評價對教師的影響國外側觀點一致，國內在實證性研究方面稍落后于國外。結論：國內外在線同伴評價對學習者的積極作用是一致的，即至少有35.6%研究文獻證明在線同伴評價對教師的工作有幫助；與國外研究相比，國內在線同伴評價對學習者的積極作用的實證性研究落后于國外。

表6 在線同伴評價應用對教師的影響（2004-2016）

（五） 問題五：在線學習環境下使用同伴評價是否有困難

T結論：至少有30%的研究表明在線同伴評價應用存在困難。國外2015年之后與之前的研究基本一致，至少有38.9%（有實證的積極評價0+沒有實證評價的積極評價38.9%）的研究持積極觀點，見表7。國內文獻對在線同伴評價的實施困難持積極觀點的比率為44.4%，國內外研究基本一致。總體來看，國內外對這一方面的關注度都不高，且都沒有實證性的研究。實施在線同伴評價的困難包括以下幾方面：在采用問卷調查時教師需要采用標準，仔細設計問卷；設計優秀反饋；充分的準備和指導要領是成功的關鍵［6］。結論：國內外在線同伴評價實施困難主要表現在評價量規及活動指導。

表7 在線同伴評價的實施困難（2004-2016）

根據以上分析，國際在線同伴評價主要在高校教學中應用，其應用領域在逐漸擴寬；主要以提高小組技能和同伴評價的科學性為目的；國內外在線同伴評價對學習者的積極作用是一致的，即至少有70%研究文獻證明同伴評價提高了在線學習環境下學生的學習表現；國內外在線同伴評價對教師的積極作用是一致的，即至少有35.6%研究文獻證明在線同伴評價對教師的工作有幫助；在線同伴評價能夠提高學習者的學習效果已是沒有爭議的事實，然而此結論主要適用于高校教學，較少涉及到中學和教師培訓領域。雖然實證研究（54.2%）的比率較高，但大部分的研究是基于小樣本開展實驗得出的結論，是否適合大規模的在線課程則是有待進一步證明的問題。除此之外，在具體實踐中的實踐困難分析（0）和對教師的影響（11.9%）均缺乏足夠的實證研究。隨著在線課程的大規模使用，預測未來建立在大樣本基礎上的在線同伴評價實證研究將會越來越多。

與國外在線同伴評價研究相比，國內研究整體與國際趨勢保持一致。但國內對這一領域的關注度不高，研究的起步和發展落后于國外。與國外研究相比國內研究存在應用領域局限、實證性研究不足、缺乏以在線同伴評價實踐需求出發而開展的研究等問題。

三、提高在線同伴評價有效性的優化路徑分析

筆者在借鑒前人研究成果的基礎上，將在線同伴評價分為主體（學習者）包括學習者的心理機制和學習者樣本、主導（教師）包括教學設計和教學管理和評價方法（評價量規）包括評價系統和技術三個方面。基于國內外在線同伴評價有效性的對比結果，提出四條在線同伴評價有效性的優化路徑。

（一） 對象：側重心理機制，提倡以游戲模型為主的教學設計提高其有效性

同伴評價的心理出發點是利用人類比較判斷的能力。與單獨的刺激物相比，刺激物相對應其它刺激物時，人類能進行更好的判斷。比較條件沒有提高學生做出每個判斷的能力，而是開發了人類做準確比較的能力［5］。同伴評價的心理出發點首先是動機。學生可能沒有足夠的知識來評閱同行的工作，給出一個公正的評價。由此造成組織同伴評價過程中學習者缺乏自信［7］。學生給出的評價帶著明顯的自我的優缺點，同時影響著學習者的下個學習過程［8］。其次，是年齡等特征。開展在線同伴評價的前提條件要求學習者的具有較高的知識儲備、合作能力和元認知能力等。一般情況下，大學生是相對成熟的人群較適合開展在線同伴評價。最后，人際關系等其他特征。大學生是能動的個性獨立個體，其人際關系等其他特征也影響著著在線同伴評價的學習效果。

深入分析在線同伴評價模型與在線游戲模型相似度極高。游戲化是使用機械、思想和美學游戲（內容、快速反饋、競爭、階級、成果和分數等）、吸引人們、激勵措施、促進學習和解決問題。在線同伴評價過程同樣存在游戲化的幾個基本步驟，首先是反饋，在線同伴評價過程中，學生通過彼此間接收和給出反饋來學習［9］；其次是競爭，當參與在線同伴評價的學習者來自不同學校時，其結果存在明顯的競爭效應，即學習者傾向于給同校學習者更高分數而給外校學習者的要求則更嚴格［10］。最后是階級、成果和分數等，游戲化的元素應用在教學模型中積極影響學生的狀態，鼓勵他們參與教學過程，獲得獎勵（績點、晉級和戰利品）。研究證明基于游戲的在線同伴評價模型將參與學習活動的學習參與度提高到64.28%，作業提交量增加了10.53%，且隨著活動的進行，每份作業的數量和質量都有所提高［9］。筆者認為側重學習者心理機制，以游戲模型為主的教學設計是提高在線同伴評價有效性的可選路徑。

（二） 目的：以大樣本、實證性研究為主的評價系統提高其有效性

國內外在線同伴評價的目的側重點均以提高工作小組技能和同伴評價的科學性為主；與國外研究相比，國內基于實踐需求的研究相對缺失。同伴評價適用于合作學習和形成性評價過程。同伴評價被證明作為評價工具和學習工具，對評價者、被評價者有利［11］。這一方法廣泛使用在大規模在線課程時，以MOOC為例，學習者來自不同地域、不同語言背景、甚至不同教育水平和不同學習動機等問題，那么其信、效度等問題則需要進一步證明。雖然同伴互評機制的設立使得主觀類試題得到有效評價，但學習者對同伴評價的準確性和權威性表示懷疑。調查發現，94%的學生更喜歡老師評語［6］。

以大樣本為主的在線同伴評價實施的第一步要解決的是新型評價系統的設計。大樣本在線同伴評價系統的設計和實施的科學性是制約目前在線同伴評價實踐的主要因素之一。在線同伴評價參與者的知識背景、互評經驗、作業相似度、客觀題得分、擔任評閱者的意愿等因素影響著同伴評價的效果［2］。科學的信、效度是在線同伴評價應用于大規模在線課程的前提條件。研究者努力改進評價系統內部評定成績的算法，提高評判復雜任務有效得分的大規模制導系統［12］；如果每個作業有足夠大的數量，正確的等級可以近似于計算均值或者中位數；文本作業采用新型模糊同伴評價方法。從大樣本的在線同伴評價的實踐出發，以實證性研究推動在線評價的信、效度的提高，從而提高在線同伴的科學性，是提高在線同伴評價有效性的必然路徑。

（三）提高學習效果：以機器學習為代表的技術支持評價量規優化提高其有效性

國內外在線同伴評價對學習者的積極作用是一致的，至少有70%的研究文獻證明同伴評價提高在線學習效果。如何設計在線同伴評價量規，才能做到科學規范，技術在其科學統計的過程中占據重要地位。特別是目前以MOOC為代表的大型開放性在線課程的廣泛使用，技術顯得更加重要。清晰的評價量規夠有效提高同伴評價的有效性與可靠性［13］。機器學習、深度學習等新技術在評價量規的優化過程扮演著重要角色，在線評價模板和成績計算也依賴于深度學習和機械學習。例如，通過匹配算法將學習者的答案與模板匹配計算成績，通過機器學習將幾個理想的答案與學生的答案相對比，形成一個正確答案的子集作為模板。然而也有研究指出如果評價安排和傳遞仔細合理，在沒有評價標準的情況下也可以達到較好的學習效果［14］。

當同伴評價應用于大規模在線課程時，遇到評定內容的復雜性，參與者知識、技術背景不同，參與學習的意愿不同等眾多情況。與此同時，在線同伴評價適用于大規模在線課程時，遭遇了學習者在使用同伴評價過程中缺乏自信的情況等。以機器學習、深度學習為代表的技術為依托，優化在線同伴評價量規是大規模在線同伴評價目前要解決的主要問題之一。

（四）實施困難：教師引導下可控性在線同伴評價實踐提高其有效性

國內外在線同伴評價對學習者的積極作用是一致的，即至少有35.6%研究文獻證明在線同伴評價對教師的工作有幫助，國內外在線同伴評價實施困難主要表現在評價量規及活動指導。同伴評價的設計、開展、組織和實施都是由教師在執行，因此教師在同伴評價過程中的作用很重要。然而，在可查的文獻中，國內外很少有研究確切分析教師在開展在線同伴評價活動中該如何操作。然而事實證明，一個成功的在線同伴評價活動的開展與教師密切相關。教師負責在線同伴評價學習活動的開展，活動內容的設計，評價模板的設計和評價結果的分析。教師的作用是決不能忽視，應分發揮教師的引導和教學管理的作用。例如，被學習者所詬病的“在線同伴評價花費太多時間”的問題，可以通過教師的組織和管理，盡量縮短活動開展的時間。學生參與在線同伴評價的積極性與教師的管理有很大關系，學習者更喜愛教師參與度較高的學習活動。教師應提出反饋及指導促進深度的知識建構［15］，在以文本交流為主的論壇，話題的設置、及時回復、話題的引導等均可以在教師的參與下達到更好的效果。

四、總結

通過國內外在線同伴評價有效性的對比分析，能夠充分認識國內在線同伴評價研究的局限性，即存在應用領域局限、實證性研究不足、缺乏以在線同伴評價實踐需求出發而開展的研究等問題。針對以上問題，從學習者、評價量規和教師三個方面提出側重心理機制，提倡以游戲模型為主的教學設計、以大樣本、實證性研究為主的評價系統優化路徑、以深度學習為代表的技術支持下的評價量規優化路徑；教師引導下的可控性在線同伴評價實施優化路徑。力圖為我國在線同伴評價的發展和應用指明方向。

參考文獻:

［1］TOPPING K. Peer Assessment between Students in Colleges and Universities［J］.Review of Educational Research， 1998（3）: 49-76.

［2］許云紅， 王如. MOOC背景下基于推薦機制的提高同伴互評效果的研究［J］.現代遠距離教育， 2014（5）: 17-21.

［3］TEN RIO T， BITTENCOURT I I， ISOTANI S， et al. Does peer assessment in on-line learning environments work? A systematic review of the literature［J］.Computers in Human Behavior， 2016（11）: 94-107.

［4］NG E M W. Fostering pre-service teachers’ self-regulated learning through self- and peer assessment of wiki projects［J］. Computers & Education， 2016（98）:80-91.

［5］JONES I， WHEADON C. Peer assessment using comparative and absolute judgement［J］.Studies in Educational Evaluation，2015（47）:93-101.

［6］孫力， 鐘斯陶. MOOC評價系統中同伴互評概率模型研究［J］.開放教育研究， 2014（5）: 83-90.

［7］HOVARDAS T， TSIVITANIDOU O E， ZACHARIA Z C. Peer versus expert feedback: An investigation of the quality of peer feedback among secondary school students［J］.Computers & Education， 2014（2）: 33-52.

［8］GIELEN M， WEVER B D. Structuring peer assessment: Comparing the impact of the degree of structure on peer feedback content［J］.Computers in Human Behavior， 2015 （52）:15-25.

［9］TEN RIO T， BITTENCOURT I I， ISOTANI S， et al. A gamified peer assessment model for on-line learning environments in a competitive context［J］.Computers in Human Behavior， 2016（64）:47-63.

［10］NGUEZ C， JAIME A， NCHEZ A， et al. A comparative analysis of the consistency and difference among online self-， peer-，external- and instructor-assessments［J］.Computers in Human Behavior， 2016（3）: 12-20.

［11］EVANS C.Making Sense of Assessment Feedback in Higher Education［J］.Review of Educational Research，2013（1）: 7-12.

［12］VISTA A， CARE E， GRIFFIN P. A new approach towards marking large-scale complex assessments: Developing a distributed marking system that uses an automatically scaffolding and rubric-targeted interface for guided peer-review［J］. Assessing Writing， 2015（24）:1-15.

［13］馬玉慧， 趙樂， 劉晴. 在線同伴評價的影響因素及其促進策略研究［J］.電化教育研究， 2016（3）: 8-14.

［14］JONES I，ALCOCK L. Peer assessment without assessment criteria［J］.Studies in Higher Education， 2014（10）: 74-87.

［15］馬志強， 王雪嬌， 龍琴琴. 基于同儕互評的在線學習評價研究綜述［J］.遠程教育雜志， 2014（4）: 86-92.

A Comparative Study on the Effectiveness of Online Peer Evaluation in China and Abroad

ZHOU Ling
（School of Education， Shaoguan University， Shaoguan 512005， Guangdong，China）

The research takes the theme "the effectiveness of online peer assessment" based on Tenorio et al.， research through Systematic literature research .The aim to improve the conclusion of Tenorio and point out that the limitations of the domes tic online peer review of the research through comparative analysis of the domestic and international. And forecast the trend of online peer assessment based on large sample. Finally， point out four Optimized path.

online education； peer evaluation； gamification； machine learning

G40-057

A

1007-5348（2017）07-0100-06

（責任編輯：廖筱萍）

2017-05-08

2016年廣東省高等教育教學改革項目“普通高校學生在線學習質量監控研究與實踐”（467）

周玲（1986-），女，河南信陽人，韶關學院教育學院講師，碩士；研究方向：遠程教育、教育信息化。

①2004-2014年為T結論，2015-2016年為筆者梳理文獻。如表2中的國際文獻總量“32+11”，“32”表示2004-2016年T結論，“11”表示筆者整理文獻。下表均同。