慕課教學中同伴評價的搭架指導與干預

李萍

摘? ?要：慕課實現了教育資源共享的最大化，為混搭教學、學生個性化學習提供了良好的資源。慕課在推動教育改革和發展的同時，也衍生出一些問題，如學習時間增多、學生自主性不強、網絡環境和學習支持服務薄弱、學生個性化評價反饋缺乏等。同伴互評雖然解決了教師質性反饋不足的問題，但其可靠性和有效性未得到一致認可。文章圍繞同伴評閱反饋的質量問題展開討論，提出搭架式干預指導，提高了學生評價的準確性。

關鍵詞：慕課;同伴評價;搭架指導

中圖分類號：G434 文獻標志碼：A 文章編號：1673-8454（2021）01-0036-04

一、引言

慕課突破傳統課堂教學的局限性，提高了學生受教育的機會，降低了成本。自由、免費是學生選擇慕課的主要原因[1]。北京聯合大學針對14個校區3大類別學院，建設了4門大學英語慕課，有通用英語類、專門用途英語類和拓寬學生國際視野等課程，實踐證明效果良好，深受師生的歡迎[2]。國家免費開放的英語類慕課有十幾門，涵蓋聽說、演講、寫作、文學經典、跨文化交際等多個方面，既為教師開展混搭教學提供了良好的教學資料，又為學生擴展知識視野提供了便捷的素材。豐富多樣的慕課從不同方面和角度推動了教育的改革和發展，成為促進高等教育改革的重要推手。研究表明，慕課帶來教學質量的改進、種族歧視的降低、技術變革適應性的提高、個性化學習的增強、及時反饋和學生合作的增多[3]。

慕課給新時代高等教育帶來便利的同時，也提出了許多挑戰。①學習時間增多。學生對此有不同的認識，29%的學生認為增加了學習負擔，而64%的學生認為這種課程學習方式有收獲或有明顯收獲[4]。②學生自主性不強、粘性不足。學生缺乏自制力和良好的在線學習習慣，需要經常督促和反復提示[5]。學習氛圍和面對面指導與約束力的缺失，導致學習積極性差[1]。③網絡環境和學習支持服務薄弱。外網登錄不暢、平臺使用界面不夠友好，影響學生使用網絡教學平臺的興趣與熱情[4]。我國現有多數慕課忽視必要的學習支持服務，學習支持服務水平整體薄弱。服務類型單一，不同類型課程之間助學比例差異大。討論區或論壇維護人員不足，教師與學生之間、學生與學生之間未實現真正的交互。④面對龐大的慕課學生群體，教師很難提供個性化的評價反饋。由于學生的規模較大，使慕課有成為單向信息轉移的風險。需要用新穎的方法完成“教—學—評”和反饋的環節。對國內14個MOOC平臺的研究發現，評價模式單一，機器評價高達90.8%。各學科評價方式有差異，文科課程偏重于同伴互評[6]。同伴互評雖然解決了教師質性反饋不足的問題，但該辦法的可靠性和有效性未得到一致認可。本文將圍繞同伴評閱反饋的質量問題展開討論。

二、同伴評閱的發展

早在1998年，就有研究者提出同伴反饋，并將其視為教師評價學生成績的一種替代方式。尤其適用于真實的學習環境中，以及解決問題的活動中。在一些情況下，這種評價方式有高度的可靠性和有效性。雖然大部分人一致認為，專家評閱反饋更有效，但處理得當的學生之間的輔導對學生雙方都有益。有研究發現，同伴反饋同樣有效，甚至有些情況下比教師反饋更有效。

慕課的相關實驗研究在2013年還很少開展。由于兩種授課環境不同，教師對學生的監管、指導和評價均有差異。慕課學習者受到教師的監管或面授非常有限，評價過程也不是教師評，而是以自評和同伴評為主。學生對同伴評閱的接受度在兩種環境中也有所不同。對慕課的學生態度研究發現，只有少數學生反對同伴評閱，認為應該由教師評閱。而Sluijsmans等人發現，只有19%的學生認為在課堂環境中，學生能公正盡職地評價彼此[7]。這種差異源自慕課學習環境特有的理念之一，學習者特別開放地接受合作性任務[8]。

同伴評閱在兩種環境中使用的目的不同。在課堂教學中，同伴評閱不僅能提高學科知識學習，還會培養一些可遷移的技巧，如批判性分析、交流技能和團隊合作能力。慕課采用同伴評閱的主要動力在于，能夠解決大規模學生評價反饋的問題，自評和互評可以解決數千人參與的復雜作業的評分[9]。

Coursera開設的《學術英語寫作》專項課程有44978人注冊學習[10]。注冊人數眾多，無法實現教師“一對一”評閱。此外，互評可以提高學生體驗，從而增加保持率，大多數文獻都關注到這一點。同伴評閱已不僅僅用來解決教師評閱不足的問題，還在某種程度上，成為增強學習氛圍、提高社交臨場感、提供助學支持的有利環節。

學生互評涉及到同伴匹配問題。以往文獻中有兩種研究方法，同伴能力相當或不同，被稱為同質匹配和異質匹配。哪種類型對學生學習最有效還沒有一致的看法。校園學習的學生和在線學習的學生，在匹配的效果上有何不同也不明確。

Huisman等人的研究結果表明，同伴評閱者的能力和寫作者的作品成績正相關。相關只適用于中等及高等水平的寫作者，低等水平的寫作者與評閱人的能力不相關[9]。因此，對于寫作任務的同伴評閱分配，要考慮到寫作者的寫作水平。知識背景水平相近的學生開展互評;知識水平較高的學生可以評閱知識水平較低的學生，反之則不行[11]。

關于評閱質量與評閱人能力的關系，通過對一門生物醫學慕課寫作互評的研究發現，書面摘要任務完成好的學生，評閱質量高于其他人，更有可能評閱他人[8]。因此，有能力學生的同伴評閱參與度更高。

三、同伴評閱的可靠性和有效性

雖然解決了個性化反饋的問題，但仍存在一些質疑。在認識上，教育者對此未達成一致，學生的看法也不一致。

持否定態度的研究者認為，它相當于盲人給瞎子指路，外行指導外行。在慕課中，學生互評被認為存在一些潛在問題，如反饋質量參差不齊、缺少互惠感和社區存在感，以及質量監控與調控的缺失等。缺乏實證對互評的效果研究，反映出的是主觀認識[12]。

對互評持肯定看法的研究者認為，提供反饋的行為對參與者也有益，特別是高能力參與者尤其受益，他們往往更積極思考作業的目的和標準。評閱他人，為他們提供了進一步深度思考的機會[9]。

學生的態度褒貶不一。研究表明，收到評價的學生對此往往也持有懷疑態度。如果可以選擇的話，大多數學生會選擇專家評閱。學生更愿意利用專家反饋來修改后續的作業。專家提出的改進意見更詳細，評價規則更全面，較少使用贊揚[12]。

雖然大多數評閱者和被評閱者對互評表示歡迎，但許多學生也表達了負面的感受，如同伴缺少資質，給出的評價是負面的、批評的，打分不公正。覺得為他人評閱作業很難，也感到不安，消耗時間。評閱質量差、同伴評閱不稱職或者評閱同行令他們感到不適。很多慕課學生對互評結果不滿，認為有些學生不具備評判資格，有些很隨意，不參考教師的評分標準。

有些學生認為，同伴評閱可以提高學習效果、增強學習動力、培養批判性思維和同理心（empathy）。提供反饋使學生能夠應用所學知識，進一步增強對知識點的理解。評閱時的評語如果有激勵性，寫作者和評閱者均感到受益。寫作者可以面對不同背景的評閱人，接受到更有價值的建議。評閱人看到別人的見解和觀點，也可以感受到作為評閱人的益處。

盡管很多學生喜歡同伴評閱練習，但相當一部分學生持否定態度。學生對此態度也不一致[8]。

在慕課相關研究之前，有些案例中發現同伴評閱有高度的可靠性和有效性。研究發現，同伴評閱與教師評閱效果相當，某些情況下，甚至更有效。雖然有研究表明同伴評分與教師評分強相關，但評閱者間信度差。通過對3門人文慕課研究發現，同伴評價間信度低，對周測和期末考試成績的預測信度低或中等[13]。

如何設計自我評價和同伴評價成為擁有大規模、多樣化學習群體慕課的挑戰。寫作這類具有創造性的領域無法以多項選擇題（MCQ）的形式提供有效評價和有用反饋。MCQ適用于數學、理科等客觀公式化的學習。目前，研究者正在開發統計系統，增加同伴評價的信度。 例如：加州大學洛杉磯分校使用的同伴評閱校準軟件，可以根據教師對寫作任務的評分樣本，校準學生評分，但只是終結性評價可以校準，要求多名同伴評閱。以往研究還發現，慕課中序數型評分比基數型評分更穩健。此外，edX自動寫作評分系統還不能預測復雜的寫作任務[12]。

四、同伴評閱的干預指導

慕課環境下的同伴評價處于相對無監管、無控制、無技能狀態，因此信度和效度尤其重要。評價質量的好壞根據兩種方式來操作：一是學生評價與專家評價的一致度;二是學生評價與學科認可“好”的反饋特征相符合度[12]。

有效互評的關鍵要素是需要支持系統來提高學生反饋的有效性和可靠性，使得所有學生發出和收到的反饋是有用的。有效的指導和干預可以杜絕評價質量低、評價不公正和缺乏有效建議等問題的出現，進一步提高評價活動給雙方帶來的益處，避免該活動成為浪費時間的無效負擔。

有效指導首先要給學生一個具有可操作性的評價標準。標準的制定方法為：與評價理論一致，同時還要征求專業領域專家的意見，確保標準的科學合理。例如：科幻作品寫作慕課的寫作作業標準擬定，是在與該領域專家廣泛協商的基礎上完成的，其中的專家包括科幻領域文稿代理人、編輯、作家，共7人，還參閱了寫作方面的書籍和視頻資料[12]。

評價量規的標準項應為5個左右，太多會導致評價不集中或評價負擔過重。分項維度不宜過多，否則很難突出重點，且增加工作負擔。有些寫作性作業主觀性判斷很難避免，需要通過標準明確的說明來提高判斷可信性。當為每一項評價指標增加了具體的等級描述、每個等級得分的具體表現，評分者間信度及評分的準確性便得到了顯著提高。此外，“說明”要采用描述性語言，避免使用判斷性語言，描述要簡潔清晰[14]。

在進行質性評價時，還需要一定的搭架式支持，提供多種手段來幫助學生評價。很多研究者認為，指導學生評閱者關注量規的相關內容，有助于提高評價的信度和效度。Scott Ashton 和 Randall S. Davies提出指導性兩步驟：①幫助學生理解每項問題。②針對主要問題，向學生提問相關的更進一步的問題，幫助其將寫作理解轉化為數字分數。如針對性問題、開頭句或提供質性反饋副標題性的問題。讓評閱人根據易理解的標準做出整體判斷，會增加信度和效度[12]。因此，提供反饋模板結構是有益的。

僅僅提供評價量規給學生是不夠的，很難避免集中趨勢誤差。評分者對初級學者的評分寬容，對高級學習者的作業評分過度保守，這時往往會出現集中趨勢誤差。此外，對于一般學生評分者來說，評分檔拉不開。如專家對寫作總體質量評分的高低分之間相差4分，而僅僅根據標準評分的學生，差值卻為0.3分[12]。因此，額外培訓和支持系統將改善這類評價的問題。

慕課中的同伴評價得到指導，有助于區分不同水平學生的表現。有指導的量規干預能提高學生在某些評價項目上的準確性[12]。干預貫穿評價的全過程，幫助學生理解同伴反饋過程是如何進行的，以及為什么要進行這一過程。在進行反饋前，提供有效反饋的實例建模。Cousera平臺要求學生在評判其他學生的作業之前，首先要能夠正確評判一個用來訓練的樣品作業，訓練學生先對一個樣品作業進行評判。該平臺還提供反饋評價指南，并在開始階段進行監控并提供反饋，幫助評價過程順暢進行，同時還使用多人評閱，聚合反饋被評閱人的作業質量[15]。要使互評結果具備可接受的信度，至少需要三個學生評分者，僅僅基于兩個評分者判分的互評結果相對不可靠。在綜合考量多個評分結果的前提下，該模式能夠為在線學習者提供可靠的最終得分[16]。此外，有研究者認為，提高被評閱人對反饋的關注度，也會提高反饋的有效性。

還應該培訓學生使用反饋的能力。一種可行的辦法是細化評價內容，讓學生對任務的不同方面（內容、結構、風格等）加強認識，激勵其提供更具體的修改意見。另一種辦法是提供搭架式指導[9]。在同伴評價反饋過程中，通過詳細的反饋模板，提供更有條理的指導。

為確保同伴評閱順利進行，需明確規定獎懲措施。2013年秋季Coursera平臺上開設的《恐怖與反恐怖：理論實踐對比》慕課持續5周進行5次小測、2次同伴評價，每人至少評閱他人5人次，并進行自評，否則該作業扣掉20%成績作為懲罰[9]。

提供搭架式干預指導有利于學生正確評價，提高可信度和效度。但同時也存在一些問題，為大規模學生提供個性化監管，需要消耗教師大量的時間和精力。因此，如何建立評價梯隊，緩解教師壓力，還需在今后的研究中繼續關注。

參考文獻：

[1]邱文教，趙光，雷威等.高校學生對慕課認知情況與滿意度的實證研究[J].中國大學教學，2017（8）：87-91.

[2]張殿恩，王蘊喆.“大學英語慕課”建設思路與體系結構研究[J].黑龍江高教研究，2016（3）：144-147.

[3]Welsh， D. H. B.， & Dragusin， M. The new generation of massive open online course（MOOC） and entrepreneurship education[J]. Small Business Institute Journal， 2013（9）： 51-65.

[4]陳明，桑小雙.高校學生對混合教學模式改革課程認知及滿意度的實證研究[J].現代遠距離教育，2018（5）：57-64.

[5]黃德群.MOOCs環境下開展高校通識教育網絡課程選修的研究[J].中國教育信息化，2016（6）：14-18.

[6]趙宏，張亨國，鄭勤華，陳麗.中國MOOCs學習評價調查研究[J].中國電化教育，2017（9）：53-61.

[7]Sluijsmans， D. M. A.， G. Moerkerke， J. J. G. van Merri?nboer， and F. J. R. Dochy. Peer Assessment in Problem BasedLearning[J].Studies in Educational Evaluation，2001， 27 （2）： 153-173.

[8]Meeka， Sarah E.M.， Blakemore， Louise and Marksa， Leah.Is peer review an appropriate form of assessment in a MOOC？ Student participation and performance in formative peer review[J].Assessment & Evaluation in Higher Education， 2017，42（6）： 1000-1013.

[9]Huisman， Bart， Admiraal， Wilfried， van de Ven， Maarten， and Saab， Nadira. Peer assessment in MOOCs： The relationship between peer reviewers ability and authors essay performance[J]. British Journal of Educational Technology，2018，9（1）： 101-110.

[10]佚名. Coursera平臺資料[EB/OL].https：//www.coursera.org/specializations/academic-english，2019-7-25.

[11]許云紅，王如.MOOC背景下基于推薦機制的提高同伴互評效果的研究[J].現代遠距離教育，2014（5）：17-21.

[12]Ashton， S.， Instructional Psychology and Technology， Brigham Young University， Provo， UT， USA Davies， Randall S. Using scaffolded rubrics to improve peer assessment in a MOOC writing course[J]. Distance Education，2015，36（3）：312-334.

[13]Admiraal， W.， B. Huisman， and M. Van de Ven.Self-and Peer Assessment in Massive Open Online Courses[J]. InternationalJournal of Higher Education，2014，3（3）： 119-128.

[14]范逸洲，馮菲，劉玉，汪瓊.評價量規設計對慕課同伴互評有效性的影響研究[J].電化教育研究，2018，39（11）：45-51.

[15]Ertmer， P. A.， Richardson， J. C.， Belland， B.， Camin， D.， Connolly， P.， Coulthard， G.， …Mong， C. Using peer feedback to enhance the quality of student online postings：An exploratory study[J]. Journal of Computer-Mediated Communication，2007，12（2）：412-433.

[16]羅恒，左明章，安東尼·魯賓遜.大規模開放在線學習學生互評效果實證研究[J].開放教育研究，2017，23（1）：75-83.

（編輯：王曉明）