評價支架對教師在線同伴互評質(zhì)量的影響研究

馬寧 路瑤 郭佳惠 劉春平

[摘? ?要] 教師培訓是促進教師專業(yè)發(fā)展的有效途徑，其中，線上培訓近些年受到了越來越廣泛的關注。以往研究已經(jīng)證實，同伴互評可以促進教師的在線學習效果，但在應用中仍存在同伴評價參與度低、評分者一致性和評語質(zhì)量不高等問題。研究將評價支架引入到大規(guī)模教師培訓類MOOC中，對同伴互評中的整體型評價支架和分析型評價支架進行設計和開發(fā)，并采用實證研究的范式，探討不同評價支架類型對教師同伴互評中評價參與度和評價效果的影響。研究結果表明，分析型評價支架能更好地提升教師學習者同伴互評的評價參與度，提升評價一致性和評語質(zhì)量。因此，在設計與開發(fā)教師培訓類MOOC時，可考慮將分析型評價支架納入同伴互評活動。

[關鍵詞] 在線開放課程; 評價支架; 同伴互評; 評價參與度; 評價效果

[中圖分類號] G434? ? ? ? ? ? [文獻標志碼] A

[作者簡介] 馬寧（1977—），女，河北衡水人。副教授，博士，主要從事技術增強學習、技術支持的教師專業(yè)發(fā)展研究。E-mail：horsening@bnu.edu.cn。

一、引? ?言

教師專業(yè)發(fā)展對國家和民族發(fā)展有著非常重要的意義，歷來受到各國的高度重視。2018年，教育部出臺的《教育信息化2.0行動計劃》強調(diào)，“大力提升教師信息素養(yǎng)”[1];教育部等五部門聯(lián)合印發(fā)的《教師教育振興行動計劃 （2018—2022年） 》也強調(diào)，要創(chuàng)新教師培訓的方式，推動在線開放課程的應用和共享，提升教師的綜合素質(zhì)和專業(yè)能力[2]。

2020年，面對新冠肺炎疫情，教育部發(fā)布了“停課不停學”的通知，該舉措使在線教育得到了前所未有的關注[3]，也對教師的能力提出了新的挑戰(zhàn)[4]。以MOOC為代表的一系列在線學習課程，不僅為教師提供了獲取新知識的途徑和渠道，還提供了個性化的學習方式和良好的協(xié)作探討機會，成為促進教師專業(yè)發(fā)展的一種重要途徑。

MOOC的學習者數(shù)量眾多，若完全依賴教師或助教進行評價，成本高昂且不切實際。因此，同伴互評成為眾多課程作業(yè)的主要評閱方式，也成為近幾年MOOC研究中的一個熱點。已有研究證實，同伴互評過程中對他人提出詳細評論可以幫助改進自己的作業(yè)，同伴互評可以增進學生之間的協(xié)同合作精神[5]，融入同伴互評的混合式學習模式可以有效提升教師、學習者、內(nèi)容之間的兩兩互動[6]。然而，同伴互評在應用中也存在很多問題，例如：同伴的評分被認為不太可靠[7-8]，學習者會懷疑同伴的能力[9]等。

評價支架是幫助學習者明確評價內(nèi)容和開展評價的一種量規(guī)或工具[10]，有助于提升學習者的認知水平[11]、促進學習者的情感投入[12]、增強學習者的反思意識[13]，可以看出，評價支架有潛力改善同伴互評中存在的問題，但目前對其具體的成效原因分析不足。因此，本研究擬通過實證研究，探究在MOOC環(huán)境下，教師同伴互評中的整體型評價支架和分析型評價支架對評價參與度和評價效果的影響，其中，評價效果包括評價一致性和評語質(zhì)量。主要包括三個問題：（1）同伴互評中的評價支架對評價參與度的影響;（2）同伴互評中的評價支架對評價一致性的影響;（3）同伴互評中的評價支架對評語質(zhì)量的影響。

二、研究基礎

（一）MOOC中的教師同伴互評活動

MOOC在教師培訓領域有著越來越廣泛的運用，已成為教師實現(xiàn)專業(yè)發(fā)展的一種重要方式。現(xiàn)有的教師培訓越來越注重教師群體間的知識共享、協(xié)作和轉化[14]，教師協(xié)同知識建構的培訓方式對教師專業(yè)發(fā)展產(chǎn)生了良好的促進作用[15]。Laurillard指出，同伴互助是促進教師自發(fā)開展討論、進行協(xié)同知識建構的基礎[16]。馬寧等人的研究也發(fā)現(xiàn)，基于同伴互助的教師個性化學習方式能夠提高教師的學習參與度[17-18]。

可以看出，同伴互評能夠幫助學習者進行協(xié)同知識建構，并且能有效地降低課程開發(fā)者的成本，提升學習者的參與度和學習質(zhì)量。因此，同伴互評成為近幾年的一個研究熱點。

（二）教師在線同伴互評的優(yōu)勢與不足

同伴互評指群體內(nèi)的個體對同伴進行評分的過程。技術的發(fā)展使在線同伴互評成為可能。在MOOC環(huán)境下采用同伴互評有諸多優(yōu)勢：第一，在線同伴互評中的分配作業(yè)、分數(shù)計算等工作可以通過技術來完成;第二，與專家評分員相比，使用同伴評分者較為經(jīng)濟;第三，當學習者對同伴的作業(yè)提出詳細的、建設性的評論時，可以幫助他們改進自己的作業(yè)，越來越多的研究強調(diào)了同伴互評對學習過程的價值，認為其是提高學習動機[19]、促進學習過程[20]的重要方法。

目前，已有部分教師培訓類MOOC納入了同伴互評活動，但在實踐操作過程中出現(xiàn)了諸如教師學習者認為，同伴不太可信、多數(shù)教師學習者更偏好課程主講教師進行評價[8]等問題。出現(xiàn)這一狀況主要是因為不同同伴給出的評價結果往往差異很大，所以，教師學習者懷疑同伴是否有能力評估他們的工作[9]。因此，如何提升教師在線同伴互評的評價參與度和評價效果，便成了諸多學者的關注點。

針對MOOC環(huán)境下教師同伴互評中存在的不足，有研究者試圖從技術方面提升同伴互評系統(tǒng)的客觀性和準確性，如構建同伴互評概率模型以提升評價系統(tǒng)的客觀性和準確度[21]，對任務界面進行優(yōu)化[22]等。此外，還有研究從教學法的角度進行探究，如支架型同伴互評探究[23]、同伴互評模型類型的比較[24]等。也有研究著眼于從學習評價的視角審視MOOC評價任務的設計[25]。然而，以上研究均存在準確性不理想、實施過程復雜等問題，不利于大規(guī)模推廣。

（三）同伴互評中的評價支架相關研究

評價支架基于支架式教學理論，是幫助學習者明確評價內(nèi)容和開展評價的一種量規(guī)或工具[10]。借助評價支架開展評價可以揭示學習者的現(xiàn)狀和學習期望之間的差距，為學習者提供反思依據(jù)，促進學習者更好地進步和發(fā)展[26]。同其他提升同伴互評質(zhì)量的方法相比，評價支架有著開發(fā)便捷、操作簡單等優(yōu)勢，有潛力解決同伴互評中存在的問題[27]。一般來說，評價支架可以分為兩類：一類是整體型評價支架，即對作業(yè)進行整體評價，并在此基礎上給出一個總分;另一類是分析型評價支架，先將學習表現(xiàn)分解成不同要素，對各個要素分別給分，然后綜合起來得出最終分數(shù)[28]。

Panadero等人通過對線下教師的準實驗研究發(fā)現(xiàn)，使用評價支架的實驗組可以得到更高質(zhì)量的概念圖[11]。馬玉慧等對參加某門課程的學生進行了準實驗研究，發(fā)現(xiàn)設有評價支架的實驗組在認知水平、努力程度等方面都與控制組表現(xiàn)出顯著差異[29]。梁云真探究了基于評價支架的同伴互評對認知投入、情感投入及學習成效等方面的影響，發(fā)現(xiàn)實驗組普遍優(yōu)于控制組[12]。

可以看出，在線下培訓或小規(guī)模范圍內(nèi)有關評價支架的研究取得了較好的效果，是否將這些結論推廣到大規(guī)模教師培訓類MOOC中，仍需進一步研究與探討。本研究采用實證研究的范式，對大規(guī)模教師培訓類MOOC中同伴互評的整體型評價支架和分析型評價支架進行設計，探討評價支架類型對評價參與度和評價效果的影響。

三、基于評價支架的同伴互評活動與工具

（一）MOOC中的同伴互評活動設計

“混合式理念下的項目式學習”是一門教師在線培訓類MOOC，致力于通過5周的學習幫助教師學習者提升開展項目式學習（Project Based Learning， 以下簡稱PBL）的能力。該課程依托北京師范大學學習元平臺（http：//www.etc.edu.cn/），目前已開展了兩期。兩期課程的大綱與內(nèi)容一致，且均設置了三次同伴互評活動，分別對應課程布置的三次作業(yè)。兩期課程在同伴互評活動上的區(qū)別在于采用不同類型的評價支架。

同伴互評活動開展前，系統(tǒng)會將教師學習者隨機分成每組20人的小組，在此基礎上組織開展組內(nèi)同伴互評活動：每人提交一份作業(yè)，同時可以對組內(nèi)其他人的作業(yè)進行批閱和評價;每人可評價多份作業(yè)，也可接受多人的評價。因此，對所有的教師學習者來說，同伴互評活動只在各組內(nèi)展開，同伴互評活動的效果不受課程總參與人數(shù)的影響。

課程平臺為教師學習者提供了PBL設計模板，課程要求教師學習者在學習期間參照模板完成相應的三次作業(yè)，分別是項目式學習前端分析、項目式學習成果設計和項目式學習評價方案設計。對應于三次作業(yè)，課程平臺設計了三次同伴互評活動，每次同伴互評活動的流程均如圖 1所示。

（二）評價支架的設計

課程要求教師學習者每次觀看視頻后自行設計PBL課程模板的相應部分，并在提交作業(yè)后完成同伴互評任務。由于教師學習者對PBL課程并不熟悉，因此，完成作業(yè)和開展同伴互評活動都具有一定的難度，此時評價支架的輔助便顯得尤為重要。

研究者在第1期課程同伴互評活動中設置了整體型評價支架，教師學習者可以直接對作業(yè)給出總分。第2期課程同伴互評活動中設置的則是分析型評價支架，即教師學習者先分維度給出分數(shù)，系統(tǒng)自動綜合后得到最終分數(shù)。分析型評價支架是專家團隊在現(xiàn)有文獻的評價指標[30]基礎上，結合項目式學習所具有的強調(diào)積極建構、情境學習、社會交互、認知工具等特點[31]設計的。三套分析型評價支架均適應任務內(nèi)容的評價指標，分別對應了三次同伴互評活動。評價指標的設計旨在為教師學習者的評價提供評價支架，擴展教師學習者在評價時的思考角度，從而使評價更具有針對性與可靠性。

為促進教師學習者對評價指標的了解，系統(tǒng)為每個指標都提供了自適應的解釋說明。教師學習者閱讀解釋說明后需針對各個維度指標進行五點量表打分，系統(tǒng)可自動計算出總評閱分數(shù)，教師學習者填寫評語后即可提交。

四、研究設計

（一）研究對象與研究流程

本研究以“混合式理念下的項目式學習”兩期課程中參與同伴互評活動的1253名教師學習者作為研究對象，其中，第1期1075人，第2期178人。研究對象被隨機分成每組20人左右的小組，參與三次同伴互評活動。本研究將設有整體型評價支架的第1期作為控制組，設有分析型評價支架的第2期作為實驗組，探究兩種類型的評價支架對同伴互評中評價參與度和評價效果的影響，其中，評價效果包括評價一致性和評語質(zhì)量，具體實驗流程如圖2所示：

（二）研究工具

1. 教師同伴互評的評價一致性算法

教師同伴互評的評價一致性是指教師學習者在同伴互評過程中所給分數(shù)的穩(wěn)定性。同伴互評過程中，同一份作業(yè)會收到來自多個同伴給出的多個分數(shù)。同伴越傾向于對同一份作業(yè)給出一致的分數(shù)，評價一致性越高。

本研究計算評價一致性具體參照的指標是范逸洲等人使用的“得分細節(jié)標準差均值”算法[32]。“得分細節(jié)”指某份作業(yè)收到的多個同伴互評的分數(shù)，“得分細節(jié)標準差”是多個同伴互評分數(shù)的標準差，它可以用來衡量單份作業(yè)的評價一致性。“得分細節(jié)標準差”越低，該份作業(yè)的評分者一致性越高。以某份作業(yè)為例，其“得分細節(jié)標準差”（y）的計算公式為：

其中，n表示該作業(yè)收到的同伴互評的個數(shù)，xi表示該作業(yè)收到的第i個得分細節(jié)，x表示該作業(yè)收到的得分細節(jié)的均值。

“得分細節(jié)標準差均值”是所有作業(yè)“得分細節(jié)標準差”的均值，它可以用來衡量多份作業(yè)整體的評價一致性。“得分細節(jié)標準差均值”越低，多份作業(yè)整體的評分者一致性越高。“得分細節(jié)標準差均值”的具體計算操作為：先計算多份作業(yè)的“得分細節(jié)標準差”，再計算它們的均值。計算公式為：

得分細節(jié)標準差均值

其中，a表示作業(yè)份數(shù)，yi表示第i份作業(yè)的“得分細節(jié)標準差”。

2. 同伴互評質(zhì)量量表

Usher和Barak在前人基礎上制定了同伴互評質(zhì)量量表[33]，得出的同伴互評質(zhì)量（Peer Feedback Quality）稱為PFQ值。該量表將同伴互評的評語內(nèi)容確定為四類：強化、聲明、驗證和闡述，并按認知能力的升序排列，設計了PFQ公式用以確定同伴互評的評語質(zhì)量。該量表具有良好的信度。

同伴互評質(zhì)量量表確定了一個1～5級的分類，數(shù)字越大說明評語質(zhì)量越高：強化類評價（1分）和陳述類評價（2分）被認為是低質(zhì)量的反饋，它們表明，評估者在認知方面付出的努力和為同伴提供的意見都很少;驗證類評價（3分）被認定為是中等質(zhì)量的反饋，因為它們需要分析能力和中等的認知水平;信息性闡述（4分）需要認知分析和綜合能力，體現(xiàn)了中高的認知水平;暗示性闡述（5分）需要認知評價和創(chuàng)造力，代表同伴互評質(zhì)量的最高水平。其中，信息性闡述和暗示性闡述都屬于精細化評價。與項目內(nèi)容完全無關的評語被定義為無意義評價（0分）。同伴互評質(zhì)量的計算公式如下：

其中，x表示評語的質(zhì)量值（0≤x≤5），n表示評語質(zhì)量值x出現(xiàn)的次數(shù)，y表示評語總數(shù)。

五、數(shù)據(jù)分析與發(fā)現(xiàn)

（一）評價支架對評價參與度的影響

在本研究中，評價參與度即教師學習者參與同伴互評活動的積極程度，可通過以下兩個指標進行量化：（1）教師學習者的評價量;（2）教師學習者同伴互評活動產(chǎn)生的社會網(wǎng)絡的密度。

本研究采集了兩期課程各三次同伴互評活動中所有作業(yè)接受評價的次數(shù)，見表1，對兩期同伴互評作業(yè)的評價量進行獨立樣本的非參數(shù)檢驗，發(fā)現(xiàn)第2期的均值顯著高于第1期（Z1=-12.80，p1<0.001;Z2=-15.74，p2<0.001;Z3=-15.60，p3<0.001），說明第2期課程教師學習者的評價量顯著高于第1期，即分析型評價支架對評價參與度有更好的提升作用。

為進一步分析整體型評價支架與分析型評價支架在評價參與度上的差異，本研究從社會網(wǎng)絡密度的角度進行了分析。圖3展示了使用Gephi軟件制作的兩期課程同伴互評過程中產(chǎn)生的社會網(wǎng)絡，節(jié)點顏色的深淺和大小代表著度中心性的高低，度中心性越高的節(jié)點，面積越大、顏色越深;邊顏色的深淺代表著兩節(jié)點之間連線的多少，連線越多的邊，顏色越深。可以看出，第2期比第1期的社會網(wǎng)絡圖的節(jié)點面積更大、節(jié)點和邊的顏色更深。同時，第2期同伴互評產(chǎn)生的社會網(wǎng)絡在平均度、平均加權度、圖密度、平均聚類系數(shù)方面都比第1期要高，且平均路徑長度比第1期要低。由此說明，第2期同伴互評活動的參與者之間聯(lián)系更為緊密，交互也更頻繁。綜合評價量和社會網(wǎng)絡密度兩個指標，本研究認為，分析型評價支架比整體型評價支架更能促進教師學習者的評價參與度。

（二）評價支架對評價一致性的影響

已有研究表明，“得分細節(jié)標準差均值”可以有效地探究評價支架對評價一致性的影響[32]。但“得分細節(jié)標準差均值”的計算會受到作業(yè)被評價次數(shù)的影響，因此，為平衡作業(yè)被評價次數(shù)帶來的誤差，本研究進行相同評價次數(shù)下“得分細節(jié)標準差均值”的比較。

為排除極端值數(shù)據(jù)的影響，本研究進行了兩步操作：排除被批閱次數(shù)在5次及以下的作業(yè)數(shù)據(jù);排除某批閱次數(shù)下只有一份作業(yè)的數(shù)據(jù)，總共得到13個“作業(yè)被批閱次數(shù)”（分別是6次……16次、19次和20次，共計13個），兩期課程對應每個“作業(yè)被批閱次數(shù)”都可以計算出一個得分細節(jié)標準差均值，最終每期課程都得到13個得分細節(jié)標準差均值，如圖4所示。由圖4可見，在大多數(shù)作業(yè)被批閱次數(shù)上，第2期的得分細節(jié)標準差均值基本都低于第1期。

為探究該差異是否具有統(tǒng)計學意義，本研究對各批閱次數(shù)下的得分細節(jié)標準差均值進行了非參數(shù)檢驗，結果見表2，第2期得分細節(jié)標準差均值在0.05顯著性水平上低于第1期（Z=-1.992，p<0.05）。再對每期課程三次作業(yè)得分細節(jié)標準差的離散程度進行計算，發(fā)現(xiàn)第2期課程得分細節(jié)標準差的離散程度小于第1期（SD1=9.85，SD2=6.31），說明不僅第2期作業(yè)的得分細節(jié)標準差均值更低，而且整體作業(yè)的得分細節(jié)標準差比較集中。由此可見，相較于整體型評價支架，分析型評價支架降低了同伴互評過程的得分細節(jié)標準差均值，增加了評價時所給分數(shù)的一致性，提升了評價效果。

（三）評價支架對評語質(zhì)量的影響

評語質(zhì)量的編碼工作由兩名具有一定專業(yè)基礎的編碼者完成，兩期編碼記錄的一致性檢驗均大于0.75（第1期Kappa1=0.828，第2期Kappa2=0.804），表明二者具有較好的評分者一致性。對于二者意見不同的評語，兩位編碼者通過協(xié)商確定最終編碼。

研究者首先對兩期課程同伴互評中評語的分布形態(tài)進行了探究，評語質(zhì)量在不同等級的分布如圖5所示，可以看出：對兩期課程來說，較低質(zhì)量和中低質(zhì)量的強化類評價、陳述類評價是普遍存在的，中高質(zhì)量和最高質(zhì)量的驗證類評價、精細化評價比較少。這說明評價者的評語比較簡短，主要是一些贊美、批評或者是簡評，并不涉及被評價作品的具體內(nèi)容，也較少提出建設性的意見。此外，第1期在較低、中低質(zhì)量的評價上比第2期高，第2期在中高、最高質(zhì)量的評價上高于第1期。

為進一步探究兩期評語質(zhì)量之間的差異是否顯著，研究者對相同評語質(zhì)量得分下的兩期課程的評語數(shù)量進行了卡方檢驗，見表3。在較低質(zhì)量的強化類評價（Pearson ？字2=2.024，p=0.155）和中低質(zhì)量的陳述類評價（Pearson ？字2=162.407，p<0.001）上，第1期高于第2期。在中高質(zhì)量的驗證類評價（Pearson ？字2=324.766，p<0.001）和最高質(zhì)量的精細化評價（Pearson ？字2=126.166，p<0.001）上，第2期顯著高于第1期。說明相較整體型評價支架，分析型評價支架促進了更高質(zhì)量的評語的生成。

研究者還從PFQ值的角度探究了評價支架對評語質(zhì)量的影響。第2期整體的評語質(zhì)量（PFQ2=38.53）高于第1期（PFQ1=36.89），參與第2期課程同伴互評的教師學習者相較第1期給出了顯著的質(zhì)量更高的評價（非參數(shù)檢驗結果Z=-5.340，p=0.000<0.001），這和卡方檢驗的結果一致。

以上數(shù)據(jù)說明，相較于整體型評價支架，分析型評價支架促進了中高質(zhì)量的評語的產(chǎn)生，PFQ方程證實了分析型評價支架可以顯著改善教師同伴互評的評語質(zhì)量，提升評價效果。

六、結論與反思

本研究以“混合式理念下的項目式學習”兩期教師在線培訓類MOOC為載體，從學習分析的視角，探究兩類評價支架對教師在線同伴互評的評價參與度和評價效果的影響。

（一）分析型評價支架能更好地提升評價參與度

通過兩期課程中作業(yè)被評價次數(shù)的均值、中值等觀測量的比較以及統(tǒng)計檢驗的分析，發(fā)現(xiàn)使用分析型評價支架的教師學習者的人均評價量更高，其同伴互評過程所產(chǎn)生的社會網(wǎng)絡比整體型評價支架更為緊密。

同伴的參與是一個相互促進的過程，認知和情感的投入可以促進教師學習者之間更為頻繁的互動[34]。在未設立分析型評價支架時，教師學習者由于對課程內(nèi)容不熟悉和對課程作業(yè)有畏難情緒，不知道應當如何對同伴進行評價，因此，可能不太愿意參與評價活動。而分析型評價支架將評價進行了維度拆解，為學習者的評價給出了參照，因此，可以比整體型評價支架更為有效地降低評價的認知難度，促進教師學習者積極參與同伴互評活動，從而獲得了比整體型評價支架更高的評價參與度。

（二）分析型評價支架能更好地提升評價一致性

本研究使用“得分細節(jié)標準差均值”這一概念探究了評價支架類型對評價一致性的影響：在相同批閱次數(shù)下，分析型評價支架的“得分細節(jié)標準差均值”顯著低于整體型評價支架，且數(shù)據(jù)更為集中，說明分析型評價支架比整體型評價支架更能提高同伴互評的評價一致性。

有研究證實，評價支架可以為學習者提供支架式輔助，提升學習者的自我效能感，從而提升評價一致性[34]。分析型評價支架中具體的評估標準的設立降低了學習者評價時的主觀隨意性，為教師學習者的評分提供參考的依據(jù)，因此，不太容易給出極端值。這也證實了范逸洲等人關于MOOC作業(yè)評分可靠性的研究[32]，范逸洲的研究是對抽取的所有作業(yè)樣本直接進行統(tǒng)計檢驗，而本研究對計算方法進行了一定改進：先計算相同評價次數(shù)下“得分細節(jié)標準差均值”，然后再進行統(tǒng)計檢驗，從而降低由被評價次數(shù)不同所帶來的誤差，提升結論的準確性。

（三）分析型評價支架能更好地提升評語質(zhì)量

本研究通過同伴互評質(zhì)量量表對評語進行編碼，以探究評價支架類型對評語質(zhì)量的影響。結果發(fā)現(xiàn)：中高質(zhì)量和最高質(zhì)量的評價在兩期課程的占比都較少，但使用了分析型評價支架的同伴互評產(chǎn)生了更多中高質(zhì)量的評語，其PFQ值也顯著高于整體型評價支架。

總體而言，使用分析型評價支架的教師學習者傾向于給出更高質(zhì)量的反饋，說明分析型評價支架相較整體型評價支架，能更好地保證評語質(zhì)量。使用整體型評價支架時，學習者往往不會認真書寫評價內(nèi)容，或者發(fā)布一些沒有價值的評價內(nèi)容，如“很好”“不錯”，甚至采用同一模板進行評價。而分析型評價支架的設立為學習者的評價提供了參考依據(jù)，幫助教師學習者對評價內(nèi)容進行整體性認知和理解，促進了自我反思和知識建構，因而能夠給出質(zhì)量更高的評價。

在互評環(huán)境因素中，為評價者提供什么樣的評價資源直接影響其評價行為[35]，評價支架作為進行評價活動的依據(jù)和指南，是一種重要的評價資源。課程設計者可以通過分析型評價支架的設立，促進課程學習者生成更高質(zhì)量的評語，從而有效提升同伴互評的評價效果。

本研究通過實證研究，探究了評價支架類型對教師培訓類MOOC的課程效果的影響，發(fā)現(xiàn)相較于整體型評價支架，分析型評價支架有助于提升教師學習者同伴互評的評價參與度和評價效果，因此，在設計與開發(fā)教師培訓類MOOC時，可考慮將分析型評價支架納入同伴互評活動。在后續(xù)的研究中，可以進一步對評語的內(nèi)容和類型進行探討，也可以加強評價支架對評語的準確性影響的探究。

[參考文獻]

[1] 中華人民共和國教育部.教育部關于印發(fā)《教育信息化2.0行動計劃》的通知[EB/OL].（2018-04-18）[2021-10-29].http：//www.moe.gov.cn/srcsite/A16/s3342/201804/t20180425_334188.html.

[2] 中華人民共和國教育部，國家發(fā)展改革委，財政部，等.教育部等五部門關于印發(fā)《教師教育振興行動計劃（2018—2022年）》的通知[EB/OL].（2018-03-22）[2021-10-29].http：//www.moe.gov.cn/srcsite/A10/s7034/201803/t20180323_331063.html.

[3] 黃榮懷，張慕華，沈陽，田陽，曾海軍.超大規(guī)模互聯(lián)網(wǎng)教育組織的核心要素研究——在線教育有效支撐“停課不停學”案例分析[J].電化教育研究，2020，41（3）：10-19.

[4] 祝智庭，郭紹青，吳砥，劉三女牙.“停課不停學”政策解讀、關鍵問題與應對舉措[J].中國電化教育，2020（4）：1-7.

[5] 李華，劉勐媛.混合式教學中作文同伴互評的應用研究[J].電化教育研究，2020，41（6）：83-90.

[6] 柏宏權，蘇玉鳳，沈書生.融入同伴互評的混合式學習模式實證研究[J].電化教育研究，2017，38（12）：79-85.

[7] HOVARDAS T， TSIVITANIDOU O E， ZACHARIA Z C. Peer versus expert feedback： an investigation of the quality of peer feedback among secondary school students[J]. Computers & education， 2014， 71（1）：133-152.

[8] FORMANEK M， WENGER M C， BUXNER S R， et al. Insights about large-scale online peer assessment from an analysis of an as tronomy MOOC[J]. Computers & education， 2017， 113（1）：243-262.

[9] ASHENAFI M M. Peer-assessment in higher education—twenty-first century practices， challenges and the way forward[J]. Assessment & evaluation in higher education， 2017，42（2）：226-251.

[10] 馮曉英，張偉遠，陳麗.遠程校際協(xié)作學習中支架教學策略的應用研究[J].北京廣播電視大學學報，2008（1）：26-30.

[11] PANADERO E， ROMERO M， STRIJBOS J. The impact of a rubric and friendship on peer assessment： effects on construct validity， performance， and perceptions of fairness and comfort[J]. Studies in educational evaluation，2013，39（4）：195-203.

[12] 梁云真.基于量規(guī)的同伴互評對在線學習認知、情感投入度及學習成效的影響研究[J].電化教育研究，2018，39（9）：66-74.

[13] 汪瓊，歐陽嘉煜，范逸洲.MOOC同伴作業(yè)互評中反思意識與學習成效的關系研究[J].電化教育研究，2019，40（6）：58-67.

[14] 馬寧，李亞蒙，何俊杰.群體知識建構視角下教師混合式研訓的組內(nèi)交互及知識建構層次分析[J].現(xiàn)代教育技術，2019，29（4）：47-53.

[15] 馬寧，杜蕾，張燕玲，崔志軍，郭佳惠.群體知識圖譜建構對教師在線學習與交互的影響研究[J].電化教育研究，2021，42（2）：55-62.

[16] LAURILLARD D. The educational problem that MOOCs could solve： professional development for teachers of disadvantaged students[J]. Research in learning technology， 2016， 24（1）：1-17.

[17] MA N， XIN S， DU J Y. A peer coaching-based professional development approach to improving the learning participation and learning design skills of in-service teachers[J]. Educational technology & society， 2018， 21（2）：291-304.

[18] MA N， ZHAO F L， ZHOU P Q， et al. Knowledge map-based online micro-learning： impacts on learning engagement， knowledge structure， and learning performance of in-service teachers[J]. Interactive learning environments， 2021（3）：1-16.

[19] DEELEY S J， BOVILL C. Staff student partnership in assessment： enhancing assessment literacy through democratic practices[J]. Assessment & evaluation in higher education， 2017， 42（3）：463-477.

[20] JAIME A， BLANCO J M， DOMíNGUEZ C， et al. Spiral and project-based learning with peer assessment in a computer science project management course[J]. Journal of science education and technology， 2016， 25（3）：439-449.

[21] 孫力，鐘斯陶.MOOC評價系統(tǒng)中同伴互評概率模型研究[J].開放教育研究，2014，20（5）：83-90.

[22] VISTA A， CARE E， GRIFFIN P. A new approach towards marking large-scale complex assessments： developing a distributed marking system that uses an automatically scaffolding and rubric-targeted interface for guided peer-review[J]. Assessing writing， 2015，24（1）：1-15.

[23] 羅莎.MOOC環(huán)境下支架型同伴評價探究——以英語寫作任務為例[J].外語電化教學，2016（6）：42-47.

[24] 許濤.慕課同伴互評模型設計研究[J].開放教育研究，2015，21（2）：70-77.

[25] 蔡旻君，馬光仲，陳萍.從學習性評價的視角反觀MOOC之理念與設計[J].中國電化教育，2016（9）：66-73.

[26] 鐘志賢，王覓，林安琪.量規(guī)：一種現(xiàn)代教學評價的方法[J].中國遠程教育，2007（10）：43-46.

[27] 李菲茗，李曉菲，黃亞平，葉艷偉.訓練對同伴互評評分準確性的影響——以“三維動畫設計與建模”課程為例[J].中國遠程教育，2018（5）：63-67，78.

[28] BROWN J D. Developing， using， and analyzing rubrics in language assessment with case studies in Asian and Pacific languages[M].Honolulu： National Foreign Language Resource Center， 2012.

[29] 馬玉慧，趙樂，劉晴.在線同伴評價的影響因素及其促進策略研究[J].電化教育研究，2016，37（3）：108-114.

[30] 張文蘭，張思琦，林君芬，吳瓊，陳淑蘭.網(wǎng)絡環(huán)境下基于課程重構理念的項目式學習設計與實踐研究[J].電化教育研究，2016，37（2）：38-45，53.

[31] 董艷，和靜宇.PBL項目式學習在大學教學中的應用探究[J].現(xiàn)代教育技術，2019，29（9）：53-58.

[32] 范逸洲，馮菲，劉玉，汪瓊.評價量規(guī)設計對慕課同伴互評有效性的影響研究[J].電化教育研究，2018，39（11）：45-51.

[33] USHER M， BARAK M. Peer assessment in a project-based engineering course： comparing between on-campus and online learning environments[J]. Assessment & evaluation in higher education， 2017，43（5）：1-15.

[34] 李紅霞，趙呈領，蔣志輝.匿名與量規(guī)對基于SPOC的混合式同伴互評投入度的影響[J].現(xiàn)代教育技術，2020，30（10）：20-27.

[35] 吳遐，高記，劉兵.以評促學：基于三元交互決定論的同伴互評研究[J].中國遠程教育，2020，41（4）：58-64，77.