評價支架如何影響在線同伴互評交互質量？

摘 要：學習者充足的交互是保證同伴互評有效性的重要途徑。為解決當前在線同伴互評中缺乏對同伴之間深度交互的引導，導致學習者交互處于較淺層級等問題，以SOLO分類理論為指導，圍繞5種不同的思維水平設計評價支架，以“現代教育技術”課程為例，采用準實驗研究法，對評價活動產生的交互文本進行量化內容分析，以及對學習者的作品改進情況進行分析，探究評價支架對在線同伴互評交互質量的影響。研究發現：（1）評價支架能夠顯著提升學習者參與互評活動的交互結果質量；（2）評價支架促進學習者的交互深度由淺層級向更深層級轉化；（3）學習者對評價支架持認可態度，評價支架作為一種評價工具，可以有效指導互評活動，促進學習者自身的課程學習。

關鍵詞：同伴互評；SOLO分類理論；評價支架；交互深度

中圖分類號：G4 文獻標志碼：A 文章編號：2096-0069（2024）04-0031-07

引言

2020年中共中央、國務院印發的《深化新時代教育評價改革總體方案》中明確提出，教育評價事關教育發展方向，要堅決克服“五唯”的頑瘴痼疾，突出強調教學評價的導向作用。同伴互評作為高等教育中廣泛應用的評價方式，以其“以評促學”的價值取向在課程教學中扮演著重要角色。在線同伴互評中，學習者充足的交互是保證互評有效性的重要途徑。學習者通過彼此間的相互評價與修正，逐漸形成新的認知，達到對知識的深層理解，對學習效能的提高具有重要影響，在促進知識建構、培養合作能力和問題解決能力等方面具有深刻意義。高質量的在線交互有助于促進學習者之間的思想交流與觀點證實，幫助小組形成共同的意義和理解，為實現在線深度學習奠定重要基礎[1]。

然而，研究表明，目前高校的同伴互評存在評語字數過少且質量不高、評語內容重復[2]，以及學習者之間交互積極性不高[3]、交互處于較低知識建構水平[4]等問題，互評活動缺乏對生生之間深度交互的引導，制約了互評活動的作用發揮和價值實現。因此，如何設計同伴互評活動，以促進學習者之間的交互深度與深度學習的達成，是當前評價領域亟待解決的問題。為解決互評活動中學習者學習水平不一、評價能力欠缺等問題，評價支架應運而生。現有評價支架主要以支架式教學理論、建構主義學習理論為指導，具有評價方式靈活、操作簡便等優勢。李紅霞等[5]在研究中探討了匿名與評價支架對于混合式同伴互評投入度的影響，實驗結果表明，在提供支架時采用匿名的評價方式，學習者的認知投入度與情感投入度更高；潘星竹等[6]在研究中構建了“支架+”STEM 教學模式，利用評價支架輔助學習者從多維度評判學習結果，發現該模式對于促進學習者的高階思維具有顯著效果；韓慶年等[7]發現讓學習者與教師共同參與評價支架的設計，能夠使學習者對支架和互評活動內容的理解更為深刻，增強其參與評價的自我效能感；范逸洲等[8]在MOOC的同伴互評活動中引入評價支架，通過實驗證實使用支架能夠顯著提高評分者間的信度和評分效度。以上研究表明，評價支架在同伴互評中具有積極作用，但現有研究大多側重于驗證評價支架在促進學習者學習投入、提高學習效果以及提升同伴互評活動評價有效性等方面的作用，對于學習者交互質量的研究關注不足，更多的是從在線交互數量展開研究，對于評價支架如何促進學習者實現更深層次的交互仍缺乏實證性研究。

基于此，本研究從SOLO分類理論的視角出發，結合“現代教育技術”課程設計評價支架，并將其引入課程的三次同伴互評活動，采用準實驗設計，探究評價支架對于在線同伴互評交互質量的影響，以期為在線同伴互評活動的有效開展提供評價指導。其中，交互質量既關注交互結果質量，也關注交互內容深度。本研究致力于解決以下3個問題：（1）同伴互評中的評價支架對交互結果質量有何影響？（2）同伴互評中的評價支架對交互內容深度有何影響？（3）學習者對評價支架的感知價值如何？

一、基于SOLO分類理論的評價支架的設計

（一）理論基礎

SOLO分類理論由心理學家約翰·B.比格斯（John B.Biggs）首次提出，經過不斷的分析與實例研究，從學習者的學習狀態、能力、思維操作、一致性與收斂、應答結構5方面，將學習者的思維層次劃分為前結構、單點結構、多點結構、關聯結構以及抽象拓展結構，5個層級，具體層級劃分及思維表征如圖1所示。該理論的優越性在于關注學習者對問題作出反應時所展現的思維過程和所達到的認知水平，引導學習者在互評活動中逐步走向深層次互動。

（二）基于SOLO分類理論的評價支架的設計

依據SOLO分類理論不同水平層次的內涵和思維特征，以優化互評學習者的交互質量為目的，結合已有文獻中提出的評價支架設計原則[9]，本研究以“現代教育技術”課程第三章“多媒體課件制作”評價任務為例，從評價要素、評價指標、SOLO水平層次、對應的層次描述幾方面對支架進行設計，如表1所示（見下頁）。其中，評價要素主要根據課程教學目標、學習者已有的認知水平，以及多媒體課件制作要求確定，最終選擇“教學設計”“制作水平”兩方面作為評價要素。評價指標為評價要素的分解，在評價要素的基礎上進一步細化，并根據每一指標的重要程度指定其對應的分數。在確定評價指標后，結合課程性質與特點，以學習者的認知差異為依據，根據前期課程經驗預估學習者在課件制作實踐中的水平層次，詳細描述評價指標在每一結構水平上的具體表現，并賦予其相應的評價權重，引導學習者在互評活動中結合實際任務表現客觀地判斷同伴的認知水平，以達到有效互動的目的。

二、研究設計

（一）研究對象

本研究以L省某師范大學參加“現代教育技術”課程的45名應用心理學專業本科三年級學生為研究對象，將參與課程的學生隨機分為兩組，其中，實驗組23人，對照組22人。在互評活動中，各組成員以個人形式提交主題作品，評價對象由在線平臺在所有學生中隨機分配，對個人作品進行單獨評價，兩組在活動中的區別在于是否采用了本研究所提供的評價支架。

（二）研究工具

1.評語內容交互深度編碼框架

本研究主要關注同伴互評活動中學習者與同伴之間的交互，重點聚焦于學習者在互評活動中所產生的有意義對話，將交互深度界定為“學習者在互評活動中所給評語內容的深入程度”。研究基于嚴亞利等[10]對于評價深度的分類，從淺層交互、中度交互、深度交互3個層級對評語內容的交互深度進行劃分，構建適合本研究的評語內容交互深度編碼框架。其中，淺層交互主要包括支持評論（S1）、反對評論（S2）兩類評語內容；中度交互包括直接贊揚（M1）和直接修正（M2）；深度交互包括具體建議（D1）、分析評估（D2）以及批判反思（D3）3類評語類型。

2.感知價值量表

學習者對于評價支架的感知價值差異將對其評價行為產生直接影響。為了解學習者在互評活動中對于評價支架的感知價值，本研究設計了同伴互評活動評價支架感知價值量表，共設有9個題項，采用李克特5級量表，從評價支架的體驗性價值、信息價值、功能價值3個維度進行測量。分析結果顯示，該量表的Cronbach's α系數為0.877＞0.8，具有良好的信度。

（三）研究流程

該課程共開展3次在線同伴互評活動，持續時間8周。學生需要根據教學要求完成相應類型的課件作品，在規定時間內將作品提交至超星學習通平臺，并在截至日期前完成同伴互評活動。作品采取匿名評價方式，評價者與被評價者由平臺隨機分配，每位學生至少需要評價另外兩名同學的作品，且在在評價時，既要給出分數，也需要寫出具體評價意見。每輪互評結束后，學生需要根據同伴評價意見，在規定時間內對作品進行針對性修改、完善。同伴互評活動全部結束后，需要向實驗組同學發放評價支架感知價值調查問卷，并對學生修改作品前后獲得的分數進行比較，同時，對活動中產生的交互數據進行收集與整理，參照交互深度編碼框架對數據進行編碼與分析，進一步探究評價支架的設計對于在線同伴互評的交互結果質量和交互內容深度的影響。具體的實驗流程如圖2所示。

三、研究結果

（一）評價支架對交互結果質量的影響

學習者的學習作品是學習者交互質量外化的重要表現形式[11]，因此，對交互質量的測量主要是看學習者的學習作品質量。為分析互評活動前后實驗組和對照組學習者作品改進情況的差異，對實驗組和對照組互評活動前后的作品成績進行配對樣本t檢驗，結果表明，兩組學習者互評后所提交的作品成績與互評前相比均有顯著提高（3次作業中，實驗組p＝0.000＜0.001，對照組p＝0.000＜0.001）。進一步比較兩組的效應量Cohen's d值，發現在前兩輪互評活動中，實驗組均大于0.8，達到較強效應；對照組均大于0.5，處于中等效應。由此可見，基于評價支架開展的互評活動在促進學習者學習作品質量提升上較傳統互評活動更具優勢。第三輪互評活動中，實驗組的效應量為1.5210，對照組的效應量為0.8680，雖然均大于0.8，都屬于大效應量，但實驗組明顯高于對照組，在一定程度上說明實驗組參與互評活動前后的作品成績提高幅度高于對照組。另外，對兩組3次作業互評前后的提高分數進行獨立樣本t檢驗，結果顯示，3次互評活動中實驗組的作品提高分數均顯著高于對照組（p＝0.000＜0.001），可見實驗組的改進程度更為明顯，即在互評活動中嵌入評價支架能夠有效幫助學習者提高作品質量。

（二）評價支架對學習者交互深度的影響

根據評語內容交互深度編碼框架，對3輪在線同伴互評中收集到的255條有效評語進行編碼，實驗組（133條）和對照組（122條）的評語內容在不同交互層級的分布如圖3所示（見下頁）。觀察數據可知，對照組處于支持評論（S1）和反對評論（S2）兩種淺層交互類別的評語數量高于實驗組，達到了71條，占其總數的58%；而處于直接贊揚（M1）、直接修正（M2），以及具體建議（D1）、分析評估（D2）、批判反思（D3）5種更高交互層級的評語數量則少于實驗組，且未有一條評語屬于批判反思（D3）類別，說明對照組中深層交互的內容較少，僅偶爾有深層級的交互出現。相比之下，實驗組的評語內容主要集中于中度交互層級及以上，處于具體建議（D1）、分析評估（D2）、批判反思（D3）3種深度交互層級的評語內容累計占其總數的31%，可見，基于評價支架進行同伴互評有助于促進學習者之間的交互深度，提升評語內容的深層交互數量。此外，為進一步探究實驗組與對照組在互評活動中交互深度的差異，分別以評語內容中淺層交互（支持評論、反對評論）的比率、中度交互（直接贊揚、直接修正）的比率、深度交互（具體建議、分析評估、批判反思）的比率為檢驗變量，對兩組的評語內容交互深度層級進行獨立樣本t檢驗，結果顯示：實驗組的評語內容，處于淺層交互層級顯著少于對照組（p＝0.000＜0.001），處于中度交互層級和深度交互層級的顯著多于對照組（p＝0.000＜0.001）。由此可見，基于評價支架的在線同伴互評中學習者交互深度顯著高于未提供評價支架的在線同伴互評，提供評價支架能夠為學習者創設積極的評價氛圍，使其在互評過程中向“分析評估”“批判反思”等深度交互層級發展。

（三）學習者對在線同伴互評中評價支架的感知價值

為了解學習者在互評活動中對于評價支架的感知價值，在3輪互評活動結束后，對實驗組同學進行了評價支架感知價值的問卷調查，結果發現，關于評價支架的體驗性價值方面，學習者持認可態度（M＝4.14，SD＝0.57），認為評價支架的提供為其評分提供了重要參考（M＝4.33，SD＝0.66），并愿意在后續互評活動中繼續使用評價支架（M＝4.24，SD＝0.77）。此外，評價支架對互評活動起到了有效的指導作用，學習者認為應用評價支架能夠規范其對同伴作品的評分，使評分更加公正（M＝4.29，SD＝0.56）；明確了對同伴作品進行評價的要素和標準（M＝4.38，SD＝0.50），為評價過程減輕了負擔（M＝4.33，SD＝0.66）。與此同時，評價支架的提供也對學習者的課程學習有所助力，其功能價值得到認可，使學習者更加明確作業要求（M＝4.33，SD＝0.66），在應用評價支架評價他人作品的同時，對自身作品產生了更深刻的思考（M＝4.29，SD＝0.72），并進行有針對性的改進（M＝4.38，SD＝0.59）。

四、結論與討論

（一）評價支架能夠顯著提升學習者參與互評活動的交互結果質量

為探究學習者參與在線互評活動的交互結果質量，對學習者互評活動前后的作品成績進行比較，發現兩組學習者的作品成績與互評前相比均有明顯提高。這一結論與已有研究結果相似，即開展在線同伴互評有助于學習者的作品改進。為進一步比較評價支架對學習者作品改進情況的影響，對兩組互評前后作品的提高分數進行了比較，發現應用評價支架的學習者的作品改進程度要顯著高于未提供支架的學習者，說明相比于傳統互評活動，嵌入評價支架能夠幫助學習者更好地改進作品，促進交互結果質量的提升。究其原因，可能在于：本研究的評價支架基于SOLO分類理論設計，圍繞評價指標對學習者在5種不同思維水平上的具體表現進行了詳細描述，重點關注學習者在完成學習作品的過程中表現出的思維過程及所達到的認知水平，使其在對同伴作品進行深層次挖掘的同時，也對自身所處的思維發展水平進行反思，從而為學習者的評價和作品改進提供具體參照。與未提供評價支架的學生相比，有利于降低評價的認知難度，輔助學習者完成在線評價與作品改進，基于問題迭代達到知識的建構和反復推進，并向更高的思維水平層級邁進。

（二）評價支架促進學習者參與互評活動的交互深度由淺層級向更深層級轉化

通過對3次在線同伴互評中學習者的評語內容進行分析發現，基于評價支架的學習者的評語內容交互深度層級顯著高于未提供評價支架的學習者。在已有研究中，學習者之間的交互大多處于淺層級，往往缺少比較和分析與同伴觀點間的沖突之處，難以達到更深層級的交互。而本研究中基于評價支架的學習者在互評活動中產生的對話，不再僅僅集中于“支持評論”“反對評論”等淺層交互，而是向“分析評估”“具體建議”等更深的交互層級延伸，說明評價支架能有效促進學習者交互深度的提升，使交互深度由淺層級向更深層級轉化。對實驗組的評語內容交互層級進一步分析發現，處于中度交互層級的數量最多，而各深度交互層級雖然均有評語內容，但總體數量仍少于中度交互層級，證明評價支架在提升學習者交互深度方面雖然具有積極作用，但對于深度交互層級的作用效果還稍顯不足。馬志強等[12]認為，要確保互評活動中學評融合的實現，關鍵在于引導學習者在互評過程中進行深度參與，并提出應著重設計“評價主客體角色互換”“評價結果反饋與應用”等機制，以促進學習者之間的深度互評。后續研究可以考慮圍繞如何提供更多的評價支持、如何在反饋環節合理地嵌入教師評價等方面對評價支架進行完善，為深度交互的持續發生提供驅動力。

（三）學習者對在線同伴互評活動中的評價支架持認可態度

通過對實驗組發放評價支架感知價值調查問卷，發現學習者對互評活動中使用評價支架持認可態度，一方面肯定了評價支架作為評價工具對互評活動的有效指導作用，另一方面認為評價支架的提供對其自身的課程學習也具有促進作用。該結論與張屹等[13]的研究結論相一致，即在互評活動中設置評價支架，能夠增強活動的目的性和針對性，幫助學習者開展自我評價和反思，明確自身問題與不足之處。此外，有研究也證實，通過引導學習者認識和理解評價標準的維度劃分，以及包含的具體內容，既能夠幫助學習者理解如何合理依照評價標準對同伴作品進行有效評價，同時也能讓其更加深入地了解如何根據評價標準反思和改進自己的作品。本研究中，評價支架對于各思維水平層次作出了質性描述并細化了區分標準，為評價同伴作品及完善自身作品提供了有效指導。吳遐等[14]認為，將學習者的評價能力納入其個人成績，有利于激發學習者的評價動機；采取匿名評價的方式，能夠降低互評活動中人際動機的負面影響。本研究在正式開展互評活動前已經向學習者提前告知，其互評態度會對最終的學習成績產生影響，同時在互評過程中，將評價者的信息作匿名處理，因此在互評活動中學習者大多能夠積極參與，并針對分配到的同伴作品作出有效評價。

五、總結與展望

高質量的在線交互可以幫助學習者產生更有意義的對話和交流，提升評價的準確性和客觀性，促進同伴互評活動的有效開展。本研究通過實證分析，探究了評價支架對學習者互評活動交互質量的影響。結果表明，基于評價支架的在線同伴互評能夠提升學習者參與互評活動的交互結果質量，促進學習者的交互深度由淺層級向更深層級轉化；評價支架作為一種評價工具，可以有效指導互評活動，促進學習者自身的課程學習。這為在線同伴互評的設計與開展提供了新的思路。未來可以在互評活動中增加評價雙方的雙向反饋，鼓勵學習者對同伴的評分和評語進行評價或回應，為評價者和被評價者創造對話空間，促其在此過程中進行深度思考和交互，加強對評價結果的理解與運用，進一步提升同伴互評活動的質量和價值。

參考文獻

[1]卜彩麗，陳文靜，宋佳音，等.數字徽章促進在線協作交互深度的設計研究[J].現代遠距離教育，2022（5）：30-41.

[2]王云，李志霞，白清玉，等.混合式教學中促進深度學習的同伴反饋研究[J].現代教育技術，2021，31（5）：67-74.

[3]彭紹東.混合式協作學習交互：特征、規律與調控[J].數字教育，2023，9（2）：11-18.

[4]馬寧，李亞蒙，何俊杰.群體知識建構視角下教師混合式研訓的組內交互及知識建構層次分析[J].現代教育技術，2019，29（4）：47-53.

[5]李紅霞，趙呈領，蔣志輝.匿名與量規對基于SPOC的混合式同伴互評投入度的影響[J].現代教育技術，2020，30（10）：20-27.

[6]潘星竹，姜強，黃麗，等.“支架+”STEM教學模式設計及實踐研

究：面向高階思維能力培養[J].現代遠距離教育，2019（3）：56-64.

[7]韓慶年，柏宏權，楊曉敏.移動學習環境下同伴互評對大學生學習動機的影響效應研究[J].中國遠程教育，2018（11）：34-40.

[8]范逸洲，馮菲，劉玉，等.評價量規設計對慕課同伴互評有效性的影響研究[J].電化教育研究，2018，39（11）：45-51.

[9]李睿，何敏怡.人工智能課程教學評價量規設計模型與實踐案例研究[J].數字教育，2023，9（1）：77-84.

[10]嚴亞利，黎加厚.教師在線交流與深度互動的能力評估研究：以海鹽教師博客群體的互動深度分析為例[J].遠程教育雜志，2010，28（2）：68-71.

[11]陳蓓蕾，張屹，楊兵，等.技術支持的教學交互策略促進交互深度研究[J].中國電化教育，2019（8）：99-107.

[12]馬志強，孔伶玉.以學習者為中心的評價何以可能：學評融合視域下的自主與同伴互評研究前沿進展[J].電化教育研究，2022，43（10）：41-48，56.

[13]張屹，陳蓓蕾，陳珍，等.智慧教室中的教學對大學生研究能力和元認知的影響：基于量規的干預[J].電化教育研究，2017，38（7）：77-84.

[14]吳遐，高記，劉兵.以評促學：基于三元交互決定論的同伴互評研究[J].中國遠程教育，2020，41（4）：58-64，77.

（責任編輯 孫興麗）

How Does Evaluation Scaffold Affect the Interactive Quality of Online Peer Assessment？

— An Analysis Based on SOLO Taxonomy

Liu Dan， Zhang Baiyu， Li Yubin

（Faculty of Education， Liaoning Normal University， Dalian， Liaoning， China 116029）

Abstract： Sufficient interaction of learners is an important way to ensure the effectiveness of peer assessment. In order to solve the problem of low interactive quality in the current online peer assessment activities due to the lack of guidance for in-depth interaction， an evaluation scaffolding around the five different levels of thinking with the guidance of SOLO taxonomy is designed. Taking the “Modern Educational Technology” course as an example， the quasi-experimental research method is used to analyze the interactive texts generated by the evaluation activities in terms of quantitative content as well as the improvement of the learners’ works， and to explore the impact of evaluation scaffolds on the quality of online peer evaluation interactions. The study found that （1） the evaluation scaffold can significantly improve the quality of the interaction results of learners’ participation in peer assessment activities; （2） the evaluation scaffold facilitates the transformation of the depth of learners’ interactions from a shallow level to a deeper level; and （3） the learners have a favorable attitude toward the evaluation scaffold， which， as a kind of evaluation tool， can effectively guide the peer assessment activities to promote the learners’ own learning in the course.

Key words： "Peer assessment; SOLO taxonomy; Evaluation scaffold; Interaction depth

收稿日期：2024-03-05

基金項目：遼寧省教育科學“十四五”規劃項目“面向深度學習的協同知識建構與評價研究”（JG21DB319）；遼寧省教育廳基本科研面上項目“基于多模態數據融合的學習情感識別研究”（LJKMZ20221417）

作者簡介：劉丹（1981 — ），女，遼寧沈陽人，副教授、碩士生導師，研究方向為在線學習分析、信息技術教育應用；張柏鈺（2000 — ），女，黑龍江綏化人，碩士研究生，研究方向為信息技術教育；李玉斌（1975 — ），男，河北承德人，教授、博士生導師，研究方向為數字化學習、在線教育等。