基于英語寫作自動評價系統的評價模式在低水平學生英語寫作中的實證研究

王康妮+曾美婷

【摘要】本研究分別將基于寫作自動評價系統的評價模式、基于寫作自動評價系統的評價與教師評價的混合評價模式和基于寫作自動評價系統的評價與同伴互評混合評價模式應用于低水平學生英語寫作中。結果顯示，三個班學生的作文成績都有明顯提高，但是三個班的進步值不存在顯著差異，這說明基于寫作自動評價系統的評價模式能促進低年級學生的作文水平。

【關鍵詞】英語寫作自動評價系統 低水平學生 人工評價

一、研究背景

在我國現階段的大學英語寫作教學中，因為教師教學科研任務重，每次批改作文需要很長的時間，因而無法及時給學生提供反饋，從而使部分學生對寫作產生消極態度，同時，這也導致教師少布置作文，學生沒得到足夠寫作訓練。學生的消極態度和寫作訓練的不足極大影響了學生寫作水平的提高。大學英語教學積極響應《大學英語課程教學要求》中提倡應用現代信息技術，特別是網絡技術為支撐，旨在讓教與學不受時間和地點的限制，朝著個性化和自主學習的方向發展的教學模式的要求，運用計算機多媒體技術于教學中。英語寫作自動評價系統（以下簡稱系統），一項基于信息技術的標準化評價工具，也被引入英語寫作教學中，成為英語寫作改革的一個重要切入點。自動評價系統能提高批閱速度，及時給學生反饋，讓學生得到更多寫作訓練，進而提高學生的英語寫作水平，但其亦有局限性：主要關注作文的形式方面如單詞拼寫和語法錯誤等，卻甚少關注內容和組織方面。基于此，部分研究者建議系統評價應與人工評價相結合，使其更好地達到提高學生寫作水平的目的。

目前，國內已有部分研究者嘗試將基于系統的評價與人工評價的混合評價模式應用于寫作課堂中，發現混合評價模式比單獨的人工評價更能提高學生寫作水平。然而，鑒于系統評價能夠提高學生寫作水平，因其局限性，才進而提出系統評價與人工評價相結合的混合評價模式，因此，后續研究應該把基于系統的評價與人工評價混合評價模式和基于系統的評價模式進行比較，但目前卻鮮少有這方面的嘗試。故本研究分別將基于系統的評價模式、基于系統的評價與教師評價混合評價模式和基于系統的評價與同伴互評混合評價模式應用于低水平學生英語寫作中，希望能為這一領域的研究提供思路。

二、研究設計

1.研究問題。本實驗將三種評價模式應用于教學中，并研究：（1）三種評價模式對促進低水平學生寫作水平是否不同？（2）學生對這三種評價模式的態度如何？

2.研究對象。來自某院校三個非英語專業班級共107學生參與本次實驗，這些學生已經完成為期一個學期的大學英語學習。

3.研究工具。本研究采用問卷調查和前、后測英語寫作成績的統計學分析，問卷調查在實驗后在三個班進行，包含四個維度：學生（1）是否滿意本班實行的評價模式；（2）是否會認真閱讀評價并修改；（3）是否認為現行評價模式能促進寫作水平；（4）是否滿意實行的評價模式的反饋速度。前、后測英語寫作成績來自學生在實驗前和實驗后的限時命題寫作的初稿。為確保作文難度一致，作文體裁皆為議論文。每份作文最終得分取自兩位教師評分的平均值。

實驗采用采用的自動評價系統是冰果英語智能評閱系統，該系統目前被國內多所高校使用。

4.研究方法與步驟。在實驗班A班和B班中，A班使用基于系統的評價與教師評價混合評價模式，系統先對作文初稿進行評價，學生根據評價做出修改后提交教師，教師評價后學生再修改、定稿并上交。B班采用基于系統的評價與同伴互評混合評價模式，同樣先讓系統對初稿進行評價，區別在于學生修改初稿后交與同伴，同伴根據教師提供的同伴互評標準進行修改、反饋，學生在同伴提供的反饋基礎上，再次進行修改定稿并上交。在實驗前，教師先提供互評標準并對學生進行培訓。前兩次的同伴互評在課堂上進行，教師在旁邊給予指導。由于培訓的緣故，實驗班第一學期布置3篇作文，第二學期增加到4篇。對照班C采用基于系統的評價模式，使用系統對作文進行評改，對照班每個學期布置6篇作文。

5.研究結果和分析。結果分析與討論。前測結果顯示三個班學生成績有顯著性差異（P=0.003<0.05），說明實驗組和對照組在實驗前英語寫作能力有差異。SPSS計算出三個班學生前測的平均成績如表1所示。由于前測成績有顯著性差異，我們將三個班實驗后的進步值進行比較，以觀察實驗方法和對照方法對學生寫作能力發展的影響。通過對三個班學生進步值的比較，發現他們的進步值沒有顯著性差異（P=0.077>0.05），結果如表2所示，實驗A班和B班分別提高了2.3289分和2.1324分，對照班C班提高了1.5600分，說明三種評價模式都有助于低水平學生寫作能力的發展，都對學生的寫作起促進作用。

表1 實驗組和對照組平均成績比較（前測）

小班 人數 平均數 標準差

實驗組A班 38 7.5132 1.53115

實驗組B班 34 8.7059 1.69275

對照組C班 35 8.5543 1.50555

表2 實驗組和對照組進步值比較

小班 人數 平均數 標準差

實驗組A班 38 2.3289 2.12856

實驗組B班 34 2.1324 1.31027

對照組C班 35 1.5600 1.94516

實驗后的問卷調查結果顯示，A 班有68.42%對現行評價模式滿意，B班有62.86%，C班最低，只有56.25%。其中A 班有高達65.79%學生認為現行評價模式能促進寫作水平，而B班和C班分別只有51.43%和50.00%。然而當問到對反饋速度的滿意度，對照C班顯示最高的滿意度，有84.38%表示滿意，而A班和B班只有65.79%和51.43%。反饋速度也進而影響學生對反饋內容的閱讀以及對作文的修改。C班有65.63%的學生會經常閱讀反饋并有53.13%的同學表示會根據評價修改。A班則有60.53%的學生閱讀作文的反饋，只有42.11%的學生會經常修改；B班最低，只有51.43%的同學會閱讀反饋并有37.14%的同學會修改。

從實驗結果可以看出，基于寫作自動評價系統的評價模式、基于寫作自動評價系統的評價與教師評價混合評價模式和基于寫作自動評價系統的評價與同伴互評混合評價模式都能促進低水平學生寫作水平的發展，實驗班學生寫作成績的進步值高于對照班，但是他們之間的進步值沒有形成顯著差異，這主要是系統的特點導致的。系統評價的最大特點是關注作文的形式方面如單詞拼寫和語法錯誤等，卻甚少關注內容和組織方面。參與實驗的學生都是大一學生，他們的英語水平還比較低，作文中充斥著高頻率的詞匯和語法方面的錯誤，系統能夠提供比教師更詳細更準確的語法和拼寫反饋，幫助學生極大地減少作文的錯誤，明顯提高作文的質量。同時，對照班學生比實驗班學生多將近一倍的寫作練習，使得對照班學生可以多次操練，多次修改，因而他們的作文在詞匯和語法方面都比實驗班得到更大進步。然而，仔細閱讀學生的作文，就會發現對照班學生在內容和組織方面基本沒有取得進步，這是系統很少在這些方面給予有效反饋導致的。因而，雖然實驗班在詞匯、語法、內容和結構方面都取得有進步，但是對照班在詞匯和語法方面的巨大進步彌補了在內容和結構方面的不足，使得實驗班和對照班的進步值沒有顯著差異。

從上面的分析不難看出，基于系統的評價模式對低年級學生的寫作更有幫助，但對高年級學生寫作水平是否提高還有待斟酌。這和周穎[8]和魯艷輝等[9]的發現相吻合。低年級學生作文充斥著大量的語法和詞匯錯誤，系統在這方面能夠提供比人工更準確更強大的支持，因而基于系統的評價模式和基于系統的評價與人工評價混合評價模式一樣能促進低年級學生的作文水平。然而隨著學習不斷積累，學生作文中的語法和拼寫錯誤逐漸減少，如何把觀點和內容更好地呈現給讀者成為他們面臨的主要問題，系統卻很難在這些方面提供有效的反饋，這時過于依賴系統評價反而會限制學生作文水平的提高，人工評價介入成為必要。

現代化信息技術評價工具應用于英語寫作教學中是一個不可避免的趨勢，如何根據學生寫作特點，發揮系統評價的優點并且避免其缺點，使系統能有效地為教學服務需要我們教師和研究者不斷地探討和實踐，我們相信，通過一線教師和研究者的不懈努力，一定能找出一個讓教師和學生都受益的模式。

參考文獻：

[1]教育部高等教育司.大學英語課程教學要求[M].上海：上海外語教育出版社，2007：5.

[2]Attali，Y.Exploring the feedback and revision Features of Criterion[C].Paper Presented at the Meeting of the National Council on Measurement in Education （NCME），San Diego，CA.2004.

[3]Shermis，M.J.，Burstein，J.C.& Bliss.L.The impact of automated essay scoring on high stakes writing assessments[R].Paper presented at the Annual Meeting of the National Council on Measurement in Education，San Diego，CA.2004.

[4]Chen，C.F.E.& Cheng，W.Y.Beyond the Design of Automated Writing Evaluation：Pedagogical Practices and Perceived Learning Effectiveness in EFL Writing Classes.Language learning & technology.2008（2），94-112.

[5]唐錦蘭.寫作自動評價系統在大學英語教學中的應用研究[J].外語教學理論與實踐，2014（1）：49-57.

[6]冰果英語智能作文評閱系統http：//write.bingoenglish.com/.

[7]蔣學清，蔡靜，唐錦蘭.探析自動作文評價系統對大學生英語寫作能力發展的影響[J].山東外語教學，2011（6）：36-43.

[8]周穎.在線形成性評價工具在英語寫作中的應用——困難及對策探究[J].現代教育技術，2011（9）：88-93.

[9]魯艷輝，譚福民，彭舜.智能寫作評分系統在大學英語寫作中的實證研究[J].現代教育技術，2010（6）：56-58.

【基金項目】該文為2012年海南醫學院教學改革項目（HYP201208）“英語作文自動評價后人工跟進評價的研究”部分研究成果。