國內外作文自動評分系統研究綜述

陳淑芬

摘 要：由于計算機和互聯網技術已廣泛應用于語言教學，大學英語寫作教學開始探索網絡環境下的教學的新途徑，作文自動評分系統（Automated Essay Scoring System，AES）是教學改革的必然產物。本文介紹了AES，并回顧了國內外對AES的先行研究。

關鍵詞：作文自動評分系統（AES）;英語寫作;研究綜述

隨著科學技術的飛速發展，計算機技術已廣泛應用于EFL / ESL教學。同時，基于云計算和語言數據庫的AES應運而生，并已應用于中國高校英語寫作教學之中。

1 自動作文評分系統概述

作文自動評分系統（AES）是基于設定好的計算機程序對英語作文進行評分和評估的系統 （Shermis and Burstein， 2003），并已廣泛用于大規模考試，例如TOEFL，GMAT和GRE。

AES于二十世紀六十年代在國外興起，研究人員已經研究和開發了該系統50多年。最初的AES由Ellis Page于1966年開發，名為Project Essay Grade （PEG）。到了二十世紀八十年代，出現了Writers Workbench和Writers helper兩款AES。這兩款系統不僅可以為文章打分，而且還向作者提供反饋。二十世紀九十年代，又有三款AES相繼出世，分別是Intelligent Essay Assessor，E-rater和IntelliMetric，它們可以提供更多不同的評估維度，并且進行更系統的評估。

21世紀， Writing Roadmap， Write to Learn 和My Access！，這些更加先進的AES借助人工智能和深度學習技術，在教育領域中流行起來。這些系統能夠執行與以前的AES類似的功能，同時又增加了一些新功能。

上述AES都是又由外國專家學者所開發的，而在中國，AES的發展起步較晚，因此市場上的AES產品較少。在中國比較受歡迎的AES包括句酷批改網，冰果英語，新視野大學英語和體驗英語。

2 國內外作文自動評分系統相關研究

由于AES技術的快速發展和其強大的功能，在過去的50年中，國內外對該系統的理論和實證研究都在顯著增加。

2.1 國外作文自動評分系統相關研究

早在上個世紀，國外就開發了AES。目前在美國和一些歐洲國家和地區，AES已經被用作大型考試和外語教學中作文評分的可靠評估工具。在國外，關于AES的研究主要集中于系統的信度和效度以及是否能提高學生的寫作能力。

關于AES的信度和效度，基于大語料庫的機器反饋具有及時性和有效性，因此該系統有較高的評分效度和信度。Attali和Burstein（2004）指出，AES作為機器是沒有主觀因素的，所以它的作文評分比手動作文評分更加穩定。 Mcnamara和Crossley（2015）使用作文自動評分系統Intellimetric評估大量英語作文，并對作文類型進行分類，以探索機器評估與教師評估的一致性，實驗結果表明機器評分與手動評分具有較高的一致性。

關于AES對提高學生寫作水平是否具有可靠性和有效性，一些學者對此持積極態度。他們認為該系統可以有效評估學生的論文并提高學生的寫作能力。學生可以通過使用作文自動評分系統Write to Learn來修改自己的作文，在修改的過程中提高自己的作文成績（Foltz&Laham&Landauer，1999）。此外，另一款作文自動評分系統Criterion在大學英語寫作班上進行的一項實驗中被證實該系統對學生作文的質量產生積極影響（Choi&Lee，2010）。但是，另有一些學者和專家質疑AES。Shermis（2004）使用My Access！ 作為實驗工具，從同一個班級中隨機選擇實驗組和對照組，并比較了兩組的寫作水平，結果顯示兩組之間的寫作分數并沒有顯著差異。換句話說，該系統無法提高學生的寫作技能。

2.2 國內作文自動評分系統相關研究

與國外相比，國內對AES的研究起步較晚。相關研究主要集中在系統的開發，系統在評估作文功能上的有效性以及機器反饋對提高學生寫作成績的有效性。

在早期的國內研究中，一些學者只是介紹和比較了近幾十年來國內外的AES。梁茂成和文秋芳（2007）評估并比較了國外具有代表性的三款作文自動評分系統PEG，IEA和E-rater，指出了它們的優缺點。葛詩利和陳瀟瀟（2007）回顧了國外AES的發展，此外，他們還研究了一些為中國英語學習者設計的AES。這些研究為中國開發自己的AES提供了理論基礎。

隨著國內AES的開發和應用，學者們開始使用中國學生的英語作文作為研究語料來探索機器評分和人工評分之間的相關性。唐進（2011）指出，作文自動評分系統BETSY的評分與人工評分有著顯著的相關性。王建（2015）研究了句酷批改網評分的有效性，他發現句酷批改網評分無法可靠地評估大學英語等級考試中的英語作文，盡管機器評分和人工評分一致性處于中等水平。

一些學者進行了實證研究，探索不同類型的AES對英語學習者寫作能力和寫作動機的影響。例如，石曉玲（2012）得出以下結論：句酷批改網的實時反饋有效地激發了學生的寫作興趣，增加了學生寫作練習的頻率，并達到了以評促學的理念。高越（2012）根據實證研究發現AES的反饋意見提供了有效的語言輸入，因此使用體驗英語寫作教學資源平臺對學生寫作能力的提高很有幫助。

回顧以往的研究，盡管許多學者對AES進行了大量的實證研究，但大多數研究集中在AES的發展和AES在實際應用中的有效性方面。作者希望以后的研究能更多地關注AES和英語寫作的教與學之間的關系。

參考文獻

[1]葛詩利，陳瀟瀟.國外自動作文評分技術研究[J].外語電化教學，2007（5）：25-29.

[2]梁茂成，文秋芳.國外作文自動評分系統評述及啟示[J].外語電化教學，2007（05）：19-25.

[3]王建.作文自動評分系統效度研究[D].海南大學，2015.