外語教學中的作文自動評價系統研究述評*

王利娜

（上海健康醫學院,上海 201318）

隨著語言處理、信息提取等方面技術的不斷進步，作文自動評價系統（Automated Writing Evaluation）得以開發應用。作文自動評價系統是一種計算機應用軟件，能夠自動生成作文評分，并且/或者在語言、內容、篇章結構、技術規范等方面對作文進行反饋。常見的作文自動評價系統有Criterion、MY Access!、句酷批改網、iWrite英語寫作教學與評閱系統等。《大學英語教學指南（2020版）》指出：大學英語應大力推進最新信息技術與課程教學的融合……使學習者朝著主動學習、自主學習和個性化學習方向發展[1]。另外，近幾年國內外很多高校采取線上線下相結合的教學方式，也使得作文自動評價系統的應用更加廣泛。有關作文自動評價系統的理論和實證研究也成為近幾年外語教學領域的研究熱點。本文將從對作文自動評價系統的介紹及評價、教師和學習者對作文自動評價系統的態度調查研究、教師和學習者對作文自動評價系統的具體應用研究、基于作文自動評價系統的在線反饋有效性實證研究四個方面對外語教學中的作文自動評價系統研究進行述評。

一、作文自動評價系統的介紹及評價

目前國內外比較流行的作文自動評價系統有E-rater，Criterion，My Access!，句酷批改網，iWrite等。梁茂成和文秋芳（2007）介紹了國外三種作文自動評價系統：Project Essay Grade，Intelligent Essay Assessor和E-rater。Project Essay Grade重語言形式，擅長對語言質量的分析，但是對語言內容不做分析。Intelligent Essay Assessor重作文內容，擅長對作文內容質量的分析，但是不分析作文的語言質量，對篇章結構也不作分析。而E-rater既重語言形式和作文內容，又重篇章結構。其語言、內容和篇章結構三個模塊與人工評分要素更為吻合，但是它對作文的內容質量分析存在不足，而對篇章結構的分析也拘泥于文本的表層特征，其對語言質量的分析也不夠全面[2]。兩位學者在分析這三種國外作文自動評價系統的長處和不足的基礎上，提出了對我國自主開發作文自動評價系統的啟示。王穎和李振陽（2012）介紹了E-rater,Criterion,My Access!三種作文自動評價系統，并對其進行了評價[3]。

二、教師和學習者對作文自動評價系統的態度調查研究

教師和學習者對作文自動評價系統的態度在一定程度上會影響到他們對作文自動評價系統的具體應用及其使用效果。已有研究表明，教師和學習者對作文自動評價系統的態度有很大不同。Lai（2010）調查了22名英語為外語的學習者對同伴反饋和My Access!反饋的態度，結果表明相較于作文自動評價系統，學習者更傾向于同伴反饋。在虛擬課堂中，學習者沒有辦法體會到人性化的教學。大多數學習者認為作文自動評價系統反饋過于籠統，無法據此作出修改，他們對作文自動評價系統做出的模糊的、固定的有時還是重復的反饋并不滿意[4]。李奕華（2015）通過問卷調查發現學習者對句酷批改網的評分結果的滿意度較低。學習者認為句酷批改網僅從語言上評價寫作，無法評價內容的相關性和結構的合理性，并且關于寫作的建議也比較空泛。但是，由于基于句酷批改網的線上反饋方式使學習者無需與教師面對面，這能夠在一定程度上緩解他們的寫作焦慮[5]。Li et al.（2015）就Criterion在教學中的應用對學習者和教師進行了訪談。教師肯定了此系統對學習者寫作的積極作用。但是學習者中的觀點卻不一致，這與學習者的語言水平以及教師對作文自動評價系統的觀點及具體使用相關[6]。也有研究表明學習者對作文自動評價系統持肯定態度。張珊珊和徐錦芬（2019）發現不同水平的學習者對句酷批改網提供的在線自動反饋是否有效態度不同，低水平組學習者感知有效性得分高于高水平組學習者的得分[7]。綜上所述，教師和學習者對作文自動評價系統的接受度有所不同，對其是否能夠有效促進外語教學也意見不一，這有待未來研究進一步考察。

三、教師和學習者對作文自動評價系統的具體應用研究

教師和學習者對作文自動評價系統的態度及其對教學技術的掌握程度在一定程度上會影響到他們在教學中對作文自動評價系統的具體應用。Chen &Cheng（2008）通過對教師和學習者的訪談，調查了臺灣三個大學英語寫作課堂上教師和學習者對My Access！的使用情況。他們發現學習者在初期的草稿和修改的過程中對作文自動評價系統的使用更為積極。但是，如果不對學習者使用My Access!加以輔助的話，會使學習者產生挫折感，并限制他們的寫作學習[8]。另外，教師對作文自動評價系統的使用態度和技能，以及學習者的特點及寫作學習的目標，也會影響到他們對作文自動評價系統的具體應用。盧鹿（2016）采用有聲思維和回溯訪談的方法，研究了學習者基于句酷批改網的二語寫作過程。研究發現學習者能夠充分關注句酷批改網做出的自動反饋信息，學習者的作文修改過程經歷了分析問題、修改語言和檢驗成效三個階段[9]。Ranalli（2021）通過屏幕截圖、刺激回憶以及訪談的方式調查了學習者使用Grammarly的參與度，以及學習者對其反饋的信任程度。結果發現，學習者更傾向于把Grammarly當成是校對工具而不是反饋工具[10]。這可能是因為該系統對大部分錯誤都給出了具體的修正方法，因此學習者幾乎不需要再自行更正。而學習者對Grammarly的信任程度也決定了其對Grammarly反饋的參與度。

四、基于作文自動評價系統的在線反饋有效性實證研究

隨著作文自動評價系統的應用越來越廣泛，對其有效性的實證研究也不斷涌現。Attali（2004）研究了Criterion提供的反饋是否有助于學習者后續作文的修改。結果表明學習者在一定程度上能夠理解并關注到Criterion做出的反饋，并且在后續作文稿中糾正錯誤[11]。此研究將學習者提交作文稿的次數作為衡量學習者作文自動評價系統使用情況的指標。學習者作文稿提交的次數可以粗略估計學習者使用作文自動評價系統的頻率，但是僅根據學習者作文稿提交次數判斷學習者是否受益于作文自動評價系統是不準確的。Li et al.（2015）同樣考察了Criterion在以英語為二語的寫作教學中的使用情況。結果發現，Criterion可以促進學習者作文稿修訂次數的增加，基于Criterion的反饋有助于提升初稿到終稿的準確性[6]。相較于Attali（2004）的研究，他們不但考察了學習者作文稿修訂的次數，還把作文準確性也納入統計，結果更加令人信服。

近些年來，國內學者對作文自動評價系統在我國英語寫作教學中的效果也進行了探索。呂婷婷等（2015）研究了大學英語寫作教學中數字化寫作資源平臺的作用。結果表明，這一平臺的自動反饋能夠促進學習者的英語寫作學習。他們提出在產出性詞匯的知識深度層面，需要加強對語境的智能化理解，并完善深層次的語義反饋[12]。李奕華（2015）以90名英語專業本科生為研究對象進行了實證研究。結果發現單純的句酷批改網自動評分反饋對學習者整體寫作水平提高的效果較小，教師干預下的句酷批改網自動評分反饋方式更能提高學習者的寫作水平[5]。張華（2019）的研究同樣證實了相較于在線自動反饋，人機多元反饋更有利于學習者寫作質量的提高[13]。龔偉等（2019）分析了不同水平組學習者在32周的時間里在句酷批改網上的作文完成情況，發現基于句酷批改網的作文自動評價有利于學習者語言復雜性的發展，有無混合教師人工批閱對句法復雜性的影響大于詞匯復雜性的影響[14]。張珊珊和徐錦芬（2019）研究了句酷批改網對不同水平學習者寫作的影響，結果發現在線自動反饋影響寫作過程，促進多稿多改，但是僅對低水平學習者有幫助，而高水平學習者的寫作水平并無提高。張亞和趙永剛（2020）的實證研究發現句酷批改網反饋能夠顯著提升學習者的英語寫作水平，但句酷批改網組寫作水平的提升幅度小于教師口頭反饋組，大于教師書面反饋組。但是，各組之間的差異并不顯著。句酷批改網對學習者寫作詞匯句法維度的提升效果最好[15]。由此可見，目前為止對于外語寫作教學過程中基于作文自動評價系統的線上反饋是否能夠有效促進外語寫作教學還沒有形成定論。

結語

本文從對作文自動評價系統的介紹及評價、教師和學習者對作文自動評價系統的態度調查研究、教師和學習者對作文自動評價系統的具體應用研究以及基于作文自動評價系統的在線反饋有效性實證研究四個方面對外語教學中的作文自動評價系統研究進行了述評。研究發現，教師和學習者對作文自動評價系統的接受度有所不同，對其是否能夠有效促進外語教學的效果也意見不一。教師和學習者對待作文自動評價系統的態度在一定程度上會影響到教學中對作文自動評價系統的具體應用以及線上反饋的效果。另外，由于作文自動評價系統技術和設計本身具有局限性，語言教師需要更加批判性地認識到，作文自動評價系統的實施需要經過深思熟慮的教學設計。如何有效實施基于作文自動評價系統的線上反饋是實現作文自動評價系統促進學習者寫作水平提升的關鍵之所在。但是，目前針對外語教學過程中基于作文自動評價系統的線上反饋是否能夠有效促進外語教學尚未形成定論?；谧魑淖詣釉u價系統的大學英語寫作教學在線反饋的最優模式也有待進一步挖掘。