自動寫作評估系統輔助二語寫作反饋研究

摘 要：為了研究人工智能自動寫作評估系統輔助二語寫作反饋的情況，借助批改網自動寫作評估系統對本科生英語作文進行評估反饋，并與教師人工書面反饋進行比較，發現了自動寫作評估系統的優缺點。寫作反饋的準確性不高是自動寫作評估系統的缺點。教師需要靈活運用自動寫作評估系統輔助寫作教學，避免過度依賴自動寫作評估系統，為學生提供全面合理的寫作反饋和建議，從而提高寫作教學的有效性。

關鍵詞：自動寫作評估系統；輔助；二語寫作；反饋；批改網

作者簡介：曹艷艷（1976-），女，山東臨沭人，華東師范大學外語學院，講師，碩士，研究方向：大學英語教學；趙國霞，江蘇鹽城人，華東師范大學外語學院，講師，碩士，研究方向：大學英語教學。

近年來，隨著人工智能技術的迅猛發展，人工智能自動寫作評估（automated writing evaluation， 簡稱AWE）系統在二語寫作反饋中得到了廣泛應用。相較于人工評閱，AWE系統在二語寫作反饋方面具有海量評閱、即時反饋的優勢，其對詞匯、搭配、句式、結構和標點符號的規范使用反饋比較準確。但也有一些研究者質疑AWE系統的使用效果。例如，Chen 與 Cheng以及Kepner認為，AWE系統會對學生的寫作準確性和學習自主性帶來負面影響。有的研究者認為，AWE系統只能機械性地提供模糊且重復的反饋，對創造性和靈活性的寫作任務沒有太大幫助。本研究以非英語專業本科生的三次命題作文為語料，將批改網AWE系統反饋和教師書面糾錯反饋進行對比，借助實例探究AWE系統輔助二語寫作反饋的情況，探討教師在人工智能時代外語教學中的角色轉變，為將AWE系統更好地應用于寫作教學實踐提供參考。

一、教師書面糾錯反饋與AWE系統反饋

教師書面糾錯反饋（written corrective feedback，簡稱WCF）是二語寫作教學中必不可少的環節，是教師對學生的寫作實踐進行一對一指導的主要方式。有效的WCF能夠幫助學生提高寫作水平和語言質量。AWE系統采用自然語言處理和語義分析技術，通過提取書面文本的語言、結構、語義和修辭特征來檢測文稿質量。批改網的原理是通過對比學生作文和標準語料庫之間的距離，并通過一定的算法將之映射成分數和點評，并提供反饋和建議。在寫作教學實踐中，教師書面糾錯反饋和AWE系統反饋各自起到什么作用，如何調整教師角色以使寫作反饋得到優化，促進寫作教學有效性得以提升是值得探討的話題。

二、研究設計

本研究選取華東師范大學正在學習通用學術英語寫作這門課程的5個教學班共138名學生作為研究對象。該課程是為非英語專業本科生開設的一門公共英語基礎必修課程，課程內容涵蓋寫作的基本流程、語言的有效使用以及基本的寫作策略，具體包括傳統文章的五段式結構，段落的組織與銜接，寫作的四大基本原則（unity、support、coherence、sentence skills）、記敘文、議論文、說明文圖表的寫作，如何避免邏輯謬誤。

選取學生的三次命題作文（共414篇）作為語料，包括兩篇議論文，一篇圖表寫作，每篇議論文至少200詞，圖表寫作至少150詞，合計約8.2萬詞。具體研究步驟為：第一步，學生在一周時間內自主完成命題作文，并提交到批改網。第二步，學生根據批改網AWE系統的即時反饋進行第一次修改。第三步，學生把修改稿打印出來，交給任課教師進行人工書面批閱。第四步，教師書面糾錯反饋，學生進行第二次修改。第五步，教師比較學生的兩次修改稿，分析AWE系統反饋和人工反饋的總體效果，并選取有代表性的作文進行重點舉例分析。

三、結果分析與討論

首先，根據批改網AWE系統提供的診斷結果，繪制了表1和表2，進行了結果分析與討論。

批改網AWE系統提供的診斷結果包括份數、平均修改次數、拼寫正確率、語法正確率、人機互動累計次數、得分、段落數、平均詞長、詞匯豐富度、詞匯難度、從句密度和平均句長共12項指標。

（一）結果分析

分析診斷結果可知：1.根據人機互動累計次數，三次寫作任務平均互動次數分別為8.18、4.33、5.09，平均修改次數分別為5.18、3.33、4.09。可以說，AWE系統極大減輕了教師批閱作文的工作量，方便學生隨時根據系統反饋進行作文修改，有效提高了寫作反饋效率和學生寫作的準確性和自主性，可以作為教師人工評閱的有力輔助與補充。劉淑君等認為，人工智能在教育領域的應用在一定程度上彌補了教師書面反饋的局限。2.詞匯豐富度、詞匯難度、從句密度、拼寫正確率、語法正確率、平均句長、平均詞長、段落數和得分的數據，可以為教師書面糾錯提供一定的參考，有助于教師及時高效地掌握學生作文中普遍存在的問題，提高了教師進行寫作輔導面授和書面反饋的針對性，提高了寫作反饋效率。比如，根據表2，教師可以迅速知道學生作文的主要薄弱點在標點、句子和搭配的準確使用上，需要針對這些方面加強指導與訓練。3.根據段落數，教師可以判斷出學生普遍掌握了議論文傳統五段式和圖表寫作二至三段式的結構要求，達到了寫作結構方面的基本教學要求。

批改網AWE系統的不足之處有以下幾點：1.個別診斷項目分類不清。例如，在終版錯誤統計中，除了標點、句子、搭配和名詞、動詞、形容詞等各類詞性之外，系統還有一項名為“單詞”的指標，這個指標和其他項的關系不明，系統頁面也未提供這一指標的注釋，令人迷惑。2.個別系統反饋建議提示語籠統模糊，甚至有誤。例如，學生原文為“Once our development stagnates， we will soon out of resources.”。系統反饋提示： 請檢查stagnates，確認動詞用法正確。教師反饋為：本句的錯誤在于out of resources之前缺少實義動詞。再如，學生原文為“Hence， it's harmful to use lying flat philosophy as an excuse for laziness.”。系統反饋提示：請檢查use lying，確認動詞用法正確，該動詞后面一般接不定式。教師反饋為：試著用更加豐富多樣的詞匯替換use，如何？可以看出，系統反饋出現了斷句錯誤，提供了錯誤的反饋提示，而教師反饋中使用了間接反饋，用問句的方式啟發學生思考使用更豐富、更貼切的詞匯。3.系統特別不擅長根據教師設定的具體命題要求靈活評閱非傳統五段式文章。比如，針對圖表寫作，AWE系統生硬套用五段式的評分標準，導致對二至三段式的圖表寫作評分普遍比人工評閱偏低，不能準確反映學生圖表寫作的真實水平，反饋的效果大打折扣，導致學生對AWE系統的有效性產生負面的評價。4.AWE系統傾向于給包含復雜的長難句式、較長的詞匯甚至生僻詞匯的作文更高的分數，對使用平實的詞匯、文風簡潔的作文給的分數不高。而簡潔恰恰是英文寫作需要遵循的重要準則。教師人工書面反饋傾向于從語言、內容、組織與銜接、邏輯、主題句與主旨句和具體論據支撐方面進行較全面的評價，而對標點、文本格式等僅作部分語言提示，不會全部一一標注。因篇幅有限，在此不進行作文全文的舉例展示。

（二）討論與建議

根據以上分析，筆者建議：1.批改網AWE系統亟需強化對個性化、創造性寫作要求的呼應。應該在大數據語料庫的建設上下功夫，收錄海量和全面的語料，提高算法精準性，準確把握語言使用規范和寫作策略，從而提高寫作反饋的準確性，杜絕錯誤反饋的出現。2.診斷指標分類需更加科學合理。比如，在錯誤統計及舉例中，應提供更清晰和準確的診斷數據及實例，并且提供明確的分類依據，杜絕模糊分類對師生的困擾。3.教師進行人工書面糾錯反饋的時候，要充分考慮到AWE系統的局限性，揚長避短，既充分利用AWE系統即時反饋的特點，給學生提供更加快捷便利的反饋，又要針對目前AWE系統的部分反饋不準確，甚至存在錯誤的情況，在人工書面評閱時為學生提供正確的指導并答疑解惑，避免過度依賴AWE的反饋建議及得分。4.教師需要利用AWE系統的強大統計功能，分析學生普遍存在的薄弱點，進行有針對性的聚焦型反饋。Suzuki和Benson等認為，聚焦型反饋在提高學生寫作準確度方面更為有效。尤其是針對圖表寫作和個性化命題作文，要通過人工評閱糾正AWE系統存在的評分失真的情況，對學生作文提供全面合理的反饋與建議。5.教師需要在教學實踐中積極探索在AWE系統輔助下教師的新角色，因勢利導，突出人工反饋在創造性、個性化作文評估中的優勢作用。

四、結語

本研究中，除了人工書面反饋，教師在通用學術英語寫作課程中還使用批改網AWE系統輔助提供學生作文反饋。AWE系統的即時反饋和建議，提高了寫作反饋效率，激發了學生寫作的積極性和自主性，幫助教師從繁重的人工評閱中脫身。魏爽認為，計算機技術和人工智能的發展革新了以教師為主體的二語寫作反饋方式，亦對教師在傳統寫作反饋中所扮演的權威角色帶來新的挑戰。教師不再需要把過多精力放在拼寫、標點、格式和語法糾錯上。面對新情況，教師需要適時轉變角色，借助AWE系統的強大數據統計功能，在書面糾錯及面授輔導時，聚焦學生的普遍薄弱點，側重在文章內容、主題句、主旨句、組織與銜接、使用具體和充足的論據支撐方面進行針對性強的指導，促進學生寫作能力的穩步提高和寫作教學有效性的提升。目前批改網AWE系統仍有改進空間，需要加強寫作反饋的準確性，以更好地滿足師生在二語寫作反饋方面的需求。

參考文獻：

[1]CHEN C， CHENG W." Beyond the design of automated writing evaluation： Pedagogical practices and perceived learning effectiveness in EFL writing classes[J]. Language Learning amp; Technology， 2008（2）：94-112.

[2]KEPNER C. An experiment in the relationship of types of written feedback to the development of second-language writing skills[J]. The Modern Language Journal， 1991（75）：305-313.

[3]劉淑君，李艷，何躍偉，王婧婧.智能作文反饋能提升中學寫作教學效果嗎？[J].華東師范大學學報（教育科學版），2022（9）：90-104.

[4]SUZUKI W， NASSAJI H， SATO K. The effects of feedback explicitness and type of target structure on accuracy in revision and new pieces of writing[J]. System， 2019（81）：135-145.

[5]BENSON S， DEKEYSER R. Effects of written corrective feedback and language aptitude on verb tense accuracy[J]. Language Teaching Research， 2019（23）：702-726.

[6]魏爽，李璐遙.人工智能輔助二語寫作反饋研究：以ChatGPT為例[J].中國外語，2023（3）：33-40.