基于自動評分系統的在線作文自我修改特征研究

白蕓

摘要：自然語言處理技術、人工智能及語料庫技術的發展使得自動評價系統（AES系統）逐漸被應用于二語寫作教學，為學習者提供基于網絡的寫作環境、實時評分和診斷性反饋。通過對中國學習者在線寫作的初稿、終稿及自動評分系統給出的相應反饋進行對比分析，探究學生在線作文自我修改的特征，并就AES系統輔助寫作教學給出了參考建議。

關鍵詞：在線作文自我修改 自動評分系統 英語寫作

中圖分類號：H319? 文獻標識碼：A? 文章編號：1009-5349（2020）15-0157-02

英語寫作在英語學習中起著非常重要的作用。隨著過程寫作方法被引入到第二語言寫作領域，反饋成了寫作教學的重要組成部分[1]。而研究表明，使用AES系統不僅能夠提高教師批改作文的效率，而且能提升作文質量和提高學習者的英語寫作能力[2]。本研究的數據主要來源于“句酷批改網”。“句酷批改網”是目前國內較有代表性的作文自動評分系統之一。

一、研究背景

Carroll（1994）將語言輸入分成兩類：一類輸入和二類輸入。前者指學習者從周圍環境中獲得的正確的目的語語言輸入;后者則指包括清楚的或含蓄的反饋在內的否定輸入，主要是對學習者有關語言學習的假設進行修正的輸入。即自主進行對比分析，意識到其中的不同或錯誤，從而引發對其已有知識的再分析與再建構，錯誤也就促進了變化和學習的發生[3]。因此，反饋也是一種語言輸入，且只有學習者自己的識別能使反饋有意義。同Schmidt（1990）提出的注意假說——只有被學習者注意到的語言信息才能被吸收[4]。

因此，本研究中，將學習者在獲得AES反饋后進行的進一步反饋，即二類輸入，稱為自我反饋。在線作文自我修改即學習者通過不斷地自我反饋來反復修改作文的過程。假設學習者可以注意到來自AES系統的反饋，并有效地進行自我反饋，則可習得語言。如此，學習者是否能注意到AES系統提供的信息繼而進行有效的自我反饋？在線作文自我修改過程存在哪些特征？如何有效使用AES系統輔助寫作教學？這些問題就顯得尤為重要。然而，國內目前鮮有這方面的研究。已有的研究發現，AES系統可以激發更多的自我修改，因為存在學生不信任AES反饋的情況[5]。圍繞以上問題，本研究采用對比分析法，對學生在線寫作的初稿、終稿及相應的AES反饋進行了分析，以期能為將來的在線作文自我修改和AES反饋相關研究提供參考和啟發。

二、數據收集與分析

本研究中使用的原始數據來自“句酷批改網”的“四川百萬同題數據”。在開展“四川百萬同題數據”線上英語寫作活動期間，學生在“句酷批改網”上就同一主題進行寫作、修改和提交作文，并進行自主學習。學生可不斷修改和提交作文直到滿意為止。本研究選用的作文題目“How Will AI Affect Our Life”由北京大學提供，此題主要關注中國學生在大數據時代背景下對人工智能的思考與態度。

研究中使用的180份作文樣本（初稿和終稿）均來自優秀組織學校。篩選條件如下：（1）修改次數不少于30;（2）不存在抄襲嫌疑。最終數據文件包含每篇作文的以下信息：初稿、終稿、提交次數、作文編號及初稿和終稿分數。研究者對每篇作文的初稿、終稿及相應的AES反饋進行了人工分析。分析內容主要為詞匯部分，包括拼寫錯誤、詞匯誤用、警示信息、修改建議及拓展內容等。

三、結果與討論

研究發現，“句酷批改網”給出的所有詞匯錯誤反饋中，最常見且準確的是拼寫錯誤。但系統無法根據語境判斷詞匯是否使用正確，且該網給出的反饋信息也并不完全正確，部分信息較模糊，甚至會重復提示同一個錯誤。當句子較為復雜或句中錯誤較多時，系統基本無法識別拼寫以外的錯誤。部分典型修改案例如表1（見下頁）所示。

文本03初稿句3.2的反饋并未提示句中存在多余的單詞is的問題。其終稿中句子中的terrible被用于修飾代詞，卻被警示為“terrible疑為形容詞誤用為副詞”。但學生僅刪除了is，并且未修改terrible。從文本07句4.6的修改信息來看，學生對系統未識別的錯誤進行了修改。文本34初稿句1.1的時態錯誤被系統誤判為名詞錯誤，而學生通過自我反饋將change改為convert，但最終系統和學生都沒有意識到真正的錯誤。文本55初稿句1.4的反饋反復提示情態動詞誤用，但因為反饋信息模糊，導致學生錯誤地刪除了will。初稿句2.3中單詞collection被誤用作動詞，但是系統并未給出提示，其終稿反饋中提示了collection的誤用問題，但學生并未進行修改。

結果顯示，學生基本能根據反饋更正拼寫錯誤等易識別的錯誤。但并非所有修改行為都是按照AES系統反饋進行的，部分學生能夠根據已有知識識別并忽略部分錯誤反饋信息，或對系統沒有識別出的錯誤進行正確修改。這表明學生在修改過程中實現了有效的自我反饋，并不完全依賴AES反饋。但也存在學生被錯誤或模糊的反饋信息誤導的情況。因為部分學生完全信任AES反饋或缺乏相關英語知識，所以無法辨別反饋信息的對錯。此外，研究還發現，學生在線作文修改過程中，通常只關注錯誤提示的相關反饋，而忽略建議和警示內容。不排除大部分學生只想快速更正錯誤并完成自己的作文的可能性。

四、結語

本研究通過對90篇在線作文的初稿、終稿及對應的AES反饋進行分析發現，AES系統對詞匯部分的反饋，最常見且準確的是拼寫錯誤。但系統給出的反饋信息并非完全可靠。針對在線作文自我修改過程的特征，得出如下結論：（1）學習者能夠注意到AES反饋信息并修改易識別的詞匯錯誤，如拼寫錯誤;（2）學習者并不完全依賴AES反饋，且能進行有效的自我反饋;（3）AES反饋在某種程度上對學習者的自我反饋有負面影響;（4）學習者通常只關注對寫作錯誤的反饋，易忽略系統給出的建議和警示信息。

因此，AES系統更適用于作文修改的初始階段，用于識別簡單的詞匯拼寫和搭配錯誤等。這不但可以促使學生進行自我修改，還可以節省教師的時間，使其有更多精力去關注作文內容和結構。但在使用AES系統輔助寫作教學之前，教師需指導學生正確地使用AES系統進行在線寫作。同時，教師應讓學生知道AES反饋并非完全可信，應將已學知識和系統反饋相結合來修改作文。最后，教師應引導學生更多地關注AES系統提供的建議和警示部分，以擴展學生的語言知識面，培養學生的自主學習能力。

參考文獻：

[1]郭翠紅，秦曉晴.國外二語學習者作文書面反饋研究[J].解放軍外國語學院學報，2006（5）：59-63.

[2]楊曉瓊，戴運財.基于批改網的大學英語自主寫作教學模式實踐研究[J].外語電化教學，2015（2）：17-23.

[3]Carroll S，Swain M. Explicit and Implicit Negative Feedback：An empirical study of the learning of linguistic generalizations[J].Studies in Second Language Acquisition，1993（15）：357-386.

[4]Schmidt R.The Role of Consciousness in Second Language Learning[J].Applied Linguistics，1990（11）：129-158.

[5]武永，張文霞.作文自動評價系統和教師反饋對大學生英語作文修改的影響研究[J].中國外語教育，2016（1）：12-19，91.

責任編輯：張蕊