大數據背景下商務英語寫作人工與機器評分的實證研究

劉寧

摘要隨著大數據發展的瞬息萬變，基于語料庫的寫作軟件已經開始顛覆了傳統寫作的教學模式。本研究的重點是一種通用的作文自動評分系統，叫作“作文自動評分”（Automated Essay Scoring，簡寫AES），它是基于語料庫進行寫作的機器評分，已經被國內眾多高校采用。本研究將側重于商務英語寫作教學中教師評分與機器反饋的比較，同時，詳細分析了國內外關于AES的一些研究，目的是調查高職院校商務英語寫作課使用AES評分錯誤與教師評分錯誤是否存在差異，是否會呈現具體差異；學生對教師評分使用AES的態度和意見。

關鍵詞 大數據 商務英語寫作 機器評分

中圖分類號：G642.47文獻標識碼：ADOI：10.16400/j.cnki.kjdk.2021.17.013

An Empirical Study on Manual and Machine Scoring of Business English Writing in the Context of Big Data

LIU Ning

（Guangzhou City Construction College， Guangzhou， Guangdong 510925）

AbstractWith the rapid development of big data， corpus based writing software has begun to subvert the traditional teaching mode of writing. The focus of this study is a general composition automatic scoring system， called "automated essay scoring" （abbreviated AES）， which is a corpus based machine scoring system and has been adopted by many domestic universities. This study will focus on the comparison of teacher scoring and machine feedback in Business English writing teaching. Meanwhile， it analyzes some domestic and foreign studies on AES in detail. The purpose is toinvestigate whetherthereis anydifferencebetween the errorsofAESscoring andteacherscoringinBusiness English writing class in higher vocational colleges， and whether there will be specific differences； Students’ attitudes and opinions on the use of AES in teacher scoring.

Keywordsbig data； business English writing； machine scoring

寫作是將交際能力和語言知識與某些文化維度、認知和知識社會學相結合的過程。[1]商務英語專業作為高職院校的一門常見專業，是專業英語的一種，它要求學生能夠掌握接近于以英語為母語的人的英語書面和口頭技能進行商務和外貿工作。商務英語寫作作為專業基礎課之一，其寫作形式和表達方式具有獨特的特點，其教學方法提出了有別于普通寫作課更高的要求。學生需要能夠獨立處理各種外貿突發事件相關的函電，處理外貿訂單和發貨等工作。在真實的商務和外貿場景中，商務英語寫作將是與同事和客戶溝通的一種極其重要的手段。如何引導學生掌握商務英語寫作的專業格式和表達方式，以及學會避免寫作中因文化差異引起的一些誤解，是商務英語寫作課程教學的重點。高職院校商務英語專業的大部分學生對自己的專業充滿熱情，但是由于學生英語基礎薄弱，他們尤其害怕做英語寫作任務，往往選擇被動地對待寫作。同時，教師有批改作文的壓力，評價反饋時差大。

1理論基礎

1.1自動作文評分（AES）

自動作文評分（AES）是一個大規模的基于語料庫的計算機化系統，可以立即糾正所寫的文章，提供即時反饋，并對反饋進行分類。AES是指通過計算機評分產生的書寫反饋，是一種根據人工智能、正常語言模塊、語言處理和計算機技術相關語義分析產生評分的評分工具。[1]一個完善的AES系統可以為大規模評分提供許多好處，如特異性、寫作質量的提高、可管理性、一致性、評分報告和評分速度；節省成本，操作方便。[2]作為我國語言智力評估關鍵技術和應用的代表，Pigai被廣泛應用于大學、高職院校、中小學等教育機構。Pigai的處理原理是比較學生作文與標準語料庫之間的距離，通過一定的算法以數字和注釋的形式計算錯誤。該技術已獲得國內發明專利（專利號：ZL2012 10049982.4）。根據Pigai （www. com）主頁上的數據，AES已對超過5億篇文章進行了評分，采用AES機器評分法、教師修正評分法和同伴評分法三種方式進行評價。

1.2商務英語寫作教學的理論框架

過程教學法是一種以學生為中心，教師輔助的教學方法。在商務英語寫作中，由于商務英語的詞匯和句型比普通英語知識更難，學生的學習要求需要教師的幫助來提高。過程寫作法可以讓學生在不斷深入挖掘寫作問題的同時，提高英語思維能力和寫作能力。寫作過程和寫作內容一樣重要，寫作的有效性取決于寫作的過程。注意寫作過程可以幫助學生養成自我糾錯的寫作習慣，遵循語言習得的規律。一篇好的作文是在寫作的過程中產生的，這意味著錯誤是不斷被修改的。教師對寫作過程進行指導，學生合作完成任務；過程教學法將在今后的寫作教學中發揮重要作用。[3]

1.3 AES評分的研究背景

AES的實施可以是一種有效的輔助教學方式，根據對比初步數據與教師單獨的評價指導相比，AES可以提高寫作能力。[4]AES評閱的處理速度取決于AES服務器與語料庫的接觸頻率，在網上提交論文時，分數反饋的時間大約是2分鐘，這是一個令人印象深刻的原始處理速度。AES評分服務器每秒可以處理三篇論文；教師評分的校正水平高于AES評分。[5]另外，從整個作文的反饋及其性質來看，AES的評分與教師的評分相同或更高。即時反饋和評分一致性是AES評分相對于人工評分的兩個優點；AES評分反饋的準確性和有效性并不總是能令人滿意的。[6]從表1國內關于AES評分的研究示例可以看出，AES評分應用在大學英語課程應用較多。在尋找前人研究的過程中，以商務英語課程為基礎的AES研究較少。盡管AES評分有其優點，但AES評分存在的缺點是AES技術的一個真正的困境。AES的準確性和流暢性似乎是該系統的代表性特征；相反，AES評分不能評價文章的結構和內容是否與主題相關，因為它不能具有與人類相同的思維方式。AES系統可以與文章的長度密切相關，而不是提供有效的修辭控制的內容；AES的算法需要比現有的更關注重要的語言標記，以確保AES評分適合于分析評分，從而使語法特征和用法的評分更加可靠。[7]教師在課堂AES整合中起著核心作用，評價AES的屬性或考慮AES體系對學生寫作的影響應考慮教學環境；為保證AES的有效性，教師應考慮教學方法，AES評分的使用應與教師的寫作指導相結合。AES得分出現低于老師評分，由AES和教師評分呈現出顯著差異的詳細得分，這些發現表明，教師老師評分的得分高于AES得分。[8]崔總結了在英語寫作中實施AES評分的三點。首先，教師需要對AES評分持開放的態度，技術的更新會為教學帶來方便；其次，教師積極引導學生也是很重要的，教師應鼓勵學生在寫作中使用AES評分；再次，教師需要熟練掌握AES評分的具體功能，教師可以參與其他教師的培訓或學習。[9]AES評分數據庫可以連續積累簡單的表達方式和句型，但商務英語寫作的表達是基于真實的商務情境，這是AES評分的難點。另一方面，中國與其他國家的文化差異和表達方式的不同是ASE在處理商務交際寫作時遇到的兩個障礙，錯誤的信息或不一致的表達會引起溝通者之間的誤解和矛盾，會影響商務活動的正常進行。

2研究設計

2.1研究問題

（1）AES系統評分中的作文錯誤與商務英語寫作老師評分中的作文錯誤是否有區別？如果有，這些錯誤之間的具體區別是什么？

（2）使用AES評分法的商務英語學生和使用傳統的教師評分法的商務英語學生對AES評分的態度和觀點是怎樣的？

2.2研究對象

本研究選取了我國某高職院校商務英語專業的一年級學生160名，均有十年英語學習經驗。參與者的平均年齡約為19歲，英語水平為中級英語學習者。老師會根據分班測試的結果將受試者分成兩組，實驗組80人，對照組80人。實驗組選擇AES作為計算機寫作輔助評分，對照組選擇傳統論文寫作和教師評分。兩組商務英語寫作的授課老師是一樣的，教學內容和教學過程的設計也是一樣的。

2.3實驗過程

實驗組和對照組的教學過程和教學內容會保持一致，之后進行語言分班測試、寫作測試和問卷調查。參與者將參加英語統一分班考試，并根據分班考試安排上課。為保證分班英語考試的效度和信度，教師將選擇中國權威的國家英語考試作為考試內容，如2018年大學英語四級考試真題。在寫作測試后，所有研究對象將會填寫一份問卷。

在商務英語寫作課上，實驗組將使用AES作為每一篇寫作和評分工具，對照組將使用傳統的紙筆寫作和老師評分的方式。在10周的商務英語寫作教學后，將進行寫作測試。在本研究的寫作測試之初，教師將設計一個常見的商務情境，用過程寫作的方法學習如何在現實生活和商務世界的正式場合維護個人和集體利益進行投訴。老師將用一篇新聞作為導入，一位消費者花了66萬元買了一輛梅賽德斯-奔馳，不幸的是，汽車發動機出現了漏油現象。老師將介紹商務情境下的投訴信的例子，并分析其格式和有用的表達。最后，老師將安排本研究商務情境下投訴信的寫作測試，寫作背景如下。

你是藍天公司的市場部經理周曉娜，你的公司收到一批500箱黃色純棉t恤的貨物，但貨物上有各種不同的污漬。經你方詳細檢查，損壞是由于賣方的不當包裝造成，你方損失慘重?，F寫一封120到150字的投訴信給快樂服裝公司的銷售經理凱西·格林，要求對方調查此事，并盡快解決這起事故。

實驗組將使用AES系統- pigai進行數字化寫作。在寫作過程中，參與者不能使用AES的修改工具，寫作完成后立即提交。教師登錄AES導出作文錯誤分析的原始數據。對照組采用傳統的紙筆方式進行寫作測試，由老師對作文進行評分，并對錯誤和分數進行分類和分析。寫作測試完成后，參與者將回答一份問卷。自變量為AES系統評分中的作文錯誤和商務英語寫作教師評分中的作文錯誤，因變量為這兩種評分方法的差異。研究測試后，教師將收集160篇商務英語寫作的論文修改錯誤并進行分析，80篇論文采用AES分析功能進行評分，80篇作文將由教師評分。同時，問卷調查采用問卷星（https：//www.wjx.cn/）進行，使用SPSS進行頻率分析，總結實驗組和對照組對AES和傳統寫作的看法和意見。

3結果與分析

根據評分數據比較結果（表2），AES評分是高于教師評分，兩種方法之間是具備相關性的。根據問卷的結果，可以預期AES的優點是評分速度快，評分和更正錯誤會在幾秒鐘內呈現出來。學生可以根據這樣的優勢及時對寫作進行批改，并在批改過程中加強寫作。教師評分讓學生在寫作的真實環境中得到批改，但批改的時間無疑是不可能在幾秒鐘內做到的，這被稱為教師評分的最大困難。

通過對AES和教師評分的誤差分析，得出教師評分和AES評分之間的相關性和差異；具體評分細節分析結果如表3所示，表3中列出的錯誤類型是商務英語寫作糾正中常見的錯誤評分維度。

從調查問卷的分析結果可得知，實驗組對AES持積極態度，AES可以在幾秒鐘內完成作文評分，89%的被試表示AES加強了商務英語寫作的個人積極意愿，78%的被試更喜歡AES的糾正功能，他們可以多次糾正寫作以獲得高分。對照組對老師的評分有積極的態度，教師評分可能可以激發81%的參與者對商務英語寫作的興趣，80%的參與者可能已經很好地掌握了商務英語寫作的格式。因此，采取AES與教師評分相結合的教學方式是比較妥當的（表4）。

4結論

AES不能代替教師，它是教師的“智能助手”。根據前人的研究綜述，可以預計AES的錯誤可能與教師評分的錯誤有顯著差異。在商務英語寫作課程中，當使用AES進行論文修改時，教師需要結合自己的反饋來調整機器反饋。AES的優點是毋庸置疑的，但是由于商務英語課程的特殊性，教師需要對機器評測進行一些糾錯和指導。AES評分是一個“冰冷的”人機互動的過程，當AES結束評分時，錯誤只會以字母的形式顯示在計算機屏幕上，并要求學生修改，不需要溝通。教師評分是老師和學生在課堂上面對面、融入感情的交流，教師反饋的鼓勵詞可以幫助學生提高商務英語寫作的有效性。在進一步的研究中，本研究將繼續對寫作課的觀察，融合了學生寫作態度的寫作也是商務英語寫作教學的重要組成部分。

參考文獻

[1]Stevenson，M. A critical interpretative synthesis： The integration of automatedwritingevaluationintoclassroomwritinginstruction[J]. Computers and Composition，2016（42）：1-16.

[2]Elliot， N.， & Williamson， D. M. Assessing writing special issue： Assessing writing with automated scoring systems[J].Assessing Writing，2013（18）：1-6.

[3]Graham， S.， & Sandmel， K.The process writing approach： A metaanalysis [J]. The Journal of Educational Research， 2011 （104）： 396-407.

[4]Palermo，C.，& Thomson， M. M. Teacher implementation of self-regulated strategy development with an automated writing evaluation system： Effects on the argumentative writing performance of middle school students[J].Contemporary Educational Psychology，2018（54）： 255-270.

[5]Shermis，M.D.，Mzumara， H.R.，Olson， J.， &Harrington，S.On-line grading of student essays： PEG goes on the world wide web[J].Assessment & Evaluation in Higher Education， 2001（26）： 247-259.

[6]Liu， S.， & Kunnan， A. J. Investigating the application of automated writing evaluation to Chinese undergraduate English majors： A case study of Write To Learn[J].Calico Journal，2016（33）：71.

[7]Weigle，S.C.Englishlanguagelearnersandautomatedscoringofes- says： Critical considerations[J].Assessing Writing， 2013（18）： 85-99.

[8]Stevenson， M. A critical interpretative synthesis： The integration of automated writing evaluation into classroom writing instruction[J]. Computers and Composition，2016（42）：1-16.

[9]Choi，J.The impactofautomated essay scoring（AES）forimproving english language learner’s essay writing[J].ProQuest Dissertations Publishing，2010.

[10]江穎，金躍強，王茜.大數據方法對非英語專業學生英語寫作動機及水平的影響研究——以“句酷批改網”為例[J].當代教育理論與實踐，2019，011（002）：142-146.

[11]鐘歆.基于作文自動評分系統的高職學生英語寫作自我效能感研究[J].長沙通信職業技術學院學報，2017，016（004）：64-67

[12]陳艷.句酷批改網對不同水平高職英語學習者寫作能力的影響研究[J].長沙航空職業技術學院學報，2017，017（004）：34-39.

[13]李霞，鐘蘭鳳.作文自動評價系統在大學英語寫作教學中的實證研究——以句酷批改網為例[J].教學研究，2017，040（001）：57-61.