冰果英語作文智能評閱的應用與利弊

郭春珍

[摘要]隨著冰果作文智能評閱系統的廣泛應用，自動評分系統的利弊逐漸顯露出來了。筆者從冰果英語作文智能評閱的評價入手，判斷其評分的主要依據，同時結合人工評閱，對該智能評閱系統的可信度進行分析。冰果英語作文智能評閱利弊并存，教師以及學生應該客觀地看待其評價結果。

[關鍵詞]大學英語作文；冰果英語作文智能評閱；利弊

[中圖分類號] G642[文獻標識碼] A

[文章編號] 1671-5918（2017）07-0148-02

doi：10.3969/j.issn.1671-5918.2017.07.069

[本刊網址] http：//www.hbxb.net

一、大學英語作文智能評閱的發展和應用

隨著現代教育技術的發展，自動作文評分系統在大學英語寫作教學中的應用越來越廣。自動作文評分（Automated Essay Scoring，簡稱為AES）是利用計算機技術對作文進行評估與記分。國外智能評閱的研究至今已有四十多年。1999年自動評分進入實際應用階段。作文自動評分利用統計技術、自然語言處理技術、信息檢索技術等，從作文文本中找出能夠直接反映文章質量的一系列文本特征項作為變量，以有效地預測作文質量。1997年出現的E-rater利用自然語言處理與統計技術，基于作文思想組織、句子結構和文章內容給出整體評分。它于1999年開始用于GMAT考試作文評分，2005年開始用于托福考試作文評分。試卷的最終得分由E-rater和一名閱卷員決定，如果E-rater跟閱卷員的評分結果相差超過1分，就要由第二名評卷員來處理。國內自動作文評分研究較晚。中國大學生的英語寫作在語法與措辭上與母語為英語的學生有著很大的差異。所以國外的AES系統并不完全適用于中國大學生。2005年，梁茂成以提取淺層文本特征為主，結合針對內容的潛在語義分析，得到了與人工評分較高的相關度。他于2009年初步完成了大規模考試英語作文自動評分系統的研制。到2014年，以梁茂成為總設計師，外語教學與研究出版社開發了i-Write寫作平臺。這是一套大學英語寫作教學系統，從語言、內容、篇章結構和技術規范對學生作文進行自動評閱。2011年，浙江大學外國語言文化與國際交流學院自主研發的冰果英語針對高等院校及高中生英語寫作教學推出了冰果英語智能作文評閱系統，從詞匯、語法、文風和內容等方面對學生作文給出意見反饋，同時給出評價，得出一個參考分數。經過推廣，冰果英語作文智能評閱系統已在全國幾百所院校中使用。本文中，作者所在的福建中醫藥大學正是從2011年9月開始試用冰果英語智能作文閱卷系統，至今已有5年的實踐積累。

二、冰果作文智能評閱的特點

筆者每年基本都擔任三個大班（120人）的大學英語教學。每學期，所有的學生都按要求完成冰果英語作文智能評閱系統里的五篇不同體裁的作文。作文題目借鑒了大學英語四級考試的內容，適合修大學英語課程的非英語專業的一年級學生。積累了學生五年多的在線寫作實踐，筆者總結出冰果英語作文智能評閱的評價包含了如下兩大特點：

（一）注重對特征模型的評價

冰果英語作文智能評閱系統中，學生提交完作文，經系統批改后，學生可以在系統界面的右側看到自己文章被分成一句一句的形式，每一句下面都有系統對該句的評價，包括拼寫錯誤、詞語解析、詞匯辨析、搭配提示、語法提示、句型提示和可能錯誤等。拼寫錯誤直接指出正確拼寫。這是計算機最直接的一個功能應用。詞語解釋是對文中所使用的詞匯的用法進行分析。詞匯辨析則列舉了幾個與文中使用過的某一詞匯相近的詞進行分析辨別。這兩種評價更多的是為學生提供學習資料，它體現的是該系統中存儲的語言信息，是跟學生的寫作內容及其是否存在錯誤并無太大關聯。搭配提示則是把文中學生應用過的搭配選出來，給計算機系統一個關于學生如何措辭的指示。同理，句型提示也是比對學生所使用的句型跟計算機存儲的句型是否有重復。語法提示則只羅列文中某一完整句子，指出其可能存在語法錯誤，并無確切指正。可能錯誤大多數情況則是指示學生輸入格式有錯，比如標點符號后面沒有留空格。計算機依據上述這一系列的特征模型形成一系列的特征成績，系統最后依據這些特征成績，得出最后的評分。

（二）評語模式固定

冰果英語作文智能評閱給出的綜合評語由四個方面組成：第一，總體評價，比如A good/solid piece of work或者Good job/Well done之類的概括。第二部分是對文章的語言進行評價，經常陳述為“文章中有一些小錯誤”。第三部分對文章中是否有使用英語句型或者詞匯豐富與否進行表達。最后一點圍繞文章主題是否深入來總結。最后，系統呈現一個分數給學生。基本上來說，綜合評語的評價內容的好壞跟系統給出的成績有一定的聯系。百分制的作文，全班平均分設定為65分，學生得分如果高于75分，系統的評語會包含good/excellent這樣的評價詞匯。但是總體而言，評語的內容沒有體現出學生之間的顯著差異，60分或者70分的作文有的時候得到的總體評價并沒有區別，給讀者一個過于籠統的感覺。尤其在指出文章中有錯誤的時候，計算機并沒有針對性地從錯誤的類型進行闡述。此外，冰果作文智能評閱評分的一個顯著特點是，教師可以給全班設定一個平均分期望值，最后全班的平均分就是該期望值。

三、冰果英語作文智能評閱的利與弊

在大學英語大班教學的大背景下，智能閱卷給大學英語教師提供了一個平臺，可以讓學生適量地甚至大量地進行寫作練習。該系統也能運用于大規模考試，如英語寫作比賽，為教師提供一個參考依據。這是人工批閱無法比擬的，計算機所特有的顯著優勢。一位大學英語教師要帶至少兩個或者多個學生數超過60人的班級，如果每學期布置五篇左右的作文，并且都手改的話，那教師的工作量就超負荷了。冰果英語作文智能評閱系統解決了作業數量大，教師人工無法及時批改這個問題。同時，提交截止日期之前，學生的作文可以隨時在線修改，系統也會實時給出一個參考成績。教師也可以實時查閱學生作業提交情況。此外，計算機還能反饋出作業當中的雷同卷。網絡所提供的及時反饋讓師生雙方都能最快地掌握反饋信息。從機器閱卷的可信度來看，筆者做了如下比較。筆者抽取了一個60人的班級三次不同體裁的作文進行人工閱卷。比對完三次人工閱卷與計算機閱卷的結果，筆者得到的相關系數分別為90%，92%和89%。因此，從整體上來看，計算機自動評閱的結果還是可靠的。

然而，機改與人工批改還是有一定的差距的，尤其通過計算機給出的評價可以看出機改與人工批改的主要區別。冰果英語作文評閱給出的評分和評語都是基于一系列的特征模型的數量而得出的，而人工批閱采取的是全局性的評價。人工批閱時，教師一般在短時間內通讀完學生的作文，再結合學生所使用的句型，語法和措辭等給出一個分數。更重要的是，教師常常會指出學生寫作中的具體錯誤，并幫助其修改，給出正確示范。教師會劃出學生作文中的好的句子或詞匯，也會在錯誤的原句上進行修正。同時，教師在評分后還會給出具體的評語，指出學生可提高的空間，比如段落結構該如何劃分，什么句型適合表達什么內容，什么詞匯適合什么語體。也就是說，人工批閱給學生的反饋是人性化的，也是有針對性的。從學生的主觀感受來說，他們會更認同教師人工批閱所帶來的親切感。筆者對同一屆三個班的學生進行過問卷調查，研究學生對智能閱卷和人工閱卷所持的態度。76%的學生認為機器閱卷不能代替人工閱卷，人工閱卷給他們更多動力去主動修改或者重寫作文。至于智能評閱評分的平均值由教師主觀設置這一點，由于學生每一次寫作的表現并不是穩定的，所以人為設置平均分也缺乏客觀性。

四、總結

在大學英語無法實現小班（30人）教學之前，冰果英語作文智能評閱系統是大學英語教師不可或缺的一個網絡教學助手。教師在利用該系統在線輔助教學的過程中還應兼顧課堂指導的作用。由于學生的寫作策略貧乏，教師如果沒有在學生在線寫作之前對其進行先導策略的教學，他們往往寫出來的作文篇章結構不清，思路混亂。寫作策略包括語言輸入策略、宏觀結構策略、模仿策略、糾錯策略和寫作實踐策略。教師應該在布置在線寫作之前先進行寫作策略的指導。寫作結束之后，教師可從在線提交的作文中抽取系統評閱出來的各個分數段的范文，發放給全班同學，供大家討論和學習。然后教師在課堂上再對這些范文的系統評價進行再評價，指出系統評閱沒有涉及的諸如文章的篇章結構、內容邏輯性和連貫性等方面存在的問題，從而更加全面地進行寫作教學。同時，教師也應該指導學生客觀地看待智能作文評閱系統，幫助學生認識到，在線寫作更重要的目的是增加學生寫作的量，并給予學生通過系統句子點評和提示不斷修改自身存在的語言錯誤的機會，從而提高學生寫作水平。所以學生不必糾結于系統有時不夠公正的評價結果，而應該積極地去利用在線系統所提供的資源進行寫作的學習

當然，筆者對冰果在線寫作的實證研究對象為自然班級，并沒有區分試驗組和對照組。本文的結論是基于筆者一學期的教學實踐而得出的。冰果英語作文智能評閱對學生寫作的提高較之傳統課堂寫作教學的作用有何不同，不在此研究之列。如果有合適的班級，教師們不妨嘗試對比研究，用更顯著的結論來客觀論證在線寫作的利弊。

參考文獻：

[1]TK Landauer，D Laham，PW Foltz. Automated Essay Scoring and Annotation of Essays with the Intelligent Essay Assessor[A].M.d.shermis & J burstein，2003：87-112.

[2]顧成華，王麗.基于句酷批改網的大學英語寫作教學實證研究[J].揚州大學學學報，2012（4）：92-96.

[3]石曉玲.在線寫作自動評改系統在大學英語寫作教學中的應用研究[J].現代教育技術，2012，22（10）：67-71.

[4]梁茂成，文秋芳.國外作文自動評分系統評述及啟示[J].外語電化學，2007（5）：18-24.

[5]梁茂成.中國學生英語作文自動評分模型的構建[M].北京：外語教學與研究出社，2011.

[6]梁茂成.大規模考試英語作文自動評分系統的研制[M].北京：高等教育出版社，2012.

[7]王初明，牛瑞英，鄭小湘.以寫促學——一項英語寫作教學改革的試驗[J].外語教學與研究（外國語文雙月刊），2000（3）：208.

[8]葛詩利.大學英語作文自動評分方法比較研究[J].廣東外語外貿大學學報，2010（5）：87.

[9]陳蕓.基于自動作文評分系統的英語寫作調查分析[J].語文學刊，2011（11）：72.

[10]彭黎.大學英語寫作自主學習策略的實證研究[J].咸寧學院學報，2010（3）：57.

The Application of Bingo English Writing System and the Analysis of its Advantages and Disadvantages

GUO Chun-zhen

（Fujian University of Traditional Chinese Medicine， Fuzhou Fujian 350122， China）

Abstract： With the increasing application of Bingo English writing system， the advantages and disadvantages of the automated essay scoring system have become obvious. The author analyzed the credibility of Bingo English writing system by judging the bases of its scoring and contrasting the differences between online scoring and human scoring. It is recommended by the author that both teachers and students should regard the automated scoring system as a tool to help students improve their writing rather than depend too much on it.

Key words： college English writing； Bingo English writing system； advantages and disadvantages

（責任編輯：章樊）