高職英語作文智能評閱與人工評閱的對比與分析

摘要：冰果英語智能作文評閱系統(tǒng)是冰果英語針對高等院校學(xué)生英語寫作教學(xué)推出的機器自動評閱大批量學(xué)生作文的服務(wù)產(chǎn)品，其目的旨在幫助教師減輕大批量批改作文的負(fù)擔(dān)，使學(xué)生多練多寫，從而提高學(xué)生的寫作能力。本研究以廣東科技學(xué)院2012級計算機專業(yè)專科大一的兩個班級（80人）的高職英語作文樣本為研究對象，將冰果英語智能作文評閱系統(tǒng)與人工評分進(jìn)行對比和分析，旨在探討冰果智能作文評閱系統(tǒng)與人工評分的差異性及一致性。

關(guān)鍵詞：高職英語作文；智能評閱；人工評閱；對比；分析

中圖分類號：H319文獻(xiàn)標(biāo)識碼：A文章編號：1006-026X（2013）12-0000-02

一、研究背景

英語作文是檢驗英語學(xué)習(xí)者寫作能力的一塊試金石。教師通過批改學(xué)生的作文，可以及時了解到學(xué)生在英語學(xué)習(xí)過程中存在的問題。然而，由于學(xué)生人數(shù)多、作文批量大、教師疲勞因素、時間因素、及情感因素等等，這使人工批改作文具有一定的主觀性。近幾十年來，“隨著計算機硬件和軟件及語言處理技術(shù)的快速發(fā)展，國內(nèi)外一批批作文自動評分系統(tǒng)相繼問世，如美國的PEG（Project Essay Grader），IEA（Intelligent Essay Assessor），E-rater（Electronic Essay Rater），IntelliMetricTM，及中國的冰果智能作文評閱系統(tǒng)等”（羅小莉，2012）。這些作文自動評分系統(tǒng)被應(yīng)用到英語寫作測試中，給作文批改帶來了新的希望。“冰果英語智能作文評閱系統(tǒng)是冰果英語針對高等院校學(xué)生英語寫作教學(xué)推出的機器自動評閱大批量學(xué)生作文的服務(wù)產(chǎn)品，目前很多國內(nèi)高校（包括浙江大學(xué)、浙江工商大學(xué)、浙江理工大學(xué)等在內(nèi)的浙江、上海和江蘇的十余所高校試用）都在使用該系統(tǒng)” （李立，2009）。

但是，冰果英語智能作文評閱系統(tǒng)與人工評分的結(jié)果是否一致？該系統(tǒng)是否能真正反映出學(xué)生的真實語言能力？針對這兩個問題，筆者對廣東科技學(xué)院2012級計算機專業(yè)專科大一的兩個班級（80人）進(jìn)行了教學(xué)實證研究。

二、研究設(shè)計

1.研究對象

廣東科技學(xué)院2012級計算機專業(yè)專科兩個班級的學(xué)生（80人）參加了本次研究。參加本次研究的學(xué)生經(jīng)過了大學(xué)一年級上半期的英語學(xué)習(xí)，掌握了基本的英語段落展開方式，系統(tǒng)地學(xué)習(xí)了語篇知識和組織結(jié)構(gòu)。參與研究的英語教師則一直工作在教學(xué)一線，能夠正確把握作文的命題與水平，并且公正地予以評估。

2.研究工具

本研究的工具是學(xué)生的作文樣本。教師和自動評分系統(tǒng)對這些作文樣本分別進(jìn)行評閱。分?jǐn)?shù)等級是0～15分，評閱方式是整體評分。

3.研究方法

我們采用的作文自動評分系統(tǒng)是冰果英語智能作文評閱系統(tǒng)。冰果英語智能作文評閱系統(tǒng)是針對高等院校英語寫作教學(xué)推出的機器自動評閱大批量學(xué)生作文的服務(wù)產(chǎn)品。目前，很多國內(nèi)高校（包括浙江大學(xué)、浙江工商大學(xué)、浙江理工大學(xué)等在內(nèi)的浙江、上海和江蘇的十余所高校試用）都在使用該系統(tǒng)。使用者普遍反饋，該系統(tǒng)能評出學(xué)生的實際寫作水平。人工評估時，我們采用的是整體評估法，要求教師對學(xué)生的作文從語言、內(nèi)容、篇章結(jié)構(gòu)三個方面進(jìn)行整體評分，并給出評語。

三、數(shù)據(jù)收集與分析

1.智能評閱與人工評閱結(jié)果的對比分析

我們收集了廣東科技學(xué)院2012級計算機專業(yè)專科兩個班級的學(xué)生80名學(xué)生的80份作文的電子文本，由智能評分系統(tǒng)和英語教師分別以整體評分的方式進(jìn)行評分。為得到智能評閱系統(tǒng)與人工評閱之間的真正差異，我們選取了學(xué)生2篇作文樣本進(jìn)行對比和分析。

作文樣本一：

說明：假設(shè)你是一位部門經(jīng)理王平，給應(yīng)聘者張輝回一封拒絕錄用函。

內(nèi)容：張輝來您公司應(yīng)聘，無論其背景還是計算機能力都給您留下了一定的印象，但是求職者的計算機水平依然未達(dá)到公司的要求，加之沒有受過有效的培訓(xùn)和工作年限不足5年，你（王平）不能錄用他，特寫此回絕錄用函給他，同時表示感謝他對本公司的關(guān)注。

時間：2007年6月26日

注意：不要照中文逐字翻譯，語氣要顯得客氣，總分15分。

（學(xué)生樣本一）

冰果英語智能作文評閱系統(tǒng)給學(xué)生樣本一的這篇作文打出了7.8分，并給出了如下的語法錯誤與評語：

語法錯誤：

1.[語法問題]June 26，2007

2.[拼寫提示]Zhang是不是：[Chang，hang，Chang，hang]

3.[搭配提示]sorry hire company inform

4.[句型提示]I m pleased：很高興...[搭配提示]pleased

5.[搭配提示]certain computer

6.[搭配提示]trust will

7.[語法問題]sincerely yours，

8.[語法問題]Wang Ping

評語：

Thanks for the good effort.The language in your writing is generally clear but with some errors.You have a good range of sentence structure and vocabulary.You have covered the points required and showed sufficient details.

然而，我們?nèi)斯ぴu閱的教師給這篇作文打出了12分，并作了如下的語法錯誤批改和評語。

語法錯誤：

1.文章第二段的時態(tài)沒有用一般過去式。

2.But your computer doesnt reach the standard level of our company，這句表達(dá)的電腦水平應(yīng)該用computer ability or computer skills.

3.I trust in your ability，把in去掉。

4.Division Manager，應(yīng)該先寫職位，再簽名。

評語：

整篇文章結(jié)構(gòu)清晰，英語表達(dá)通俗易懂。能熟練地使用英語的各種句型結(jié)構(gòu)來表達(dá)寫作的思想，用詞恰當(dāng)。不過文章中存在少量的語法錯誤，望今后寫作多注意此點。總之，這是一篇很好的習(xí)作。

作文樣本二：

說明：以學(xué)生會的名義，寫一份活動延期舉行的通知。

內(nèi)容：我們原定6月20日晚上七點在報告廳舉行講座。講座的題目是：大學(xué)畢業(yè)生如何正確擇業(yè)。因報告人Brown Company的王先生突然生病，講座推遲到6月22日晚上七點。

（學(xué)生樣本二）

冰果英語智能作文評閱系統(tǒng)給學(xué)生樣本二的這篇作文打出了8.5分，并作了如下的語法錯誤的修改與評語：

語法錯誤：

1.[語法問題]My dear classmates：該句可能存在語法問題。

2.[語法問題]originally scheduled for June 20th at seven oclock in the evening in the lecture hall held lectures will be postponed until June 22nd 7 at night held.該句可能存在語法問題。

3.[搭配提示]good You are good.

4.[詞語解析]admit：v.承認(rèn)，讓...進(jìn)入 ：admit作“承認(rèn)，允許進(jìn)人”解時，為及物動詞，其后可接名詞/動名詞、 that從句或to +動名詞，但不能接不定式；

[搭配提示]speaker ill admit hospital

[語法問題]Because the speaker Brown Company Mr Wang suddenly ill，need to be admitted to hospital.該句可能存在語法問題。

5.[搭配提示]hope forgive

6.[語法問題]this lecture content is：university graduates how to normal employment.該句可能存在語法問題。

7.[句型提示]I hope：我喜歡……

[詞語解析]able：adj.有才能的，能干的，能夠的 ：一般來說，able只能用于表 示人的能力，不能用于表示物的能力；情態(tài)動詞can或could表示一般的能力時，可與be able to替換使用， 但不可同時使用；able作表語時，其后只能跟動詞不定式，即：be able to do sth的結(jié)構(gòu)， 不跟 be able of doing sth 的結(jié)構(gòu)；

[搭配提示]hope will attend selection own thank

評語：

You did OK in your writing.The machine says，“Need more words to compute.” In other words，write a bit longer please？The language in your writing is generally clear but with some errors.You have a good range of sentence structure and vocabulary.Your essay seems to be relevant to the assigned topic.

然而，我們?nèi)斯ぴu閱的教師給這篇作文打出了5分，并作了如下的語法錯誤批改和評語。

語法錯誤：

1.書面通知中很少用稱呼，所以刪掉文章開頭的My dear classmates：

2.You are good.是英語中比較口語化的表達(dá)，在通知可以不使用。

3.Originally scheduled for June 20th at seven oclock in the evening in the lecture hall held lectures will be postponed until June 22nd 7 at night held.這句話主語、謂語、賓語分不清楚。

4.Because the speaker Brown Company Mr Wang suddenly ill，need to be admitted to hospital.這句話表達(dá)不完整，缺少謂語和主語。

5.Hope you will forgive me.“me”用詞不恰當(dāng)。

6.This lecture content is：university graduates how to normal employment.這句話意思表達(dá)清楚，缺少動詞。

7.I hope the students will be able to attend，increasing selection for choosing their own after graduation，thank you.這句話主語、謂語、賓語分不清楚。

8.文章的結(jié)尾沒有落款。

評語：

整篇文章結(jié)構(gòu)混亂，內(nèi)容不清晰。對英語基礎(chǔ)知識掌握不牢固，不能完整地表達(dá)完整句話的意思。此外，文章中存在大量的語法錯誤和用詞錯誤。

從冰果英語智能作文評閱系統(tǒng)和人工評閱系統(tǒng)來看，兩者評分的差異性較大。例如樣本一：智能作文評閱系統(tǒng)所列舉出的很多語法錯誤似乎都是我們?nèi)斯ぴu閱能夠容忍的，當(dāng)然這些語法錯誤在實際寫作當(dāng)中影響并不大。如Zhang是不是：[Chang，hang，Chang，hang]，sincerely yours和Wang Ping等等，這樣就會產(chǎn)生使用冰果英語智能作文評閱系統(tǒng)所評的作文得分低，而采用人工評閱學(xué)生的作文較高。再如樣本二：智能作文評閱系統(tǒng)對整篇的理解很機械化，沒有人為的主觀能動性。學(xué)生的作文寫得很長，所用的詞匯量多，內(nèi)容夠豐富且也涵蓋也寫作中所包含的要點，因此機器給這篇作文評出8.5分，這屬于中上水平的作文。然而我們教師在對學(xué)生的這篇作文從語言、內(nèi)容、篇章結(jié)構(gòu)三個方面進(jìn)行整體評分，只給出了5分。這其中的主要原因就是整篇文章結(jié)構(gòu)混亂，內(nèi)容不清晰。學(xué)生根本不能很好地掌握英語的基礎(chǔ)知識，行文中存在大量的語法錯誤和用詞錯誤，在文中很難能找到一句意思表達(dá)恰當(dāng)和完整的話。

四、結(jié)束語

無論是從應(yīng)試獲得高分的角度來看，還是從提高學(xué)生英語應(yīng)用能力來看，提高學(xué)生的英語寫作水平都是件迫在眉睫的事情。作文智能評分系統(tǒng)的到來無疑解決了英語教師欲布置大量練習(xí)卻無力批改的難題。但是，學(xué)生在英語寫作中更需要和教師進(jìn)行書面或面對面的交流，因為智能評分系統(tǒng)是冷冰冰的機器，只有靠教師的點撥和指出錯誤，學(xué)生才會有更大的進(jìn)步。因此，教師應(yīng)該將智能評分系統(tǒng)與人工評分結(jié)合起來使用，才能真正達(dá)到提高學(xué)生寫作水平的目的。當(dāng)然，如何將二者有效地結(jié)合起來使用，既節(jié)省教師的時間和精力，又滿足學(xué)生的實際需求，這仍然是英語教師在教學(xué)實踐中應(yīng)該不斷摸索的問題。

參考文獻(xiàn)

[1]冰果英語智能作文評閱系統(tǒng)[EB/OL].http：//www.Bingoenglish.com /

[2]葛詩利.中國學(xué)習(xí)者自動作文評分探索[J].外語界，2007，（5）.

[3]葛詩利，陳瀟瀟.國外自動作文評分技術(shù)研究[J].外語電化教學(xué)，2007（117），25-28.

[4]李立.作文自動評分：人工閱卷的“終結(jié)者”？[N].21世紀(jì)英語教育周刊，2009，（160）

[5]梁茂成.國外作文自動評分系統(tǒng)評述及啟示[J].外語電化教學(xué)，2007，（10）.

[6]梁茂成.中國學(xué)生英語作文自動評分模型的構(gòu)建[D].南京大學(xué)博士論文，2005.

[7]羅小莉.冰果智能作文評閱系統(tǒng)與人工評分的相關(guān)分析[J].讀寫算，2012（6）.

[8]魯艷輝等.智能寫作評分系統(tǒng)在大學(xué)英語寫作中的實證研究[J].現(xiàn)代教育技術(shù)，2010（6）.

[9]吳會芹.用現(xiàn)代化手段輔助語言測試[J].外語電化教學(xué)，2006，（6）：49-53.