英語(yǔ)作文自動(dòng)評(píng)價(jià)系統(tǒng)技術(shù)的國(guó)內(nèi)研究與應(yīng)用

雷曉東

（淮海工學(xué)院外國(guó)語(yǔ)學(xué)院，江蘇 連云港 222005）

1 研究背景

國(guó)際上最早的寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng) (Automated Essay Evaluation System,AEES；Automated Writing Assessment System,AWAS；Automated Essay Scoring System,AESS)產(chǎn)生于美國(guó)，此后，有關(guān)自動(dòng)評(píng)價(jià)系統(tǒng)的研究也主要在美國(guó)進(jìn)行。綜觀國(guó)外寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)的發(fā)展歷程，大致可分為三個(gè)階段。第一階段發(fā)生于上世紀(jì)60年代，1966年，美國(guó)杜克大學(xué)(University of Duke)的Ellis Page等人開(kāi)發(fā)了PEG(Project Essay Grade)，它是世界上第一套作文自動(dòng)評(píng)分軟件。第二階段在上世紀(jì)90年代，出現(xiàn)了基于自然語(yǔ)言處理技術(shù)的E-rater(Electronic Essay Rater)、基于人工智能技術(shù)(AI)的Intellimetri和基于潛伏語(yǔ)義技術(shù)的IEA(Intelligent Essay Assessor)三種自動(dòng)評(píng)價(jià)系統(tǒng)。第三階段始于本世紀(jì)初，由以上評(píng)分引擎衍生的自動(dòng)評(píng)價(jià)系統(tǒng)如Criterion、My Access!、Holt Online Essay Scoring、Writing Roadmap等則逐漸趨向于自動(dòng)打分、個(gè)性化評(píng)語(yǔ)反饋、基于互聯(lián)網(wǎng)、提供寫(xiě)作輔助功能等多種性能兼而有之。[1]

在國(guó)內(nèi)，業(yè)已頒布的《國(guó)家中長(zhǎng)期教育改革和發(fā)展規(guī)劃綱要（2010-2020年）》明確指出[2]，信息技術(shù)對(duì)教育發(fā)展具有革命性的影響，必須給于高度重視。到2020年，全國(guó)范圍內(nèi)應(yīng)該力爭(zhēng)基本建成覆蓋城鄉(xiāng)各級(jí)各類(lèi)學(xué)校的教育信息化體系，以促進(jìn)教育內(nèi)容、教學(xué)手段和方法現(xiàn)代化。就受眾群體龐大的英語(yǔ)教學(xué)領(lǐng)域而言，國(guó)內(nèi)關(guān)于英語(yǔ)作文自動(dòng)評(píng)價(jià)系統(tǒng)的研究起步晚，缺乏系統(tǒng)性的綜述研究。

2 國(guó)內(nèi)研究回顧

2.1 理論研究

國(guó)內(nèi)關(guān)于英語(yǔ)寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)方面的理論研究始于本世紀(jì)初，偏重于推介國(guó)外的相關(guān)理論、相關(guān)的寫(xiě)作自動(dòng)評(píng)價(jià)軟件，或者探討某一項(xiàng)技術(shù)、某一學(xué)科的理論觀點(diǎn)對(duì)于寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)信度、效度的影響，理論研究總體來(lái)說(shuō)缺乏原創(chuàng)性和深度。部分研究的內(nèi)容帶有不徹底性，極少數(shù)的缺乏科學(xué)性，研究?jī)?nèi)容之間具有較強(qiáng)的重復(fù)性。

桂詩(shī)春[3]詳細(xì)介紹了潛伏語(yǔ)義分析（Latent Semantic Analysis,LSA）理論，通過(guò)舉例說(shuō)明使用了奇異值分解的線性代數(shù)的方法，減少維數(shù)有助于揭示語(yǔ)義的潛伏關(guān)系，討論了應(yīng)用LSA來(lái)進(jìn)行寫(xiě)作質(zhì)量評(píng)估，和根據(jù)LSA來(lái)開(kāi)發(fā)訓(xùn)練學(xué)生寫(xiě)作的軟件。該研究對(duì)于LSA的理?yè)?jù)等分析較為透徹，但關(guān)于LSA理論的應(yīng)用的討論，仍然僅僅局限于對(duì)國(guó)外相關(guān)研究的介紹，但是它屬于國(guó)內(nèi)最早探索英語(yǔ)作文自動(dòng)評(píng)價(jià)系統(tǒng)的研究。

張梅[4]介紹了美國(guó)自動(dòng)評(píng)分系統(tǒng)E-rater的工作原理,然后探討了其優(yōu)點(diǎn)和缺陷，以及在大學(xué)英語(yǔ)四、六級(jí)考試作文網(wǎng)上閱卷中的可行性。在其后續(xù)研究中，張梅，印勇[5]對(duì)英語(yǔ)作文計(jì)算機(jī)評(píng)分的相關(guān)概念進(jìn)行了概述，對(duì)4種主流技術(shù)原理進(jìn)行了綜述，并介紹了國(guó)外5個(gè)典型的英語(yǔ)作文計(jì)算機(jī)評(píng)分系統(tǒng)和國(guó)內(nèi)梁茂成教授主持研制的評(píng)分系統(tǒng)。最后，指出了有待進(jìn)一步研究的關(guān)鍵問(wèn)題。但是，研究結(jié)果中的部分參考文獻(xiàn)有誤，因而研究的科學(xué)性在一定程度上受到削弱。

梁茂成，文秋芳[6]從語(yǔ)言測(cè)試的角度,對(duì)國(guó)外具有代表性的三種作文自動(dòng)評(píng)分系PEG、IEA和E-rater進(jìn)行了比較研究，分析了其對(duì)我國(guó)自主開(kāi)發(fā)作文自動(dòng)評(píng)分系統(tǒng)所帶來(lái)的啟示。

葛詩(shī)利，陳瀟瀟[7]與陳瀟瀟，葛詩(shī)利[8]介紹了國(guó)外主要的幾種作文自動(dòng)評(píng)價(jià)軟件及其工作原理等。其中，后者特別提到國(guó)內(nèi)對(duì)自動(dòng)作文評(píng)分的需求和研究，以及EFL自動(dòng)作文評(píng)分研究在國(guó)外和國(guó)內(nèi)的發(fā)展與不足之處。這些研究與梁茂成的同類(lèi)研究，相比較其它的研究來(lái)說(shuō)，內(nèi)容方面表現(xiàn)出更為詳細(xì)、全面、科學(xué)的特點(diǎn)。

韓寧[9]介紹了當(dāng)時(shí)美國(guó)最流行的7個(gè)作文自動(dòng)評(píng)價(jià)系統(tǒng)的原理，并對(duì)它們進(jìn)行了評(píng)述。

唐錦蘭，吳一安[10]回顧和分析了迄今為止國(guó)內(nèi)外對(duì)英語(yǔ)寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)的相關(guān)應(yīng)用研究成果，發(fā)現(xiàn)教育技術(shù)的引進(jìn)不僅是技術(shù)層面的問(wèn)題，它還意味著一場(chǎng)涉及到使用者理念、認(rèn)識(shí)、方法和行為等方面的系統(tǒng)變革。此研究系批評(píng)性文獻(xiàn)綜述，旨在梳理迄今為止國(guó)內(nèi)外對(duì)寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)的應(yīng)用研究脈絡(luò)和主要成果，提煉其中的啟示，進(jìn)而提出后續(xù)研究方向。

劉建達(dá)[11]從現(xiàn)代網(wǎng)絡(luò)和計(jì)算機(jī)技術(shù)對(duì)語(yǔ)言測(cè)試與評(píng)估的影響的視角，指出隨著現(xiàn)代信息技術(shù)的發(fā)展，自動(dòng)作文評(píng)價(jià)系統(tǒng)在語(yǔ)言測(cè)試中的應(yīng)用將不斷得到普及，其次簡(jiǎn)要討論了國(guó)外幾種寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)的信度問(wèn)題，對(duì)計(jì)算機(jī)自動(dòng)評(píng)價(jià)系統(tǒng)應(yīng)用于語(yǔ)言測(cè)試提出了建議。

2.2 實(shí)證研究

萬(wàn)鵬杰[12]在國(guó)內(nèi)率先使用某電子評(píng)估軟件（名稱(chēng)不詳）對(duì)英語(yǔ)專(zhuān)業(yè)學(xué)生寫(xiě)作進(jìn)行評(píng)估，并對(duì)評(píng)估的效果進(jìn)行研究，實(shí)驗(yàn)表明，人工評(píng)估與電子軟件評(píng)估具有較高相關(guān)性，但電子軟件評(píng)測(cè)語(yǔ)法錯(cuò)誤時(shí)不如人工測(cè)評(píng)全面，而在文章結(jié)構(gòu)的評(píng)估方面，兩者各有優(yōu)勢(shì)，因此應(yīng)該更多地考慮如何使其更有效地輔助人工評(píng)估。

一些研究者對(duì)國(guó)外的寫(xiě)作自動(dòng)評(píng)價(jià)軟件進(jìn)行了實(shí)驗(yàn)研究，研究?jī)?nèi)容之間也同樣具有較強(qiáng)的重復(fù)性。蔣學(xué)清等[13]對(duì)寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)Writing Roadmap 2.0(WRM2.0)在大學(xué)英語(yǔ)寫(xiě)作中的教學(xué)應(yīng)用研究發(fā)現(xiàn),通過(guò)一學(xué)期的教學(xué),實(shí)驗(yàn)組和對(duì)照組的英語(yǔ)寫(xiě)作水平都有了明顯的進(jìn)步，而且實(shí)驗(yàn)組的進(jìn)步幅度更大。這說(shuō)明形成性評(píng)價(jià)方式和具有自動(dòng)反饋功能的在線寫(xiě)作工具在發(fā)展EFL學(xué)習(xí)者的寫(xiě)作能力方面可以發(fā)揮積極的作用。作者針對(duì)在線形成性評(píng)價(jià)工具在大學(xué)英語(yǔ)寫(xiě)作教學(xué)中的應(yīng)用與研究提出建議。該研究成為WRM2.0系統(tǒng)應(yīng)用于中國(guó)大學(xué)生英語(yǔ)寫(xiě)作學(xué)習(xí)的首批實(shí)驗(yàn)之一。另外，王淑雯[14]結(jié)合教學(xué)實(shí)踐，介紹了在寫(xiě)作教學(xué)中如何使用WRM2.0為師生提供多元化反饋，最后闡述了該系統(tǒng)的優(yōu)勢(shì)和劣勢(shì)。楊玲[15]對(duì)WRM2.0在高水平學(xué)生英語(yǔ)寫(xiě)作學(xué)習(xí)中的作用進(jìn)行了實(shí)驗(yàn)研究，分析了其利弊。周穎[16]通過(guò)WRM2.0的應(yīng)用實(shí)驗(yàn)，總結(jié)了自動(dòng)評(píng)分系統(tǒng)應(yīng)用過(guò)程的問(wèn)題、原因和對(duì)策，分析較為透徹。

作為國(guó)內(nèi)作文自動(dòng)評(píng)價(jià)系統(tǒng)研究方面的著名學(xué)者，吳一安，唐錦蘭[17]考察英語(yǔ)實(shí)驗(yàn)寫(xiě)作教學(xué)中融入自動(dòng)評(píng)價(jià)系統(tǒng)Writing Roadmap(WRM)對(duì)于高校英語(yǔ)教師和寫(xiě)作教學(xué)的影響。結(jié)果表明，寫(xiě)作教學(xué)從關(guān)注語(yǔ)言錯(cuò)誤轉(zhuǎn)化為關(guān)注內(nèi)容的挖掘和表達(dá)，從關(guān)注寫(xiě)作結(jié)果轉(zhuǎn)化為關(guān)注寫(xiě)作過(guò)程。教師的教學(xué)理念、行為、角色有所變化。唐錦蘭[18]基于一項(xiàng)為期兩年有關(guān)現(xiàn)代信息技術(shù)的形成性評(píng)價(jià)工具WRM的應(yīng)用研究，論證影響信息技術(shù)應(yīng)用于教學(xué)的關(guān)鍵除了最重要的要素教師因素之外，還包括機(jī)構(gòu)管理層的認(rèn)識(shí)和態(tài)度、信息技術(shù)本身、教師、技術(shù)融入教學(xué)的模式和學(xué)生四個(gè)因素。唐錦蘭，吳一安[19]將WRM應(yīng)用于教學(xué)實(shí)驗(yàn)，發(fā)現(xiàn)學(xué)生寫(xiě)作能力、自主學(xué)習(xí)能力以及寫(xiě)作教學(xué)過(guò)程都發(fā)生了積極性的變化。唐錦蘭[20]基于前人的研究成果，以WRM為例，提出一個(gè)基于寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)的集自主寫(xiě)作、多維反饋以及修改于一體的系統(tǒng)的先導(dǎo)模式，并應(yīng)用于為期一學(xué)年的高中生英語(yǔ)寫(xiě)作教學(xué)實(shí)驗(yàn)中，探討其在實(shí)際教學(xué)中的有效性。結(jié)果顯示，學(xué)生寫(xiě)作能力的發(fā)展以及寫(xiě)作教學(xué)過(guò)程的積極變化從一定程度上表明該先導(dǎo)模式的有效性。在教學(xué)實(shí)驗(yàn)過(guò)程中，先導(dǎo)模式也得到了優(yōu)化改進(jìn)。本研究的貢獻(xiàn)在于，提出并驗(yàn)證了現(xiàn)代信息技術(shù)應(yīng)用于寫(xiě)作的有效模式，特別是它開(kāi)創(chuàng)性的以高中生為實(shí)驗(yàn)對(duì)象，為未來(lái)相關(guān)的教學(xué)實(shí)踐和科研提供了重要參照。

唐進(jìn)[21]分析了自動(dòng)作文評(píng)分系統(tǒng)BETSY的工作原理，并且實(shí)證檢驗(yàn)該系統(tǒng)在英語(yǔ)作文自動(dòng)評(píng)分中的效果。

另一部分研究者則對(duì)國(guó)內(nèi)研發(fā)的作文自動(dòng)評(píng)價(jià)軟件進(jìn)行了實(shí)驗(yàn)，結(jié)果較為樂(lè)觀。白云[22]通過(guò)冰果英語(yǔ)智能作文評(píng)閱系統(tǒng)的教學(xué)實(shí)踐，對(duì)自動(dòng)作文評(píng)分系統(tǒng)的使用提出了建議，展望了其未來(lái)。魯艷輝等[23]運(yùn)用調(diào)查和定量研究方法對(duì)冰果英語(yǔ)智能作文評(píng)閱系統(tǒng)在大學(xué)英語(yǔ)寫(xiě)作教學(xué)中的運(yùn)用進(jìn)行反思性分析。研究表明，該系統(tǒng)在一定程度上提高了學(xué)習(xí)者的寫(xiě)作策略能力，男生的寫(xiě)作策略水平提高優(yōu)于女生，低水平組學(xué)習(xí)者的寫(xiě)作策略和寫(xiě)作能力提高優(yōu)于高水平組。

王鶯鶯[24]用實(shí)驗(yàn)檢驗(yàn)了《新視野大學(xué)英語(yǔ)》作文自動(dòng)評(píng)分系統(tǒng)的評(píng)分效度。結(jié)果顯示，系統(tǒng)作為一種適用于小規(guī)模語(yǔ)言測(cè)試和自我測(cè)試的通用評(píng)分模型，具有較高的測(cè)試效度，同時(shí)對(duì)于進(jìn)一步提高其效度提出了建議。

石曉玲[25]以句酷批改網(wǎng)應(yīng)用為例，通過(guò)教學(xué)實(shí)驗(yàn)，研究了在線寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)在英語(yǔ)寫(xiě)作教學(xué)中的適切性與局限性，對(duì)于正確使用作文自動(dòng)評(píng)價(jià)系統(tǒng)提出了建議。何旭良[26]從中國(guó)學(xué)習(xí)者語(yǔ)料庫(kù)（CLEC）中隨機(jī)抽出30篇英語(yǔ)作文作為樣本進(jìn)行研究，考察批改網(wǎng)的信度和效度。實(shí)驗(yàn)數(shù)據(jù)分析表明，批改網(wǎng)軟件有自身的優(yōu)點(diǎn)，但由于技術(shù)的局限性，其信度和效度都不夠完美，需要結(jié)合其它評(píng)價(jià)方式。

2.3 對(duì)本土化EFL寫(xiě)作評(píng)估系統(tǒng)的探索

曾用強(qiáng)[27]針對(duì)廣東外語(yǔ)外貿(mào)大學(xué)開(kāi)設(shè)的“網(wǎng)上英語(yǔ)寫(xiě)作過(guò)程化教學(xué)”實(shí)驗(yàn)課，開(kāi)發(fā)了一套過(guò)程化作文評(píng)估系統(tǒng)(PWESys 1.00)，該系統(tǒng)包括量表設(shè)置、作文提交、作文標(biāo)注、作文分析和評(píng)估檔案等五大功能。它根據(jù)設(shè)定的評(píng)估參數(shù)以及教師的標(biāo)注信息，對(duì)學(xué)生的作文作出統(tǒng)計(jì)分析，最后利用文字或圖表的形式顯示總評(píng)估、每個(gè)學(xué)生的評(píng)估結(jié)果以及寫(xiě)作的發(fā)展過(guò)程等。本研究成果PWESys 1.00雖然僅僅是一個(gè)半自動(dòng)化的評(píng)價(jià)工具，但作為國(guó)內(nèi)本土化EFL寫(xiě)作評(píng)估系統(tǒng)探索方面的先鋒之作，其對(duì)于英語(yǔ)作文自動(dòng)評(píng)價(jià)系統(tǒng)在國(guó)內(nèi)的研究與推廣應(yīng)用具有重要的促進(jìn)作用。

作為國(guó)內(nèi)作文自動(dòng)評(píng)價(jià)系統(tǒng)技術(shù)（AESS）研究領(lǐng)域非常活躍的學(xué)者，葛詩(shī)利，陳瀟瀟[28]分析了AESS在二語(yǔ)作文和外語(yǔ)作文評(píng)價(jià)方面的表現(xiàn)，只是初步提出了開(kāi)發(fā)適合中國(guó)英語(yǔ)學(xué)習(xí)者的自動(dòng)評(píng)價(jià)系統(tǒng)的構(gòu)想。在后續(xù)的研究中，李艷，葛詩(shī)利[29]以中國(guó)學(xué)生的作文作為語(yǔ)料，對(duì)于國(guó)際上通用的作文自動(dòng)評(píng)分分級(jí)詞表的效度進(jìn)行了研究，結(jié)果表明，這一通用詞表應(yīng)用于中國(guó)學(xué)生的作文，評(píng)價(jià)效果不佳，進(jìn)而提出對(duì)該詞表的改進(jìn)方法與評(píng)測(cè)方式，并且有效性得到了初步驗(yàn)證。

葛詩(shī)利[30]設(shè)計(jì)了一款面向大學(xué)非英語(yǔ)專(zhuān)業(yè)教學(xué)、非特定題目、一次訓(xùn)練多次使用的通用、帶反饋的作文自動(dòng)評(píng)價(jià)系統(tǒng)，探索計(jì)算機(jī)對(duì)于中介語(yǔ)作文自動(dòng)查錯(cuò)反饋的可行性和具體方法。利用詞匯特征(作文長(zhǎng)度、詞匯多樣性、分級(jí)詞匯分布)、短語(yǔ)特征、一級(jí)詞語(yǔ)的二元接續(xù)特征等技術(shù)進(jìn)行作文語(yǔ)言方面的查錯(cuò)反饋，運(yùn)用文本聚類(lèi)方法檢查作文內(nèi)容是否跑題。研究發(fā)現(xiàn)，該評(píng)分模型對(duì)于日常大學(xué)英語(yǔ)寫(xiě)作教學(xué)具有一定的參考價(jià)值，但是中介語(yǔ)作文評(píng)價(jià)不能完全依靠計(jì)算機(jī)來(lái)完成。此后，葛詩(shī)利，陳瀟瀟[31]和葛詩(shī)利[32][33]分別針對(duì)研制本土化EFL寫(xiě)作評(píng)估系統(tǒng)所涉及的文本聚類(lèi)技術(shù)、詞匯接續(xù)錯(cuò)誤自動(dòng)識(shí)別技術(shù)、關(guān)于評(píng)價(jià)作文語(yǔ)言運(yùn)用的三種自動(dòng)評(píng)分方法等相關(guān)技術(shù)方面的問(wèn)題進(jìn)行了探討。另外，葛詩(shī)利，陳瀟瀟[34]還討論了本土化EFL自動(dòng)評(píng)分研究中涉及的評(píng)分標(biāo)準(zhǔn)、針對(duì)性、通用性和人機(jī)界面的劃分等四大問(wèn)題及對(duì)策。這些研究，在前人研究的基礎(chǔ)上更加全面、深入，逐漸具有數(shù)據(jù)確鑿、論證充分的特點(diǎn)。但同時(shí)也具有部分重復(fù)性。

李金輝[35]根據(jù)潛伏語(yǔ)義分析理論(Latent Semantic Analysis)研制出中國(guó)學(xué)生英語(yǔ)作文自動(dòng)評(píng)分系統(tǒng)LEES(LSA-based EFL Essay Scorer)，對(duì)中國(guó)大學(xué)生四、六級(jí)英語(yǔ)作文樣本進(jìn)行評(píng)分，結(jié)果顯示，機(jī)器評(píng)分與人工評(píng)分結(jié)果成微弱的正相關(guān)，因此，LSA還不能正式用于對(duì)中國(guó)學(xué)生英語(yǔ)四、六級(jí)作文進(jìn)行自動(dòng)評(píng)分。該研究對(duì)將來(lái)研發(fā)理想的中國(guó)學(xué)生英語(yǔ)作文自動(dòng)評(píng)分系統(tǒng)提供了啟示。

李霞，劉建達(dá)[36]提出了一種能夠有效識(shí)別中國(guó)英語(yǔ)學(xué)習(xí)者寫(xiě)作文本特點(diǎn)并能自動(dòng)識(shí)別特征維數(shù)的特征選擇方法，并在此基礎(chǔ)上提出了一種適用于不平衡分布數(shù)據(jù)的集成分類(lèi)評(píng)分算法。它相比傳統(tǒng)面向分布均勻數(shù)據(jù)的分類(lèi)方法具有較高的準(zhǔn)確率，能夠有效地應(yīng)用于中國(guó)英語(yǔ)學(xué)習(xí)者的作文自動(dòng)評(píng)分中。

蔣艷，馬武林[37]通過(guò)軟件本身介紹、工作原理、應(yīng)用實(shí)例、效度分析、存在問(wèn)題等幾方面介紹了句酷批改網(wǎng)，為國(guó)內(nèi)迄今為止較為全面、詳細(xì)、深刻的批改網(wǎng)研究。有利于促進(jìn)國(guó)內(nèi)自動(dòng)作文評(píng)價(jià)技術(shù)的不斷改進(jìn)完善，有助于其在國(guó)內(nèi)教育領(lǐng)域的推廣和普及。

劉衛(wèi)忠，余力[38]設(shè)計(jì)了一種基于鏈語(yǔ)法（Link Grammar）的能為我國(guó)EFL學(xué)生提供實(shí)時(shí)訓(xùn)練的英語(yǔ)作文自動(dòng)評(píng)分系統(tǒng)。系統(tǒng)首先根據(jù)Link Grammar對(duì)句子分析后的成本向量（cost vector）計(jì)算文章的語(yǔ)法權(quán)值，其次則利用文章核心詞、非核心詞熵值和有效句比例來(lái)對(duì)作文主題分檔，最后則是結(jié)合語(yǔ)法權(quán)值和主題分檔結(jié)果計(jì)算作文分?jǐn)?shù)。采用整體評(píng)分的方法對(duì)中國(guó)學(xué)生英語(yǔ)作文自動(dòng)評(píng)分系統(tǒng)進(jìn)行了探索和研究。此研究的研究人員全部來(lái)自計(jì)算機(jī)技術(shù)專(zhuān)業(yè)領(lǐng)域，缺乏語(yǔ)言教師或語(yǔ)言研究專(zhuān)家的協(xié)同參與，因此，在選擇最能體現(xiàn)作文質(zhì)量的文本特征變量方面難以保證相對(duì)的有效性，研究結(jié)果的科學(xué)性有待于進(jìn)一步求證。

3 國(guó)內(nèi)主要英語(yǔ)作文自動(dòng)評(píng)價(jià)工具軟件

3.1 句酷批改網(wǎng)

由北京詞網(wǎng)科技有限公司研發(fā)，于2011年4月開(kāi)始展開(kāi)大規(guī)模使用。它是一個(gè)基于語(yǔ)料庫(kù)和云計(jì)算技術(shù)的英語(yǔ)作文在線自動(dòng)批改服務(wù)網(wǎng)站。批改網(wǎng)的核心算法是計(jì)算學(xué)生作文和標(biāo)準(zhǔn)語(yǔ)料庫(kù)之間的距離，再通過(guò)一個(gè)映射將距離轉(zhuǎn)化成作文分?jǐn)?shù)和評(píng)語(yǔ)。核心技術(shù)點(diǎn)是將每一篇輸入的作文分析成可測(cè)量的192個(gè)維度，分析過(guò)程充分利用了先進(jìn)的自然語(yǔ)言技術(shù)和機(jī)器學(xué)習(xí)的方法，每篇作文先被自動(dòng)切分成句子，然后對(duì)每個(gè)句子進(jìn)行深度的語(yǔ)義分析，從中抽取詞、搭配、詞組等結(jié)構(gòu)化單元。[39]主要功能包括：分?jǐn)?shù)即刻顯現(xiàn)、圖文報(bào)表式作文分析結(jié)果、錯(cuò)誤自動(dòng)批改、點(diǎn)評(píng)細(xì)致入微、階段性進(jìn)度報(bào)告、抄襲檢測(cè)等[40]。

批改網(wǎng)是完全自主研發(fā)的國(guó)產(chǎn)軟件，從核心引擎到批改應(yīng)用都是完全自主知識(shí)產(chǎn)權(quán)的[41]。它體現(xiàn)寫(xiě)作教學(xué)的多樣性，鼓勵(lì)學(xué)生的自主性學(xué)習(xí)、探索性學(xué)習(xí)、團(tuán)隊(duì)式學(xué)習(xí)、研究型學(xué)習(xí)等教與學(xué)新模式。

3.2 冰果英語(yǔ)智能作文評(píng)閱系統(tǒng)

杭州增慧網(wǎng)絡(luò)科技有限公司聯(lián)合浙江大學(xué)、外語(yǔ)教學(xué)與研究出版社，以及中外人工智能專(zhuān)家隊(duì)伍，依據(jù)語(yǔ)言教學(xué)理論、計(jì)算機(jī)網(wǎng)絡(luò)教育技術(shù)、大規(guī)模數(shù)據(jù)挖掘技術(shù)，研發(fā)出這一個(gè)性化智能化的作文評(píng)閱軟件。它可以即時(shí)給出作文評(píng)分，并從詞匯、語(yǔ)法、文風(fēng)、內(nèi)容等方面給出反饋。但是，該系統(tǒng)目前無(wú)法做到用戶(hù)同一篇作文多次反復(fù)修改，多次提交給系統(tǒng)，并得到系統(tǒng)的即時(shí)評(píng)閱和反饋。

3.3 TRP教學(xué)資源平臺(tái)

經(jīng)過(guò)對(duì)一線教師的調(diào)研及需求分析，高等教育出版社與清華大學(xué)楊永林教授的科研團(tuán)隊(duì)合作研究，2010年10月正式對(duì)外發(fā)布了《體驗(yàn)英語(yǔ)寫(xiě)作教學(xué)資源平臺(tái)》。

2012年3月，該平臺(tái)的升級(jí)版產(chǎn)品《TRP教學(xué)資源平臺(tái)》面世。它根據(jù)寫(xiě)作教學(xué)需求，將數(shù)字化、網(wǎng)絡(luò)化與區(qū)域化教學(xué)平臺(tái)進(jìn)行了有機(jī)的整合，并涵蓋了資源建設(shè)、平臺(tái)構(gòu)建、寫(xiě)作學(xué)習(xí)、句型練習(xí)、語(yǔ)法測(cè)驗(yàn)、作文評(píng)分、寫(xiě)作研究、評(píng)語(yǔ)生成、作為考試等功能。為高校英語(yǔ)教學(xué)的進(jìn)一步改革提供了“專(zhuān)本碩博，四級(jí)貫通”的可操作平臺(tái)。特別一提的是，學(xué)術(shù)寫(xiě)作是該寫(xiě)作軟件系統(tǒng)的特色版塊，從這一點(diǎn)來(lái)講，TRP教學(xué)資源平臺(tái)似乎對(duì)于研究型高校的學(xué)習(xí)者來(lái)說(shuō)具有更加特殊的意義。

3.4 “易改”

由杭州硅易科技有限公司（Greedy Intelligence）利用先進(jìn)的人工智能（AI）、自然語(yǔ)言處理（NLP）技術(shù)，自主研發(fā)的一款基于云計(jì)算的免費(fèi)英語(yǔ)寫(xiě)作輔助軟件。用戶(hù)可以免費(fèi)注冊(cè)使用該網(wǎng)站。其主要功能包括：（1）一鍵檢查：檢查英語(yǔ)文本拼寫(xiě)、語(yǔ)法糾錯(cuò)和文章風(fēng)格等；（2）錯(cuò)誤解釋?zhuān)簩?duì)錯(cuò)誤類(lèi)型和錯(cuò)誤原因給予詳盡的解釋和說(shuō)明；（3）寫(xiě)作潤(rùn)色：可在不更改原意的情況下為用戶(hù)潤(rùn)色詞語(yǔ)。不同于傳統(tǒng)的糾錯(cuò)算法，易改創(chuàng)新性地采用了基于NLP與機(jī)器學(xué)習(xí)的糾錯(cuò)方法，通過(guò)讓機(jī)器學(xué)習(xí)模型大量閱讀（一萬(wàn)億詞級(jí)別）“正確的”英語(yǔ)，訓(xùn)練出一個(gè)精確性非常高的模型。每遇到一個(gè)輸入的句子，易改的后端模型會(huì)首先分析每個(gè)句子結(jié)構(gòu)并根據(jù)在機(jī)器學(xué)習(xí)訓(xùn)練集中“正確的英語(yǔ)”及句子中的上下文來(lái)判斷寫(xiě)作是否有誤。1Checker（易改）獨(dú)創(chuàng)性地基于人工智能開(kāi)發(fā)了糾錯(cuò)和智能潤(rùn)色引擎，可以智能地發(fā)現(xiàn)英語(yǔ)文本中的錯(cuò)誤，提出潤(rùn)色建議，提高了寫(xiě)作準(zhǔn)確率的成文質(zhì)量。另外，其客戶(hù)端集成了詞典、翻譯、搜索、分析解釋和寫(xiě)作模板等輔助功能，方便用戶(hù)寫(xiě)作時(shí)使用。

3.5 大規(guī)模考試英語(yǔ)作文自動(dòng)評(píng)分系統(tǒng) (EFL Essay Evaluator 1.0；EEE1.0)

北京外國(guó)語(yǔ)大學(xué)梁茂成教授的研究團(tuán)隊(duì)，在前期的研究成果——中國(guó)學(xué)生英語(yǔ)作文自動(dòng)評(píng)分模型的基礎(chǔ)上[42][43]，對(duì)其中的變量進(jìn)行了更大規(guī)模的驗(yàn)證，進(jìn)一步確定其中對(duì)作文質(zhì)量具有穩(wěn)定預(yù)測(cè)能力的文本特征，同時(shí)結(jié)合第二語(yǔ)言習(xí)得理論、語(yǔ)料庫(kù)語(yǔ)言學(xué)理論、測(cè)試學(xué)、統(tǒng)計(jì)學(xué)，利用自然語(yǔ)言處理技術(shù)，挖掘出更多更穩(wěn)定的文本特征變量，最終使原有評(píng)分模型得到了優(yōu)化。于2012年研制出了大規(guī)模考試英語(yǔ)作文自動(dòng)評(píng)分系統(tǒng)。經(jīng)過(guò)多輪多次隨機(jī)抽樣組建不同的訓(xùn)練集，驗(yàn)證了該系統(tǒng)的評(píng)分信度已經(jīng)達(dá)到了可操作可推廣水平。[44]

該評(píng)分軟件存在局限性。鑒于我國(guó)大規(guī)模英語(yǔ)考試考生數(shù)量十分龐大，而該軟件研制過(guò)程中僅使用了1000多篇學(xué)生作文作為實(shí)驗(yàn)樣本，[45]總體樣本量距離大規(guī)模考試中的作文總體樣本量差距較大，其評(píng)分信度未免受到一定影響；對(duì)于極具創(chuàng)新性的學(xué)生作文的質(zhì)量?jī)?yōu)劣缺乏判斷能力；僅僅適用于對(duì)議論文和說(shuō)明文體的作文進(jìn)行評(píng)價(jià)。

4 小結(jié)

與國(guó)外作文自動(dòng)評(píng)價(jià)系統(tǒng)的研究已經(jīng)有60多年的歷史相比，國(guó)內(nèi)在這一領(lǐng)域的研究相對(duì)滯后，且以漢語(yǔ)作文的自動(dòng)評(píng)分系統(tǒng)研究為主流。國(guó)內(nèi)關(guān)于英語(yǔ)作文自動(dòng)評(píng)價(jià)系統(tǒng)的研究起步更晚，數(shù)量更少。理論研究多為介紹西方的成果和技術(shù)，相關(guān)的實(shí)證研究數(shù)量有限，只是最近幾年才有所增加，對(duì)于開(kāi)發(fā)適合中國(guó)國(guó)情的EFL寫(xiě)作評(píng)估系統(tǒng)的研究也較為匱乏，實(shí)際可以用于實(shí)踐的英語(yǔ)作文自動(dòng)評(píng)估軟件較少。這一領(lǐng)域的研究面臨著巨大的機(jī)遇和挑戰(zhàn)。

開(kāi)發(fā)作文自動(dòng)評(píng)價(jià)系統(tǒng)（AEES）是一項(xiàng)全新而復(fù)雜的技術(shù)，涉及諸多領(lǐng)域的知識(shí)，應(yīng)該遵循跨學(xué)科的理念，特別強(qiáng)調(diào)文理滲透、多學(xué)科交叉協(xié)作的研究方法，企業(yè)、高校、技術(shù)提供商三者深度聯(lián)袂，以英語(yǔ)寫(xiě)作教學(xué)現(xiàn)實(shí)為基礎(chǔ)，以問(wèn)題為導(dǎo)向，同時(shí)，理論研究、技術(shù)開(kāi)發(fā)、教學(xué)應(yīng)用及反饋三方面緊密聯(lián)合，積極互動(dòng)，共克難關(guān)。鑒于現(xiàn)代科技的日新月異，應(yīng)該密切關(guān)注并結(jié)合最新的自然語(yǔ)言處理技術(shù)、人工智能技術(shù)、統(tǒng)計(jì)學(xué)、信息檢索技術(shù)、語(yǔ)料庫(kù)技術(shù)及相關(guān)的第二語(yǔ)言習(xí)得、語(yǔ)言學(xué)(語(yǔ)義學(xué)、計(jì)算語(yǔ)言學(xué)、語(yǔ)料庫(kù)語(yǔ)言學(xué)等)等研究成果，不斷努力，糾正并深入挖掘最能體現(xiàn)英語(yǔ)作文水平的文本特征變量，優(yōu)化現(xiàn)有的作文自動(dòng)評(píng)估軟件，開(kāi)發(fā)新的更為先進(jìn)的評(píng)估軟件。

由于自然語(yǔ)言本身的極端復(fù)雜性，加上現(xiàn)有技術(shù)的局限性，現(xiàn)階段的英語(yǔ)作文自動(dòng)評(píng)價(jià)系統(tǒng)軟件尚存在諸多缺陷，英語(yǔ)寫(xiě)作教學(xué)或測(cè)試中單獨(dú)依賴(lài)機(jī)器的做法不可取。實(shí)際寫(xiě)作訓(xùn)練中，教師適時(shí)合理的人工評(píng)閱和指導(dǎo)、學(xué)生自我評(píng)價(jià)、同儕互評(píng)等不可或缺。現(xiàn)代科技的日益迅猛發(fā)展，使得根據(jù)不同歷史時(shí)期技術(shù)的發(fā)展水平，合理確定機(jī)器和人的分工，動(dòng)態(tài)推進(jìn)，取長(zhǎng)補(bǔ)短，最大限度地發(fā)揮二者的優(yōu)勢(shì)顯得十分必要。這樣才有助于保證作文評(píng)價(jià)過(guò)程的信度。

特別致謝：該論文在寫(xiě)作過(guò)程中，高等教育出版社、句酷批改網(wǎng)等相關(guān)部門(mén)技術(shù)人員協(xié)助提供相關(guān)數(shù)據(jù)。謹(jǐn)表謝忱。

［1］［10］唐錦蘭,吳一安.在線英語(yǔ)寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)應(yīng)用研究述評(píng)[J].外語(yǔ)教學(xué)與研究,2011(2)：273-282.

［2］國(guó)家中長(zhǎng)期教育發(fā)展規(guī)劃(2010-2020).[DB/OL].http：//www.china.com.cn/policy/txt/2010-03/01/content_19492625_3.htm，2015-01-15.

［3］桂詩(shī)春.潛伏語(yǔ)義分析的理論及其應(yīng)用[J].現(xiàn)代外語(yǔ),2003(1)：76-84.

［4］張梅.英語(yǔ)論文自動(dòng)評(píng)分系統(tǒng)探索[J].重慶大學(xué)學(xué)報(bào)：社會(huì)科學(xué)版,2005(3)：95-97.

［5］張梅,印勇.英語(yǔ)作文計(jì)算機(jī)評(píng)分技術(shù)綜述[J].外語(yǔ)電化教學(xué),2010(6)：44-47.

［6］梁茂成,文秋芳.國(guó)外作文自動(dòng)評(píng)分系統(tǒng)評(píng)述及啟示[J].外語(yǔ)電化教學(xué),2007(5)：18-24.

［7］葛詩(shī)利,陳瀟瀟.國(guó)外自動(dòng)作文評(píng)分技術(shù)研究[J].外語(yǔ)電化教學(xué),2007(5)：25-29.

［8］陳瀟瀟,葛詩(shī)利.自動(dòng)作文評(píng)分研究綜述[J].解放軍外國(guó)語(yǔ)學(xué)院學(xué)報(bào),2008(05)：78-83.

［9］韓寧.幾個(gè)英語(yǔ)作文自動(dòng)評(píng)分系統(tǒng)的原理與評(píng)述[J].中國(guó)考試(研究版),2009(3)：37-44.

［11］劉建達(dá).現(xiàn)代技術(shù)與語(yǔ)言測(cè)試——應(yīng)用、影響及發(fā)展方向[J].外語(yǔ)電化教學(xué),2013(4)：46-51.

［12］萬(wàn)鵬杰.電子軟件評(píng)估系統(tǒng)測(cè)試大學(xué)英語(yǔ)寫(xiě)作的研究報(bào)告[J].外語(yǔ)電化教學(xué),2005(3)：11-13.

［13］蔣學(xué)清,等.探析自動(dòng)作文評(píng)價(jià)系統(tǒng)對(duì)大學(xué)生英語(yǔ)寫(xiě)作能力發(fā)展的影響[J].山東外語(yǔ)教學(xué),2011(6)：36-43.

［14］王淑雯.如何利用Writing Roadmap 2.0進(jìn)行在線英語(yǔ)寫(xiě)作反饋[J].現(xiàn)代教育技,2011(3)：76-81.

［15］楊玲.作文自動(dòng)評(píng)價(jià)系統(tǒng)在高水平學(xué)生英語(yǔ)寫(xiě)作學(xué)習(xí)中的應(yīng)用[J].現(xiàn)代教育技術(shù),2013(5)：76-81.

［16］周穎.在線形成性評(píng)價(jià)工具在英語(yǔ)寫(xiě)作中的應(yīng)用——困難及對(duì)策探究[J].現(xiàn)代教育技術(shù),2011(9)：88-93.

［17］吳一安,唐錦蘭.融入自動(dòng)評(píng)價(jià)系統(tǒng)的英語(yǔ)寫(xiě)作實(shí)驗(yàn)教學(xué)對(duì)高校英語(yǔ)教師的影響研究[J].外語(yǔ)電化教學(xué),2012(4)：3-10.

［18］唐錦蘭.信息技術(shù)應(yīng)用于教學(xué)的關(guān)鍵要素探究——項(xiàng)教學(xué)實(shí)驗(yàn)的啟示[J].中國(guó)遠(yuǎn)程教育,2012(7)：75-80.

［19］唐錦蘭,吳一安.寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)在大學(xué)英語(yǔ)教學(xué)中的應(yīng)用研究[J].外語(yǔ)與外語(yǔ)教學(xué),2012(4)：53-59.

［20］唐錦蘭.探究寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)在英語(yǔ)教學(xué)中的應(yīng)用模式[J].外語(yǔ)教學(xué)理論與實(shí)踐,2014(1)：49-57.

［21］唐進(jìn).BETSY在自動(dòng)作文評(píng)分中的原理與應(yīng)用[J].當(dāng)代外語(yǔ)研究,2011(1)：44-47.

［22］白云.自動(dòng)作文評(píng)分在大學(xué)英語(yǔ)教學(xué)中的應(yīng)用與前景[J].中國(guó)成人教育,2011(18)：185-187.

［23］魯艷輝,等.智能寫(xiě)作評(píng)分系統(tǒng)在大學(xué)英語(yǔ)寫(xiě)作中的實(shí)證研究[J].現(xiàn)代教育技術(shù),2010(6)：56-58.

［24］王鶯鶯.《新視野大學(xué)英語(yǔ)》作文自動(dòng)評(píng)分系統(tǒng)的效度研究[J].當(dāng)代教育理論與實(shí)踐,2012(12)：139-142.

［25］石曉玲.在線寫(xiě)作自動(dòng)評(píng)改系統(tǒng)在大學(xué)英語(yǔ)寫(xiě)作教學(xué)中的應(yīng)用研究——以句酷批改網(wǎng)為例[J].現(xiàn)代教育技術(shù),2012(10)：67-71.

［26］何旭良.句酷批改網(wǎng)英語(yǔ)作文評(píng)分的信度和效度研究[J].現(xiàn)代教育技術(shù),2013(5)：64-67.

［27］曾用強(qiáng).過(guò)程化的寫(xiě)作評(píng)估模式[J].福建外語(yǔ),2002(3)：26-31.

［28］葛詩(shī)利,陳瀟瀟.中國(guó) EFL 學(xué)習(xí)者自動(dòng)作文評(píng)分探索[J].外語(yǔ)界,2007(5)：42-50.

［29］李艷,葛詩(shī)利.大學(xué)英語(yǔ)作文自動(dòng)評(píng)分中分級(jí)詞表的效度研究[J].外語(yǔ)與外語(yǔ)教學(xué),2008(10)：47-52.

［30］葛詩(shī)利.面向大學(xué)英語(yǔ)教學(xué)的通用計(jì)算機(jī)作文評(píng)分和反饋方法研究[D].北京語(yǔ)言大學(xué),2008.

［31］葛詩(shī)利,陳瀟瀟.文本聚類(lèi)在大學(xué)英語(yǔ)作文自動(dòng)評(píng)分中應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用,2009(6)：145-148.

［32］葛詩(shī)利.大學(xué)英語(yǔ)作文自動(dòng)評(píng)分方法比較研究[J].廣東外語(yǔ)外貿(mào)大學(xué)學(xué)報(bào),2010(3)：87-90.

［33］葛詩(shī)利.自動(dòng)作文評(píng)分中詞匯接續(xù)錯(cuò)誤自動(dòng)識(shí)別研究[J].外語(yǔ)電化教學(xué),2010(4)：15-20.

［34］葛詩(shī)利,陳瀟瀟.大學(xué)英語(yǔ)作文自動(dòng)評(píng)分研究中的問(wèn)題及對(duì)策[J].山東外語(yǔ)教學(xué),2009(3)：21-26.

［35］李金輝.使用潛伏語(yǔ)義分析理論研究計(jì)算機(jī)改中國(guó)學(xué)生英語(yǔ)作文[D].廣東外語(yǔ)外貿(mào)大學(xué),2009.

［36］李霞,劉建達(dá).適用于中國(guó)外語(yǔ)學(xué)習(xí)者的英文作文全自動(dòng)集成評(píng)分算法[J].中文信息學(xué)報(bào),2013(5)：100-106.

［37］蔣艷,馬武林.中國(guó)英語(yǔ)寫(xiě)作教學(xué)智能導(dǎo)師系統(tǒng)：成就與挑戰(zhàn)——以句酷批改網(wǎng)為例[J].電化教育研究,2013(7)：76-81.

［38］劉衛(wèi)忠,余力.基于鏈語(yǔ)法的英語(yǔ)作文自動(dòng)評(píng)分研究[J].電腦知識(shí)與技術(shù),2014(2)：283-287.

［39］［41］CSDN.專(zhuān)訪批改網(wǎng)創(chuàng)始人張躍：設(shè)計(jì)產(chǎn)品一定要遵循兩個(gè)“凡是”[DB/OL].http：//www.csdn.net/article/2011-07-31/302431，2014-09-10.

［40］百度百科.句酷批改網(wǎng)[DB/OL].http：//baike.baidu.com/view/5162723.htm.2013-10-25，2014-09-10.

［42］梁茂成.中國(guó)學(xué)生英語(yǔ)作文自動(dòng)評(píng)分模型的構(gòu)建[D].南京大學(xué),2005.

［43］梁茂成.中國(guó)學(xué)生英語(yǔ)作文自動(dòng)評(píng)分模型的構(gòu)建[M].北京：外語(yǔ)教學(xué)與研究出版社,2011.

［44］［45］梁茂成.大規(guī)模考試英語(yǔ)作文自動(dòng)評(píng)分系統(tǒng)的研制[M].北京：外語(yǔ)教學(xué)與研究出版社,2012.