英語寫作自動評分系統反饋功能評析
——以句酷網自動評分系統為例

楊淑玲

（吉林師范大學 外國語學院，吉林 四平 136000）

英語寫作自動評分系統反饋功能評析
——以句酷網自動評分系統為例

楊淑玲

（吉林師范大學 外國語學院，吉林 四平 136000）

句酷網自動評分系統為學習者和教學者提供全面準確的擬人工批改模式，為現代英語寫作學習和教學提供了新的思路和方法，能高效實現英語寫作的反饋需求，促進學習者自主學習。

英語寫作；句酷網自動評分系統；反饋

一、英語寫作自動評分系統產生的背景

隨著計算機軟件的發展，基于語料庫的自動評分系統的可信度和有效性以及對非母語學習者的應用也越來越引起人們的興趣。該項技術的研究起始于20世紀60年代，幾十年來，自動評分系統采用了數學統計、自然語言處理（NLP）及人工智能等方面的最新成果，于1999年進入實際應用階段。至今已經有多個國家開發出針對英語作文的自動評分系統，如 E-rater（Electronic Essay Rater），PEG（Project Essay Grader），IEA（Intelligent Essay Assessor），Intellimetric，Writing Roadmap和我國目前比較流行的句酷批改網自動評分系統。本文研究的英語自動評分系統將以句酷批改網為例。

二、句酷網自動評分系統的特點

1.自動評分高效準確

句酷網自動評分系統是一種基于語料庫與云計算技術的英語作文自動評分系統。通過計算學習者作文與標準語料庫的差距，即時生成學習者的作文得分以及語言內容的分析結果，幫助學生自主提高寫作能力和水平。句酷網自動評分系統的核心是打分引擎，它能夠自動提取作文中反映英語寫作水平的數據指標，并且基于事先選擇訓練集設置數據指標和分數，以及數據指標和打分維度的對應關系，即打分公式。經過多次測試集的對比分析表明，系統打分和人工打分的基本一致率達到了92.03%。目前系統支持192個打分數據指標，基于此可以創建多個打分公式。以四級打分公式為例，使用者將數據指標設計為詞匯、句子、篇章結構和內容相關四大維度。

2.基于語料庫按句點評，促進學習

目前句酷網自動評分系統有兩個應用目標：一是用于大規模考試的自動評分，二是用于寫作學習，作為一個提供反饋的工具。目前國外的大多數系統都是以第一個目標為主，但實際上對于學生學習的需求來看，第二個目標反而更重要。第二語言寫作的熟練程度需要很多年才能培養出來，包括詞匯、語法、語篇等多個方面。句酷批改網自動評分系統可以幫助學生解決很多現實問題。第一是詞匯。詞匯是語言使用中的最基本的單位，很多第二語言學習者的最大問題是詞匯量不夠多，無法順利地表達自己的想法，限于有限的詞匯量，很多學習者生搬硬套，找一些表面意義相關的詞來代替，結果導致詞匯使用上的錯誤。有些學習者對詞匯用法的掌握不夠透徹，只知其一不知其二，和其他近義詞的用法混淆，進而導致選詞錯誤，表達意思不夠準確清晰，更不用說符合英語國家的語言文化了。針對這一問題，句酷網上有詞匯辨析功能，有大量的例詞例句供學習者使用。第二是語法。語法是語言使用的規范和規則，它有明確的標準，不能在寫作中任意發揮。有些學習者在時態、各種從句、分詞短語、不定式短語的使用上出現混亂，導致寫作錯誤，如主謂不一致、逗號拼接句子、虛懸修飾語、錯誤的平行結構。如在Driving to the office in a hurry，his car crashed into a truck這句話中，Driving的真正主語應該是he，但是在此句中，主語卻是his car，這個錯誤就是虛懸修飾。還有一個很重要的原因就是母語的負遷移影響。有些學習者喜歡把要表達的意思用母語表達一遍，然后將其翻譯成英語，這樣，就出現了中式表達，連很多英語為母語的人都很難讀懂。針對這些語法規則性錯誤和中式表達語，句酷批改網能夠給出準確的修改意見，一目了然。第三是語篇問題。一篇好的作文，應該是用詞準確、語法無誤，語句通順、表達流暢，并盡可能做到過渡與銜接自然、中心明確、層次分明、邏輯清楚。有些學習者因詞匯量缺乏，反復使用同一個詞匯或句式，使文章顯得單調乏味。而不善于使用連接詞，會使語句前后銜接不暢，語義不連貫。這一問題也可以通過句酷網詞頻和從句的統計數據中得到啟示。學習者結合句酷批改網的意見，注意語句之間的各種邏輯關系，如時空、因果、轉折、條件、對比、平行、遞進等，合理使用恰當的連接詞，如that、and、then、when、because、so、if、but等來銜接和過渡單句，包括使之構成復合句，自然會增強語句之間的邏輯性，使語義清晰連貫，自然流暢。

句酷網自動評分系統區別于其它系統的最大特點就是基于海量語料庫的按句點評，能夠滿足英語作文寫作反饋中四個方面的需求，主要包括：（1）鼓勵地道值得推薦的用法：對于學生作文中高分詞組、搭配或者句型，系統會給出鼓勵性意見，讓學生更加有興趣使用，并且相關參考讓學生把已有的發揮得更好。（2）建議改正錯誤用法：對于學生作文中的語法和拼寫錯誤，系統會告訴錯誤類型和改進建議。（3）提示中式英語（Chinglish）表達：中式英語屬于語法正確但會讓英語本族語感覺不地道的用法，比如“learn knowledge”，通過語料庫對比，系統會把它標記為中式英語，以警告為主。（4）舉例闡釋易混用法：系統會找到學生經常容易用錯的詞或者搭配，給出同義詞或者近義詞供學生參考。換言之，學生可以隨時隨地求助自動評分系統，針對他們的問題，系統會逐字逐句檢查批改。除有批改提示之外，還有詞匯查提示，學生可以根據學習提示了解更多詞匯的地道用法，一邊學習，一邊寫作。雖然學生不能100%的依賴于句酷網的批改，但是，通過學生自己辨識一般可以判斷句酷網每一句批改的正誤。例如，對于一些具有中國特色的詞匯，翻譯成英文就很有可能被提示為中式英語，但是，學生只要稍加分析或者查找相關資料，就很快能夠判斷出正誤。另外，作文反饋與作文改寫緊密相關，如果沒有改寫續寫，反饋就失去了意義。教師反饋或者同學反饋都需要比較長的周期，筆者再次修改又要在某種程度上重新理順思路，比較費時費力。句酷網能夠給出即時的反饋意見，作者不僅可以修改字詞句子，還可以替換新詞，使詞匯多樣句子地道，甚至還會因某個詞語產生新的構思。學生通過提供大量的練習機會和即時的反饋報告來培養自己的寫作能力，這在幾秒鐘內即可實現，極大地激發了學生修改文章的熱情。

3.增加反饋，方便教學

在課堂教學中，教師所能提供的反饋數量和細致程度都有限，加之學習者對于批改反饋的要求不一，重視程度不一，寫作反饋很難滿足學習者的要求。在筆者組織的一項問卷調查中，對于79名學生進行調查，發現學生對于詞匯搭配、句子語法、表達是否地道比較重視，占到82.15%。而對于思想創新、篇章結構、詞匯多樣性等重視程度稍差，只有39.24%，有一半以上的學生對于篇章結構、中心思想、題材是否新穎并不重視。對于學生所重視的反饋項目，教師反饋能否滿足學生的要求？經過調查，83.54%的學生表示因為學生太多，老師批改不可能很仔細，自己所關注的詞匯搭配、表達是否地道，老師不能給與充分的指導，即教師反饋不能滿足他們的要求。句酷網自動評分系統無論何時何地都可以在線使用，這將有助于學生得到及時有效的反饋，進而提高自己的寫作水平。

此外，句酷網提供的薄弱點分析功能可以幫助老師針對學生共性薄弱點和薄弱點趨勢制定教學改進計劃，學生也可以進行針對性的學習和訓練。英語寫作中，抄襲現象是教學中最難解決的問題，教師很難察覺哪些作文是直接抄襲了別人的作文，哪些是借鑒了別人的資料。而句酷批改網解決了這一問題，系統具有查找重復率的功能，數據精確，給教師提供了非常可信的反饋信息。另外系統出具的地區、學校和班級報告便于教育管理者了解英語寫作教學效果，也便于教師利用這種分析報告進行教學科研分析。

三、使用句酷網自動評分系統的實驗

1.研究設計和方法

實驗對象為吉林師范大學英語專業大一學生一個班，共計28人。實驗時間為大一下學期。為了讓學生認真配合此次實驗，已經告知學生此次寫作成績占期末考試成績的20%，但同時因為是平時測驗，學生沒有過多的壓力，此次寫作可以體現學生的真實水平。本次實驗在計算機室進行，歷時30分鐘。教師使用句酷網自動評分系統為學生布置作文并告知學生作文號，學生按照網址登陸句酷網，根據作文號查找到題目和作文要求，按照要求完成寫作之后提交作文。學生在同一時間同一地點進行測試，可以保證數據的真實性和可靠性。

2.數據采集和分析

在本次實驗中，教師可以通過系統獲得以下信息：（1）數據概述：28篇作文，共4，343詞，290句，最長句44個單詞，最短句1個單詞；學生作文最高分為86.3分（陳同學），最低分72.1分（張同學），平均分為：79.2分；系統共從學生作文中發現18處錯誤，其中，句子不規范、搭配錯誤、動詞錯誤為學生們最常犯的錯誤。（2）學生表現：這一數據可以讓老師直觀了解當篇題目下學生寫作表現的數據圖表。可以看到學生得分前十名的排行榜，修改次數最多的前十名排行榜，可以查看每個學生得分、提交情況、作文寫數、句子、詞匯、相似度、修改次數這七個維度的具體表現。每個維度按優秀、良好、一般、差四個等級劃分，分別用綠色、藍色、黃色、紅色四種顏色表示。（3）錯誤分布：所有錯誤有18處，系統將學生錯誤按照不同類別統一列表，例如：一是句子不規范：It encourage people to grasp every chance to help them succeed.點評：請檢查encourage，確認主謂一致。標題：Factors about being successful.學生：張同學；二是搭配錯誤：Constant grinding can turn an iron rod into a needle.點評：搭配turn rod在語料庫中無此用法，疑似中式英語。標題：The factors of success學生：解同學；三是動詞錯誤：No great work can be performed and no high position can be obtained without toil effort.點評：請確認without toil中的動詞形態正確。標題：The factors of success學生：解同學；四是用詞錯誤：First，diligent everyone knows the proverb：Successisacquired through ninety-nine percent perspiration and one percent inspiration.點評：diligent everyone疑似詞序有誤。標題：On Factors that make a student successful學生：寧同學。五是瀏覽作文：此項中，教師可以看到學生的作文分數和前三行的文字，點擊之后可以看到全文。六是相似統計：這一功能有助于教師檢查學生作文抄襲情況。系統可以顯示學生作文與其他學生作文之間的重復率，不僅可以與本班學生的相似度進行比較，還可以與系統中所有學生的作文進行比較。相似統計分為40%以上、20%-40%、10%-20%、10%以上。系統的大數據給教師檢查相似度提供了便利性和準確性。例如：14級2班程同學作文相似度為7%，陳同學作文相似度為4%。點擊進入學生的文章可以看到具體那句話與哪個學生的作文相似，相似句子已經用紅色標注，非常清晰。例如陳同學的 Success is acquired through ninety-nine percent perspiration and one percent inspiration.和張同學的Success is acquired through ninety-nine percent perspiration and one percent inspiration.一模一樣，教師可以判斷出這是經典名句，不算在抄襲之列。但是張同學的Some students lose heart easily for not having achieved what they had aimed for.和成都市一中某同學的句子一模一樣，就可以看出這兩名學生參考了相同的資料。（6）詞頻：在這一數據中，教師可以看到詞性分布、動詞、名詞、形容詞、副詞、介詞、連詞、代詞在全體學生作文中的使用情況。例如在“詞性分布”這一項中可以看到：使用動詞808次，占24.44%；名詞718次，占21.72%；形容詞647次，占19.57%；代詞325次，占9.83%；介詞 311次，占9.41%；副詞296次，占8.95%；連詞182次，占5.51%。在“動詞”這一項中可以看到be 180次；can 66次；make 42次；do 35次；have 34次；shall 33次；will 32次；succeed 24次等143個動詞的使用頻次。（7）搭配：在這一項中，教師可以看到以下數據：搭配分布、動詞+名詞、形容詞+名詞、副詞+動詞、副詞+形容詞、動詞+介詞、形容詞+介詞、名詞+動詞。點擊“搭配分布”，就會看到不同的詞語搭配的使用頻次和所占比例，點擊具體搭配例如“動詞+名詞”，可以看到具體詞匯例如achieve success等所有搭配的列舉和使用頻次。（8）分級詞匯：在這一項目中可以看到超高頻詞匯、次高頻詞匯、學術詞匯、非常規詞匯、生詞對照。點擊每一個項目就可以看到學生使用的單詞、頻次以及例句。例如點擊“次高頻詞匯”會看到列舉出來的所有單詞，例如pain出現頻次為四次，例句Face on your？ pain？and turn it into power.點擊頻次4可以看到學生用這個pain寫出的句子。這些數據為老師對學生進行整體反饋指導提供了支持。（9）數據對比：在這一項中可以得到某一同學與全體同學的對比情況，包括單詞統計比對、詞性分布比對、搭配統計比對、句長分布比對、動詞頻次比對。系統會以柱狀圖和列表的方式向用戶呈現，對比非常準確清晰。（10）維度分析：維度概述、類符形符比、拼寫正確率、平均詞長、句長分布、平均句長、從句總數。系統從評判學生作文的多個測評維度中挑選出幾大維度（可定制），并列出學生在各個維度上的測量值，為分析作文提供數據參考。通過作文數據在各個維度的不同表現，可以明確作文的薄弱點所在，并且對學習的整體情況進行把控。

［1］Hyland，K..Providing productive feedback［J］.ELT Journal 1990（4）：279-285.

［2］蔡基剛.中國大學生英語寫作在線同伴和教師反饋反饋對比研究［J］.外語界，2011（2）：65-72.

［3］何旭良.句酷批改網英語作文評分的信度和效度研究［J］.現代教育技術，2013（5）：64-67.

［4］李競.英語寫作教學中教師書面反饋效果的案例研究［J］.外語界，2013（2）:87-89.

［5］王淑雯.利用自動評分系統進行在線英語寫作反饋［J］.成人教育，2011（8）：115-117.

［6］楊苗.中國英語寫作課教師反饋和同伴反饋對比研究［J］.現代外語，2006（3）：73-76.

［7］楊麗娟，楊曼君，張陽.我國英語寫作教學三種反饋方式的對比研究［J］.外語教學，2013（3）：63-66.

Feedback Function Evaluation on Automatic Scoring System of English Writing ——Take Jukuu Automatic scoring system for Example

YANG Shu-ling
（College of Foreign Languages and Literature Jilin Normal University，Sipin Jilin 136000，China）

Automatic Scoring System of Juku provides a comprehensively accurate artificial correcting mode for learners and teachers.It offers a new perspective and method for the modern teaching and learning of English writing，which can efficiently meet English writing feedback requirements and promote learners'autonomous learning.

English writing；Automatic scoring system of Juku；Feedback

G642

A

2095-8528（2016）05-025-04

編輯 朱榮華

2015-11-01

楊淑玲（1979），女，吉林四平人，講師，碩士，研究方向為英語語言與文化、應用語言學。

此文為吉林省四平市社會科學基金項目“英語寫作在線批改反饋研究”（批準號為201566）的階段性成果。