基于BBS語料的批改網應用研究

牟曉青，于志濤

(山東理工大學 外國語學院，山東 淄博 255000)

一、引言

自動寫作評分與評價(Automated Essay Scoring and Evaluation，AESE)技術，在教學與考試中逐漸得到應用。該技術可識別和評價寫作中的語言屬性和存在的問題，為學生寫作提供及時反饋，亦使教師可以籍助計算機網絡的高效功能，布置寫作任務，進行跟蹤、監督，提供個性化指導。國際上，AESE已成為一個重要研究領域[1]27。

與國際相比，國內相關研究文獻相對較少。在中國知網期刊庫中，根據主題進行檢索，共獲得1349條文獻記錄。根據論文標題和摘要，逐一進行人工判別，最終獲得研究文獻280條，其中核心期刊、CSSCI期刊論文僅有69條。運用CiteSpace 2.2.R9[2]359[3]5303進行主題知識圖譜分析，結果見圖1。

根據圖1，結合文獻主題判別，可將國內AESE領域的研究熱點分為英語寫作與教學、自動評分、反饋、批改網、效度、語料庫6個亞類。國內AESE研究主要聚焦英語這一語種的寫作與教學，自動評分、反饋(即自動寫作評價)、效度、語料庫皆為AESE的核心技術，自然成為研究學者的關注點。而在實踐中，批改網已成為應用較為廣泛的英語寫作與教學載體，遂成研究熱點。根據中國知網檢索，對批改網的研究主要集中在實踐教學模式、對寫作能力的影響、評分信度與效度等方面，研究方法主要為實驗法、問卷調查法、數理統計法。

本研究擬采集BBS語料，對批改網應用進行可視化分析。網絡BBS具有匿名性，意見表達相對自由真實[4]41?；贐BS語料，可更客觀地對批改網應用進行分析和反思。

二、 批改網網絡關注熱度與地域分布

百度為全球最大中文搜索引擎，以互聯網用戶的百度搜索量為基礎加權計算的搜索指數，可作為用戶群體的關注熱度衡量指標，對搜索詞人群屬性的聚類分析，亦可獲得地域分布相關特征。以“批改網”為關鍵詞，使用百度指數統計分析平臺(http://index.baidu.com)，采集計算每月的日均搜索指數作為每月搜索指數，以○與□分別標示年度最高點與最低點，結果見圖2，地域分布見圖3。

圖1 國內自動寫作評分與評估領域主題知識圖譜分析

圖2 “批改網”百度搜索指數統計圖

圖3 “批改網”關注人群地域分布統計圖

1．網絡關注熱度分析

借助搜索引擎優化分析技術(Search Engine Optimization，SEO)，對批改網進行綜合分析可知，該域名創建于2010年5月18日。批改網百度搜索指數，自2011年1月起開始有統計數據，9月指數達到788，開始具有穩定的關注群體。根據趨勢預測計算，搜索指數總體呈現明顯增長趨勢， 2016年5月達到21774，月平均搜索指數達到4220.7867(2011年1月至2017年3月16日)，這說明愈來愈多的用戶關注使用批改網。但在圖2中可看到搜索指數具有明顯的起伏周期，高峰與低谷恰與學校的學期和寒暑假設置相吻合。這說明，學生對批改網的使用，還主要依賴于教師的主導式教學安排，自主學習的主動性尚待提高。

2．網絡關注地域分布分析

根據圖3可知，“批改網”搜索詞關注人群中，數量最多的省份為廣東、北京、四川、江蘇、山東。關注度主要集中在華東、華北、華南。從我國東部、中部與西部的地區劃分來看，批改網的網絡關注主要來自東部地區，中西部明顯偏少。這間接反映出中西部對批改網的應用，尚不廣泛。在一定程度上說明，中西部地區信息化教學支持體系建設相對薄弱，其英語寫作教學的信息化發展相對緩慢。這可能與我國地區間存在數字鴻溝有關。東部地區網絡社會發展水平與數字生活發展水平明顯居于優勢，東西部絕對差距仍然較大[5]。

三、基于BBS語料的批改網應用

(一)數據來源

本研究采用網頁數據采集程序，對百度貼吧“批改網吧”(http://tieba.baidu.com/f?kw=%C5%FA%B8%C4%CD%F8&fr=ala0&tpl=5)，以及批改網論壇(http://bbs.pigai.org/forum.php)“批改網師生報錯專區”“批改網使用幫助”“用戶意見反饋”三大板塊發帖內容進行采集。采集時間自2017年2月25日至2月28日，歷時4天。去重處理后，共獲得“批改網吧”發帖數據256條(時間長度：2013-05-02至2017-02-05；數據總長度67038字符)，“批改網師生報錯專區”發帖數據29802條(時間長度：2013-12-30至2017-02-28；數據總長度7142227字符)，“批改網使用幫助”1284(時間長度：2011-12-21至2017-02-26；數據總長度401981字符)，“用戶意見反饋”268條(時間長度：2012-10-11至2017-02-27；數據總長度63780字符)。所有樣本數據，均做預處理：進行分詞，去除停用詞，提取行特征。

(二)寫作報錯類型分析

在“批改網師生報錯專區”，用戶主要依據批改網給出的報錯提示進行發帖，反映了用戶群體關注的報錯類型，也反映了用戶群體寫作過程中存在的主要錯誤類型。發帖主要涉及提示類(學習提示、搭配統計、批改提示等)、錯誤類、警示類(低頻、中式英語等)，也有少數發帖對批改網提示提出了疑問。通過主題判別，刪除灌水帖19條，獲得有效發帖29783條，抽取批改網報錯提示的表述語句，用于主題命名，獲得88類主題。提取報錯主題，對頻次屬性進行可視化分析，結果見表1。

在表1中可以看到，批改網中有的報錯提示表述進行了程度區分。其中，語法類提示，區分為語法檢查、語法不規范、語法錯誤。批改網在語料庫中沒有發現相同表述，尋找不到相近表述提供修改建議時，會給出“語法檢查”建議；無相同表述，但尋找到相近表述能夠提供修改建議時，給出“語法不規范”提示；根據詞語搭配，確認存在錯誤時，會給出“語法錯誤”提示。但有的錯誤類型，例如，主謂不一致、主語錯誤、句子不完整、句首字母小寫等，則皆以“句子錯誤”給出提示，可進一步細化，提供有針對性的修改建議。

根據表1，用戶群體中占最大比例的錯誤類型是疑似中式英語。有的中式英語比較生硬，錯誤比較明顯；更多的則在語法上完全正確，但不合乎英語國家使用習慣，仍屬漢語思維范疇。在寫作教學中，對學生加強引導，除中國特色表述難以避免中式英語之外，應以標準英語為規范。

其他比例超過2%的錯誤類型有語法不規范、動詞錯誤、拼寫錯誤、名詞錯誤、搭配錯誤、語法檢查、標點符號錯誤、詞性錯誤(批改提示是對寫作中常出現詞匯、短語的總結和歸類，不屬錯誤類型)。由此可以看出，詞匯與語法基礎知識的掌握，依然是英語寫作教學中的一個重要關鍵點。

表1“批改網師生報錯專區”發帖主題統計列表

在發帖主題中，存在改錯和作文精批求助。批改網的智能批改，更多是一種建議提示，有時無修改指示，使一部分基礎薄弱的學生無所適從。在智能批改的基礎上，仍需人工評閱的有機配合，方可實現寫作教學的最終目的。

在發帖中，有用戶提出批改網存在提示矛盾、按照提示越改越差的問題；還有用戶以BBC原文進行評分測試，批改網給出了76.5的較低分數，并指出兩個語法錯誤與許多中式英語用法；也有用戶指出，將六級滿分作文的一段話摻入自己的作文，可迅速拉高評分。評分技術、語料庫建設、改錯提示技術等，是批改網未來建設的重要方向。

(三)反饋意見分析

1.主題分析

百度貼吧“批改網吧”、批改網論壇 “批改網使用幫助”與“用戶意見反饋”發帖內容主要是就批改網使用的相關問題進行提問，反饋使用意見。對三部分內容進行合并，可視作批改網使用反饋意見。對反饋意見，轉化為ANSI編碼格式，抽取行特征詞，進行一級主題命名。對一級主題，根據共詞關系，進行二級主題命名，作為主題分類。最終去除69條無關發帖，獲得主題分類61個，有效發帖1739條，結果見表2。

根據表2可知，求助類發帖最多，占61.2421%，其中修改求助發帖達到1048條，占60.2645%。用戶在獲得批改網提示后，由于英語能力受限，卻不知如何修改，這就需要人工幫助加以配合，才能達到作文批改的最終目的；另一方面，在一定程度上也反映了批改網的修改提示需要作進一步的明確和細化；這與人工批改主題發帖、存疑類發帖、修改建議機械/不明確主題發帖相一致。其他求助發帖主要涉及有關詞匯、方法、知識的提問。

數量位居第二的為操作類發帖，共108條，占6.2105%，主要涉及批改網各菜單、功能的使用方法、相關故障。目前批改網已提供了使用指南，有簡明的快速入門文檔，也配有視頻教程。但指南放置的位置并不醒目，不易引起用戶的關注，導致部分用戶不知如何具體操作，故發帖詢問。

許多用戶對批改網的評分標準、計算方式提出了疑問(占3.6228%)，認為根據提示越改越差，詢問為何0分、不及格、同作文不同分數、難以獲得滿分，建議修改為15分制等多種形式以對接各類不同考試形式，存在亂寫得分、再次打開時會出現分數下降現象，求教高分方法。測試類發帖(0.1725%)中，用戶使用考研作文、英語國家原文進行評分測試，亦反映了這一問題。

修改類發帖，主要涉及各類信息和操作的修改提問。關于教師一次修改與多次修改的預設置存在爭議，從學生自主學習的角度，應允許教師批改后學生仍可修改，但從成績評定的公平性來看，則應采取雙界面的形式，使教師能夠看到自己當時的評定信息，便于成績認定；使教師同時能夠看到學生的再修改界面，有利于學生的再學習和提高。寫作修改軌跡，有用戶以涉及個人隱私為由，提出不應呈現，反映出學生的法律意識和自尊。從尊重和保護學生的角度，批改網可呈現修改次數，將修改軌跡是否呈現交由用戶自行決定。

內容相關性與相似度檢測，亦是用戶的重要關注點。內容相關性涉及語義分析，亦是作文智能批改的難點。在實際操作中，批改網將其分為內相關與外相關。前者指“作文用到的關鍵詞內部之間的相關性”，后者指“本篇作文和相同題目作文之間的相關性”。相似度檢測，其比對對象則局限于批改網內部所有作文，對于抄襲網絡資源等無法檢測。這與通常意義上的內容相關性、相似度檢測，仍有一段距離。

在發帖中，也有用戶提出了正確使用批改網的態度，認為“盡信書則不如無書”，以批改網智能批改為基礎，與教師批改有機結合，方是正確方法，可以有效改善“學生苦老師累”的狀況。

2.情感分析

本研究將大連理工大學情感詞匯本體庫(徐琳宏等, 2008)[6] 180和中國知網情感分析用詞語集(beta版)合并，作為情感極性詞匯庫，對1739條發帖進行分句、分詞處理，確定詞匯極性，計算情感評分發現，批改網反饋意見發帖中，以中性情緒與積極情緒為主，分別為39.44%、39.22%，消極情緒僅占21.34%?？傮w來看，發帖內容敘述客觀，對批改網應用持贊成態度。

四、反思與啟示

從1966年E. Page提出第一個自動評分系統PEG(Project Essay Grade)[7]238至今，已經有五十余年。目前應用成熟的系統有PEG、E-rater[8]55、Intelligent Essay Assessor (IEA)[9]68(P.W. Foltz等, 2013)、IntelliMetric[10]89(M.T. Schultz, 2013)。時至今日，囿限于技術的發展水平，自動寫作評分/評價的弱點十分明顯：主要側重于詞匯和文本的語法，以及有限地考慮文本語義[11]118。但在手工評閱費時費力這一事實面前，自動寫作評分/評價成為實際可行的解決方案。

表2批改網反饋意見發帖主題分類統計列表

根據Blood I.(2011)[12]40的研究，識別偽劣作文、增強反饋的豐富性亦是自動寫作評分/評價領域的難題。機器評分會導致學生過多地考慮評分維度，使用所謂高分詞匯、句型等技巧，從而獲得高分。但這卻并非寫作能力的真正提高。如何識別惡意獲取高分的行為，培養真正的語言產出性行為，是自動寫作評分/評價領域的一個重任。再者，從自主學習的角度來看，僅僅獲得一個評分，顯然不能成為最終目的。能夠提供有意義的、有建設性的反饋，以供學生修改提高，這才是寫作教學的期望。

通過網絡關注度和地域分布分析，可以看出批改網在國內的應用非常廣泛，已成為寫作教學實施的重要方式之一。作為國內唯一基于語料庫的自動批改系統，批改網已逐漸得到認可，在降低測試成本、快速提供成績報告、減輕教師工作量、實現大量學生的大數量寫作方面，具有明顯優勢。其自動反饋的匿名性、即時性和改進的可重復性，已成為學生多寫多練的有效激勵方式。

根據用戶學習關注點和批改網反饋意見的分析，批改網可進一步完善各項功能，加強語義分析研究，進一步提高評分的可靠性，建設細化具體的反饋系統等，以更好地滿足用戶寫作練習的需求。同時，進一步加強機改系統對各種終端的兼容性，尤其是平板電腦、手機系統，以利于真正實現寫作的泛在學習。

從本研究的分析來看，眾多用戶對批改網提出的意見建議，許多屬于功能進一步完善的范疇，需要批改網服務的進一步細化；但有一些則屬于自動寫作評分/評價領域共同面臨的難題，期待未來眾多研究學者的共同攻關克難。我們對待包括批改網在內的自動寫作評分/評價系統，均應該具有正確的使用態度，正確認識其角色作用，對其求大求全，至少在目前，皆不現實。自動寫作評分/評價系統可以提供幫助，而不是替代教師的作用。