論大學英語作文在線自動批改的維度缺失和人工干預

楊昌周　彭思祥

摘 要：英語作文在線自動批改成為學生提高寫作水平和高校進行“百萬同題”作文競賽的海選幫手，但經分析可知，此評價系統對作文進行質量反饋時和提出修改建議時側重于語言圖式，較少關注形式圖式，缺失對內容圖式的關注，因此，應該進行人工干預，在海選評價中隨競賽級別的提高而增加人工干預的權重，在提高學生寫作訓練中適當地增加人工批改的批注和現場點評。

關鍵詞：大學英語寫作；作文在線自動批改；作文評價；圖式

隨著社會科技的發展，現代教育技術和教育教學深度融合的理念漸入人心，英語作文批改網無疑是踐行此理念的行動之一。英語作文批改網是一款基于云計算智能批改英語作文的在線服務系統，它通過計算學生作文和標準語料庫之間的距離，即時生成學生作文的得分和語言及內容分析結果，除了給作文自動打分外，還提供作文的整體評語，并在詞匯、語法、用詞、表達不規范的地方給予反饋提示，給學生修改的建議，以提高學生的英語寫作水平。它不但及時反饋學生的作文質量和提供改進建議，而且還減輕了英語教師的工作量。同時，此評價系統成為了高校進行“百萬同題”作文競賽的海選幫手。那么，英語教師在培養學生的寫作能力上是否可以籍此利器而高枕無憂呢？作文競賽中海選的評比結果的信度如何呢？這需要對在線批改的評價維度是否涵蓋了作文的質量指標進行考察和審視。

一、作文質量的核心評價維度

作文是傳遞信息和闡述意義的符號性載體，此載體內部要素指向同一旨意并且相互聯系，涉及到三個方面：語言圖式，信息圖式和形式圖式，語言圖式指語言項目，包括詞匯、短語、句子、語法等方面；信息圖式指符號所表達的信息結構和世界圖式；形式圖式表示語言符號傳遞信息所采用的語言組織形式。因此，判斷作文的質量，涉及三個維度：語言知識、信息內容和結構形式。語言知識涉及詞匯、短語、句式、句法、語法等。信息內容包括內涵、結構和容量。內涵要切題，具價值性、教育性、創造性。結構指信息項目之間具有條理性和邏輯性，容量指信息含量豐富，不能過于簡略，支持材料要豐富生動。結構形式指語言組織形式要符合規范，遵循已有的信息傳遞模式，體現出連貫性和銜接性。

二、在線作文自動批改的評價維度

為了了解在線作文自動批改的評價維度，研究通過分析在線批改界面中呈現的評價話語和修改建議，提煉出評價維度。通過分析可知，提交在英語作文批改網上的每一篇得到反饋，反饋方式包括評價和提出修改建議，評價有總體評價和按句點評。在總體評價中，評價維度主要有格式、詞匯、銜接詞、短語、句子和結構。在按句點評中，既包括錯誤分析，又包括改進建議，建議方式包括推薦表達、拓展辨析、近義詞表達學習、學習提示，詳情見下表1所示。

三、在線作文自動批改的維度缺失表現

根據作文質量評價維度可知，在線作文自動批改主要集中于語言圖式評價，較少涉及形式圖式評價，缺失內容圖式評價。

在語言圖式評價上，評價項目主要涉及書寫格式、詞匯的難易度、短語搭配、句式復雜度、句子規范度。在語言圖式方面的修改建議中，主要集中于詞匯層面，通過推薦表達、拓展辨析、近義詞學習和易混詞提示等方式完成。在語言圖式的評價上，在線自動批改做得很精細，單詞的拼寫是否正確等細節可以得到精確檢測。

在形式圖式評價上，評價項目主要涉及格式規范、過渡詞和銜接詞的使用以及整體結構質量。對格式規范問題檢測很精準。對形式圖式的評價方式體現為通過對“過渡詞”和“銜接詞”的使用是否豐富、合理進行描述，或者用“結構嚴謹”或“行文流暢…”之類的詞進行描述。從中看出，在形式圖式評價上存在以下不足。

其一，對語篇結構的評價較少。在總體評價的話語里，“過渡詞”和“銜接詞”出現頻次較高，對整體結構進行評價較少。其二，對語篇結構的評價用語較為模糊。在結構層次的評價中，例如“結構嚴謹”“行文流暢”“結構不錯”等描述用詞，涵意大而籠統，難以精確定位文章在結構上的優點和缺點所在。即使高頻使用的“過渡詞”和“銜接詞”，在信息傳遞上也較模糊，“豐富的”“恰當好處”“簡單的”等限定詞難以指明努力方向。其三、缺乏結構層次的修改建議。修改建議集中于單詞和短語的推薦表達，雖然在總體評語里面有關于銜接詞、過渡詞和結構的概述，但是在修改意見里缺乏關于這些方面的具體修改意見，缺乏對語義連貫和語篇銜接關注，對語篇的語義斷裂和邏輯凌亂等現象不予提及。

在內容圖式上，缺乏對作文內容、意義、價值等方面的評價，對作文的信息豐富程度、思想深度和教育啟迪性等方面沒有提及。可以說，在線自動批改作文側重于形式，而忽視了內涵。

總之，在線作文自動批改評價系統為學生寫作提供了即時反饋，并提出了修改建議，成為學生自學英語寫作的好幫手，特別是在寫作基礎階段，對作文中的詞匯、句式、句法、語法等語言項目進行了詳細評價和提出修改策略。這一點甚至比人工修改更加詳細，尤其是在同義推薦表達上，其源于語料庫的資源比人工修改能提供更多的備選項目，這無疑為豐富學生的語言表達提供了堅實的支撐。然而，如果英語寫作進入了中階或高階階段，以語言圖式為聚焦點的評價信度就受到了影響，如果說，兩篇作文在語言項目上差異性不顯著，那么就應該從形式圖式去評價內容的整體性、邏輯性、連貫性等，以及從內容維度卻評判信息的豐富性、內涵的深刻性和價值的啟迪性等。因此，對在線作文自動批改進行人工干預是必要的。

四、對在線作文自動批改的人工干預措施

在線作文自動批改評價系統為學生寫作提供了即時反饋，為基礎階段寫作提供了語言表達方面的修改建議，這種及時反饋縮短了自我強化時間，加深了學習效果。但是，這種基于語料庫而進行的語言圖式的單維度評價不足以評價優質作文，也不利于產生優質作文，如果將作文在線自動批改作為作文競賽的助手，那么，其可信度是否得以保證？如果要加人工批改，各自的權重應該為多少？因此，如果需要人工修改對在線自動批改進行干預，那么就需要進行科學的研究，干預性研究方案包括以下內容。

首先，組建人工批改隊伍，對每個批改老師在同一批改對象上的評價分數是否具有一致性，同時，在間隔若干時間后，同一批改樣本進行再次批改，以檢驗批改分數的穩定性，從橫向和縱向上確定批改分數的效度和信度。

其次，在保證人工批改的信度和效度的基礎上，進行作文在線批改和人工批改的對比研究，比較兩者之間的差異性是否達到顯著水平。這種比較要按照作文水平來進行，檢驗兩者的批改分數在不同層次的作文上是否存在差異的顯著性。非英語專業的一、二學生為第一層次，英語專業的一、二學生為第二層，英語專業的三、四學生為第三層。通過對比研究，看在線自動批改的分數與人工批改的分數的差異顯著性是否明顯。

如果兩者的分數差異不顯著，就認可在線自動批改的評價結果。如果兩者的分數差異顯著，需要分析存在差異的評價維度有哪些，思考如何通過各個維度的權重分配來盡量降低這種差異導致的不公平。例如，如果在線自動批改側重于語言圖式，即詞匯、語法、句子等是否規范，而人工批改側重于內容圖式和形式圖式，即內容信息量、深度、價值、教育性以及語篇的連貫性和銜接性，那么就對語言圖式、內容圖式和形式圖式進行權重分配，因為權重分配會隨著作文等級的上升而調整，作文等級越高，其在語言圖式上得分越趨相同，此維度的區分度就越低，因此，對等級高的作文，內容圖式和形式圖式所占的分數權重就越大。根據此權重分配方案，綜合在線自動批改的分數和人工批改的分數，得出較為合理的分數。

當然，如果即使兩者差異明顯，但是同一批改行為的內部差異性相似，也就是雖然人工批改分數和在線自動批改分數雖然不同，但是他們對某樣本群體所作的等級鑒定是一樣的，那么，就可以在競賽活動的海選層次上承認在線自動批改的評價結果。

總之，在線作文自動批改為提高學生英語寫作提供了良好資源，成為進行“百萬同題”的作文競賽的有益幫手，其評價維度的缺失也不容小覷，應該加以合理的人工干預。

基金項目：2016年貴州省本科教學工程項目（專業綜合改革試點）“英語專業綜合改革試點”（20161114021）。

作者簡介：楊昌周，凱里學院外國語學院講師，博士，研究方向：英語課程與教學論；彭思祥，凱里學院外國語學院教授，博士，研究方向：應用語言學。