用Ｇｏｏｇｌｅ測量英語水平考試寫作題型的卷面效度

摘要： 在各種英語水平考試中，寫作測試常見的題型是200至300詞左右的議論文寫作。本文使用Google工具考察英語短篇議論文在真實生活中出現的環境，測量其出現頻率，以評價寫作試題的卷面效度。該研究是為測量卷面效度進行的一種新的嘗試。

關鍵詞： 英語水平考試 短篇議論文 卷面效度 Google

一、卷面效度的評價

卷面效度指的是測試的表面可信度和公眾接受程度（Ingram 1977：18）。過去測試者認為其不具科學性而不屑于研究（Stevenson 1985）。實際上卷面效度是對測試內容的直覺的、整體的判斷。雖然判斷者并非一定是專家，他們可能是“外行”，如行政管理人員、測試結果的使用者或受測試人（如學生），但是這種對測試的整體性判斷具有不可忽略的價值。

自交際語言測試（CLT）出現以來，許多CLT的倡導者（如Morrow 1979）認為交際語言測試應該“看起來”與“真實生活”中的語言英語相似。“真實性”這個概念還沒有被給予系統的定義，但是我們可以將對“真實生活”價值的看重在交際語言測試的術語體系中標記為卷面效度（Alderson 1995：172）。

基于以上認識，我們認為評價卷面效度已不再是按照傳統的方法，通過學生（或測試結果的使用者）問卷和訪談來進行，對卷面效度的測試也應該被納入專業研究的視野。專業人士可通過收集試題與“真實生活”貼近程度的數據來測量卷面效度。

二、英語水平考試中寫作測試題型的卷面效度測量

本文考察專業四級（Section A）、雅思考試（Task 2）和托福考試中寫作測試題的卷面效度，即測量分析這三種考試的作文測試的題型與“真實生活”中文本形式的貼近程度。我們分別從作文測試題特征和“真實生活”語境兩個端點出發收集數據，作兩次數據比較，測量兩個端點的接近程度。

從第一個端點出發即首先歸納作文測試題的特征，然后搜索這些特征在“真實生活”中的語境類別，根據語境類別的多寡判斷兩者的接近程度。

從第二個端點出發即首先歸納“真實生活”中常見文本載體，然后在載體中統計有該作文測試題特征的文本出現的頻率，根據頻率的多寡判斷兩者的接近程度。

由于Google搜索工具的搜索范圍廣泛（覆蓋全球）、全面（按關鍵詞檢索，而不是按主題篩選檢索），內容完全來源于真實生活，是非常方便的數據收集工具，同時Google也是一種準語料庫，因此筆者決定使用Google工具搜集數據進行卷面效度的測量。

三、從試題特征出發的研究

(一)英語水平考試中寫作測試題的特征歸納

寫作測試題的第一個特征描述是文章篇幅，即規定詞數。2005年以來的專業英語四級Section A寫作題發生了一些微變化，文章的詞數從過去的150詞增加到200詞。歷次的A類雅思寫作考試Task 2也將作文詞數設定在250個附近。托福考試也不例外，其TWE部分作文詞數在200到300之間。這些考試都不約而同地劃定了200-300詞的篇幅限制。

第二個特征描述是寫作文體。雅思考試寫作題目中明確指出“You will have to present an argument or discuss a problem.”（你必須陳述一個論據或討論一個問題）。“argument”和“to discuss”已經清楚地表明了文章的性質是議論文（王振昌等1996：104）。托福考試中的寫作要求是“Usually the questions ask you to compare two or more things”（一般地，所提出的問題要求你比較兩個事物），雖然用的是“essay”一詞，但是因為要在“比較”中立論，其實也是要求寫議論文。專業英語四級考試中寫作題目指示：“You are to write in three parts. In the first part，state specifically what your idea is. In the second part，provide one or two reasons to support your idea or describe your idea. In the last part，bring what you have written to a natural conclusion or a summary.” （文章分為三部分寫：第一部分要特別表明你的觀點；第二部分要提出支持該觀點的理由；最后一部分為文章作一個恰當的結論或總結）顯然，這也是典型的議論文寫作要求。

因此，我們歸納的英語水平考試中的寫作試題特征是：200至300詞短篇議論文。

（二）英文200至300詞短篇議論文的發生語境數據統計及分析

我們在Google中輸入寫作測試題的完整特征“200 words argumentative essay”。雖然約有32，000項符合“200 words argumentative essay”的查詢結果，但是在結果中并沒有“200 words argumentative essay (或essays)”三個詞連用的情況，表明這個特征并不是一個文章的分類概念。即便如此，與我們所意圖的“200詞短篇議論文”相符合的結果在前100項中仍有30項，其中17項是重復內容，有效項目為（30-17）13項。

按照語境類別劃分有：雅思考試類2項，考研考題類2項，國內、外文科教學中布置的作業4項，英語作文比賽、高考、自考和山東大學的一份寫作課程大綱各1項，合計12項。還有一項指引我們找到一個可按關鍵詞和文章字數檢索文章的網站（http：//sv2.123helpme.com）。可惜的是從該網站中得到的200至300詞議論文（共計21篇）沒有注明文章來源。通過文章標題或關鍵詞查找文章來源也以失敗告終。

從檢索中我們可以得到如下統計數據。英語考試輔導占到符合搜索條件的文本的61.5%，但它們不能算作是發生在“真實生活”中的文本，它們是與“真實生活”進行比對的對象：寫作考試試題。課堂作業占到30.5%。其他沒有明確來源的200至300詞議論文占8%。

我們搜索“200 words argument”或“200 words argumentation”得出類似結果。實際上，即使我們輸入“xx words argumentative essays”，所得到的結果都十分相似，絕大部分檢索結果都指向學生考試和作業。

接著，我們放寬特征條件，從“short argumentative essays”中尋找短篇議論文存在的語境。其中一個網站www.argumentative-essays.net具有代表意義。打開網站，我們發現該網站申明“Argumentative Essays has provided 59，780 students all over the world with A-grade essays.”（議論文網站已給世界各地的超過59780個學生提供了獲得“A”的文章），即短篇議論文的重要來源和服務對象都是學生考試或作業。其他各鏈接的網站所強調的內容也十分相似。

從以上我們可以得出三個結論：1. 學生作業占到“真實生活”中的200至300詞議論文文本的為92%以上；2. 在課堂或學術作業以外的“真實生活”中，文章不是按字數和文體分類的；3. 我們從作文特征出發的研究方法可能存在著概念“先入為主”的邏輯問題。不過，從語境出發的研究可以彌補這個可能的缺陷。

四、從真實語境出發的研究

我們從對比的另一端出發，即從“argumentative essays”出現的環境出發統計200至300詞議論文出現的比例。我們首先在Google中輸入“newspapers”，查閱了英美出版的15份報紙，發現“argumentative essays”集中于“社論”和“讀者評論”兩個欄目。為了方便數據統計，我們進一步輸入“newspaper editorials and opinions”。經統計30份報紙，我們發現社論的篇幅一般在800詞以上，200至300詞的讀者評論綜合統計占到所有評論的20%。

在“magazines”范疇中我們進行了類似檢索，得出的結論與在報紙上的檢索接近，200至300詞的評論所占比例甚至更低，約占所有評論的5%。

五、結論

200至300詞短篇議論文主要存在于有限的語境中，如主要存在于教育環境。特別是學生的作業之中。200至300詞議論文在“真實生活”的其它語境中，如常見的報紙、雜志中出現的頻率很低。因此200至300詞議論文的最廣泛的真實使用是“學生的學習活動或學術活動”。

那么，短篇議論文大量地存在于學生作業中的原因是什么呢？從實用角度看，短篇議論文所具有的第一優點是：教師能夠在相同時間里閱讀更多學生的作業。還有兩個有趣的現象似乎可以為短篇議論文的200至300詞約定作注腳，一個是普通人的正常閱讀速度大約每分鐘300詞，第二個是人們在演講中的速度大約是每分鐘200詞。因此，短篇議論文還可能減少教師的閱讀疲勞，同時提高學生的表述效率。

毫無疑問，短篇議論文在雅思考試中，特別是在為招收海外留學生設計的學術類考試中，以及在托福考試中的出現具有相當高的卷面效度，因為留學生在海外進修時將要面對的就是經常性的短篇議論文寫作作業。

但是專業四級中相同題型的寫作題未必具有很高的卷面效度，因為中國大學生，即使是外語專業學生也極少交付以短篇議論文為形式的作業。期中、期末測試也不是以寫學期論文的形式出現，而是傳統的試卷測試。其次，中國學生很難讀到在英文報紙的“讀者評論”欄目中才會較頻繁出現的200至300詞的議論文。因此，在目前中國大學教育的環境下，短篇議論文寫作的卷面效度很低。寫作考試與其說是考查學生的寫作能力，不如說是考查學生1分鐘演講的能力；英語水平與其說與思辨能力、邏輯能力相關，不如說與演講水平相關。

我們建議提高短篇議論文在英語專業學生作業中的比例，提倡交評論性的作業，鼓勵以寫學期論文代替部分期末考試。只有這樣，四級英語寫作考試才有可能在不改變現有題型的情況下逐步提高其卷面效度。

參考文獻：

［1］Alderson，J. Charles. Language Test Construction and Evaluation：172. Cambridge University Press，1995.

［2］Ingram，E. Basic Concept in Testing. In J.P.B. Allen and A. Davies (eds.)，Testing and Experimental Methods：18. Oxford：Oxford University Press，1997.

［3］Morrow，K. Communicative Language Testing：Revolution or Evolution? In C.J. Brumfit and K. Johnson (eds.)，The Communicative Approach to Language Teaching. Oxford：Oxford University Press，1979.

［4］Stevenson，D.K Authenticity，Validity and a Tea Party. Language Testing 1985，2(1)：41-47.

［5］王振昌等.高級英語寫作教程.外語教學與研究出版社，1985：104.

注：“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文。”