TEM－8 閱讀理解試題效度研究——以2011 年專八考試閱讀理解試題為例

韓 笑

(鄭州成功財經學院，河南 鞏義 451200)

語言測試是檢驗學生語言水平的重要手段。要設計好一套測試題，需要遵循一定的標準，如效度、信度、區(qū)分度等。其中，效度是一個非常重要的標準。效度指測試是否考查了設計者想要考查的內容，或者說在多大程度上考查了想要考查的內容。效度的高低是衡量語言測試最重要的指標，它是語言測試的基本出發(fā)點。高等學校英語專業(yè)八級考試(以下簡稱TEM－8 或專八考試)是根據《高等學校英語專業(yè)英語教學大綱》(2000 版)要求，全面檢查已完成英語專業(yè)高年級階段課程的學生是否達到了《大綱》所規(guī)定的英語語言綜合運用能力標準以及英語專業(yè)知識的高水平測試。專八考試屬于標準參照性教學檢查類考試，每年的三月份舉辦一次，考試對象為高校英語專業(yè)大學本科四年級學生，考試由教育部高等學校外語專業(yè)教學指導委員會英語組組織有關測試專家命題，外語專業(yè)教學指導委員會辦公室負責考試的實施。2011 年TEM－8 于2011 年3月舉行，本年度考試是否貫徹了考試大綱的宗旨，試題質量如何，考試對教學有哪些啟示，這些問題值得我們探討。

本文以Bachman ＆ Palmer 提出的任務特性(Task Characteristics)為基礎，融入Bachman 的最新測試理論“效度整體觀”把評估行為和基于評估結果做出的決定聯(lián)系在一起，形成了“評估使用論證(Assessment Use Argument，AUA)”框架，包括六大要素(elements)和四大類主張(claims)。六大要素即為效度論證的主要內容，主要包括:觀點(claim)、數據(data)、根據(warrant)、證據(backing)、反證(rebuttal)及反證證據(rebuttal backing)并結合《高校英語專業(yè)八級考試大綱》對2011 年的TEM－8 閱讀理解部分的效度進行研究。本研究對閱讀考試內容和形式的不斷完善，課堂教學的組織優(yōu)化，以及學生閱讀能力的提高有重要啟示作用。

一、效度分析

1. 試卷內容效度分析

內容效度是語言測試效度研究的一個核心問題。內容效度決定了測試方法多大程度上測試出語言能力。測試的內容效度是指測試是否考了考試大綱規(guī)定要考的內容或者目標。閱讀作為語言學習中最重要的基本技能之一，是獲取語言知識最直接、最有效的方法，閱讀能力則是衡量掌握語言綜合能力的一項標志。學習閱讀，學會閱讀，提高英語閱讀能力，是提高整體英語水平、最終熟練掌握英語的必經之路。閱讀部分在英語專業(yè)八級考試中占有相當大的比重，不論是學生還是教師都應對此非常重視。其內容效度的實現對整個考試內容效度的實現有很重要的影響。依據考試大綱，我們一般從三個方面來檢驗某次測試的內容效度:(1)測試內容，即試題是否具有代表性;(2)測試內容是否和測試目標有關;(3)測試內容是否符合代表對象。

從2005 年起英語專業(yè)八級考試測試題型有所更改，其中閱讀部分不再區(qū)分快速閱讀和一般閱讀，但測試目的基本沒變，還是考查英語專業(yè)學生對高級英語閱讀能力和技巧的掌握(其中包括略讀、精讀)。所以本文把2011 年TEM－8 考試中閱讀理解部分的測試內容(總共4 篇閱讀材料，20 道題)作為樣本，依照考試大綱對其進行內容分析。

表1 2011 年TEM－8 考試閱讀理解材料主題和篇章體裁

材料主題范圍包括社會與生活、文化習俗、人物介紹、金融貿易、科技通訊和時事熱點等各個方面，具有較好的代表性和較廣的覆蓋面，避免了由于考試選材缺陷而產生的偏頗，為提升考試公平性打下良好基礎。其次，這些主題范圍和學生的學習生活以及他們關注的社會經濟科技及擇業(yè)等問題息息相關，這有助于增強試題的交互性。交互性指考生與測試任務之間的互動，材料主題和考生越貼近，互動的可能性就越大，從而有利于提高考試的有效性。根據Bachman ＆ Palmer(1996:17 ～37)提出的考試有效性模型，交互性是任何一項有效考試必備的六大品質之一，此次考試中這些考察的主題范圍直接和語言知識有關，用于檢測考生對語言知識的掌握，題型的整體設計與語言能力的檢測密切相關，以此可以證明八級考試具有作為高校英語專業(yè)教學檢查類考試的本質屬性和使命。

2. 結構效度

測試效度必須與測試目的相結合，脫離了具體的測試目標而討論測試效度是沒有意義的，結構效度是試卷質量的關鍵。Bachman ＆Palmer 認為結構效度關系到我們依據考試成績所做的，對評價測試結果的解釋是否有意義并且恰當。也就是說，我們有把握說一個考生成績能夠表明考生具有所考查的語言能力。我們必須闡明所要測量的是哪些語言能力，并用恰當的方式描述這些能力，然后依據這些能力描述設置考查這些能力的考試任務。這樣測試者就能夠比較有把握地根據考試成績來解釋考生的語言能力。

本文對2011 年閱讀部分的材料進行一個粗略的統(tǒng)計，對材料的篇數、詞數及類型作一個總結。

表2 2011 年TEM－8 考試閱讀理解材料字數統(tǒng)計

《考試大綱》規(guī)定八級閱讀材料總詞匯量為3000 個單詞左右，按照規(guī)定，閱讀理解部分的答題時間是30 分鐘。根據表2 統(tǒng)計，閱讀理解材料總字數加上題目字數，閱讀理解測試部分的閱讀量約在3600 左右，閱讀速度為120 字/分，從材料的篇幅和閱讀速度方面是符合了考綱的要求。

第二語言閱讀能力由兩個構成成分組成，一是詞匯和字面理解能力，二是總體閱讀理解能力或推理能力，而在實際操作中TEM－8 閱讀理解題型可分為四類:字面理解題、信息重組和釋義題、推理題和評判題，鑒于此，我們在實際分析中對題型作如下分類:字面理解題即從文字表面就能找到答案的題目，且一般都在一句話之中。信息重組和釋義題可進一步細分為兩類:信息重組題和釋義題。信息重組題需要整合多處細節(jié)，跨越原文數個句子甚至段落，通常選擇時需要對比多重信息。比較典型的題目:Which of the following statements is true?釋義題考查考生對文章某個部分意義的理解，如本次八級試題第22 題:... class still indicates something less blunt than mere wealth (para. 3)means that 推理題考查考生對材料進行推理的能力，通常答案無法直接從文中找到，考生需要讀懂文字之外的意思。比如，八級考試第20 題:What is the author＇s attitude towards paperlessness?我們采用上述題目分類法分析了本次八級考試閱讀理解部分的客觀題，結果如表3 所示。

閱讀理解部分在題目上的考查力度有明顯區(qū)別，八級更側重檢測考生對多處細節(jié)的信息整合能力，閱讀理解著重檢測考生信息重組與釋義以及推理的能力，也有一定比例檢測字面理解和評判能力。由此可見，試題設計不僅保證了對不同層次理解能力的綜合檢測，也根據考生層次確定了不同層次的題目的比重差異，這樣的安排體現了考試大綱的相關要求，并且有利于考生在考試中根據需要自覺調整閱讀技巧。

表3 2011 年TEM－8 考試閱讀理解題項類型分析

3.整體分析

TEM－8 針對全國高等院校英語專業(yè)全日制本科四年級學生，即全面檢查已完成英語專業(yè)高年級階段課程的學生是否達到英語語言綜合運用能力的標準以及英語專業(yè)知識的要求。閱讀理解測試部分的內容是否適合測試對象，答案應該是肯定的。根據全國高等學校外語專業(yè)考試辦公室提供的數據如表4 所示:

表4 2011 年TEM－8 考試(RD 表示閱讀理解)

我們不難看出，閱讀理解部分的得分率在57.95%，而這個成績與英語專業(yè)八級考試的通過率56.06%基本持平。從學生的成績上來看，學生的平均得分在12 分左右，成績居于中等，閱讀部分幾乎沒有得滿分或者零分的情況也可以表明測試內容基本符合大綱所要求的測試對象。總的來說，2011 年專業(yè)八級考試閱讀部分難度適中，基本上符合大部分的測試對象，其效度可以說是不錯的。

二、結語

本文以Bachman ＆ Palmer 提出的任務特性(Task Characteristics)為基礎，融入Bachman 的最新測試理論AUA 框架為理論依據，結合《大綱》對2011 年的TEM－8 閱讀理解部分的內容效度和結構進行分析，我們認為2011 年八級考試閱讀理解部分基本符合大綱要求，具有較高的效度較好地貫徹了考試大綱的要求，對英語專業(yè)基礎階段和高年級階段的英語教學以及學生英語水平的檢測較為全面客觀公正。作為一項高水平的英語能力的測試，閱讀理解部分題型的設置還有一定改進空間，比如說閱讀理解的測試形式，可以由單一的多項選擇題改變?yōu)楹喍虇柎穑袛嗾`等多種題型;就體裁的選擇方面可以融入更多的不同類型的文章，尤其是近幾年沒有涉及過的語篇類型;話題的設置也可以從社會生活中擴展到更加多樣化。