TEM4閱讀題型的內容效度研究

張珊??

摘要：英語專業四級考試（TEM4）作為國家級測試，旨在檢查各高校基礎階段的英語教學和學習情況，該測試的內容效度成為試題使用者最關心的問題。本研究以2012-2016年的TEM4閱讀真題為對象，采用Bachman & Palmer的任務特點框架（A framework of language task characteristic），結合閱讀題型特點和新版《考試大綱》（2004）具體要求，通過分析語篇特征和期望回答特征來考查TEM4閱讀題型內容與考試大綱的吻合度，即探究測試內容是否達到《考試大綱》的要求。結果表明：1）從語篇輸入特征來看，題材、體裁、生詞、篇幅、閱讀速度基本符合2004年新版大綱的要求和規定；2）從預期回答特征來看，答題形式豐富，2016年呈現出新形式，閱讀技能覆蓋廣泛，側重細節提取和邏輯推理能力。總而言之，近五年的專四閱讀材料符合了《考試大綱》的基本要求，測試內容和測試目的基本一致。

關鍵詞：TEM4閱讀；Bachman & Palmer任務框架；內容效度

一、 研究背景

TEM4是由高等院校外語專業指導委員會實施的唯一的全國性考試，旨在檢查各高校英語專業基礎階段教學大綱的執行情況，其具有極大的權威和影響力，也受到眾多機構、專家的認可。2004年頒布的《高校英語專業四級考試大綱》也對舊大綱做了重大改革和調整。閱讀是語言學習的最主要輸入方式，是獲取信息和擴大知識最根本的途徑，對培養扎實的語言基礎知識具有重要的意義，在聽、說、讀、寫、譯五項語言技能中的重要地位不可動搖。在TEM4中，閱讀題型占有非常重要的地位，占總分的20%。為了更好地反映新大綱的實施力度，幫助英語專業學生和教師了解專四考試的測試效度，本研究將對2012-2016年的TEM4閱讀真題進行內容效度分析，探討TEM4閱讀內容和《考試大綱》的吻合度。

二、 核心概念

（一） 測試效度和內容效度

Brown，J.D.認為測試效度是指對想要測試的內容的測試程度，對想要測試的內容的預期測試效果。測試效度在教師評價學生、安排教學中都起到特殊的作用。在語言測試效度中，通常有三種主要輔助效度測試的策略，即內容效度、結構效度和效標關聯效度。其中，內容效度（content validity）即內容的有效性，指測試內容應符合測試的目的和要求，測試項目與教學內容要一致，不涉及無關內容。TEM4測試是一種語言測試效度，內容效度是最核心的部分，能夠體現出語言測試的基本要素和基本技能。國內對TEM4效度研究總體呈現兩個趨勢：第一，研究視角的多元性。具體表現在8個方面，分別是：效度分析、效度檢驗、效度和信度、效度的正用和誤用、效度與學業測試、效度測量以及效度理論的變遷。第二，研究題型的全面性。不僅涉及TEM4閱讀題目的研究，還涉及聽力、完形、語法與詞匯以及寫作這五方面的研究。

（二） Bachman & Palmer的考試任務特點框架

Bachman & Palmer（1996）提供了一個詳細的、可供參考的語言使用任務特征框架（A framework of language task characteristic）。該框架包括五部分：環境特征、測試規則特征、輸入特征、期望回答的特征以及輸入和回答的關系特征。本研究基于已有框架，結合閱讀測試的特點，從輸入特征和預期回答特征兩方面分析TEM4閱讀題的內容效度，同時對基本的特征做了局部調整，輸入特征由體裁、題材、生詞、篇幅和閱讀速度五部分組成，預期回答特征主要分析測試答題形式和題目覆蓋閱讀技能。

輸入特征形式輸入的語言體裁、題材、生詞、篇幅、閱讀速度

期望回答特征形式期望回答的語言

測試答題形式、題目覆蓋閱讀技能

三、 研究設計

一方面，采用數據統計法。依照Bachman & Palmer（1996）的語言使用任務特征框架，對2012-2016年閱讀真題從輸入特征和預期回答的特征兩方面，即篇幅、生詞、體裁、題材、閱讀速度、答題形式和閱讀技能覆蓋這7個維度進行整理，輸入原始數據，進行分類統計。另一方面，采用內容分析法。比較新版《考試大綱》對TEM4閱讀題型的具體要求和已收集的真題數據，并結合量性分析進一步探究以上7個維度的與大綱要求的一致性。

四、 數據分析與討論

（一） 輸入特征

1. 題材

《考試大綱》規定：題材廣泛，包括社會、科技、文化、經濟、日常知識、人物傳記等。由下表可知，2012-2016年專四閱讀題材基本能夠契合大綱要求，19篇閱讀材料包括了社會類、科技類、文化類、經濟類以及人物傳記類，依次是社會類（42%）、文化類題材（21%）、人物傳記（15%）、科技類（11%）、經濟類（11%），日常知識類基本無涉及。可看出，題材選擇較偏向社會類和文化類。同時，除了2015年題材安排失衡，其他年份的題材安排得當。總體來說，改革后的閱讀題材基本符合大綱的考試規定和要求，不僅增加了關于社會類題材的閱讀量，也比較重視文化類題材，預期近幾年閱讀題材會有這兩方面的偏向。

2. 體裁

《考試大綱》規定：體裁多樣，包括記敘文、描寫文、說明文、議論文、廣告、說明書、圖表等。從下表可知，近五年的閱讀材料主要涉及記敘文、描寫文、說明文和議論文，未涉及廣告、說明書、圖表。具體來說，廣告、說明書、圖表也屬于說明文類。因此，2012-2016年英語專業四級閱讀理解的體裁也符合了大綱規定，類型多樣，依次是記敘文（43%）、說明文（27%）、描寫（15%）和議論（15%）。2012年對體裁的安排最為合理，2013-2015年涉及了3種體裁，2016年僅涉及兩種體裁，但是看得出改革后出題人在體裁選擇上偏向記敘文，說明文，重點培養考生對語言的基本應用能力。endprint

3. 生詞（難易度）

生詞在閱讀材料中占有比例直接反映了閱讀材料的難易度。《考試大綱》規定：閱讀語言材料難度中等，關鍵詞匯基本上不超過《大綱》規定的范圍。換言之，閱讀材料中的詞匯不能偏離專四基礎詞匯識記范圍。通過對近5年專四真題閱讀材料的生詞統計，如下表所示，整體超綱比例不到2%，即98%以上的單詞都在考生被要求識記的單詞范圍以內，基本符合《大綱》要求，閱讀難度也就控制在可閱讀范圍內，2014年和16年的生詞不到1%，閱讀難度相對更低了。

Krashen曾提出，在學習過程中，學習任務應該稍微比學習者已有水平高一個層級，也就是著名的i+1理論。因此，這不到2%的生詞利于考生閱讀能力和閱讀技巧的提升，其目的是給考生提供一個合適的空間，刺激已有認知詞匯，結合閱讀材料上下文和閱讀語境，進一步強化個人的閱讀語感和猜詞意識。因此出題者應適當給考生提供有生詞的閱讀材料，在實施考綱要求的同時，為學習者提供一個更好的學習園地。

4. 篇幅長度

《考試大綱》規定：專四閱讀部分由數篇閱讀材料組成，閱讀材料共長1800個單次左右。由下表可看出，2012-2015年閱讀材料篇章總體在1650詞左右，僅2016年的篇幅字數達到2100個詞，比《大綱》要求的篇章長度略多。近五年專四真題閱讀材料總計字數，包括題干字數，總體是在2100左右，尤其2016年總字數達到2400個單詞。總體來說，改革以后專四篇幅長度基本符合了《大綱》基本要求。16年的篇幅長度明顯增加，預期未來的考試篇幅可能會延長，對考生的閱讀速度也提出了新挑戰。

5. 閱讀速度

《考試大綱》規定：考查學生閱讀技能的同時，既要求準確性，也要求一定的速度，并能根據需要自覺調整閱讀速度，考試時間為25分鐘，閱讀速度為每分鐘120個單詞。上表對近五年的閱讀速度做了粗略統計，將每年的篇章字數和總字數與考試時間比算出，得到了閱讀速度的區間，可看出在規定時間內，閱讀速度總體維持在1分鐘60-80個單詞，比規定的1分鐘120個單詞略慢。因為計算忽略了考生思考、做題的單位時間，得出的閱讀速度是有偏差的，也就是說考生的最慢閱讀速度可維持在1分鐘80個單詞。總體上也是接近《考試大綱》要求的。

（二） 期望回答特征

1. 答題形式

新《考試大綱》明確提出閱讀部分采用單項選擇題形式，學生根據材料可從每道題的四個選項中選出一個最佳的答案，共20道題目。為了本研究數據的科學性，不僅觀察了2012-2016年的測試真題，還分析了2004-2011年的考題形式，結果發現2004-2015年的閱讀部分考題嚴格遵循了考綱的要求，歷年都是20道單項選擇題。但2016年題型有了變化，題目減少為15道，10道題目是單選形式，其他5道題目為簡答題。盡管與《大綱》所要求的題型有一點出入，但這種新模式打破了之前的封閉式考題形式，添加了開放性題型，無疑是對考生閱讀技能的新型考查，有利于練習了考生的信息提取能力、強化信息的輸出能力，也更明確地反映考生的語言表達問題。

2. 閱讀技能覆蓋分析

《考試大綱》要求：能掌握閱讀材料的主旨大意，了解說明主旨大意的事實和細節；即理解字面意義，又能根據所讀材料進行判斷和推理；即理解個別句子的意義，也能理解上下文的邏輯關系。基于《大綱》和考點，進一步將閱讀技能細化成六部分：主旨類、細節類、態度類、推理類、詞匯類和指代類。結合下圖可知，2012-2016年95道閱讀題目中考查細節類的題目約占29%，考查推理題型約占27%，17%考查詞匯，14%考查主旨類題目，13%考查態度類，指代類題型無涉及。總體來看，這些題型既測試了考生對整篇短文的理解能力，又對文章提供的信息和事實進行提問；既測試了考生的推理和判斷能力，又測試了考生在閱讀中理解詞義和詞組意義的能力。總體來說，題型設計囊括了《大綱》所要考查的各種閱讀技能，對閱讀能力進行了綜合的、全面的考查。鑒于細節題和推理題的高頻次，預期未來考題會側重在這兩方面，因此，教師在考前輔導和考生在模擬練習時應該有所偏倚，把握考題的類型，為考試的成功做好充分準備。

五、 結論

（一） 從語篇輸入特征來看，題材、體裁、生詞、篇幅、閱讀速度基本符合2004年新版《大綱》的要求和規定。題材具有廣泛性，重視社會和文化類型；體裁具有多樣性，側重對記敘文和說明文的考查；詞匯基本在考綱范圍內，歷年生詞未超過總字數的2%；篇幅長短貼近考綱規定長度，僅2016年篇幅略有增加；考生的閱讀速度也接近《大綱》的要求。

（二） 從預期回答特征來看，首先，答題形式呈現出新形式，既保持了《大綱》要求的封閉式的選擇題，也出現了開放性的簡答題，尤其是2016年的考題。其次閱讀技能覆蓋較全面，多樣的題目設計考查了考生的閱讀基本技能，包括主旨理解、細節提取、態度判斷、邏輯推理、詞匯詞義的辨析，其中重點放在細節和推理題目上。

參考文獻：

[1]Brown，J.D.Testing in Language Programs：A Comprehensive Guide to English Language Assessment[M].Beijing：Tsinghua University Press，2013（p220-223）.

[2]常俊躍，劉雪蓮，蘇曉麗.英語專業四級考試指南及全真模擬[M].大連理工大學出版社，2011.5（p93-102）.

[3]侯艷萍.近七年英語專業四級閱讀理解內容效度評估[J].河北大學學報（哲學社會科學版），2012.7.

[4]龍玉梅.英語專業四級考試批判性閱讀能力測試探析[J].淮北師范大學學報（哲學社會科學版），2012.2.

作者簡介：張珊，新疆維吾爾自治區石河子市，石河子大學。endprint