2015—2017研究生英語入學考試（一）閱讀部分內容效度研究

【摘要】研究生英語入學考試是大規模高風險考試，其閱讀部分占總分值60%，對整個考試的效度水平影響巨大。本文以考試大綱作為依據，采用Bachman的任務特征框架理論以及Flesche易讀度參考量表2015-2017年試卷閱讀部分進行內容效度分析，發現在題材和體裁上試題分布并不均勻，偏重議論文和社會科學類文章。對閱讀速度沒有設置考察，但是三年的體量相差較大，因此對閱讀速度的隱含考察也有差異。可讀性差異也很明顯，呈兩年高一年低的數據，同時閱讀技能考察也偏向淺層次的細節查讀，而對深層次的閱讀能力考察較少。這些數據反映出的問題必將會影響考試的公平性和可靠性。

【關鍵詞】內容效度 研究生英語入學考試 任務特征框架

【基金項目】X5018013201603，學術英語大規模讀寫測試的效度研究，校人文社科基金。

【中圖分類號】H319 【文獻標識碼】A 【文章編號】2095-3089（2018）45-0120-02

一、研究背景

研究生英語入學考試（NETEM）是一種尺度相關——常模參照性考試，是由教育部高等教育司主辦的全國性教學考試。其考試性質是“為高等學校和科研院所招收碩士研究生而設置的具有選拔性質的全國統一入學考試科目，其目的是科學、公平、有效地測試考生，對英語語言的運用能力”[1]根據2015-2017年NETEM考綱的描述，考試分為聽力，閱讀和寫作三個部分，閱讀部分占到總分比值的60%，占比遠超“英語知識運用”（10%）和“寫作”（30%）[1]。鑒于此考試是一個大規模高風險的考試且關系到諸多學子的教育公平，對其內容效度進行研究十分必要。

有關考試內容效度的研究在國內外已經十分成熟，相關理論及成果層出不窮。早在1998年楊惠中和Weir.C.J.進行了大學英語四、六級考試效度研究[2]。他們以1987-1995年的四、六級考試為材料，通過對比考試，實證研究，問卷調查和座談等形式研究了其構念效度，內容效度和其他效度；2009年楊惠中做了此項研究的后續歷時研究，內容涵蓋1996至2007年的閱讀考試，采用Bachman提出的任務特征框架[3]。他們的研究均證實四、六級考試的閱讀部分具有很高的內容效度，基本涵蓋大綱的要求。陳燕（2007）[4]研究了2003至2006年閱讀部分多項選擇題的內容效度；鄧會（2014）研究了2010-2014年考研英語（二）閱讀部分的內容效度[5]。

本文對2015-2017年度的研究生英語入學考試（NETEM）閱讀部分進行效度研究，采用Bachman（1990）[6]的任務特征框架理論，驗證試卷內容是否符合考試大綱要求，內容效度如何。

二、研究方法及結果

關于效度和內容效度的研究有豐富的理論成果，大部分學者都認可Haynes（1995）[7]提出的定義，即內容效度是一種指標或程度，旨在衡量某個有特定目的的測試其構念的相關度和代表性。而一個測試或者測試工具的代表性是指對目標構念的各個因素的吻合度（Lynn，1986；Nunally&Bernstein;，1994；Suen&Ary;，1989）[8-9]。其中“構念”是指目標測試的概念，屬性和各種變量（鄧會，2014）[5]。

Bachman（1990）[6]提出的任務特征框架理論是被眾多測試研究學者認可的，成熟的效度測量理論。此理論認為測試的內容效度有六個考核標準：測試環境，測試說明，文本輸入，預期回答，以及文本輸入和預期回答的關系。

2015-2017年考綱閱讀部分要求變化很小，對閱讀能力的要求如下：

“考生應能讀懂選自各類書籍和報刊的不同類型的文字材料（生詞量不超過所讀材料總詞匯量的3%），還應能讀懂與本人學習和工作有關的文獻資料，技術說明和產品介紹等[1]”。

結合任務特征模式理論和考綱要求，考慮到NETEM考試的穩定性和規范性，本文著重從文本輸入和預期回答兩個方面來進行研究。

1.文本輸入

文本輸入包括體裁，題材，文本長度，閱讀速度和可讀性五個方面[6]。

體裁一般分為四個大類：描寫文（描述人，事物，場景，反映作者的內心世界），記敘文（描述事件或人物的發展），說明文（旨在說明事物的結構，屬性，特征，范圍等等）和議論文（通過運用抽象的思想來揭示事物本質，使讀者接受作者的思想并有所行動）。

題材按常見類型分為自然科學，社會科學和人文科學。

閱讀速度在考試大綱和考試說明中都沒有明確的要求，而且題型設置上也沒有對閱讀部分的時間加以單獨設計，所以只能按照閱讀部分占總成績60%折合。總考試時間為180分鐘，因此認為閱讀部分的總答題時間為108分鐘。根據楊惠中和Weir.C.J.[2]的研究結果，閱讀題中文本閱讀和答題的時間比例大概是1：0.75，所以本研究認為閱讀文本時間理論上應為62分鐘。

從統計結果不難看出，近三年的閱讀題材主要集中在議論文，也有少量的說明文出現，但是英文四大文體中的描寫文和記敘文則完全沒有出現。題目選擇則偏社會科學，偶爾也有美國歷史或是狄更斯生平這種主題的人文類閱讀，但是自然科學類型的材料完全沒有出現。根據考試大綱對閱讀能力的要求“考生應能讀懂選自各類書籍和報刊的不同類型的文字材料（生詞量不超過所讀材料總詞匯量的 3%），還應能讀懂與本人學習或工作有關的文獻、技術說明和產品介紹等。” [1]三套題的體裁和題材分布都是不均衡的，沒有照顧到多樣性。特別是考慮到研究生入學后需要大量閱讀和使用學術英語，在“與本人學習或工作有關的文獻、技術說明和產品介紹等”方面的閱讀材料，應有所加強。閱讀篇幅差異也很明顯，16年閱讀題篇幅只有15年和17年的65%左右，因此在閱讀速度要求上也會不同。

關于閱讀材料的難度，使用Microsoft的易讀度統計。結果顯示，三年閱讀部分難度波動比較大（見表二），15年和17年達到了“較難”的程度，而16年則是在“難”的范圍內。同一份試卷內不同題目之間的難度差異也很大，特別是17年的翻譯題，難度驟降到18.1。閱讀題難度不穩定也是一個對信度的干擾因素，雖然易讀性不是衡量文本難度的唯一標準，但是僅此一項的大幅度變化，對考試信度和公平性也會帶來損害。

2.預期回答

預期回答主要研究閱讀能力考查和題型。根據考綱要求，NETEM應該考核的閱讀技能有8項[1]。

1）理解主旨要義；2）理解文中的具體信息；3）理解文中的概念性含義；4）進行有關的判斷、推理和引申；5）根據上下文推測生詞的詞義； 6）理解文章的總體結構以及上下文之間的關系；7）理解作者的意圖、觀點或態度；8）區分論點和依據。

為了統計方便，我們將這八種技能標號為S1-S8，這八種閱讀技能在三年考題中分布如下：

其中S1、S6和S7考核整體閱讀技能，而S2、S3、S4、S5和S8考查細節閱讀技能。

從百分比可以看出，細節閱讀技能在考試中占有壓倒性優勢，達到總體比例的66%，說明在考試中，學生關注細節信息比較容易得到高分，而對文章整體主旨結構的掌握要求偏低。特別是對S2的考查，占38%之多。在涉及S2的考題里，學生只要較好的理解了信息點出現的一句或者幾句話，就可以作對大部分的閱讀題，而對文章的整體結構并不需要明確掌握。S3在三年的閱讀題中沒有明確的考查到，這可能與題材和體裁的偏向性有關。由于缺乏說明文和描寫文，也少見自然科學類的文章，所以也沒有涉及理解概念性信息的題目出現。S8的考查也很少，在2017年的最后一題中有間接的考查。這兩種技能的考查程度和考綱要求的有一定差異。

此外，閱讀理解也是一種涉及不同層面的認知過程，根據Barrett（1974）提出的一個由易到難的閱讀技能水平。從NETEM的考查技能來看，目前的考核范圍仍然主要集中在前三個層次，這三個層次也被稱為直接陳述信息（explicitly stated information），而對深層次的閱讀能力考查基本沒有涉及。

三、結論

從以上分析可以看出，2015-2017年研究生入學英語考試（一）的閱讀部分，在體裁上較偏重議論文，說明文也有一定涉及，但是描寫文和記敘文完全沒有，與考綱要求有差異。題材上偏向社會科學，自然科學類文章沒有涉及，與考綱要求有差異，對于不同專業參加考試的考生也顯失公平。在閱讀速度上篇幅差異較大，尤其是16年篇幅明顯偏短；而且題型設計里沒有速度要求的設置，所以不能排除考生會以犧牲其他題目的做答時間為代價完成閱讀。綜合八種閱讀技能的覆蓋程度，閱讀部分對查讀的考查十分充分，而對略讀以及文章總體結構的考查則涉及較少，考查層次偏淺。這些數據反映出的問題必將會影響考試的公平性和可靠性。

參考文獻：

[1]教育部.全國碩士研究生招生考試英語（一）考試大綱： 非英語專業：高教版2016[M]. 高等教育出版社，2015.

[2]楊惠中.大學英語四、六級考試效度研究[M].上海外語教育出版社， 1998.

[3]蔣淑均.大學英語四、六級考試閱讀理解測試內容效度研究（1996-2007）[D].重慶大學，2009.

[4]陳燕.全國碩士研究生入學統一考試英語考試的閱讀理解內容效度研究[D].西南交通大學，2007.

[5]鄧會.全國碩士研究生入學統一考試英語（二）的閱讀理解內容效度研究[D].華中師范大學，2014.

[6]Bachman，L.F.（1990）.Fundamental Considerations in Language Testing[M].Oxford： Oxford University Press，1990

[7]Haynes，S.N.，&Edward;， S.K， et al. Content Validity in Psychological Assessment： AFunctional Approach to Concepts and Methods[J].American Psychological Association，1995，3，238-247

[8]Lynn，M.R.Determination and Quantification of Content Validity[J]. Nursing Research， 1986，35，382-385

[9]Nunnally， J.C.& Berstein， I.H. Psychometric Theory （3rdED.）[M].New York：McGraw-Hill，1994.

作者簡介：

牟欣（1978.2.9-），女，漢族，甘肅省蘭州市人，碩士研究生學歷，講師，研究方向為教育測量，英語測試的效度與信度，二語習得的認知診斷。