閆玉荷,劉 凌*
(湖北工業大學外國語學院 湖北 武漢 430068)
內容效度體現在考試內容是否覆蓋了考綱,是否和考試規范相關(Bachman, 1990)。國內關于語言測試內容效度的研究主要集中于高考和大學生英語各類等級考試,較少有人分析碩士研究生英語入學考試的內容效度,尤其是研究生入學考試英語(二)〔簡稱英語(二)〕的內容效度。根據2017-2023 年的考綱,英語(二)考試分為英語知識應用、閱讀理解、翻譯和寫作四個部分。其中,閱讀理解A 部分占總分值的40%,超過了其他部分的分值。閱讀理解試題的質量引起了國內學者的極大關注。鄧會(2014)研究了2010-2014 年英語(二)閱讀部分的內容效度,研究發現,2010-2014 年英語(二)閱讀理解測試符合大綱要求,內容效度較高,但存在閱讀文章的體裁不豐富,題材和閱讀考察技能分布不均等問題。崔炫俊(2017)研究了2013-2016 年英語(二)閱讀理解A 部分的內容效度,結果表明,英語(二)閱讀理解文章的題材、體裁、長度和難度與大綱相符,但偏重考查細節理解,缺少對其他技能的考查。目前尚未有學者研究2017 年以來英語(二)的閱讀測試內容效度,本文將填補這一空白。
英語(二)考試的評價標準是高等學校非英語專業本科畢業生所能達到的及格或及格以上水平,以保證被錄取者具有一定的英語水平,并有利于各高等學校和科研院擇優選拔。英語(二)閱讀理解A 部分的內容效度主要指閱讀文章和題項在多大程度上符合考綱的要求,是否能夠測試其所規定的閱讀能力。2017-2021 年,考綱的考查目標和內容無變化,體裁均為“說明文、議論文、記敘文”等,題材均為“經濟、管理、社會、文化、科普”等,四篇文章總長度均為1500 詞左右,考查技能均為“理解主旨要義;理解文中的具體信息;理解語篇的結構和上下文的邏輯關系;根據上下文推斷重要生詞或詞組的含義;進行一定的判斷和推理;理解作者的意圖、觀點或態度”;2022 年,文章長度調整為1500~1600 詞,新增了“理解文章的論證方法,比較不同觀點”的考查目標;2023 年考綱指出“考生應能讀懂語言較復雜的文字材料,包括新聞、評論、報告、論文、專著等類型的文章”,且增加了“教育”和“歷史”為主要題材,不再將“管理”作為主要考查題材,并在2022 年考綱的基礎上,修改了考查技能,并增加了“分析修辭手法、比較事實和態度”的考查目標。
依據Bachman和Palmer(2010)的任務特征框架,以及辜向東和王秋艷(2008)的閱讀理解測試分析項目,結合考綱,以2017-2023 年英語(二)閱讀理解A部分共28 篇閱讀理解文章和140 道題目為研究對象,從文本輸入、預期回答和題項設計三方面分析內容效度。文本輸入是指考生需要處理和回答的測試材料,預期回答是考生對測試任務做出的反應和輸出,題項設計即題目和選項的設計。體裁和題材以各版考綱的共同部分為基礎,將體裁分為說明文、議論文和記敘文,題材包含經濟、管理、科學、教育、社會、文化和歷史;文章長度主要統計文章總長度、題項長度,文章和題項的總長度;文章難度以生詞率和易讀度為衡量依據,易讀度由易讀度公式計算得出;考查技能包括考綱規定的八個技能;題項設計分析考點分布、答案準確性和干擾項干擾。
3.1.1 體裁
記敘文的題材通常接近生活,讀者可運用的相關知識較豐富,能夠用來理解文章的圖解也比較成熟。說明文通常介紹新穎事物,且結構也比較復雜(Clinton et al.,2020)。議論文注重解釋事物本質,呈現作者的觀點和立場,主觀性較強。2017-2023 年,文章以議論文和說明文為主。議論文15 篇,占比53.57%,說明文13 篇,占比46.43%,未考查記敘文。2022 年,4 篇文章均為說明文,體裁單一,其余年份均考查了記敘文和說明文。記敘文是考綱主要考查的體裁之一。另外,讀者閱讀不同體裁文章需要用到的技能不同,理解記敘文比較依賴解碼技能(Graesser et al.,1994),而理解說明文更依賴對話題的熟悉度(Clinton et al.,2020)。因此,英語(二)僅考查議論文和說明文并不符合考綱要求,也不利于測試考生的解碼技能,建議英語(二)選擇更豐富的體裁,以便更全面地考查學生對不同體裁文章的理解能力。
3.1.2 題材
2017-2022 年,每年均覆蓋3-4 個題材,最常考查的是科學和經濟題材,分別占總數的35.71%和25%,沒有文化題材的文章。2023 年只覆蓋了經濟和科學題材,選材不太均衡。題材可能會影響考生表現,對題材熟悉的考生將會比對題材不熟悉的考生表現得更好。閱讀文章主要選取科學和經濟題材,有利于關注科學和經濟知識的考生,但較少選取文化和歷史題材,不利于相關專業的考生。建議英語(二)適當增加文化和歷史等題材的文章,使題材更豐富,促進考試公平。
3.1.3 文章長度
如表1 所示,每年的文章總長度維持在1600 詞左右,無太大波動。2017-2021 年考綱規定,閱讀理解A 部分的4 篇文章總長度為1500 詞左右,這五年的文章總長度均高于考綱要求,2022-2023 年,考綱將文章總長度修改為1500-1600 詞,2022 年文章總長度符合規定,2023 年文章總長度超過了1600 詞。2017-2020 年,題項長度在700 詞左右,總長度在2300 詞左右。2021-2022 年,題項長度在650 詞左右,總長度在2250 詞左右。2023 年文章總長度、題項長度和總長度均最長。這說明每年閱讀理解的文字材料較多,對考生的閱讀速度有一定要求。

表1 文章的長度統計(單位:詞)
3.1.4 文章難度
研究發現,生詞以派生詞和復合詞為主,比如parkrun,disconcerting,shortfall,prosocial 等,每年考試的總生詞數為10 個左右,生詞數占4 篇文章總詞數的0.38%-0.62%,不超過1%;從單篇文章看,所有文章的生詞均為1-4 個,只有一篇文章的生詞率超過1%。這表明,每篇文章的生詞數較低,且每年的生詞率比較穩定。
易讀度在50-60 屬于“比較難”的閱讀材料,30-50位于“難”的區間,0-30 屬于“非常難”。表2 統計了每篇文章的易讀度和每年文章的平均易讀度。由表可知,文章的易讀度集中分布于30-50 區間,易讀度在這一區間的文章為總數的78.57%,14.29%的文章易讀度在50-60 區間,7.1%的文章易讀度在0-30 區間。另外,每年的文章易讀度有一定梯度,難度不盡相同。2017-2018 年,各有一篇文章的易讀度在50-60 區間,屬于“較難”,另外三篇文章的易讀度在30-50 區間,屬于“難”;2020-2022 年,文章的易讀度也分布在兩個區間,2020-2021 年,均有1 篇文章的易讀度在50-60,其余3 篇文章的易讀度都在30-50;2022 年,4 篇文章的易讀度也分布于兩個區間,有兩篇文章的易讀度在0-30 范圍內,兩篇文章的易讀度在30-50 范圍內;2019 年和2023 年,所有的文章易讀度雖都在30-50 范圍內,但具體數值有所差別。由此可見,英語(二)閱讀文章有一定難度且難度具有梯度性,區分度較好,有利于測量不同水平考生的閱讀能力,但考綱并沒有明確指出文章應維持的難度。建議考綱增加閱讀材料的難易度指標,提高命題科學性。

表2 文章易讀度指數
為便于統計,將2017-2021 年考綱的6 項考查技能編號為技能1—技能6,并依據2022-2023 年考綱新增考查技能,將后2 項技能編號為技能7,技能8。表3 展示了八種閱讀技能在2017-2023 年的分布情況。數據顯示,閱讀文章雖考查了各個技能,但每個技能的考查頻率有較大差距。技能2 和技能5 是每年都會考查的技能,技能2為主要考查技能,占總數的50.71%,技能5 占總數的15.71%。除此之外,技能3 和技能6 雖不是每年都考查,但也屬于較常考查的技能,分別占總數的10%和8.57%,其他技能的考查頻率較低。這說明,英語(二)閱讀技能考查范圍較廣,尤其注重考查考生的具體信息理解能力,判斷和推理能力,比較重視考生理解語篇結構和上下文的邏輯關系的技能,也會在一定程度上要求考生能夠解讀作者的意圖、觀點和態度,但其他技能考查較少,建議英語(二)適當提高其他閱讀技能的考查頻率,以便更全面地測試考生的閱讀水平。

表3 閱讀技能考查統計
3.3.1 考點分布
研究發現,2017-2023 年閱讀理解A 部分每篇文章考點分布均勻,大部分文章的考點覆蓋了原文的全部段落,少數文章的考點分布在原文的大部分段落,如2018 年Text 2 共7 段,考點分布了6 段。除此之外,不存在一篇文章的所有考點集中分布在少數段落的情況。
3.3.2 答案準確性
答案準確性能夠說明答案和原文的貼切程度。2017-2023 年英語(二)閱讀理解A部分的答案和原文密切相關,答案準確性高,通常考生需要準確理解和概括原文信息才能知道答案。比如,2017 年Text 1 第4 題,With regard to masssports,theauthorholdsthatgovernmentsshould.答案invest in public sports facilities 和原文“providing common goods”很貼切;2019 年Text 1 第4 題,Malti and others have shown that cooperation and sharing .答案can result from either sympathy or guilt 是原文“guilt and sympathy...sharing”的同義表達。
3.3.3 干擾項干擾性
2017-2023 年英語(二)閱讀理解A 部分題目的干擾項設計靈活,類型豐富,具有較強的干擾性。有的干擾項曲解了原文。例如,2020 年Text1 第3 題,AccordingtoQuinn,the rats released the social robot because they.A 選項tried to practice a means of escape 原文“the researchers ... release them by pressing a lever”提到壓下杠桿不是施救原因,而是施救方式。有的干擾項是原文的雜糅。例如,2021 年Text 4 第5 題,C 選項Vocabulary comprehension needs creativity,原文“In one study...and creativity...”指出,理解詞匯需要反思能力,創造新產品或修辭需要創造力。還有干擾項在原文找不到對應信息。例如,2017 年Text 2 第2 題,原文未提及C 選項slows down babies'verbal development;2019年Text 3 第2 題,C 選項the lack of experienced laborers 在原文無跡可尋;2022 年Text 1 第5 題,D 選項moral implication 和原文無關;2023 年Text 2 第5 題,原文未提到A選項is able to cope with staff shortages 和C 選項is in need of a new pricing policy。
2017-2023 年研究生英語入學考試(二)的閱讀理解A 部分,在文本輸入方面,文章體裁以議論文和說明文為主,沒有考查記敘文,不太符合考綱要求。在題材上,主要選取科學和經濟題材,較少涉及考綱列舉的其他題材,建議增加題材。在文章長度上,除2022 年,每年的文章總長度相比考綱要求更長,文章和題項的總長度也較長,比較考驗考生的閱讀速度。在文章難度上,每年的生詞率都比較穩定;文章易讀度分布在三個區間,總體屬于“難”的范疇,且文章難度具有一定區分度,既有利于選拔人才,也有利于測量不同水平考生的閱讀能力。值得注意的是,考綱并無對閱讀材料難度的明確描述,建議增加閱讀文章的難易度指標,以提高命題質量。閱讀技能考查方面,題項覆蓋了8 大技能,但每種技能的考查頻率差距較大,主要考查考生解讀具體信息、判斷和推理技能,其他技能考查相對較少。建議適當提高其他技能的考查頻率,以便更全面地測試考生的閱讀水平。題項設計方面,考點分布均勻;答案和原文匹配度高,準確性強;干擾項設計靈活,類型比較豐富,干擾性較強,考生通常需要準確解讀原文信息排除干擾項。