2014—2018年高考英語浙江卷完形填空試題內(nèi)容效度分析

張 弘

引言

高考是我國參與人數(shù)最多、規(guī)模最大、最具影響力的一個選拔性考試。浙江省作為新高考改革的試點省份，率先對高考英語進行了改革，改革后高考英語試題題型有了很大的變化，取消了單項填空題和短文改錯題，新增了閱讀理解七選五，將命題作文改成了讀后續(xù)寫和概要寫作等。但是，完形填空這一題型在高考英語改革后仍被保留，由此可見其在測試中的重要地位。完形填空可以檢測學(xué)生的多種能力，如閱讀理解能力、語法能力和綜合英語水平等（李雪蓮 2009）。高考英語試題的信度和效度是衡量測試科學(xué)性的重要指標(biāo)，完形填空能否完成預(yù)期的測試目標(biāo)，有賴于對其效度的檢測。通過檢索中國知網(wǎng)發(fā)現(xiàn)，國內(nèi)學(xué)者對浙江省高考英語完形填空的效度研究并不多，具有代表性的是夏春芳、羅曉杰（2015）對2010—2014年高考英語浙江卷完形填空試題進行的內(nèi)容效度分析。但2014年之后的試題并無人研究，因此以2014—2018年高考英語浙江卷完形填空試題為研究對象，從測試輸入特征（包括題材、體裁、難度、長度、刪詞間距）和測試答題（考點層次和考點分布）兩個維度對其進行內(nèi)容效度的歷時研究，從而為浙江省高考英語完形填空命題提出一些有效的建議，增強測試對學(xué)生的反撥作用。

一、相關(guān)概念界定

（一）完形填空

完形填空起源于20世紀50年代，在英語中用Cloze表示，是泰勒（Taylor）根據(jù)“格式塔心理學(xué)”（即補全心理）創(chuàng)立的一種測試題型（郭麗 2010）。完形填空要求學(xué)生根據(jù)對上下文的理解，復(fù)原篇章或段落中被刪去的一些詞或詞組（Madsen 1983）。它最初是用來測定文章難度系數(shù)的（Heaton 2000），現(xiàn)在主要用來測試學(xué)生的閱讀理解能力，同時也涉及對他們語言知識、篇章知識和背景知識等的考查（鄒申、楊任明 2000）。

完形填空有多種分類，其中被廣泛接受的是李筱菊（1997）的分類，主要有兩種方式：

第一種是按照刪詞的方式將其分為定距刪詞、合理刪詞和特定范疇刪詞。定距刪詞又稱為經(jīng)典完形填空，是根據(jù)隨機抽樣的原理，通常將一篇文章中的每5—10詞之間所處位置的詞刪去。合理刪詞則是不定距的、有選擇性地刪詞，一般刪去跟文章內(nèi)容密切相關(guān)的一些實詞或詞組，或文中的一些功能詞，如連詞、冠詞、介詞等。特定范疇刪詞是指把某一類別的詞刪去，如所有冠詞、所有介詞或者將范疇擴大到所有功能詞，這類完形填空考查范疇較窄，不能測量學(xué)生的綜合能力。

第二種是根據(jù)填空方式將其分為開放式和選擇式。開放式由被測試者根據(jù)閱讀文本的內(nèi)容自行補充符合題意的詞。選擇式又可另分為分題選擇式和集庫選擇式。前者會給每個空缺提供3—5個選項供被測試者選擇，難度相對較低；后者則將每道題可供選擇的詞匯全部匯集成一個詞庫，供被測試者挑選，詞庫中的詞匯按字母順序排列，且數(shù)量大于文章空缺詞的總數(shù)。

此外，還有其他學(xué)者根據(jù)評分方式的不同將完形填空分為唯一答案完形填空和可接受答案完形填空；根據(jù)填空方法不同將其分為單項選擇、填空式和后半個詞完形填空。高考英語中所涉及的完形填空一般采用分題選擇式，刪詞方式則以合理刪詞為主。高考英語浙江卷采用分題選擇式完形填空。這種類型的完形填空容易評分且更加客觀、合理，受到命題者的青睞。

（二）內(nèi)容效度及其評估

效度主要有兩方面的含義：一是指考試究竟測量的是什么，也就是試題在多大程度上測出了預(yù)期要測量的東西；二是指測試的有效性怎么樣，即試題在多大程度上完成了預(yù)期的測量任務(wù)（夏春芳、羅曉杰 2015）。簡單地說，效度是指測試是否測了設(shè)計者想考的內(nèi)容，或者說在多大程度上考了測試者想要考的內(nèi)容（Heaton 2000）。

希頓（Heaton）將效度分為表面效度、內(nèi)容效度、結(jié)構(gòu)效度和經(jīng)驗效度。其中，內(nèi)容效度是效度測試的重要部分，包括效度關(guān)聯(lián)性和效度覆蓋面，是指測試的代表性和對課程目標(biāo)的覆蓋面程度（Heaton 2000）。對于內(nèi)容效度的評價可以從以下三個方面評估：（1）測試內(nèi)容是否和測試目標(biāo)相關(guān)；（2）測試內(nèi)容（試題）是否具有代表性；（3）測試內(nèi)容是否適合測試對象（夏春芳、羅曉杰 2015）。

下面依據(jù)《普通高中英語課程標(biāo)準(zhǔn)（2017年版）》（以下簡稱《課程標(biāo)準(zhǔn)》）、《普通高等學(xué)校招生全國統(tǒng)一考試英語考試大綱》（以下簡稱《大綱》）及巴克曼和帕爾默（Bachman&Palmer，1996）提出的任務(wù)特征框架等相關(guān)語言測試理論，從測試輸入特征和測試答題兩個維度對2014—2018年高考英語浙江卷完形填空試題進行內(nèi)容效度分析。巴克曼和帕爾默在測試任務(wù)特征框架中對測試輸入特征和測試答題的定義如下（見表1）：

表1：測試輸入特征和測試答題的定義

根據(jù)以上定義，將完形填空試題的內(nèi)容效度分析框架整理如下（見表2）：

表2：完形填空試題的內(nèi)容效度分析框架

二、高考英語浙江卷完形填空試題的內(nèi)容效度分析

（一）研究設(shè)計

1.研究對象

以2014—2018年高考英語浙江卷完形填空試題為分析對象（2016年10月浙江省開始實行新高考改革，英語科目一年兩考），共計7篇完形填空，每篇完形填空有20個空，共計140個空。高考改革后，完形填空的分值由原先的每空1分改為每空1.5分，總分由20分增加為30分。但完形填空的命題形式仍舊不變，主要考查學(xué)生在閱讀理解的基礎(chǔ)上運用詞匯的能力。完形填空一般在一篇約250詞的短文中留出20個空，要求學(xué)生從每題所給的四個選項中選出最佳選項，使補全后的短文語句通順，結(jié)構(gòu)完整。

2.研究問題

分析2014—2018年高考英語浙江卷完形填空試題的特征及其內(nèi)容效度，研究問題如下：

（1）2014—2018年高考英語浙江卷完形填空試題有什么特點？

（2）2014—2018年高考英語浙江卷完形填空試題的內(nèi)容效度如何？

3.研究過程和方法

采用文本分析法，依據(jù)巴克曼和帕爾默（1996）的任務(wù)特征模式，對2014—2018年高考英語浙江卷完形填空試題的內(nèi)容效度進行歷時研究，比較不同年份之間的差異。首先，從測試輸入特征維度出發(fā)，分析7份試卷中完形填空試題的題材、體裁、難度、長度和刪詞間距。其中，題材以《課程標(biāo)準(zhǔn)》中規(guī)定的24個話題為主，易讀度可通過Micro Office中“拼寫和語法”功能計算得出。接著，再從測試答題維度對考點層次和考點分布進行統(tǒng)計和分析。最后，結(jié)合《課程標(biāo)準(zhǔn)》《大綱》和一些相關(guān)理論得出關(guān)于2014—2018年高考英語浙江卷完形填空試題的內(nèi)容效度的結(jié)論。

（二）數(shù)據(jù)統(tǒng)計與分析

1.測試輸入特征

測試輸入特征主要從題材、體裁、難度、長度和刪詞間距對高考英語浙江卷完形填空進行討論和分析。部分統(tǒng)計結(jié)果如表3所示：

表3：2014—2018年高考英語浙江卷完形填空的測試輸入特征

（1）題材。

《課程標(biāo)準(zhǔn)》中對于話題有這樣的描述：第一，熟悉個人、家庭和社會交往等方面的話題；第二，進一步熟悉有關(guān)日常生活、興趣愛好、風(fēng)俗習(xí)慣、科學(xué)文化等方面的話題；第三，熟悉我國社會生活的話題；第四，了解有關(guān)英語國家的日常生活習(xí)慣的話題。進而將這四個方面細分為包括個人情況、人際關(guān)系等在內(nèi)的24個話題（教育部 2018）。從表3可以看出，7篇高考英語浙江卷完形填空的文本內(nèi)容中，篇章的題材主要集中在日常生活（1篇）、社會生活（2篇）、人物故事（2篇）和個人經(jīng)歷（2篇）這四類，這些話題貼近學(xué)生的生活，讀起來親切且?guī)в泄适滦裕梢约せ顚W(xué)生頭腦中相關(guān)的背景知識，從而適當(dāng)降低閱讀難度。

（2）體裁。

體裁主要指記敘文、議論文、說明文和應(yīng)用文等不同類型的文體。《課程標(biāo)準(zhǔn)》中提到熟悉生活中常見的語篇形式，把握不同語篇的特定結(jié)構(gòu)、文體特征和表達方式，有助于學(xué)生對語篇意義的理解，也有助于他們對不同類型的語篇進行有效的表達和交流。從表3可以看出，完形填空的文體以記敘文為主，議論文為輔，說明文、應(yīng)用文等未曾出現(xiàn)。完形填空試題具有一定的特殊性，篇章中會有多處挖空，相較說明文和應(yīng)用文而言，記敘文和議論文在挖空后的可讀性更強，且容易根據(jù)上下文內(nèi)容進行推斷選擇，因而被選用的機會更高。2014—2018年高考英語浙江卷完形填空試題的體裁局限于記敘文和議論文，體裁較為單一，與《課程標(biāo)準(zhǔn)》希望學(xué)生接觸多種體裁文本的要求不相符。

（3）難度。

文章難度的評估主要看易讀度的數(shù)值，易讀度的計算公式為：RE=206.835-0.846*NSYLL-1.015*W/S，其中，“NSYLL”指每 100 個單詞的音節(jié)數(shù)，“W/S”表示每個句子的平均單詞數(shù)。易讀度主要指語言材料易于理解的程度（劉穎、王文琴，等2016）。表4為易讀度數(shù)值參考量表（Flesh 1948）。

表4：易讀度數(shù)值參考量表

結(jié)合易讀度數(shù)值參考量表，將2014—2018年高考英語浙江卷完形填空試題的易讀度數(shù)值繪制成折線圖，如圖1所示：

圖1：2014—2018年高考英語浙江卷完形填空試題的易讀度折線圖

從圖1可以看出，2014—2018年高考英語浙江卷完形填空試題的易讀度數(shù)值并不穩(wěn)定，相鄰時間段試題的易讀度數(shù)值波動較大，易讀度最大值和最小值極差為27.7。參照易讀度數(shù)值參考量表可知，難度處于“標(biāo)準(zhǔn)”水平（60—70）的試題有2份，分別為2015年6月和2017年11月的試題，約占28.6%；處于“較容易”水平（70—80）的試題只有1份，為2016年6月的試題，約占14.3%；處于“容易”水平（80—90）的試題有3份，分別為2014年6月、2017年6月、2018年6月的試題，約占42.9%；處于“非常容易”水平的試題有1份，為2016年10月的試題，約占14.3%。由此可見，2014—2018年高考英語浙江卷完形填空試題的易讀度并不穩(wěn)定，2015年6月的試題難度最大，2016年10月的試題難度最小，其余年份的試題難度通常在“標(biāo)準(zhǔn)”水平和“容易”水平之間波動，“容易”和“非常容易”水平的試題居多，“較容易”水平的試題偏少，“標(biāo)準(zhǔn)”水平的試題居中。

（4）長度。

篇章長度即指篇章的總詞數(shù)，安德森（Anderson 1980）指出完形填空較為合理的詞數(shù)范圍為150—350詞，《大綱》中對于完形填空詞數(shù)的要求為“約250詞”（教育部 2018），在150—350詞范圍內(nèi)。將2014—2018年高考英語浙江卷完形填空試題的篇章長度繪制成柱形圖，如圖2所示：

圖2：2014—2018年高考英語浙江卷完形填空試題的篇章長度柱形圖

從圖2數(shù)據(jù)可以看出，2014—2018年高考英語浙江卷完形填空試題篇章長度詞數(shù)最多的是2015年6月的試題，總長度為318詞，詞數(shù)最少的為2016年10月的試題，長度為226詞，2014—2018年高考英語浙江卷完形填空的篇章長度均符合考試要求，且篇章長度整體呈遞減趨勢。此外，高考改革前（2014年6月—2016年6月）的完形填空試題的篇章長度要明顯大于高考改革后（2016年10月—2018年6月）的篇章長度。通過SPSS軟件，對篇章長度和試題難度進行相關(guān)性分析，得到sig.＝0.344＞0.05，得出2014—2018年高考英語浙江卷完形填空試題的篇章長度與試題難度不相關(guān)的結(jié)論。

（5）刪詞間距。

對于完形填空試題的刪詞間距，被廣泛接受的是希頓的界定。希頓（2000）認為刪詞間距太短會造成文章難以理解，刪詞間距太長又會造成篇章長度過長，難度加大。一般認為每5—10詞開始設(shè)置空格較為合適。下面將2014—2018年高考英語浙江卷完形填空試題的刪詞間距進行統(tǒng)計，結(jié)果如表5所示：

表5：2014—2018年高考英語浙江卷完形填空試題的刪詞間距統(tǒng)計表

從表5數(shù)據(jù)可以看出，2014—2018年高考英語浙江卷完形填空試題的刪詞間距最大間距和平均間距均超出5—10詞的范圍，高考改革前的試題超出的范圍更大，另外，除2016年6月和2017年11月的試題外，其他年份試題的最小間距均在5—10詞的區(qū)間內(nèi)。從平均間距來看，改革后的試題的平均間距與希頓的標(biāo)準(zhǔn)間距更為接近，改革前的試題的平均間距偏離較大。此外，通過SPSS軟件，探究2014—2018年高考英語浙江卷完形填空試題的刪詞平均間距與難度和長度的相關(guān)性，得到如下結(jié)果，見表6、表7：

表6：2014—2018年高考英語浙江卷完形填空試題的刪詞平均間距與試題難度的相關(guān)性

表7：2014—2018年高考英語浙江卷完形填空試題的刪詞平均間距與長度的相關(guān)性

表6所示的是2014—2018年高考英語浙江卷完形填空試題的刪詞平均間距與難度的相關(guān)性，sig.的數(shù)值為0.555＞0.05，得出平均間距與試題難度之間不相關(guān)。表7所示的是2014—2018年高考英語浙江卷完形填空的刪詞平均間距與長度之間的相關(guān)性，sig.的數(shù)值為-0.007＜0.01，相關(guān)系數(shù)為0.890**，兩者在0.01水平上顯著相關(guān)，且為正相關(guān)。

2.測試答題

測試答題主要從考點層次和考點分布兩個角度對2014—2018年高考英語浙江卷完形填空試題進行分析。

（1）考點層次。

考點層次由低到高依次分為：單詞層次（W）、詞組層次（P）、句子層次（S）和語篇層次（D）。單詞層次（W）是指只看單詞，無需看單詞之外的上下文就能得出答案的題目，如單詞拼寫、詞法變位和構(gòu)詞法的題目都屬于這個層次。詞組層次（P）是指需要填的詞與它之前或之后的詞有固定搭配關(guān)系，看空缺前、后的詞就能得出答案的題目。句子層次（S）是指空缺需要填的詞在本句內(nèi)就可以決定，不用看超出本句的上下文。語篇層次（D）是指空缺所填的詞不僅要看本句，還要看本句外的語篇才能決定。考點層次的高低與試題效度密切相關(guān)，考點層次越高，試題效度也就越高，兩者成正相關(guān)。此外，高層次的考點在考高層次的知識或能力時也能檢測到低層次考點的知識與能力，因此完形填空命題要盡可能地使考點層次提高（李筱菊 1997）。下面將2014—2018年高考英語浙江卷完形填空試題的考點層次進行統(tǒng)計，結(jié)果如表8所示：

表8：2014—2018年高考英語浙江卷完形填空試題的考點層次

從表8中的數(shù)據(jù)可知，在2014—2018年高考英語浙江卷完形填空試題中，考查語篇層次的題目占比最高（76.4%），其次是句子層次（22.1%），詞組層次（1.4%）居第三位，單詞層次沒有考查。2014—2018年高考英語浙江卷完形填空試題側(cè)重考查語篇層次，符合完形填空命題要求。其中，2016年10月的試題考查語篇層次的題目最多，占95%，試題效度最高。2015年6月和2018年6月試題效度偏低，語篇層次的題目均只占65%，其余年份的試題效度居中。從2014—2018年高考英語浙江卷完形填空試題的考點層次統(tǒng)計數(shù)據(jù)來看，各個層次的試題占比并無規(guī)律性變化，且語篇層次和句子層次的試題占比并不穩(wěn)定，波動較大。用SPSS軟件對語篇層次的試題數(shù)量與試題難度進行相關(guān)性分析，得到sig.的數(shù)值為0.216＞0.05，說明兩者之間不存在相關(guān)性。

（2）考點分布。

考點分布主要指各種詞類在完形填空中被考查的情況。下面將2014—2018年高考英語浙江卷完形填空試題的考點分布情況進行統(tǒng)計，數(shù)據(jù)整理如表9所示：

表9：2014—2018年高考英語浙江卷完形填空試題的考點分布

表 9（續(xù)）

從表9中數(shù)據(jù)可知，2014—2018年高考英語浙江卷完形填空試題主要考查語篇中的實詞，其中動詞考查的最多（65個），占46.4%，副詞考查的最少（12個），占8.6%。至于語篇中的虛詞，一般每年只考查1—2個，或者不考查。總體而言，2014—2018年高考英語浙江卷完形填空考查的詞類比較集中，不夠全面。

三、研究結(jié)論與命題建議

（一）研究結(jié)論

通過對2014—2018年高考英語浙江卷完形填空試題的內(nèi)容效度進行分析，得出以下一些結(jié)論：

首先，從測試輸入特征來看，2014—2018年高考英語浙江卷完形填空試題的題材還不夠豐富，主要圍繞日常生活、社會生活、人物故事、人物經(jīng)歷這四類展開，體裁也較為單一，基本為記敘文和議論文，與《課程標(biāo)準(zhǔn)》中提到的需要學(xué)生熟悉各種體裁，能對各類話題進行討論的要求不相符。至于試題的難度，2014—2018年高考英語浙江卷完形填空試題的難度較不穩(wěn)定，文章的難度在“標(biāo)準(zhǔn)”“較容易”“容易”“非常容易”四個區(qū)間內(nèi)波動，難度跨度較大。高考英語改革前，相鄰年份間的試題難度波動較大，改革后這一情況有所緩解，總體來說，試題難度基本處在“標(biāo)準(zhǔn)”和“容易”水平之間。另外，2014—2018年高考英語浙江卷完形填空試題的篇章長度基本符合安德森建議的完形填空合理長度150—350詞的標(biāo)準(zhǔn)，但高考英語改革后的篇章長度更加符合《大綱》中約250詞的要求。就刪詞間距來說，2014—2018年高考英語浙江卷完形填空試題除了最小間距基本符合希頓建議的5—10詞的標(biāo)準(zhǔn)外，最大間距和平均間距均超出這一范圍，研究發(fā)現(xiàn)這與篇章長度有直接關(guān)系。值得注意的是，高考英語改革后試題（2016年10月—2018年6月）的平均刪詞間距更接近5—10詞這一標(biāo)準(zhǔn)，內(nèi)容效度更高。此外，通過對2014—2018年高考英語浙江卷完形填空試題平均間距與難度和長度進行相關(guān)性分析，發(fā)現(xiàn)平均間距與難度之間不相關(guān)，與長度呈明顯正相關(guān)。

其次，從測試答題角度來看，2014—2018年高考英語浙江卷完形填空試題的考點層次主要集中在高層次的考點上，以語篇層次為主，同時考查少量句子層次考點。至于低層次考點，如詞組層次和單詞層次幾乎沒有考查。通過進一步分析得出，語篇層次考點的數(shù)量與試題難度之間并不存在相關(guān)性，因此命題者在命題時不用顧慮可能因考點層次過高而影響試題難度。對2014—2018年高考英語浙江卷完形填空試題的考點分布進行統(tǒng)計可以發(fā)現(xiàn)，完形填空考查的詞主要有6類：動詞（短語）、名詞（短語）、形容詞、副詞、連詞、介詞（短語），沒有對冠詞、數(shù)詞和代詞的考查。各個詞類的考查沒有固定比例，且分布不均，其中，動詞（短語）所占比例最高，其次為名詞（短語）和形容詞，副詞和連詞則很少考查。

（二）命題建議

1.完善考試說明，提供具體的命題指導(dǎo)

通過查閱《大綱》發(fā)現(xiàn)，其對于完形填空命題的描述比較籠統(tǒng)，僅在篇章長度上有明確的詞數(shù)限制，其余方面缺乏詳細的指導(dǎo)，建議可以從測試輸入特征和測試答題兩方面入手，進一步完善考試說明，針對題材和體裁的選擇、試題難度和刪詞間距范圍的規(guī)定及各個考點層次和詞類考查比例的分布等制定出詳細的規(guī)則，使高考英語試題設(shè)計更加合理，進一步加強試題的內(nèi)容效度。

2.合理控制文章的易讀度，縮小試題難度的波動范圍

易讀度是用來判斷試題難度的一個重要方面，試題易讀度數(shù)值的高低直接影響考試難度水平的高低。易讀度的數(shù)值可以變化，但需要在一個不會導(dǎo)致難度發(fā)生大幅變化的合理范圍內(nèi)，這樣歷年高考試題的難度才能大體維持在一個一致的水平上，否則極易造成考試不公平的問題。

3.增加高層次考點，合理分配各詞類的考查比例

根據(jù)完形填空的命題要求，它主要考查學(xué)生在閱讀理解的基礎(chǔ)上運用詞匯知識的能力，因此將詞匯知識的考查上升至篇章層次更符合命題要求。此外，李筱菊（1997）指出，高層次的考點也能考查低層次的知識。因此，增加高層次考點的比例，既可以擴大試題的考查范圍，又可以進一步探知學(xué)生的綜合能力水平。此外，各個詞類考點的分布要均衡，否則極易造成學(xué)生因某類詞考查得不多而忽視對這方面知識點的復(fù)習(xí)和鞏固，造成知識點掌握不全面的現(xiàn)象。

結(jié)語

高考是全國性的考試，高考卷的試題效度受到了廣大考生的關(guān)注。浙江省作為高考英語改革的試點省份，試題的內(nèi)容效度關(guān)注度更高，值得研究。僅對2014—2018年高考英語浙江卷完形填空試題的內(nèi)容效度進行歷時研究，而對改革前、后試題效度的變化只是簡單提了幾點，未作深入的對比分析，之后的研究中可以進一步探索。