基于語料庫的考研英語完形填空內容效度研究

吳 琦 劉立香

一、引言

考研英語作為一項人才選拔性考試，是考取碩士研究生的必考科目之一。在我國，碩士研究生可分為學術型碩士（簡稱學碩）和專業型碩士（簡稱專碩），相應的，考研英語也分為考研英語（一）和考研英語（二）。考研英語（一）是學碩考試用卷，考研英語（二）為專碩考試用卷。 從試卷內容上來看，英語（一）和英語（二）試題結構相似，第一大題均為由20 道單項選擇題組成的完型填空。 本文從篇幅以及考試參加人數方面考慮，僅對考研英語（一）中的完型填空進行探究。完形填空作為一種考查受試者語言綜合運用能力的重要題型，自20 世紀50 年代出現以來就備受各種大型英語考試的青睞， 中考、高考、大學英語四六級、專業英語四八級、考研英語、全國大學生英語競賽等都使用此題型，它也被專家稱為障礙性閱讀。 從命題角度來說，完形填空是依據格式塔心理學（Gestalt Psychology），即補全心理設計的，主要利用了語言冗余（redundancy）現象[1]，其主要的類型可以分為選擇型和填空型，而選擇型完形填空作為一種客觀題型，在閱卷時可有效避免閱卷人的主觀誤差且評分效率較高，所以成為目前語言測試命題中最受歡迎的題型之一。從測試角度而言，完形填空作為一種使用較廣泛的題型，必須具備良好的內容效度， 達到其預期的目的，從這一點上來看，完形填空試題的效度在考研英語這種大型的選拔性考試中尤為重要。

二、文獻綜述

通過文獻整理發現， 自2005 年以來國內對于內容效度的研究呈現快速發展狀態， 每年均有20篇左右論文發表。 但從研究材料上來看，多集中在中考英語、高考英語、大學英語四六級、英語專業四八級上；從研究內容上看，多集中于各大考試的閱讀理解題以及聽力題。如黃娟從語篇輸入和預期回答兩方面對2014 年至2018 年高考英語全國卷中的閱讀理解試題進行了內容效度探究，指出近五年來高考英語全國卷閱讀理解試題具有較高的內容效度，體裁多樣、題材廣泛，同時也存在部分文章難度偏大、文章排序不夠合理等不足[2]。郝偉麗、馮筠等參照Bachman&Palmer 的考試任務特征模式，對2013 年12 月大學英語四級考試中的閱讀理解試題進行了內容效度探究， 并指出CET-4 閱讀理解的設計基本符合《考試大綱》的要求，但還需進一步改進，如均衡各項考查技能以及適當控制閱讀難度等[3]。肖超則對2015 年杭州市和寧波市中考英語試卷聽力測試的內容效度進行了分析，研究結果表明兩市中考英語聽力測試內容緊貼學生實際生活，全面考查了聽力技能，但也存在話題和技能重復考查、題型呈現方式單一等問題[4]。不過，從研究方法上來看，多數論文研究方法較為單一，僅用到文本分析法，而鄒申、楊任明（2008）經過研究明確表明語料庫對于研究試題的內容效度具有優勢，可以幫助加深對試題效度的認識[5]。

三、相關概念界定

（一）內容效度

Alderson、Clapham 和Wall 指 出 效 度 可 以 分 為三個類別，分別是內部效度、外部效度以及結構效度，并指出內容效度是內部效度中最重要的一個效度[6]。Bachman（1990）對此也有相同看法，他指出內容效度是測試效度的重要組成部分，包括內容關聯度（content relevance）和內容覆蓋面（content coverage）[7]。一份試題的內容效度越高，越能準確地測量出試題想要測量的語言能力；相反，內容效度越低，則越偏離測試目的，帶來越多負面影響。

（二）考點效度

對于如何衡量完形填空試題的內容效度，李筱菊（1997）在其著作中提出了“考點效度”這一概念，指出考點效度是指在選詞填空時，詞的取舍需要受什么層次語境的制約；并且認為考點效度與考點層次和焦點因素這兩個方面密切相關[8]。 考點層次從高到低可以分為：語篇層次（D）、句子層次（S）、詞組層次（P）以及單詞層次（W）。 從考點層次方面來講，高層次蘊含著低層次，如對語篇層次的考查既包含著對句子層次的考查，也包含著對單詞層次的考查；而反過來，低層次卻不能包含高層次。 因此，從一定程度上來講，考點層次越高，考點效度就越高，相應的，內容效度也就越高。焦點因素也就是測試所要考查的焦點內容，包括語法因素（G）、固定搭配因素（C）以及意義因素（M）。一般來講，高層次的考點側重于考查意義，而低層次的考點往往只涉及單純的語法。

四、研究設計

（一）研究材料

選取2010 年至2019 年考研英語（一）完形填空試題作為研究材料，共10 篇語料。 由于2010 年考研英語開始改革，分設英語（一）和英語（二）試題，因此選取2010 年作為本研究的起點。

（二）研究問題

從試題材料的選擇和題項的設計這兩方面出發，主要的研究問題包括：

①完形填空試題中文本材料的相關性和代表性如何？

②完形填空試題中考點設計的典型性如何？

（三）研究方法

2010-2019 年的考研英語（一）完形填空試題共10 篇文章，200 道題目。本文由兩名研究者按照相同的標準（內容效度分析項目）對其進行分析，其間參考兩本市面上較權威的考研英語真題解析， 待各自完成后再一起核對， 兩者的一致性達89%，其中不一致的地方共同協商討論，直至意見統一。

基于前人的研究成果[9，10]，本研究構建了考研英語完型填空試題的內容效度分析框架，對2010-2019 年考研英語（一）中的完形填空試題進行內容效度評估（參見表1）。

表1 2010-2019 年考研英語（一）完形填空試題內容效度分析項目

（四）研究步驟

首先將2010-2019 十年來考研英語（一）試題中的完形填空試題通過傳圖識字軟件輸入電腦建立微形語料庫；再結合《全國碩士研究生入學統一考試英語（一）考試大綱》（以下簡稱《考試大綱》）[11]，對十篇文本進行體裁和題材的統計（見表2）；接著運用語料庫檢索軟件worldsmith 對文本進行類符、形符、TTR 等方面的統計（見表4）；然后根據“Flesch 易讀度” 公式計算出文本的易讀度 （見表4），之后將所有的考點按照考查項目進行分類（見表5）；最后結合COCA、BNC 語料庫對部分考點的干擾項進行典型性分析（見表6、7、8）。

五、研究結果及討論

（一）文章體裁和題材分析

《考試大綱》要求參加研究生入學考試的考生能夠讀懂不同體裁和題材的文章，其中體裁包括說明文、議論文、記敘文等，題材包括社會、人文、科學等。將2010-2019 十年來完形填空試題的體裁和題材統計如表2：

表2 2010-2019 年完形填空試題的體裁和題材統計

由表2 可以看出，2010-2019 年這十年來，考研英語（一）完形填空試題體裁較為穩定，以說明文和議論文為主，暫未出現記敘文體裁。 題材涉及面廣，但多以社會類為主，這類社會類話題與生活息息相關， 如2011 年探討笑的作用、2017 年談論擁抱帶來的積極影響等。由以上分析可以看出考研英語（一）完形填空試題的命制沒有超出《考試大綱》所規定的范圍，相對來說較為穩定，但其覆蓋面不夠大，多為社會類題材，所以在接下來的試題命制中命題人員可考慮多增加一些人文類題材，特別是關于中國優秀傳統文化的傳播與發展，這與當今潮流——用英文講好中國故事相契合。

（二）文本詞匯密度及易讀度分析

文本詞匯是在選擇完形填空試題材料時要考慮的另一個重要維度。一般來說，在選擇完形填空試題文本時除了要考慮體裁和題材外，更應該注意文本的語言特征，要選擇難度適中、語言信息豐富、邏輯性強的文本作為完形填空材料。從這一方面來講，文本詞匯的TTR 值具有重要的參考意義，TTR（type-token ratio）是文章的類符-形符比，這一參數可以用來衡量文本的詞匯密度[12]。 一般來說，文章TTR 值越大，詞匯變化性越高，詞匯密度越大，在一定程度上文章理解難度也就越大。 另外，難易度也是在選擇完形填空文本時需要考慮的另一個重要維度，楊惠中曾指出考試所選用的材料難易度應適中，太難或太易都測量不出考生的實際水平[13]。 難易度可通過易讀度數值體現，易讀度指文本易于閱讀和理解的程度或性質[14]。本文采用現如今被廣泛認可的Flesch Reading Ease（RE）作為易讀度的檢測公式，其中RE=206.84－0.85wl－1.02sl，wl 指每一百個單詞中的音節數，sl 指每個句子的平均詞數[15]。目前，office word 軟件自帶Flesch Reading Ease公式， 利用該公式算出的數值取值區間為0-100，分數越低，則說明文章越難。其數值對應的易讀度參考量表如表3 所示：

表3 易讀度參考量表

表4 是利用語料庫統計軟件worldsmith 對2010-2019 年考研英語（一）完形填空試題所采用文本的類符、形符、類符-形符比（TTR）以及利用Flesch 公式計算所得出的易讀度數值統計。

表4 2010-2019 年完形填空試題文本詞匯密度及易讀度統計

由于完形填空是一種障礙性閱讀，出題者會在一篇語意連貫的文本中有目的地去掉某些單詞或詞組形成空格，所以在解題時必須具有充分的可理解性文本信息，而恰當的類符-形符比以及易讀度能夠一定程度上反映出文本的可理解程度，因此在決定一篇材料是否可作為完形填空文本時可用來參考。由表4 的統計數據可以看出，近十年來研究生入學考試英語（一）試題中完形填空文本的詞匯密度在57.55%（2012 年）到69.12%（2011 年）間浮動，易讀度在41.3（2011 年）到65.9（2019 年）間上下，據此可以初步判定這十年來2011 年完形填空試題難度相對較大，其余九年較為穩定。總的來說，這十年來考研英語（一）完形填空試題可理解性適中，難度總體偏難，但由于碩士入學考試是一種高層次的選拔性考試，所以這種難度范圍是合適的。另一個值得注意的地方是，自2017 年以來，完形填空閱讀材料難度呈現減小趨勢，在2019 年試題難度趨向標準。

（三）考點效度分析

利用李筱菊考點效度分析方法對完形填空考點進行考點效度統計，表5 為2010-2019 考研英語（一） 完形填空200 道選擇題的考點層次和焦點因素統計表。

表5 2010-2019 年完形填空試題考點效度統計

由以上統計數據可以看出，近十年來完形填空考點層次多以中高層次為主， 低層次考點涉及較少。在每年的20 道題目中，達到語篇層次的題目最少為3 道題，最多有7 道題。 考點達到句子層次最多的是2012 年，有17 題，占總數85%，最少的也達到12 題，占60%。從各考點的焦點因素來看，對意義的考查占據了絕大部分，多數達80%以上。通過以上分析可以發現，考研英語（一）完形填空試題考點效度較高，在語言層面以高層次的考點考查了學生的綜合運用能力，但要指出的是，在接下來的試題命制中，還需要提高對語篇層面的考查力度，提高語境層次，只有這樣，才能全方位地提高試題的內容效度。

（四）部分考點搭配的頻率分析

由表5 可以看出，2010-2019 十年來考研英語（一）完形填空試題中考查搭配的考點每年至少有兩個，所以筆者采用隨機抽樣的方法選擇其中幾個搭配考點（2016 年第6 題、2017 年第12 題、2018 年第8 題），運用COCA、BNC 語料庫進行搭配頻率分析，如表6、表7、表8 所示：

表6 2016 年第6 題各選項在COCA、BNC 中出現的頻率

表7 2017 年第12 題各選項在COCA、BNC 中出現的頻率

由以上三表可知，正確選項與干擾項的搭配在英語國家語料庫、美國當代英語語料庫中出現的頻率不太平衡，有些干擾選項的搭配在兩個語料庫中甚至一次都未出現，如2016 第6 題的D 選項以及2017 年第12 題的A 選項；另外，這三題考點其他選項的搭配在語料庫中出現的頻率也較低，因此可以認為這三道題的干擾度可能不太高，因而會對題目的內容效度產生一定的影響。通過對COCA、BNC兩個大型語料庫的檢索發現，與marry 搭配出現的最高頻率介詞依次為in、for、into、at、outside、within…， 與severe 搭配出現的最高頻率名詞依次為weather、disabilities、pain、cases、depression、problems…， 與exposure 搭配出現的最高頻率介詞依次為to、of、in、for、on…， 所以這三題的其他三個干擾項完全可以從語料庫檢索的最高頻詞中進行選擇，如2016 年第6 題的四個選項可以設計為marry in、marry for、marry into、marry within，2018 年第8 題的四個選項可以設計為exposure for、exposure in、exposure of、exposure to。

表8 2018 年第8 題各選項在COCA、BNC 中出現的頻率

五、結語

本文基于兩個研究問題主要從試題材料、文本詞匯密度、易讀度、考點效度以及部分考點搭配頻率五方面對考研英語（一）中完形填空試題的內容效度進行了分析探究。 研究結果表明：①文本材料的體裁和題材選擇基本符合《考試大綱》的要求；②考點的設計與《考試大綱》的要求基本相符。但也存在一些不足之處，如體裁和題材覆蓋面較窄，試題難度總體偏大，部分考點典型性不高，考點層次有待進一步提高等。

基于以上分析，本文嘗試為考研英語（一）完形填空試題命制提供以下建議：

第一，適當豐富試題題材。 考試大綱要求參加考研的考生能夠讀懂包括社會、人文、科學等各類題材的文章，然而在2010-2019 年考研英語（一）中出現的完形填空題材大多為社會類，對文化、科學、經濟等題材有所忽視， 這不利于拓展學生的知識面，不利于全面考查學生的綜合語言運用能力，所以在未來的試題命制中，可適當增加一些經濟、管理、人文類，特別是有關中華優秀傳統文化的題材，從多個領域拓展學生的知識面，促進學生綜合語言運用能力的發展。

第二，適當提高考點設計的層次。 考點層次影響考點效度，考點設計的層次越高，考點效度也就越高，相應的，內容效度也就越高。 然而，通過對2010-2019 年完形填空試題的分析發現，相當一部分題目只能達到句子層面，語篇層面的考查相對來說還比較少，這也許是因為句子或詞組層面的題目相對比較容易命制，而要突破句子達到語篇層面則比較費事費力，但即便如此，考慮到考點效度和試題質量，命題者在試題命制過程中，仍需向這方面努力。

第三，適當運用語料庫輔助試題命制。近年來，語料庫在語言測試中的應用受到越來越多學者的關注，其作用也愈發凸顯，建議命題人員在命制試題時可適當運用語料庫資源對考點設計的典型性進行檢驗，以提高測試的科學性和有效性。

本研究也存在一些局限性，如僅對2010-2019十年間考研英語（一）試題中完形填空試題的內容效度進行了初步探索， 接下來的研究將擴大研究對象和樣本，對考研英語（一）試題做更加深入的分析。