2016年TEM4改革前后閱讀任務內容效度的對比分析

劉敏 崔婷婷

【摘 要】 本研究以2013-2018年6套TEM4閱讀試題為研究對象，從語篇輸入及預期回答兩個角度對2016年改革前后的閱讀任務進行對比分析，以期為TEM4閱讀試題的編寫提供建議，進一步促進TEM4對教學積極的反撥效應。

【關鍵詞】 TEM4閱讀任務;語篇輸入;預期回答;對比分析;反撥效應

一、研究背景

英語專業四級考試（TEM4），作為一項標準參照性教學檢查類考試，從上世紀90年代初面向全國英語專業二年級學生推出，至今已實施近30年。隨著考試人數的逐年遞增與考試題型的優化改革，TEM4已被公認為是一項大規模標準化的考試。2015年8月，外語專業教學測試委員會出臺了《關于英語專業四級考試（TEM4）題型調整的說明》（以下簡稱《調整說明》）。2016年3月，改革后的TEM4正式實施。此次改革對閱讀任務做了以下調整：在考試時間上，閱讀和答題時長從25分鐘增加到35分鐘;在考試內容上，閱讀文章從4篇減少為3篇;在考題形式上，由傳統的20道選擇題調整為10道選擇題加5道簡答題。改革前后閱讀任務部分的分值與其總權重均保持不變。[1]

作為效度整體觀的重要組成部分，內容效度旨在評估考試內容與考試大綱的吻合程度?？荚噧热菔欠窬哂懈采w性和 代表性是評價內容效度的兩項重要指標。Hughes認為內容效度越高，考試越可能準確地測量要考查的能力。反之，如果考試規范或大綱中所規定的內容沒有在試題中得到充分體現，這個考試則不能作為準確的測量工具。另外，內容效度低的考試還會產生消極的反撥效應，因為考試沒有考查的內容，在教學活動中往往會被刻意忽略。[2]因此，內容效度既是收集考試效度證據的一個重要途徑，也是決定考試能否產生積極的反撥效應的一個重要因素。

國內學者對TEM4閱讀任務的研究多集中在2016年TEM4改革之前，同時，對于改革后的試題研究也多以單一年份的試題為對象。劉寶權分析了2015年《調整說明》附件中的專四樣題。[3]何錫梗對比了改革前五年的考題和2016當年的閱讀考題。[4]關于TEM4閱讀任務的內容效度研究雖取得一定成果，但對改革后的題型分析多集中于2016年考題，分析樣本單一，針對新舊題型的對比分析也較為空缺。鑒于TEM4的影響力，以及這次改革在閱讀任務的題型、題量、和考試時間上的多方面調整，從內容效度視角對2016年改革前后的閱讀任務進行對比分析十分必要。

二、研究設計

1、研究目的

本文旨在探討改革后的閱讀試題是否具備更好的內容效度、是否改進了之前試題中存在的不足，以期為閱讀試題的完善與改進提供有價值的參考。

2、研究對象

本文以近6年TEM4閱讀理解任務為研究對象，其中2013-2015年為改革前的3套試題;2016-2018年為改革后的3套試題?？傆嬑恼?1篇，考題105道。

3、研究框架

本文以Bachman和Palmer提出的任務特性框架為理論依據，[5]結合《調整說明》所規定的選材原則、測試要求、目的，制定 TEM4閱讀測試內容效度的分析框架。其中，語篇輸入任務特征主要包括體裁、題材與語言難度（易讀度）;預期回答任務特征主要包括回答類型和技能考察。

三、研究結果與分析

1、語篇輸入任務特征

（1）2004版大綱和2016年的《調整說明》均規定TEM4閱讀材料的體裁應多樣化，包括記敘文、描寫文、說明文、議論文、廣告、說明書、圖表等體裁。[1][6]表1統計了近6年TEM4閱讀任務的體裁。可以看出，改革前后閱讀任務在體裁上的相同點是：議論文與記敘文占比最大，說明文與描寫文占比較小。不同點是：調整后議論文的比例由59%降為45%;說明文與描寫文的占比由8%上升為11%。而廣告、說明書、圖表這三種應用文體在近6年中從未被考察過。

議論文著重考察考生的批判性思維與思辨能力，確實是國內標準化考試中占比較大的體裁。但應用類文本具有真實性和實用性的特點，不應被忽略，改革后閱讀材料的選取雖然更加注意體裁分布的合理化，但仍舊未對應用文這一體裁的考察空缺進行填補。

（2）《調整說明》規定TEM4閱讀材料的題材應廣泛化，涵蓋社會、科技、文化、學習、常識、人物傳記等方面。 [1] 《調整說明》在選材上用學習取代了2004版大綱中的經濟題材。表2中用“教育”涵蓋“學習”這一新增題材和改革前的相關文章?？傮w來說，改革前后近六年的選材中社會題材占比最大，21篇文章中有9篇文本是和社會話題相關的。改革前的閱讀材料僅次于社會話題（50%）的是科技和教育，占比分別為17%，文化和人物傳記各有一篇，占比均為8%。

改革后的閱讀材料則是社會、科技和文化三種話題平分秋色，對人物傳記和教育話題的考察尚未體現，近六年的考題從未涵蓋常識類文章。從反撥效應角度來講，題材不夠廣泛會導致考生選擇性地進行“應試閱讀”，即只重視頻繁考察的話題，不能積極主動地拓寬閱讀面。由此可見，在題材選擇上，改革后的閱讀任務內容效度有所下降，命題人應進一步拓寬話題的涵蓋面 保持題材的合理均衡。

（3）TEM4閱讀材料的語言難度應接近英美國家出版的語言難度中等的文字材料。[1]易讀度是用于衡量文字材料易于閱讀理解的程度的一個重要概念，與文字材料的句子長度、語法復雜程度等因素密切相關。[7]本研究采用Flesh易讀度計算公式對近6年閱讀試題的難易度進行計算。易讀度數值越高，文字材料越易于閱讀。表3統計了每年閱讀材料的總字數、年平均易讀度、改革前后字數和易讀度的總平均值。

2004版大綱和2016年的《調整說明》均規定TEM4閱讀材料的長度在1800個單詞左右。[1][6]改革前每年的閱讀總字數均少于1800字，而改革后總字數則多于1800字。改革前三年閱讀材料的平均難度為61.99，語言難度介于中等（Standard）與偏難（Fairly difficult）之間，稍微偏難;改革后的平均易讀度為63.73，難度有所下降，位于中等難度（Standard）的中間范圍內。

可以看出，近六年的試題在閱讀量上呈現遞增趨勢。文章數量由改革前的4篇縮減為3篇，但總字數逐年遞增;改革后每篇文章的信息輸入增多，但考試時間也增加了10分鐘;閱讀材料的難度略微降低。閱讀試題的命制在調整的基礎上兼顧各方面的均衡。

2、預期回答

（1）從回答類型來看，新增的5道簡答題力圖降低應試技巧和猜測因素對考察學生閱讀能力的干擾。在改革后的15道簡答題中，推斷題占比最高（53%）;細節題居于次位（27%），釋義題和大意題分別占13%和7%。簡答題通過對學生語言輸出能力的考察，不僅有助于提高試題效度，而且能促進對教學積極的反撥效應。

（2）根據2004版大綱和2016年的《調整說明》，本文將閱讀技能劃分為大意類、細節類、釋義類和推斷類。如表4所示，改革前的TEM4閱讀任務中，細節類的題目占比最高，達到55%;推斷類、釋義類、大意類技能占比差距較小。由此可見，調整前的TEM4閱讀試題注重對考生檢索細節并整合信息能力的考察。

改革后的閱讀任務中，細節類題目依舊占比最高，但比例由55%下降為38%;同時，推斷類題目比例由18%上升為36%，大意類題目的考察比例也有所上升。由此可見，改革后的閱讀任務考察的技能側重點有所變化，在延續對細節檢索能力考察的同時，加大了對考生推理判斷能力的考察，旨在檢驗考生對文本深層次的理解。因此，改革后的TEM4閱讀試題在閱讀技能考察方面有更高的內容效度。

四、總結與建議

研究結果表明，改革后TEM4閱讀任務中體裁分布更為合理，簡答題的設計提高了試題效度，對閱讀技能的考察比例分布更加均衡，內容效度總體上有明顯進步。但閱讀任務的題材涵蓋略為集中，各題材的考察比例分布明顯不均，內容效度仍有提升空間。命題人可適當增大應用文在體裁中的占比，并提高對教育、常識等題材的涵蓋度，促進試題對教學積極的反撥效應。

【參考文獻】

[1] 高校外語專業教學測試辦公室.關于英語專業四級考試（TEM4）題型調整的說明[R]. 2016.

[2] Hughes， A. Testing for Language Teachers. Cambridge： Cambridge University Press，1989.

[3] 劉寶權，胡芳芳.英語專業四級閱讀測試效度研究——以TEM4（2016）新大綱樣題閱讀任務為例[J].外語電化教學，2018（1）70-75.

[4] 何錫梗.新考綱下2016年英語專業四級考試閱讀理解題的延續與創新[J].寧德師范學院學報（哲學社會科學版），2016（3）90-94.

[5] Bachman， L. F. & A. S. Palmer. Language Testing in Practice [M]. Oxford： Oxford University Press， 1996.

[6] 高等學校英語專業四級考試大綱修訂小組.高校英語四級考試大綱（2004年新版）[M].上海：上海外語教育出版社，2004.

[7] 辜向東，關曉仙.CET閱讀測試與大學英語閱讀教材易讀度抽樣研究[J].西安外國語學院學報，2003（3）39-42.

【作者簡介】

劉 敏（1977—）女，陜西西安人，博士，西安外國語大學英文學院講師，主要從事語言測試及英語教學研究.

崔婷婷（1998—）女，廣東茂名人，西安外國語大學英文學院本科生.