大學英語校本學業成就考試效度探究
——基于期末考試與CET4成績的相關性驗證分析

董連忠

（中國勞動關系學院，北京 100048）

0 引言

信度、效度和可行性是衡量語言測試質量的重要標準，其中效度指測試的有效性，即測試在多大程度上測到了想要測試的內容，從而為成績的解釋及其使用提供理論依據和實證參考，是測試研發與評價的最根本要求［1］。大學英語測試是大學英語教學的重要組成部分，包括各高校大學英語教學過程中自行組織實施的課堂測驗，期中、期末等校本學業成就考試，也包括大學英語四、六級考試（CET4&6）。雖然CET4與期末考試同為學業成就考試，但由于前者是面向全國非英語專業大學生的統一考試，更傾向于大學生英語水平考試，而后者是檢查大學英語基礎階段學生所學內容的掌握情況，因而兩個考試在考試目的、考試內容、考試任務等方面應有所不同［2］。多年來，由于CET4具有較高的信度和效度，自施測以來得到了業界及社會的廣泛認可［3］；同時受大學英語教師教學任務重、科研壓力較大，再加上多數教師缺乏測評素養等主客觀因素的影響，一些普通高校校本考試選用CET4真題內容，照搬CET4題型，使大學英語學業成就考試效度令人質疑［4］。本研究以某高校19級法學、經濟管理和財務管理3個班SET3為例，在對考試內容和考試題型進行對比的基礎上，對3個班學生的考試成績進行了相關性驗證，試圖發現期末考試存在的問題，以期提升大學英語學業成就考試質量。本研究擬回答以下問題：（1）兩個考試學生的總成績及單項技能成績的相關性如何？（2）受試對兩個考試難度及考試任務難度的評價如何？

1 研究設計

1.1 研究對象

參與本研究的為某高校2019級法學、經濟管理和財務管理3個班的123名學生，其中男生34人，女生89人。受試分別于2020年12月參加了CET4和SET3。

1.2 研究工具

本研究采用的研究工具為某高校19級SET3和2020年12月CET4試卷、考試成績和調查問卷。兩個考試內容、任務、題量及賦分比例等情況如表1所示。

表1 CET4與SET3試卷構成及賦分比例

由表1可知兩個考試的考試內容（聽力、閱讀、寫作和翻譯）和考試任務（閱讀部分除快速閱讀外）基本相同。該校的外語教師均有CET4&6主觀題評分經歷，SET3的主觀題（寫作和翻譯）均由全體外語教師在同一時間內按CET4評分標準要求進行評分（客觀題機讀），以確保評分客觀公正。

最后對3個班學生實施了問卷調查。由于兩個考試間隔不足2周，且考試環境基本相同，因而問卷僅對兩個考試的總體難度和單項任務難度進行了調查。問卷信度0.97，使用SPSS對兩個考試成績和問卷結果進行了統計分析。

2 結果分析與討論

由表2可知，除“綜合”部分外，SET3的總分（69.86）、聽力（22.62）和閱讀（30.59）平均分均高于CET4，SET3成績分布較為分散，CET4相對較為集中。其中，SET3和CET4的閱讀部分平均分差異明顯，得分率分別為76.39%和68.09%，部分原因或許與SET3不考查快速閱讀有關。兩個考試的偏態值無明顯偏離0的變量，表明兩個考試成績基本呈正態分布；除CET4的綜合部分偏態值為正數，即得分偏低，低于平均分的人數超過了50%外，兩個考試的其他部分偏態值均為負數，表示這些題得分偏高，高于平均分的人數超過50%。

表2 考試分數描述性統計

峰度值一行顯示，僅SET3的綜合部分和CET4的閱讀部分峰值為正數，表示這兩個變量的峰比正態分布的峰矮平，即分數過于分散；兩個考試其他部分均為負數，表示以上變量的峰比理想正態分布的峰要高尖，即分數過分集中在中分段；最大值和最小值兩行顯示，除SET3綜合部分外，無論是總平均分還是單項技能平均分，最大值與最小值之差SET3均高于CET4，表明SET3成績差異較大，說明部分學生未考出真實英語水平。表3顯示了兩個考試成績的相關性情況。

表3 考試分數相關性分析

由表3可知，兩個考試總成績高度相關（0.863），單項成績中度相關（0.311～0.567）；就內部相關而言，SET3呈弱到中度相關（0.311～0.448），CET4呈高度相關（0.706～863）。造成這種結果的原因或許是SET3部分內容是本學期所學內容，如聽力、閱讀理解及漢譯英均有選用了部分教材課后練習和課上CET4輔導內容，造成SET3內部相關性較低。可見，雖然SET3與CET4采用相同題型，但受試的考試表現有所不同。因此，考試的開發與設計首先應考慮考試目的，考試目的決定考試任務的選用，而非照搬“權威”考試題型。表4顯示了兩個考試的總體和單項難度情況。

表4 兩個考試總體和單項難度

由表4可知，兩個考試均有一定的難度，無論是單項技能難度還是總體難度，僅有SET3的寫作和漢譯英在3.00及以上，且CET4的總體難度和單項難度均高于SET3，且均具有顯著性差異，表明CET4難度較大。差值較高的分別為聽力（0.52）、漢譯英（0.49）和寫作（0.46），表明這3項技能CET4難度更大。表5進一步顯示了兩個考試的任務難度差異。

表5 考試任務難度

由表5可知，兩個考試采用的相同任務中，CET4難度均大于SET3，差值較大的分別為閱讀部分的選詞填空（1.00）、聽力部分的新聞理解（0.55）和對話理解（0.50）及綜合部分的漢譯英（0.49），而寫作、仔細閱讀和篇章理解難度相對較小。這一結果或許與SET3選用部分課后習題（聽力）和本學期輔導的CET4真題（仔細閱讀、寫作）有關。

3 討論與啟示

效度是程度概念，它對分數的解釋取決于所得的證據多大程度上能夠支撐效度主張，因而效度驗證是收集不同的數據對分數作出合理解釋的過程［5］。按不同發展階段，效度大致可分為分類效度、整體效度和基于論證的效度驗證方法。基于分類效度觀，所收集的支持分數解釋的證據又主要分為內容效度、校標關聯效度和構念效度的意義［6］。本研究中的兩個考試均屬大學英語學業成就考試，SET3的考試內容、考試任務與CET4基本相同，因而兩個考試的內容效度和構念效度的意義無顯著差異。本研究僅通過校標關聯效度和學生對兩個考試難度的認識對SET3予以探析，從而發現SET3存在的問題與不足。

3.1 兩個考試學生的總成績及單項技能成績的相關性

研究發現，兩個考試考查內容和考試任務基本相同，均考查了聽力、閱讀（SET3未考查快速閱讀）、寫作和翻譯；兩個考試學生的總成績相關度較高，即測量受試整體語言水平的一致性較高，而單項成績呈中度相關；內部相關SET3呈弱到中度相關，CET4相關度較高。

一個語言測試主要關注三方面的問題，即考什么、怎么考和考試結果的使用［7］。SET3和CET4均為大學英語學業成就考試，考試內容（考什么）和考試任務的選用（怎么考）基本相同，充分顯示大規模高風險考試對期末考試的“標桿”作用。然而作為全國非英語專業大學生英語水平考試，CET4與期末考試相比又有其特殊性。《大學英語教學指南（2020）29-30》明確指出，不同高校應基于校本辦學特色和辦學定位，“采取選用與開發相結合的形式，制定科學完善的校本大學英語測試體系”，從而充分發揮測試的導向作用［8］。而該校期末考試形式、考試內容嚴重四級化，缺少基于校本學情的測試設計與開發體系。

3.2 受試對兩個考試難度和考試任務難度的評價

調查結果表明，受試認為兩個考試總體難度較大，與CET4相比，SET3的漢譯英、寫作和閱讀部分的選詞填空（15選10）難度相對較小。造成這一現象的主要原因是SET3采用了本學期部分所學內容的課后練習和CET4真題輔導內容，降低了試題難度。事實上，為提升期末考試效度，可適當增加主觀題，采用基于所學內容、形式多樣的考試任務，而非全盤照搬CET4考試題型，從而減少大規模考試給教學帶來的負面影響。綜合以上分析，本研究得到如下啟示。

3.2.1 增加綜合測試任務，減少多項選擇題

語言測試設計首先考慮考試目的，其次是測試任務的選擇［9］。為提高考試效率，大規模高風險考試通常采用較多的多項選擇題，如托福、雅思、四六級考試及英語專業四、八級考試等。作為一種常用的測試題型，多項選擇題的科學性和有效性已得到語言測試界的認可，但其對教學同樣有重知識傳授、輕運用能力培養等嚴重的負面影響［10］。因此，大學英語校本期末考試應從教學實際出發，結合不同學期的教學內容，采用靈活多樣的考試任務，如復合式聽寫、簡答題及讀后續寫等題型，為教學提供準確的反饋信息，以便調整教學內容、改進教學方法，全面提升大學英語教學效果。

3.2.2 探索基于《量表》的大學英語校本測試體系

語言測試的目的是提供一種科學的測量工具，即通過語言運用的抽樣，對受試語言能力進行客觀、準確和公正的評價。多年來，由于缺乏開發、實施考試的時間和經費，教師測評素養水平較低，再加上大學英語教師教學壓力大、科研任務重等主客觀因素的影響，多數普通高校大學英語校本考試設計和考查內容不盡合理，考試效度有待提升［11］。《中國英語能力等級量表》（教育部、國家語委2018，簡稱《量表》）立足我國不同階段的英語學情，為各級各類英語考試提供科學的能力指標體系和準確的能力標尺，為英語教學的過程性、終結性等測評方式提供能力參照標準［12-13］。因此，應將大學英語基礎階段校本期末考試與量表對接，使考試設計更加全面、系統，從而有利于提高大學英語期末考試效度。

3.2.3 加強教師培訓，提升大學英語教師測評素養

語言測試是一門跨學科的科學，試卷開發是一項技術很強的工作，從試卷設計、命題、預測等到實施是一套系統工程。這就要求命題人員具備一定的測評素養，既要知曉語言測評的基本原理，掌握一定的測評技術與方法，熟悉測評質量的評判標準，同時又具有一定的應用語言學理論基礎、豐富的教學經驗，還應對學生的語言能力及學習中的困難有較深入的了解［14-15］。因此，加強語言測評培訓，提升大學英語教師測評素養是提高大學英語期末考試質量及大學英語教學效果的重要途徑。

4 結語

測試是教學的組成部分，對教學具有導向作用，因而效度是語言測試研發人員永久追求的目標。與CET4相比，大學英語校本學業成就考試具有規模小、考試內容與題型的選擇相對靈活等特點，其目的主要是檢查教學效果，為教學提供及時反饋，以提高教學效果。本文僅通過一所高校3個班的大學英語期末考試成績與CET4成績進行相關分析和問卷調查，對大學英語期末考試效度進行了探析，研究結果僅為探索性結論。為進一步挖掘普通高校大學英語學業成就考試效度，應對多所高校大學英語期中、期末考試及課堂測驗等進行深入地研究，提升大學英語測試效度，從而促進大學英語教學的不斷發展。