從使用論證框架角度探討大學英語學業測試

戴瑜　李廉

摘 要： 學業測試是大學英語教學活動中必不可少的基本環節和重要步驟，已有的學業測試不斷暴露出越來越多的問題。文章依據Bachman的“測評使用論證”（AUA）理論的論證鏈條，論證大學英語學業測試的解釋和運用過程。以中國礦業大學徐海學院為例，從測評表現、解釋、決策和使用后果四個方面收集各種相關證據，對學業測試進行使用論證，找出其中主張構成支持或反駁，探尋當前大學英語學業測試中存在的問題，以提高測試的效度和信度，加強其對教學的反撥作用。

關鍵詞： 測評使用論證 大學英語 學業測試

一、引言

英語測試是英語教學中一個不可或缺的重要環節，可以用來衡量學生英語的掌握程度和使用能力。按照目的及用途，語言測試分為：素質測試，水平測試，成績測試和診斷測試。從理論上講，大學英語學業測試屬于成績測試，它是針對受試者經過一段時間學習或專門訓練后達到的熟練程度的測試，目的在于考查學生一學期的學習情況是否達到教學大綱的要求，多用于階段性測試。任何一種測試都是由目的決定其性質的。大學英語學業測試的目的在于，檢測學生整個學期的學習效果是否達到教學大綱要求，并且診斷教學過程中教與學出現的問題，為今后教學提供反饋意見。

學業測試中學生的測試表現很大程度上決定了考生的學績認定、畢業要求等決策，測試質量及結果非常重要。Bachman和Palmer于2010年提出的“測試使用論證”（Assessment Use Argument，AUA）框架包含了測試的使用，將考生的測試行為表現和特定的考試效果銜接起來，更加關注測試使用所帶來的影響和后效。該框架要求測評者從測評表現、解釋、決策和使用后果四個方面收集各種證據，以保證測評分數和測評使用的合理性[1]。本研究以中國礦業大學徐海學院（以下簡稱該院）為例，在AUA框架下的這四個方面調查當前大學英語學業測試的狀況，探尋當前考試中存在的問題，以提高測試的效度和信度，加強其對教學的正面反撥作用。

二、測評使用論證介紹

Bachman和Palmer[2]于2010年推出新著《語言測評實踐：現實世界中語言測評的開發與使用論證》，書中全面闡述了在現實條件下開發和使用測試的基本原則，提出的AUA框架系統指導語言測評的設計、開發、使用解釋和所做決策的合理性。該框架包括兩個方向的推理過程。對測試進行解釋與使用論證時，要按照考生的測評表現、測評記錄、測評解釋、測評決策和測評效果的順序推理，而反方向的推理過程則是測評的開發過程。這五個環節之間的關系是逐層推理、緊密聯系的，每一層都需要經過“主張-證據”論證，上一輪推理過程的“主張”經過理據與反駁的驗證即成為下一輪推理的“證據”，其中測試表現本身不需要論證，只是為測試論證過程提供證據[3]。

在AUA框架中Bachman對每個環節（除測試表現）的質量屬性有明確界定。首先，測評記錄要具有一致性，要求測試記錄在不同的測試任務和不同測試流程過程中保持一致，測評記錄在不同考生之間保持穩定一致。其次，測試解釋有意義性、無偏性、概化性、相關性和充分性，要求學生的受試表現在這幾個方面符合測試預期要測的語言能力。然后，決策要實現公正性和價值敏感性，不僅要考慮現有群體價值和相關法律要求，而且要對所有利益相關者公正。最后是測評效果具有善益性，要保證對全部利益相關者有益，這正是構建AUA框架的目的所在[2]。

三、大學英語學業測試論證

本文以中國礦業大學徐海學院為例，在AUA理論框架下，對該院2014級學生（共計1962人）第一至第四學期的大學英語學業測試進行使用論證，此論證過程始于AUA框架的“測試記錄”，終于框架的“決策”，收集各種證據，通過論證每一環節的相關主張、理據和反駁，分析該學業測試的使用是否合理，發現現階段該院學業測試中存在的問題及根源。

1.測評記錄的一致性

根據AUA理論框架，相同的測試，若測試對象是相同的，那在不同場合得出的分數應該是一致的[2]128。分數的一致性是必需的，如果它們不能相對一致，則該測試就不能給我們提供預期的相關能力信息。對該院2014級學生參加的二年級第二學期大學英語學業測試調查發現，雖然是教師集體閱卷，但對主觀題設定的評分標準過于籠統，例如大外部該組負責人統一寫作的評分標準，一般水平給予9分左右，較高水平給予12分-13分，較低水平給予6分-7分，但并沒有將這些不同水平的標準細化，導致閱卷的評分尺度難以把握。并且由于工作量的問題，學業測試都采用單人評分的方式，無法保證評分的信度。對作文閱卷部分使用極端分組法D=PH-PL檢驗評分結果的區分度[4]，其中PH和PL分別為高分組（前27%）和低分組（后27%）的得分率之差，結果顯示作文評分結果的區分度僅為0.26，低于一般標準0.3的區分度，需要改進。區分度不理想不僅不利于鑒別學生之間在寫作能力上的差別情況，還會影響該次考試各項之間的相關性，從而影響整個測試內部一致性。通過學業考試的寫作部分一致性的分析，發現其內部一致性較低證據構成了反駁。

通過對授課老師的問卷調查顯示，老師對學生課堂表現的評分依據有很大差別，有的老師根據學生課后作業完成量，課堂活動的參與度，課堂聽寫、隨堂訓練的表現和出勤率評分，個別老師僅以出勤作為唯一依據。由于大學英語學生數量多、水平分布不均，在課堂訓練內容設計和執行上，很難保證它們的統一性、連貫性和系統性，并且教師對學生課堂表現的評價主觀性較強，導致學生的平時成績不能準確地反映學生的語言能力。

2.測試解釋的有意義性及概化性

AUA框架中測試解釋主要關注對考生受測能力的解釋，學生的受試表現能夠符合測試預期要測的語言能力，本文從以下兩個方面探討論證。

（1）測試解釋的有意義性

按照Bachman的觀點，測試解釋的意義在于測試記錄要能夠為利益相關者提供與受測語言能力有關的可理解信息。其證明理據為一：所測試的語言能力是基于課程教學大綱（course syllabus），目標語言使用域的需求分析等信息；其二：測試表現以預期的語言能力構想為基礎，測試記錄可以被解讀為測試能力的指示器[2]118。

大學英語學業考試所測的語言能力要與現行的教學大綱和學院制定的培養方案相符。教育部在2007年修訂后的《大學英語課程教學要求》（以下簡稱《要求》）中對大學英語教學目的指導性的要求是：“培養學生英語綜合應用能力，特別是聽說能力，使他們在今后學習、工作和社會交往中能用英語有效地進行口頭和書面的信息交流，”[5]并將大學階段的英語教學要求分為一般要求、較高要求和更高要求這三個層次。該院作為獨立學院，以培養“應用性、復合型人才”為目標，英語能力培養目標與《要求》一致，并在教學大綱內按照難度逐級遞增的結構設計，對每個學期學生在聽力、閱讀、口語、寫作、翻譯、詞匯量等方面做了具體要求。

對該院2014級學生在2014年-2016年參加的四個學期的學業測試的試卷進行分析發現：四個學期試卷的難度系數沒有遞增的表現，有個別學期與上一學期相比甚至下降了，與教育部和該院大學英語課程教學大綱中從低到高的要求不相符。測試中有些試題的要求沒有達到大綱規定的教學要求。以2014級學生在二年級第一學期學業測試的聽力部分內容為例。試卷中的聽力測試的短篇聽力部分的語速不到120詞/分鐘，而大綱則要求學生本學期聽力要求的語速達到每分鐘160詞。

四個學期的學業測試的試卷內容均由聽力、閱讀、選詞填空、句子翻譯和寫作等部分組成。聽力部分的體裁包括日常談話、國內外英語廣播或電視節目等；閱讀理解部分的體裁是國內外大眾性英文報刊上發表的一般話題，工作、生活中常見的應用文體材料。與教學大綱設定的“今后學習、工作和社會交往”中的信息交流能力的培養相符。聽力理解和閱讀理解測試的不僅是學生英語語言知識，在一定程度上還涉及學生確定目標策略能力和制訂計劃策略能力等[10]，與Bachman所提出的交際語言能力模型相符，但測試中這兩項的部分篇章選自多年前的大學英語四六級真題或模擬題，內容和信息與當前不相符，導致學生對語篇的理解在一定程度上產生偏差，當然也與學生目標語言使用域（Target Language Use域，以下簡稱TLU域）的能力需求（即學生畢業以后真實工作環境對他們的需求）不相符。在期末試卷中基于詞匯和語法運用綜合能力的測試主要反映在選詞填空和句子翻譯部分，基于學生需求分析的問卷調查顯示，這兩項內容不能滿足學生的目標情景需求和學習需求。此外，寫作部分測試還包括常見應用文的書面表達，就一般性的主題能表達個人觀點的要求，這些內容沒有實現相關專業的專業信息內容的測試，對專業主題內容寫出文章摘要和大綱能力的測試，與學生目標語言使用域的語言能力需求有出入。

（2）測試解釋的概化性

受測者在語言測試中的表現提供了其語言能力相關的信息，Bachman在AUA框架中提出對測試任務中語言能力解釋要能反映其TLU域的語言能力構想，即概化能力，語言測試任務與目標語言使用任務在任務特征的各個方面相一致就是測試解釋的概化性主張[2]120-122。

本研究中所有考試均包括“選詞填空”項，該項測試任務是分別從15個單詞組成的詞庫和10個詞組組成的詞庫中為25個句子選擇形式和詞義均符合的選項，這項任務的內容選自于該年級學生本學期課堂講授的內容，目的是考查學生對課堂任務的參與度和完成效果。然而這種考查模式與真實語言交際場景相差甚遠，且部分學生在考前采取死記硬背的方式，對這一項的分值統計結果顯示，這一項在每學期有32%-37%的學生可獲得滿分，當然不符合真實語言使用任務，概化性程度較低。與此項類似，學業測試中的句子翻譯同樣是選取課堂教授的內容，并給考生劃定復習范圍，考生可以通過突擊背誦的方式答題。分值統計結果顯示，學生在此項目上獲得滿分的比例較高，具有較低概化性。

3.決策的公正性

AUA框架中的下一層的“主張—數據”中的數據基于以測試為基礎的解釋，主張則要求做出的決策要考慮對受其影響的利益相關者的公正性[2]116-117。

測試的使用和依據對測試結果的解釋所做出的決策要與群體價值和相關法律相符，這就意味著在進行決策前要仔細和嚴格考慮現有教育、群體價值和相關法律要求[1]。顯然該院的學業測試符合教育部門和學校的要求，保證所有參加測試的學生享有同樣受測機會，公平的考試分組，統一的考試時間，不受種族、性別的影響。對四個學期期末試卷仔細研究，沒有發現試題內容違反社會價值觀和相關法律要求，測試方式和時間對所有學生而言是一致并合理公平的。

按照Bachman的觀點，設定相關考試內容，要對比課程教學大綱和考試規范（test specifications），并且在考前告知學生考試的內容基于課堂內容的哪些部分，教師需確保這些內容在課堂上講授過，都是支持上述理據的支撐依據。考查該院四個學期的學業測試，試卷里所包括的與課本相關的內容中，聽力、詞匯、翻譯部分的分值分別為10分、25分和10分。在期末考試前，該級別小組對試題所包括的課本內容討論篩選，確定所占比重及具體內容和考查的形式，再將這些信息在考前通知學生。對教師的問卷調查顯示，所有授課教師都保證了這些操作的實現。可見在這個層面上測試對于所有學生是相對公平的。

4.測評效果的善益性

AUA框架中的測試效果，要保證對全部利益相關者都具有善益性。通過學業測試為了得到什么有益的效果，有誰可從中獲益，測試設計的起點應著眼于測試應帶來的有益結果，包括宏觀的后果——對社會、教育機構的影響，和微觀的后果——教學、學生本身的影響，收集可靠證據證明測試的合理性并建立起測評結果與決策、結果解釋之間的框架聯系[2]106-108。

按照Richards（2001）的觀點，課程設計的內容和過程應包括六個環節：需求分析、對教學環境的分析、教學目標的設定、教學大綱的設計、教材的開發和修訂、課程評估。教育部的《教學要求》（2007）指出“全面、客觀、科學、準確的評估體系對于實現教學目標至關重要”，作為教學階段結束時對學生的終結性評估的學業測試，其考試內容直接與課程設立的交際目標相關，其考查的結果為教學評估提供重要依據，不僅保證教師獲得教學反饋信息，幫助教師改進教學管理管理、提高教學質量，而且有助于學生調整學習策略、改進學習方法。該院的學業測試在統一閱卷后及時在學校教學網絡系統中登記成績，之后學生可登錄查詢各自的成績。但是成績提交后，對于學生測試內容的各分項表現沒有做出合理評價，缺少相應的語言能力的描述和各自達到的能力等級描述。

學業測試的主觀題（如翻譯和寫作）可以比較準確反映學生的語言綜合能力和交際能力，但評估教師的有效性可能會達到消極效果。如前所述，教師在閱卷中的評分員信度不高，導致學生獲得分數與實際語言能力之間產生偏差，這種偏差會直接影響考生的學分、獎學金等高利害事項，對學生的學習過程和后續過程產生不利影響。這些未預期的消極后果是對測試后果有益性的重要反駁。

四、結語

大學英語學業測試是英語教學終結性評價的主要形式，試題命制的質量對于使測試達到理想的信度和效度有著十分關鍵的作用，不但關系到學生的學習成績的好壞、教師的教學水平的高低，而且涉及學生的學習信心、自我評價和教師的職業成就感等問題[6]。學習者是否達到了大學英語課程教學要求及課程標準對于語言能力的要求，是學業測試考查的關鍵。以中國礦業大學徐海學院的2014級學生四個學期的英語學業測試為例，運用Bachman的AUA框架論證其效度，發現目前學業測試中存在如下問題：1）考試和評估不兼容，目前“綜合性”測評體系下的課堂評估和學業考試的效度不屬于同一維度，實際上是兩個不同的評價系統；2）考試的內容和方法不符合語言測試學標準，缺乏合理的理論效度設計、合理的難度和區分度、較高的信度、分數解釋和報道機制；3）測評內容和教學目標不一致；4）評分標準籠統、測評結果不穩定、評分員差異大等技術方面問題。

參考文獻：

[1]徐啟龍.AUA框架——語言測評理論的新發展[J].外語電化教學，2012（1）：37-41.

[2]Bachman， L. F. & Palmer， A. S.. Language Assessment in Practice [M]. Oxford： Oxford University Press， 2010.

[3]韓寶成，羅凱洲.語言測試效度及其驗證模式的嬗變[J].外語教學與研究，2013（3）：411-425.

[4]Anderson， J. C. & Gerbing， D. W.. Structural Equation Modeling in Practice： A Review and Recommended Two-step Procedure[J]. Washington： Psychology Bulletin， 1990（103）： 411-423.

[5]中華人民共和國教育部高等教育司.大學英語課程教學要求[Z].上海：上海外語教育出版社，2007.

[6]潘之欣.從AUA理論看CET考試改革[J].外語測試與教學，2014（4）：1-9.

基金項目：江蘇省高校哲學社會科學研究項目“應用型大學英語分級分類測評體系構建”（編號：2016SJA740043）。

通訊作者：李廉