考試中測試效度、測試方法概述及對雅思學術寫作的預測效度分析

【摘要】當一場考試確實考核了它打算考核的內容時，才會被稱為有效的考試，效度在考試設計中起著指導性作用。本文從內容效度（Content Validity）、效標效度（Criterion Validity）和建構效度（Construct Validity）三個方面論述效度并給出了每種效度的測試方法和框架。最后針對雅思學術寫作考試，就其是否具有從屬于效標效度下的預測效度進行了詳細的分析。

【關鍵詞】考試;效度;雅思學術寫作

【作者簡介】薛睿哲，電子科技大學成都學院。

考試的效度是衡量其是否為有效考試的重要標準，效度體現在哪幾個方面以及如何檢測考試的效度是需要掌握的。雅思考試是很多國家的高校判斷學生是否具備足夠的英語能力在英語授課國家進行學習的標準。論文寫作是很多高校主要的作業形式，雅思學術寫作是否具有足夠的預測效度，能夠預測學生入學后的寫作能力和水平，也是本文討論的話題。

一、 內容效度

內容效度反映了考試內容在多大程度上覆蓋和關聯了考試設計者想要測試的內容。比如，一個打算測試學生口語交流能力的考試卻給了學生一些需要用到語法知識的寫作題目，那么這個考試就沒有足夠的內容效度。但是如果學生被給了一些真實的對話場景并被要求進行口語輸出，這就具有很高的內容效度。

通常測試內容效度的方法是請專家判斷某項考試多大程度上能夠測驗其打算測驗的內容。具體方法是把關于考試的說明和考試的實際內容進行系統對比，過程為：（1）專家寫下自己認為每道問題在測驗什么技能，或專家會拿到一個列表，然后在他們認為每道題測驗的技能旁打勾。（2）收集專家和學生所寫的列表內容并尋找他們之間的共同點。專家普遍認為，出試題者打算測試的技能和實際測試的技能相符度高的考試可以被稱作有高度內容效度的考試。

然而一次考試只能容納有限范圍的知識，很難確定讓專家評估的例卷是足夠有代表性的，所以選取哪些題目放在考試里是需要很慎重考慮的。此外，考試任務的設置、答案的形式、題目的順序都是判斷內容效度的因素，這些也都是出題人需要考慮的方面。

二、效標效度

效標效度是指考試結果與用其他標準測量考生某方面能力的結果具有較高的一致性。效標效度下有兩個分支，一個是同時效度（concurrent validity），一個是預測效度（predictive validity）。同時效度指的是一個考試結果和考試者參加其他考試的結果一致，需要注意的是，這些考試的時間應該是相距較近的。預測效度指的是考試者在該考試中的表現可以被用來預測他在該領域未來的表現。

為了檢測同時效度，在獲取了第一個考試結果后，其他反映該能力的指標可以通過以下方法獲得：首先，其他和第一個考試類似的考試的結果;其次，教過該學生很長一段時間的老師給出的學生排名;再次，給老師一個表格，請老師對該學生的技能進行打分。

檢測預測效度需要先對學生進行一個考試，然后該種能力在未來需要進行檢測時，通常通過獲取該生另一個同類型考試的成績、在學期末獲取的相關課程的成績、來自老師或同事的評價三種方式，但需要注意的是，來自老師和同事的評價不一定是可靠或客觀的。

三、建構效度

建構效度指的是考試結果和基于理論對考試者作出的預判之間的相關度。它可以用來檢測考試分數與一些無法直接通過考試來考核的能力之間的關系。

檢測建構效度的主要方法有以下幾種：一是比較要檢測的理論和考試的關系，把需要檢測的理論提供給專家，并判斷考試和該理論的關聯度。二是內部關聯性檢測，即一個考試的組成部分之間的相關性以及子測驗和總測驗之間的關聯性。三是因素分析，包括兩方面探索性因素分析（EFA），即探索和考試相關度最大的因素并在基于理論的情況下給它們標上標簽;驗證性因素分析（CFA），即先從理論上對某些因素和考試之間的關系進行檢驗，然后再通過數據進行證明。

四、雅思學術寫作考試的預測效度討論

雅思考試是很多英語授課國家的大學要求國際學生參加的考試，雅思分數也是進行學校申請的一個必要條件。其作用是檢測考試參與者是否準備好在英語授課國家進行學習和生活。這意味著在雅思學術寫作考試中，如果學生得到了符合要求的分數，就證明他們已經做好了出國上學的準備，能夠按要求完成國外課程的學習。下面將會就兩個實驗討論雅思學術寫作是否具有預測效度，即雅思學術寫作考試是否能夠預測考生在國外學校的寫作水平。一個實驗是關于雅思學術寫作和大學學術寫作之間內容和所需技能的比較，另一個是關于學生雅思學術寫作分數和大學作業分數之間關系的研究。

Moorea和Morton做了一個關于雅思學術寫作Task 2和大學作業的體裁、參考信息來源和修辭功能的對比研究。數據顯示，大學里的作業涉及各種體裁，其中論文是最常見的體裁，其次是案例研究、練習和研究報告。然而，在雅思學術寫作中，體裁是比較有限的。學生一般會被要求寫多大程度上他們同意或不同意某種觀點，或針對一個現象給出理由和解決方案，這是考試中最常見的兩種題目方向。可以看出，雅思學術寫作和大學里所需的寫作體裁之間的共性是比較小的。

從參考信息來源方面來分析，大學的作業通常要求學生借鑒很多學者的著作或者發表的文章，或者用課上老師提供的文獻，引用文獻的能力是很重要的。學生論文中每個觀點都需要文獻的支撐來進行論證，而不是憑借自己的生活常識或經驗進行空想，或主觀地認為某些觀點是成立的。并且引用文獻的格式方面也有系統的要求，時常有學生因為引用格式不正確或引用方式不恰當而掛科。然而在雅思學術寫作中，學生不需要知道引用文獻的方法，而需要很大程度上用到考生以前的知識或常識來論證觀點，所舉的例子也是來源于考生自己的積累，可以是自身經歷也可以是社會現象。但是在大學作業中，對以前知識和生活常識的掌握程度的要求是很少被提及的，但這卻是雅思學術寫作用來論證觀點的重要積累。所以，雅思學術寫作沒有讓學生知道在真正的大學場景中，需要用到什么樣的寫作能力，導致不少學生出國之后才發現國外的論文作業要求和他們之前所以為的并不一致，短時間內很難適應國外論文的寫作方式并達到要求。

在修辭功能方面，在大學學術寫作的作業中，平均每個作業會要求有2.5個修辭功能。在認識功能方面（epistemic function），2/3的作業會要求評價功能（evaluation），這也是被要求最多的一個功能，其次是描述功能（description）和總結功能（summarisation）。然而在雅思學術寫作中，雖然評價功能也是被要求最多的，但是其他大學學術寫作需要的功能卻很少被要求。

Dooey和Oliver做的實驗，對學生的雅思分數和他們出國上學后在大學的分數進行了對比研究，65名以英語為第二語言的學生和23名以英語為母語的學生被包括在內，只有15%沒有達到雅思分數要求的學生在大學中掛科，并且一個雅思單科和總分都沒有達到要求的學生在第一學期的大學課程中拿到了81分。對于以英語為母語的學生來說，他們的雅思分數很明顯會比第二語言學習者高。然而，他們中有15人在大學中掛了科，他們中甚至有雅思學術寫作分數和在大學中的分數呈現相反關系的情況出現，即雅思學術寫作分數高的學生在大學中得到的分數卻相對更低。雖然在大學中影響分數的因素有很多，但鑒于大學的作業多數為論文形式，需要學生進行學術寫作，學生的期末分數在某種程度上來說還是可以反映學生的寫作水平的。通過這個實驗我們可以看出，從分數上來看，雅思學術寫作分數高的學生，在大學里的學術寫作方面的表現不一定好。相反，雅思學術寫作單科沒有達到入學分數要求的學生，在大學里也有可能獲得高分。由此可見，雅思學術寫作的分數，并不能準確預測學生在今后的大學學習過程中的寫作表現。

五、結語

內容效度、效標效度和建構效度并不是完全分開的，而是互為補充。在選擇方法去檢測效度時，建議采用組合的方式進行，以保證檢測的有效性。雅思考試組織者宣稱學術寫作分數能夠反映學生是否為國外大學的學習做好準備，也就是符合所謂的預測效度。但從文中提到的兩個實驗來看，它并不具備預測效度。

參考文獻：

[1]Lynch B K. Language Assessment and Programme Evaluation， 1st edn[M]. Edinburgh： Edinburgh University Press Ltd， 2003.

[2]Green A. Exploring Language Assessment and Testing， 1st edn[M]. Oxon： Routledge， 2014.

[3]Alderson J C， Clapham C， Wall D. Language Test Construction and Evaluation， 1st edn[M]. Cambridge： Cambridge University Press， 1995.

[4]Weir C J. Language Testing and Validation， 1st edn[M]. New York： Palgrave Macmillan， 2005.

[5]Fulcher G， Davidson F. Language Testing and Assessment， 1st edn[M]. New York： Routledge， 2007.

[6]Bachman L F. Fundamental Considerations in Language Testing， 1st edn[M]. Oxford： Oxford University Press， 1990.

[7]Cronbach L J， Meehl P E.Construct validity in psychological tests[J]. Psychological Bulletin， 52： 281-302. http：//dx.doi.org/10.1037/h0040957， 1995.

[8]Moorea T， Morton J. Dimensions of difference： a comparison of university writing and IELTS writing[J]. Journal of English for Academic Purposes， 4： 43-66. https：//doi.org/10.1016/j.jeap.2004.02. 001， 2005.