計算機化口語考試的構念效度問題研究

摘要： 本文旨在通過定量分析來檢驗廣東省高考英語（NMET）II計算機化口語考試的構念效度問題，即這一考試（COT）是否考到了它所要考的構念。通過定量分析，包括內部相關、外部相關的分析和因子分析等方法證明，COT考的是一個獨立的構念，而且這一構念就是口語交際能力，因此我們得出COT有比較高的構念效度。

關鍵詞： 構念效度 口語交際能力 計算機化口語考試（COT） 高考英語II

計算機化考試是最近十幾年來發展起來的一種新型考試形式。2004年廣東省率先使用人機對話的方式作為高考英語II（NMETII）的口語考試形式，考核學生的口語交際能力。這種考試形式由于提高了考試的標準化程度，從而提高了考試的信度。但評價一個考試最重要的一個特征并不是信度，而是效度問題，即這個考試是否考到了它想要考的東西（Henning1987）。Woods（1993）曾指出提高效度有可能會影響到信度，而提高信度也可能會在某種程度上降低效度。因此本文旨在研究COT在提高信度的同時是否也有很高的效度。

1.理論背景

關于文章的理論背景，請參考第一篇文章《計算機化口語考試的構念效度問題研究—定性分析》。

2.研究方法

在分析中，我們采用了相關分析和因子分析的方法對COT內部各題之間的關系，以及它與NMETII中的聽力和閱讀的關系的分析，并進一步證明COT的內部構念效度和外部構念效度。

兩位專業為語言測試的學生在接受了閱卷培訓后對30份系統隨機抽出的COT試卷進行重評（包括口語、聽力和閱讀部分）。然后將結果輸入SPSS10.0進行相關和因子分析。

在內部效度分析中，我們利用口語考試三大部分，共八個小題進行相關分析。而在外部構念效度中，桂詩春（2004）與Bachman（1990）都曾提出語言交際存在兩個維度：交際方式和交際渠道。這關系到語言的四大技能：聽力、口語、閱讀和寫作。其具體的關系如圖所示：

3.研究結果與分析

3.1內部相關分析

在表1中，COT的三大題目被分為4部分，因為B部分包括看提示問問題與聽錄音回答問題。從表中我們清晰地看到除了A（大聲朗讀）與B（回答問題）的相關沒有顯著意義之外，其他相關大都在0.3-0.5之間，這說明聽力（回答問題）與語音語調并沒有太大的關系。考生可能擅長聽力理解但其語音語調卻練得不夠好。而回答問題卻與口頭作文的相關達到了0.687，這表明聽力與口頭表達能力是相互關聯的。在文獻中，我們發現如果一個考試有效度，那么它的各個部分會相關但相關系數卻不會太高，大約在0.3-0.5之間，因為這樣才能使考試各個題目在考同一個構念時還可以保持其各自的獨立性，不至于造成題目的冗余（Alderson，et al1995；Li Li1997）。

在內部構念效度分析中，COT各部分與其他兩部分的相關均高于與聽力和閱讀的相關。這表明COT的題目都有內部構念效度。而且，各部分與聽力的相關也都高于與閱讀的相關。這從另一方面證明了考生的口語能力與聽力的相關高于口語與閱讀的相關，即口語能力與聽力的關系更密切。相關文獻中也指出，考試中的每個題應與同一構念下的其他題的相關高于與其他構念的相關，這是因為考試中的題目旨在考同樣的構念，它們之間的相關應高于與其他構念的關系（Henning1987）。

3.2外部相關分析

從表3中看出，口語與聽力的相關0.688高于口語與閱讀的相關0.658。而聽力與閱讀的相關0.675介于兩者之間。這就證明了桂詩春（2004）的語言交際的理論框架，說明題目所考的應是口語這一構念。

3.3因子分析的結果與分析

在對COT8個題目的因子分析中，我們提取出了三個主因子。這雖然與COT本身的劃分，語音語調、信息交流和口頭表達并不是完全對應。但也大致區分開三個因子，我們分析為：理解和口語產出、語言能力和語音語調。這就從另一個角度證明了COT大體考到了它所想考的東西，即構念效度。因為在因子分析中，如果一個考試的各個題目在進行因子分析后能夠提取出與考試本身的分類類似的因子，那我們就說這個考試有效度（Wiersma Jurs 1990）。

四、結語

本文通過定量分析的方法探討廣東省高考英語II計算機化口語考試的構念效度。通過內部效度、外部效度相關分析和因子分析三種途徑驗證了COT所考的是一個獨立的構念，而這一構念就是口語交際能力。所以說COT有比較高的構念效度。

參考文獻：

［1］Alderson，J.C.Clapham，C.and Wall，D.Language Test Construction and Evaluation.Cambridge：Cambridge University Press，1995.

［2］Bachman，L.F.Fundamental Considerations in Language Testing.Oxford：Oxford University Press，1990.

［3］Henning，G.A Guide to Language Testing.Cambridge，Mass：Newbury House，1987.

［4］Wiersma，W. Jurs，S.G.Educational Measurement and Testing.2nd ed.Boston：Allyn and Bacon，c，1990.

［5］桂詩春.“以寫促學”——個人的經歷和看法.以寫促學：英語“寫長法”的理念與操作.鄭超主編.北京：科學出版社，2004.

［6］李朝旭，李竹琴.論心理學構念及其測量效度的估計.廣州師院學報（社會科學版），1997年第4期.