配對測試形式中的大學生英語口語能力構念研究

欒嵐 朱戈勛 朱婷

摘 要：本研究的主要目的是調查在配對測試形式中的大學生英語口語能力的結構效度。共100位學生參與了此次研究，學生自由組合兩人一組完成一個口語任務，學生的口語表現由兩個獨立的打分者分別針對其口語的準確性、流利性、詞匯選擇和話輪轉換四個方面進行打分，滿分為6分。通過皮爾森積差相關性和克隆巴赫的系數分析顯示兩位打分者給出的分數具有很高的信度。同時，為了檢測大學生英語口語能力的構念，本研究還采用了探索性和驗證性的因素分析方法。最后，研究得出的模型的良好擬合指數證明大學生的英語口語能力應由以下4個方面構成：準確性、流利性、詞匯選擇和話輪轉換。

關鍵詞：結構效度；評分員之間的信度；英語口語能力；配對測試

中圖分類號：G640 文獻標志碼：A 文章編號：2096-000X（2018）23-0077-03

Abstract： The main aim of the research was to investigate the construct validity of L2 speaking proficiency in a paired testing format. 100 college students were recruited for the study. The participants were tested in pairs （compare-and-contrast task） by two independent raters on four trait categories： accuracy （A）， fluency （F）， word choice （WC） and turn taking （TT）， on a pre-specified 6-point scale. The inter-rater reliability was computed using two approaches （Pearson's Product Moment correlation and Cronbach's alpha）， and they both indicated the ratings were reliable. In order to examine the construct of the participants' speaking performance， we performed exploratory and confirmatory factor analyses. The final model， with very good fit indices， confirmed the initial hypothesis： the construct of L2 oral proficiency is comprised of all four assumed trait factors.

Keywords： construct validity； inter-rater reliability； English speaking proficiency； paired testing

一、概述

隨著交際教學法的不斷發展，出現了交際測試法（communicative language testing）（Carroll，1980），“其中對口語能力的測試為體現交際測試法的準則提供了相當大的范圍”?？谠嚨男问绞嵌喾N多樣的，有面試、對話筒錄音和電話交談等。面試形式的口試又可分為幾種：有些考試采用的是一對一的形式，也有一些考試采用的是小組形式或配對形式。

本研究旨在從交際策略能力、測試的效度、信度等方面來討論在配對測試條件下，大學生的英語口語能力構念，從而為大學生英語口語能力的相關研究提供一個嶄新視角。

二、英語口語能力的相關研究

由于本研究的目的是探究在配對口語測試條件下大學生的口語能力構念，因此有必要對口語能力的相關研究做簡單的回顧。在標準化的外語或二語考試中，口語能力是衡量一個學生英語能力必不可少的一個方面，很多學者對于應該從哪些方面來測試學生的口語能力做了大量研究。

大多數的研究是在心理語言學或認知的框架下，重點關注口語受測者的話語內容或質量，以此來衡量受測者的二語習得的過程和心理機制。學者們從不同的角度研究各種變量對于受測者在口語考試中的分數的影響，不同的學生列出了不同的變量，如受測者之間的關系、性格、年級、交際目的、話題、場景（Shohamy，1994），準備時間和任務類型（Ellis， 2003），以及打分者（Brown et al.，2005）。

一般來說，口語能力構念的描述框架以 Chapelle（1998）提出的交互構念理論為基礎，即測試構念的界定既要涵蓋考生特質和語境特征，還要體現兩者的交互，因此可以將其定義為“語境中的口語互動能力”，考生特質與交際語境相互影響，共同構成口語測試的構念。語境被視為構念的一個組成部分，考試分數所代表的意義是考生在特定交際語境中表現出來的口語互動能力，因而反映一種局部構念，不是抽象的、適用于任何語境的通用語言能力。

三、研究范圍及方法

（一）研究范圍

本研究為探索性的，其目的有兩個：一、打分者是否始終如一地運用測試原則，他們給出的分數是否具有一定的信度；二、在配對口語考試形式下，測試的四個方面（準確性、流利性、詞匯選擇和話輪轉換）是否能代表學生的口語能力。

（二）研究方法

1. 研究對象及測試形式

本研究的參與者為100位非英語專業的大二學生，其中男生24人，女生76人，平均年齡18.67歲。從參與人數來看，本研究的一個主要局限性是女生人數眾多，然而正如一些研究表明的性別并不會對口語能力造成顯著的影響（O'Loughlin，2002）。為了實驗數據的真實性和消除學生的緊張心理，在實驗考試前，所有的學生都被告知該實驗只用于研究，并不會影響他們的實際學業表現和分數。此外，參與該實驗的100位學生自由選擇他們的口語搭檔并有幾分鐘的時間來準備口語考試的話題。

本次研究的評分員是兩位具有10多年教學經驗的女性教師。教師針對事先準備好的口語話題分別從準確性、流利性、詞匯選擇和話輪轉換四個方面對學生的口語能力進行評分。評分量表從0到5分別代表“一點不能”到“熟練”。

2. 研究過程

除了上面提到的數據搜集過程，本研究還運用了PASW統計和Amos18這兩個工具來分析數據。通過描述性統計獲得由打分者結合學生在配對口語考試形式中的表現給出的平均值、標準差、最高分和最低分。此外，為了測試評分員之間的信度，兩位打分者所給出的分數分別由皮爾森積差相關性和克隆巴赫的系數分析進行相關統計從而確定其信度。最后，為了檢測在配對口語考試形式中學生口語能力的構念是否如我們事先假設的一樣，由準確性、流利性、詞匯選擇和話輪轉換四個方面構成，本研究還采用了因子分析的方法。首先，運用探索性因子分析了解各項分數如何聚集在一起；其次，在Amos18軟件中運用驗證性因素分析來檢驗探索性因素分析的結果。

四、研究結果與分析

兩位打分者給出的各項分值和總體分值如表1所示。

從上述數據可以看出，評分員1給出的分數要稍高于評分員2。當我們運用t-test來檢驗兩位評分員所給出的分數是否具有顯著差異的時候，結果表明在準確性（t=2.119，p=.035）和話輪轉換（t=2.735，p=.007）這兩個方面，評分員所給出的分數具有顯著的差異性。

盡管兩位評分員給出的分數稍有不同，為了驗證他們之間的評分信度，有必要采用測試學的其他方法進行驗證，如表2和表3所示。

通過對兩位評分員所給分數進行相關數據處理，可以看出他們之間給出的分數具有較高的信度。

驗證了評分員之間的信度，為了回答本研究的第二個研究問題，接下來將通過探索性因子分析的方法對研究假設的四個方面進行檢測，結果如表4所示。

表4的數據表明，學生的口語能力構念包含很多成分，其中一方面應包含其語言本身的語用，另一方面應包含語言的社會文化方面。

五、結束語

近年來越來越多的學者開始關注口語能力的構念研究。本研究從測試層面初步探討大學生英語口語能力的構念，提出在配對口語考試形勢下口語能力構念描述框架的初步構想。該研究不但為口語能力的構念研究提供了一個嶄新視角，而且還便于英語教師在課堂上進行操作。然而，本研究僅是一個探索性的研究，與其相關的理論框架研究和實證研究還有待加強。

參考文獻：

[1]Carroll， B J. Testing communicative performance： an intern study[M].Oxford： Pergamon，1980.

[2]Shohamy， E. The validity of direct versus semi-direct oral test[J].Language Testing，1994， 11（2）：99-123.

[3]Ellis， R. 2003. Task-based language learning and teaching[M]. Oxford： Oxford University Press.

[4]Brown， J.D. et al. Performance assessment： Existing literature and directions for research[J].Second Language Studies，2005，22（2）：91-139.

[5]Chapelle，C. From Reading Theory to Testing Practice[A].In： Chalhoub-Deville，M. （ Ed. ），Issues in Computer-adaptive Testing of reading[C].Cambridge： Cambridge University Press，1998.

[6]O'Loughlin， K. The impact of gender in oral proficiency testing[J].Language Testing，2002，19（2）：169-192.