實施數字化口語測試方案及其信度研究

王 虹 王 瑾

摘要:口語測試歷來是語言教學和語言測試的一個難題。為了適應我國高等教育發展的新形勢,數字化口語測試成為語言測試新的發展方向。英語教育工作者要運用口語測試的理論和方法,組織有效、可信、實用的大規模數字化口語測試。數字化口語測試的方案設計要滿足信度的要求,信度要求主要是指該測試施測信度、內容信度和評分信度要一致。

關鍵詞:數字化;口語測試;信度

中圖分類號:G64文獻標志碼:A文章編號:1673-291X(2009)32-0239-02

一、引言

為了適應我國高等教育發展的新形勢,高等學校正在深化教學改革,提高英語教學質量,培養學生的英語綜合應用能力,特別是聽說能力。在新的形勢下英語教育工作者要運用口語測試的理論和方法,組織有效、可信、實用的大規模口語測試,科學、公正地反映學生的口頭交際能力,而數字化口語測試即計算機化口語測試(Computerized Oral Proficiency Test 簡稱COPT)正是解決這一問題的有效途徑。

二、數字化口語測試(COPT)的發展狀況

隨著社會的發展,英語學習者對英語口語能力的要求以及對此能力進行有效的測量的要求也越來越高。在英語專業和非英語專業口語測試方面,國內許多學者進行了各種口語測試方法的研究和實踐,由傳統的間接性口試(Indirect Oral Test簡稱IOT)和直接型口試(Oral Proficiency Interview 簡稱OPI)發展成半直接型錄音口試(Semi-Direct Oral Proficiency Test簡稱SOPT)考試(劉潤清,1991)。SOPT是指在語言實驗室內進行的錄音口試,熊敦禮(2002)等人的研究結果表明大規模錄音口試是可行的;金艷(2002)等人研究初步論證了與CET-SET(Spoken English Test)相比,CET-SOPT具有較強的效度、信度和可操作性,因此,可以替代CET -SET。文秋芳(2002)也認為,英語專業八級口試可以采用半直接型錄音口試的方法。隨著教學改革的深入,基于現代化手段的計算機化口語考試(COPT)成為眾多學者研究的熱點。邱東林(2005)等則對口語機考的利弊做了分析(2005);蔡基剛(2005)對四、六級計算機口語測試的效度、信度和可操作性進行了定性定量的研究;程杰(2007)從定性的角度出發,提出口語考試的數字化方案正是解決大規模口語考試人力、物力高消耗的有效辦法之一。

三、數字化口語測試(COPT)的實施方案

我們看到,由于教育技術的發展,口語考試經歷了從面試型口試到半直接型口試,現在正在向計算機化口試(COPT即數字化口語測試)發展的歷程(蔡基剛,2005)。目前,根據大規模的英語口語考試的需要,數字化口語考試體系的設計思想應以各高校實際開展的全校性口語考試為依托,實現整個口語考試流程的計算機輔助操作以及模擬傳統“面對面” 對話進行口語考試。數字化口語考試系統需要實現的是“命題——考務安排——考試——批閱——公布成績”五大步驟的計算機輔助操作。

1.考前準備

在考試之前,試卷命題相關教師按照要求出好一定套數的試卷, 并交主考審閱。考務管理確定考試試卷和參加本次考試的考生范圍, 安排監考教師。同時,進行考試軟件安裝、試題庫建設、考官培訓、學生使用多媒體技術培訓等準備工作,確保數字化考試順利進行。

2.考試過程

整個考試嚴格按照統一程序操作。首先,監考教師確認學生身份;然后,學生輸入考號進入考試系統并調試設備;進行完錄音朗讀試聽后,考試正式開始。考試過程一鍵完成,考試過程簡單到只要單擊一次“開始”即可。在考試環節中, 將由計算機擔當傳統的面對面的考官的角色,按順序呈現題目,考生逐一回答,進行人機互動,或考生之間進行小組互動,系統同時進行錄音。計算機作為模擬考官,就可以利用網絡資源材料和形式(如表格、圖片、動畫、電影剪輯等),并利用電腦屏幕的視覺界面和音響效果而使題型變得豐富多彩。最后,電腦自動將學生口試錄音內容打包上傳,考試結束。

3.考試結果

主考安排閱卷教師及閱卷時間, 教師在規定的時間內批閱考生答卷。考試結果的批閱可以采用兩種方式完成:一種是集中式批閱,只要組織教師在一間數字化語音教室集中批閱即可;另一種是遠程批閱,本系統支持通過上網登陸遠程閱卷系統。參與閱卷的教師不必集中,只要登錄考試中心的網站即可實現異地閱卷。另外,網上成績處理按系別或班級發布、統計考生的成績,并將試卷、答卷等考試資料刻成光盤存檔。

四、數字化口語測試(COPT)的信度

對口語測試來說,信度(reliability)指測試的穩定性(劉潤清,1991)。信度表示同一考生在不同的考試條件下,如在不同的考場、面對不同的考官,參加同一項考試后所得到的分數是一致的。信度的要求主要是指:1.施測信度;2.內容信度;3.評分信度要一致(蔡基剛,2005)。

1.施測信度

所謂施測信度,是指測試的準備形式和測試過程要具有可靠性。在施考的條件這方面,數字化口試具有很高的信度。該測試在統一時間進行,所有學生在條件相等語言實驗室同時考同一套題,同時錄音,保證了測試的公平與保密。避免了傳統口試中題目難度系數不同,口試題目數量有限,考生考試先后次序不同而導致的分數差異。數字化口語測試統一預先錄音提問,發音清晰標準,問題在屏幕上同時出現,盡可能把對聽力的要求降到了最低。考生答題時屏幕上會顯示剩余時間,保證每個考生的發言時間相同,最大限度地避免了考官、考生和試題、考場等各種主客觀因素等問題。

2.內容信度

影響口語測試內容信度的因素主要有三方面:內容的長度、難度與區分度。測試的內容題目越多,覆蓋面越大;長度越長,其信度越高。比起傳統的口試,數字化口試的時間很充裕,大約是30分鐘;內容覆蓋面較大,話題涉及到學習、生活、社會和科學等方面;題型包括朗讀、人機對話、故事或圖片復述以及即席演講,基本滿足了長度要求,因此,它享有很高的信度。

由于測試過易或過難,都會影響區分度,所以高信度的測試應該是有難有易,先易后難。數字化口試幾個部分的試題從易到難呈逐級遞增,而且從學生成績的分布也能體現區分度。該測試還采取措施,以控制試卷的一致性,并提高各套試卷的信度。首先,命題要詳細。可以幫助命題人員了解和掌握各題的出題要求, 如所測試的語言功能與語言能力、選材的要求與范圍等,保證多個命題老師的命題在內容和難度上盡可能一致。其次,采用科學的命題方法。傳統方法是每個命題老師負責命制整套試卷的方式,可以調整為每個命題老師命制多套同一題型的題目,使同一命題老師對同一大題的內容與難度的一致性做到較好的控制。然后,再經過專家對同一題型所有題目的篩選和組合,從難易度、熟悉程度、文化背景知識等多方面進行考慮,最后選定試題,組成試卷。以這種方式組卷,各套試題在內容和難度上基本能夠保持一致。

3.評分信度

數字化口語測試的信度高,還有一個至關重要的原因, 就是評分規范化。這包括兩個方面評分標準的修訂確立與評分老師的培訓。

要提高效度較高的測試的信度, 一個有效的辦法是確定評分標準。設計評分標準的方法可分為兩類:整體評分法(holistic scoring)和分析評分法(analytic scoring)。整體評分是總體的印象分,可從語言表達、文化意識、完成任務的狀況以及交際方式與否等角度來考察;分析評分標準可從語法、詞匯、語音及互動交際等方面分項打分。數字化口語測試評分采用百分制。每個評分角度又采用百分制,10或15分為間隔分設優良中差四個檔次,分別從語音語調、流利程度、詞匯語法和交際能力等四個方面去考查學生的口語能力。評分標準具體,準確且便于操作。

評分信度取決于評分教師。評分教師經過了專業的口語測試評分培訓;評分過程中,利用計算機技術進行實時監控和調整, 以確保評分質量;考官閱卷時,設置差異值。兩位評分教師對同一份答題錄音的打分差異超過標準值, 這份答題錄音將會自動送往第三位評分教師重新評定。評分軟件中這一系列的監控手段, 都對評分的質量起到了很好的保證作用, 加強了主觀題評分的客觀性。

四、結束語

目前,隨著人們認識到在語言學習中培養語言使用能力的重要性和科學技術的進步,在數字化語音室進行的口語考試誕生了。由于可以同時對大量學生進行口語測試,從而節省大量的人力、物力、財力和時間,并且考生水平的發揮不受考官的影響,考試信度較高,這一口語測試手段是適合我國教育實際需要的一種口語測試方法,并且已經成為口語教學和測試的必然趨勢。

參考文獻:

[1]劉潤清.語言測試和它的方法[M].北京:外語教學與研究出版社,1991.

[2]文秋芳.全國英語專業八級口試的可行性研究[J].外語界,2002,(4).

[3]熊敦禮,陳玉紅,劉澤華,等.大學英語大規模錄音口語測試研究[J].外語教學與研究,2002,(4).

[4]金艷,郭杰克.改革中的大學英語四、六級考試[J].中國外語,2004,(1).

[5]程杰.口語考試數字化的背景分析及方案實施初探[J].外語電化教學,2007,(10).

[6]蔡基剛.大學英語四、六級計算機口語測試效度、信度和可操作性研究[J].外語界,2005,(4).

[7]邱東林,季佩英,萬江波.大學英語聽說機考嘗試[J].外語界,2005,(4).

責任編輯 張宇霞