影響口語測試評分的因素分析*

朱 燕 祁 穎 張 寧

（北京城市學院 北京 100083）

影響口語測試評分的因素分析*

朱 燕 祁 穎 張 寧

（北京城市學院 北京 100083）

本文旨在研究口語測試中影響評分的因素，包括語言因素與非語言因素影響兩個方面。本研究結果對口語測試的評分員如何更好地把控評分標準有一定的啟示。

語言因素 非語言因素 差異性

在語言測試領域，對口語評分的研究一直是口試研究的重點之一。然而口語測試的實施非常困難，它難就難在語言既是測試的目標又是測試的工具［1］。因為英語口語測試的評分是主觀的，因此評分差異是不可避免的。一些語言及非語言因素，例如評價標準和個人喜好，都可能會影響他們的評分結果。本文以一次大學英語應用能力口語測試（TEP Oral）的數據為樣本，旨在對影響其評分的因素進行分析研究。

一、研究背景

北京市屬12家高校聯合申請的教學改革項目“三位一體市屬高校大學英語教育改革模式研究”，目標是構建一套“測試－教學－資源庫”三位一體的、具有綜合性、體系化和前瞻性的大學英語教育改革模式。本項目已經研發了一套具有高信度和效度的大學生英語口語測試模式——大學英語應用能力口語測試（簡稱TEP），并在北京市18所高校成功推廣該測試的《指南》已由國內知名出版社出版。該模式作為一項教育測試，具有教學檢查性、教學指導性和教學形成性的功能，是大學英語課程體系建設的重要組成部分。

1.理論研究

語言測試研究中對評分員和評分方法的研究是一個重要的組成部分。目前，大量的口語測試研究都基于此展開，如：評分員在口試中對語言功能和話題的選擇［2］；評分員在口試中的提問及提問的方式［3］；評分員在口試中根據受試的水平調整自己語言的程度和方式［4］；以及評分員的性別對口試結果的影響［5］等。而國內學者的研究主要集中在以下三個方面：評價的可靠性，任務的有效性，以及錄音口語能力測試。

2.研究問題

在口語測試中，評分員會表現出不同的傾向性并受到多種因素的影響，評分員中受評分方法和評分標準影響的同時還會受自身背景的影響，如：性別、年齡、教學經驗及評分經驗的影響。本研究旨在探討哪些因素會影響其評分。

諸多因素中，由評分員主觀評分引入的誤差是影響考生最后得分最為直接的因素。口語測試評分，需要評分員在觀察考生表現的基礎上依據評分標準進行主觀判斷［6］。因此，評分員在口語測試中不僅是考試操作實施環節中的一部分，更是決定分數含義的重要環節，評分的準確性和一致性是決定考試信度甚至是效度的最為重要的因素之一。在影響因素方面，筆者著重分析了語言因素和非語言因素。前者包括交際效果、內容和組織、語法和詞匯、語音語調、流暢性和可理解性；后者則包括任務完成情況、對考生的第一印象、考生的自信程度、考生之間的溝通以及身體語言等。

二、研究方法

本次研究樣本為參與TEP口語測試的評分員。參與本次研究的評分員共18名，其中男性5名，女性13名。所有評分員均為高校的英語教師，在測試前進行培訓并全部合格。測試前對所有評分員隨機分配了主副考官職責，在測試過程中，主考官負責提問及與考生交流，最后根據考生表現給出一個整體分數，而副考官則全程不參與交流，根據測試評分標準進行分項打分。測試后所有評分員均完成了調查問卷的填寫并對部分評分員進行了訪談。

三、研究結果

本次測試的考生是隨機從7個專業進行選取，筆者對測試結果進行統計發現，專業差異對考生成績的影響不顯著。女性考生的成績均值略高于男性考生，差異不明顯。因此，筆者在測試結束以后，筆者對評分員進行了問卷調查。問卷的第一部分對評分員的基本信息進行了采集，包括性別、年齡、專業、教學經驗和口試評分經驗。問卷的第二部分則涵蓋了可能影響評分的語言因素和非語言因素。問卷結束以后，又對部分評分員進行了訪談，以期發現問卷調查可能遺漏的問題。

1.評分員基本情況

在所有的18位評分員中，女性13名，男性5名，大部分評分員的年齡在30到40歲之間，另有一人低于30歲，一人高于50歲，兩人介于40到50歲。9名評分員的專業為語言學，5名為文學，還有4名為其他專業。大部分評分員有五年以上的教學經驗，所有評分員都有口語測試的評分經驗。

2.語言因素

在問卷調查過程中，筆者要求所有評分員根據以下六種因素對其評分的影響程度進行排序：交際效果、內容與組織、語法與詞匯、語音語調、流利程度、可理解性。

對九位采用整體評分法的主考官而言，影響因素排名前三的分別是：交際效果、可理解性和流利程度。這一結果表明主考官更加注重考生的整體表現。而采用分項評分法的副考官則認為以下三項影響最大，依次為：可理解性、語法與詞匯、內容與組織。這表明副考官更注重評分標準里所列舉的項目。從而這一結果也表明，評分方法的差異對評分也會產生一定程度的影響。所以，在設計評分標準的過程中，設計者必須準確把握各評分項的權重，以期能得到更為全面和客觀的評分。

3.非語言因素

對于影響評分過程的非語言因素，問卷包含五個方面：任務完成情況、對考生的第一印象、考生的自信程度、考生之間的交流和考生的身體語言。調查結果顯示，所有評分員均認為排序前三的影響因素為：任務完成情況、考生之間的交流和考生的自信程度。這表明在非語言因素方面，采用整體評分法的主考官和采用分項評分法的副考官之間沒有顯著差異。這一結果表明非語言因素對采取不同評分法的評分員沒有產生明顯的差異性影響。

4.補充性訪談

問卷調查結束以后，筆者對部分評分員進行了訪談。其中一名評分員指出，評分員在測試中的身體和心理狀態可能會影響測試結果；有四名員指出評分員的性格，內向和外向性格的不同會在把握評分標準的松緊程度上有差異；有兩名評分員指出，評分員的評分經驗對評分的影響也不容忽視。

四、結語

綜合考慮以上因素，筆者發現在評分過程中，評分員很容易受各種語言與非語言因素的影響，從而造成評分從差異，因此評分員在測試過程中必須準確地把握評分標準，盡量避免其他因素的干擾。

有些因素，如評分員的情緒和身體狀態，是不可控的。因此，測試機構必須對可控因素有一個很好的把握，如制定一個更詳細和明確的評分標準，以縮小評分員之間的差異；加強對評分員的培訓和測評，以提高評分員的素質并淘汰不合格的評分員。對于影響測試分數的因素和實際測試過程中這些因素所造成的影響，筆者認為可以開展進一步的研究。

［1］Bachman，L. F. Fundamental Considerations in Language Testing. Oxford：Oxford University Press，1990.

［2］Brown，A. & T. Lumley. Interviewer variability in specific purpose language performance tests ［J］.Language Testing，1998（1）：43-64.

［3］Brown，A. Interviewer variation and the co-construction of speaking proficiency ［J］. Language Testing，2003（20）：1-25.

［4］Ross，S. Accommodative questions in oral proficiency interviews［J］. Language Testing，1992（9）：173-186.

［5］O’Loughlin，K. The impact of gender in oral proficiency testing ［J］. Language Testing，2002（19）：169-192.

［6］Myford. C. M. & E. W. Wolfe. Strengthening the ties that bind：improving the linking network in sparsely connected rating designs. TOEFL Technical Report TR-15：Princeton. NJ：Educational Testing Service，2000.

1.民促京津冀一體化項目——“京津冀一體化背景下英語口語應用人才培養模式研究子項目”；2.北京市教委重點、委托、聯合項目“三位一體市屬高校大學英語教育改革模式研究”（2014-lh03）