留學生漢語聽力試卷內在信度相關因素分析

摘 要:本文運用SPSS軟件來檢測對外漢語初級聽力試卷的內在信度，并在此基礎上考察影響聽力試題信度的相關因素，目的是提高聽力測試的效度，為初級漢語聽力測試試卷開發以及聽力教學提供指導。

關鍵詞:對外漢語 聽力試卷 內在信度 難度

一、引言

外國留學生的漢語聽力是一種重要的語言技能，語言測試的測量目標是測量語言能力和水平，但是語言能力是非常抽象的，通過具體的語言行為才能體現出來。在聽力測試過程中，留學生為了能聽懂錄音材料中說話人的意思，需要運用已有的語言知識，去推斷說話人的意圖，獲取信息并選出答案。因此，在聽力測試中，聽力材料的穩定性和可靠性至關重要，對聽力試卷的信度的研究也就顯得非常有必要。信度是語言測試中最基本的評估指標，表達的是測試結果的可靠性、穩定性與一致性。測試的信度實際上就是測試的一致性，測試結果不受考試時間、考試環境、監考老師、閱卷老師等因素的影響。測試的成績能夠在最大程度上反映考生的語言水平。信度也是評價試卷質量高低的重要指標，它反映了考試結果受隨機誤差影響的大小。如果考試的信度較低，則隨機誤差影響較大，結果的可信賴程度就低。信度越高，表示該項考試的測試結果越穩定，可靠性越高。

二、研究對象和研究方法

本文研究選取了上海交通大學國際教育學院2009年7月初等一級聽力期末試卷作為材料，被試者是初等一級的留學生，學習漢語時間約為340學時。初一年級的語言生共有166人，本次參加考試的學生人數共為143人，他們來自世界各地。本文首先選取留學生對聽力試卷的每道試題的選對率，通過SPSS軟件對該類數據進行分析，考查該試卷的內在信度是否具有一致性。

信度可分為外在信度和內在信度。外在信度通常指在不同時間測量時，試卷測試結果一致性的程度。內在信度指的是試卷各題目是否測試了同一概念或內容，即是評估構成該試卷的各個題目的內在一致性程度如何。本次聽力試卷材料主要分為問答、簡短對話和片段對話三部分，全采用單項選擇題。本文主要研究的是試卷的分半信度，檢測試題材料和試卷是否具有內在的一致性。我們將試題按奇數項和偶數項分成兩半(split-half)，將試題的答對率分成兩組記分，通過SPSS軟件得出兩半數據間的相關系數，進而得到信度系數。試卷內部信度的一致性具體是指奇數題和偶數題的難度是否具有一致性，也即奇偶試題的答對率是否具有內在的一致性。

三、留學生聽力試卷的信度分析

(一)初級漢語聽力試卷內在一致性分析

我們在SPSS軟件中選擇Split-half(對半測試信度)模型。這一模型將所有變量分為相等的兩半，然后計算兩部分間的相關性，一般要求這個相關性是0.7。從上表中，我們可以看出奇數題答對率和偶數題答對率的信度相關系數是0.78，這個值高于0.7，由此可見，各個題目之間存在較高的相關性，考查的內容大致相同。

該表給出了奇數題和偶數題答對率的平均值(Mean)和標準差(Std.dev.)及變量的數目(Variables)。從表中可以看出，奇數題答對率的平均值是70.2336。偶數題答對率平均值是73.4680。他們的平均值相差不多，且都保持在相當高的水平。偶數題的答對率雖然略高于奇數題的平均值，但他們總體上是保持一致的，具有較高的相似性。

這是ANONA(方差分析表)，塔加基相加作用檢驗出各個變量的選對率之間存在相加作用的交互效應，F值等于0.319，Sig值等于0.577，明顯大于0.05，可見變量之間沒有顯著差異，具有同質性，內在一致性明顯。

這是變量內相互關系表(Interclass Correlation Coefficient)。從表中可見我們采用的是Two-Way Effect Model(兩因素混合效應模型)，Singgle Measure Interclass Correlation為0.077。在95%的置信區間內下限(Lower)為-0.32，上限(Upper)為0.452，自由度(DF)是24，顯著值(Sig)為0.354，大于0.05，沒有顯著差異，各題之間的一致性明顯。同時，各題之間的測試值(Test Value)為1.168，相關性明顯。

(二)奇偶試題一致性分析

為了進一步檢測本次試卷的內在一致性，我們運用SPSS軟件對奇數題和偶數題的答對率運用圖表進行對比分析，并選取奇偶數題進行舉例分析。

我們從中抽出奇數題23題和偶數題42題進行具體分析:

原題(23):

男:這本書真有用，我也要買一本。(奇數題)

女:這是你第10次說要買這本書了。

問:男的買這本書了嗎?

A.買了10本 B.買了1本 C.買了11本 D.沒買

原題(42):

感冒是一種常見病。沒得過感冒的人很少。(偶數題)

問:得過感冒的人多嗎?

A.很多 B.很少 C.不太多 D.還可以

23題的答對率是34.27%，42題的答對率是27.97%，他們都是難度系數較高的試題，所聽到的話語都要在充分理解的基礎上經過推斷才能選出答案，奇數題和偶數題的難度系數達到了近似一致。

四、影響聽力試卷內在信度的因素

影響聽力試卷信度的因素有很多，我們對奇數題和偶數題中選擇答對率較低的試題進行具體分析，分析他們答對率低的原因，也即是影響聽力試卷信度可能存在的干擾性因素。我們選取的都是一些答對率偏低的試題，可以直觀地檢測出試卷的難易程度。

(一)句式難度過高造成干擾

原題(6):

現在這個房間比原來的那個便宜多了。

問:原來的房間怎么樣?

A.很便宜 B.很貴 C.很大 D.很小

這一題的答對率只有37.06%，是問答題部分答對率最低的一題。造成答對率低的因素有很多，但是最主要的是因為這一題運用了“比……多了”句式，雖然英文中也有表示比較的句式，但是這個句式對他們來說還是難度較高，因此很容易出錯。選A的比例占了56.64%，可見留學生可能聽到“原來”“便宜”之類的詞，在極短的時間里很難推斷或者不能理解全句的意思。

(二)詞組難度高造成干擾

原題(11):

這本書不怎么樣。

問:這本書好嗎?

A.很好 B.還可以 C.不好 D.不知道

這一題主要考查學生對“不怎么樣”的理解，本題的答對率是48.95%，其中選A率是2.8%，選B率是15.38%，選D率是32.17%。可見，出錯率最高的是D項，很多學生很誠實地選擇了“不知道”。導致出錯的原因可能有兩種，一是他們可能聽到了“不怎么樣”，但不知什么意思，二是他們沒有聽清楚，只聽到了“不……”。選B的學生可能把“不怎么樣”當作“不錯”了。選A的較少，我們從中可以看出，很多學生隱約知道“不怎么樣”不是“很好”，但也不清楚具體指什么。

(三)特定情境造成干擾

原題(2):

小姐，前面是紅綠燈，我不能停，您就在這里下車，好嗎?

問:他做什么工作?

A.司機 B.醫生 C.老師 D.服務員

這是一道情境干擾題，需要通過關鍵詞“紅綠燈”和“下車”等推導出正確的答案，答案的長度基本相當，不會造成干擾，但是如果學生不知道關鍵詞的意思就會出錯。本題的答對率是62.94%，其中選B率是8.39%，選C率是7.69%，選D率是13.99%，可見，D項的“服務員”選錯率偏高，學生沒有正確理解關鍵詞的情境意義，很容易誤認為是另外一個情境。

(四)委婉表達造成的干擾

原題(35):

男:去跳舞怎么樣?

女:別!別!你那水平，跟你跳，太累!

問:男的跳舞水平怎么樣?

A.很累 B.很不錯 C.不好 D.不知道

本題中兩個人的對話內容是關于跳舞的水平的，答對率只有30.77%，難度偏高，女的沒有直接說出男的跳舞不好，她運用了委婉的、間接的方法拒絕了男的邀請，但男的可以從對話的語氣和關鍵詞語“別”以及“太累”中推斷出來。

五、結語

通過SPSS的分析，奇數題和偶數題的答對率基本一致，選項的難度也基本一致，我們將答對率低的試題進行比較，內部也存在較高的一致性，測試結果具有較高的穩定性。本次試卷的信度在0.78左右，但距離0.9的信度最高水平還有一定的差距，因此，本次試卷的信度還有待提高。影響聽力試卷信度的因素有很多，比如句式難度、詞組難度、話題的難度、陌生的情景、表達方式等等，在編寫試題的時候可以從這些角度來提高試題的信度。

同時，留學生聽力試卷要最大限度地創造近似真實的交際場景，這樣才能最大程度上反映留學生的聽力水平。因為只有切合現實生活、信度較高的試卷材料，才能保證考生在緊張的考試中對試題進行積極的反應，在心理上自然地接受試卷的錄音和選項，將聽到的信息進行整合選出答案。信度是影響聽力測試的一個重要因子，是試題的質量重要指標。本次信度研究可以為對外漢語聽力教學和測試提供積極的反饋，具有重要的指導作用。

參考文獻:

[1]楊瑞和.語言研究應用SPSS軟件實例大全[M].北京:中國社會科

學出版社，2004.

[2]鄒紅英.大學英語測試新思路[J].山東外語教學與研究，1997， (1).

[3]王海華.語言的真實性與聽力技能測試[J].鄭州大學學報，2005，

(1).

[4]劉潤清，韓寶成.語言測試和它的方法[M].北京:外語教學與研

究出版社，2000.

(王萍 宋春陽 上海交通大學國際教育學院 200030)