英語(yǔ)語(yǔ)用測(cè)試工具的效度研究

鄭娜新 張 琳

（青島理工大學(xué)琴島學(xué)院，山東青島 266000）

1 引言

語(yǔ)用能力是交際能力不可或缺的一部分，正因?yàn)榇耍浑H語(yǔ)言教學(xué)不能忽視語(yǔ)用教學(xué)。但如何教授語(yǔ)用能力仍然是個(gè)頗具爭(zhēng)議的話(huà)題，而教師一般不太愿意教語(yǔ)用，原因可能是測(cè)試語(yǔ)用能力的工具目前還不成熟，在其真正投入使用前還需大量的研究工作(劉建達(dá)，2013)。本文將就這一問(wèn)題進(jìn)行研究，以期開(kāi)發(fā)出可靠有效的語(yǔ)用能力測(cè)試工具，以此促進(jìn)我國(guó)外語(yǔ)教學(xué)中的語(yǔ)用教學(xué)。以往的語(yǔ)用測(cè)試研究雖然得出了一些重要發(fā)現(xiàn)，但也存在一些問(wèn)題，可以歸納為以下幾點(diǎn)。一，ODCT、DRPT、DSAT和RPSA四種語(yǔ)用測(cè)試工具均具有良好的信度和效度。二，對(duì)于受試的目標(biāo)語(yǔ)語(yǔ)言水平與語(yǔ)用能力的相關(guān)性，不同研究有不同結(jié)果。很多研究表明受試者的目標(biāo)語(yǔ)語(yǔ)言水平和語(yǔ)用能力顯著相關(guān)，但仍有學(xué)者發(fā)現(xiàn)受試的英語(yǔ)水平與其語(yǔ)用能力沒(méi)有顯著相關(guān)。三，受試的母語(yǔ)文化對(duì)其在語(yǔ)用測(cè)試中的表現(xiàn)有影響。現(xiàn)有的研究涉及了日語(yǔ)、英語(yǔ)、漢語(yǔ)等背景，但在二語(yǔ)環(huán)境下進(jìn)行的居多，需要有更多的研究考察外語(yǔ)環(huán)境下的語(yǔ)用測(cè)試。四，目前還鮮有研究考察受試者在不同的測(cè)試方法中是否有不同的表現(xiàn)，這類(lèi)研究有利于確定不同測(cè)試工具的難度系數(shù)。

2 研究方法

本研究主要在中國(guó)的英語(yǔ)學(xué)習(xí)者中考察了四種語(yǔ)用測(cè)試工具（DSAT、ODCT、WDCT和MDCT）的效度。筆者通過(guò)情景收集、情景可能性篩選、元語(yǔ)用調(diào)查、試測(cè)和MDCT選項(xiàng)設(shè)計(jì)等步驟開(kāi)發(fā)出了DSAT、ODCT、WDCT和MDCT四種英語(yǔ)語(yǔ)用能力測(cè)試工具。兩名NS外教對(duì)ODCT和WDCT進(jìn)行了評(píng)分，采用0（completely unacceptable）至5（completely appropriate）五個(gè)級(jí)別，兩位評(píng)分員所給分?jǐn)?shù)的平均值即為最后得分。MDCT部分，選對(duì)得5分，選錯(cuò)不得分。評(píng)分結(jié)束后，將所有數(shù)據(jù)輸入SPSS19.0進(jìn)行分析。

3 研究結(jié)果與討論

3.1 內(nèi)容效度

內(nèi)容效度是指測(cè)試的內(nèi)容要全面，有代表性，并充分體現(xiàn)所測(cè)試的內(nèi)容。本研究的試題中包括21種生活中常見(jiàn)的情景，涵蓋了請(qǐng)求、道歉、拒絕、問(wèn)候、批評(píng)、提醒、贊美、建議、安慰等九種言語(yǔ)行為，比較全面，有代表性。并且每一個(gè)情景中都包含了地位、熟悉程度、嚴(yán)重性三種變量，表1列出了三種變量的分布情況。

表1：各情境中三種變量的分布情況

符號(hào)說(shuō)明：+代表“聽(tīng)者比說(shuō)話(huà)者地位高，聽(tīng)者和說(shuō)話(huà)者熟悉，該言語(yǔ)行為嚴(yán)重程度較高”；—代表“聽(tīng)者比說(shuō)話(huà)者地位低，聽(tīng)者和說(shuō)話(huà)者不熟悉，該言語(yǔ)行為嚴(yán)重程度較低”；= 代表“聽(tīng)者與說(shuō)話(huà)者地位平等”。

由表1可以看出，在21個(gè)情景中，有14個(gè)情景中的聽(tīng)者與說(shuō)話(huà)者之間的地位平等，有16個(gè)情景中兩者之間較熟悉，有15個(gè)情景中的言語(yǔ)行為嚴(yán)重程度較低。考慮三個(gè)語(yǔ)用變量的組合效應(yīng)，受試需要受試充分調(diào)動(dòng)全部語(yǔ)用資源才能完成各個(gè)情景中的言語(yǔ)行為。如在情景12中，說(shuō)話(huà)者和聽(tīng)者地位平等，雙方也很熟悉，但言語(yǔ)行為嚴(yán)重程度較高，受試需要調(diào)用相應(yīng)的禮貌和委婉策略，才能成功地實(shí)現(xiàn)語(yǔ)用功能。在情景11中，雖然交談雙方地位平等，言語(yǔ)行為嚴(yán)重性也不高，但雙方不熟悉，說(shuō)話(huà)者同樣需要調(diào)用相應(yīng)的語(yǔ)用策略來(lái)實(shí)現(xiàn)語(yǔ)用功能。照此類(lèi)推，所有的21個(gè)情景呈現(xiàn)了各種各樣的社交變量組合，充分考察了受試的全面社交語(yǔ)用能力和語(yǔ)用語(yǔ)言能力。

3.2 標(biāo)準(zhǔn)關(guān)聯(lián)效度

考察標(biāo)準(zhǔn)關(guān)聯(lián)效度可以使用相關(guān)分析來(lái)看三種測(cè)試方法的關(guān)聯(lián)程度，表2列出了三種測(cè)試間的相關(guān)性。由表2可以看出，三種測(cè)試方法間都有著顯著意義的相關(guān)。ODCT與WDCT在0.01的顯著性水平上相關(guān)系數(shù)為.636，說(shuō)明ODCT與WDCT有一定的相關(guān)性。而DSAT與ODCT的相關(guān)系數(shù)僅為.320，DSAT與WDCT的相關(guān)系數(shù)僅為.331（顯著性水平為0.05），說(shuō)明DSAT與ODCT、WDCT間呈弱相關(guān)。這在一定程度上說(shuō)明這三種測(cè)試方法測(cè)試了學(xué)生相似的能力，即語(yǔ)用能力。上述研究結(jié)果與前人的研究（Ahn,2005;劉建達(dá),2006）基本一致。

表2：三種測(cè)試間的相關(guān)性

3.3 結(jié)構(gòu)效度

結(jié)構(gòu)效度可以通過(guò)因子分析來(lái)考察。因子分析可以提取多種測(cè)試共同的特點(diǎn)，考察這三種語(yǔ)用能力測(cè)試是否屬于同一因素，而測(cè)試不同能力的試題是否屬于不同因素。本研究中測(cè)得的KMO值為0.519，從Bartlett’s球形檢測(cè)的值為28.978，自由度為10，達(dá)到顯著，適合進(jìn)行因子分析。經(jīng)過(guò)最大方差法旋轉(zhuǎn)后，兩個(gè)特征值大于1的因子被提取出來(lái)，得到的結(jié)果如表3所示。

表3：因子分析結(jié)果

由表3可以很清楚的看出，三種語(yǔ)用測(cè)試工具在因子1上負(fù)荷值較高，而CET-4在因子2上負(fù)荷值較高。這表明DSAT、ODCT和WDCT三種語(yǔ)用測(cè)試方法測(cè)試了同一種能力，即語(yǔ)用能力，而CET-4聽(tīng)力和閱讀測(cè)試的是另一種能力，即學(xué)生的英語(yǔ)水平。劉建達(dá)（2006）在其研究中對(duì)WDCT、DSAT、MDCT三種語(yǔ)用測(cè)試和TOEFL測(cè)試進(jìn)行因子分析，也得到了類(lèi)似的結(jié)果。

4 結(jié)語(yǔ)

本研究用定量的方法考察了DSAT、ODCT、WDCT、MDCT四種語(yǔ)用測(cè)試工具在中國(guó)英語(yǔ)學(xué)習(xí)者中的應(yīng)用。研究結(jié)果表明，雖然DSAT、ODCT和WDCT具有良好的結(jié)構(gòu)效度，但DSAT與ODCT、WDCT間相關(guān)性較弱，表明在高風(fēng)險(xiǎn)考試中最好不要使用DSAT，因?yàn)樗u(píng)價(jià)的畢竟不是語(yǔ)用表現(xiàn)，而是受試對(duì)自己語(yǔ)用表現(xiàn)的一種可能性評(píng)估。此外，受試的目標(biāo)語(yǔ)水平和語(yǔ)用能力間沒(méi)有相關(guān)性，這說(shuō)明語(yǔ)用能力和語(yǔ)言能力是兩種不同的能力，需要不同的工具去測(cè)量。未來(lái)的外語(yǔ)水平考試如果要將語(yǔ)用能力納入測(cè)試范圍，必須專(zhuān)門(mén)開(kāi)發(fā)語(yǔ)用能力的測(cè)試工具。