四種英語語用測試工具的開發及其信度分析

鄭娜新 張琳

摘 要：本研究系統的開發了四種英語語用測試工具，即話語自我評估、聽說話語填充、書面話語填充、選擇性話語填充，并用定量的方法在中國英語學習者中對四種語用能力測試工具的信度進行了實證研究。研究結果表明，DSAT、ODCT和WDCT都具有可以接受的信度，而MDCT的信度則較低。

關鍵詞：語用能力;測試;信度;語言水平

近年來，外語教學越來越注重培養學生的語用能力。語用能力是否可教以及如何在課堂上教授語用能力一直是個熱門的話題，如何開發有效的語用能力測量工具也越來越受到人們的關注。20世紀90年代，Hudson，Detmer和Brown（1995）提出了六種語用測試工具。這六種測試工具分別為書面話語填充（ WDCT），多項選擇話語填充（ MDCT），聽說話語填充（ODCT），話語角色扮演（DRPT），話語自我評價（ DSAT）以及角色扮演自我評價（RPSA）。21世紀以來，在 Hudson 等的框架下進行的語用測試研究進一步深入。Brown（2001）發現MDCT的信度是六種測試工具中最低的，Ahn（2005）的研究結果表明這五種測試工具的信度很高。劉建達（2006， 2007）開發了一套新的MDCT、WDCT和DSAT語用測試卷，試卷開發經過系統詳細的步驟，該研究中MDCT的信度很高。以上的研究結果表明ODCT、DRPT、DSAT和RPSA四種語用測試工具均具有良好的信度，但是對MDCT和WDCT的信度研究有不同的結論。很多語用測試研究都是在日語或英語文化下進行的，在漢語語境下進行的研究并不多，因此有必要在中國英語學習者中對六種語用測試工具進行更多的研究。

一、語用測試工具開發

本研究主要開發了DSAT、ODCT、WDCT和MDCT四種語用能力測試卷，并按此順序對學生的請求、道歉、拒絕、問候、批評、提醒、贊美、建議、安慰等九種言語行為進行測試。四種測試方法中每道試題對應的情景是一致的，DSAT測試是受試者設想自己在特定情境下說話的恰當性，按李克特量表5級制選擇。ODCT測試在錄音實驗室中進行，受試者講出在設定情景下自己將會說的話，并錄音。WDCT測試由受試者寫出在設定情境下會說的話。MDCT測試由受試者從三段備選話語中選出指定情景下最合適的話語。四種語用測試卷中試題的開發分為以下四個步驟：

第一步，情景選擇。依據前人的研究，收集前人語用測試卷中出現的言語行為的情景。將收集到的情景進行修改和剔除，并統一格式。

第二步，情景可能性調查。將收集到的情景做成問卷，20位學生按李克特量表5級制選擇這些情景在生活中出現的可能性。根據每個項目的平均分，為每種言語行為保留了2至3個情景，共25個情景。

第三步，元語用調查。每個情景包含三個變量，地位、熟悉程度和嚴重性。將25個情景分別做成中英兩種問卷，調查每個情景中三種變量的判斷，10名中國大學生（NNS）和英語為母語的留學生（NS）分別參加了調查。若有70%及以上相同意見，則保留該情景，最后21個情景符合要求。

第四步，確定MDCT選項及答案。MDCT每個情景下有三個備選答案，全部由文獻中收集而來，請NS 從備選答案中選擇最合適的話語。確定了MDCT試卷的選項及正確答案。

二、研究結果與討論

實驗數據收集階段，39名非英語專業大二的學生參加了測試。其中ODCT測試，每個情景的錄音結束后留有20秒供受試者回答，其他三種測試都沒有時間限制。實驗按照DSAT、ODCT、WDCT、MDCT的順序對受試者進行測驗，這樣各測試方法間的交叉影響會減到最低。試驗結束后，將ODCT音頻數據轉寫成文字形式輸入電腦并將WDCT數據原封不動輸入電腦。兩個NS的外教對ODCT和WDCT部分進行了評分，評分采用1（unacceptable）至5（completely appropriate）五個級別，評分標準包括言語行為的正確性、話語表達的正確性、信息量的大小、話語的正式程度、言語策略的直接性和禮貌度。對于DSAT部分，考生自我評估的分數就是最后的結果。ODCT部分和WDCT部分的得分是兩位評卷員所給分數的平均值。MDCT部分，每個正確的選擇得5分，錯誤的得0分。評分結束后，將所有數據輸入SPSS19.0，分析結果如下。

在ODCT與WDCT試題中，兩位評分員間的信度分別為.895和.865，這說明兩位評分員有不錯的評分一致性，他們對ODCT和WDCT試題的評分結果可以信賴。

表1為各試卷的內部一致性信度（α）與折半信度。折半信度是先算出各題目的難易程度，并按其難易程度平均分為兩部分算出。從表1可以看出，DSAT的信度高達.918，折半信度達.969。ODCT和WDCT的信度分別為.793和.773，在兩種測試中由于情景三與總體的相關性很低，于是將情景三去掉重新計算其信度，修正后ODCT與WDCT的信度分別達到.801和.784，并且二者的折半信度分別達到.869和.883。這一結果說明DSAT、ODCT和WDCT具有可以接受的信度。MDCT的信度很低，去掉與總體相關性很低的情景二和情景七后，修正的信度也僅為.561。要注意的是，本研究中MDCT的信度很低，這雖與大多研究結果相似，但與劉建達（2006）的研究中MDCT信度達到.88的結果不同，這可能是由于本研究MDCT測試中的備選答案并不是通過調查從真實生活場景中得來，而是從文獻中收集來。MDCT試題開發過程的不系統可能是造成其信度低的主要原因。

三、結語

本研究用定量的方法考察了DSAT、ODCT、WDCT、MDCT四種語用測試工具在中國英語學習者中的應用。研究結果表明，除MDCT外其它三種英語語用測試工具都具有可以接受的信度。這一結論與語用能力測試文獻中的部分研究成果一致，但對于MDCT的信度這一個問題的研究仍存在著許多分歧。本研究中對于MDCT試卷選項的設計并不是來源于人們的真實生活，而是從文獻中而來，這可能是MDCT試卷信度低的主要原因。實際上，在所考察的四種測試方法中，MDCT是大型考試中最省時省力和可行的一種方法，但這種測試工具的開發過程非常復雜，而要開發出信度較高的MDCT試卷又非易事，未來需要更多的研究考察如何開發出高信度的MDCT試卷。

參考文獻

[1] Ahn，R.C.，Five measures of interlanguage pragmatics in KFL （Korean as a foreign language） learners. Unpublished phD thesis， University of Hawaii at Manoa，2005.

[2] Brown， P.，Pragmatics tests：Different purpose，different tests.In Rose，K.& Kasper，G.（Eds.），Pragmatics in Language Teaching，301-325. Cambridge：Cambridge University Press，2001.

[3] Hudson，T.，Detmer，E，.& Brown.J.D.，Developing prototypic measures of cross-cultural pragmatics （Technical Report 7）. Honolulu： University of Hawaii， Second Language Teaching and Curriculum Center，1995.

[4] 劉建達.中國學生英語語用能力的測試[J].外語教學與研究，2006（04）.

[5] 劉建達.語用能力測試的評卷對比研究[J].現代外語，2007（04）.

作者簡介：鄭娜新（1990.10- ），女，河北邢臺人，青島理工大學琴島學院，助教，2013級碩士，研究方向：二語習得;張琳（1990.12- ），女，黑龍江齊齊哈爾人，青島理工大學琴島學院，助教，2013級碩士，研究方向：二語習得。