基于語料庫的“商務(wù)短語選擇”測試項目質(zhì)量分析

李延玉

（深圳職業(yè)技術(shù)學(xué)院 應(yīng)用外國語學(xué)院，廣東 深圳 518055）

基于語料庫的“商務(wù)短語選擇”測試項目質(zhì)量分析

李延玉

（深圳職業(yè)技術(shù)學(xué)院 應(yīng)用外國語學(xué)院，廣東 深圳 518055）

以匯集全國國際商務(wù)英語考試（一級）歷次考試（2007年4月至2014年5月）為樣本，選取閱讀模塊中“商務(wù)短語選擇”（BPMC）項目為例子，運用英語語料庫和測試成績分析等工具剖析“商務(wù)短語選擇”項目命題質(zhì)量和項目難度、區(qū)分度和信度。同時，結(jié)合命題和施考實踐，探尋提高商務(wù)英語詞匯測試質(zhì)量的對策。

商務(wù)英語；商務(wù)短語；詞匯搭配；項目質(zhì)量

1 引 言

全國國際商務(wù)英語考試（CNBECT）是由商務(wù)部中國國際貿(mào)易學(xué)會組織的全國性商務(wù)英語考試，旨在提高我國涉外商務(wù)人員的英語水平和職業(yè)素質(zhì)（全國國際商務(wù)英語考試大綱，2006）。該系列考試分為兩個級別，其中商務(wù)英語考（一級）于2007年4月舉行了首次考試，至今已經(jīng)進(jìn)行了12次考試，累計筆試考生數(shù)超過10萬，采集考生有效信息兩千多萬條。如果我們能夠?qū)@些信息進(jìn)行深度數(shù)據(jù)挖掘和分析，其研究成果將反撥作用于商務(wù)英語理論研究和教學(xué)實踐。當(dāng)然，這樣的研究成果必將有助于提高CNBECT的考試質(zhì)量。本研究以全國國際商務(wù)英語考試（一級）歷次筆試（2007年4月至2014年5月）為樣本，以“商務(wù)短語選擇”（Business Phrases Multiple Choice, BPMC）項目為例子，以商務(wù)英語職業(yè)能力建構(gòu)為視角，運用英語語料庫和英語測試成績分析等工具剖析“商務(wù)短語選擇”項目的命題質(zhì)量和項目難度、區(qū)分度和信度。同時，結(jié)合命題和施考的實踐，提出改善“商務(wù)短語選擇”項目測試質(zhì)量的對策。

2 理論背景

本研究汲取了多個方面的理論研究成果，最密切相關(guān)的是兩個領(lǐng)域：語料庫語言學(xué)和英語測試?yán)碚摗ＵZ料庫語言學(xué)是隨著語料庫建設(shè)和應(yīng)用實踐發(fā)生和發(fā)展的。早在1959年倫敦大學(xué)學(xué)院Quirk教授等人開始建設(shè)英語用法調(diào)查語料庫（Survey of English Usage，SEU）。SEU是最后一個手工語料庫，在研究觀念和方法上都進(jìn)行了大膽創(chuàng)新[1]。20世紀(jì)60、70年代誕生了三大經(jīng)典語料庫：BROWN、LOB和LLC[2]。這三大語料庫的建立標(biāo)志著語料庫研究進(jìn)入電子語料庫時代。它們的建立還為現(xiàn)代語料庫研究的發(fā)展奠定了基礎(chǔ)，標(biāo)志著計算機語料庫語言學(xué)（computer corpus linguistics）的開始[1]。20世紀(jì)80年代以來，陸續(xù)出現(xiàn)了一批新型電子語料庫，其中最典型的是COBUILD、BNC和ICE等[3]。由于采用了更加先進(jìn)的計算機技術(shù)，它們的檢索統(tǒng)計能力更強，速度更快，容量也增大。在這些語料庫建設(shè)中，借助計算機技術(shù)、統(tǒng)計和數(shù)學(xué)等領(lǐng)域的成果，有關(guān)語料標(biāo)注和檢索的方法有著迅速發(fā)展。同時，語料庫應(yīng)用到語言研究、外語教學(xué)、詞典編撰和機器翻譯等方面也有諸多嘗試[3]。語言學(xué)本來就是實踐性、應(yīng)用性很強的一門學(xué)科，脫離了應(yīng)用，坐而論道，也就失去了發(fā)展的基礎(chǔ)和動力，將變成無本之木、無源之水[4]。

在英語測試?yán)碚撋希珻NBECT考試積極汲取了語言測試專家L.F. Bachman交際語言能力模式（communicative language ability model）中重要觀點。該模式已經(jīng)成為當(dāng)今語言能力測試的重要理論依據(jù)之一。該模式包含三個組成部分：語言能力，策略能力和心理生理機制。其中語言能力又進(jìn)一步細(xì)分為組織能力和語用能力，組織能力再分為語法能力和語篇能力。詞匯同詞法、句法和語音/字系一起被列在語法能力之下[5]。詞匯能力是閱讀能力的重要組成部分，它是一種隱性的理論假設(shè)，無法直接觀察。我們只能通過觀察學(xué)習(xí)者使用詞匯能力的行為來判斷詞匯能力的水準(zhǔn)。一般而言，詞匯能力與閱讀能力呈現(xiàn)正相關(guān)，詞匯能力越強，閱讀能力越強。結(jié)構(gòu)主義/心理測量法（the structuralist-psychometric approach）以結(jié)構(gòu)語言學(xué)為理論基礎(chǔ)，強調(diào)不同的語言能力，比如語音、詞法和詞匯可以分別測試[6]。詞匯測試，作為一項子項目是英語閱讀能力重要和不可或缺的組成部分。CNBECT基于以上的理論考慮，在筆試閱讀模塊中設(shè)計了“商務(wù)短語選擇”測試項目。

3 研究對象

測試首先需要建構(gòu)所測試的能力。語言測試中的建構(gòu)就是根據(jù)某種語言學(xué)理論，分解和重組出需要測試的某種能力，設(shè)計相應(yīng)的考試題目，組織考生完成一些任務(wù)。通過考察考生在考試中完成這些任務(wù)的情況來推導(dǎo)（generalize）出考生在實際應(yīng)用環(huán)境下的這方面能力[6]。建構(gòu)商務(wù)英語閱讀能力的關(guān)鍵是如何處理英語語言能力和商務(wù)背景知識的關(guān)系，或者說在大綱設(shè)計和具體題目設(shè)計上如何協(xié)調(diào)影響英語語言能力的那些因素和影響商務(wù)知識的那些因素。CNBECT注重考試項目或任務(wù)的真實性（authenticity）和語言知識與商務(wù)知識的互動性（interaction）。建構(gòu)是抽象的，只能通過考綱和樣題具體呈現(xiàn)出來。CNBECT在考綱中細(xì)化了語言能力模塊的具體指標(biāo)和商務(wù)知識模塊所涵蓋的范圍。CNBECT（一級）考綱中規(guī)定的閱讀能力要求見表1[7]。

上述閱讀能力通過考生在55分鐘內(nèi)完成的具體任務(wù)表現(xiàn)出來（閱讀模塊要求見表2）[7]。考生的得分將用來推導(dǎo)出考生在真實商務(wù)英語閱讀環(huán)境下的閱讀能力，比如電商銷售人員閱讀英文報價單的能力。CNBECT要求詞匯量達(dá)到4,500詞，其中商務(wù)專業(yè)詞匯1,500詞左右。為此，CNBECT編寫了詞匯表。

表1 CNBECT（一級）閱讀能力要求

表2 CNBECT（一級）閱讀模塊考試項目

CNBECT將“商務(wù)短語選擇”項目設(shè)計為多項選擇（MC）的客觀題型。項目包括10道題目（item）題干是一個20詞內(nèi)的句子，通常為一句陳述（statement）。句子中間缺失一個單詞或短語，設(shè)有4個備選項。被測詞匯（正確選項）為商務(wù)活動中使用頻率高的詞匯。CNBECT（一級）樣題中第21題如下：

21. Our company is going to _________ a new business this year.

A. make B. launch

C. forward D. manufacture

題目中被測詞匯launch是一個使用頻率較高的詞（英國國家語料庫顯示為3078次），在題干to launch a new business 語境中考查其意義，即to launch a large and important activity, for example a military attack, means to start it. 開展（重大活動）；發(fā)起，發(fā)動（軍事襲擊等）（《柯林斯高階英漢雙解學(xué)習(xí)詞典》，2011年）。此項意思在商務(wù)語境中頻繁出現(xiàn)。CNBECT“商務(wù)短語選擇”項目考查商務(wù)短語在商務(wù)語境中的使用，關(guān)注被測詞匯的語義和語用，不同于Quirk、Bloomfield和Chomsky等語言學(xué)家的詞組（phrase structure），也放棄了考查考生詞匯廣度、深度和強度的模式。

4 方法與步驟

為了剖析“商務(wù)短語選擇”項目命題質(zhì)量和項目難度、區(qū)分度和信度，筆者按照如下方法和步驟設(shè)計本研究：

4.1 選擇語料庫

考慮到語料庫的規(guī)模、語料來源、語料時間跨度、專業(yè)特點和認(rèn)可度等因素，筆者選用了美國當(dāng)代英語語料庫、英國國家語料庫和香港金融服務(wù)語料庫。英國楊百翰大學(xué)Mark Davies教授開發(fā)的語料庫統(tǒng)一檢索平臺，整合了美國當(dāng)代英語語料庫、美國歷史英語語料庫、美國時代雜志語料庫、英國國家語料庫等語料庫的資源（筆者通過注冊獲得了有限檢索權(quán)限）。香港金融服務(wù)語料庫具有專業(yè)特點，語料來自保險產(chǎn)品介紹、投資產(chǎn)品介紹、金融法規(guī)、新聞發(fā)布稿件等。該語料庫是由香港理工大學(xué)專業(yè)交際英語研究中心（Research Centre for Professional Communication in English）開發(fā)，免費開放。語言測試專家Michael Nelson博士為了撰寫論文自建了“商務(wù)英語語料庫”（Business English Corpus；BEC），有一百萬詞。但是其質(zhì)量與大小無法與上述三個語料庫相比，沒有被采用[8]。三個語料庫的基本信息見表3。

4.2 檢索被測詞匯的詞頻

在上述三大語料庫中檢索被測詞匯的詞頻，并制成Excel表單。

4.3 編制被測詞匯的搭配

語料庫語言學(xué)中的搭配（collocates）指“兩個或兩個以上的詞在文本中短距離內(nèi)共現(xiàn)（co-occurrence）”（Sinclair,1991）。分析歷次考試試題的題干，比如：

23. Companies wishing to_________more money for development can sometimes issue new shares.

A. rise B. raise

C. increase D. attract

被測詞匯“raise”（籌集，籌措）（《柯林斯高階英漢雙解學(xué)習(xí)詞典》， 2011年）后面接“money”構(gòu)成商務(wù)語境中常用的短語“raise money”（籌措資金）。“money”被編制為被測詞匯“raise”的搭配。筆者并沒有取“more”、“to”、“more money”或其他鄰近詞匯，這樣可以更好地逼近“商務(wù)短語（business phrase）”的效果。

同時，筆者為了更大程度還原題干所構(gòu)建的商務(wù)英語語境，在個別題目的搭配詞選擇和搭配條件設(shè)定時又做了適當(dāng)放寬。比如：

25. Some terms of Incoterms are appropriate for all modes of _________; others may be appropriate only for one or two of them.

A. transit B. transaction

C. transshipment D. transport

被測詞匯“transport”（運輸；運送）（《柯林斯高階英漢雙解學(xué)習(xí)詞典》， 2011年）前面接“mode of”構(gòu)成商務(wù)語境中常用的短語“mode of transport”（運輸方式）。在語料庫中，筆者對該詞匯的搭配嚴(yán)格設(shè)定了跨距為“L2R0”，以便在BNC和COCA中檢索“mode of transport”出現(xiàn)的頻率。顯然，按照這樣的檢索條件在BNC中檢索到36次中有可能包括“mode to transport”的搭配。筆者進(jìn)一步查考文本（text），發(fā)現(xiàn)36次都是“mode of transport”。筆者設(shè)定的搭配詞和跨距條件，能夠比較好地逼近“商務(wù)短語”的效果。由于香港金融服務(wù)語料庫可以按照短語檢索，并不受到類似搭配和跨距的影響。

限于本文篇幅要求，筆者沒有逐一列出CNBECT（一級）的120個被測詞匯。僅以2007年4月考試的被測詞匯為例，逐一列于表4。

4.4 檢索搭配或短語

在三大語料庫中檢索搭配或短語（香港金融服務(wù)語料庫中可以直接檢索短語）出現(xiàn)的頻次。檢索內(nèi)容代碼見表5。

表3 三大語料庫信息

表4 “商務(wù)短語選擇”項目被測詞匯與搭配

表5 語料庫檢索代碼含義

4.5 計算項目的信度和題目的難度、區(qū)分度、信度

筆者采集了CNBECT的考試數(shù)據(jù)，通過SSPS 18軟件計算出“商務(wù)短語選擇”項目的整體信度和2010年5月考試“商務(wù)短語選擇”項目每道題目的難度、區(qū)分度、信度，并與被測詞匯及其搭配語料庫檢索結(jié)果進(jìn)行比較。

5 結(jié)果與討論

通過比較被測詞匯和搭配語料庫檢索的結(jié)果與“商務(wù)短語選擇”項目的整體信度和題目的難度、區(qū)分度、信度，筆者發(fā)現(xiàn)以下五個方面值得討論：

5.1 絕大部分被測詞匯及其搭配語料庫頻率比較高

筆者將120個被測詞匯和它們的搭配詞分別在BNC、COCA和HKFSC三個語料庫中進(jìn)行了檢索，制作Excel表單，采用SSPS 18 進(jìn)行了統(tǒng)計，結(jié)果見表6。

表6顯示120個被測詞匯在三個語料庫中都能檢索到；所編制的搭配詞中，114個搭配詞在BNC和COCA中能夠檢索到，有6個搭配詞（WTO，L/C，T/T，C.V.，sight L/C，sight L/C）因為本身是或含有縮略詞，在BNC和COCA中無法檢索；120個搭配詞在HKFS中能夠檢索到。120個被測詞匯在BNC、COCA和HKFS中平均詞頻分別為62410.50、272791.22和6110.58，中位數(shù)分別為3661.00、13943.50和821.00，這表明命題組選擇的詞匯在商務(wù)環(huán)境中頻繁使用。在BNC、COCA和HKFS中詞頻最高的詞匯都是“to”，這顯然是該詞的自身特點決定的。

筆者發(fā)現(xiàn)120個編制的搭配詞在BNC、COCA和HKFS中平均頻率分別為186.96、511.22和104.25，中位數(shù)分別為25.50、53.00和2.00，表明命題組設(shè)計的題干和“商務(wù)短語”比較接近真實語境和使用現(xiàn)狀。

5.2 “商務(wù)短語選擇”項目整體信度高，與語料庫檢索結(jié)果相關(guān)度較高

筆者同時發(fā)現(xiàn)，CNBECT（一級）最近9次筆試“商務(wù)短語選擇”項目得分（RSA21-30）對于筆試總分（TS）和閱讀模塊得分（R21-60）相關(guān)度很高，對閱讀模塊得分尤為顯著。具體信息見表7。

“商務(wù)短語選擇”項目得分相對于總分和閱讀模塊得分信度與上面5.1中統(tǒng)計的被測詞匯及其搭配的語料庫頻率吻合度較高。這在一定程度上表明“商務(wù)短語選擇”項目的被測詞匯的選擇和題干的編寫質(zhì)量較高，能夠與其它項目共同測出考生的語言能力，具有較高的信度。

表6 被測詞匯及其搭配詞語料庫檢索結(jié)果統(tǒng)計

表7 “商務(wù)短語選擇”項目信度

5.3 少數(shù)被測詞匯及其搭配語料庫頻率比較低

筆者觀察到表8中11個被測詞匯的搭配詞在三大語料庫中檢索的結(jié)果為0，其中包括effect shipment（裝運）、documents against acceptance（承兌交單）、partial shipment（分批轉(zhuǎn)運）、shipping advice（裝船通知）等短語。這三個短語在我國的商務(wù)教材中出現(xiàn)頻率并不低。出現(xiàn)這種差異是由于語料庫語料來源所致，還是由于我們的商務(wù)教材脫離了實際？值得我們進(jìn)一步研究。

5.4 偏難題目的難度、區(qū)分度、信度與語料庫檢索結(jié)果的相關(guān)度較高

以2010年5月筆試為例，題目中被測詞clearance和instrument在三大語料庫中詞頻比較高，屬于常用的詞匯，但是其搭配customs clearance和negotiable instrument在三個語料庫中出現(xiàn)的頻率都較低，在10次左右。具體信息見表9。

這與筆者計算出來的題目的難度與信度相吻合。這兩個被測詞匯所在的題目是10道題目中難度列入前三名，信度和區(qū)分度也較低。筆者認(rèn)為短語customs clearance（結(jié)關(guān)）和negotiable instrument（流通票據(jù)）（《國際商務(wù)英語大詞典》，馮祥春，2000年）專業(yè)性較強，考生未能掌握。此外，“product”所在題目的干擾項（production、produce、productivity）的干擾度高，誤選的比例分別為30.84%、33.91%和11.96%，使得該題成為最難的題目。人們通常知道GDP，但考生沒有掌握其全拼gross domestic product。2010年5月考試“商務(wù)短語選擇”題目難度、信度和區(qū)分度具體信息見表10。

表8 三大語料庫檢索結(jié)果為零的搭配詞

表9 兩個被測詞匯及其搭配語料庫檢索結(jié)果

表10 CNBECT201005“商務(wù)短語選擇”題目難度、信度和區(qū)分度

5.5 英式英語和美式英語拼寫的差異影響語料庫頻率

筆者發(fā)現(xiàn)由于英式英語和美式英語拼寫的差異，三大語料庫中“catalog”和“distribution center”等檢索結(jié)果差異懸殊。比如，“catalog” 按照兩種不同的拼寫在三大語料庫中檢索的結(jié)果見表11。

表11 拼寫不同對語料庫檢索的影響

上述數(shù)據(jù)也反映出三個語料庫語料來源的差異，尤其是HKFSC中出現(xiàn)了英式英語拼寫絕對優(yōu)勢的表象。CNBECT考試沒有嚴(yán)格的英式或美式英語的傾向，筆者目前無法論證這種拼寫差異是否會影響到考試的質(zhì)量，但是上述的差異值得研究。

6 結(jié) 語

經(jīng)過對CNBECT(一級)歷年筆試“商務(wù)短語選擇”項目試題和分?jǐn)?shù)的分析，筆者認(rèn)為該項目被測詞匯選詞質(zhì)量較高，編寫的題干能夠構(gòu)建比較好的商務(wù)語境。通過對考生的項目得分分析，筆者也發(fā)現(xiàn)該項目有著較高的信度。通過語料庫檢索結(jié)果與題目信度、難度和區(qū)分度比較分析發(fā)現(xiàn)二者有著較高的相關(guān)度。筆者建議命題組應(yīng)盡快和充分利用語料庫資源，檢索擬被測詞匯，輔助編寫題干。中國國際貿(mào)易學(xué)會和考試中心應(yīng)及時深度挖掘考試數(shù)據(jù)和分析試卷。如果考試中心能夠?qū)⒄Z料庫檢索分析同考試數(shù)據(jù)挖掘結(jié)合起來，其研究成果必將會推動和維持考試的科學(xué)可持續(xù)發(fā)展。

[1] 何中清，彭宣維．英語語料庫研究綜述：回顧、現(xiàn)狀與展望[J]．外語教學(xué)，2011（1）．

[2] Kennedy G. An Introduction to Corpus Linguistics[M]. London: Longman, 1998．

[3] 嚴(yán)明．商務(wù)英語語料庫開發(fā)與應(yīng)用研究[M]．北京：中國商務(wù)出版社，2008．

[4] 楊惠中．語料庫語言學(xué)的應(yīng)用研究與貢獻(xiàn)[J]．現(xiàn)代外語，2004（4）．

[5] Bachman L F. Fundamental Considerations in Language Testing[M]. Oxford：Oxford University Press, 1990．

[6] 鄒申．語言測試[M]．上海：上海外語教育出版社，2005．

[7] 中國國際貿(mào)易學(xué)會商務(wù)專業(yè)培訓(xùn)考試辦公室．全國國際商務(wù)英語考試（一級）大綱與復(fù)習(xí)指南[M]．北京：中國商務(wù)出版社，2007．

[8] Nelson M. A corpus-based study of business English and business English teaching materials[D]. University of Nottingham, 2000．

A Corpus-based Quality Analysis of CNBECT “BPMC” Items

LI Yanyu

（Shenzhen Polytechnic, Shenzhen, Guangdong, 518055, China）

China National Business English Certificate Test (CNBECT) is developed and administered by China Association of International Trade under the Ministry of Commerce. The present study, based on three well-known corpora, analyzes the “Business Phrases Multiple Choice” items in the CNBECT from April, 2007 to May, 2014, comparing the frequencies of the tested words and their collocates in the corpora with the items validity, difficulty and discrimination. And the suggestive measures are put forwarded to improve the items quality in CNBECT.

business English; business-related phrases; collocation; items quality

H319.1

A

1672-0318（2014）06-0050-07

10.13899/j.cnki.szptxb.2014·06, 008

2014-09-10

李延玉（1970-），男，副教授。主要研究方向：商務(wù)英語教學(xué)與測試。