商務(wù)漢語考試 (BCT)與歐洲語言共同參考框架 (CEFR)的等級(jí)標(biāo)準(zhǔn)關(guān)系研究①

鹿士義

(北京大學(xué)對(duì)外漢語教育學(xué)院商務(wù)漢語考試 (BCT)研發(fā)辦公室,北京 100871)

商務(wù)漢語考試 (BCT)與歐洲語言共同參考框架 (CEFR)的等級(jí)標(biāo)準(zhǔn)關(guān)系研究①

鹿士義

(北京大學(xué)對(duì)外漢語教育學(xué)院商務(wù)漢語考試 (BCT)研發(fā)辦公室,北京 100871)

商務(wù)漢語水平考試 (BCT);標(biāo)準(zhǔn)設(shè)定;歐洲語言共同參考框架 (CEFR)

本文主要運(yùn)用標(biāo)準(zhǔn)設(shè)立的方法探討了商務(wù)漢語考試 (BCT)與歐洲語言共同參考框架 (CEFR)之間的等級(jí)對(duì)應(yīng)關(guān)系,研究結(jié)果表明:商務(wù)漢語考試 (BCT)和歐洲語言共同參考框架 (CEFR)之間存在著一定的等級(jí)對(duì)應(yīng)關(guān)系,商務(wù)漢語考試 (BCT)涵蓋了《框架》中從A2到 C1這樣一個(gè)標(biāo)準(zhǔn)等級(jí)序列;這種等級(jí)序列的分距之間在商務(wù)漢語考試 (BCT)中表現(xiàn)得非常和諧,體現(xiàn)了商務(wù)漢語考試 (BCT)作為跨度考試的特點(diǎn);文章最后總結(jié)了BCT與 CEFR之間的等級(jí)關(guān)系。

1.前言

商務(wù)漢語考試 (BCT)是我們國(guó)家向海外推廣的幾個(gè)主要對(duì)外語言測(cè)試之一,因此如何與國(guó)際現(xiàn)行的標(biāo)準(zhǔn)和考試接軌,根據(jù)國(guó)際現(xiàn)有的等級(jí)標(biāo)準(zhǔn)來進(jìn)行統(tǒng)一的分析解釋,以便于各語言考試之間能夠相互比較,促進(jìn)不同語言文化背景下資格之間的相互認(rèn)證,這是我們向世界推廣漢語時(shí)必須要解決的首要問題。為此,商務(wù)漢語考試研發(fā)辦于 2008年啟動(dòng)了商務(wù)漢語考試 (BCT)與歐洲語言、學(xué)習(xí)、評(píng)估共同參考框架 (CEFR)(以下簡(jiǎn)稱“《框架》”)的匹配研究工作,以尋求建立起具有心理測(cè)量學(xué)基礎(chǔ)的、用以測(cè)試商務(wù)漢語能力的標(biāo)準(zhǔn)測(cè)試——商務(wù)漢語考試 (BCT)與《框架》的對(duì)應(yīng)和聯(lián)系,促進(jìn)漢語教學(xué)和漢語測(cè)試的國(guó)際推廣。

商務(wù)漢語考試 (BCT)與《框架》進(jìn)行匹配研究的一個(gè)重要方面就是考試的“標(biāo)準(zhǔn)化”(Standardization)。“標(biāo)準(zhǔn)化”的目的就是通過專家對(duì)考生的實(shí)際行為表現(xiàn)所進(jìn)行的評(píng)定,進(jìn)一步驗(yàn)證商務(wù)漢語考試 (BCT)與《框架》之間的聯(lián)系,最終根據(jù)《框架》的水平描述由專家劃分出商務(wù)漢語考試 (BCT)相對(duì)應(yīng)的“合格分?jǐn)?shù)線” (cut score)。根據(jù)歐洲理事會(huì)所頒布的《語言測(cè)試與 <歐洲語言學(xué)習(xí)、教學(xué)、評(píng)估共同參考框架 >匹配手冊(cè)》(試用版),考試與《框架》的“標(biāo)準(zhǔn)化”主要包括以下三個(gè)方面:1)對(duì)《框架》的水平和能力描述能夠取得充分的理解,并將考試任務(wù)、考試成績(jī)與這些能力水平進(jìn)行匹配;2)確保所有參與評(píng)定的專家能夠取得一致的理解,并能在匹配實(shí)施過程中保持一致。3)標(biāo)準(zhǔn)設(shè)定,對(duì)分類或選定的測(cè)試項(xiàng)目、任務(wù)以及學(xué)習(xí)者的成績(jī)進(jìn)行評(píng)定,劃分出不同水平之間的“合格分?jǐn)?shù)線”(cut-off)。

《匹配手冊(cè)》將考試的“標(biāo)準(zhǔn)化”過程分為熟悉 (Familiarization)、培訓(xùn) (Training)、行為樣本的標(biāo)注 (Benchmarking Performances)以及標(biāo)準(zhǔn)設(shè)定 (Standard-setting)等 4個(gè)階段。本文主要報(bào)告“標(biāo)準(zhǔn)設(shè)定”的研究過程,這個(gè)過程包括以下兩個(gè)方面的內(nèi)容:一是 “標(biāo)準(zhǔn)設(shè)定”的過程和方法;二是數(shù)據(jù)驗(yàn)證,通過考生對(duì)試題的實(shí)際作答表現(xiàn)來驗(yàn)證專家設(shè)定的“劃界分?jǐn)?shù)線”,最后報(bào)告“標(biāo)準(zhǔn)設(shè)定”的最終結(jié)果。

2.“標(biāo)準(zhǔn)設(shè)定”的方法和過程

《教育與心理測(cè)量標(biāo)準(zhǔn)》(1999)在論述“標(biāo)準(zhǔn)評(píng)定”時(shí)認(rèn)為,應(yīng)該對(duì)“標(biāo)準(zhǔn)設(shè)定”的原理、所使用的評(píng)定方法,專家的資格、專家挑選的標(biāo)準(zhǔn)以及培訓(xùn)的方式清楚地記錄備案。評(píng)定專家應(yīng)該清楚“標(biāo)準(zhǔn)設(shè)定”的目的和目標(biāo),熟悉相關(guān)考試,熟悉評(píng)定過程和方法,并進(jìn)行必要的培訓(xùn)。本項(xiàng)“標(biāo)準(zhǔn)設(shè)定”的研究方法就是根據(jù)這些指導(dǎo)原則進(jìn)行設(shè)計(jì)的。

2.1 專家評(píng)定的目標(biāo)定義

商務(wù)漢語考試 (BCT)“標(biāo)準(zhǔn)設(shè)定”的目的就是由專家確定考生成功完成考試中相關(guān)的測(cè)試任務(wù)時(shí)所需要的最低的《框架》水平。換言之,就是確定與商務(wù)漢語考試 (BCT)目標(biāo)相關(guān)的、考生所達(dá)到的《框架》水平的 “合格分?jǐn)?shù)線”。《框架》用了 6個(gè)水平等級(jí)量表來分別描述聽、說、讀、寫的語言能力,這 6個(gè)水平為 A1– A2(Basic User),B1– B2(Independent User),and C1– C2(ProficientUser)。本項(xiàng)研究所確定的“合格分?jǐn)?shù)線”分別指《框架》B1和 C1水平的考生在完成商務(wù)漢語考試 (BCT)的測(cè)試任務(wù)時(shí)表現(xiàn)出來的成績(jī)和水平,B1水平的“分?jǐn)?shù)線”是初、中級(jí)之間的一條重要?jiǎng)澖绶謹(jǐn)?shù),而 C1則是中、高級(jí)之間的一條重要的劃界分?jǐn)?shù),其他的“劃界分?jǐn)?shù)”可以通過這兩條重要的“分?jǐn)?shù)線”來進(jìn)行推導(dǎo)。

2.2 專家的挑選和培訓(xùn)

為了提高“標(biāo)準(zhǔn)設(shè)定”的有效性和權(quán)威性,評(píng)定小組主要由對(duì)外漢語教學(xué)、語言測(cè)試以及商務(wù)漢語教學(xué)三方面專家組成。考慮到商務(wù)漢語考試 (BCT)是面向全球的語言測(cè)試,在選擇專家時(shí)還充分考慮到了地域的分布,評(píng)定的專家分別來自中國(guó)大陸、中國(guó)香港以及美國(guó)等地。國(guó)內(nèi)的專家選擇主要將選定的范圍集中在國(guó)內(nèi)幾所較大的從事對(duì)外漢語教學(xué)的院校,因?yàn)檫@些院校的教師所教授的學(xué)生地域性分布較廣,水平多樣。這些有利的條件會(huì)使“標(biāo)準(zhǔn)設(shè)定”的結(jié)果更加全面、可信。

為了能夠使得評(píng)定專家盡快熟悉所評(píng)定的任務(wù),我們根據(jù)“標(biāo)準(zhǔn)評(píng)定”的特殊性有針對(duì)性地設(shè)計(jì)了一系列培訓(xùn)活動(dòng)。我們將商務(wù)漢語考試 (BCT)中聽力、說話、閱讀、寫作各部分所測(cè)試的不同的語言技能,根據(jù)《框架》對(duì) B1和 C1水平的描述進(jìn)行歸納總結(jié)。歸納時(shí)主要考慮這些描述能夠區(qū)分出不同水平的應(yīng)試者應(yīng)具有的足夠的技能去完成相應(yīng)的測(cè)試任務(wù)。例如 B1水平的考生能夠完成比A2水平更高且A2的考生所不能完成的任務(wù),但對(duì)于 B1水平的考生來說他不能完成 B2水平的任務(wù)。對(duì)于 C1水平的考生而言能完成比B2水平更高且B2所不能完成的任務(wù)。我們將這些歸納總結(jié)的描述表格請(qǐng)?jiān)u定專家們結(jié)合《框架特征描述》 (《匹配手冊(cè)》表2.1)以及《框架》中的《測(cè)試總表》(表1)、《自我評(píng)價(jià)表》 (表2)和《口語能力量表》 (表3)進(jìn)行討論、補(bǔ)充,并提出修改意見。這些練習(xí)有助于評(píng)定專家確定B1和 C1水平的考生最低的 “合格分?jǐn)?shù)線”,使評(píng)定專家在評(píng)定時(shí)能夠?qū)Α犊蚣堋啡〉靡恢滦缘睦斫狻?/p>

3.商務(wù)漢語考試 (BCT)聽讀部分的標(biāo)準(zhǔn)設(shè)定

3.1 評(píng)定方法與步驟

商務(wù)漢語考試 (BCT)“聽力”和“閱讀”兩部分的試題多為選擇題。對(duì)選擇題的 “標(biāo)準(zhǔn)設(shè)定”方法,《匹配手冊(cè)》建議采用安戈夫修訂方法 (A modified Angoff approach)。這種方法是目前選擇題的“標(biāo)準(zhǔn)設(shè)定”中使用最廣泛的方法 (Hurtz&Auerbach,2003)。

標(biāo)準(zhǔn)設(shè)定時(shí),評(píng)定專家首先閱讀試題,并考慮每個(gè)試題所測(cè)的語言技能的難度,然后判定 B1水平的應(yīng)試者正確回答該題目的概率,并將判斷記錄在標(biāo)有 0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9概率的表格上,比如 0.1相對(duì)應(yīng)的正確回答概率為 10%。專家憑借自己的經(jīng)驗(yàn)可以判斷,對(duì)于漢語水平要求相對(duì)比較高的題目,可能會(huì)落在 0.1～0.3之間,正確回答的概率為 10～30%,對(duì)于漢語水平要求相對(duì)比較低的題目,可能會(huì)落在 0.7～0.9,正確回答的概率則為 70～90%。中等難度的試題可能會(huì)落在 0.4～0.6之間,正確回答的概率則為 40～60%。

專家在正式評(píng)定之前,首先進(jìn)行試評(píng),試評(píng)的題目不包括在正式評(píng)定的題目之中。用作評(píng)定的試卷都是參考人數(shù)在 2000人以上的正式施測(cè)的試卷。每個(gè)評(píng)定專家都被要求記錄下 B1水平的應(yīng)試者和 C1水平的應(yīng)試者正確回答該試卷中每道題目的概率。一旦每個(gè)專家評(píng)定結(jié)束后,即進(jìn)行小組討論,這樣每個(gè)專家可以分享其他專家對(duì)每個(gè)題目水平標(biāo)注的原則。討論結(jié)束后,即公布正確答案,同時(shí)將正式施測(cè)的考試數(shù)據(jù) (難度值)提供給評(píng)定專家參考,比照經(jīng)驗(yàn)判斷該道題目是屬于容易、中等還是難度較高的題目,對(duì)該題的難度水平進(jìn)行討論,判定 B1和 C1水平的漢語語言學(xué)習(xí)者回答該題所遇到的困難。通過討論,評(píng)定小組中不同專業(yè)領(lǐng)域的專家的觀點(diǎn)能夠得到充分地反映,幫助專家廓清在評(píng)定過程中所出現(xiàn)的偏差,校正自己的評(píng)定標(biāo)準(zhǔn)。評(píng)定專家完成 4道題目的試評(píng)后進(jìn)行討論,以確保每個(gè)專家確實(shí)都掌握了評(píng)定方法。

第一輪評(píng)定任務(wù)結(jié)束后,由課題組成員根據(jù)每個(gè)評(píng)定專家對(duì) B1和 C1水平的評(píng)定,計(jì)算出其“聽力”部分 50道題的概率。例如如果某個(gè)專家對(duì)B1水平的應(yīng)試者 50道題答對(duì)的概率評(píng)定為 0.5,那么該專家評(píng)定的B1水平的得分則為 25,根據(jù)專家的判斷,這 25題就被視為《框架》B1水平的應(yīng)試者所需要的正確作答的題目數(shù)。如果某專家評(píng)定 C1水平的應(yīng)試者 50道題目的正確回答概率為0.8,那么該專家評(píng)定 C1水平的得分為 40分,根據(jù)該專家的評(píng)定,40道題目就被視為《框架》C1水平正確作答的題目數(shù)。同時(shí)還分別計(jì)算出小組評(píng)定的均分、中數(shù)、標(biāo)準(zhǔn)差、最小值和最大值。然后報(bào)告第一輪的評(píng)定結(jié)果,每個(gè)專家根據(jù)各自評(píng)定的結(jié)果與小組的評(píng)定結(jié)果加以對(duì)照進(jìn)行討論,重點(diǎn)討論專家評(píng)定的最低分和最高分。根據(jù)小組的討論結(jié)果,專家校正自己對(duì)整個(gè)“聽力”的評(píng)定得分,要求評(píng)定專家只校正整個(gè)“聽力”部分的得分而不是某個(gè)具體題目水平的得分,因?yàn)檫@時(shí)候的討論是在整個(gè)“聽力”部分完成以后進(jìn)行的。評(píng)定專家可以保留自己第一輪評(píng)定的結(jié)果,不強(qiáng)求改變他們的分?jǐn)?shù)。專家們記錄下他們第二輪的評(píng)定結(jié)果。商務(wù)漢語考試 (BCT)“閱讀”和 “聽力”大致遵循著相同的方法和步驟,只是“聽力”部分的評(píng)定是根據(jù)播放的錄音來進(jìn)行的。

3.2 評(píng)定結(jié)果

共有 15位專家參加了商務(wù)漢語考試 (BCT)“聽力”和 “閱讀”部分的 “標(biāo)準(zhǔn)設(shè)定”。“聽力”和“閱讀”第一輪和第二輪的評(píng)定結(jié)果詳見表1和表2。表1為B1水平的專家小組評(píng)定結(jié)果的統(tǒng)計(jì),表2為 C1水平的專家小組評(píng)定結(jié)果的統(tǒng)計(jì)。《BCT·聽讀》總分的均分、中數(shù)是根據(jù)商務(wù)漢語考試(BCT)分?jǐn)?shù)轉(zhuǎn)換公式推導(dǎo)出來的,導(dǎo)出分?jǐn)?shù)表示專家建議的 “BCT·聽讀”部分所對(duì)應(yīng)的《框架》B1水平和 C1水平的最低 “合格分?jǐn)?shù)線”。

表1:“BCT·聽讀”B1水平專家評(píng)定結(jié)果統(tǒng)計(jì)

表2:“BCT·聽讀”C1水平專家評(píng)定結(jié)果統(tǒng)計(jì)

B1水平和 C1水平的 “合格分?jǐn)?shù)線”無論是 “聽力”部分還是 “閱讀”部分從第一輪到第二輪變化均很小。標(biāo)準(zhǔn)差從第一輪到第二輪則呈現(xiàn)出減小的趨勢(shì)。這表明專家們的評(píng)定一致性在提高,可以將第二輪的均分作為專家評(píng)定的“合格分?jǐn)?shù)線”,即《框架》B1水平和 C1水平最小的對(duì)應(yīng)分?jǐn)?shù)。因此商務(wù)漢語考試 (BCT)“聽力”的B1水平和 C1水平的分?jǐn)?shù)分別為 230分和 428分,“閱讀”的B1水平和 C1水平分別為 216分和 426分。其他級(jí)別的分?jǐn)?shù)是分別根據(jù)商務(wù)漢語考試 (BCT)的導(dǎo)出分?jǐn)?shù)推導(dǎo)出來的。

表3:“BCT·聽讀”各級(jí)別所需的最低合格分?jǐn)?shù)

圖1:商務(wù)漢語考試 (BCT)聽力所需的最小合格分?jǐn)?shù)

圖2:商務(wù)漢語考試 (BCT)“閱讀”所需的最小合格分?jǐn)?shù)

4.商務(wù)漢語考試 (BCT)說寫部分的標(biāo)準(zhǔn)設(shè)定

4.1 評(píng)定方法和步驟

商務(wù)漢語考試 (BCT)“口語”和 “寫作”測(cè)試都是要求考生構(gòu)造性地回答問題,而不是從給定的答案中進(jìn)行選擇。構(gòu)造性試題的“設(shè)定標(biāo)準(zhǔn)”方法通常采用的是“考生試卷選定法” (a modified examinee selection approach)(Hambleton,Jaeger,Plake,&Mills,2000)。該方法的評(píng)定步驟如下:評(píng)定專家首先閱讀需要評(píng)定的商務(wù)漢語考試 (BCT)“說寫”部分的 2個(gè)題目以及評(píng)分規(guī)則,然后聽或讀選定的每個(gè)級(jí)別 (“口語”和“寫作”各 5個(gè)級(jí)別)的作文樣本或口語錄音。要求評(píng)定專家思考每道題所測(cè)試的商務(wù)漢語技能的難度、任務(wù)特征、語言特征、評(píng)分規(guī)則以及《框架》中B1水平的技能描述。然后評(píng)定專家獨(dú)自評(píng)定 B1水平的應(yīng)試者最恰當(dāng)反應(yīng)的作答樣本應(yīng)是屬于哪個(gè)級(jí)別。例如,在寫作評(píng)定中,評(píng)定專家評(píng)定B1水平的應(yīng)試者作答某題應(yīng)該和該題作答樣本的 3級(jí)相當(dāng),那么就可以認(rèn)為《框架》B1水平對(duì)應(yīng)于商務(wù)漢語考試 (BCT)的 “寫作”3級(jí)。對(duì) C1水平的評(píng)定重復(fù)相同的評(píng)定過程。兩個(gè)題目評(píng)定的方法一樣。專家獨(dú)立完成第一道題目 B1和 C1水平的評(píng)定后進(jìn)行討論,闡明各自評(píng)定的理由,目的是讓不同領(lǐng)域的專家充分表達(dá)自己的觀點(diǎn),促使專家能思考自己所沒有考慮到的方面和問題。另外一道題的評(píng)判也照此進(jìn)行。全部?jī)傻李}的B1和 C1水平評(píng)定任務(wù)完成后,則第一輪評(píng)定工作結(jié)束。

項(xiàng)目小組成員計(jì)算出評(píng)定小組及每個(gè)專家評(píng)定的均分、中數(shù)、標(biāo)準(zhǔn)差、最小劃界分?jǐn)?shù)和最大劃界分?jǐn)?shù),并報(bào)告每個(gè)專家的評(píng)定結(jié)果,然后進(jìn)行討論。每個(gè)評(píng)定專家將自己的 B1和 C1的劃界分?jǐn)?shù)對(duì)照小組的評(píng)定結(jié)果,并對(duì)評(píng)定的最低劃界分?jǐn)?shù)和最高劃界分?jǐn)?shù)的結(jié)果進(jìn)行小組討論,其他專家分享他們的評(píng)定結(jié)果及經(jīng)驗(yàn)。小組討論后,專家可以根據(jù)小組的最終討論結(jié)果,從整體上來修訂B1和C1的劃界分?jǐn)?shù)。第一輪評(píng)定時(shí)每個(gè)項(xiàng)目是分開來評(píng)定的,而第二輪評(píng)定時(shí)專家被要求從整體上的表現(xiàn)來進(jìn)行評(píng)定,同時(shí)根據(jù)兩個(gè)題目總的得分進(jìn)行討論,討論與總分相關(guān)的評(píng)定原則。第二輪的評(píng)定是依據(jù)第一輪討論的結(jié)果從總體水平來進(jìn)行評(píng)定的。如果專家們堅(jiān)持自己第一輪的評(píng)定結(jié)果的話,那么他們并不強(qiáng)制修改自己的分?jǐn)?shù)。然后專家將第一輪和第二輪的評(píng)定的結(jié)果分別記錄在評(píng)定表格內(nèi)。

4.2 評(píng)定結(jié)果

“口語”和“寫作”的評(píng)定專家各為 8人。評(píng)定結(jié)果見表4和表5。表4為 B1水平的專家評(píng)定結(jié)果,表5為 C1水平的專家評(píng)定結(jié)果。 “BCT·說寫”總分的均分、中數(shù)是根據(jù)商務(wù)漢語考試(BCT)分?jǐn)?shù)轉(zhuǎn)換公式推導(dǎo)出來的,導(dǎo)出分?jǐn)?shù)表示專家建議的 “BCT·說寫”部分所對(duì)應(yīng)的《框架》B1水平和 C1水平的 “合格分?jǐn)?shù)線”。

表4:“BCT·說寫”B1水平專家評(píng)定結(jié)果統(tǒng)計(jì)

表5:“BCT·說寫”C1水平專家評(píng)定結(jié)果統(tǒng)計(jì)

統(tǒng)計(jì)結(jié)果顯示 B1水平和 C1水平的“分?jǐn)?shù)線”從第一輪到第二輪變化均很小。B1水平和 C1水平之間的標(biāo)準(zhǔn)差呈現(xiàn)出一種減少的趨勢(shì),表明專家小組評(píng)定的一致性在提高。雖然B1水平寫作部分和 C1水平口語部分之間的標(biāo)準(zhǔn)差有所增加,但這種變化微乎其微。因此第二輪的評(píng)定結(jié)果可以認(rèn)定為專家建議的《框架》B1水平和 C1水平最小的對(duì)應(yīng)分?jǐn)?shù)。商務(wù)漢語考試 (BCT)“口語”的 B1水平和 C1水平的分?jǐn)?shù)分別為 3.32級(jí)和 4.6級(jí),“寫作”的 B1水平和 C1水平的分?jǐn)?shù)分別為 3級(jí)和 5級(jí)。其他各級(jí)別由商務(wù)漢語考試 (BCT)的導(dǎo)出分?jǐn)?shù)推導(dǎo)而來。

表6:“BCT·說寫”各級(jí)別所需的最小合格分?jǐn)?shù)

圖3:商務(wù)漢語考試 (BCT)“口語”所需的最小分?jǐn)?shù)

圖4:商務(wù)漢語考試 (BCT)“寫作”所需的最小分?jǐn)?shù)

5.“聽力”、“閱讀”中《框架》水平的最低分?jǐn)?shù)的數(shù)據(jù)驗(yàn)證

我們這里所說的“數(shù)據(jù)驗(yàn)證”就是將專家所確定的最低《框架》水平,通過應(yīng)試者在商務(wù)漢語考試 (BCT)中的實(shí)際作答表現(xiàn)來考察考生的實(shí)際水平處于《框架》哪個(gè)水平上,同時(shí)我們還將進(jìn)一步驗(yàn)證商務(wù)漢語考試 (BCT)“聽力”和“閱讀”所劃分的五級(jí)的 “合格分?jǐn)?shù)線”與專家評(píng)定結(jié)果之間的關(guān)系。因此我們將用專家確定的“合格分?jǐn)?shù)線”來推斷實(shí)際的測(cè)試水平,說明商務(wù)漢語考試 (BCT)“聽力”和 “閱讀”的五級(jí)分?jǐn)?shù)是如何與《框架》的相關(guān)水平匹配的,進(jìn)而建立起上述專家所確定的分?jǐn)?shù)線與實(shí)際考試之間的聯(lián)系。

根據(jù)Abdullah A.Ferdous,Barbara S.Plake(2008)等人研究,我們將上述專家評(píng)定的分?jǐn)?shù)(Mri)轉(zhuǎn)換成基于 2參數(shù)的邏輯斯蒂克模型所估測(cè)的能力值,我們假設(shè)應(yīng)試者的最小能力值 (minimally competent candidate,MCC)最有可能落在 -3和 +3之間,所對(duì)應(yīng)的項(xiàng)目概率 Pi(θ＊)表示該試卷中項(xiàng)目的正確回答的期望概率。這樣在“標(biāo)準(zhǔn)設(shè)定”研究中專家對(duì)項(xiàng)目評(píng)定所獲得的分?jǐn)?shù)線(Mir),通過求得Mir=Pi(θ＊ir)轉(zhuǎn)化成θ＊ir。對(duì)于每個(gè)評(píng)定專家而言,這些θ＊ir是每個(gè)專家 (k)評(píng)定的均值,代表每個(gè)項(xiàng)目 (i)的能力水平,θ＊iR就是 K個(gè)評(píng)定在每個(gè)項(xiàng)目 i上最小能力值 (MCC)的表現(xiàn)。那么θ＊iR值就是依據(jù)每個(gè)項(xiàng)目的均值來確定的整個(gè)能力水平,θ＊即是運(yùn)用考試的項(xiàng)目特征曲線來表示的最小的合格分?jǐn)?shù)。同時(shí)我們用 2參數(shù)模型來估測(cè)應(yīng)試者對(duì)每個(gè)項(xiàng)目反應(yīng)的正確概率,計(jì)算出商務(wù)漢語考試 (BCT)“聽力”和“閱讀”5個(gè)級(jí)別的劃界分?jǐn)?shù)所對(duì)應(yīng)的能力值,結(jié)果如下:

表7:商務(wù)漢語考試 (BCT)“聽力”和“閱讀”劃界分所對(duì)應(yīng)的能力值一覽表

圖5顯示出商務(wù)漢語考試 (BCT)“聽力”的五級(jí)分?jǐn)?shù)線與相關(guān)的《框架》“聽力”水平之間的關(guān)系,可以看出在商務(wù)漢語考試 (BCT)“聽力”二、三、四、五級(jí)分?jǐn)?shù)線 (實(shí)線)均低于《框架》的 A2、B1、B2和 C1水平 (虛線),B1和 B2水平的 “最小合格分?jǐn)?shù)線” (cut-off)比商務(wù)漢語考試 (BCT)的二級(jí)和三級(jí)分?jǐn)?shù)稍高一些,而A2水平和 C1水平的 “最低合格分?jǐn)?shù)線”則與商務(wù)漢語考試 (BCT)的二級(jí)和五級(jí)的分?jǐn)?shù)線非常接近。圖 6顯示了商務(wù)漢語考試 (BCT)“閱讀”的五級(jí)分?jǐn)?shù)線與相關(guān)的《框架》“閱讀”水平之間的關(guān)系。“聽力”水平的情形在商務(wù)漢語考試 (BCT)“閱讀”中得到了相同的反映。從圖 6可以看出 B1、B2和 C1水平 “最低合格分?jǐn)?shù)線”(虛線)稍高于商務(wù)漢語考試 (BCT)的三級(jí)、四級(jí)、五級(jí)劃界分?jǐn)?shù)線 (實(shí)線),而 A2水平的合格分?jǐn)?shù)線則幾乎與商務(wù)漢語考試 (BCT)二級(jí)的劃界分?jǐn)?shù)線重合。

圖5:商務(wù)漢語考試 (BCT)“聽力”成績(jī)劃界分?jǐn)?shù)與相對(duì)應(yīng)的 CEFR水平分布圖

圖6:商務(wù)漢語考試 (BCT)“閱讀”成績(jī)劃界分?jǐn)?shù)與相對(duì)應(yīng)的 CEFR水平分布圖

6.結(jié)論

本文主要探討了商務(wù)漢語考試 (BCT)和歐洲語言共同框架 (CEFR)之間的等級(jí)關(guān)系,所得主要結(jié)論如下:

1)商務(wù)漢語考試 (BCT)和歐洲語言共同框架 (CEFR)之間存在著一定的等級(jí)對(duì)應(yīng)關(guān)系,商務(wù)漢語考試 (BCT)涵蓋了《框架》中從 A2到 C1這樣一個(gè)標(biāo)準(zhǔn)等級(jí)序列;2)這種等級(jí)序列的分距之間在商務(wù)漢語考試 (BCT)中表現(xiàn)得非常和諧,體現(xiàn)了商務(wù)漢語考試 (BCT)作為跨度考試的特點(diǎn);

商務(wù)漢語考試 (BCT)的 “聽力”、“閱讀”、“說話”和 “寫作”5級(jí)水平和《框架》之間的對(duì)應(yīng)關(guān)系可以概括為:

表8:商務(wù)漢語考試 (BCT)5級(jí)水平與歐洲語言共同框架 (CEFR)之間的對(duì)應(yīng)關(guān)系

國(guó)家漢語國(guó)際推廣領(lǐng)導(dǎo)小組辦公室 2007 《國(guó)際漢語能力標(biāo)準(zhǔn)》,外語教學(xué)與研究出版社。

王建勤 2008 《漢語國(guó)際推廣的語言標(biāo)準(zhǔn)建設(shè)與競(jìng)爭(zhēng)策略》,《語言教學(xué)與研究》第 3期。

中國(guó)國(guó)家漢語國(guó)際推廣領(lǐng)導(dǎo)小組辦公室、北京大學(xué)商務(wù)漢語考試研發(fā)辦公室編 2006 《商務(wù)漢語考試大綱》,北京大學(xué)出版社。

Abdullah A.Ferdous,Barbara S.Plake 2008 Item response theory–based approaches for computing minimum passing scores from an Angoff-based standard-setting study.Educational and Psychological Measurem ent(5).

Alderson,J.Charles,Neus Figueras,Henk Kuijper,Günter Nold,Sauli Takala,Claire Tardieu 2006 Analyzing tests of reading and listening in relation to the Common European Framework of Reference:The experience of theDutch CEFR construct project.Language Assessm ent Quarterly(3).

American EducationalResearchAssociation,American PsychologicalAssociation,NationalCouncil 1999Measurem ent in Education Standards for Educational and Psychological Testin.Washington,DC:American PsychologicalAssociation.

Hambleton,R.,&Plake,B. 1995 Using an extended Angoff Procedure to set standards on complex performance assessments.Applied Measurem ent in Education(1).

Hurtz,G.M.,&Auerbach,M.A. 2003 A meta-analysis of the effects of modifications to the Angoff method on cutoff scores and judgment consensus.Educational and Psychological Measurem en(4).

The Study on the Corresponding Scales between Business Chinese Test(BCT)and Common European Framework of Reference(CEFR)

Lu Shiyi
(Peking University BCT R&D Office,Beijing100871,China)

Business Chinese Test(BCT);standard setting;Common European Framework of Reference(CEFR)

This paper utilizes the standard setting approach to research the corresponding scales between“Business Chinese Test”(BCT)and“Common European Framework of Reference” (CEFR).The findings show thatBCT and CEFR exhibit a certain level of correspondence,and BCT covers a standard sequence from levelA2 to C1 in CEFR;the sub-sequence of this level in BCT is reasonable,reflecting the characteristics of BCT as a evaluation test;finally,hierarchical relationship between BCT and CEFR is summarized.

H177;H178

A

1674-8174(2011)02-0056-08

2010-11-16

鹿士義,男,北京大學(xué)對(duì)外漢語教育學(xué)院副教授,博士,主要研究方向?yàn)檎Z言測(cè)試和二語習(xí)得。

① 本項(xiàng)研究為國(guó)家漢辦考試處資助項(xiàng)目,北京大學(xué)對(duì)外漢語教育學(xué)院為本項(xiàng)研究提供了一切便利。陳紱、崔永華、馮勝利 (美國(guó))、李泉、李曉琪、劉樂寧 (美國(guó))、王惠玲、王若江、吳偉平 (香港)、吳中偉、張黎、張曉慧、趙金銘、趙悅、周守晉、周小兵等專家參加了評(píng)定工作,特此致謝。

【責(zé)任編輯 匡小榮】