張文星
上世紀60、70年代,世界上第一代大型電子語料庫誕生,隨后各國競相開發語料庫。經過半個多世紀的發展,語料庫種類繁多,技術日漸成熟,語料庫語言學的學科地位也得以確立。語料庫的誕生和發展給語言研究以及語言應用研究帶來了一場革命性的變化[1]。語料庫在語言研究及其相關領域應用較廣,且相關成果豐碩,而學者們對于語料庫應用于語言測試的思考則要晚的多,要追溯到上世紀90年代。可喜的是,語言測試界近些年越發注意到外語學習者語料庫和本族語者語料庫在語言測試領域應用的的巨大潛力和空間[2-3]。本文將對語料庫語言學和語言測試的接口進行理論探討,分析語料庫應用于語言測試相關研究的可能性、必要性及其所面臨的挑戰,同時結合語料庫在語言測試中的具體應用進行論證說明。
語料庫與語言測試的接口可以從真實性、科學性和對計算機技術的依賴性三個方面進行研究:
語料庫(corpus)是指按照一定的語言學原則,運用隨機抽樣方法,收集自然出現的連續的語言文本或話語片段而建成的具有一定容量的大型電子文庫[4]。語料庫里面存放的是大量在語言的實際使用中真實出現過的語言材料,這些語言信息可以供研究者進行語言研究、分析和描述。同時,語料庫的原始語料是通過隨機抽樣選取的,這使得它具有代表性,可以作為語言研究與教學的重要基礎和依據。在語料庫的基礎上對語言進行分析研究的科學就是語料庫語言學(corpus linguistics),它是以語料庫中收集儲存的真實語言材料作為其唯一研究對象。
語言測試是一門跨學科的綜合性科學,它從語言學、語言教學法和學習論取得科學內容,從心理測量學獲得科學手段[5]。一個多世紀以來,語言測試大致經歷了以下四個變化時期:前科學時期;心理測量:結構主義時期;心理語言學(社會語言學時期);交際語言測試時期[6]。而語言學理論先后經歷了歷史比較語言學、結構主義語言學、轉換生成語法、心理語言學與社會語言學,可見語言測試的發展過程與語言學理論發展過程基本吻合。我們現處于交際語言測試時期,起源于上世紀70年代后期,Widdowson提出語言教學真實性問題,認為語言是交際工具,是思想表達系統,而學習語言就是要掌握一套語言的意念和功能,因此語言教學以培養交際能力為中心[7]。隨后,交際語言測試應運而生。但是,伴隨著交際語言測試法的向前發展,真實性問題凸顯出來,受到學者們的關注和討論,成為語言測試的一個熱門話題[8]。語言測試中的真實性是指受試者在測試中使用目標語完成測試任務與其在現實生活中使用語言進行交際活動的相似程度,也就是語言測試與語言交際的統一程度[9]。Lewkowicz把真實性分解為輸入的真實性(測試文本、測試任務)、輸出的真實性和情景的真實性。對于測試文本的真實性,Lewkowicz則建議在測試中使用未作任何改動或簡化的源文本[10]。現代語料庫為第四代語料庫,其容量之大、時效性之強是前幾代所無法比擬的,而語料庫中存儲的大量多樣的真實語料(其中包括書面語料和口語語料)則可以作為源文本為語言測試開發者所用,為不同規模、要求和目的的語言測試服務。語言測試對于真實性的關注和要求,使語料庫在語言測試領域有了一席之地,因為語料庫的使用能夠保證語言測試最大限度的真實性。
語料庫目前已經發展到第四代,即Web多媒體或多模態語料庫。語料庫根據研究需要可以分成不同的種類,但是語料庫中所存儲的真實語料是經過加工、分析和處理(如標注和賦碼等)了的,否則是不能成為有用資源為研究者所用。而加工、分析和處理語料的過程需用到相關的語言學理論知識,所以語料庫的構建是建立在語料庫語言學理論基礎上的,是科學的。此外,對所收集的真實文本進行標注和賦碼是語料庫構建中的重要環節。語料庫標注則指對語料庫文本附加解釋性的語言信息,通常分為計算機自動標注、機助人工標注和人工標注[11]。而標注又包括元信息標注(如詞性賦碼、句法標注、語言標注、語用標注、語音標注、語誤標注等)和非語言信息標注[12]。如今,隨著計算機技術的飛速發展和對大型語料庫的需求,人工標注賦碼顯得費時費力,而市場上已有一些經濟實用的自動詞性賦碼器,如Brill POS tagger,CLAWS,TreeTagger等。經過標注賦碼后的語料庫所包含的的信息豐富,研究者可以通過相關檢索軟件(如Word-Smith、Antcorn、BFSU ParaConc 等)進行提取,既方便又科學。所以,語料庫語言學是一門科學。
語言測試試題開發首先要確定考試構念,并對語言水平等級進行描述。以往,外語水平的等級描述比較主觀,也很模糊。現在,研究者可以對語料庫中的語料進行分析,驗證語料習得發展規律,在此基礎上合理劃分和描述外語水平,可以合理定位被測試者的外語水平。語言測試設計者在開發試題的各個環節會充分考慮這些研究成果信息,合理選取考試素材。同時,語料庫中的各種標注信息也能為各種目的的考試所用,設計者可以通過相關檢索快速定位其所關注的文本特征和語言點,大大節省人力和時間,而且較大程度地保證合理的考試效度,彰顯考試的科學性和公平性。所以,二者都符合科學性的要求。
語料庫除了真實性和代表性,它還具備可持續性,這需要依賴計算機和網絡技術來實現。隨著技術手段的不斷更新發展,語料庫的規模也越來越大,而且更新升級速度迅速提升,比如現在大型網絡語料庫都在朝動態語料庫方向發展,能夠及時補充和更新語料,這比較吻合語言發展變化這一自然屬性。但是,傳統描述語言變化手段速度慢、成效低,不能很好地跟蹤記錄語言變化,與真實語言發展變化情況脫節。語料庫彌補了這一缺憾,而且語料庫技術的使用可以很好地捕捉、記錄和保存這些語言歷時變化,為語言發展理論提供真實可靠證據。在此基礎上,測試設計者可以從這些語料庫中提取考試素材,適當關注語言的歷時變化,能或多或少地補充和糾正所儲存的語料內容。這為語言測試的設計開發和評估量表等提供了基礎,使語言測試內容更符合語言真實發展狀況,比傳統語言測試更科學。因為它滿足了語言測試對于真實文本輸入的要求,也更有可能獲得受試的真實語言輸出,如現代英語口語考試。
如今,我們處在一個講究效率的時代,高效便捷成了各行各業的不懈追求,語言測試也不例外。許多為中國英語學者所親睞的考試都已采取機考或網考方式。如GRE機考和TOEFL iBT(Internet Based Test),新托福以互聯網為依托,其所用語料均來源于真實學術語言環境的語料庫。大規模機考網考的實施方便各種考試語料庫的建立,以供研究者后續開發研究所用,所以語料庫的可持續性和語言測試的機考網考趨勢可以很好地對接起來。
從以上分析可知,語料庫語言學與語言測試有著較好的接口,從理論上可以進行語料庫在語言測試中的應用嘗試。
語料庫和語料庫語言學在當今語言研究由高度抽象轉向語言的實際使用這個過渡中起著十分重要的作用:一是提供真實語料;二是提供統計數據;三是驗證現行的理論;四是構建新的理論[13]。而在語言測試領域,語料庫也有著較廣闊的應用前景:
現代大規模考試都會制定相應的評分量表來指導評分。評分量表是對語言使用者運用語言能力的一系列描述,由低到高分成幾個不同等級,用來描述語言能力發展的不同階段[14]。評分量表在主觀題評分中的作用更為突出,它是評分員對考生語言行為表現進行評分的重要參考依據。所以,為了保證較高的評分員效度,一個科學的評分量表至關重要。國內外許多考試的評分量表都是基于語言測試專家的直觀經驗制定的,帶有較強的主觀性,好在國外一些考試機構已經開始利用語料庫輔助評分量表制定,如劍橋ESOL考試中心開發的寫作部分的通用量表(Common Scale for Writing,CSW )則是利用語料庫提供的信息,采用定性和定量相結合的方法制訂出來的[14]。
此外,研究者還可以利用語料庫進行試題編制。我們知道,信度和效度是語言測試中的兩個重要概念。Henning把效度定義為一項測試或測試一部分測量它聲稱測量內容的合適性[15],也就是說測試有效是指它測量了它應該測量的東西。為了保證測試的效度,我們可以利用語料庫來編制試題。語料庫里面存儲著大量真實語言文本,而研究者通過相關語料庫檢索工具和技術能更清楚地認識語言使用規律。國內研究者常用語料庫 (如 BNC、COCA、COBUILD英語語料庫和中國英語學習者語料庫CELC等)及其它各種學習者語料庫都能提供真實可靠的語言信息。測試開發者還可以利用學習者語料庫摸清學習者語言使用規律及其文本特征,同時還能確定處于某一外語水平的學習者常犯的語言錯誤及其特征,為試題編制提供重要信息,從而確保較好的效度。
詞匯大綱的概念最初由Sinclair和Renouf提出,并由Willis給予了大綱性的論述,認為詞匯大綱應該注重以下幾點:語言的最基本詞形;詞的中心用法;詞的最典型搭配[16]。傳統的考試大綱詞匯表大多由語言教育和語言測試領域的專家根據自身知識經驗制訂,因而不一定符合客觀情況。比如有的不常用的低頻詞匯卻當作重點詞匯,或是某個詞的不常用的用法卻當作中心用法。語料庫的出現使研究者制訂出更為客觀可靠的考試大綱詞匯表成為可能。頻率信息和語言真實性是使用語料庫帶來的兩大優勢[17]。研究者可以很輕松地通過語料庫檢索軟件(如Wordsmith和Antcorn)來確定詞頻列表,而語料庫中存儲的真實語料又彌補了我們個體知識經驗的不足。除此之外,研究者可以針對不同考試的目的制訂出特定領域的考試大綱詞匯表。
語料庫還可以用來進行效度驗證。例如:鄒申等基于傳統效度驗證方法之上[18],借助英語學習者語料庫(CEM )和英語國家語料庫(BNC)對2000-2002年TEM-8考試中的30道改錯題做了實證研究,證明語料庫可以幫助我們加深對改錯項目內容效度的認識。穆惠峰借助自建語料庫[19]、中國學生英語口筆語語料庫(SWECCL)、布朗語料庫(BROWN)和英語國家語料庫(BNC),對大學英語四級考試的完型填空部分的內容效度進行了驗證,發現了一些不足,如部分考點的典型性不太高、部分干擾項的設計不夠科學等,并就如何讓語料庫服務語言測試提了幾點建議。此外,鄒申以《英語專業寫作教學語料庫》為例[20],探索了利用語料庫進行考試效度驗證新模式。目前,用語料庫進行效度驗證的研究仍然處于起步階段,有著較廣的發展空間。
語料庫在語言測試領域的應用遠不止以上三個方面,它還可以用于自動評分系統的研制。此外,各種考試語料庫的構建能為研究者提供更加豐富的信息,對于外語水平能力構念的描述會有更加清楚的認識。語料庫也應該可以在語言測試領域生機勃發。
語料庫可以為語言測試所用,但它也不是萬能的。我們在構建和使用語料庫的時候,都擺脫不了抽樣的問題。因為語料庫再大也是有限的,它不可能涵蓋所用的真實語料。語料本身的內容及選擇的標準就約束了語料庫的使用范圍,也決定了其在語言測試研究中的應用范圍。Alderson指出當我們對數據分析結果進行解釋和作出決定的時候,我們一定要認真考慮所用語料庫樣本的代表性和相關性[21],這其中當然包括語料庫的大小及其創建年代等因素。所以語料庫在語言測試研究中的應用具有一定的局限性。
其次,雖然語料庫有可能提升語言能力水平測試中的透明性、連續性和可比較性,但在構建各種學習者語料庫和分析其語料時,我們會發現語言能力水平仍是一個比較模糊的變量。這對基于語料庫的相關研究來說是個潛在的威脅[22]。所以,語料庫不能滿足各種各樣的測試要求,測試研究開發者應該做好基于語料庫的語言能力水平的分級及其相應特征描述工作,對于所選語料庫是否能夠滿足測試目的需提前做好評估,降低風險。
最后,國內學者已經習慣使用國際知名語料庫來開展相關研究,這其中也存在一定的風險,因為像BNC這樣的語料庫大多為以英語為本族語者建立的語料庫,而中國外語學習者的中介語有其自身發展規律和特點。我們在選擇標準時,不能全部照搬國外的研究,應該結合本地國情進行,充分利用各種中國英語學習者語料庫,開展相關測試研究。
語料庫語言學與語言測試理論上有著諸多接口,如同語料庫應用于語言教學研究一樣,語料庫在語言測試領域也應具有廣闊的應用前景。國外相關機構(如Cambridge ESOL和美國ETS)已經進行了相關研究和應用嘗試,并推出了相關產品。中國學者的研究也已經起步,但是相關研究團隊還未組建。中國是考試大國,如何利用各種英語語料庫和學習者語料庫進行語言測試開發和研究是擺在專家學者面前的一個重大問題。
[1]Hunston,S.Corpora in Applied Linguistics[M].Cambridge:Cambridge University Press,2002.
[2]Barker,F.How can corpora be used in language testing?//A O’Keeffe,M McCarthy.The Routledge Handbook of Corpus Linguistics[M].New York:Routledge,2010.
[3]Taylor,L,Barker,F.Using corpora for language assessment[A]//E.Shohamy,N H Hornberger.Encyclopedia of Language and Education[M].New York:Springer,2008.
[4]楊惠中.語料庫語言學導論[M].上海:上海外語教育出版社,2002.
[5]楊惠中.語言測試與語言教學[J].外語界,1999(1).
[6]薛榮.交際語言測試:理論模式與評估標準[J].外語教學,2008(3).
[7]Widdowson,H.G.Teaching Language as Communication[M].Oxford:Oxford University Press,1978.
[8]Bachman,Palmer.Language Testing in Practice[M].Shanghai Foreign Language Education Press,1996.
[9]黃大勇.語言測試中的真實性概念[J].語言教學與研究,2004(2).
[10]Lewkowicz,J.A.Authenticity in language testing [J].Language Testing,2000(1):43-64.
[11]李文中.語料庫標記與標注:以中國英語語料庫為例[J].外語教學與研究,2012(3).
[12]梁茂成,李文中,許家金.語料庫應用教程[M].北京:外語教學與研究出版社,2011.
[13]張樹青.東北地方口語語料庫的構建及應用[D].黑龍江:哈爾濱工程大學,2009.
[14]孔文,鄒申.語料庫在語言測試中的應用[J].外語電化教學,2007(4).
[15]Henning,G.A Guide to Language Testing:Developing,E-valuation,Research[M].New York:Newburg House,1987.
[16]權立宏.PowerGREP在外語詞匯教學中的應用:以數據驅動學習為理念[J].山東外語教學,2010(1).
[17]肖忠華,許家金.語料庫與語言教育[J].中國外語教育,2008(2).
[18]鄒申,楊任明.語料庫在試題設計和驗證中的應用研究[J].外語電化教學,2008(5).
[19]穆惠峰.基于語料庫的大學英語四級完型填空測試內容效度驗證研究[J].外語電化教學,2011(4).
[20]鄒申.基于語料庫的寫作測試效度研究:以《英語專業寫作教學語料庫》為例[J].外語電化教學,2012(1).
[21]Alderson J C.Do corpora have a role in language assessment[A]//Thomas,J A,Short,M H.Using Corpora for Language Research[M].London:Longman,1996.
[22]Carlsen,C.Proficiency level-a fuzzy variable in computer learner corpora[J].Applied Linguistics,2012,33 (2):161-183.