學業(yè)測試閱讀項目的真實性芻議

朱曉華

(肇慶學院外國語學院,廣東肇慶 526061)

學業(yè)測試閱讀項目的真實性芻議

朱曉華

(肇慶學院外國語學院,廣東肇慶 526061)

真實性是交際語言測試面臨的最重要的問題之一。引述有關現(xiàn)代測試理論對真實性的論述以及對閱讀測試的要求,然后對一份英語學業(yè)測試卷閱讀項目進行相關分析和對比研究。通過與理論標準的對照,求證這份試卷的真實性程度,以達到發(fā)現(xiàn)差距、縮小差距,對測試的科學性和客觀性進行有益探索的目的。

真實性;閱讀測試;對比分析

20世紀80年代中期,隨著語言學、教育測量學等相關學科的發(fā)展和交際外語教學法的逐步普及,交際法外語測試也不斷完善。該測試強調考查考生在真實的(authentic)語言環(huán)境中完成真實語言任務的能力,因而也被稱為真實性語言測試。[1]真實性是交際語言測試的“核心”問題。[2]330首先,只有根據真實性測試的結果,才能推測考生在目的語使用域中(target language use domain)或其他非測試語境中的語言使用能力。其次,真實性測試潛在影響考生對測試的接受程度及其測試行為,有助于激發(fā)他們發(fā)揮最佳水平。第三,真實性測試的反饋作用能促使學生學習真實的語言材料,從而更有利于提高他們的語言交際能力。[3]23-44

Bachman和Palmer[3]23-44指出,真實性即“某一測試任務的特征與目的語使用任務的特征的一致性程度”。目的語使用域的范圍不僅包括真實生活中的語言使用任務,而且包括以交際為目的的(或以任務為根據的)外語教學的課堂用語。

Bachman和Palmer對真實性的論述為其在測試中的可操作性提供了依據,對語言測試實踐具有劃時代的指導意義。首先,只要使測試任務特征盡可能地接近或具有目的語使用任務的特征,即保持高度的一致性,該測試就具有較高的真實性。其次,目的語使用任務的特征主要涉及交際能力、語言環(huán)境及其他測試方法層面的因素,這些因素可以一一總結出來。第三,真實性是一個相對的、動態(tài)的概念,一項測試的真實性或高或低,沒有百分之百的真實性或完全沒有真實性。[1]

本研究旨在討論外語教學環(huán)境下的閱讀任務特征與測試環(huán)境下的閱讀任務特征的一致性,以求證一份學業(yè)測試卷閱讀項目的真實性程度。

一、理論背景

(一)閱讀測試的真實性

楊惠中教授指出:閱讀測試是否有效真實主要取決于兩個因素,即閱讀材料的選擇和試題的質量。[4]65-67

1.閱讀材料的真實性

選擇閱讀材料首先要考慮材料內容和語言的合適性。選材內容的真實性包括交際目的的真實性、文體的真實性和語言的真實性幾個方面。[4]65-67

根據《大學英語教學大綱》(以下簡稱《大綱》)的要求,大學英語教學的最終目的是使學生能夠借助英語閱讀原著,以獲取本專業(yè)所需的信息。[5]6-7

因此,為確保交際目的和文體的真實性,閱讀測試材料的選擇應與課本保持一致,以學術英語為主。文體應盡量貼近課本閱讀材料,體裁應多樣化,包括議論文、敘述文、說明文等,以體現(xiàn)多方面的閱讀需要。Weir指出:題材應涵蓋多個層面,但應限制在一個合適的專業(yè)知識范圍內,以保證對不同專業(yè)的考生機會公平,做到既不會因材料太生疏而使考生不能應用已有的圖式知識實現(xiàn)閱讀目的,也不會因材料太熟悉而使考生脫離材料利用已有知識獲取答案。[6]67此外,閱讀材料的選材還應有利于測試各種層次的閱讀能力,最好選擇有新意、觀點上有轉折、有一定信息密度的材料,以便從不同角度提問。

一是有利于開拓教學新陣地。院校各系部、各教研室可以結合自身特點開設專欄，及時發(fā)布并更新政府部門制定的一系列會計、稅收、工商等財經法規(guī)，引入在線精品課程、在線題庫、在線交流、掌上高校等教學資源，作為會計教學的出發(fā)點和落腳點。同時，積極回應學生、企事業(yè)單位、學生家長和社會關注的問題，利用微博、微信及時處理學生反應的問題，解疑釋惑。

閱讀材料除了內容合適真實外,語言也要合適,即符合《大綱》規(guī)定的學生應考時應具備的語言水平。這主要從詞匯量和閱讀材料的易讀度(readability)兩個方面考慮。

《大綱》基礎階段教學要求規(guī)定,學生領會式掌握的四級詞匯量為4200個單詞。閱讀材料中的超綱詞匯不得超出短文總字數(shù)的3%。[5]1-166《大綱》測試要求則明確規(guī)定:考試命題以所學課本內容為基本依據。基礎階段學習結束后,按《大綱》的基本要求組織考試。據此,我們認為,閱讀成就測試中閱讀語言水平應嚴格做到與課本水平保持一致。

除詞匯量適當外,閱讀材料易讀度的合適性也應予以考慮。迄今為止,國際上從事閱讀教學研究的應用語言學家們已提出了不少公式,如Flesh公式、Lorge公式、Bormuth公式等等,力求從語言形式上對閱讀材料的易讀度進行量化。按照Flesh易讀度參考量表,易讀度愈低的材料愈難讀。易讀度為50～60的閱讀材料為“相當難”(fairly difficult);易讀度為30～50的閱讀材料為“難”(difficult)。據此,我們認為,應把閱讀材料的易讀度控制在60以上。因為,易讀度太難或太易都考不出學生的實際水平。

選擇閱讀材料還需考慮閱讀材料總量的合適性。因為閱讀材料過短或過長都不能測量考生的真實閱讀能力。那么,閱讀材料的總量應該如何控制才算合適呢?這里有一個公式[7]340:閱讀材料的總量=考試時間×閱讀速度。《大綱》明確規(guī)定,基礎階段學生閱讀語言難度中等的一般性題材文章,閱讀速度應達到70字/分鐘。[5]1-166而我們設計的成就測試閱讀理解部分的考試時間通常為35分鐘。那么,根據上述公式計算,難度中等的閱讀材料總量,即材料總字數(shù)加題目字數(shù)應以2450字左右為宜。

2.試題質量的真實性

根據《大綱》規(guī)定,四級成就測試中閱讀理解部分主要測試的閱讀技能有11項。因此,閱讀測試部分應全面考核多層次的閱讀技能,命題時題眼應體現(xiàn)理解得不同層次:不但應涉及理解字面意義,而且應涉及理解字里行間隱含的意義;不但要考核詞、句層次的微技能,而且要考核語篇水平的微技能;不但要考查局部理解,而且要考查總體理解。只有這樣,閱讀測試的效度才能得到保證,閱讀成就測試的真實性也才能得以實現(xiàn)。因此,閱讀技能的覆蓋率是確保閱讀測試試題質量的關鍵。

(二)測試任務及形式的真實性

Clark指出,測試的真實性就是“測試形式和過程盡可能多地重現(xiàn)實際語言運用情景及其過程”[8]10。根據這個觀點,“測試形式及具體測試任務只要近似于實際語言運用,那么測試就具備了真實性”[9-10]。閱讀測試通常采用的考試形式是否近似于實際語言運用情形呢?它們與課堂閱讀任務有無一致性?眾所周知,在中國,閱讀測試常用的題型有多項選擇題、簡答題和正誤判斷題。[10]

多項選擇題的優(yōu)點是:第一,閱卷客觀,信度高,可以避免閱卷人員對考生分數(shù)的主觀偏見影響。第二,試題可以預考,因此,題目的難度和缺陷可以提前調整和修改。最重要的是,多項選擇題不會牽涉其他技能,如寫作技能,可以保證閱讀技能考核的精確性。但是,這種題型的使用有一定的局限性:第一,考生猜測的可能性比較大。第二,設計題目的要求極高,要設計出合適的選項決非易事。第三,用這種題型能否測試閱讀能力受到質疑,因為,在現(xiàn)實生活中,我們并不是通過選擇答案證實自己理解閱讀材料的。盡管如此,在課堂閱讀活動中,多項選擇題依然是最常見的測試題型,因為,它可以考多樣的語言閱讀材料,可以問多種多層次的問題,是保證大面積考試高信度,同時又可以提高效度的可能的閱讀題型。

2.簡答題

簡答題這種測試題型比較接近自然的閱讀過程,效度較高。它的優(yōu)點正如Weir[11]46-48指出的那樣:第一,這種題型可以排除猜測的因素,直接測量考生的語言能力和理解程度。第二,精心設計的考題只要求考生進行簡短回答。這樣,大量的題目可以設計出來,保證閱讀技能的覆蓋率。第三,在這種題型中能夠有效地考查諸如歸納推理、確認語義順序、辨認短文主旨大意這類需要跨距離連通信息的閱讀技能。當然,簡答題也有它的局限性:第一,書面回答問題牽涉到文字表達能力,從而會影響測試的構想效度(construct validity)。第二,由于涉及到書面表達,評分時難以保證客觀,從而影響測試的信度。

3.正誤判斷題

正誤判斷題的優(yōu)點是設計容易,評分簡單,信度高。缺點也很明顯:因為只有兩個選擇項,猜測機率達50%,所以,除非設計許多項目,否則不能很好地區(qū)分考生的實際語言水平。[12]110

基于以上因素,正誤判斷題雖然也常用于課堂閱讀活動和成就測試中,但與多項選擇題和簡答題相比,使用的頻率相對低一些。

二、案例分析

(一)研究工具

本項研究的工具為廣東省肇慶學院外國語學院命題人員自編的校級題庫中的一份四級試卷。閱讀理解部分采用多項選擇題的形式,共包括4篇短文,20道題。

(二)閱讀測試的真實性分析

1.閱讀材料的真實性分析

根據前文所述,閱讀材料的真實性需從內容和語言兩個方面考察。我們先考查閱讀測試的選材內容。本次考試的閱讀理解部分包括四篇短文。題材涉及生物學和人文學,文體以學術英語為主。體裁包括說明文和議論文。短文字數(shù)為:第一篇310個詞,第二篇285個詞,第三篇330個詞,第四篇380個詞。

分析結果表明,閱讀測試材料的內容與課本基本相符,閱讀材料總量達到了標準,為68字/分鐘。但也發(fā)現(xiàn)了一些問題。例如,第一篇短文的題材涉及蛇的生活習性,專業(yè)知識過淺,考生可以脫離材料單憑常識就能獲取答案,不牽涉閱讀能力。這樣,測試的構想效度不高,測試的目的就無法達到。再如,體裁的多樣性體現(xiàn)得不夠。課本中考生熟悉的敘述文和描寫文沒有納入測試范圍,使考生感到不適應,影響了他們答題的效果。

語言的合適性又是怎樣的情形呢?一方面,統(tǒng)計數(shù)據表明,有些短文中超綱詞匯的出現(xiàn)頻率已超出了《大綱》設定的限度。例如,第二篇短文和第四篇短文中分別有11個超綱詞匯。第二篇中的生詞加了中文注釋,而第四篇中的生詞未作任何處理。這樣無疑會增加閱讀的難度,造成考生閱讀困難,使考生產生生疏感,不利于他們發(fā)揮應有的水平。

語言合適性的另一個方面是閱讀材料的易讀度。根據Flesh的公式,我們計算出的四篇短文的易讀度分別為:67.3,64.2,66.8和66.6。依據前文所述,他們屬于易讀度比較適中這個檔次,這對提高閱讀測試的真實性起到了正面效應。

2.試題質量的真實性分析

根據前文所述,閱讀成就測試應考核11項閱讀微技能。本次考試閱讀理解部分涉及到的閱讀技能請參見表1。

表1 四級成就測試閱讀理解微技能覆蓋情況表

從表1所列的數(shù)據可以看出,在應考核的11項技能中本次考試涉及到了7項。沒有考核的技能有:“作結論”“猜測生詞的詞義”“理解句內關系”和“利用參閱技能”4項,他們均屬于次能力。這些技能的漏考肯定會對測試的真實性小有影響。嚴格地講,閱讀測試應全面覆蓋所有技能,在題目數(shù)量有限的情況下,我們應該分清主干信息和分支信息的測試,重點測試那些獲取主要信息的能力,以求對考生的主要閱讀能力有個框架性的認識,不必追求小而全,試圖測試所有的次能力。從這個意義上講,本次考試基本上全面考核了多層次的閱讀能力。試題質量的真實性基本上得到了保證。

(三)測試任務及形式的真實性分析

通過課堂閱讀任務及練習形式與測試任務及形式的對比,我們發(fā)現(xiàn),他們之間存在很大程度的一致性。在兩種情況下的閱讀任務都包括運用仔細閱讀以獲取相關信息(不論明確表達的還是隱含表達的)、查閱尋找特定信息、略讀了解文章大意、理解作者觀點態(tài)度、辨別文章中心思想、通過上下文猜測詞義等技能。閱讀練習和閱讀測試都采用多項選擇題的題型。從表面上看沒有什么問題,但應當指出的是,只有多項選擇題一種題型,閱讀測試就顯得單薄。因為多項選擇題只能間接測試閱讀能力,而且考生有猜測的機率。如果閱讀測試能補充其他主觀題型,比如簡答題,直接測試閱讀能力,測試的效度會更高,測試的真實性也就相應更高。

通過以上的對比分析和與理論標準的對照,得出以下結論:總的來說,這份試卷的真實性達到了較高的水平,但也存在著一些問題,與理想的標準還有一定的差距,這些問題應該得到我們的重視與改進,有待于我們進一步的研究和探討。

三、結語

真實性是交際語言測試中最重要和最棘手的問題之一。它牽涉到測試的目的、測試任務、測試材料與非測試語境中的語言任務及形式的一致性等問題。只有兩者保持高度的一致,測試的真實性才能得到保證,我們才能科學、客觀、公正地推斷考生的語言使用能力。

[1]李清華.論交際測試中的“真實性”[J].外語界,2001, (6):68-71.

[2]Bachman L.F.Fundamental Considerations in Language Testing[M].Oxford:Oxford University Press,1990.

[3]Bachman L.F.&Palmer A.S.Language Testing in Practice[M].Oxford:Oxford University Press,1996.

[4]楊惠中.大學英語四、六級考試效度研究[M].上海:上海外語教育出版社,1998.

[5]大學英語教學大綱(修訂本)[M].上海:上海外語教育出版社,1999.

[6]Weir C.J.Understanding&Developing Language Tests [M].London:Prentice Hall International(UK)Ltd., 1993.

[7]李筱菊.語言測試科學與藝術[M].長沙:湖南教育出版社,1997.

[8]Clark J.L.D.Theoretical and Technical Considerations in Oral Proficiency Testing[A].Randall L.J.Spolsky B. Testing Language Proficiency[C].Virginia:Centre for Applied Linguistics,1975.

[9]鄒申.試論口語測試的真實性[J].外語界,2001,(3): 74-78.

[10]劉建達.測試方法對閱讀測試的影響[J].外語教學與研究,1998,(2):48-52.

[11]Weir C.J.Communicative Language Testing[M].Great Britain:University of Exeter,1988.

[12]劉潤清.語言測試和它的方法[M].北京:外語教學與研究出版社,2000.

【責任編輯 馬小俠】

A Study of Authenticity of a Reading Achievement Test

ZHU Xiao-hua
(School of Foreign Language,Zhaoqing University,Zhaoqing 526061,China)

Authenticity is one of the most important qualities of communicative language tests.This paper quotes some rules about authenticity and reading test from the language testing theory first and chooses one college-wide reading achievement test paper for non-English majors as a sample to investigate its authenticity.A comparative study of the characteristics of the reading materials between the test and non-test language use domain is followed,with reference to modern testing theory and associated criteria.The purpose is to bring strengths and weaknesses of such tests to the attention of test developers,so that corresponding measures can be adopted to guarantee test authenticity.

authenticity;reading achievement test;comparative study

H319

A

1009-5128(2014)04-0062-04

2013-09-22

朱曉華(1964—),女,陜西渭南人,肇慶學院外國語學院講師,主要從事應用語言學研究。