摘 要:成績測試是對外漢語教學中不可或缺的重要環節。目前的對外漢語教學界,對成績測試的重視尚不夠,成績測試的現狀也不盡如人意。建立題庫是保證成績測試質量的有效手段。對外漢語成績測試的題庫建設過程應包括:命題的組織、試題的命制、審題、預測、預測分析、入庫這幾個步驟,每一步驟都有其科學的、具體的操作方法。
關鍵詞:對外漢語 成績測試 題庫
一、成績測試的重要性
(一)成績測試與HSK
在以往的教學中,我們有意無意地偏重于學生HSK(漢語水平考試)的成績,而或多或少地忽略了成績測試的重要性。然而成績測試的性質、作用與目的都與HSK考試截然不同。如下表所示:
HSK成績測試
常模參照測驗標準參照測驗
被試異質程度高被試同質程度高
盡可能把被試的差距拉開通過率比較高
與任何教學單位、教學內容、方法無關使用最多、對漢語教學與漢語學習影響最大、最直接
通過上表可以看出,HSK成績的好壞雖然可以看作留學生漢語水平高低的標志,但其實與漢語教學直接相關,對漢語學習影響最為直接的還是成績測試。
(二)成績測試在對外漢語教學中的地位
成績測試是對外漢語教學的總體設計、教材編寫、課堂教學和成績測試這四大環節中不可或缺的重要環節,也是使用最多、對漢語學習影響最大的測試,與教學息息相關??茖W的、符合教學原理的成績測試對教學具有良好的導向作用。通過測試,教師可以檢驗教學效果,對學生的學習進行客觀、準確、公正的評價,并能及時、有效地總結教學經驗,從而調整教學方法、教學手段、教學進度、教學內容、教學態度等等,最終提高教學質量,使教學沿著健康的方向發展;通過測試,學生能從中發現學習重點和自己在學習中存在的問題,系統整理學過的知識技能,從而調整學習策略和學習態度,努力提高學習效率和測試成績,最終提高他們的水平和能力;通過測試,教學管理部門能夠充分利用測試所提供的大量數據,分析本校、本系的實際情況,做到對學生的學習狀況了然于胸,從而做出正確的決策。
因此,一個對外漢語教學單位的測試情況,包括考試的設計、試題的編寫、考試的實施以及對考試結果的解釋等,是該單位教學成熟和健全程度的標志之一。(崔頌人,2006)
二、成績測試的現狀
在我們日常的教學活動中,或者是由于對成績測試的重視尚不夠,或者是因為對試題的編寫與選擇缺乏必要的系統性的理論指導,導致目前的成績測試的質量難以保證。承擔成績測試試題編制任務的教師大都缺乏語言測試理論的必要指導。他們會因語料選擇的局限和教學任務的繁雜,而隨意采用易于編制的題型和易于尋找的材料,其結果無疑會給教與學帶來諸多的負面影響(蘇劍芳,1999)。其中的問題涉及到試題的效度、信度、難易度、區分度等各個方面,比如:原封不動地、大量地采取教材中的練習作為試題,等于是在測試學生的記憶能力,而不是測試學生的語言能力,這樣就降低了試卷的效度;題量太小或太大,難以穩定地測出學生的實際水平,從而造成測試的信度降低;試卷太難或太易,水平高的學生和水平低的學生成績拉不開,造成區分度太差等等。因此也就無法充分發揮成績測試應有的作用。
目前,首都經貿大學留學生的漢語成績測試,多多少少也存在著上述的問題。每學期末的成績測試試題基本上是由各班的任課老師臨時編寫,缺乏科學性和規范性,而在測試后,也沒有必要的統計檢測來考察其有效性和合理性。
針對這一現狀,我們嘗試對現有的成績測試進行一些必要的改進。而試題庫建設是成績測試科學化和規范化的重要途徑之一。
三、成績測試的題庫建設
建立題庫的過程應包括:命題的組織、試題的命制、審題、預測、預測分析、入庫這幾個步驟。(戴海琦,2005)
(一)命題的組織
1.成立命題指導小組
該小組的主要任務為:
1)仔細研究教材及教學大綱,找出知識點、功能項目;
2)設計適合的題型,并舉例說明。如初級漢語綜合考試的常用題型為:
(1)選擇合適的詞語填空。
例如:(猶豫慚愧似乎)
那次我沒給老大爺讓座,現在想起來還覺得_______。
這些語法我_______明白了,但是一用就錯。
這件事必須馬上決定,不能再_______了。
(2)把括號里的詞填入句中合適的位置。
例如:A我雖然B很愛她,C她D不喜歡我。(卻)
(3)選擇正確的答案填空。
例如:這件事發生得太_____了,我一下子不敢相信。
A.忽然 B.突然 C.果然 D.不然
(4)說說下列句子什么情況下會說。
例如:他一點也不把我放在眼里。
(5)排列句子順序。
例如:A.可能是因為那里從來沒有去過外國人吧
B.一天我跟一個中國朋友去了他的家鄉——一個小山村
C.所以我一到,很多人就都圍著我看
D.走在路上,常常聽到孩子們叫:“外國人,外國人?!?/p>
(6)用指定詞語完成句子。
例如:1.聽說他是他們班的第一名,_______。(果然)
2._______,但還是熱心地幫助了他。(盡管)
(7)用指定詞語回答問題。
例如:張東很喜歡看足球、聊足球。你可以怎么說?(看樣子)
(8)按要求改寫句子。
例如:這個學校的留學生,我只認識她一個人。(除了……以外)
(9)改錯。
例如:1.這件事你對她不該瞞。
2.今天該上口語課,老師不料沒來。
(10)綜合填空。
例如:說__________健康,人們_________會想到吸煙。_______兩者聯系在一起,往往
吸煙者覺得不好意思。實際_______,現在大多數吸煙者已經明確意識_______,吸煙的確危害健康。問題是,他們_______多年養成的嗜好無可奈何。
(11)閱讀;略。
(12)作文;略。
3)根據教學大綱和教材內容,編制一套命題指導方案。命題指導方案應全面覆蓋該教材的知識點和功能項目等內容,并就每一知識點和功能項目做出題型建議、題量建議以及注意事項等。如:
建議題型建議題量描述性參數組卷參數參數
“把”字句題型(2)(6)(7)(8)(9)5×2定位:(二下)L3L4
能力層次:
題目內容:
詞語等級:題型:
難度:
教學敏感度:
猜測度:
曝光度:
至于題型(1)(2)(6)3×2定位:(三上)L5
能力層次:
題目內容:
語法等級:題型:
難度:
教學敏感度:
猜測度:
曝光度:
(楊翼,2006)
題庫不同于“試題集”,二者的區別就在于題庫具有一定的結構,題庫中的題目具備一定的參數。一些參數根據專家的評定來確定,一些參數根據預測的統計分析結果來確定(謝小慶、許義強,1999)。題目參數部分可待預測完后填入。
2.建立優質題庫的重要指導原則
其一,題庫中題目的數量,跟題庫使用的頻率和各試卷允許的項目重復率有關,但一般來說,一個題庫的題目數量最少不能少于1000題;
其二,題庫中的試題不僅要在題型分布、內容分布、能力層次分布和難度分布上都均勻(或是符合組卷要求的),而且在這四維聯合分布上也要均勻(或是符合組卷要求的),這顯然是一項非常細致的工作;
其三,所有入庫試題性能參數齊全、同一參數所用數字系統的參照系統一,整個題庫層次結構清楚,存儲和調用都非常方便;
其四,題庫應該有足夠的安全性,保密措施健全。
(二)試題的命制
為題庫命題包括三步工作:第一步是制定個人命題計劃;第二步是命題;第三步是復查。
1.制定個人命題計劃
每個教師在具體命制試題前都應認真制定個人命題計劃,不能隨意命題、出到哪里算哪里,最終導致題量分布不合要求。
個人制定命題計劃時,首先,要研讀本課程的教材和考試大綱,對課程開設的目的、希望達到的要求、教材的內容范圍、邏輯體系、考核目標和考核范圍都要非常熟悉;其次,要研讀題庫指標體系說明和題量分布設計材料;第三要研讀個人的命題任務書(戴海琦,2005)。命題核心小組應將考核知識點一一列出,這樣,教師只需稍作核實、調整,就可著手落實命題任務。
2.命題
命題過程包括“編制試題、制定參考答案和評分規則、填寫指標編碼”三步。命題時首先要注意不要編寫出內容有科學性錯誤的試題;其次要注意用詞用語的準確性,不能模棱兩可;第三要有公認的正確答案;第四要在大綱要求的范圍和層次出題,不能超越大綱;第五要真正體現出所要求測量的東西,特別是在認知目標層次和難度等級上,不要在該出測綜合能力的考核點上出了測記憶或簡單應用的試題,不要在該出難題的知識點上出了非常容易的題目。(戴海琦,2005)
3.復查
命題完成后應認真復查,復查任務有三項:一是再次評價每道試題內容是否正確、健康,用語是否確切,參考答案正確與否,評分規則是否客觀、細致無誤;二是確認指標編碼的準確性,有無錯位、缺位等;三是根據試題的編碼,統計所編試題在各個指標上的題量分布,檢查其是否偏離了任務書的要求。(戴海琦,2005)
(三)審題
作單題審核時必須對每一道試題做出如下裁決:1.入庫;2.修改后入庫;3.修改后再審;4.淘汰。如果審題時淘汰量太大,必須要求命題教師及時補命,以免總題量受太大損失(戴海琦,2005)。
(四)預測
題庫中題目的一些參數指標,如難度、區分度、猜測度、答對概率等,需要通過預測來獲得原始數據,再通過數據統計分析得到。
預測的第一項工作是要做好試題的編制。預測的試卷從內容到形式應與正式測試的試卷相似,差別太大會導致測試數據不準確。如果題目參數還要做等值計算,則編制試卷時還需在試卷中設置好一定量的公共錨題,公共錨題數量大約應占試卷總題量的30%左右,以保證等值計算的順利進行。公共錨題的內容與形式應是預測試卷的一個濃縮版,以保證它對預測試卷的代表性。
預測的第二項工作是選擇好被試。預測的被試應該是未來實測被試的有代表性的樣本。另外,試測的環境與要求也應該與實際測試的情況相似。試測被試的動機水平和狀態也不應與實測被試有太大差距。
試測試卷的評分也是一項重要工作,應該由命題教師親自閱卷,以保證有較高的評分信度。(戴海琦,2005)
(五)預測分析
預測成績出來以后,在分析試題參數指標時有兩種選擇,一種是經典測驗理論(CCT),另一種為項目反應理論(IRT)。
1.依據經典測驗理論
作為一種科學的測驗理論,經典測驗理論以其發展早、成熟早的優勢,在測驗編制指導中占據了主要地位,為測驗的發展做出了巨大的貢獻,至今仍起著重要作用。
其優點是:(1)使用的數學模型簡單,計算方便,容易推廣;(2)以弱假設為基礎,弱假設條件容易被大多數測驗數據所滿足,因此適用性廣。
但是,經典測驗理論的理論體系和計量模型確實存在一些先天不足:
(1)項目統計量(難度與區分度)嚴重依賴于被試樣本。經典測驗理論的項目難度以通過率表示,因此被試樣本能力高時通過率就高,反之則低;
(2)區分度通常以項目與總分的相關或高分組答對數與總答對數之比來表示,因此對被試異質性要求較高,也就是說被試能力差別大時,區分度高,如果被試同質化程度高,則區分度通常會很低;
(3)經典測量理論對被試能力的估計依賴于測驗題目的難度。同一被試參加不同難度的測驗會得到不同的難度估計值,不同測驗結果之間難以進行比較;
(4)測驗信度建立在平行測驗假設的基礎之上,但實際上嚴格平行的測驗是不存在的。
2.依據項目反應理論(ItemResponseTheory,IRT)
項目反應理論于20世紀50年代初正式創立,又稱潛在特質理論或項目特征曲線理論。項目反應理論是對被試能力的一種估計,并將被試對單個測驗項目的某種反應概率與該項目的一定特征聯系起來。這一理論是由潛在特質、項目特征曲線等基本概念組成的。所謂潛在特質是指被試的某種相對比較穩定的、支配其對測驗做出反應、并使反應表現出一致性的內在特征。由于特質是不能直接被觀察到的,所以人們通常稱其為潛在特質。多用“θ”表示特質或能力水平。它是測驗所要測量的目標。項目特征曲線是項目反應理論中最基本的概念,項目反應理論最大的特點就是找到了這條曲線,并且以多種數學表達式(或稱數學模型)來描述它和逼近它。一般來說,項目特征曲線的數學模型中都包含兩個方面的參數:一是對測驗題目的特征進行描述的題目參數;二是被試的特征進行描述的潛在特質或能力參數。根據上述參數,我們就可以對題目質量做出評價,并按照需求高質量地選取測驗題目。同時又可以預言被試在某一測驗題目上的反應,進而估計出被試在完成題目時所具有的能力或特質。從理論上說,有效地解決了經典測驗理論無法建立被試得分與測驗題目參數之間函數關系的問題。(杜洪飛,2006)
其優點是:(1)建立了被試對項目的反應(觀察變量或觀測分數)與被試能力(真分數)之間的非線性關系;(2)難度和區分度的估計值與被試能力無關,對被試樣本的依賴性??;(3)對被試能力的估計不依賴于特定的測驗題目,不同的測驗結果可直接比較;(4)測驗信息函數的概念代替了信度理論,用測驗對能力估計可提供的信息量的多少來表示測量的精度。這就避免了平行測驗的假設。
其缺點是:(1)項目反應理論建立在更復雜的數學模型之上,依賴更強的假設,計算復雜,不易被人掌握;(2)對經典測量理論的一些研究領域,如效度等問題,項目反應理論沒有提出獨到的見解。
不管依據哪種理論,都需認真統計計算,去蕪存菁,保證題庫試題有較全面的指標參數。
(六)入庫
試題入庫的工作包括題目文字、參考答案、評分標準、編碼、編號、對應參數以及附屬參考資料,都應保證齊備無缺和準確無誤地錄入。錄入后應認真校對。校對工作最好換人進行,避免心理定勢作用。實踐證明,請命題教師自己校對,更為可靠(戴海琦,2005)。
四、題庫建成后應注意的問題
應該強調的是,要建成一個可經常維護的動態題庫,以保證及時剔出陳舊題目,修訂和增加新項目。題庫建設不是一勞永逸的,需要不時地進行試題修改和更新(戴海琦,2005)。
五、基于題庫的測驗編制
建立起題庫之后,在題庫的基礎上編制試卷,形式上已成了按照測驗編制計劃從題庫中調用符合要求的項目組拼合格試卷的過程。這一過程可以由組卷者啟動題庫管理模塊中的檢索功能,由組卷者逐項選題,不斷與計劃比較、調整,最后組成符合要求的試卷。要注意的是,組卷計劃常常是多目標要求的,比如有題型比例要求、內容比例要求、難度比例要求和能力層次比例要求等,這些都是組卷時常常需要的、用來維護測驗信度或效度的指標。在由人工組卷時,這些目標將由人來統籌兼顧,最終組成合乎要求的試卷。
(本文系首都經濟貿易大學校級教改立項“留學生成績測試的規范化與試題庫建設”[代碼02991054210230]。)
參考文獻:
[1]崔頌人.略談對外漢語成績考試的改進[J].語言教學與研究,2006,(4).
[2]戴海琦.考試題庫的制作[J].考試研究,2005,(1).
[3]杜洪飛.經典測量理論與項目反應理論的比較研究[J].社會心理科學,2006,(6).
[4]蘇劍芳.語言成績測試內容的確定原則[J].廣西教育學院學報,1999,(1).
[5]謝小慶,許義強.HSK(初中等)題庫與試卷生成系統[J].世界漢語教學,1999,(3).
[6]楊翼.HSK高等題庫參數體系研究[J].語言教學與研究,2006,(4).
(常曉宇 魏鵬程 北京 首都經濟貿易大學對外文化交流學院 100026)
“本文中所涉及到的圖表、公式、注解等請以PDF格式閱讀”