義務教育階段學生科學學業成就評價框架的初步開發＊

張雨強崔允漷

(1.教育部基礎教育課程研究曲阜師范大學中心,曲阜 273165;2.華東師范大學課程與教學研究所,上海 200062)

義務教育階段學生科學學業成就評價框架的初步開發＊

張雨強1崔允漷2

(1.教育部基礎教育課程研究曲阜師范大學中心,曲阜 273165;2.華東師范大學課程與教學研究所,上海 200062)

義務教育階段科學學業成就監測是新課程改革的重大研究課題。它是客觀公正地評價義務教育新課程科學教育改革的整體效果、科學全面地檢測學生學習水平的重要工具,也是新課程科學教育改革課程決策的重要參考依據。全面深入地分析與借鑒 PISA、TIM SS、NAEP等國際性學生評價項目,吸收認知目標分類理論、教育測量與評價理論的最新成果,厘清新課程科學學業成就監測的設計理念,梳理評價維度,整體設計評價框架,并初步開發試題編制模型與質量保證技術,能為新課程科學教育評價改革提供參考。

義務教育;科學;學業成就評價;評估框架;試題編制

學生學業成就監測是新課程改革的重大研究課題。義務教育階段新課程全面實施已經 4年,檢驗新課程實施效果已經是迫在眉睫的重大課題,而學生學業成就監測無疑是有效途徑之一。中小學生對新課程的適應性如何,其學業成就究竟怎樣,等問題亟需澄清。其中,如何開發學業成就評價的整體框架、如何全面客觀地評價學生的學業成就,是引起高度關切的社會話題,更是充滿挑戰性的專業技術問題。本文在研究三大國際性學生評價項目最新進展的基礎上,以義務教育階段的科學領域為例,針對以上問題進行了初步探討。

一、科學學業成就評價的國際經驗

國際學生評估項目(Program for International StudentA ssessm ent,PISA)、國際數學與科學趨勢研究(Trends in InternationalM athem aticsand Science Study,TIM SS)、美國國家教育進展評估(NationalA ssessm entof Educational Progress,NAEP)是國際知名的學生評價體系,在運行機制、評價項目、報告形式等方面各具特色,前兩者更是因參與范圍廣、技術含量高、跨國比較性強受到專業研究人員與社會公眾關注。PISA是經濟合作與發展組織(O rganisation fo r Econom ic Co-operation and Developm ent,OECD)成員國合作項目,目的是評價 15歲學生為終身學習者與建設性公民的準備情況;TIM SS是國際教育成就評價協會(International A ssociation for the Evaluation of EducationalA chievem ent,IEA)組織的數學與科學學習趨勢的全球性研究;NAEP則是美國國家教育數據中心(NationalCenter for Education Statistics,NCES)負責運行的全國性評價系統,旨在通過監測學業成就趨勢來衡量全國教育目標的達成與否。

(一)評估體系的整體設計

PISA、TIM SS的評價內容由國際專家合作確定并可以進行跨國比較,NAEP的最大不同是對于全國實踐的調適性;PISA對于 “課程產出”與科學素養的更多關注是其最大特點,NAEP、TIM SS則關注與學校課程密切相關的學業成就。三大評估體系在評價內容、認知過程、評價框架術語、試題內容、試題形式等方面均有明顯差異。①

表1 三大評估體系的整體比較②

(二)科學評估框架

評估框架大都遵照“課程內容 +認知水平”的二維設計,但對內容維度、認知水平的具體規定不同;為判斷學生為真實生活世界所做準備情況,PISA還特別設計了情境維度,而 TIM SS中也設計了科學探究維度。

表2 三大評估體系的科學評估框架比較③

注:與 TIMSS2003不同,TIMSS2007中 4、8年級的內容領域并不完全相同,這里為表述方便使然,詳見表 6。TIMSS2003中的認知領域為 Factual Know ledge,Concep tualUnderstanding,Reasoning and Analysis。NAEP科學實踐的四個維度分別對應于四個層次認知要求:“知道是什么”(know ing that)、“知道為什么”(know ingwhy)、“知道怎么樣”(knowing how)、“知道何時何地應用知識”(know ingwhen andwhere to app ly know ledge),學生要表現出相應認知行為所應該調動的知識類型依次也分為四種:“陳述性知識”(dec larative know ledge)、“圖式知識”(schematic know ledge)、“程序性知識”(p rocedural know ledge)、“策略性知識”(strategic know ledge)。

(三)題型與題量

三大評估體系基本都根據學生反應類型把題型分為選擇——建構反應。這與根據學生認知水平(見表 2中的“認知過程維度”)的類型劃分從不同側面詮釋了試題編制藍圖。

表3 NAEP和 PISA不同題型的題目數量和百分比④

表4 不同科學領域內NAEP與 PISA試題的題目數量和百分比⑤

表5 TIM SS2007不同認知領域中的目標百分比⑥

表6 TIM SS2007不同內容領域中的目標百分比⑦

下面以 TIM SS2007技術報告為例,重點說明不同題型、不同內容領域、不同認知水平的試題在整個科學評估系統中的分配情況(表 7、8、9)。

表7 TIM SS2007科學評估中不同類型試題的題量與分數分布情況⑧

表8 TIM SS2007科學評估 4年級不同內容領域中各種試題的題量分布情況⑨

表9 TIM SS2007科學評估 4年級內容領域與科學探究中不同認知水平試題的分數分布情況⑩

注:表 5是規劃比例,表 9是實際比例。內容領域規劃分別是 45%、35%、20%,實際為 44%、35%、21%;認知領域規劃分別是 40%、35、25%,實際為 46%、35%、19。可以看出,除了在推理水平上相差較大(6&)外,規劃與實際差別不大。

(四)三大評價項目科學評估的經驗

1.評估框架的研制與發布

由獨立的專業評價機構組織,評估框架匯集了大量測量專家、學科專家、課程專家、一線教師等的集體智慧;提前公布評估框架,廣泛征求廣大研究者的專業建議,為評估框架修訂預留足夠空間;同時期待社會公眾的積極反饋,應對社會問責。NAEP2009科學評估框架于 2006年初頒布,預留 3年時間,TIM SS2011框架于 2009年 9月頒布。反觀我國義務教育科學課程學業成就評價框架幾乎是未經公示就直接進入實測階段,這不能不說是對國際慣例的忽視。

2.重視認知發展、教育測量與評價理論的指導

重視認知心理學的支撐作用,積極吸收認知目標分類的研究成果;測量專家高度參與評價框架開發,在與學科內容專家、課程專家、有經驗的一線教師的合作中,為學業成就監測框架的開發提供專業支持。

3.評估框架開發技術

從“課程內容 +認知水平”2個維度開發評價框架,注重學習內容與學習目標水平的交叉;能更好地設計評估框架、指導試題編制實踐,更能為課堂教學提供新思路。PISA更是增加了情境維度,從三維視角來開發科學評估框架。

4.評價技術與方法革新

引進新型評價手段,如計算機交互性作業等,注重與傳統紙筆測試相結合;編制新型試題,如開放型試題、建構型試題等,重視高級思維能力培養與評價。

5.評價樣例開發與反饋信息收集

大量開發評價試題樣例并提前公布,使將要參加評價的師生等有足夠的了解與應對時間;杜絕了“防教師”、“防學生”的評價偏執傾向;同時可以收集更多的反饋信息,以便及時調整評價工具。

6.學業成就比較與解釋的多樣化途徑

采取 “紙筆測驗 +問卷調查”,注重背景信息調查;探尋不同背景的學生群體之間學業成就差異解釋的別樣路徑,也能為不同亞群體的相關分析與比較研究提供研究視角。

二、義務教育科學學業成就評價開發的整體設想

(一)框架設計理念

科學教育的宗旨是培養學生的全面科學素養。《全日制義務教育科學(3～6年級)、(7～9年級)課程標準(實驗稿)》、義務教育階段的分科科學課程標準是開發4、8年級科學學業成就評價框架的依據。現行各科國家課程標準中,對學生通過完成規定的課程、教學內容和活動所應獲得的學習成果等未明確描述。既沒有對學生的學習行為進行具體描述,同時也沒有制定出與行為目標相對應的表現水平標準,因而不能直接將課程目標用來作為學生學業評價(特別是紙筆考試)的測量目標。而制定相應科目的學業成就評價標準,是對課程標準的進一步補充和完善,同時會進一步促進課程標準、教學評價的完善。

不但要評估學生對雙基的掌握情況,還要評估其實際問題解決能力以及終生學習所必需的知識與技能。因此,測評體系制定與工具開發時,應把基礎知識技能和有關 STS情境問題融合起來。我國提出 STS教育理念由來已久,但 STS情境具體涵蓋哪些方面還沒有明確闡述,如何把知識和情景結合也沒有參考標準,目前考試題目依然根本沒有走出 “重知識、輕能力”、“從書本來到書本中去”的模式。可以參考 PISA 2006科學評估經驗設置問題情境。

表10 PISA科學評估中的問題情境?

(二)整體評價框架

義務教育階段科學學業成就評價是大規模的外部評價。應針對全國范圍內義務教育階段關鍵學年的學生進行取樣,獲取他們在科學課程中的整體學習情況,從而給國家科學教育提供決策參考。整體框架初步設想如下:

表11 義務教育階段科學學業成就評價框架設想

注:實踐考查主要評價學生的實驗操作能力、設計能力、科學探究能力、問題解決能力等;調查問卷主要收集 2方面信息,一是背景信息,包括性別、年級、課程、教師、所在地區、學校類別、家長受教育程度、家庭收入情況等,二是科學基本素養調查,包括科學興趣、科學態度等。

義務教育學生科學學業成就評價可由獨立的權威性專業機構來組織。由于我國人口眾多,不可能對每一個八年級學生都進行測評,所以宜采用分層抽樣的方法。進行評價的目的不是對學生個體成績進行比較,也不是對學校進行排名,而是把評價對象作為一個群體或亞群體(具有相似背景的學生可以劃為一個亞群體)進行全面評估,為國家提供描述性信息,作為課程決策的科學依據。評估方法除了進行傳統的筆試之外,還可以借鑒NAEP進行實踐考查,借鑒 PISA進行背景問卷調查,以全面了解影響學生學業成就的因素。而進行周期性評估可以進行橫向和縱向比較,發現不足之處,進而改善課程與教學。

(三 )評價維度

綜合評價框架開發的國際經驗,根據布盧姆認知目標分類及修訂版以及其它教育目標分類研究成果,結合我國理化生、科學課程等初高中課程標準中的目標水平,確定過程維度;并把它分為認知過程、技能習得、情感養成 3個二級維度,又分別限定了二級維度的不同學習水平。根據《全日制義務教育科學(3～6年級)、(7～9年級)課程標準(實驗稿)》確定內容維度,也可進一步開發二級、三級維度。

表12 科學學業成就評價的維度

三、科學學業成就評價的試題編制

(一)試題編制模型的開發

根據 Gale H.Roid與 Thom asM.Haladyna的學習目標與試題模型,結合布盧姆認知目標修訂版,可以初步開發出三維試題編制模型(圖 2,僅以認知領域展示)。三個維度分別是內容維度、過程維度、反應類型維度。?其中,內容維度可以參照不同的學科課程標準進行細化(也可參考布盧姆認知目標修訂版分為事實性、概念性、程序性、元認知知識;Roid等分為了事實、概念、原理),根據試題答案的產生方式把反應類型分為選擇與建構反應,而認知過程維度則分為記憶、理解、應用、分析、評價、創造等 6種水平。

三維模型的使用方法如下:任取空間一點M(Xn,Yn,Zn),就代表某一道試題。其中 Xn代表該試題對應的內容標準,Yn代表該試題所對應的認知水平,Zn則代表該試題的類型。

布盧姆認知目標分類學建立于心理學領域內,這也決定了其局限性:通過不可觀察的智力過程(intelligence p rocesses)的形式來表述學習目標,而不是通過給學習者呈現的可觀察的任務特征來表述。Seddon的研究也顯示了,大約只有 35.5%的研究者認為布盧姆認知目標分類學能夠很好地用以對題目類型進行劃分,而其余大部分被調查者都覺得,布盧姆認知目標分類方法很難在命題實踐中直接運用。?其次,布盧姆認知目標分類主要用于題目的回顧性分析,題目一旦編制完成,可以運用目標分類學對題目進行分類。但并未給測驗與試題編制者提供更多指南,幫助他們去選擇內容、以及把內容轉化為測量各種思維的試題。三維模型在一定程度上可以克服其局限性。

(二)試題編制框架與細則開發

課程開發中有三個核心關鍵詞,即“課程標準”、“表現標準”、“評價標準”。這三個關鍵詞涉及的一個核心問題就是:如何從國家層面的“課程標準”演化到學生學習層面的“表現標準”,再如何由學生學習層面的“表現標準”豐富為指導評價實踐的“評價標準。?

1.試題編制框架

2.試題編制細則

試題編制可以分為 5個步驟:確定評價內容、確定認知要求、開發表現期望、細化表現期望、編制具體試題。第一步是從橫向上確定評價的廣度,即評價什么;第二步是從縱向上確定評價的深度,即評價到什么水平;第三步是根據縱橫的廣度與深度兩個維度交叉,制定出具體的二維矩陣,梳理出評價標準;第四步是根據評價標準,來細化評價標準的層次(等級)與賦分情況,并給出案例;第五步就是根據細化后的評價標準來編制試題。

3.不同認知過程水平的樣例開發

表13 不同水平的認知過程案例?

注:限于篇幅只提供了樣例開發思路,可據此進一步開發出測試同一內容與目標水平的不同類型的例題,以及評分標準等。

(三)試題質量保障工具開發

1.表現標準開發

以《全日制義務教育化學課程標準(實驗稿)》中“認識燃燒的條件及防火滅火的措施”的課程內容為例,可以開發出如下的表現標準(學業成就評價標準)。

表14 內容標準界定與表現標準開發

2.試題編制實例

柳州市融水縣鼓樓屯全部是連片式木質房屋,今年 4月 3日下午發生 120年未遇的特大火災。請回答下列問題(柳州 2006中考):

(1)發現火勢較大,有蔓延的可能,應馬上打什么電話號碼報火警?

(2)如果你是救火現場指揮者,從滅火的原理考慮,應將滅火人員至少分成兩支隊伍開展工作,布置他們做什么?并請解釋原因。

(3)如果你被困在火災區里,應采取哪些自救措施?請說出其中兩點。

(4)如果你是災后重建的設計者,重建房屋時,為防止再次發生特大火災,應注意的問題之一是什么?

3.基于課程標準的試題分析工具

評估文本(試題編制指南、試卷與試題等)必須與國家課程標準相匹配,這樣才能保證學業成就評價是基于課程標準的測查。?遵循“課程目標+目標要求”設計了試題分析二維工具。其中,“課程目標”維度主要參照《全日制義務教育科學(3～6年級)、(7～9年級)課程標準(實驗稿)》(其它學科亦然)關于三維目標的規定;而“目標要求”主要參照《全日制義務教育化學課程標準(實驗稿)》(物理課標類似)對學生學習目標的行為限定。

表15 基于課程標準的試題質量判斷

4.基于布盧姆認知目標的試題分析工具

對于某題目M,其反應類型是確定的(當然也可以編制成其它題型),若M對應了多種類型的知識(x)與多個水平的認知過程(y),則該題表示為M(x,y)。如 2(2,3)、4(3,2)。

表16 基于布盧姆認知目標分類修訂的試題質量判斷

對比我國《全日制義務教育化學課程標準(實驗稿)》對認知性學習目標三級水平規定,以及布盧姆認知過程維度 6級水平規定,可以看出:第一,認知性學習目標的最高水平橫跨了從“理解”到“判斷”5個行為動詞,這對應了布盧姆認知過程維度的“理解”、“應用”、“分析”、“評價”的 4個水平。第二,而布盧姆認知目標分類的“創造”水平,則很難在初中化學課程標準中找到相應的認知性學習目標(但《普通高中化學課程標準(實驗)》中有“設計”、“解決”等認知性學習目標)。

注 釋:

①Scott,E.(2003).Comparing NAEP,TIM SS,and PISA inM athem atics and Science[EB/OL].2-5.h ttp://nces.ed.gov/tim ss/pdf/naep_tim ss_p isa_comp.pdf,2009-9-9.

②Kansky,Robert(2006).NAEP,PISA&TIMSS:A B riefComparison[EB/OL].http://www.trianglecoalition.org/pdf/naepp isatim ss1.pdf,2009-10-10.Neidorf,T.S.,M.B rink ley,K.Gratis,and D.Nohara(M ay 2006).ComparingM athematics Content in the National A ssessm en t of Educational Progress(NAEP),Trends in International M athem atics and Science Study(TIM SS),and Program fo r In ternational Studen tA ssessm ent(PISA)2003 A ssessm ents.TechnicalReport,NationalCenter for Education Statistics,USDepartmentof Education Institute of Education Sciences,1-43.Scott,E.(2003).ComparingNAEP,TIMSS,and PISA inM athem atics and Science[EB/OL].http://nces.ed.gov/tim ss/pdf/naep_tim ss_p isa_comp.pdf,2009-9-9.筆者據此整理。

③Ina V.S.M ullis,M ichaelO.M artin,Graham J.Ruddock,Christine Y.O’Sullivan,A lka A rora,Ebru Erberber(2005).TIMSS 2007 A ssessm ent Frameworks.TIM SS&PIRLS International Study Center,Lynch Schoolof Education,Boston Co llege,41-43.W estEd,Councilof Chief State SchoolO fficers,NationalA ssessmentGoverning Board.Science A ssessmentand Item Specifications for the 2009 National A ssessm en t of Educational Progress(Prepub lication Edition),2-10.W estEd,Council of Chief State Schoo lO fficers,NationalA ssessmentGoverning Board.Science Fram ework for the 2009NationalA ssessm entof Educational Progress(Prepub lication Edition),Ⅴ-Ⅸ.OECD(2009).PISA 2006 Technical Report,30-31.OECD(2006).A ssessing Scientific,Reading and M athem aticalL iteracy:A Fram ework for PISA 2006,20-28.賴小琴:《國際學生評價 TIM SS和 PISA的比較與反思》,《廣西教育學院學報》2008年第 2期。筆者據此整理。

④⑤轉引自黃慧娟等:《關于三項著名國際學生評價項目的比較》,《福建師范大學學報》2004年第 4期。

⑥⑦⑧⑨⑩John F.O lson,M ichaelO.M artin,Ina V.S.M ullis(2008).TIMSS 2007 TechnicalReport TIMSS&PIRLS International Study Center,Lynch Schoo lof Education,Boston College.21,21,28,28,37.

? OECD(2006).A ssessing Scientific,Reading andM athematicalLiteracy:A Framework for PISA 2006.27.

?? Gale H.Roid&Thom asM.Haladyna(1982).A Technology for Test-Item W riting.London:A cadem ic Press INC.LTD.161-171,162.

?張雨強,馮翠典:《美國NAEP科學課程評價試題編制研究》,《全球教育展望》2007年第10期。

? Anderson,L.W.&K rathwohl,D.R.et.al.(Eds.,2001).Taxonom y forLearning,Teaching,and A ssessing:A Revision of B loom’s Taxonom y.of EducationalObjectives(Abridged Edition).New York:Longman.38-62,63-92.安德森等編著,皮連生主譯:《學習、教學和評估的分類學:布盧姆教育目標分類學修訂版(簡縮本)》,《華東師范大學出版社》2008年版,56-80。作者補充了大部分案例。

?崔允漷、夏雪梅:《試論基于課程標準的學生學業成就評價》,《課程·教材·教法》2007年第1期。

＊本文受教育部“新世紀優秀人才支持計劃”、教育部人文社會科學研究青年基金項目(07JC880007)資助。