2014年濟南市中考物理試卷與課程標準的一致性——基于SEC模式的分析*

2014年濟南市中考物理試卷與課程標準的一致性——基于SEC模式的分析*

王亭亭1張明1胡象嶺1馬雪1

(1. 曲阜師范大學物理學系，山東曲阜273165；

2. 山東省濟南第十八中學，山東濟南250101)

摘要：筆者采用SEC一致性分析方法，對濟南市2014年初中學業(yè)水平考試物理試卷與《義務(wù)教育物理課程標準(2011年版)》中課程內(nèi)容之間的一致性進行分析.結(jié)果表明，該試卷與物理課程內(nèi)容之間的一致性指數(shù)是0.66.物理試卷地形圖和物理課程內(nèi)容地形圖的分布存在一定差異.物理試卷對物理課程內(nèi)容的考查覆蓋了14個二級主題，考查的范圍比較全面，對大部分二級主題的考查力度與課程標準的要求基本吻合，在少部分二級主題上考查的比重與課程標準存在一定差異，物理試卷加大了對“機械運動和力”、“電磁能”以及“能源與可持續(xù)發(fā)展”等二級主題的考察力度，淡化了對“聲和光”和“機械能”等二級主題的考查.同時，物理試卷提高了對認知水平的要求.總的看來，物理試卷與物理課程標準的一致性不夠高.

關(guān)鍵詞：SEC一致性分析模式；初中學業(yè)水平考試；物理試卷；物理課程標準；一致性

1引言

基于課程標準的學生學業(yè)成就評價的核心在于評價與課程標準的一致性.所謂評價與標準的一致性，就是指兩者之間的吻合程度.評價必須與標準保持一致，以保證評價反映課程標準的要求，評價結(jié)果體現(xiàn)學生達成課程標準規(guī)定的期望的狀況.如何判斷某一評價(如初中學業(yè)水平考試)與特定課程標準的一致性？這需要借助于關(guān)于一致性的分析框架來解決.

20世紀90年代以來，美國全面啟動基于標準的教育改革.在這一背景下，探究學業(yè)評價與課程標準之間的一致性關(guān)系，成為美國教育領(lǐng)域重要的研究課題，研究者們提出了眾多評價與課程標準一致性的分析框架，安德魯·波特(Andrew Porter)和約翰·史密森(John Smithson)等人研制的SEC(Surveys of Enacted Curriculum)一致性分析模式便是其中一種[1,2]，它已成為美國分析學業(yè)評價與課程標準一致性的重要程序和方法.

近年來，SEC模式被介紹到國內(nèi)來，并在分析中小學學業(yè)成就評價與課程標準的一致性方面得到運用，如陳嫻、張寧波等人采用SEC模式分析了中考物理試卷跟初中物理課程標準之間的一致性[3,4].采用該分析模式的首要任務(wù)是對內(nèi)容主題與認知水平進行分類，建構(gòu)合理的分析框架.陳嫻、張寧波等人將內(nèi)容主題劃分為5個：能量、運動和力、電、波、物質(zhì)的特性，將認知水平按照布盧姆目標分類方法劃分為記憶、理解、應(yīng)用、分析、評價、創(chuàng)造.我們認為，對考試與課程標準一致性進行分析，應(yīng)以課程標準對內(nèi)容主題、認知水平的劃分為依據(jù).我們采用課程標準中界定的二級主題和認知水平將初中物理內(nèi)容劃分為14個主題，將認知水平劃分為3個水平，形成了“14×3”的分析框架，并運用到2011—2013年濟寧市中考物理試卷與課程標準一致性的分析中[5].

本文采用SEC模式，對2014年濟南市初中學業(yè)水平考試物理試卷(以下簡稱“物理試卷”)與《義務(wù)教育物理課程標準(2011年版)》(以下簡稱“物理課程標準”)中課程內(nèi)容(以下簡稱“物理課程內(nèi)容”)的一致性進行分析，依然采用“14×3”的分析框架.

2研究方法

2.1　一致性分析方法

一致性分析模式有多種，本文采用的是安德魯·波特(Andrew Porter)和約翰·史密森(John Smithson)等人研制SEC一致性分析模式[1,2,6].該模式從內(nèi)容主題和認知水平兩個維度，將課程內(nèi)容、試卷分別編碼到具有相同結(jié)構(gòu)的“內(nèi)容主題×認知水平”的二維表格中.為了使兩個表格可以比較，將表格中所有單元格內(nèi)的值都轉(zhuǎn)化成總和為1的比率值，形成兩個比率表格.根據(jù)兩個比率表格的匹配程度來衡量試卷和內(nèi)容標準的一致性.

2.2　研究樣本

本研究選取的樣本是2014年濟南市初三年級學業(yè)水平考試的物理部分，物理試題中包括單項選擇題、多項選擇題、非選擇題(填空題、作圖題、計算題)等，滿分為90分.本試卷包含考查實驗內(nèi)容的題目，這些題目既有對認知目標的考查，也有對非認知目標的考查，我們將實驗題中考查認知性目標的部分列入統(tǒng)計范圍，考查非認知目標的部分未列入.本試卷在統(tǒng)計范圍內(nèi)的題目的總分為84分.

2.3　研究過程

2.3.1內(nèi)容主題與認知水平分類

在物理課程標準中，課程內(nèi)容由“科學探究”和“科學內(nèi)容”兩部分組成.本研究對內(nèi)容主題劃分時只考慮課程內(nèi)容中的“科學內(nèi)容”部分，把各個知識點劃分到“科學內(nèi)容”的14個二級主題中，這14個主題的序號與名稱見表1.

物理課程內(nèi)容的每個二級主題下都包含若干條“內(nèi)容要求”條目，每個“內(nèi)容要求”條目都規(guī)定了學生需要掌握的知識點和學習該知識點需要達到的認知水平.物理課程標準將認知性目標分為“了解”、“認識”和“理解”三個認知水平，每個水平下所使用的行為動詞分別為：(1) 了解：了解、知道、描述、說出、列舉、舉例說明、說明；(2) 認識：認識；(3) 理解：解釋、理解、計算.

2.3.2列出物理課程標準的“內(nèi)容主題×認知水平”二維表格

由4名全日制教育碩士專業(yè)學位研究生獨立對物理課程內(nèi)容中的內(nèi)容條目進行分析，分別確定知識點數(shù)目，然后經(jīng)4人在一起討論達成共識.

分析物理課程內(nèi)容時，首先根據(jù)每條“內(nèi)容要求”條目中含有的行為動詞將其拆分，然后再確定每個行為動詞所表述的內(nèi)容中要求學生掌握的知識點的數(shù)目和要達到的認知水平.若對同一個知識點，內(nèi)容條目中給出高低兩個不同層次的要求，要分別計入統(tǒng)計范圍內(nèi).經(jīng)分析得到，物理課程內(nèi)容共有124個知識點，每一個知識點對應(yīng)不同的認知水平.課程標準中各內(nèi)容主題下3個認知水平包含的知識點數(shù)目及比率如表1所示，其中比率值由知識點數(shù)目除以知識點總數(shù)(124)得到.

表1　課程標準中的知識點數(shù)目及比率

2.3.3列出物理試卷的“內(nèi)容主題×認知水平”二維表格

由2名全日制教育碩士專業(yè)學位研究生和1名中學高級教師獨立分析物理試卷中每一題目所考查的知識點，確定其對應(yīng)的內(nèi)容主題、所占的分值以及學生完成該題目時需要達到的認知水平，然后一起協(xié)商討論，形成最后的結(jié)果.

分析物理試卷時，首先確定題目考查的知識點和認知水平，對于選擇題，如果不能根據(jù)題干明確確定該題目所考查的知識點，就要對每一個選項逐一進行分析，確定其所考查的知識點和學生完成該題目需要達到的認知水平；對于填空題和綜合計算題，按照評分標準確定每一個空、每一個計算步驟所考查的知識點以及學生完成該題目需要達到的認知水平.然后再確定每個知識點所屬的內(nèi)容主題與所占的分值.把題目考查的知識點對應(yīng)的分值填入14×3二維表格中，得到物理試卷中各內(nèi)容主題的分值及其比率如表2所示，其中比率值由分值除以總分(84)得到.

表2　物理試卷中各內(nèi)容主題的分值及其比率

續(xù)表

3研究結(jié)果

3.1　一致性指數(shù)

將表1和表2中的數(shù)據(jù)錄入Excel表格中，運用該軟件的函數(shù)功能將Porter一致性指數(shù)的計算公式編輯出來，就可以直接用此公式對某區(qū)域內(nèi)的數(shù)值進行計算.采用這一計算方式，最后得到P=0.66.

這個一致性指數(shù)是否能說明物理試卷與物理課程標準間存在比較好的一致性呢？要想回答此問題，就需要先解決這樣一個問題：當波特系數(shù)達到什么范圍，才能說兩個矩陣具有統(tǒng)計意義上顯著的一致性？為解決這個問題，本文采用美國學者Gavin的思路[7]，利用matlab軟件里的unidrnd函數(shù)[8]，將124個知識點隨機賦值到一個14×3矩陣中，將84分隨機賦值到另一個矩陣中，對兩個矩陣標準化處理后計算出一個P值，將這樣的過程重復20000次，就可以得到關(guān)于P的正態(tài)分布(見表3).

表3　關(guān)于P的正態(tài)分布的均值、標準差和95%水平的參考值

在這個正態(tài)分布曲線下，要達到0.05水平的統(tǒng)計顯著性，需要P≥0.7095.本研究計算得到的P值低于95%水平的參考值0.7095，說明物理試卷和物理課程標準間不存在統(tǒng)計學意義上的顯著一致性.

3.2　地形圖

用地形圖來表示物理課程內(nèi)容(圖1)和物理試卷(圖2)在不同內(nèi)容主題和認知水平上的權(quán)重，圖中的1.1—3.6分別表示從“1.1物質(zhì)的形態(tài)和變化”到“3.6能源與可持續(xù)發(fā)展”14個內(nèi)容主題.圖中橫線區(qū)域表示權(quán)重小于0.02，斜線區(qū)域表示權(quán)重在0.02和0.04之間，圓點區(qū)域表示權(quán)重在0.04和0.06之間，豎線區(qū)域表示權(quán)重在0.06和0.08之間，黑色區(qū)域表示權(quán)重在0.08和0.1之間，白色區(qū)域表示權(quán)重在0.1和0.12之間.

圖1　物理課程內(nèi)容地形圖

圖2　物理試卷地形圖

把圖1和表1聯(lián)系起來，可以說明地形圖是如何表示物理課程內(nèi)容中的內(nèi)容主題和認知水平的相對權(quán)重.由表1可以看到，“物質(zhì)的形態(tài)和變化”、“電和磁”、“機械能”、“電磁能”里的“了解”所占比率均為0.089，比率值落在了0.08和0.1之間，因此，圖1中的黑色區(qū)域就位于“物質(zhì)的形態(tài)和變化”和“了解”、“電和磁”和“了解”、“機械能”和“了解”、“電磁能”和“了解”的交界處.比率值落在0.02和0.04之間的是“物質(zhì)的屬性”里的“了解”(0.024)、“機械運動和力”里的“認識”(0.024)和“理解”(0.024)、“聲和光”里的“認識”(0.032)、“能量、能量的轉(zhuǎn)化和轉(zhuǎn)移”里的“了解”(0.024)、“內(nèi)能”里的“了解”(0.040)、“電磁能”里的“理解”(0.024)、“能源與可持續(xù)發(fā)展”里的“了解”(0.032)，因此，圖1中的斜線區(qū)域就位于“物質(zhì)的屬性”和“了解”、“機械運動和力”和“認識”與“理解”、“聲和光”里和“認識”、“能量、能量的轉(zhuǎn)化和轉(zhuǎn)移”和“了解”、“內(nèi)能”和“了解”、“電磁能”和“理解”、“能源與可持續(xù)發(fā)展”和“了解”的交界處.同理，根據(jù)表2的數(shù)據(jù)用相同的涂色方法可以得到圖2的物理試卷地形圖.

觀察圖1和圖2可以看出，物理試卷與物理課程內(nèi)容在“機械運動和力”、“機械能”和“電磁能”上的分布明顯不同，兩個地形圖的總體分布存在一定的差異，表明兩者之間的一致性程度不夠高.

3.3　內(nèi)容主題方面的比較

物理試卷與課程標準在內(nèi)容主題方面的比較如圖3所示.

物理課程標準中，14個內(nèi)容主題的知識點數(shù)目比率在0.20以下，其中位于0.15和0.20之間的有“機械運動和力”這一內(nèi)容主題；位于0.10和0.15之間的有“聲和光”、“電磁能”這兩個內(nèi)容主題；位于0.05和0.10之間的有3個，依次是“電和磁”、“物質(zhì)的形態(tài)和變化”、“機械能”；其他8個內(nèi)容主題所占的比例都小于0.05.

圖3　內(nèi)容主題比較

物理試卷中，分值比率在0.20以上的有“機械運動和力”、“電磁能”這兩個內(nèi)容主題，位于0.15和0.20之間的內(nèi)容主題個數(shù)為0；位于0.10和0.15之間的有“聲和光”這一內(nèi)容主題，所占的比例幾乎等于0.10；位于0.05和0.10之間的有3個，依次是“電和磁”、“能源與可持續(xù)發(fā)展”、“物質(zhì)的形態(tài)和變化”；其他8個內(nèi)容主題所占的比率都小于0.05.

由此可以看出，在“機械運動和力”、“電磁能”、“機械能”、“能源與可持續(xù)發(fā)展”、“聲和光”這5個內(nèi)容主題上，物理課程標準的要求與物理試卷的要求差異較大，其他幾個內(nèi)容主題上的差異不太明顯.相對于物理課程標準的要求而言，物理試卷加大了對“機械運動和力”、“電磁能”以及“能源與可持續(xù)發(fā)展”等二級主題的考察力度，淡化了對“聲和光”和“機械能”等二級主題的考查，對其他9個二級主題的考察力度與物理課程標準基本吻合.

3.4　認知水平方面的比較

物理試卷與課程標準在認知水平方面的比較如圖4所示.

圖4　認知水平比較

在課程標準中，要求認知層次為“了解”的知識點數(shù)目所占比例最大，其次是“認識”層次，“理解”這一最高層次所占的比例最小.而在物理試卷中，各認知層次所占的比例由大到小依次是“了解”、“理解”、“認識”.

由圖4可以看出，物理試卷中要求達到“理解”這一認知水平的分值比例高于物理課程標準，加大了對“理解”層次的考查比重，而“了解”和“認識”這兩類認知水平所占分值比例均低于物理課程標準，對這兩個層次的考查比重較低.

4結(jié)論與思考

本研究結(jié)果表明，濟南市2014年初中學業(yè)水平考試物理試卷與《全日制義務(wù)教育物理課程標準(2011年版)》中的內(nèi)容要求的一致性程度不夠高.具體說來，二者的Porter一致性指數(shù)低于對應(yīng)的參考值，物理試卷地形圖和物理課程內(nèi)容地形圖的分布存在一定差異；二者在內(nèi)容主題的側(cè)重和認知水平的側(cè)重上也有一定程度的偏差.在內(nèi)容主題上，相對于物理課程標準而言，物理試卷加大了對“機械運動和力”、“電磁能”以及“能源與可持續(xù)發(fā)展”等二級主題的考查力度，淡化了對“聲和光”和“機械能”等二級主題的考查.認知水平上，物理試卷對“理解”這一較高認知層次的考查力度高于物理課程標準中該認知層次知識點數(shù)目所占比例，而對“了解”、“認識”這兩個認知層次的考查力度則低于它們在物理課程內(nèi)容中所占的比例.相對于物理課程標準，物理試卷提高了對認知水平的要求.物理課程標準中的低等層次認知水平的內(nèi)容在考試中有所減少，而高層次認知水平的內(nèi)容在考試中卻有所增加.

盡管該物理試卷與物理課程標準的一致性不夠理想，但總的看來，還是可以接受的.一致性指數(shù)為0.66，雖低于參考值，但與其他地市物理試卷相比已屬較高水平，如2013年濟寧市中考物理試卷與課程標準的一致性指數(shù)為0.573[5].在內(nèi)容主題上，該物理試卷對物理課程內(nèi)容的考查覆蓋了14個二級主題，考查的范圍比較全面，對大部分二級主題的考查力度與課程標準的要求基本吻合，在少部分二級主題上考查的比重與課程標準存在一定差異.在認知水平上，物理試卷雖提高了對認知水平的要求，但提高的幅度不是很大.

分析學業(yè)水平考試與課程標準的一致性，其目的就是在文本層面監(jiān)測學業(yè)水平考試的質(zhì)量.本研究結(jié)果表明，濟南市2014年初中學業(yè)水平考試物理試卷存在著偏離物理課程標準的問題，這反映出該市2014年學業(yè)水平考試質(zhì)量有待提高.

應(yīng)該說明的是，本研究結(jié)果只具有參考價值.這是因為，首先，盡管一致性分析是評估試卷是否達到課程標準要求的重要指標，但是，一致性分析只是學業(yè)水平考試質(zhì)量分析的一個視角，本文并不是對該市物理試卷質(zhì)量的全面考查.其次，物理試卷與物理課程標準的一致性受多種因素影響.在研究過程中，我們深深體驗到課程標準是否“標準”是影響一致性的重要因素.比如，物理課程標準沒有對三個認知層次給出清晰具體的界定，三個層次劃分的合理性也值得商榷，尤其是“認識”這一層次的設(shè)定讓人匪夷所思，這不僅給教學實施、教學評價、學業(yè)水平測試帶來如何把握教學要求的困擾，也給一致性分析帶來困難，因為這樣的表述難以讓人達成共識，在確定試題所考查的認知水平的時候，研究者難以作出決斷.“基于標準的評價”的實現(xiàn)，其先決條件是課程標準應(yīng)對課程內(nèi)容加以具體化的目標描述.這一點應(yīng)引起課程標準制定者的足夠重視.另外，SEC一致性分析方法存在一定的局限性.比如，使用Porter一致性指數(shù)的計算公式只考察了兩個比率表格的匹配程度，而沒有判斷試卷考查的每個具體知識點跟課程標準要求的認知水平的一致性.

參考文獻：

[1] Porter, A. C. Measuring the content of instruction: Uses in research and practice[J]. Educational Researcher,2002, 31(7): 3-14.

[2] Porter, A. C., Smithson, J., Blank, R. K., Zeidner, T.. Alignment as a teacher variable[J]. Applied Measurement in Education, 2007,20(1): 27-51.

[3] 陳嫻,鄭璨璨,陳寧.物理內(nèi)容標準與考試之間的一致性研究[J].課程·教材·教法，2010,30(7)：67-71.

[4] 張寧波.物理中考試題與內(nèi)容標準的一致性研究[J].物理教師,2012,33(8):1-6.

[5] 孫永超,胡象嶺,張永慶.濟寧市2011—2013年中考物理試卷與課程標準的一致性分析[J].物理教師,2015,36(2):7-12.

[6] Liu,X.F., Zhang, B.H., Liang, L.L., Fulmer, G., Kim, B., Yuan,H.Q..Alignment between the physics content standard and the standardized test: A comparison among the United States-New York State, Singapore, and China-Jiangsu[J]. Science Education,2009,93(5):777-797.

[7] Fulmer,G.W..Estimating critical values for strength of alignment among curriculum, assessments, and instruction[J]. Journal of Educational and Behavioral Statistics. 2011,36(6):381-402.

[8] 劉恩山,盧群,張穎之.2010年高考生物試卷與課程標準的一致性分析[J].基礎(chǔ)教育課程，2010,(9):61-67.

通訊作者*、名師簡介：胡象嶺(1963—)，男，山東汶上人，曲阜師范大學物理學系教授，主要研究教育心理、物理課程與教學論.