基于Rasch理論的計算機模型教學測驗的設計與應用 *

韋斯林，[美]柳秀峰，王祖浩

(1.杭州師范大學 材料與化學化工學院， 浙江 杭州 310036；2.美國紐約州立大學 布法羅分校，紐約 布法羅；3. 華東師范大學 化學系，上海 200062)

基于Rasch理論的計算機模型教學測驗的設計與應用*

韋斯林1，[美]柳秀峰2，王祖浩3

(1.杭州師范大學 材料與化學化工學院， 浙江 杭州 310036；2.美國紐約州立大學 布法羅分校，紐約 布法羅；3. 華東師范大學 化學系，上海 200062)

該文針對當前國內外基于計算機模型的教學測驗研究較為滯后的現狀，運用Rasch理論及測量設計“四基石”模型，以1600名中、美中學生為對象，通過兩輪實證研究，探討計算機模型教學測驗設計的方法、過程。研究結果表明，Rasch理論及“四基石”模型能有效指導計算機模型教學測驗的開發、修訂，優化測驗的質量，為我國相關領域的研究提供有益的啟示和借鑒。

計算機模型；Rasch模型；教學測驗；科學教育

一、引言

針對學生對科學興趣日益下降、科學學習只注重死記硬背而不求甚解的現象，學界強烈呼吁科學教育中采取新的方式以激發學生學習動機、促進積極探究、深刻理解科學概念、過程，其中一個重要舉措是計算機模型的運用[1]。計算機模型是以計算機為介質對事物、現象、事件、過程或系統的一種可視化表征。它們呈現、仿真自然現象，尤其是常規手段難以進行的實驗及復雜系統，學習者可以進行操作、觀察，從而描述、解釋、預測現象，進行深度科學思維加工。計算機模型運用于學科教育中源于人們對人類學習、認知研究的發展[2]。大量的研究已充分表明，計算機模型對幫助學生合理建構事物的心理表征、促進知識的理解及概念轉變、發展高階思維、訓練模型方法及提高建模能力具有重要的意義[3]。隨著國際課程改革的不斷推進，計算機模型越來越廣泛地運用于大中小學各科課堂中，成為當今科學教育研究的一個重要趨勢。

隨著計算機模型在科學教學中的廣泛運用，基于計算機模型的學習評價自然就成為亟待解決的問題。然而，縱觀當前國內外科學教育中計算機模型研究的現狀，基于計算機模型的學習測評研究顯得十分滯后。這既制約了計算機模型的推廣，也降低了學生學習的效果。鑒于此，本研究試圖探索科學教育中如何設計、實施基于計算機模型的教學評價，重點從方法論層面上討論基于計算機模型的測驗的開發、檢驗及修訂，從而為相關研究提供思路和啟示。本文以“物質”概念為例加以具體闡述，具有重要的理論和實踐指導意義。

二、Rasch 模型

本研究中教學測驗的設計主要以Rasch測量理論為指導。Rasch模型是丹麥數學家喬治·拉希(Georg Rasch)上世紀60年代提出的一種基于概率的測量模型[4]。他認為，被試對某個項目的反應存在著一個數學關系，被試能力與項目難度之間的差異決定了其正確作答的概率。被試能力越高，答對越容易題目的概率就越高；反之，被試能力越低，答對越難題目的概率越低。被試答對某道題的概率(P)與被試能力和題目難度之間的差距(Bn-Di)的相互關系如下頁圖1所示。

Rasch模型根據學生在一系列項目上的反應運用極大自然法估算出被試能力(Bn)及項目難度(Di)。Rasch測量具有如下優點：(1)測量分數是等距的，Rasch模型將原始分數轉換為Logit分，分數真正等距，可以進行各種運算；(2)被試能力和項目難度相互獨立，能力估計不受測驗難度影響，難度估計也不受能力大小影響；(3)能力和難度并不是直接觀測的，是根據被試在一系列項目上的反應通過數學模型進行估算、預測得到的[5]，提高了測量準確性；(4)被試能力和項目難度使用同一把量尺，使得數據具有可比性。Rasch模型的這些特點正是克服了經典測量方法的局限，對建構有效測量具有重要的指導意義。

圖1 P與 Bn-Di 的關系

要使Rasch模型能更好地估計能力與難度，測驗要滿足單維性、局部獨立性假設[6-8]，使測驗數據更好地擬合理論模型。因而測驗需要進行嚴格的設計、實施、修正和檢驗。Wilson(2005)基于Rasch及項目反應理論提出的測量建構“四基石”模型(如圖2所示)[9][10]，為測驗的開發與實施提供了方法論，至今已被廣泛運用于大量研究中。

圖2 測量建構“四基石”模型

三、研究過程

1.建構學習進程

學習進程(Learning Progressions)是關于學生某一學習領域在一定時間內隨時間一步一步發展變化的描述。它由從低到高、前后連貫一致的若干水平組成，有效揭示了學生學習進步的路徑，為課程、教學和評價提供了堅實的理論基礎[11-15]。借助“學習進程”，可以清晰描繪出測驗的理論結構及行為表現，使得項目的內容、水平設計更合理、有效。本研究以“物質”概念理解為例，基于大量文獻[16-23]，建構了中學生物質概念學習進程(如圖3所示)，并對各水平做進一步的描述[24]。由于研究的對象主要是初三、高一學生，因此主要涉及水平1-3。

2.開發計算機模型

圖3 中學生物質概念學習進程

筆者以NetLogo為主要工具，開發系列化學計算機模型。NetLogo是由美國西北大學Uri Wilensky團隊開發的基于多代理的建模環境[25]，適合于建模復雜系統及其隨時間演化。由于它突出宏觀現象、微觀、符號的聯系，深受科學研究及教育領域廣大學者的青睞，至今已經廣泛運用于物理、化學、數學、計算機、生物及人文科學等領域中。圖4是我們基于NetLogo建模環境開發的“酸和堿”模型的操作界面。學生可以操作界面上的按鈕，控制、改變系統相關變量(如物質數量、溫度)，觀察物質微粒的相互作用(中間窗口)以及有關性質的變化(如微粒數、PH值)。本研究中，針對“物質”概念理解，開發了化學反應、溶液、酸和堿3個模型。

圖4 “酸和堿”NetLogo模型界面

3.編制測驗項目

針對每個計算機模型，編制題目。每套測驗由18個道題組成，其中15道選擇題、3道問答題。選擇題分別指向物質概念學習進程的1-3水平，問答題答案開放，要求學生根據自己的理解作答。下面是“酸和堿”測驗中的兩則例子：

例1：(選擇題)當拖動酸滑桿中的滑塊于某一位置，然后點擊“setup”和“go/stop”按鈕，此時中間視窗所代表的是 。

A. 單質 B.純凈物 C. 混合物

例2：(開放題)請用文字及圖畫描述鹽酸與氫氧化鈉是如何反應的。

4.設計評分標準

基于物質概念學習進程(如圖3所示)以及學生的回答，將答案分為具有本質差異的不同等級，賦以相應分數，并用Rasch模型對評分進行修正。例如，“酸和堿”第17題(“請用文字及圖畫描述鹽酸溶液是怎樣的”)評分標準如表1所示。

表1 “酸和堿”第17題評分標準

5.施測與數據分析

根據Rasch測量原理，被試能力分布越廣、越具多樣性，測驗效果越好。考慮到所開發模型及測量工具適用于中外學生，因此，選取中國、美國相似學段學生為測試對象，被試分布如表2所示。測試數據使用Rasch模型軟件[26]進行處理和分析。我們根據初測分析結果，對測量工具進行修訂，并實施第二次測試，再次進行測驗的質量檢驗。

表2 初測、再測被試分布

四、測驗質量的分析

1.整體情況

從表3看出，學生能力平均值為-0.03，與測驗難度相當(Rasch模型中通常將測驗難度平均水平設為0)，表明測驗能很好地匹配學生的能力水平(初測為0.31)。擬合包括加權擬合(Infit，即與模型相吻合的反應賦予更大權重)和非加權擬合(Outfit)，MNSQ即非標準化方差檢驗，ZSTD即標準化Z、t檢驗。數據顯示，被試、項目的擬合指數都十分接近理想水平(MNSQ越接近1、ZSTD越接近0越好)，說明測試數據與理想模型具有很好的一致性，Rasch模型能很好地估算能力和難度。項目、被試分離度分別為7.16、1.51，一般認為分離指數超過2較好，表明測驗能較好地區分被試點能力。信度顯示，測驗信度都較高，項目信度最理想。

表3 “酸和堿”測驗總體統計

2.項目—被試分布

“項目—被試圖”(Wright Map)[27-29]將難度、能力放置在同一把刻度尺上，直觀地呈現了項目與被試的分布情況。試卷總體難度與學生平均水平幾乎一致，能力分布較為均勻。試題難度與預期基本一致，如水平1的AB1、AB2、AB4在底部，水平3的AB11、AB12、AB14、AB15在頂部，水平2的AB6、AB7、AB8、AB9、AB10處于中間。表明所編制的項目的認知水平與理論構想較為吻合。

3.數據—模型擬合

如表4所示，除AB3、AB5、AB11、AB17、AB18的ZSTD的擬合指數(Fit)略超出接受范圍，其余Fit指標基本都在接受范圍之內。項目—總分相關反映項目難度與試卷總難度的相關性，體現項目對能力的區分效果。大部分項目相關系數在0.30以上，表明總體而言，測驗具有良好的區分度。

表4 “酸和堿”擬合檢驗

續表4

4.一維性

弗朗西斯（Francis）等學者曾通過分析表現教師教學方法的事件，對教師的教學特點和可辨認的模式特征進行描述[18]．類似地，研究者把職前教師的教學“模式”定義為：在教學設計及其模擬教學活動中重復出現的，共同構成其教學方法認識特點的可辨認的特征．根據弗朗西斯等學者提出的“指令性的或者傳授式的教學”與“探究式教學”的事件的分類標準，從探究、指令、總結、聯系等方面，對職前教師的教學設計方案及微格視頻進行分析，得到4類較為明顯的教學“模式”（見圖2），每種教學“模式”的人數分布情況見表6．

Rasch模型要求測驗是一維的(Unidimensionality)，其檢驗方法是進行主成分分析，即計算主變量被控制后項目在其它可能變量上的負荷值。如圖5所示，AB17(A)、AB16(B)超出接受范圍(-0.4—0.4)，AB18(C)、AB6(a)略微超出。表明測驗具有一維性，這些題目共同反映了學生對物質概念的理解。

圖5 “酸和堿”一維性檢驗

5.評分等級結構

開放題評分標準的合理性可以通過評分等級概率(Catergory Probabilities)結構進行檢驗。理想地，每個分數都應該有一個明顯的“峰”，且覆蓋一定區域；隨著能力增高，學生有可能得到更高分數。根據概率結構情況，可以考察評分標準的設計是否合理。如第17題最初設計7個等級，等級1、3、5被0、2、4、6所覆蓋，表明這幾個等級應該合并入其它等級中。第二次測試中調整為5個等級，效果較為理想，表明調整后的分類及評分與理論模型具有更好的擬合效果，評分更合理可信。其它開放題的評分標準也遵循類似的方法進行設置、修訂，并取得滿意的效果。

五、測驗的應用

1.測驗的等值化

基于物質概念學習進程所開發的系列計算機教學測驗之間由于難度不同，分數無法相互比較和計算。利用Rasch模型可以對測量同一屬性的不同測驗進行等值化[30]。運用“錨試題”技術，通過在不同測驗中設計試題鏈，利用Rasch模型“同時評估”(Simultaneous Estimation)，可以實現測驗之間的等值化。同時，用線性回歸方法，可以找出原始分數與0-100Rasch分的對應關系(如表5所示)。這樣，使用者不需要運行Rasch模型和計算，利用該表便可直接查出學生原始分對應的100刻度Rasch分。這些分數是等距、可比的，可以進行加減乘除以及復雜的統計。經過等值化，教師可以任意選擇某一試題對學生進行測驗，不同班級或不同時間使用不同測驗，這樣便可比較不同班級之間或同一班級不同時間的成績情況。

表5 原始分數→Rasch分數的轉換表

2.學生概念學習的研究

上述測量設計方法及所開發的測驗可以用于學生概念理解的評價與研究。基于各學習水平上的項目的難度，可以計算物質概念理解的學習水平及其范圍，從而判斷各學生或班級所處的理解水平。例如，針對96名初三、93名高一學生的測驗中，其平均分分別為61.21、66.44。由此得知，初三、高一學生均處于物質概念學習水平2，高一高于初三。可見這兩個年級學生可以從物質性質與變化認識物質的微粒性，但他們對物質微粒及其運動還不能很好掌握，難以描述、區分原子、分子、離子等微粒。因此，在教學中一方面要注重通過實驗現象，幫助學生認識物質性質、變化，更重要是的引導學生對宏觀現象的分析、推理，借助模型、微觀動畫等方法，理解物質微粒相關知識。另外，還可以根據具體教學內容、進度，在不同時間對學生實施不同測驗。通過比較學生成績隨時間的變化，可以了解學生知識理解的進步情況，存在的問題，實現學習的及時診斷與過程監控，有助于教師采取有效策略，不斷調整教學，促進學生學習持續向前發展。

3.形成性評價

六、總結與展望

本文以“物質”概念理解為例，通過在中、美兩國1600余名中學生中開展兩輪實證研究，總結提煉出基于Rasch測量理論、技術的計算機模型教學測驗設計的一般程序與操作。研究結果表明，這套體系是合理、可行、有效的；所開發的測驗工具多個質量指標檢驗效果良好，根據Rasch模型分析結果所進行的修訂測驗得到明顯改善。因此，研究具有重要的方法論及實踐意義。同時，本研究也給我們很多啟示：

1.有效實施基于計算機模型的教學評價，揭示學生學習與發展規律，促進課程、教學與評價的一致性。課程、教學與評價相互一致是當今教育的一個重要原則[31]。既然計算機模型逐步廣泛運用于科學教學中，了解、監控、預測學生計算機模型學習中其表現及進步情況就顯得十分重要。通過測試與反饋，可以最大限度促進學生對科學知識的理解與掌握，優化課堂教學；同時拓展計算機模型新的運用方式，進一步挖掘其教育價值。當然，評價的目標、方式是多樣的，可以是診斷性評價、形成性評價或終結性評價。

2.恰當運用科學的教育測量理論、方法設計計算機模型教學測驗，提高測評的效果。準確了解學生的學習狀況離不開合理、有效的測量與評價。計算機模型環境下，學生學習心理特質具有內隱性、復雜性，因而需要有良好的測驗量表、恰當的測量方法，有效揭示學生的心理特征。顯然，測量理論、模型的選擇十分關鍵。項目反應理論有效克服經典測量理論的弊端。越來越多實踐證明它在有效測評個體能力方面具有顯著的價值意義。Rasch 模型被認為是至今唯一普遍用來在人文社科研究中建構類似自然科學中的“基本測量”的測量技術[32]。本研究從多個方面證實了Rasch模型在優化測評質量的重要意義。

3.深入探索現代信息技術與學科學習有效整合的方式與策略，促進學生的學習與發展。技術的真正意義不在于如何運用技術武裝教學使教師教得更好，而是如何將技術作為學生學習的重要工具幫助他們進行更有成效的思考，因為學習者不是從技術中獲得知識，而是從思考中進行學習[33]。科學教育中，計算機模型作為信息技術與學科內容相整合的一種新方式，在呈現事物的多重表征、模擬疑難實驗或復雜系統等方面具有獨特的優勢。它們可以作為思維工具幫助學習者建構個人知識、進行更有效的思考。然而，這方面研究國內仍顯得十分薄弱。尤其是應試教育心理仍比較濃重的情形下，如何將計算機模型有效運用于學科教學中仍值得深入探索。本研究是一種嘗試，但一些問題仍需要進一步思考。例如，計算機模型教學測驗如何整合入日常及大規模學業測評中，如何將計算機模型測驗與課程標準相聯系，測驗結果如何用于修改、優化教師的教學設計，以及當前教學實際中計算機模型測驗的操作性、實效性問題等。

總之，隨著計算機越來越廣泛運用于科學教學中，人們對計算機模型的研究已經逐漸從宏觀理論描述轉向微觀實證探究，從基于經驗的闡釋轉向基于測量統計方法、工具的揭示，并且日益與現代學習理論緊密結合，這也是信息技術與學科教學整合的重要趨勢。本文以現代測量理論為指導，從方法論層面通過具體的實證研究揭示了計算機模型教學測驗設計與評價的一般方法、過程，為我國相關領域研究提供有益的借鑒。

[1][2] National Research Council (NRC).Learning Science Through Computer Games and Simulations[M].Washington D.C.:The National Academies Press,2011.

[3][10][30][31] 韋斯林.運用Rasch模型構建基于計算機建模的中學生物質結構認知測量的研究[D].上海：華東師范大學，2011.

[4] G.Rasch.Probabilistic Models for Some Intelligence and Attainment Tests [M].Chicago:University of Chicago Press,1980.

[5][6] X.Liu,W.J. Boone. Applications of Rasch Measurement in Science Education Maple Grove[M]. Minnesota:JAM Press,2006.

[7] X.Liu.Elementary to High School Students’ Growth over an Academic Year in Understanding the Concept of Matter[J]. Journal of Chemical Education,2007,84(11):1853-1856.

[8] X.Liu.Using and Developing Measurement Instruments in Science Education:A Rasch Modeling Approach[M]. Charlotte,North Carolina：Information Age Publishing Inc.,2010.

[9][27] M.Wilson.Constructing Measures:An Item Response Modeling Approach[M]. Hillsdale,NJ:PLawrence Erlbaum Associates,2005.

[11] 韋斯林，賈遠娥.美國科學教育研究新動向及啟示——以“學習進程”促進課程、教學與評價的一致性[J].課程·教材·教法，2010,30(10):98-105.

[12] T.Corcoran，F.A.Mosher，A. Rogat. Learning Progressions in Science：An Evidence-based Approach to Reform[R].Philadelphia,PA:Consortium for Policy Research in Education,2009.

[13] R.G.Duncan,C.E.Hmelo-Silver. Learning Progressions:Aligning curriculum,Instruction,and Assessment[J]. Journal of Research in Science Teaching,2009,46(6):606-609.

[14] J.R.McGinnis,A. Collins. Special Issue：Learning Progressions [J].Journal of Research in Science Teaching,2009,46(6):605-611.

[15][23] National Research Council (NRC).Taking Science to School:Learning and Teaching Science in Grades K—8[M].Washington,DC:National Academies Press,2007.

[16] X.Liu.Synthesizing Research on Student Conceptions in Science[J].International Journal of Science Education,2001,23(1):55-81.

[17] X.Liu,K.M.Lesniak.Students’ Progression of Understanding the Matter Concept from Elementary to High School [J]. Science Education,2005,89(3):433-450.

[18] X.Liu.Student Competence in Understanding the Matter Concept and Its Implications for Science Curriculum Standards[J]. School Science and Mathematics,2006,k106(5):220-227.

[19] X.Liu,K.Lesniak.Progression in Children’s Understanding of the Matter Concept from Elementary to High School[J].Journal of Research in Science Teaching,2006,43(3)： 320-347.

[20] J.Claesgens,et al.Mapping student understanding in chemistry:The Perspectives of Chemists[J].Science Education,2009,93(1):56-85.

[21] B.Anderson.Pupils’ Conception of Matter and its Transformation [J].Studies in Science Education,1990,(18):53-85.

[22] C.L.Smith，et al..Implications of Research on Children’s Learning for Standards and Assessment:A Proposed Learning Progression for Matter and the Atomic-Molecular Theory[J]. Measurement：Interdisciplinary Research and Perspectives，2006，4(1-2)：1-98.

[24] S.Wei,et al..Using Rasch Measurement to Develop a Computer Modeling-Based Instrument To Assess Students' Conceptual Understanding of Matter[J].Journal of Chemica l Education,2012,89(3):835-845.

[25] U.Wilensky.NetLogo. Center for Connected Learning and Computer-Based Modeling [DB/OL]. http://ccl.northwestern.edu/ netlogo/,2012-12-06.

[26][32] T. Bond，C. Fox. Appling the Rasch Model: Fundamental Measurement in the Human Sciences[M]. Mahwah,NJ：Lawrence Erlbaum Associates, 2007.

[28] B.D.Wright,M.H.Stone.Best Test Design[M].Chicago,IL:MESA Press,1979.

[29] B.D.Wright,G.N.Masters.Rating Scale Analysis [M].Chicago,IL:MESA Press,1982.

[33] D.H.喬納森.用于概念轉變的思維工具——技術支持的思維建模(第三版)[M].上海：華東師范大學出版社，2008.

韋斯林：博士，碩士生導師, 研究方向為學科教育理論與實踐、基于技術的學習與教學研究、科學教育測量與評價(silinwei@163.com)。

柳秀峰：博士，教授，博士生導師，研究方向為科學教育、教育測量與評價、信息技術與科學教育。

王祖浩：博士，教授，博士生導師，研究方向為科學學習與能力發展、化學課程研制與評價。

2013年12月25日

責任編輯：宋靈青

Design and Validation on Computer Modeling-based Teaching Assessments by Using Rasch Model

Wei Silin1, Liu Xiufeng2, Wang Zuhao3
(1.College of Material, Chemistry and Chemical Engineering, Hangzhou Normal University, Hangzhou Zhejiang 310036;2.Graduate School of Education, State University of New York at Buffalo, Buffalo New York 14260-1000;3.Department of Chemistry, East China Normal University,Shanghai 200062)

The research on computer modeling-based assessment in science education in China still lagged behind many countries.This study used Rasch measurement-based ‘Four Building Blocks’ approach to develop computer modeling-based assessment for high school students. To validate this method, we conducted three computer modeling-based measurement instruments and used for 1,600 high school students both in China and United States by two rounds. The results show effectiveness of the approach of Rasch measurement-based ‘Four Building Blocks’ as the framework for developing, revising and improving computer modeling-based assessments. Such method can also be applied to many other related contexts.

Computer Modeling; Rasch Model; Teaching Assessment; Science Education

G434

A

1006—9860(2014)07—0139—06* 本文系浙江省教育技術研究規劃課題“基于計算機模型的探究性學習環境的實踐與探索”(項目編號：JB003)、杭州師范大學項目“學習者為中心的化學計算機模型的設計、應用與國際比較研究”(項目編號：2011QDL35)和“以計算機模型促進知識表征與建模的理論與實證研究”(項目編號：RWWD1316)研究成果。