物理教育研究中的實(shí)驗(yàn)/準(zhǔn)實(shí)驗(yàn)研究

DING Lin 張 萍 徐 禎

(1 長(zhǎng)江大學(xué)物理與光電工程學(xué)院,湖北 荊州 434023;2俄亥俄州立大學(xué)教育學(xué)院,美國(guó)俄亥俄哥倫布 43210;3北京師范大學(xué)物理學(xué)系,北京 100875)

物理教育研究(physics education research,PER)中的實(shí)驗(yàn)/準(zhǔn)實(shí)驗(yàn)研究允許研究人員通過(guò)兩個(gè)或多個(gè)事件之間的比較來(lái)研究某些教學(xué)改進(jìn)或干預(yù)的效果。如果這種比較涉及定量分析,那么推斷統(tǒng)計(jì)就是一種有效的工具[1]。在PER 的實(shí)驗(yàn)/準(zhǔn)實(shí)驗(yàn)研究中,合理使用推斷統(tǒng)計(jì)離不開細(xì)致的研究設(shè)計(jì)[2]。

1 物理教育實(shí)驗(yàn)研究與物理實(shí)驗(yàn)研究

簡(jiǎn)單地說(shuō)物理實(shí)驗(yàn)研究是通過(guò)改變某些變量(自變量)的值,觀察另一個(gè)變量(因變量)的變化效果;而物理教育實(shí)驗(yàn)研究也有相似情形,研究者通常對(duì)他們感興趣的事件進(jìn)行精心的控制和操縱——引入一個(gè)干預(yù),測(cè)量這個(gè)干預(yù)帶來(lái)的差異。也就是說(shuō)教育研究者也會(huì)嘗試操控某種東西以決定實(shí)驗(yàn)效果。這種被操控的東西就被稱作自變量,自變量可以是一個(gè)或者多個(gè),通過(guò)操控自變量,觀測(cè)其帶來(lái)的效果,即因變量的變化。例如在一項(xiàng)關(guān)于“不同的教學(xué)方法影響大學(xué)生物理成績(jī)的研究”中,教學(xué)方法是教育研究者感興趣的自變量,學(xué)生的物理成績(jī)則是因變量。

實(shí)驗(yàn)研究的前提條件是:為了建立因果關(guān)系,要對(duì)變量進(jìn)行分離和控制。物理實(shí)驗(yàn)研究通常在實(shí)驗(yàn)室中進(jìn)行,控制和分離變量從理論的角度比較容易實(shí)現(xiàn);而物理教育實(shí)驗(yàn)研究則在社會(huì)情境下進(jìn)行,學(xué)校和課堂不像實(shí)驗(yàn)室那樣可以人為制造和隨意組裝,我們不能把人當(dāng)作是可隨意操控的、無(wú)生命的研究客體,因此物理教育實(shí)驗(yàn)研究的對(duì)象是一個(gè)復(fù)雜的系統(tǒng),常常會(huì)面臨不可控的內(nèi)部和外部干擾和倫理困境,研究者基本上不可能在“理想”環(huán)境中進(jìn)行“真”實(shí)驗(yàn),通常采用一些接近真實(shí)的實(shí)驗(yàn)(準(zhǔn)實(shí)驗(yàn))設(shè)計(jì)[3]。

2 物理教育實(shí)驗(yàn)/準(zhǔn)實(shí)驗(yàn)研究設(shè)計(jì)

我們先從物理教育實(shí)驗(yàn)研究的設(shè)計(jì)入手,說(shuō)明理想狀態(tài)下實(shí)驗(yàn)研究的本質(zhì),然后介紹在實(shí)踐中可行的準(zhǔn)實(shí)驗(yàn)研究的設(shè)計(jì),從而理解物理教育實(shí)驗(yàn)研究設(shè)計(jì)如何在理想和可行之間尋求最優(yōu)方案,實(shí)現(xiàn)在可行之中做到可信。

在討論物理教育實(shí)驗(yàn)研究設(shè)計(jì)時(shí)有兩個(gè)術(shù)語(yǔ):前測(cè)和后測(cè),常常出現(xiàn)在與收集數(shù)據(jù)有關(guān)的研究中。前測(cè)是指在實(shí)驗(yàn)處理之前對(duì)被試進(jìn)行的測(cè)量或測(cè)驗(yàn),后測(cè)是指在實(shí)驗(yàn)處理后進(jìn)行的測(cè)量或測(cè)驗(yàn)。不是所有實(shí)驗(yàn)都需要進(jìn)行前測(cè),而后測(cè)作為考查實(shí)驗(yàn)處理效果的因變量是必須的。下面簡(jiǎn)要介紹兩個(gè)實(shí)驗(yàn)研究設(shè)計(jì)和一個(gè)準(zhǔn)實(shí)驗(yàn)研究設(shè)計(jì)。

2.1 實(shí)驗(yàn)研究設(shè)計(jì):僅施后測(cè)控制組設(shè)計(jì)

物理教育實(shí)驗(yàn)研究設(shè)計(jì)一般包含兩組或更多組學(xué)生,一次實(shí)驗(yàn)處理(干預(yù))一個(gè)組(實(shí)驗(yàn)組),可能還有一個(gè)控制組,在實(shí)驗(yàn)前將被試隨機(jī)分配到兩個(gè)組,實(shí)驗(yàn)組接受實(shí)驗(yàn)處理。在實(shí)驗(yàn)結(jié)束時(shí),對(duì)兩個(gè)組的研究變量進(jìn)行測(cè)量(后測(cè))。僅施后測(cè)控制組設(shè)計(jì)對(duì)研究者來(lái)說(shuō)是有效的設(shè)計(jì),因?yàn)槭请S機(jī)分組,它不需要前測(cè)。僅施后測(cè)控制組的設(shè)計(jì)如下表示:

G 表示組,R 表示隨機(jī)抽取或分組。X 表示實(shí)驗(yàn)處理(自變量),短線表示沒(méi)有實(shí)驗(yàn)處理。O表示對(duì)因變量的測(cè)量,置于X 和短線—的左/右面,分別表示前/后測(cè),在這個(gè)設(shè)計(jì)中只有后測(cè)、沒(méi)有前測(cè)。

以前面提到的“關(guān)于不同的教學(xué)方法影響大學(xué)生物理成績(jī)的研究”為例,使用這種研究設(shè)計(jì),首先將學(xué)生隨機(jī)分配到實(shí)驗(yàn)組RG1 和控制組RG2中,實(shí)驗(yàn)組使用一個(gè)新的教學(xué)方法講授課程——實(shí)驗(yàn)處理X(自變量),控制組仍然用原來(lái)的教學(xué)方法——沒(méi)有干預(yù)。在經(jīng)過(guò)一學(xué)期的教學(xué)后,可以對(duì)兩個(gè)班學(xué)生的物理成績(jī)(因變量O)進(jìn)行后測(cè)和比較。

在物理實(shí)驗(yàn)室中,將一個(gè)金屬棒加熱,研究者可以肯定地將所觀察到的物體膨脹效應(yīng)歸因于溫度升高,因?yàn)樗麄冊(cè)趯?shí)驗(yàn)中可以排除(控制)所有其他無(wú)關(guān)的因素。但是在PER 實(shí)驗(yàn)研究中,任何變量的變異都可能受到多種因素的影響,例如上述研究中學(xué)生的物理學(xué)習(xí)成績(jī)的變異除了可能受到教學(xué)方法的影響外,還可能受能力、態(tài)度、動(dòng)機(jī)和以前的學(xué)習(xí)成績(jī)等因素的影響。將學(xué)生隨機(jī)分配到實(shí)驗(yàn)組和控制組,在理論上可以減小所有可能的無(wú)關(guān)變量對(duì)因變量的影響。也就是說(shuō),除了實(shí)驗(yàn)變量(教學(xué)方法)之外的其他無(wú)關(guān)變量產(chǎn)生的影響(干擾)近似同等地分配在實(shí)驗(yàn)組和控制組,其產(chǎn)生的“干擾”效應(yīng)就勢(shì)必在兩個(gè)組中都有,因此隨機(jī)化確保了實(shí)驗(yàn)組和控制組的狀態(tài)盡可能相當(dāng)。實(shí)踐中只有在保證有足夠多的被試時(shí),隨機(jī)化的原則才有可能起作用。良好的PER 實(shí)驗(yàn)研究要求研究者能提供公正的、沒(méi)有偏差的組間比較結(jié)果,為此在研究設(shè)計(jì)時(shí)必須小心翼翼確保任何組間差異能夠歸因于研究設(shè)計(jì)的自變量。

2.2 實(shí)驗(yàn)研究設(shè)計(jì):前測(cè)-后測(cè)控制組設(shè)計(jì)

在“僅施后測(cè)控制組設(shè)計(jì)”的基礎(chǔ)上在實(shí)驗(yàn)處理前加上前測(cè),就是“前測(cè)-后測(cè)控制組設(shè)計(jì)”,表示如下:

由于是隨機(jī)分組,因此,前測(cè)的目的不是保證對(duì)比組相等。對(duì)一個(gè)或多個(gè)變量的前測(cè)可以在分析時(shí)進(jìn)行統(tǒng)計(jì)控制,計(jì)算增益(gain),它是由后測(cè)分?jǐn)?shù)減去前測(cè)分?jǐn)?shù)得到的。

研究人員除了使用增益來(lái)表示變量隨時(shí)間變化外,還經(jīng)常使用標(biāo)準(zhǔn)化增益(normalizedgain)——實(shí)際的增益與潛在的最大增益變化之間的比率:

實(shí)際增益是后測(cè)得分與前測(cè)得分的差值(gain=postscore-prescore),潛在最大增益是滿分?jǐn)?shù)和前測(cè)得分(maximumchange=fullscore-prescore)的差值。從Hake首次將其引入PER 以來(lái)[4],標(biāo)準(zhǔn)化增益在物理教育研究中被廣泛采用。研究人員通常使用標(biāo)準(zhǔn)化增益直接與0進(jìn)行比較,以檢查學(xué)生前后的表現(xiàn)是否有顯著變化。

PER實(shí)驗(yàn)研究的特征是隨機(jī)安排被試(組)進(jìn)行實(shí)驗(yàn)處理。然而,在進(jìn)行物理教育研究實(shí)踐時(shí),被試的挑選和組合不可能總是隨機(jī)的。準(zhǔn)實(shí)驗(yàn)研究是指在實(shí)驗(yàn)中,使用原始教學(xué)班作為被試進(jìn)行分組,而不是隨機(jī)安排被試接受處理。如果研究者不能隨機(jī)分配被試進(jìn)入各組,那么原始組就會(huì)在某些因素上有所不同,并導(dǎo)致各組不對(duì)等。使用不經(jīng)隨機(jī)分配的組進(jìn)行實(shí)驗(yàn)是有風(fēng)險(xiǎn)的,因此研究者需要做出努力使它盡可能接近“理想”實(shí)驗(yàn)設(shè)計(jì)。這種準(zhǔn)實(shí)驗(yàn)設(shè)計(jì)是能夠?yàn)榻逃龀鲇袃r(jià)值的貢獻(xiàn),但有一點(diǎn)很重要:研究者對(duì)實(shí)驗(yàn)結(jié)果的解釋和推廣應(yīng)該特別慎重。下面介紹一個(gè)準(zhǔn)實(shí)驗(yàn)研究設(shè)計(jì)。

2.3 準(zhǔn)實(shí)驗(yàn)研究設(shè)計(jì):前測(cè)—后測(cè)不等組設(shè)計(jì)

在前面“實(shí)驗(yàn)研究設(shè)計(jì):前測(cè)-后測(cè)控制組設(shè)計(jì)”中,如果實(shí)驗(yàn)組和對(duì)照組不是隨機(jī)分組,而是使用原始或自然形成的班級(jí)構(gòu)成被試組時(shí),就構(gòu)成一個(gè)“準(zhǔn)實(shí)驗(yàn)設(shè)計(jì)中的前測(cè)—后測(cè)不等組設(shè)計(jì)”,表示如下:

實(shí)驗(yàn)組G1和控制組G2不是通過(guò)隨機(jī)化的方式達(dá)到對(duì)等。我們使用原始或自然的教學(xué)班作為被試組時(shí),有可能帶來(lái)取樣偏差,兩組之間的相似性(或缺乏相似性)必須加以考慮,研究者在一定程度上要使兩組在除了實(shí)驗(yàn)干預(yù)因素(自變量)外的其他可以影響到因變量的干擾盡可能地相當(dāng)。前測(cè)的結(jié)論對(duì)檢驗(yàn)實(shí)驗(yàn)組和對(duì)照組間的相似性是非常有幫助的,因?yàn)榍皽y(cè)是與因變量有密切關(guān)系的變量。

在物理教育研究中,除了上述幾種實(shí)驗(yàn)/準(zhǔn)實(shí)驗(yàn)研究設(shè)計(jì)外,還有所羅門四組設(shè)計(jì),因素設(shè)計(jì),重復(fù)測(cè)量設(shè)計(jì),時(shí)間系列設(shè)計(jì)等。另外為了適用具體的研究情況,研究者可以對(duì)這些實(shí)驗(yàn)設(shè)計(jì)進(jìn)行一些改動(dòng),重要的是讓我們的設(shè)計(jì)適合實(shí)驗(yàn)的目的,只有實(shí)行了充分控制的實(shí)驗(yàn),其結(jié)果才能令人信服,并且按照研究結(jié)果的適用性加以推廣。

3 良好物理教育實(shí)驗(yàn)研究設(shè)計(jì)的特征

在物理教育準(zhǔn)實(shí)驗(yàn)研究設(shè)計(jì)時(shí),為了能提供公正的、沒(méi)有偏差的組間比較數(shù)據(jù)結(jié)果,研究者需要盡力確保任何組間差異都能歸因于研究的自變量里,在實(shí)驗(yàn)設(shè)計(jì)時(shí),需要做到以下幾點(diǎn):(1)減少變量的混淆或使這種混淆處于最小程度;(2)辨別和控制無(wú)關(guān)變量,縮小或減少它們的影響;(3)通過(guò)數(shù)據(jù)獲得充分的信息,以滿足檢驗(yàn)實(shí)驗(yàn)假設(shè)的條件和統(tǒng)計(jì)的精確性。理論上我們用實(shí)驗(yàn)效度來(lái)評(píng)價(jià)實(shí)驗(yàn)設(shè)計(jì)的好壞,實(shí)驗(yàn)效度有四種類型:內(nèi)在效度關(guān)注的是因變量的變化是否由實(shí)驗(yàn)變量所引起的;外在效度是指實(shí)驗(yàn)結(jié)論的外推范圍;結(jié)構(gòu)效度是對(duì)自變量結(jié)構(gòu)和因變量結(jié)構(gòu)的明確界定;統(tǒng)計(jì)結(jié)論的效度是對(duì)實(shí)驗(yàn)組和控制組之間是否存在差異和精確性檢驗(yàn)。

物理實(shí)驗(yàn)研究中遵循實(shí)驗(yàn)可重復(fù)性要求。在物理教育實(shí)驗(yàn)/準(zhǔn)實(shí)驗(yàn)研究中,這個(gè)要求可能不會(huì)特別有效。物理教育實(shí)驗(yàn)研究是將復(fù)雜的現(xiàn)象分成可測(cè)量的變量,然后僅僅聚焦在其中的某些變量,如同盲人摸象,每個(gè)研究的價(jià)值在于它提供了部分信息,但無(wú)法獲得整體的視角。物理教育實(shí)驗(yàn)研究結(jié)果不僅具有樣本依賴性,而樣本中的每個(gè)個(gè)體之間也存在差異。理想的物理教育實(shí)驗(yàn)研究是從某一個(gè)總體樣本中隨機(jī)性抽取實(shí)驗(yàn)樣本,然后隨機(jī)分配到不同組中,其研究結(jié)果在一定的可靠程度上可以代表對(duì)應(yīng)的這個(gè)總體樣本的情況(外在效度)。例如,一項(xiàng)以各大學(xué)文科物理課程的學(xué)生作為總體樣本進(jìn)行抽樣的某一項(xiàng)物理教育實(shí)驗(yàn)研究,其研究結(jié)果在一定的可靠性上可以外推到不同大學(xué)的文科物理課程,但是不能輕率地外推到理工科物理課程。涉及物理教育準(zhǔn)實(shí)驗(yàn)研究的效度時(shí),研究者必須對(duì)它的缺陷有清楚的認(rèn)識(shí),對(duì)實(shí)驗(yàn)組和控制組間的對(duì)等性進(jìn)行確定,在研究報(bào)告中需要非常詳盡說(shuō)明實(shí)驗(yàn)的條件細(xì)節(jié),同時(shí)在邏輯上對(duì)其可能的代表性和可推廣性加以論證。

4 物理教育實(shí)驗(yàn)/準(zhǔn)實(shí)驗(yàn)研究的數(shù)據(jù)分析

本系列文章中的第2篇我們介紹了描述統(tǒng)計(jì)在物理教育研究中的應(yīng)用[5],而物理教育實(shí)驗(yàn)/準(zhǔn)實(shí)驗(yàn)研究更依賴于推斷統(tǒng)計(jì)進(jìn)行數(shù)據(jù)分析,數(shù)據(jù)差異的顯著性檢驗(yàn)是推斷統(tǒng)計(jì)的重要內(nèi)容,在物理教育實(shí)驗(yàn)/準(zhǔn)實(shí)驗(yàn)研究中具有廣泛的應(yīng)用,其目的是對(duì)兩組數(shù)據(jù)之間是否存在顯著性差異進(jìn)行判斷。

我們?nèi)匀灰躁P(guān)于“不同的教學(xué)方法影響大學(xué)生物理成績(jī)的研究”為例,若該項(xiàng)研究使用“準(zhǔn)實(shí)驗(yàn)設(shè)計(jì)中的前測(cè)—后測(cè)不等組設(shè)計(jì)”,如果兩個(gè)班的前測(cè)數(shù)據(jù)之間差異性不顯著,則表明兩個(gè)班的測(cè)量變量在實(shí)驗(yàn)開始時(shí)是相當(dāng)?shù)?。?jīng)過(guò)一段時(shí)間教學(xué)之后再進(jìn)行后測(cè),如果實(shí)驗(yàn)班的后測(cè)成績(jī)平均值高于對(duì)照班,并且兩組數(shù)據(jù)差異性檢驗(yàn)的結(jié)果表明它們之間存在顯著差異,假設(shè)沒(méi)有理由懷疑兩個(gè)班在其他方面存在差異(如學(xué)生能力、態(tài)度、動(dòng)機(jī)、教師差異等),則結(jié)果表明實(shí)驗(yàn)班采用的新的教學(xué)方法對(duì)提高學(xué)生物理成績(jī)是有效的。

有許多推斷統(tǒng)計(jì)的方法,在統(tǒng)計(jì)學(xué)教科書中有詳細(xì)的講解,有一些方法在計(jì)算上很復(fù)雜,大部分?jǐn)?shù)據(jù)分析可以通過(guò)計(jì)算機(jī)進(jìn)行,因此對(duì)研究者而言,更重要的是理解不同方法的原理和適用條件。研究者需要根據(jù)研究目標(biāo)、樣本類型、數(shù)據(jù)類型[6]、數(shù)據(jù)分布形態(tài)等,選擇適合的推斷統(tǒng)計(jì)方法,表1給出一些基本的差異性檢驗(yàn)的方法和適用條件,并以參考文獻(xiàn)編號(hào)形式標(biāo)出這些方法在PER 中的應(yīng)用案例,方便讀者查閱。

表1只提供了PER 實(shí)驗(yàn)/準(zhǔn)實(shí)驗(yàn)研究中較為常見的幾個(gè)統(tǒng)計(jì)方法及其適用條件,并不是全部。其中涉及很多專業(yè)名詞,需要系統(tǒng)學(xué)習(xí)過(guò)推斷統(tǒng)計(jì)才能理解。

用一盒拼圖來(lái)比喻,本文試圖描繪一個(gè)印在包裝盒外面的那張簡(jiǎn)圖,目的是提供一個(gè)指引,實(shí)踐者必須自己打開盒子,對(duì)每一個(gè)碎片進(jìn)行查看和研究,努力地將他們一張一張地拼接成完整的圖像。物理教育研究領(lǐng)域是一個(gè)多元化、復(fù)雜但是非常有魅力的研究領(lǐng)域[15]。也是一個(gè)專業(yè)化很強(qiáng)、很有挑戰(zhàn)的領(lǐng)域,進(jìn)入這個(gè)領(lǐng)域需要專業(yè)化的學(xué)習(xí)。

物理教育的共同體需要證據(jù)作為評(píng)價(jià)和行動(dòng)的基礎(chǔ),政策的制定應(yīng)該建立在已有研究的基礎(chǔ)上,將未經(jīng)實(shí)驗(yàn)和檢驗(yàn)的建議付諸教育實(shí)踐,大規(guī)模推行是不合理的。物理教育實(shí)驗(yàn)/準(zhǔn)實(shí)驗(yàn)研究可以增進(jìn)人們對(duì)物理教育的理解,從而改善物理教育實(shí)踐。

表1 差異性檢驗(yàn)方法及適用條件

續(xù)表