混合式教學(xué)形成性評(píng)價(jià)研究

張小娟 張 睿 杜 娟

(1同濟(jì)大學(xué)物理科學(xué)與工程學(xué)院，上海 200092； 2上海市光明中學(xué),上海 200092)

混合式教學(xué)作為一種新興的教學(xué)模式，它將兩種或多種不同的訓(xùn)練方法相結(jié)合，從而達(dá)到最優(yōu)的教學(xué)效果，例如它把傳統(tǒng)教學(xué)和在線教學(xué)充分結(jié)合起來(lái)，利用網(wǎng)絡(luò)教學(xué)和課堂教學(xué)的優(yōu)勢(shì)互補(bǔ)來(lái)提高學(xué)生的學(xué)習(xí)效果[1]。在混合式教學(xué)過(guò)程中，教師通常會(huì)通過(guò)在線測(cè)試或課堂應(yīng)答系統(tǒng)來(lái)檢驗(yàn)學(xué)生對(duì)知識(shí)點(diǎn)的掌握程度，并根據(jù)答題效果，及時(shí)調(diào)整課堂教學(xué)內(nèi)容，實(shí)現(xiàn)教學(xué)過(guò)程的精準(zhǔn)化和合理化。在形成性評(píng)價(jià)中，測(cè)試題目的質(zhì)量好壞決定了測(cè)試結(jié)果的準(zhǔn)確性，因此，選擇合適的方法來(lái)對(duì)測(cè)試題目質(zhì)量進(jìn)行評(píng)估，對(duì)于考察學(xué)生的學(xué)習(xí)效果具有重要的意義。

題目的難度和區(qū)分度是衡量題目質(zhì)量的重要指標(biāo)，在混合式教學(xué)中，不同的教學(xué)環(huán)節(jié)對(duì)測(cè)試題的難度和區(qū)分度的要求也有所不同，這就需要運(yùn)用合理的方法來(lái)對(duì)題目進(jìn)行篩選。傳統(tǒng)的方法通過(guò)題目的失分率確定難度系數(shù)，這樣的方法由于樣本的限制，往往產(chǎn)生較大的誤差，不利于對(duì)學(xué)生的學(xué)習(xí)效果做出準(zhǔn)確的評(píng)價(jià)。而隨著大數(shù)據(jù)時(shí)代的到來(lái)，基于教育大數(shù)據(jù)的個(gè)性化教育也受到廣泛的關(guān)注，對(duì)教育數(shù)據(jù)的有效挖掘，對(duì)提高教育管理效率和學(xué)習(xí)效率具有重要的意義[2]。基于項(xiàng)目反應(yīng)理論的二參數(shù)邏輯斯蒂模型中包含了能力參數(shù)、難度和區(qū)分度多個(gè)指標(biāo)，既能預(yù)測(cè)學(xué)生的答題概率也能判斷學(xué)生的能力等級(jí)，能夠滿足對(duì)學(xué)生的個(gè)性化評(píng)價(jià)，為混合式教學(xué)的順利開(kāi)展提供有力的支持。

1 測(cè)試題指標(biāo)計(jì)算方法分析

1.1 二參數(shù)邏輯斯蒂模型

項(xiàng)目反應(yīng)理論將學(xué)習(xí)者對(duì)測(cè)試項(xiàng)目的反應(yīng)(應(yīng)答)以表示測(cè)試項(xiàng)目特性的項(xiàng)目參數(shù)和表示被測(cè)試者能力的能力參數(shù)及其組合的統(tǒng)計(jì)概率模型所表示。單參數(shù)邏輯斯蒂模型和二參數(shù)邏輯斯蒂模型都是典型的項(xiàng)目反應(yīng)理論模型[3]。

二參數(shù)邏輯斯蒂模型如公式(1)所示。

(1)

在二參數(shù)邏輯斯蒂模型公式中，P(θ)表示被測(cè)試者正答的概率；D為量表因子，其值固定取1.7；θ表示被測(cè)試者的能力參數(shù)；b表示難度參數(shù)，a表示區(qū)分度參數(shù)[3]。

1.2 數(shù)據(jù)選取

1) 樣本來(lái)源

文章以上海市光明中學(xué)2017級(jí)267名高一學(xué)生第一學(xué)期物理期末考試成績(jī)和同濟(jì)大學(xué)2017級(jí)446名大一新生第一學(xué)期物理期末考試成績(jī)?yōu)槔槍?duì)學(xué)生題目的答題情況來(lái)進(jìn)行數(shù)據(jù)分析。

2) 試卷效度、信度分析

由于試卷題目的效度一般在0.4～0.7為最佳[5]，為保證計(jì)算結(jié)果的可靠性，筆者分別將兩套試卷中近似值在0.3以下的題目刪掉。

3) 能力等級(jí)劃分

本文嘗試?yán)脙煞N方法來(lái)劃分學(xué)生的能力等級(jí)。

方法1是按照學(xué)生的標(biāo)準(zhǔn)分來(lái)進(jìn)行劃分，高一新生共劃分為由高到低A、B、C、D 4個(gè)等級(jí)，對(duì)應(yīng)能力參數(shù)為0.853、0.701、0.557、0.421；大一新生共劃分為由高到低A、B、C、D、E 5個(gè)等級(jí)，對(duì)應(yīng)能力參數(shù)為0.894，0.767，0.615，0.46，0.289。

方法2是按照每10分為一個(gè)等級(jí)來(lái)劃分，共劃分為A、B、C、D、E、F、G這7個(gè)等級(jí)，每個(gè)等級(jí)對(duì)應(yīng)的學(xué)生的能力參數(shù)θ分別為0.9、0.8、0.7、0.6、0.5、0.4、0.3。

根據(jù)每個(gè)等級(jí)學(xué)生題目的正確答題人數(shù)與該等級(jí)內(nèi)總?cè)藬?shù)的比值來(lái)確定每個(gè)等級(jí)的答對(duì)率P(θ)，然后通過(guò)邏輯斯蒂回歸求出難度b和區(qū)分度a。

為了比較兩種方法算出來(lái)的a、b值哪個(gè)更可靠，分別將方法1與方法2求得的a、b值代入方法2的7個(gè)等級(jí)中求出預(yù)測(cè)的答對(duì)率。計(jì)算并比較兩種方法預(yù)測(cè)的答對(duì)率與實(shí)際的答對(duì)率的殘差平方和。經(jīng)過(guò)比較兩套試卷的結(jié)果發(fā)現(xiàn)，大部分題目使用方法2計(jì)算得到的殘差平方和小于方法1。故本文將學(xué)生的能力等級(jí)按方法2劃分為7個(gè)等級(jí)。

4) 指標(biāo)參數(shù)相關(guān)性分析

而單參數(shù)邏輯斯蒂模型則是二參數(shù)邏輯斯蒂模型的簡(jiǎn)化，其區(qū)別在于單參數(shù)邏輯斯蒂模型的區(qū)分度a的值恒為1。

本文中為了進(jìn)一步驗(yàn)證二參數(shù)邏輯斯蒂模型計(jì)算出的a、b值的可靠性，筆者嘗試采用單參數(shù)邏輯斯蒂模型和傳統(tǒng)方法來(lái)計(jì)算a、b值，并對(duì)3種方法計(jì)算出的a、b值做相關(guān)性分析。結(jié)果如表1、表2所示。

表1 難度相關(guān)性分析表

表2 區(qū)分度相關(guān)性分析表

從表1中可以發(fā)現(xiàn)，傳統(tǒng)方法、單參數(shù)邏輯斯蒂模型和二參數(shù)邏輯斯蒂模型三者在0.01水平(雙側(cè))均顯著相關(guān)，且具有強(qiáng)相關(guān)性，所以，相對(duì)來(lái)說(shuō)，3種方法預(yù)測(cè)出來(lái)的難度參數(shù)的分布是高度一致的。

由于單參數(shù)邏輯斯蒂模型的區(qū)分度均為1，所以無(wú)法做相關(guān)性分析，這里僅對(duì)傳統(tǒng)計(jì)算與二參數(shù)邏輯斯蒂模型做相關(guān)性分析，從表2中可以看出同濟(jì)大學(xué)的區(qū)分度兩者顯著相關(guān)，但相關(guān)系數(shù)不夠高，而光明中學(xué)則沒(méi)有顯著性。

5) 殘差分析

通過(guò)難度、區(qū)分度相關(guān)性分析，3種方法的預(yù)測(cè)結(jié)果在難度上相對(duì)來(lái)說(shuō)是比較一致的，那么3種方法預(yù)測(cè)出來(lái)的正確率哪個(gè)更加接近真實(shí)值呢？

圖1、圖2為用3種方法計(jì)算出來(lái)的殘差平方和的平均值以及標(biāo)準(zhǔn)差的比較圖，從圖中可以直觀地看出二參數(shù)邏輯斯蒂模型的殘差平方和的標(biāo)準(zhǔn)差以及平均值明顯小于其他兩種方法，因此，使用二參數(shù)邏輯斯蒂模型計(jì)算出來(lái)的P(θ)更接近于原始的P(θ)值，也就是說(shuō)二參數(shù)邏輯斯蒂模型估測(cè)的區(qū)分度和難度值更加可靠，所以依據(jù)二參

圖1 殘差平方和標(biāo)準(zhǔn)差比較圖

圖2 殘差平方和平均值比較圖

數(shù)邏輯斯蒂模型來(lái)計(jì)算測(cè)試題的難度和區(qū)分度還是比較合理的。

2 形成性評(píng)價(jià)在混合式教學(xué)中的應(yīng)用

混合式教學(xué)一般分為課前、課中、課后3個(gè)環(huán)節(jié)。課前環(huán)節(jié)，學(xué)生根據(jù)學(xué)習(xí)任務(wù)的需要在網(wǎng)絡(luò)學(xué)習(xí)平臺(tái)上通過(guò)相關(guān)的視頻、課件資源進(jìn)行學(xué)習(xí)，起到一個(gè)課前預(yù)習(xí)的效果。課中環(huán)節(jié)，教師組織線下授課，進(jìn)行課堂講解、答疑和討論。課后環(huán)節(jié)，學(xué)生可在網(wǎng)絡(luò)平臺(tái)上進(jìn)行作業(yè)練習(xí)、在線討論、評(píng)論總結(jié)等[7]。具體流程如圖3所示。

圖3 混合式教學(xué)流程圖

在混合式教學(xué)中，往往會(huì)通過(guò)測(cè)試題來(lái)對(duì)學(xué)生進(jìn)行形成性評(píng)價(jià)，在進(jìn)行教學(xué)設(shè)計(jì)時(shí)，可根據(jù)布魯姆的教育目標(biāo)分類理論，結(jié)合線上和線下教學(xué)的特點(diǎn)，針對(duì)學(xué)習(xí)目標(biāo)，根據(jù)不同教學(xué)環(huán)節(jié)教學(xué)需要設(shè)置不同難度、區(qū)分度的題目。

以大一試卷為例，根據(jù)學(xué)生的答對(duì)率對(duì)題目作聚類分析，聚類情況如表3、表4、表5所示。

上述表格中，表3的答對(duì)率在0.8～0.95之間，表4的答對(duì)率在0.54～0.75之間，表5的答對(duì)率在0.30～0.48之間，從表格數(shù)據(jù)中可以發(fā)現(xiàn)難度、區(qū)分度的不同均會(huì)影響答題的正確率。

表3 大一試題題目答對(duì)率聚類1

表4 大一試題題目答對(duì)率聚類2

表5 大一試題題目答對(duì)率聚類3

通過(guò)二參數(shù)邏輯斯蒂模型的計(jì)算公式也可以得知，當(dāng)θ=b時(shí)，被測(cè)試者的正確概率為0.5，可以以這個(gè)0.5為基準(zhǔn)，當(dāng)區(qū)分度和被測(cè)試者能力一定的情況下，b越小，超過(guò)0.5的正確概率的人數(shù)就越多[3]。就可以根據(jù)學(xué)習(xí)任務(wù)的需求，在區(qū)分度一定的情況下，根據(jù)正確概率要求和被測(cè)試者的能力來(lái)挑選難度適宜的題目。在難度一定的情況下，區(qū)分度越大的題目，越能區(qū)分被測(cè)試者的能力。

在不同的教學(xué)環(huán)節(jié)中，又該如何應(yīng)用難度、區(qū)分度這兩個(gè)指標(biāo)來(lái)設(shè)定測(cè)試題目，實(shí)現(xiàn)對(duì)學(xué)生的形成性評(píng)價(jià)呢？

2.1 通過(guò)課堂討論環(huán)節(jié)進(jìn)行形成性評(píng)價(jià)

在課堂討論的環(huán)節(jié)中，學(xué)生的參與度是討論題目質(zhì)量好壞的重要評(píng)價(jià)標(biāo)準(zhǔn)，討論題目的難度太大，會(huì)讓學(xué)生失去課堂討論的信心，討論題目的難度太小，又會(huì)失去課堂討論的價(jià)值，在對(duì)課堂討論題目進(jìn)行選取時(shí)就應(yīng)該選擇難度系數(shù)居中、區(qū)分度大一點(diǎn)的題目。對(duì)于表3、表4、表5中給出的題目，表4對(duì)應(yīng)的題目難度系數(shù)居中，更適合用于課堂討論。

2.2 通過(guò)線上作業(yè)環(huán)節(jié)進(jìn)行形成性評(píng)價(jià)。

在課后的線上作業(yè)環(huán)節(jié)，主要是判斷學(xué)生對(duì)知識(shí)的掌握情況，題目的設(shè)置要有兼顧性和層次性。通過(guò)設(shè)置不同難度的題目可以了解學(xué)生對(duì)所學(xué)知識(shí)的掌握情況。但是就目前的大多數(shù)學(xué)習(xí)平臺(tái)來(lái)說(shuō)，線上作業(yè)的題目設(shè)置并不能實(shí)現(xiàn)個(gè)性化學(xué)習(xí)的需要，即對(duì)不同能力等級(jí)的學(xué)生很難做到個(gè)性化的題目設(shè)置。因此，要滿足學(xué)生個(gè)性化學(xué)習(xí)的需要，未來(lái)學(xué)習(xí)平臺(tái)的線上作業(yè)環(huán)節(jié)的題目的設(shè)置需要有不同的難度系數(shù)、區(qū)分度，然后按照最近發(fā)展區(qū)理論，對(duì)不同能力等級(jí)的學(xué)生設(shè)置與學(xué)生能力等級(jí)相近或者比學(xué)生能力等級(jí)稍微高一點(diǎn)的題目，從而實(shí)現(xiàn)學(xué)生的個(gè)性化發(fā)展。

2.3 利用形成性評(píng)價(jià)進(jìn)行學(xué)習(xí)預(yù)警

學(xué)習(xí)預(yù)警指按照一定的標(biāo)準(zhǔn)綜合評(píng)估學(xué)生的背景信息、學(xué)習(xí)行為、考試成績(jī)等因素，按照評(píng)估結(jié)果向?qū)W生、教師等發(fā)出提示信號(hào)，并及時(shí)提供有效且針對(duì)性強(qiáng)的干預(yù)建議[8]。長(zhǎng)期以來(lái)，預(yù)測(cè)學(xué)生的學(xué)習(xí)成績(jī)一直是許多學(xué)科的重要研究課題[9]。通過(guò)預(yù)測(cè)學(xué)習(xí)成績(jī)實(shí)現(xiàn)學(xué)習(xí)預(yù)警對(duì)于學(xué)生的形成性評(píng)價(jià)具有重要的意義。

在混合式教學(xué)中，學(xué)生會(huì)在學(xué)習(xí)的過(guò)程中產(chǎn)生大量的實(shí)時(shí)動(dòng)態(tài)數(shù)據(jù)，例如在線討論情況、視頻觀看時(shí)長(zhǎng)頻率、各教學(xué)環(huán)節(jié)答題情況等。針對(duì)答題情況，未來(lái)可以使用二參數(shù)邏輯斯蒂模型根據(jù)學(xué)生在前半學(xué)期教學(xué)環(huán)節(jié)中的題目答對(duì)率來(lái)預(yù)測(cè)學(xué)生期末成績(jī)的及格率，然后對(duì)不及格的學(xué)生進(jìn)行及時(shí)預(yù)警。

此外，教師還可以通過(guò)測(cè)試相同能力水平的學(xué)生在相同難度和區(qū)分度的題目時(shí)的正確率，通過(guò)正確率來(lái)判斷學(xué)生某一段時(shí)間的學(xué)習(xí)努力程度是否上升或者下降。對(duì)于同一個(gè)學(xué)生來(lái)講，也可以通過(guò)選取相同難度和區(qū)分度的題目來(lái)記錄學(xué)生的正答概率，通過(guò)一段時(shí)間的記錄，來(lái)預(yù)測(cè)學(xué)生的能力是否發(fā)生變化。在學(xué)習(xí)預(yù)警中選擇的題目區(qū)分度要盡量大一些，能夠區(qū)分出高低能力等級(jí)的學(xué)生。

3 結(jié)語(yǔ)

混合式教學(xué)作為一種線上學(xué)習(xí)與線下學(xué)習(xí)相結(jié)合的教學(xué)形式，這種教學(xué)形式要求通過(guò)形成性評(píng)價(jià)及時(shí)了解學(xué)情，調(diào)整教學(xué)策略。本文通過(guò)對(duì)傳統(tǒng)方法、單參數(shù)邏輯斯蒂模型和二參數(shù)邏輯斯蒂模型的比較分析，發(fā)現(xiàn)二參數(shù)邏輯斯蒂模型在預(yù)測(cè)題目難度和區(qū)分度方面具有明顯的優(yōu)勢(shì)，并且使用二參數(shù)邏輯斯蒂模型來(lái)進(jìn)行測(cè)試題指標(biāo)的計(jì)算，并根據(jù)教學(xué)要求給出混合式教學(xué)中不同環(huán)節(jié)的測(cè)試題選擇方法，也為混合式的形成性評(píng)價(jià)提供有益參考。