高中學(xué)業(yè)水平自適應(yīng)測(cè)評(píng)系統(tǒng)研究

郭宇

◆摘? 要：為適應(yīng)我國(guó)普通高中學(xué)業(yè)水平考試部分科目一年多考、考試規(guī)模大、考點(diǎn)分布廣的特點(diǎn)，我們基于項(xiàng)目反應(yīng)理論開(kāi)發(fā)了高中學(xué)業(yè)水平自適應(yīng)測(cè)評(píng)系統(tǒng)，可用于實(shí)行一年多考科目的客觀題部分的日常測(cè)試與練習(xí)。

◆關(guān)鍵詞：高中學(xué)業(yè)水平;自適應(yīng)測(cè)試;在線考試

新高考制度下，為適應(yīng)我國(guó)普通高中學(xué)業(yè)水平考試部分科目一年多考、考試規(guī)模大、考點(diǎn)分布廣的特點(diǎn)，我們基于項(xiàng)目反應(yīng)理論開(kāi)發(fā)了高中學(xué)業(yè)水平自適應(yīng)測(cè)評(píng)系統(tǒng)，可用于實(shí)行一年多考科目的客觀題部分的日常測(cè)試與練習(xí)。以高中信息技術(shù)課程為例，以項(xiàng)目反應(yīng)理論為基礎(chǔ)建立題庫(kù)，根據(jù)受測(cè)者作答情況自動(dòng)選擇試題，對(duì)高中學(xué)生信息技術(shù)科目的學(xué)習(xí)情況做出評(píng)估。

本系統(tǒng)是依據(jù)計(jì)算機(jī)自適應(yīng)測(cè)驗(yàn)（簡(jiǎn)稱(chēng)CAT）的相關(guān)理論，借助當(dāng)前使用范圍最廣的開(kāi)源軟件R語(yǔ)言作為基礎(chǔ)開(kāi)發(fā)平臺(tái)，核心算法采用catR開(kāi)發(fā)而成。系統(tǒng)主要由測(cè)試端、管理端和系統(tǒng)幫助三部分構(gòu)成，下面將就系統(tǒng)架構(gòu)和系統(tǒng)功能對(duì)本系統(tǒng)進(jìn)行介紹。

一、系統(tǒng)功能

本系統(tǒng)主要包含測(cè)試端、管理端和系統(tǒng)幫助三部分。測(cè)試端包括測(cè)試界面、環(huán)境加載程序、能力估計(jì)程序、選題策略程序、終止規(guī)則程序。管理端包括數(shù)據(jù)導(dǎo)入程序、數(shù)據(jù)校驗(yàn)程序、環(huán)境生成程序、進(jìn)度監(jiān)控程序、結(jié)果導(dǎo)出程序。系統(tǒng)幫助包括系統(tǒng)簡(jiǎn)介、測(cè)試部署說(shuō)明、題庫(kù)導(dǎo)入說(shuō)明、環(huán)境設(shè)置說(shuō)明、結(jié)果導(dǎo)出說(shuō)明。

上述模塊中，測(cè)試端主要負(fù)責(zé)完成CAT測(cè)試任務(wù)，選題策略程序可根據(jù)每一個(gè)測(cè)試者的能力水平選取“合適”的試題，將測(cè)試者的真實(shí)水平展現(xiàn)出來(lái)。管理端主要針對(duì)測(cè)驗(yàn)管理人員：測(cè)驗(yàn)管理人員將經(jīng)過(guò)嚴(yán)密測(cè)試檢驗(yàn)的題庫(kù)導(dǎo)入測(cè)試系統(tǒng)，通過(guò)指定各種參數(shù)，智能化搭建測(cè)試端環(huán)境;測(cè)驗(yàn)管理人員還可以通過(guò)管理端進(jìn)行后臺(tái)監(jiān)控，查看當(dāng)前測(cè)試進(jìn)度，做到全程掌控。系統(tǒng)幫助模塊主要為測(cè)驗(yàn)管理者使用該系統(tǒng)提供入門(mén)向?qū)Х?wù)，本系統(tǒng)還有相應(yīng)的操作視頻可供用戶參考。

（一）測(cè)試端功能

測(cè)試端方面，本系統(tǒng)支持多種IRT模型、選題策略和終止規(guī)則，基本包含了當(dāng)前常規(guī)基于IRT的CAT測(cè)試?yán)碚摰乃泄δ堋Ｔ谀Ｐ瓦x擇方面，本系統(tǒng)支持二級(jí)計(jì)分和多級(jí)計(jì)分兩種形式的模型，其中，二級(jí)計(jì)分模型包括單參數(shù)、雙參數(shù)和三參數(shù)模型，多級(jí)計(jì)分模型為等級(jí)計(jì)分模型;選題策略方面，本系統(tǒng)支持隨機(jī)選題和基于信息量?jī)纱箢?lèi)，其中基于信息量的選題策略主要包括Fisher信息量、KL信息量、極大似然加權(quán)信息量等;終止規(guī)則支持定長(zhǎng)規(guī)則（默認(rèn)20題）、不定長(zhǎng)規(guī)則（估計(jì)誤差默認(rèn)0.3）以及定長(zhǎng)和不定長(zhǎng)相結(jié)合的規(guī)則。

（二）管理端功能

管理端方面，本系統(tǒng)支持?jǐn)?shù)據(jù)導(dǎo)入、測(cè)評(píng)部署、測(cè)評(píng)監(jiān)控和結(jié)果導(dǎo)出四大功能。數(shù)據(jù)導(dǎo)入包括題庫(kù)數(shù)據(jù)導(dǎo)入程序、測(cè)試用戶導(dǎo)入、數(shù)據(jù)校驗(yàn)、測(cè)試賬號(hào)生成。測(cè)評(píng)部署包括生成測(cè)試題庫(kù)環(huán)境、生成測(cè)試參數(shù)環(huán)境。測(cè)評(píng)監(jiān)控包括測(cè)評(píng)進(jìn)度匯總、單人進(jìn)度查詢(xún)、題目曝光匯總、單題曝光查詢(xún)。結(jié)果導(dǎo)出包括數(shù)據(jù)預(yù)覽、數(shù)據(jù)下載、報(bào)告預(yù)覽、報(bào)告下載。

二、測(cè)試流程

按照測(cè)試進(jìn)程，CAT測(cè)試通常包含初始階段、測(cè)試階段、終止階段和結(jié)果報(bào)告等四個(gè)階段。

（一）初始階段

初始階段需要回答：測(cè)試先考哪一道題？如何給被試抽取題目？本系統(tǒng)采取大多數(shù)計(jì)算機(jī)自適應(yīng)測(cè)驗(yàn)的起點(diǎn)辦法，在難度適中的試題中隨機(jī)抽取一道試題。

（二）測(cè)試階段

被試作答第一道題后，系統(tǒng)會(huì)根據(jù)被試的作答反應(yīng)（得分）對(duì)被試的當(dāng)前能力進(jìn)行估計(jì);之后，系統(tǒng)會(huì)根據(jù)當(dāng)前能力估計(jì)值選出下一題給被試作答，然后再次進(jìn)行能力估計(jì)，估計(jì)完成后系統(tǒng)會(huì)判斷該被試是否滿足測(cè)驗(yàn)終止條件，如果滿足則退出測(cè)試，反之則繼續(xù)作答。

（三）終止階段

測(cè)驗(yàn)終止的標(biāo)準(zhǔn)主要有兩種：固定測(cè)驗(yàn)長(zhǎng)度和不固定測(cè)驗(yàn)長(zhǎng)度。固定測(cè)驗(yàn)長(zhǎng)度：考生作答試題數(shù)量達(dá)到規(guī)定的上限，便中止測(cè)驗(yàn);不固定測(cè)驗(yàn)長(zhǎng)度：以項(xiàng)目最大項(xiàng)目信息量作為選題標(biāo)準(zhǔn)時(shí)，測(cè)驗(yàn)終止標(biāo)準(zhǔn)是測(cè)驗(yàn)信息總量達(dá)到指定的標(biāo)準(zhǔn)便終止測(cè)驗(yàn);以貝葉斯估計(jì)法作為選題標(biāo)準(zhǔn)時(shí)，測(cè)驗(yàn)終止標(biāo)準(zhǔn)是估計(jì)能力之變異數(shù)小到某個(gè)預(yù)定的標(biāo)準(zhǔn)時(shí)終止施測(cè)。

本系統(tǒng)采取綜合方法，即固定測(cè)驗(yàn)長(zhǎng)度為30題，同時(shí)設(shè)置最大信息量為15。

（四）結(jié)果報(bào)告

考生作答完成規(guī)定題量，提交試卷后，測(cè)試系統(tǒng)會(huì)在幾秒鐘之內(nèi)呈現(xiàn)該考生的此次考試成績(jī)和基本分析報(bào)告。

三、有待進(jìn)一步研究的問(wèn)題

（一）較難考察考生較高層次的認(rèn)知目標(biāo)

系統(tǒng)中的主觀題也稱(chēng)自由應(yīng)答型試題，題型包括排列題、改錯(cuò)題、填充題、簡(jiǎn)答題、應(yīng)用題、論文題、操作題、發(fā)散題、聯(lián)想題等，主要考察考生的組織材料能力、文字表達(dá)能力、綜合評(píng)價(jià)能力、思維創(chuàng)新能力等，但評(píng)分容易受到評(píng)卷人的主觀因素影響。本系統(tǒng)針對(duì)高中學(xué)業(yè)水平考試信息技術(shù)科目客觀題部分進(jìn)行了驗(yàn)證，可較好實(shí)現(xiàn)在線自適應(yīng)測(cè)評(píng)，對(duì)于主觀題部分，有待進(jìn)一步研究解決。

（二）較難基于項(xiàng)目反應(yīng)理論構(gòu)建題庫(kù)

題庫(kù)的建設(shè)屬于世界性的難題，需要大量的人力、財(cái)力和時(shí)間保障。在有限的經(jīng)費(fèi)和時(shí)間約束下，我們只能針對(duì)信息技術(shù)科目，收集了幾百道模擬試題，對(duì)知識(shí)模塊、知識(shí)點(diǎn)、區(qū)分度、難度、猜測(cè)系數(shù)、失誤系數(shù)進(jìn)行簡(jiǎn)單估計(jì)。自適應(yīng)考試能否用于大規(guī)模考試，主要是看能否基于項(xiàng)目反應(yīng)理論構(gòu)建相應(yīng)科目的試題庫(kù)，目前條件下我們難以解決題庫(kù)建設(shè)問(wèn)題，有待進(jìn)一步深入研究。

參考文獻(xiàn)

[1]路鵬.計(jì)算機(jī)自適應(yīng)測(cè)試若干關(guān)鍵技術(shù)研究[D].長(zhǎng)春：東北師范大學(xué)博士學(xué)位論文，2012：5.

[2]楊帆.Web環(huán)境下基于IRT的自適應(yīng)考試系統(tǒng)的研究與實(shí)現(xiàn)[D].成都：電子科技大學(xué)碩士學(xué)位論文，2007：5.

[3]姜火文.基于Web的自適應(yīng)考試系統(tǒng)的研究與實(shí)現(xiàn)[D].成都：電子科技大學(xué)碩士學(xué)位論文，2006：5.

重慶市教育科學(xué)十三五規(guī)劃2017年度課題：《基于CTT的高中學(xué)業(yè)水平在線測(cè)評(píng)系統(tǒng)研究》，編號(hào)：2017-00-98。