計(jì)算機(jī)自適應(yīng)測試系統(tǒng)設(shè)計(jì)與開發(fā)

陳明

【摘 要】隨著計(jì)算機(jī)技術(shù)和人工智能的發(fā)展，測試的手段和方法正在發(fā)生變革，運(yùn)用了自適應(yīng)測試?yán)碚摰挠?jì)算機(jī)化自適應(yīng)測試（CAT）得到了越來越廣泛的應(yīng)用。本文在介紹計(jì)算機(jī)化自適應(yīng)測試的基本概況的基礎(chǔ)上，提出了一個(gè)基于互聯(lián)網(wǎng)的網(wǎng)上自適應(yīng)測試系統(tǒng)的設(shè)計(jì)方案，然后創(chuàng)建了自適應(yīng)測試環(huán)境，對自適應(yīng)測試的原理及作者的實(shí)現(xiàn)思路提出了一些看法。

【關(guān)鍵詞】自適應(yīng)測試；計(jì)算機(jī)化自適應(yīng)測試（CAT）；項(xiàng)目反應(yīng)原理（IRT）

【Abstract】As an important method of judging peoples abilities ， the kind of examinations is becoming more and more. As the science and technology is developing continuously， computerized Adaptive Testing （CAT） is used more and more widely. This article introduces the conception of CAT. It also presents the basics in theory of it------Item Response Theory （IRT）， The author designed a Computer Adaptive Testing （CAT） blue print and developed a system based on this print. The CAT Theory and Method are introduced in this article.

【Key words】Adaptive Testing； Computerized Adaptive Testing （CAT）； Item Response Theory （IRT）

自適應(yīng)測驗(yàn)是一種新型的測試手段，操作起來各個(gè)階段都比較復(fù)雜，涉及到試題選擇與考生能力的估計(jì)，如果不適用計(jì)算機(jī)，會(huì)較難實(shí)施。與傳統(tǒng)的紙筆測試相比，其速度更快，效率更高，也更準(zhǔn)確。可以有效避免了傳統(tǒng)測驗(yàn)中能力低者做難度高的試題，能力高者做難度低的試題這類情況。

基于自適應(yīng)測試?yán)碚搧斫⒒谟?jì)算機(jī)的自適應(yīng)測試系統(tǒng)，還可以充分的進(jìn)行試題分析，試卷分析等教學(xué)信息方面的工作。可以更真實(shí)地反應(yīng)學(xué)習(xí)者的學(xué)習(xí)水平和特點(diǎn)，有利于教師對學(xué)生因材施教。

1 測試?yán)碚?/p>

計(jì)算機(jī)自適應(yīng)測驗(yàn)建立在項(xiàng)目反應(yīng)理論的基礎(chǔ)上，從建設(shè)題庫到選擇試題，全部以項(xiàng)目反應(yīng)理論為指導(dǎo)。“IRT稱為項(xiàng)目特征曲線或潛在特質(zhì)理論，它是根據(jù)某一數(shù)學(xué)模型，用項(xiàng)目特征曲線參數(shù)估計(jì)潛在特質(zhì)的一種測量理論。”其中，最重要的兩個(gè)概念是”潛在特質(zhì)”和”項(xiàng)目特征曲線”。“潛在特質(zhì)是指人具有相對穩(wěn)定，支配其對相反的測驗(yàn)做出反應(yīng)，并使反應(yīng)表現(xiàn)出一致性的內(nèi)在特征，一般用θ表示。決定某一行為的潛在特質(zhì)往往不是一種，潛在特質(zhì)的集合稱為潛在特質(zhì)空間。”

1.1 經(jīng)典測試?yán)碚摚–TT）和項(xiàng)目反應(yīng)理論（IRT）的比較

在現(xiàn)代教育測量當(dāng)中主要有兩種指導(dǎo)理論：經(jīng)典測試?yán)碚摵晚?xiàng)目反應(yīng)理論。它們都有各自完整的試題分析的指標(biāo)體系和評(píng)價(jià)標(biāo)準(zhǔn)，例如：難度，區(qū)分度、標(biāo)準(zhǔn)誤差以及信度等。

一般情況下，絕大多數(shù)紙筆考試是基于經(jīng)典測試?yán)碚摰模孕哦龋Ф龋瑓^(qū)分度等為主要測量特征。但是經(jīng)典測試?yán)碚撚幸粋€(gè)顯著的缺點(diǎn)，被測試者的分?jǐn)?shù)與題目的難易程度相關(guān)，即題目難度不會(huì)因?yàn)楸粶y試者能力的高低而改變。項(xiàng)目反應(yīng)理論正好可以克服這樣的缺點(diǎn)，它依據(jù)被測試者的能力，根據(jù)不同的被測試者具體情況來出題，可以很好的克服傳統(tǒng)測試?yán)碚摰娜秉c(diǎn)。

1.2 項(xiàng)目分析參數(shù)

好設(shè)置合理的測試題目，需要對每一個(gè)題目進(jìn)行分析，這包括難度，區(qū)分度，效度以及信度等。“難度就是試題的難易程度，是衡量一道題目質(zhì)量的一個(gè)重要指標(biāo)，難度和區(qū)分度共同影響并決定測試的鑒別性。”難度一般用可以用以下公式計(jì)算：P=R÷N（其中P代表試題的難度指數(shù)，R代表試題的答對人數(shù)，N代表考生人數(shù)）。“區(qū)分度是測評(píng)試題區(qū)分應(yīng)試者能力水平高低的指標(biāo)。”試題區(qū)分度高，則能夠拉開不同水平應(yīng)試者分?jǐn)?shù)的距離，使水平高者得高分，反之得低分。區(qū)分度可用以下公式計(jì)算：D=（H-L）÷N（其中D代表區(qū)分度指數(shù)，H代表高分組答對題的人數(shù)，L代表低分組答對題的人數(shù)，N代表高分組與低分組人數(shù)之和）。信度是指人測試結(jié)果的一致性或穩(wěn)定性，穩(wěn)定性越大，一致的程度越高，就意味著測試結(jié)果越可靠。一般來說，測試的信度要控制在0.7以上。效度是指測試的有效性和正確性，即測試是否有效測量了它要測定的東西，是否達(dá)到它所預(yù)定的測評(píng)目標(biāo)。效度是一個(gè)相對概念，而不是一個(gè)絕對概念，即效度只有高低之分，而沒有全部有效和全部無效之分。

1.3 項(xiàng)目反應(yīng)模型

項(xiàng)目反應(yīng)理論（IRT）一種先進(jìn)的測驗(yàn)理論。基于這一理論的測驗(yàn)?zāi)Ｐ头Q為IRT模型。IRT模型是一種數(shù)學(xué)模型，他定義了被測試者對試題的反應(yīng)和潛在能力特質(zhì)之間的關(guān)系。項(xiàng)目反應(yīng)理論（IRT）建立了被測試者反應(yīng)與試題參數(shù)和能力水平之間的非線性模型，具有參數(shù)不變性，估計(jì)出的能力值不依賴于測試題目樣本的特性，同時(shí)可以根據(jù)題目信息量，選擇與被測試者能力相匹配的題目，直到達(dá)到預(yù)定的測試精度要求。

2 自適應(yīng)在線測試系統(tǒng)設(shè)計(jì)

2.1 自適應(yīng)考試模型流程

此次考試模型設(shè)計(jì)通過測驗(yàn)算法來實(shí)現(xiàn)的。首先為被試者確定一個(gè)初始的特質(zhì)水平估計(jì)值θ，根據(jù)這個(gè)值，給出第一個(gè)測驗(yàn)項(xiàng)目，答題之后，系統(tǒng)自動(dòng)估計(jì)其能力值θ，再根據(jù)這個(gè)值來選擇下一道題，并以此類推，直到測驗(yàn)條件滿足，結(jié)束答題。

2.2 自適應(yīng)考試系統(tǒng)模型設(shè)計(jì)

測試考試系統(tǒng)采用三參數(shù)模型，難度、區(qū)分度和猜測指標(biāo)。在建立題庫時(shí)，題目的難度、區(qū)分度指標(biāo)都是由有經(jīng)驗(yàn)的教師或者是該領(lǐng)域的專家進(jìn)行初始設(shè)定，有一定的權(quán)威性。在以后考試的過程中可以根據(jù)實(shí)際情況進(jìn)行修改。初始測試項(xiàng)目的選擇：在初始項(xiàng)目中假設(shè)在測試開始前已經(jīng)知道了所測試對象的相關(guān)情況，我們就以以往參加過測試的被測試者特質(zhì)水平的平均值為初始估計(jì)值。應(yīng)試者能力水平的估計(jì)：通過最大似然法通過被測試者的似然函數(shù)區(qū)最大值來求測試者的能力參數(shù)θ。測試項(xiàng)目的選擇：在考生答題完畢，系統(tǒng)對次此考試進(jìn)行測試項(xiàng)目分析，算出考生的能力參數(shù)θ，采用項(xiàng)目反應(yīng)的Logistic模型中的三參數(shù)模式。

3 在線考試系統(tǒng)的設(shè)計(jì)

3.1 系統(tǒng)總體設(shè)計(jì)

系統(tǒng)包括了用戶注冊、登錄、參加在線考試以及管理員進(jìn)行試題錄入、修改、刪除、成績查詢、管理等功能，具有開放性、方便性和靈活性。可以實(shí)現(xiàn)向題庫添加、修改和刪除試題。對考生進(jìn)行有效的身份驗(yàn)證登錄后，選擇進(jìn)入考試系統(tǒng)，并要求在規(guī)定的時(shí)間內(nèi)進(jìn)行答題，當(dāng)達(dá)到規(guī)定的時(shí)間后，系統(tǒng)將自動(dòng)予以提示。一旦考生做完交卷后便能立即看到自己的考試成績，并且其分?jǐn)?shù)將被記入庫中以供審核和查閱；另外，還可完全由計(jì)算機(jī)自動(dòng)靈活、隨機(jī)的抽取試題庫中的各類試題組成各種形式的試卷，其內(nèi)容會(huì)隨著庫中試題的改變而改變，而且，不同的考生生成的試題是不同的。在線考試系統(tǒng)的結(jié)構(gòu)圖1所示：

3.2 題型、數(shù)據(jù)庫設(shè)計(jì)

考試系統(tǒng)的核心部分是數(shù)據(jù)庫的設(shè)計(jì)，系統(tǒng)能夠快速合理的從后臺(tái)的數(shù)據(jù)庫中檢索出相關(guān)的數(shù)據(jù)。數(shù)據(jù)庫中表的設(shè)計(jì)通常，每一類型的試題都應(yīng)有一個(gè)表結(jié)構(gòu)。但考慮到目前系統(tǒng)存貯空間可以很大。我們采用把全部試題集中在一起的方案來建立數(shù)據(jù)（下轉(zhuǎn)第277頁）（上接第283頁）表，每道客觀題均有四個(gè)備選答案項(xiàng)，每個(gè)試題均具有題型，分值等數(shù)據(jù)段表示其屬性。字段名一般是相應(yīng)的英文單詞。這樣，查詢起來較方便，會(huì)節(jié)約時(shí)間，也不致于造成數(shù)據(jù)十分雜亂等。

4 功能模塊詳細(xì)設(shè)計(jì)

考試系統(tǒng)主要包括以下模塊

4.1 系統(tǒng)管理模塊

管理員可以向題庫中添加各種類型且符合要求的試題，也可以對它們進(jìn)行修改和刪除。同時(shí)，管理員也能對用戶、考試題目、考試記錄等數(shù)據(jù)進(jìn)行管理。

4.2 成績管理

考生每次考試的成績都會(huì)被錄入數(shù)據(jù)庫，系統(tǒng)對這些數(shù)據(jù)進(jìn)行加工統(tǒng)計(jì)分析。提供學(xué)生在線查看學(xué)生的成績。

4.3 考試試卷管理系統(tǒng)

包括試卷的考試時(shí)間，單選多選的題量以及單選多選的分值（設(shè)定試卷的各項(xiàng)數(shù)值）。考試監(jiān)控在線查看學(xué)生的到場及交卷情況。在線閱卷是針對主觀試題的測試者在提交后，通過網(wǎng)絡(luò)把答題的內(nèi)容傳到管理員（這里一般的教師就是管理員）的在線閱卷的瀏覽器上進(jìn)行閱卷。

4.4 用戶管理

進(jìn)行用戶的添加，刪除，查詢和登陸權(quán)限的設(shè)定。

4.5 在線考試模塊

考生登錄后，只要選擇考試以后，就可以調(diào)出試卷進(jìn)行在線考試。為了實(shí)現(xiàn)動(dòng)態(tài)隨機(jī)不重復(fù)的抽取試題，需要在選題過程中每選出一題，就要在試題庫中作相應(yīng)的標(biāo)志，以便下次不會(huì)重復(fù)取出此題。試卷出來后要對試題庫中的標(biāo)志位復(fù)原。這樣就會(huì)使每個(gè)考生的試卷都不同。考生的其答題信息通過單、復(fù)選按鈕選擇答案來反應(yīng)。考試結(jié)束采取自主交卷和到了規(guī)定的時(shí)間自動(dòng)題示有機(jī)結(jié)合的方式辦法予以實(shí)現(xiàn)。

用戶注冊模塊

該模塊的功能是實(shí)現(xiàn)用戶遠(yuǎn)程注冊。用戶輸入想要注冊的用戶名、密碼、重復(fù)密碼、真實(shí)姓名和學(xué)號(hào)，提交之后由系統(tǒng)判斷該用戶是否已經(jīng)存在，如果存在，就給出相應(yīng)信息，如果不存在，就把用戶輸入的用戶名和密碼寫到數(shù)據(jù)庫中，完成注冊。當(dāng)然，在進(jìn)入系統(tǒng)后，無論是系統(tǒng)管理員還是普通用戶都可以修改更新自己的個(gè)人信息資料。

5 小結(jié)

本文通過對項(xiàng)目反應(yīng)理論的研究給出了一個(gè)計(jì)算機(jī)網(wǎng)絡(luò)在線考試系統(tǒng)的設(shè)計(jì)模型，可以提高測試的效率，才外還克服了傳統(tǒng)組卷方法的隨機(jī)性和偶然性，提高了隨機(jī)組卷的合理性，實(shí)現(xiàn)透明管理，增強(qiáng)了測試的安全性，教師可以輕松的對題庫進(jìn)行操作和管理，能夠方便的查詢試題信息、考生信息和考試成績，并在此基礎(chǔ)上對成績進(jìn)行分析，極大的提高了效率。

【參考文獻(xiàn)】

[1]李克東.教育技術(shù)學(xué)研究方法[M].北京師法大學(xué)出版社.

[2]傅德榮.教育信息處理[M].北京師范大學(xué)出版社.

[3]向廣莉.CAT在遠(yuǎn)程教育中的應(yīng)用[J].湖北教育學(xué)院學(xué)報(bào)2002，19（2）.

[4]何利平.C程序設(shè)計(jì)非標(biāo)準(zhǔn)化試題CAT模型的建立[J].衡陽師范學(xué)院學(xué)報(bào)2003，24（3）.

[5]田懷鳳.機(jī)助自適應(yīng)考試CAT系統(tǒng)題庫的仿真研究[J].計(jì)算機(jī)仿真2005，22（7）.

[6]肖艷群.基于IRT理論的CAT系統(tǒng)設(shè)計(jì)[J].揚(yáng)州職業(yè)大學(xué)學(xué)報(bào)，8（4）.

[責(zé)任編輯：朱麗娜]