計算機自適應測試系統設計與開發

陳明

【摘 要】隨著計算機技術和人工智能的發展，測試的手段和方法正在發生變革，運用了自適應測試理論的計算機化自適應測試（CAT）得到了越來越廣泛的應用。本文在介紹計算機化自適應測試的基本概況的基礎上，提出了一個基于互聯網的網上自適應測試系統的設計方案，然后創建了自適應測試環境，對自適應測試的原理及作者的實現思路提出了一些看法。

【關鍵詞】自適應測試；計算機化自適應測試（CAT）；項目反應原理（IRT）

【Abstract】As an important method of judging peoples abilities ， the kind of examinations is becoming more and more. As the science and technology is developing continuously， computerized Adaptive Testing （CAT） is used more and more widely. This article introduces the conception of CAT. It also presents the basics in theory of it------Item Response Theory （IRT）， The author designed a Computer Adaptive Testing （CAT） blue print and developed a system based on this print. The CAT Theory and Method are introduced in this article.

【Key words】Adaptive Testing； Computerized Adaptive Testing （CAT）； Item Response Theory （IRT）

自適應測驗是一種新型的測試手段，操作起來各個階段都比較復雜，涉及到試題選擇與考生能力的估計，如果不適用計算機，會較難實施。與傳統的紙筆測試相比，其速度更快，效率更高，也更準確。可以有效避免了傳統測驗中能力低者做難度高的試題，能力高者做難度低的試題這類情況。

基于自適應測試理論來建立基于計算機的自適應測試系統，還可以充分的進行試題分析，試卷分析等教學信息方面的工作。可以更真實地反應學習者的學習水平和特點，有利于教師對學生因材施教。

1 測試理論

計算機自適應測驗建立在項目反應理論的基礎上，從建設題庫到選擇試題，全部以項目反應理論為指導。“IRT稱為項目特征曲線或潛在特質理論，它是根據某一數學模型，用項目特征曲線參數估計潛在特質的一種測量理論。”其中，最重要的兩個概念是”潛在特質”和”項目特征曲線”。“潛在特質是指人具有相對穩定，支配其對相反的測驗做出反應，并使反應表現出一致性的內在特征，一般用θ表示。決定某一行為的潛在特質往往不是一種，潛在特質的集合稱為潛在特質空間。”

1.1 經典測試理論（CTT）和項目反應理論（IRT）的比較

在現代教育測量當中主要有兩種指導理論：經典測試理論和項目反應理論。它們都有各自完整的試題分析的指標體系和評價標準，例如：難度，區分度、標準誤差以及信度等。

一般情況下，絕大多數紙筆考試是基于經典測試理論的，它以信度，效度，區分度等為主要測量特征。但是經典測試理論有一個顯著的缺點，被測試者的分數與題目的難易程度相關，即題目難度不會因為被測試者能力的高低而改變。項目反應理論正好可以克服這樣的缺點，它依據被測試者的能力，根據不同的被測試者具體情況來出題，可以很好的克服傳統測試理論的缺點。

1.2 項目分析參數

好設置合理的測試題目，需要對每一個題目進行分析，這包括難度，區分度，效度以及信度等。“難度就是試題的難易程度，是衡量一道題目質量的一個重要指標，難度和區分度共同影響并決定測試的鑒別性。”難度一般用可以用以下公式計算：P=R÷N（其中P代表試題的難度指數，R代表試題的答對人數，N代表考生人數）。“區分度是測評試題區分應試者能力水平高低的指標。”試題區分度高，則能夠拉開不同水平應試者分數的距離，使水平高者得高分，反之得低分。區分度可用以下公式計算：D=（H-L）÷N（其中D代表區分度指數，H代表高分組答對題的人數，L代表低分組答對題的人數，N代表高分組與低分組人數之和）。信度是指人測試結果的一致性或穩定性，穩定性越大，一致的程度越高，就意味著測試結果越可靠。一般來說，測試的信度要控制在0.7以上。效度是指測試的有效性和正確性，即測試是否有效測量了它要測定的東西，是否達到它所預定的測評目標。效度是一個相對概念，而不是一個絕對概念，即效度只有高低之分，而沒有全部有效和全部無效之分。

1.3 項目反應模型

項目反應理論（IRT）一種先進的測驗理論。基于這一理論的測驗模型稱為IRT模型。IRT模型是一種數學模型，他定義了被測試者對試題的反應和潛在能力特質之間的關系。項目反應理論（IRT）建立了被測試者反應與試題參數和能力水平之間的非線性模型，具有參數不變性，估計出的能力值不依賴于測試題目樣本的特性，同時可以根據題目信息量，選擇與被測試者能力相匹配的題目，直到達到預定的測試精度要求。

2 自適應在線測試系統設計

2.1 自適應考試模型流程

此次考試模型設計通過測驗算法來實現的。首先為被試者確定一個初始的特質水平估計值θ，根據這個值，給出第一個測驗項目，答題之后，系統自動估計其能力值θ，再根據這個值來選擇下一道題，并以此類推，直到測驗條件滿足，結束答題。

2.2 自適應考試系統模型設計

測試考試系統采用三參數模型，難度、區分度和猜測指標。在建立題庫時，題目的難度、區分度指標都是由有經驗的教師或者是該領域的專家進行初始設定，有一定的權威性。在以后考試的過程中可以根據實際情況進行修改。初始測試項目的選擇：在初始項目中假設在測試開始前已經知道了所測試對象的相關情況，我們就以以往參加過測試的被測試者特質水平的平均值為初始估計值。應試者能力水平的估計：通過最大似然法通過被測試者的似然函數區最大值來求測試者的能力參數θ。測試項目的選擇：在考生答題完畢，系統對次此考試進行測試項目分析，算出考生的能力參數θ，采用項目反應的Logistic模型中的三參數模式。

3 在線考試系統的設計

3.1 系統總體設計

系統包括了用戶注冊、登錄、參加在線考試以及管理員進行試題錄入、修改、刪除、成績查詢、管理等功能，具有開放性、方便性和靈活性。可以實現向題庫添加、修改和刪除試題。對考生進行有效的身份驗證登錄后，選擇進入考試系統，并要求在規定的時間內進行答題，當達到規定的時間后，系統將自動予以提示。一旦考生做完交卷后便能立即看到自己的考試成績，并且其分數將被記入庫中以供審核和查閱；另外，還可完全由計算機自動靈活、隨機的抽取試題庫中的各類試題組成各種形式的試卷，其內容會隨著庫中試題的改變而改變，而且，不同的考生生成的試題是不同的。在線考試系統的結構圖1所示：

3.2 題型、數據庫設計

考試系統的核心部分是數據庫的設計，系統能夠快速合理的從后臺的數據庫中檢索出相關的數據。數據庫中表的設計通常，每一類型的試題都應有一個表結構。但考慮到目前系統存貯空間可以很大。我們采用把全部試題集中在一起的方案來建立數據（下轉第277頁）（上接第283頁）表，每道客觀題均有四個備選答案項，每個試題均具有題型，分值等數據段表示其屬性。字段名一般是相應的英文單詞。這樣，查詢起來較方便，會節約時間，也不致于造成數據十分雜亂等。

4 功能模塊詳細設計

考試系統主要包括以下模塊

4.1 系統管理模塊

管理員可以向題庫中添加各種類型且符合要求的試題，也可以對它們進行修改和刪除。同時，管理員也能對用戶、考試題目、考試記錄等數據進行管理。

4.2 成績管理

考生每次考試的成績都會被錄入數據庫，系統對這些數據進行加工統計分析。提供學生在線查看學生的成績。

4.3 考試試卷管理系統

包括試卷的考試時間，單選多選的題量以及單選多選的分值（設定試卷的各項數值）。考試監控在線查看學生的到場及交卷情況。在線閱卷是針對主觀試題的測試者在提交后，通過網絡把答題的內容傳到管理員（這里一般的教師就是管理員）的在線閱卷的瀏覽器上進行閱卷。

4.4 用戶管理

進行用戶的添加，刪除，查詢和登陸權限的設定。

4.5 在線考試模塊

考生登錄后，只要選擇考試以后，就可以調出試卷進行在線考試。為了實現動態隨機不重復的抽取試題，需要在選題過程中每選出一題，就要在試題庫中作相應的標志，以便下次不會重復取出此題。試卷出來后要對試題庫中的標志位復原。這樣就會使每個考生的試卷都不同。考生的其答題信息通過單、復選按鈕選擇答案來反應。考試結束采取自主交卷和到了規定的時間自動題示有機結合的方式辦法予以實現。

用戶注冊模塊

該模塊的功能是實現用戶遠程注冊。用戶輸入想要注冊的用戶名、密碼、重復密碼、真實姓名和學號，提交之后由系統判斷該用戶是否已經存在，如果存在，就給出相應信息，如果不存在，就把用戶輸入的用戶名和密碼寫到數據庫中，完成注冊。當然，在進入系統后，無論是系統管理員還是普通用戶都可以修改更新自己的個人信息資料。

5 小結

本文通過對項目反應理論的研究給出了一個計算機網絡在線考試系統的設計模型，可以提高測試的效率，才外還克服了傳統組卷方法的隨機性和偶然性，提高了隨機組卷的合理性，實現透明管理，增強了測試的安全性，教師可以輕松的對題庫進行操作和管理，能夠方便的查詢試題信息、考生信息和考試成績，并在此基礎上對成績進行分析，極大的提高了效率。

【參考文獻】

[1]李克東.教育技術學研究方法[M].北京師法大學出版社.

[2]傅德榮.教育信息處理[M].北京師范大學出版社.

[3]向廣莉.CAT在遠程教育中的應用[J].湖北教育學院學報2002，19（2）.

[4]何利平.C程序設計非標準化試題CAT模型的建立[J].衡陽師范學院學報2003，24（3）.

[5]田懷鳳.機助自適應考試CAT系統題庫的仿真研究[J].計算機仿真2005，22（7）.

[6]肖艷群.基于IRT理論的CAT系統設計[J].揚州職業大學學報，8（4）.

[責任編輯：朱麗娜]