項目反應理論下計算機自適應考試系統的設計與實現

姜 霞 張 暉 李 波

(1.西南科技大學計算機科學與技術學院 四川綿陽 621010;2.西南科技大學網絡信息中心 四川綿陽 621010)

在線考試的出現對教學質量的提高、實現考教分離、大范圍實現教學資源共享等都有非常大的促進作用，在公平、公正、安全方面有其獨特優勢，良好的在線考試系統應該能夠全面反映應試者學習的實際水平、考知識也考能力且多次考試結果穩定。但目前大部分在線考試系統只是簡單將傳統考試改為上機考試，其思想仍沒有突破傳統測量理論，不同能力水平的應試者都要接受同一批題目的測試，不能考察出每個應試者的實際能力。

計算機自適應考試起源于20世紀70年代，它利用了現代測量理論——項目反應理論(item response theory，IRT)［1］為架構，IRT 建立了綜合反映應試者作答情況與試題質量及能力水平之間關系的非線性模型，試題的選擇是根據應試者的能力水平定身度量而成的，試題難度從應試者看來并不過難或過易，以求更充分地檢驗應試者真實能力，同時增強學生參加考試的積極性，也能夠節約傳統考試組織過程中耗費的大量人力及物力，為考試改革提供思路［2－4］。

本文以《大學計算機》課程為應用基礎，將對此課程的計算機自適應考試系統進行設計，對幾個關鍵技術進行研究，并提出相應的解決方法。

1 系統設計

1.1 自適應考試流程

項目反應理論下的自適應測試的主要流程是:首先給定應試者一個能力初值θ，用此能力值給應試者選擇試題，根據應試者對前面所有試題的反應來估計其當前能力值，用此能力估計值來繼續按照選題策略給應試者選擇最適合的試題，直到滿足測試停止條件時結束考試，此時的能力估計值就是應試者最終的能力估計值。具體流程如圖1。

圖1 自適應考試流程圖Fig.1 Adapfive testing flow chart

1.2 系統功能設計

本計算機自適應考試系統的基本功能包括用戶管理、試題管理、考試管理、自動選題、應試者能力估計。系統使用MVC模式進行開發，具體的實現途徑可以劃分為數據資源層、數據處理層、服務層、表現層這四層架構，分別對應于數據的獲取、數據的處理、具體功能實現和信息的表現，系統邏輯框架圖2所示。

圖2 系統邏輯框架圖Fig.2 System logic frame

1.3 系統概要設計

系統的數據庫主要包括考試信息表、試題題干與基本信息表、試題選項表、用戶表、考試過程記錄表和用戶考試信息表，其ER圖如圖3所示。

圖3 數據庫E－R圖Fig.3 Database E － R

1.4 系統界面實現

自適應考試系統登錄界面與答題界面設計如圖4、圖5所示。

圖4 登錄界面Fig.4 Login interface

圖5 考試界面Fig.5 Test interface

2 系統關鍵技術

2.1 項目反應理論模型選擇

從1952年開始，各種項目反應模型相繼提出［3］，提供表達正確回答概率與測試者能力直接的數學方程式，每種模型有不同數量的參數，其確定的數值均刻畫了一個特定的項目特征曲線。比較有影響的有:僅考慮試題難度的單參數邏輯斯蒂模型、考慮試題難度與區分度的雙參數邏輯斯蒂模型以及考慮試題區分度、難度以及猜測度的三參數邏輯斯蒂模型，其中三參數邏輯斯蒂模型應用比較多［6］。

本系統以《大學計算機》課程的為應用對象，此課程考試的題型主要是單選題、多選題和判斷題，分析各個IRT模型的假設和適用范圍，對選擇題與判斷題可能存在應試者猜對試題的情況，決定使用三參數邏輯斯蒂模型(3PLM)，此模型由Birnbaum提出，其等式如下:

其中D=1.702為量表因子，c是猜測參數，其值不會隨著能力水平的變化而變化，a是試題區分度參數，b為試題難度參數。三參數模型適用于多項選擇題和是非題組成的測驗。

2.2 題庫的建立

自適應測試題庫的建立，首先要選擇項目反應理論模型，然后根據涉及知識點等其他要求進行試題開發，最后進行試測與試題參數的估計［7］，給出試題的區分度、難度等參數值，題庫在使用期間，還要不斷校正試題的參數值、更新與擴充題庫，以確保題庫的質量。一個好的自適應考試題庫中所有試題的難度應該分布在整個能力的連續量表上。

2.3 選題策略

在計算機自適應性考試的早期階段，關于選題策略主要有兩種，一種是僅僅按照試題信息函數［8］作為標準來選擇試題，另一種是加權偏離模型，這兩種方法都以項目信息函數為基礎，雖然簡單，但不能很好控制試題的曝光度。三參數邏輯斯蒂模型的項目信息函數如下:

在后續的選題時只要根據選題策略從題庫中選擇最合適的試題即可，本系統采用已有的a分層c分區選題策略［9］，基本思想是將題庫根據要求進行分層，考試時從不同層選擇合適的試題，能夠在控制試題曝光度的同時提高考試可信度。

2.4 考試結束條件與計分方式

考試終止的條件有如下幾個:兩次估算的能力值之差小于指定值、答題數量達到指定的最大上限、答題時間達到指定時間上限、答題連續全對或者全答錯達到指定數量。如果直接用學生的能力估計值來代表學生的能力，不容易理解，所以使用真分計算方式作為最終計算機能力值分數，等式如下:π=，其中π為轉換后的分數，n為試題總數，Pi(θ)為應試者答對試題i的概率。

2.5 試題參數估計與應試者能力估計

IRT模型中的a，b，c參數值都不能直接測量得到，必須通過被試的反應數據進行估計求得。估計試題參數的方法主要有最大似然估計法和貝葉斯估計方法，目前比較常用的是最大似然估計法，因為貝葉斯估計方法應用到IRT模型中理論上要求對被試群體有較充分了解，考慮此考試系統的使用對象，決定使用極大似然估計法估計試題參數［10］。首先計算試題參數及能力參數初值，再設試題參數已知求能力參數值，最后設能力參數已知計算試題參數，直至滿足結束條件時參數估計結束，具體流程如圖6。

對應試者能力的估計有兩個階段:能力探索階段和能力精估階段。前5道試題是能力探索階段，根據應試者作答結果以±0.2步長移動，如果全部答對或者答錯，則采用經驗公式計算能力值:θ0=(r為答對的題目數，R被測總題數)。后面的試題為能力精估階段，利用最大似然法對應試者當前能力進行估計，最終的結果便是應試者的能力參數估計值。能力估計式如下:

其中θm+1，θm分別表示第m+1，m次迭代的能力估計值。

圖6 試題參數估計流程圖Fig.6 Flow chart of test question parameter estimation

3 系統測試與分析

3.1 測試環境與數據

3.1.1 測試環境

客戶端:windows XP，Internet Explorer 6.0 及以上瀏覽器。

服務器端:windows2000服務器版，Internet Information Server 4.0。

3.1.2 測試數據

本文采用的數據來源是西南科技大學《計算機基礎》2011，2012年期末考試，包含來自不同學院的112名同學在5次考試中的數據，5次考試使用5種不同試卷。利用聯合極大似然估計法對試題參數進行估計［18］，以此來構建題目數量為100的自適應考試題庫作為實驗數據集。估計出的試題b參數區間為 － 3.0～2.5 之間，a參數區間為 －3.0～ 2.5 之間，c參數區間為0.05～1.0之間，應試者能力參數估計初值均為0。

3.2 自適應考試測試結果與分析

用戶登錄系統后，選擇相應的考試點擊開始考試即可進行自適應考試，系統將根據應試者答題情況動態選擇后續試題，實現因人施測，通過實驗，對應試者能力估計結果如表1所示。

表1 能力估計結果評測表Table 1 Result Evaluation on the ability estimation

通過實驗可知，多次測試能力估計比較穩定，項目調用均勻性較好，能夠通過較短的測試長度實現對應試者較高精度的能力估計。

4 總結

以項目反應理論為基礎的計算機自適應考試系統在提高考試效率的同時考察應試者實際能力水平，“因材施測”增強了考試的靈活性、提高學生參加考試的積極性，為遠程教育提供了良好支撐，節約了組織考試的成本。

本系統架構于Java EE技術之上，融合了其穩定及易拓展等眾多特性，不僅具有普通考試系統的試題管理等常規功能，還能對試題參數進行估計，根據應試者的作答情況選擇后續試題，對應試者能力進行估計，發現學生潛質。

由于缺乏對于計算機自適應考試的公共數據集，所以本文采用的數據集為作者本人所建，由于人力、資源的限制，題庫中的試題數量還有待進一步提高，題庫的動態維護、知識點的組合還存在一定的不足，此外，對其它理論模型在計算機自適應考試系統中的應用研究還很少，因此，如何改進自適應考試系統模型，使系統更加完善、更準確地估計被試者能力是未來研究的重點。

［1］BOCK R D.A brief history of item response theory［J］.Educational Measurement:Issues and Practice，1997，16:21－32.

［2］MEIJER R R，NERLING M L.Computerized adaptive testing:Overview and introduction［J］.Applied psychologicalmeasurement，1999，23(3):187 －194.

［3］MCBRIDE JR，MARTIN JT.Reliability and validity of adaptive ability tests in amilitary setting［A］.In D.J.Weiss New horizons in testing:Latent trait test theory and computerized adaptive testing［C］.New York:Academic Press，1983.223－236.

［4］Weiss D J，Kingsbury G G.Application of computerized adaptive testing to educational problems［J］.Journal of Educational Measurement，1984，21:361 －375.

［5］Van der Linden W J，Hambleton R.K..Handbook of Modern Item Response Theory［M］.New York:Springer，1996.

［6］WAINER H，BRADLOW E T，DU Z.Item Response Theory:An Analog for the 3PL Model Useful in Adaptive Testing［A］.In VAN DER LINDENW J，GLASCAW.Computerized Adaptive Testing;Theory and Practice，2001.245－270.

［7］VAN DER LINDENW J，HAMBLETON R K.Handbook ofModern Item Response Theory［M］.New York:Springer.1996.

［8］Baker F B.The Basic of Item Response Theory［M］.Heinemann，1986.6.

［9］王茜娟，丁樹良，譚淵.按c－分層不定長CAT的研究［J］.江西師范大學學報:自然科學版，2005，29(3):227－230.

［10］BAKER F B.Item Response Theory:Parameter Estimation Techniques［M］.New York:Marcel Dekker Inc.，1992.