摘要: 本文針對目前計算機化考試中所存在的問題,提出了以項目反應理論為模型,運用Browser/Server三層體系結構,設計基于Web的適應性考試系統,理論、技術與方法并重,詳細論述了自適應考試系統實現方法。
關鍵詞: CTT IRT 考試系統 ASP
1 引言
隨著計算機機和網絡技術的發展和普及,計算機化考試得到越來越廣泛的應用。這種考試形式可以相對減少考試各環節的人為主觀因素,更快速、更客觀、更安全地組織考試工作,并把教師從繁重的組卷、評卷、成績分析等工作中解放出來。電子考試技術已經被廣泛應用于各種學歷考試、職稱考試、證書考試中。
目前大多數考試系統主要采用的是經典測試理論(Classical Test Theory,CTT),無法測試出學生的真實水平。項目反應理論(Item Response Theory,IRT)與流行的經典測量理論相比,強調自適應測驗(Adaptive Test),即測驗能夠自動地適應考生的認知水平,試題難度、數量、知識單元分布等可根據考生的特點而靈活變通。本文針對師范類高校公共基礎課《計算機文化基礎》課程的電子考試,采用項目反應理論構建自適應考試模型,運用Browser/Server三層體系結構,對適應性網絡考試系統的開發進行了有益的嘗試。
2 模型架構
經過了近百年的發展,經典測試理論對建立試卷、考分轉換與等值等均有一套較為完整的方法。但由于經典測量理論的統計分析方法得到的各項指標主要依賴于特定的被試樣本,那么當被試樣本發生較大變化時,就不能有效地反映題庫中試題屬性(如難度、區分度等)。項目反應理論沒有這方面的限制,項目反應理論強調的是自適應測驗,其試題參數的求得與樣本無關,它在估計試題屬性的同時也估計了考生的認知水平。這樣,不同樣本組的試題屬性值具有不變性,在不同樣本組中求得的試題屬性值,只是量綱位置不同。這時通過等值轉換,把不同樣本組中的題目參數轉到同一量表上,就較好地解決了經典測量理論中的不足。
項目反應理論是以受測樣本的回答問題的情況,經題目特征函數的運算,推測受測樣本的水平。根據參數的不同,特征函數可分為單參數、雙參數和三參數三種模式。公式如下:
單參數模式:P(θ)= ?搖?搖?搖?搖(1)
雙參數模式:P(θ)= ?搖?搖?搖?搖(2)
三參數模式:P(θ)=c+(1-c) ?搖?搖?搖?搖(3)
其中:D=1.702:具有單位測度的因子,θ:受測樣本的能力值。a:題目的區分度;b:題目的難度;c:題目的猜測系數。P(θ):能力為θ的人答對此題目的概率。
根據特征函數可畫出題目的特征曲線,圖1為典型的三參數模式的特征曲線。
3 系統功能結構
適應性考試系統的功能結構如圖2所示,可分為五個功能子系統。各子系統的功能是:①報名子系統:完成考試信息管理的維護、考試內容及相關信息的發布、考生報名、資格認證等;②安全子系統:實現對考試進行監督,保證所有參加考試的考生使用合法的機器在合法的時間里進行考試;③組卷子系統:實現根據各項參數從題庫中抽取試題,如果參數相同,則隨機顯示試題;④考試子系統:實現與考生交互、自適應出題及實時閱卷等功能,由考生與題庫的交互系統、出題接口和判卷接口組成;⑤評價子系統:對考試情況、學生對知識點的掌握情況進行評估,為教師教學提供參考。
4 系統實現的關鍵技術
根據功能設計的要求,在系統中采用Browser/Server三層體系結構。第一層是客戶層,通常是一臺計算機,客戶可以通過使用GUI與應用程序進行交互;第二層是中間層,又包括表示層和業務層,通常是由一個或者多個應用服務器組成,應用服務器處理客戶的請求,執行復雜的表示形式和業務邏輯,然后將結果返回給客戶層;第三層是數據層,是駐留業務數據的地方,在處理業務邏輯時,由中間層訪問數據層。
在系統實現過程中,采用ASP+Windows Server 2003+IIS5.0+SQL Server 2005的架構。根據設計模型系統開發Web頁、Web Server的處理程序及數據庫管理三個部分。(1)Web頁:Web頁為用戶提供了系統的界面和內容,并且通過對Web頁面的選擇和向Web服務器提交表單信息,由服務器處理請求信息后反饋給用戶,以實現各種功能。(2)Web Server的處理程序:Web Server的處理程序負責客戶層和數據層之間的聯系以及相關信息的處理。信息的管理以及跟蹤均使用到Java Servlet API提供的類庫和接口實現。還可以使用ActiveX服務器組件擴充功能。(3)數據庫管理:自適應考試系統中用戶在線自適應性測試和對數據庫的在線管理可以采用Web頁面為對數據庫的存取訪問。本系統采用ADO與Web服務器連接,如圖3所示。ADO支持任何與ODBC兼容數據庫的操作,ADO允許網絡開發者方便的將一個數據庫與一個“激活”的網頁相連接,以便存取和操作數據。
5 自適應測試
自適應測試過程大體分為兩個階段:試測階段和精確估出真值階段。
(1)試測階段:若考生第一次登陸,學生模型庫中并沒有該考生的學習歷史紀錄,即無考生真實水平的信息,所以應設置一批探測性題目,初步估計其水平。具體做法是,從題庫中隨機調取一組中等難度水平題目測試,若考生能正確做答,則繼之以較難題目;若被試不能正確作答,則繼之以較易題目;到考生既有答對題目的反應資料,又有答錯的資料時,即行停止。按題目反應理論參數估計要求,采用極大似然法,對其進行能力水平估計。假若學生模型庫中已有該考生的學習紀錄,則根據以前的測試記錄來決定此次測試的開始題目。
(2)精確估出真值階段:上一階段初步估出的考生水平值,因測試題目太少,資料提供的信息量不多,不可能做到精確,所以需繼續施測試題,積增信息量,修正所得估計值,以做到足夠精確。自適應測試挑選續測試題的原則,就是要從題庫中挑選難度最適當、信息量最大的題目。當題目信息量取值最大時,難度和能力水平值有式(4)的關系:
θ=b + log (a ,b ,c :第i題的區分度、難度、猜測系數)(4)
隨著測試題目的增加,題目信息量的累加也在不斷增加,當這一累加和數值等于測驗信息函數值(取決于對測量精度即估計標準誤差的要求)時,測試就可以停止。這時估出的考生的能力水平值,誤差達到指定的可接受程度。圖4是自適應測試流程圖。
6 結束語
筆者采用上述理論、方法及技術初步實現了“計算機文化基礎適應性考試系統”的研究與開發。該系統的實施過程中,教師先要建立《計算機文化基礎》課程中包含的若干知識點內容組成的題庫,并將試題屬性參數,包括測試題目的難度、區分度、認知分類等屬性參數存儲到知識庫中。當某考生登錄考試系統時,系統首先提供一組中等難度的試題進行測試,隨即進入自適應測試的試測階段。通過統計分析子系統的分析求得該考生的初步認知水平,進入精確估計階段。在這一階段要設置標準誤差,繼續施測,累積信息量,進行估計值的修正,最終得到較為精確的認知值的估計。
基于Web的自適應網絡考試系統涉及現代教育理論、項目反應理論的研究與應用,集專家系統技術、Web技術、網絡數據庫技術于一體。該系統在Browser/Server模式下運行,通過瀏覽器與用戶接口程序實現正點限時、分布與交互式考試、集中題庫管理與安全控制操作,為課程自主教學提供了一種方便快捷的考試與教學測量方式。當然,在網絡技術不斷發展的今天,本系統還需進一步研究和完善,如何使網絡環境下的自適應考試進一步地完善,使自適應考試與自學習系統更好地有機結合,將是下一步研究的目標。
參考文獻:
[1]何克抗.建立題庫的理論《全國CBE學會第七屆學術會議論文集》.國防科技大學出版社,1995.11.
[2]張敏強.教育測量學.人民教育出版社,1997.
[3]劉波,段麗艷.一個基于Internet的通用題庫系統的設計與實現.華南師范大學學報(自然科學版),2000.1.
[4]付聰.計算機自適應測試研究進展.現代情報,2005.1.
[5]精英科技.ASP核心技術.中國電力出版社,2001.
注:“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文。”