劉 鋒,張皓博,向洪波,尹衍林,李曉艷,包貴鑫(黑龍江工業學院,黑龍江 雞西 158100)
?
計算機自適應測試模型研究
劉 鋒,張皓博,向洪波,尹衍林,李曉艷,包貴鑫
(黑龍江工業學院,黑龍江 雞西 158100)
摘 要:文章針對傳統測試過程中存在的問題,在項目反應理論研究基礎上,主要對二參數和三參數Logistic模型進行對比研究,通過研究提出了一種改進的計算機自適應測試模型,從而實現了因人施測,并通過測試結構有效的對被測試者的能力水平進行估計。
關鍵詞:項目反應理論;計算機自適應測試;Logistic模型
隨著計算機技術的迅速發展,考試形式也從傳統的筆試考試逐漸向計算機輔助化進行轉變,計算機自適應測試(Computer Adaptive Testing,簡稱CAT)是在傳統考試固定試卷基礎上提出的一種新型的考試模式,考核過程中并不是提供固定的試卷,而是針對測試者的具體情況在試題的難度和試題的數量上自動適應考生,即在測試的過程中不斷地從已經建立的試題數據庫中選取與測試者實際水平和實際能力相當的題目進行測試,并對被測試者的能力水平進行實施實時評估,根據測試精度從而判斷被測試者的真實能力水平。
經典的測試中所有被測試者不論能力水平的高低都使用了相同的測試項目進行測試。這種測試方法有兩種基本類型:所有試題(項目)難度相同,即所謂“尖峰”型測試。這種情況下,當被試水平與題目難度接近時,具有較高的測試精度,兩者偏離越大,測試精度越低;第二種類型為所謂“平矩”型測試,試題中有較難、難度中等、較易等不同難度的題目,因此在多數水平上能提供相對均等的測試精度,但整體精度卻相對較低。從上述分析不難看出,經典的測試難以很好兼顧到測試的精度和精度的跨度問題。
因此,計算機自適應測試與傳統的測試方式相比具有明顯的優勢。第一,測試試題是變化不固定的,試題選取的范圍是在被測試者的能力范圍附近上下浮動,所以自適應測試更容易測出考生真實能力值,從而可以縮短測試時間;第二,通過測試結果能夠更加準確的反映被測試者的實際水平,從而可以提高測量精度;第三,測試的方式靈活,不必選取集中的時間和相同的地點進行測試,采用計算機進行評分,避免人為因素,使測試結果更加真實可靠。
被測試者的能力水平是一個連續變化的數值,這里用θ來表示,該值與能力水平成正比關系,也就是值越大能力水平也就越高;被測試者能否準確在回答測試問題存在一定的隨機性與偶然性,所以,這里引入了P()θ函數,用于表示被測試者準確回答測試問題的概率,函數的值越大被測試者準確回答問題的可能性就越高;用a和b來表示難度參數與區分度參數。項目反應理論的模型有多種,我們分別用二參數和三參數Logistic模型來進行說明。
三參數Logistic模型中增加了一個猜測參數c,因為在測試者回答問題的過程中,由于能力水平比較低,不能夠準確的回答測試的問題,被測試者通過經驗進行猜測問題的答案,該參數則反映了被測試者正確猜測回答的概率,引入參數c的模型為:
如果分別利用P2和P3來表示二參數模型和三參數模型,通過計算可以得到P2與P之間存在特定的關系:3在P3的表達式中P2表示二參數模型中被測試者準確回答的概率,c(1?P2)可以理解為被測試者對項目不太清晰而通過猜測得到的準確回答的概率。
當被測試者回答一個問題后,回答的結果能給我們帶來什么信息,被測試者能力水平的精準度判別有多高,計算機自適應測試系統根據該信息如何給被測試者列舉下一個測試問題。為了解決這一系列問題,在項目反應理論引入了一個項目測試信息函數,通過計算可以獲得項目測試信息函數:
根據得到的項目測試信息函數,當θ一定時,信息量由項目參數所決定。為了驗證將一些數值代入到公式中進行分析。測試數據1(θ= 1,b=0.921,c=0.25)表明項目測試信息函數值與項目區分度參數a成正比;測試數據2(θ= 1,b=0.815,a=1.8)表明猜測參數c越大,項目信息函數就越小;測試數據3(a=1.8,b=0.815,c=0.25)表明同一個測試項目針對被測試者層次不同時,所反映出來的信息量是有區別的,如果能力水平與項目難度參數非常接近時,信息函數的值最大。通過上面的分析,可以計算出信息函數最大時的能力參數為:
計算機自適應測試技術已經在國外得到了廣泛的應用,與常規測試相比,自適應測試具有明顯的優點,它能兼顧測試的測量跨度和精度,提高了測試的效率與準確性,同時對能力水平高、低的應試者也能對其能力水平進行精確的估計,具有較高的信度和效度。
參考文獻:
[1]劉鋒.基于項目反應理論的計算機自適應測試算法的研究與實現[J].軟件,2014(07).
[2]郭維威.基于技能空間理論的計算機自適應測試組卷策略研究[J].曲阜師范大學學報,2015(01).
[3]劉艷花.基于擴展知識空間理論的技能自適應測試過程[J].計算機系統應用,2010(07).
[4]劉鋒.試題組卷算法的研究與應用[J].雞西大學學報,2008(06).
項目:本文系2014年黑龍江省教育廳科學技術研究項目“基于擴展知識空間的計算機自適應測試方法的研究”的階段成果,項目編號:12543049;2014年黑龍江省大學生創新創業訓練計劃項目201411445009階段成果。
DOI:10.16640/j.cnki.37-1222/t.2016.02.120