基于項目反應(yīng)理論的HSK自適應(yīng)分級考試系統(tǒng)

肖 剛，王昌達，張文莉

(江蘇大學(xué) 江蘇 鎮(zhèn)江 212013)

云計算技術(shù)的發(fā)展為網(wǎng)絡(luò)化考試帶來前所未有的機遇。HSK[1]是中國漢語水平考試的縮寫，是為測試母語為非漢語者的漢語水平而設(shè)立的國家級標注化考試。HSK作為國家級水平考試面向國際社會開考達十多年了，其成績是外國留學(xué)生進入中國高等院校學(xué)習專業(yè)的必要條件，并且已經(jīng)成為國內(nèi)外一些機構(gòu)人員選拔的一種依據(jù)。但在HSK考試中，主要還是采用傳統(tǒng)的考試形式，即統(tǒng)一的紙質(zhì)試卷。這種統(tǒng)一的試題內(nèi)容，并不適用于各個層次水平的學(xué)生，無法真正考查出學(xué)生對知識的掌握程度。盡管專家們命題過程中總是盡量保持考試難度的穩(wěn)定性，但不同試卷之間在難度、信度、分數(shù)分布方面的差別很難完全避免。因此，對HSK的要求也越來越高，不僅要求實現(xiàn)“試卷”之間的等值，甚至要求實現(xiàn)“試題”之間的等值。

為克服傳統(tǒng)考試中的不足，本文提出了一種基于項目反應(yīng)理論的HSK分級自適應(yīng)考試系統(tǒng)。該系統(tǒng)將自適應(yīng)技術(shù)、計算機技術(shù)和教育技術(shù)相結(jié)合，按國家漢辦的規(guī)定，將水平等級劃分為6個等級，1級最低，6級最高。同時對考生和測試基本項目的定義做了抽象與擴充，以一套試卷作為一個基本的測試項目而不是一個題目。測試過程始終圍繞學(xué)生的能力進行，測試時系統(tǒng)自動地適應(yīng)參加考試學(xué)生的情況，根據(jù)學(xué)生的能力從題庫中自動獲取相應(yīng)級別的試題組成試卷[2-5]。該系統(tǒng)已在奧地利孔子學(xué)院的教學(xué)中投入運行，收到了良好的效果。2013年初，該軟件得到了漢考中心的高度評價與項目資金支持。

目前該考試系統(tǒng)可以通過云平臺在 http://42.121.136.212/index.php訪問。該系統(tǒng)的使用目的是為參加對外學(xué)漢語學(xué)習的學(xué)生提供一個參考的學(xué)習分班等級，以及學(xué)習后的學(xué)生自我評估。該系統(tǒng)并非設(shè)計用于取代國家漢辦的HSK分級考試。

1 項目反應(yīng)理論

項目反應(yīng)理論是一種關(guān)于現(xiàn)代心理的測量理論。它的特點是以概率來解釋受測者對項目的反應(yīng)和其潛在能力特質(zhì)之間的關(guān)系。項目反應(yīng)理論的基本思想起源于上世紀三十年代末和四十年代初，1946年塔克（TuKer）正式提出“項目特征曲線”概念。所謂項目特征曲線就是表征受測者的能力與特質(zhì)水平與其對一個測驗項目的正確反應(yīng)概率之間關(guān)系的二維曲線圖。不同的特征曲線假設(shè)對應(yīng)著不同項目反應(yīng)模型。

項目反應(yīng)理論的模型有二十余種，可根據(jù)實際情況選擇適當?shù)哪Ｐ?。目前?yīng)用最廣的項目反應(yīng)理論模型是邏輯斯蒂模型[6]。

項目反應(yīng)理論是以受測者的回答問題的情況，經(jīng)項目特征函數(shù)的運算，推測受測者的能力。根據(jù)參數(shù)的不同，特征函數(shù)可分為單參數(shù)、雙參數(shù)和三參數(shù)3種模式，公式如下：

其中，D是常數(shù)，值等于1.702；

θ：受測者能力值，一般在實際應(yīng)用中，取值范圍多取[-3.00,3.00]；

a：項目的區(qū)分度，即特征曲線的斜率，它的值越大說明項目對受測者的區(qū)分程度越高。a=(H-L)/N其中H表示高分組答對題的人數(shù)；L表示低分組答對題的人數(shù)；N表示高分組與低分組人數(shù)之和。

b:題目的難度，即特征曲線在橫坐標上的投影。

b=R/N，其中R表示試題的答對人數(shù)，N表示考生人數(shù)。

c:題目的猜測系數(shù)，即特征曲線的截距。它的值越大，說明不論受測者能力高低，都容易猜對。

P(θ)：表示能力為θ的受測者答對此項目的概率。

基于以下兩個原因，我們將選用二參數(shù)的邏輯斯蒂模型[7]。

三參數(shù)邏輯斯蒂模型中的參數(shù)C的心理測量學(xué)的含義含糊不清，而且數(shù)學(xué)上難以估計。

在能力參數(shù)估計時，二參數(shù)邏輯斯蒂模型存在充分統(tǒng)計量γj，

其中γj是考生在一個測試上的題目加權(quán)總分，其權(quán)重是每個題目的區(qū)分度參數(shù)aj?？梢宰C明能力的極大似然估計量就是根據(jù)γj估計的。但三參數(shù)邏輯斯蒂模型至今未能找到能力參數(shù)估計的充分統(tǒng)計量，使得能力參數(shù)的估計可靠性收到懷疑。

2 HSK自適應(yīng)考試系統(tǒng)設(shè)計

HSK自適應(yīng)分級考試系統(tǒng)中，共有6個級別，一級水平最低，六級水平最高。而在實際應(yīng)用中θ的取值一般取為[-3.00,3.00]。因此可以將θ的取值區(qū)間分為6個區(qū)間 ：[-3.00,-2.00],[-2.00,-1.00],[-1.00,0]，[0,1.00],[1.00,2.00],[2.00,3.00],分別對應(yīng)一到六級的能力區(qū)間。當每一張試卷做完后，求出其相應(yīng)的θ的極大似然估計值。并根據(jù)此極大似然估計值選出下一次考試的級別，然后隨即抽取若干題目組成一套試卷，再次進行考試。測試項目的難度以及區(qū)分度分別為整套試卷題目的難度、區(qū)分度的平均值：

2.1 系統(tǒng)工作流程

基于項目反應(yīng)理論的HSK自適應(yīng)分級考試系統(tǒng)基本流程如圖1所示。

圖1 系統(tǒng)流程圖Fig.1 Flow chartof the system

主要過程如下：

當受測者進行測試時，受測者自選開始級數(shù)，并在該級數(shù)的題庫中隨機抽取若干題組成一張試卷，進行作答。作答完后估計能力值。并進行終止條件判斷。若滿足終止條件，則測試結(jié)束，并給出該受測者最后的水平級別。若不滿足終止條件則由能力的極大似然值θ判斷下一個考試的級別，繼續(xù)測試。

2.2 題庫數(shù)據(jù)結(jié)構(gòu)

教師首先將級別編號，并將隸屬于某個級別的題庫和題目分類在該級別下。當測試開始時抽取試題組成臨時題庫，并將臨時題庫中試題編號、題庫及其題目設(shè)為關(guān)聯(lián)[8-9]。

圖2 系統(tǒng)數(shù)據(jù)結(jié)構(gòu)圖Fig.2 Structure diagram of the system

3 關(guān)鍵技術(shù)

3.1 初始能力設(shè)置

確定能力初值是指在受測者在進行測試之前，對受測者的能力值進行初始估計，一般有以下幾種方法：

1)選擇中等難度的試題，即假定受測者的能力為中等，在題庫中隨機抽取難度為中等的題目，作為測試的開始點。

2)根據(jù)歷史記錄確定受測者的初始能力值，受測者可能參加過測試，可以根據(jù)以前的測試記錄決定此次的開始題目。

3)受測者自行選擇，由受測者對自己的能力水平做初步估計，選擇測試起始項目。

本系統(tǒng)中采用受測者自行選擇，即受測者自行選擇測試的起始級別，然后系統(tǒng)在所選級別的題庫中隨機抽取若干題組成一張試卷。

3.2 能力估計

對考生能力的估計是系統(tǒng)順利進行的前提，本系統(tǒng)采用最大似然估計法[10]通過受測者的似然函數(shù)取來求測試者的能力參數(shù)，假設(shè)一位受測者在一次有n份試卷的測試中，若以表示能力為θ的受測者對試卷i的反應(yīng)為ui（若及格，ui=1；若不及格ui=0）的概率。基于局部獨立性的假設(shè)，上述觀察到的反應(yīng)模式的聯(lián)合概率是每一張試卷反應(yīng)概率的連乘級，即：

其中：

n：試卷數(shù)

Puii：受測者第份試卷幾個的概率

Quii：受測者第份試卷及格的概率

公式 （4）稱為似然函數(shù)，當似然函數(shù)取最大值時的θ值，稱為θ的極大似然估計值，也就是說當考生的能力值為極大似然估計值時，考生對試題做出的反應(yīng)模式的可能性最大。

根據(jù)極大似然估計的思想，求出最有可能的P值，作為P的估計值，使L能取極大值。由高等數(shù)學(xué)方法求極值可知，L(u1,u2,……,un)與 ln L(u1,u2,……,un)同時達到極值點，因此對數(shù)似然函數(shù)可簡化為：

通過求式(6)便可獲得參數(shù)的極大似然估計值。對改式中的θ求一階導(dǎo)數(shù)并使其等于0，即：

由于式(7)是非線性方程，可用牛頓-拉夫遜（N-R）迭代法求解。

3.3 終止規(guī)則

自適應(yīng)測試的一大優(yōu)點是可以用較少的試題施測，達到較高的測量精度。測驗是否終止是根據(jù)測驗?zāi)繕耸欠襁_到來決定的。主要有3種方式[11]。

1）固定測驗長度，即當測驗項目達到一定數(shù)量時，測驗自動終止，此方法易于實現(xiàn)，可以對每個測驗項目的使用率作精確統(tǒng)計，但這種算法實際上是不公平的，因為測驗終止時，可能只有一部分受測者的能力估計是完成的，而且要確定一個合適的長度一般來說并不容易。

2）比較受測者能力參數(shù)最后兩次的估計值，當這個值小于預(yù)先給定的數(shù)值時，測試自動終止。

3）當能力參數(shù)估計的標準差小于某一預(yù)先確定的值時，測驗自動終止。這種方法具有更高的效率，能克服固定測驗長度的缺點，但當估計標準差要求過嚴時，測驗可能過長。

上述的終止方法都存在缺點，因此在系統(tǒng)中采用(1)、(2)結(jié)合起來使用，當測試滿足任何一個條件，測試即終止。并給出最后的水平級別。在系統(tǒng)中根據(jù)需要設(shè)定測試項目的最大長度，從而避免了測試時間過長與效率低下的問題。

4 模型分析

以下是準考證號為602346的考生的自適應(yīng)測試過程中的相關(guān)記錄信息，如表1所示。

表1 602346考生的信息記錄Tab.1 Information recording of 602346 candidates

1)測試開始時，考生自選3級的題目開始測試，它具有較高的區(qū)分度值。該測試通過考核，但此時的極大似然估計法無法進行能力估計。

2)其次抽取6級的試題試題進行測試，難度值和區(qū)分度都比較大，該考核未通過，該考生在兩個試題的反應(yīng)組型為(1,0)利用這兩次抽題的已知項目參數(shù)和極大似然估計法，從而估計出該考生能力估計值為-0.21。

3)接著，根據(jù)第二次抽題的能力值從3級題庫里面抽取試題。該考生通過此次考核，再估計出考生的新能力值威0.35。然后根據(jù)新的能力值再去題庫抽題，以此類推。從表5.1可以看出該考生最后兩次測試的能力估計值滿足終止條件。因此得出該考生的HSK等級為4級。

綜上所述，本文設(shè)計的系統(tǒng)對考生的HSK等級估計準確且測驗效率高。

5 結(jié)束語

文中將項目反應(yīng)理論用于HSK自適應(yīng)分級考試中，提出了一種始終圍繞受測者能力的考試系統(tǒng)。文中給出了項目反應(yīng)理論的深入分析，對系統(tǒng)中能力初值的確定、能力估計、級別選擇、終止條件做了較深的研究與具體的解決方法，并給出了系統(tǒng)的流程描述。該系統(tǒng)依托于公共云平臺，目前已經(jīng)在應(yīng)用于奧地利格拉茨大學(xué)孔子學(xué)院的日常教學(xué)中。

[1]張萍，吳秉會.網(wǎng)絡(luò)輔助教學(xué)：意義、問題與對策[J].黑龍江高教研究,2010(5):153-155.ZHANG Ping,WU Bing-hui.The network assisted teaching:significance,problems and countermeasures[J].Heilongjiang Researches on Higher Education,2010(5):153-155.

[2]幸濤.當前考試理論研究的進展[J].心理發(fā)展與教育,2005(z1):63-69.XIN Tao.The current progress of examination research[J].Psychological Development and Education,2005(z1):63-69.

[3]李衛(wèi)東,黃河笑,郭俊文.IRT在自適應(yīng)考試中的應(yīng)用[J].計算機工程,2001,27(7):179-181.LIWei-dong,HUANG He-xiao,GUO Jun-wen.Application of IRT in computerized adaptive test[J].Computer Engineering,2001,27(7):179-181.

[4 Choi,Hae-Gill,Jeong,Hwa-Young.Service based E-learning system model using IRT[J].Advanced Materials Research,201 2:2155-2158.

[5]楊承青，張晉軍.漢語水平考試（HSK）改革設(shè)想[J].語言文字應(yīng)用,2007(3):107-112.YANG Cheng-qing,ZHANG Jing-jun.Chinese Proficiency Test(HSK)reform[J].Applied Linguistics,2007(3):107-112.

[6]詹沐清，盧榮華.論項目反應(yīng)理論模型[J].科技信息,2009(15):28.78.ZHAN Mu-qing,LU Rong-hua.Item response theory Computer Adaptive[J].Science,2009.15:28.78.

[7]朱正才.大學(xué)英語四、六級考試分數(shù)等值研究[J].心理學(xué)報,2005,27(2):280-284.ZHU Zheng-cai.College English equivalent of six test scores[J].Acta Psychologica Sinica 2005,27(2):280-284.

[8]Chang,Wen-Chih,Sheng-Lin,Integrating IRT to clustering strudent’s ability with K-means[M].2009 4th International conference on Innovative Computing,Information and Control,ICICIC 2009.

[9]邵晨輝，陳玉泉，徐良賢.基于題目反應(yīng)理論的機助自適應(yīng)考試[J].計算機工程，2000,26(11):161-163.SHAO Chen-hui,CHEN Yu-quan,XU Nian-xian.Based on item response theory computer assisted adaptive test[J].Computer Engineering，2000,26(11):161-163.

[10]王飛.基于Agent的計算機自適應(yīng)考試系統(tǒng)的應(yīng)用 [J].南京工業(yè)大學(xué)學(xué)報：自然科學(xué)版，2003,25(6):82-86.WANG Fei,Agent-based computer adaptive testing system application [J].Journal of Nanjing University of Technology:Natural Science Edition,2003,25(6):82-86.

[11]于海霞，劉競杰，王家琪.基于項目反應(yīng)理論自適應(yīng)考試系統(tǒng)的設(shè)計與應(yīng)用[J].合肥學(xué)院學(xué)報，2010,20(3):44-48.YU Hai-xia,LIU Jing-jie,WANG Jia-qi.Based on item response theory adaptive testing system design and application[J].Journal of HefeiUniversity，2010,20(3):44-48.