試卷設計的聚類算法

張啟東

（沈陽理工大學信息科學與工程學院 遼寧省沈陽市 110159）

1 引言

在普通高校推進教考分離改革背景下，注重學生分析問題、解決問題能力的培養和考核，將以題庫制為主要試卷設計形式，實行教考分離命題方式，迫切要求建立符合課程特點，形式多樣的考試評價制度，提高教育評價的科學性、專業性和客觀性，突出相應專業能力和實踐應用能力考查。如何選擇和設計一個合適的高效試卷設計[1-5]算法是教考分離的關鍵手段。

試卷設計的難點是如何調整試題的難度和區分度，已有技術是從課程的考試大綱和試題庫建立試卷的設計模型，在試卷生成算法中，已被探討的聚類方法有基于時空特征的聚類方法[6]，基于關聯灰色趨勢的聚類方法[7]，基于模糊性的聚類方法[8]，基于最優目標的模糊性聚類方法[9]等，以及基于傳統的K均值法[10]、高斯基函數[11]和神經圖模型[12]等聚類方法。

本文從試題得分的隨機性特征參數出發，導出試卷及格率,以控制試卷得分的及格率為目標和以難度系數和區分度等為約束條件建立試卷的設計模型，用一種簡化方法調整試題的難度和區分度，用一種聚類基函數從試題庫中選擇試題和用聚類算法生成試卷, 本文聚類基函數能夠方便地調整試題的難度系數和變差系數。

2 試卷設計模型

2.1 及格率度量指標

對于一套由N道試題組成的試卷，若第k道試題權重分數、難度系數和變差系數分別為ωk、δk和γk，則試卷的可能得分s可由式（1）表示。

式中的zk是0-1正態分布的隨機變量，用于描述第k道試題得分的離散性。

難度系數是試題的一種難度指標；變差系數是試題的一種區分度指標。

若在試卷中的題目互不相關，則試卷得分的平均值μs和標準差σs可由式（2）和（3）分別算出。

引入度量試卷及格率的指標變量β，試卷及格率的指標變量值用式（4）表示。

式中的c是試卷得分的及格分數線，為確定性變量。容易確定試卷的及格率Pr=Φ(β)。試卷的及格率會隨著試卷平均得分和及格分數線之差增減會變大或小，試卷的及格率會隨著試卷得分標準差的增減會變小或大。

圖1：及格率指標與迭代次數關系

圖2：設計目標值與迭代次數關系

采用試卷及格率的度量指標設計試卷，設計試卷的問題可以歸結為在可行域調整試題的難度系數和區分度，使試卷得分的及格率達到預期的要求。

式中的Ωk為第k道試題的可行域。試題設計的可行域可以按試卷難度、區分度、課程考核知識點及其覆蓋率、試題的重復率和雷同率指標確定。

2.2 聚類基函數

直接用式（5）設計試卷不夠簡單和方便，下面給出基于聚類基函數的方法。

用試題的歸一化靈敏度系數將試卷得分標準差的計算公式擬線性化。若第k試題的靈敏度系數αk為：

靈敏度系數是試題對區分度的影響因子。一般來說，在試卷中的每個試題，都應對試卷的區分度有明顯的影響。一般情況下，在由N道試題組成的一套試卷中，每道試題的歸一化靈敏度系數應盡可能趨近于

表1：試題的候選試題

將試卷的及格分數線規格化。若規格化及格分數線c0為：

利用式（6）-（7）和式（2）-（4），可將式（5）改成寫成下述形式：

式中：J為設計目標的變量值；ψ(·)為聚類基函數，由式（9）確定。

聚類基函數的值可以度量試題的設計參數對試卷設計目標的影響程度。若按約束條件使每道試題的聚類基函數ψ(δk,γk)趨近于0，則生成的試卷已逼近試卷的預期設計目標。采用聚類基函數從試題庫中選擇試題和生成試卷也比較簡單和方便。

3 試卷生成的聚類算法

按約束條件用逐次迭代來逼近試卷的設計目標和生成試卷。基于聚類基函數的生成試卷的迭代算法概括如下：

步驟1 給出在試卷中的試題數量、及格分數線或規格化的及格分數線、以及預期的及格率指標，并為每個試題分配權重分數等。

步驟2 按試題的可行設計域從試題庫中隨機選取N組試題，每組試題至少有一道候選試題；按候選試題數量由少到多的順序，為試題組編制從1到N的序號；將每組試題的靈敏度系數均設置為

步驟3 設置迭代計算精度ε；迭代計數器變量n初始化，n=0；設置試卷設計的目標值J(0)=∞。

步驟5 先用式（6）算出每組候選試題的靈敏度系數；最后用式（8）算出試卷設計的目標值J(n+1)。

步驟6 若|J(n+1)-J(n)|>ε，則令n=n+1，并轉至步驟4，否則輸出試卷設計結果。

一般情況下，通過調整試題的權重分數、難度系數和區分度的界值，能夠得到難度適中、及格率符合預期要求的一套試卷。

4 實驗結果

某套試卷由試題A、B和C組成。試題A、B和C的權重分數分別為4、4和2；考試及格分數線c=6，歸一化及格分數線c0=0.6；考試及格率為90%以上，預計及格率預期指標β=Φ-1(0.90)≈1.28。試題的難度系數和變差系數按試卷的難度和區分度確定。

設計結果：及格率指標與迭代次數關系見圖1，設計目標值與迭代次數關系見圖2。

及格率預期指標β=1.28，預期的考試及格率為90%。當迭代3次時，生成試卷預期的及格率指標已符合試卷的設計指標；采用本文的聚類算法迭代生成試卷時，可以較快的收斂速度趨近于試卷的設計目標值。

在設計試卷時，按關系式γ≤(1?δ-1)?β選擇候選試題可以得到較好的設計結果。

5 結語

本文以試題得分的正態概率分布特征出發，導出試卷及格率的度量方法，以預期的及格率為目標建立了試卷的設計模型，給出一種聚類基函數和基于聚類基函數的試卷生成算法，實驗結果表明，本文聚類基函數能夠按難度和區分度等約束條件，從試題庫中選取題目和生成難度適中、及格率符合預期要求的試卷。