考試系統中題庫量與試題量的關系研究

摘 要:采用組合優化方法研究了考試系統中題庫量與隨機抽取試題量的關系，給出了在約束條件下題庫量與試題量之間的數據模型和無約束條件的計算式。實驗表明，只要題庫量達到3 000或3 000以上時，用計算機從題庫中隨機抽取100個試題生成一份試卷，其重復率很低，可滿足常見的考試要求。

關鍵詞:考試系統; 題庫; 隨機抽題; 組合優化

中圖分類號:TP319

文獻標志碼:A

文章編號:1001-3695(2010)02-0611-03

doi:10.3969/j.issn.1001-3695.2010.02.058

Research on relation between test questions-base numbers and random extraction in examination system

WANG Jian-zhong， ZHANG Ping， WU Qian， GAO Yi， ZOU Fan

(College of Fundamental Education， Sichuan Normal University， Chengdu 610066， China)

Abstract:This paper studied apply combinatorial optimization methods to the examination system and the relation between test questions-base numbers and random extraction deeply， presented the mathematical model and calculating formulas in unconstraint and constraint conditions respectively. The experiment results show that when test questions-base numbers reach 3 000， it can satisfy the requirement of traditional examination by random extraction 100 questions using computer.

Key words:examination system; question bank; random extraction; combinatorial optimization

計算機的廣泛應用，使教師的教學形式發生了根本性的變化，其突出點是多媒體教學形式取代傳統的教學形式或形成了兩者相結合的教學形式，所以目前用于檢查學生學習效果的考試形式也逐漸地發生改變。著名的Sylvan Promentic國際考試中心和VUE(虛擬大學)都實行的是計算機考試形式，同時微軟認證專家MCP系列考試、CCCP系列考試、TOFEL、GRE、計算機等級、職稱計算機等考試都實現了計算機化。采用計算機進行考試，是實行教考分離和推行標準化考試制度的常用手段，它可以提高教學質量，嚴把考試關，同時極大地減輕了組織者、監考者和試卷評閱者的勞動強度，也減少了由于人為因素造成的嚴重錯誤。由于采用計算機進行考試，也使得考試更加公正、公平[1，2]。

計算機考試少不了試題庫的建設，建設好的試題庫不僅用于考試，也可以在教學過程中充分利用試題庫這種教學資源，進行富有成效的形成性測試，可以幫助師生把注意力從得分、名次集中到要實現的教學目標上來，真正關心學生的學習困難和錯誤所在，關心學生素質的提高，促使教育觀念從應試教育向素質教育轉變。因此，進行試題庫的建設和研究具有十分重要的意義。

目前文獻[3，4]對試題庫建設中的組卷策略和算法進行研究;文獻[5]提出了基于難度級別的分割遞歸算法和狀態鏈表的隨機抽題算法;文獻[6，7]根據大數定律中的貝努利定理(Bernoulli theorem)和機器自學習思想，提出試題庫試題得分概率和答題時間自適應學習整定思想等。但是到目前為止，還沒有文獻對題庫量與試卷中的試題量的關系進行研究。本文對題庫量與試題量的關系進行研究，并為試題庫的建設和保證試卷質量提供理論依據。

1 題庫量與試題量關系的研究必要性

在試題庫建設過程中，為保障由試題庫生成的試卷質量，試題庫必須符合以下基本要求:試題庫不僅要有足夠的總題量，還必須保證各知識點有足夠的題量;同一題型中無完全表述相同的試題，對表述不同而內容相同或相近的試題必須有標記;不同題型間內容相同或相近的試題必須有標記;在同一批組卷中試題的重復使用次數要有記錄。

在試題庫建設好以后就可以組卷了。常用組卷策略有人工、半自動、全自動等。常用組卷算法有隨機、回溯、隨機啟發式搜索、基于背包問題的組卷[8]等。組卷的套數根據需要可能有一套或多套。組卷成功后的試卷質量基本要求如下:單套高質量試卷中各種題型中知識點分布符合制卷目標即考試要求;試題、試卷難度符合組卷要求;無內容重復和相近的試題。成批組卷的要求有各套試卷符合單套試卷的要求;任何兩套試卷之間的試題重復率不超過指定限度或不重復;同一試題在所有試卷中重復出現不超過指定次數或不重復。

自動組成的試卷是否能真實地反映出教師的教學水平以及學生對知識技能的掌握程度，需要我們對試卷質量進行質量測評。測量試卷的主要檢驗指標有難度、區分度、覆蓋度和重復度等。其中重復度是一個很重要的參數，它與題庫量，試卷中的試題量有很大的關系。所以我們有必要研究題庫量與試卷中試題量的關系，將重復度限制在既定的目標之內。

2 題庫量與試題量關系的數學模型

自動組卷問題實質上是一個約束的組合優化問題，即從一定題量的數據庫中搜索滿足組卷目標要求的一個試題組合，從而把組卷問題換化為一個多重約束目標問題，該問題將被定義為一組約束條件與一個目標函數的組合[3]。

2.1 約束條件

為了考核學生對知識的掌握情況，無論如何設計試題庫結構，其中每道試題最重要的屬性有題型、試題編號、題目分數、難度系數、知識點(試題內容所屬的知識層次范圍)、認知分類(反映該題對教學內容的要求層次)、估計答題時間、區分度等。組卷中決定一份試卷，就是決定一個n×r 的目標矩陣。其中:n 是試卷所含的題目數;r 表示滿足r 重約束條件，對應r 個重要屬性，具體約束由用戶自行設定。每道試題的r 個屬性決定矩陣一行元素的值，即

T=a11a12…a1ra21a22…a2ran1an2…anr

目標矩陣的主要約束條件有:

a)總分條件

ni=1ai1=toTalmark， 默認為100

b)難度系數條件

ni=1ai1ai2/totalmark=全卷難度

c)知識點條件: j為知識點

ni=1b1iai1=Zj(第j知識點的題分)， bi1=1，ai3=j0，ai3<>j

d)教學要求條件: j為教學要求號

ni=1b2iai1=Pj(第j認知分類的題分)，b2i=1，ai4=j0，ai4<>j

e)題型要求條件: j為教學要求號

ni=1b2iai1=Qj(第j題型的題分)，b2i=1，ai4=j0，ai4<>j

f)考試時間條件

T=ni=1ai6

g)區分度條件

D=1totalmarkni=1ai1ai7

具體的考試系統可根據具體情況增加或減少約束條件。

2.2 目標函數

矩陣T的列元素分布分別滿足用戶指定的試卷總體要求，即所有試題的分數總和、各種難度的試題所占的分數比例、各篇章所占的分數比例、反映不同教學層次要求的試題所占的分數比例、試卷中各種題型所占的分數比例、所有試題的估時總和、總卷區分度等約束都應等于用戶指定的要求，或者誤差最小。在實際應用中，設定f來綜合反映這些約束與用戶要求的誤差。由于它們的重要程度不同，因此整卷的誤差f就是r個約束的加權和。同時，為了不至于各個誤差相互抵消，這r個約束與用戶要求的誤差都取絕對值。

可以用f=ri=1fiwi表示。

其中: fi 表示第i 個約束與用戶要求的誤差絕對值;wi 是組卷人員對第i 個約束條件所賦予的權重。由于在實際組卷過程中，有些約束條件比較重要(如分數、知識點等) ，為了滿足它們的需要，可以適當犧牲其他約束，而另外一些約束，可適當放松取次優解。因此，根據這些約束條件不同性質和抽卷者的不同目標，對wi 可自行賦值，加大權重。組卷就是從題庫中抽取試題，使得整卷的誤差f 最小。因此，組卷問題可以看做是在約束條件下的最優化問題。設題庫中總共有n 道題，用S1，S2，…，Sn 表示這n 道題，那么組卷就是從S1，S2，…，Sn 中選出m道題，在特定的約束條件下，使得整卷目標函數f 取最小值。

若是抽取多套試題，不僅要保證在特定約束條件下整卷目標函數f 取最小值，還要保證不同套數的試卷間的重復率最低。

下面就去掉其他約束條件后，單就試卷內和試卷間的重復率問題給出如下的組合分析。

假設題庫中的試題共有n道題，每套試卷有m道題，抽取H套試卷，即一個考生周圍有H個考生與之相關，則在其周圍出現有k道以上試題與之相同的試卷的概率可以簡化為:

首先求出任意兩個考生之間出現K道以下試題相同的概率為α，則

α=m0n-mm+m1n-mm-1+m2n-mm-2+…+mk-1 n-m m-k+1nm

然后求出每個考生周圍與之相關的H個考生中出現有k道或k道以上試題與之相同的概率為β:β=1-αH。

對于要達到的目標，可以自己制定β、k和抽取的試卷套數H的值，就可得出題庫量n和試題量m的關系。

當m=100，H=200，β≤0.01%，k≈2時，可推斷出n的最小值約為3 000。

3 題庫量與試題量關系的實驗驗證分析

3.1 試卷內的試題重復率與題庫量的關系

當m=100，H=200時，β≤0.01%，模擬實驗過程采用下面數據進行仿真:題庫量分別為1 000，1 500，2 000，2 200，…，3 000，…，3 900，4 000，5 000道不同的試題，從題庫中隨機抽取100道試題組成一份試卷，共抽取200份試卷，研究每一份試卷內試題重復數與題庫量的關系。仿真實驗結果如下:當題庫量為1 000時，隨機地從題庫中抽取100個試題，在抽出的200份試卷中，大部分試卷的卷內的試題重復數在2~8題之間，隨著題庫量的增加，其重復數降低;當題庫量達到1 600~2 500時，其重復數大部分在1~4題。當題庫量達到3 000以上時，其重復數大部分僅為0~2題，如圖1所示。

3.2 試卷間的試題重復數與題庫量的關系

當m=100，H=200時，β≤0.01%，模擬實驗過程采用下面數據進行仿真:題庫量分別為1 000，1 500，2 000，2 200，…，3 000，…，3 900，4 000，5 000道試題庫中隨機抽取100道題組成一份試卷，共隨機抽取200份試卷，研究隨機抽取的200份試卷間的試題重復數與題庫量的關系。仿真實驗結果如下:若從1 000，1 500，2 000道試題庫中隨機抽取100道試題組成一份試卷，抽取的200份試卷間的試題重復數分別為6~13，4~9，3~7，若繼續增加題庫量時，試題重復數減少。當題庫量為2 500時，大部分試卷重復題的范圍在2~5之間;題庫量為3 000時，其范圍在2~4;題庫量在3 500時，其范圍在1~4;當題庫量增加到4 000或以上時，其范圍為1~3。結果如圖2所示。

綜合上述的實驗可得出:當題庫量達到3 000以上時，從中隨機抽取100題時，共抽取200套，試卷內的試題重復數為0~2題，試卷間的試題重復數為2~4題，即重復率控制在2%左右，當題庫量再增加，重復率基本無變化。由此可見，只要題庫量達到3 000或以上時，從中隨機抽取100道題生成一份試卷，共抽取200套，其效率已相當高了，可以達到一般考試要求，再增加題庫量意義已不大。

4 結束語

本文分析給出了自動組卷中的有約束條件的數據模型，通過對題庫量與隨機抽取試題量的關系分析，給出了無約束條件時的數學公式，并通過仿真實驗驗證了試題量為100題時無約束條件的結論:當題庫量達到3 000或3 000以上時，從中隨機抽取100個不同試題生成一份試卷，共抽取200份試卷，試卷內和試卷間的重復率已很低，可以達到一般考試要求，若再增加題庫量的意義已不大。對于滿足特定條件的其他試卷，可參考文中的相應公式來計算其值。本結論從理論上防止了課題的重復，對各種考試建立題庫時具有指導意義。

參考文獻:

[1]

張萍， 王建忠， 佘堃， 等. 免疫網絡安全考試系統[J].計算機應用研究，2007，24(8):162-164.

[2]陳振波， 楊春， 周明天. 基于網格的在線考試系統[J].中國測試技術，2006，32(3):106-109.

[3]楊永斌. 網絡智能試題庫系統建設研究[J].計算機科學，2007，134(112):296-299.

[4]雷運發，林雪芬.在線考試系統題庫自動抽取的實現[J].浙江科技學院學報，2006，18(4):274-276.

[5]曾一，冉忠，郭永林. 試題庫中自動組卷的算法及試卷測評策略[J].計算機工程與設計， 2006， 27(16):3024-3027.

[6]李一波，張溶溶. 試題得分概率和答題時間概率分布自適應學習整定[J].計算機工程與應用， 2005， 41(17): 215-217.

[7]楊昱昺，王紅艷. 基于題庫自適應在線考試系統的分析與設計[J]. 武漢理工大學學報， 2008，30 (4): 157-160.

[8]林培光，樊孝忠，余正濤，等.基于背包問題的在線組卷算法[J].計算機工程與應用，2006，42(5): 165-167.

(上接第605頁) 預測的車輛到達時間等信息。線路模擬運行20次，平均全程運行時間42.35 min，共收到數據24 800條，GPS定位精度為±1 m，平均WiFi可用傳輸時間為35.2 min，占整個運行時間83%，GPRS數據傳輸丟包率<1%。

實驗結果表明，在嘉定無線城市環境下，系統大部分時間內可用WiFi傳輸，具有較大的通信帶寬，從而可以實時穩定地傳輸監控視頻、實時地圖等信息，解決了以往智能公交系統通信帶寬有限、缺少實時路況等瓶頸問題，實現了ITS監控中心對車輛運行情況監控的實時化和信息化，符合公交車輛實際線路運營需求。

5 結束語

隨著ITS在交通運輸中的應用越來越廣泛，交通運輸所需處理的信息量越來越大，實時性要求越來越高，一個成熟的智能公交系統對于公交運輸的運營、監管及服務的作用也愈加重要。本文設計的基于WMAN的智能公交系統，解決了現有智能公交系統存在的通信帶寬有限、易產生信息孤島、缺少實時路況等瓶頸問題，具有較好的應用前景。隨著國內無線寬帶網絡的迅猛發展，高速、穩定的無線通信環境將會愈加普及，本文所提出的基于WMAN的智能公交系統具有一定的前瞻意義。

目前系統正在進一步地完善和優化，進一步的工作有:集成綜合報表系統，對于在監管運營調度決策過程中具有參考意義的數據進行報表分析設計，從而直觀地展現出來;在采集到的海量數據基礎上，研究建立完整的公交路況狀態檢測估計模型及計算平臺。

參考文獻:

[1]

WANG Fei-yue， MIRCHANDANI P B， XHENG N. Advances and trends in research and development of intelligent transportion systems: an introduction to the special issue[J]. IEEE Trans on Intelligent Transportation Systems，2004， 5(4):222-223.

[2]謝歡.基于WebGIS和GPRS的智能交通系統設計與實現[J].計算機科學，2005，32(4):225-227.

[3]邵健，李彥明，苗玉彬，等.智能公交系統中的信息采集與處理技術[J]. 計算機工程，2006，34(12):274-276.

[4]SONG Jie， ZHAO Zheng， CHEN Ji-lin， et al. Design and implementation of intelligent transportation system based on GPRS and bluetooth hybrid model[C]//Proc of IEEE International Conference on Automation and Logistics. 2008:1381-1385.

[5]ZHOU Ming-tuo， HARADA H，WANG Hai-guang， et al. Multi-channel WiMAX Mesh networking and its practice insea[C]//Proc. of IEEE International Conference on ITS Telecommunications. 2008.

[6]何廷潤.WiMAX進入中國市場的路徑分析[J].移動通信，2008，4(下):7-10.