基于命題細目表的二階段組卷策略研究

邢博特

【摘要】組卷策略是題庫系統的重要環節，而使用命題細目表進行組卷則可以有效克服組卷的主觀隨意性，優化試卷結構。通過計算機系統自動生成命題細目表，再根據細目表進行組卷是基于命題細目表的二階段組卷策略的核心思想。

【關鍵詞】命題細目表；組卷策略；二階段

【中圖分類號】G40-057【文獻標識碼】A【論文編號】1009－8097(2012)09－0097－04

題庫通常是指大量試題的集合，這些試題分類有序地存放，便于構造某種考試所用的試題或試卷。在教育測量學理論中，題庫被定義為是在某種測量理論指導下，試題經過試測計算出相關的統計參數，試題參數經過等值并建立在同一量表上，按照一定原則組織起來的能夠滿足某種考試需要的大量優良試題的組合。建設優良題庫是一種命題方式的變革，是提高命題效率和試卷組配質量的基礎，有利于實現命題工作的日?；?/p>

以題庫方式進行命題，可以組織更多的專家和命題教師參與命題，便于廣泛征集試題，使編制試題工作成為一種經常性的活動，命題人員有較充裕的時間研磨和審查試題，從而有利于提高試題質量。建立題庫后，命題人員可以集中精力設計好試卷藍圖，使試卷結構更科學、更合理，并且選擇題庫中的優良試題組配試卷，有利于提高組配效率和試卷質量。通過題庫方式命題，有利于組配平行試卷，堅持考試標準的一致性。以題庫方式組織命題，還有利于提高考試的信度和效度，有利于做好保密工作。

一常見組卷策略分析

題庫系統的核心是智能組卷系統，它可以在題庫中選擇合適的試題，自動完成組卷任務。它是數據庫理論、教育測量理論和人工智能理論相結合的產物，是從傳統教育向現代教育發展的一種新型教育考評體系，是我國教育考試體系的重要組成部分。目前的研究及應用中，各類組卷策略大致可以分為基于經典考試理論的組卷策略和基于項目反應理論的組卷策略兩種類型。其中，基于經典考試理論的組卷策略又包括基于隨機算法的組卷策略、基于深度與廣度搜索算法的組卷策略和基于遺傳算法的組卷策略等幾大類。

1、基于隨機算法的組卷策略

基于隨機算法的組卷策略是最直觀的一種組卷策略。在題庫中隨機抽取試題，然后判斷其是否符合試卷要求，如果符合，則將其加入到試卷中，如果不符合，則將其放入題庫重新抽取試題。不斷重復這一過程，直至組卷完畢或無法從題庫中抽選合適的試題為止。

該算法優勢在于結構簡單，單次選題過程運行速度較快，但如果組卷的約束條件較復雜，完成組卷方案的時間復雜度較大，而且試卷往往不能滿足某些約束條件。因此，該算法只適用于組卷約束條件較少的小型試題庫系統的組卷。

2、基于深度與廣度優先搜索算法的組卷策略

深度優先搜索算法和廣度優先搜索算法都是圖論的遍歷圖算法。在題庫組卷策略中，回溯組卷算法就是一種最常見的基于深度與廣度優先的搜索算法，它對隨機算法有很大的改進，可遍歷所有狀態組合。其主要思想是從題庫中隨機抽取試題，但在抽取過程中通過驗證所選擇的試題是否滿足系統給定的目標條件確定是否抽取該試題，當發現目前沒有任何試題滿足約束時，廢棄前一步或幾步操作后重新組卷，通過回溯試探的方法遍歷所有可能的組卷方式，完成組卷任務。

回溯算法組卷成功率高，理論上可以遍歷所有可能狀態組合，但當題庫題量或試卷總題量較大時，搜索空間變大，實現過程的時間開銷也會隨之變大，組卷效率較低。加之所選試題缺乏隨機性，因此在實際應用中單純的基于回溯試探算法應用受到制約。

3、基于遺傳算法的組卷策略

遺傳算法(GeneticAlgorithms，GA)通過模擬自然生態進化過程，采用迭代式搜索算法，根據一定的標準，在保持種群穩定的基礎上，激勵好的結果，淘汰劣質結果，最終搜索到理想的最優解或次優解。遺傳算法與其他算法不同的是，除去“染色體”的編碼規則，求解問題的本身對算法的影響并不大。當按照適當的編碼將待解問題的解表示成“染色體”形式后，每個個體就成為問題的一個解。建立一定規模的這種個體后，就可構成一個種群，根據計算種群中個體的適應度函數值，可以評價個體的優劣，在保持一定種群規模的前提下，按適者生存的原則執行選擇、交叉和變異等操作，得到更適應環境的下一代種群。反復迭代這一過程，直到得到符合要求的最優解，或者次優解為止。將遺傳算法應用于組卷策略，是近年來組卷策略研究的熱點之一。

遺傳算法的計算復雜度只與編碼規則、種群規模及迭代次數等條件有關，與問題本身的復雜度無關，而且可同時并行計算，因此更適合大規模復雜問題的優化求解；同時，遺傳算法是在所有解空間中使用多點隨機搜索最優解，因此能夠一定程度上避免局部最優的缺點；而遺傳算法的交叉、變異等操作有利于保持種群多樣性。但是，使用遺傳算法處理多目標優化問題時，需要將多目標優化問題轉化為單目標優化問題，因此求得的最優解(或次優解)有可能并非一份理想的試卷，而且，如果題庫規模較大，容易導致染色體過長，時間開銷呈非線性增長趨勢，從而降低算法的運算效率。

4、基于項目反應理論的組卷策略

基于項目反應理論的組卷算法最早是由自適應考試發展而來的。其具體操作為：開始時選取中等難度試題作為初始試題，當考生回答完成一道試題后，系統立即對其評分并重新估計學生能力，然后從題庫中選取下一道試題，直至對考生能力的測量精度達到指定的水平。

使用基于項目反應理論的策略對考生進行心理測量，優勢在于測量結果與考試試題樣本無關，突破了經典測量理論的局限性，具有題目參數估計更為準確、全面解決考試等值問題、適用于大規模自適應考試系統等優勢。但由于入庫試題需要進行試測以確定試題參數，而我國的各類大規?？荚囍袩o法進行試測，因此使用這一策略仍有一定困難。此外，該算法需要在考試過程中實施組卷策略，對考試系統的壓力也較大。

二基于命題細目表的兩階段組卷策略的構想與實現

一份合格的試卷需要多方面的衡量，難度分布、評價目標分布、知識內容分布等各項指標都需要控制在合理范圍之內。盡管上述幾種智能組卷策略都有其自身的優勢，而且近年在計算機等級考試、廣播電視大學等教育考試系統中有所應用，但這些策略都屬于單目標約束問題，實際操作過程中很難達到預期的組卷效果，因此需要命題細目表協助進行組卷。

命題細目表相當于試卷藍圖，它是試卷試題的考核內容、評價目標、難度、題型、分值等屬性的數量化表格，是命題、審題和組卷的直接操作依據。編制命題細目表是克服命題、組卷的主觀隨意性、保證試卷結構合理規范、有效提高試卷內容效度的關鍵步驟，也是聯結考試大綱與實際命題工作的紐帶，代表考試機構對命題工作的具體要求。同時，命題細目表是試卷平行性控制的重要依據。

本文提出了一種基于命題細目表的組卷方法，其主體思想是計算機自動生成滿足用戶需求的命題細目表，然后題庫系統根據該細目表從題庫中抽取滿足要求的試題，經過篩選，最終將這些試題組合成卷。因此本策略將組卷過程分為兩階段進行，分別為制作細目表階段和組卷階段。

1、組卷策略控制參數的約定

為實現上述組卷策略，需要建立一系列試題參數及試卷參數，作為題庫與組卷策略之間的橋梁。

(1)總體參數

總體參數是試卷的整體屬性，包括考試科目、試卷名稱、考試時間、考核知識點、滿分、及格分等。

(2)題型分布

題型分布是試卷的組成結構，即試卷使用的題型、題量及各題分數等。

(3)考核內容分布

考核內容分布是指試卷包含的各部分考核內容的比例，好的分布可以保證考核知識的覆蓋面，突出考核知識的重點。

(4)難度分布

難度分布是試卷中各類型難度題目分值的比例。一般可將難度分為易、較易、較難、難等四個等級，可分別使用A、B、c和D標記。較好的難度分布可以提高試卷的區分度和信度，是組卷過程中重要的指標。

(5)評價目標分布

根據布魯姆認知領域教育目標分類學，試題的評價目標可以分為記憶、理解、運用、分析、評價和創造，可以使用Ⅰ、Ⅱ、Ⅲ、Ⅳ、Ⅴ和Ⅵ表示(本文僅列出Ⅰ、Ⅱ、Ⅲ、Ⅳ)。評價目標分布是試卷中各題考查各類認知層次的比例分布，好的分布可以提高考試的效度。

2、生成細目表階段

當用戶給定試卷各項參數及目標分布后，進入到生成細目表階段。由于本文細目表涉及四個維度的分布，因此編制合格細目表的工作量很大，即使使用計算機進行協助，其計算量也相當龐大，因此本文將采用降維調整算法構建命題細目表。

(1)相關術語及解釋

降維調整算法的核心思想就是首先將四維的命題細目表降低成二維的“考核內容一題型”細目表，再根據難度分布與評價目標分布構建完整細目表。為完成上述操作，首先需要介紹相關術語及解釋。

塊：在僅以考核內容與題型構建的二維表格中，每個單元稱為一個塊，見表1。每個塊中的數字表示每個題型中各考核內容的題目數量。

塊分配：是指根據一定算法將試題分配到各個塊中的過程，其結果是形成滿足題型分布和考核內容分布的“考核內容一題型”二維表格。選擇1題分布在相應塊內，同時TNum[]數組相應位置數值－1，PAC[]數組相應位置減去相應題目的TSco[]數值。

第三步：重復上述操作，直至某題型相應位置的TNum[]數值變為零。

第四步：對前一道大題執行第二步及第三步的操作。

第五步：當TNum[]數組中的所有數值均為零時，算法完成。

格點：在以題型、考核內容、難度和評價目標而構建的細目表中，每個單元格稱為一個格點，見表2。

格點分配：是指根據塊分配結果，將相應數量的題目按照一定算法分配到細目表的各個格點中，其結果是形成基本滿足難度分布和評價目標分布的命題細目表。

(2)塊分配算法

塊分配算法只考慮在“考核內容一題型”表格中的分配。這一過程中不考慮試題的難度和評價目標，從而把四維的命題細目表問題降為二維情況處理，大大簡化了操作復雜度。分配的原則是大題盡量分布在考核內容的重點部分，小題則盡量平均分布，這樣既可以保證試卷對知識點的覆蓋面，又可以突出對重點內容的考核。操作步驟如下：

第一步：設定相關參數：

數組TNum[]為各題型中未分配的小題數量，初始值為試卷中各大題中包含的小題數量；

數組TSco[]為各題型中每小題的分值，此為常數數組；

數組PAC[]為考核內容分布概率，其初始值為考核內容的目標分布。

第二步：從最后一道大題開始，按照PAC[]的概率分布，

(3)格點分配算法

格點分配算法則是根據塊分配構建的“考核內容，題型”分布表，在塊內的格點中分配試題。分配過程不會改變塊分布，同時需要同時滿足難度分布和評價目標分布的要求。具體操作如下：

第一步：設定相關參數：

數組TBlock[]為各塊中未分配的小題數量，初始值為塊分配中構建的“考核內容，題型”分布表。

數組TSco[]仍為各題型中每小題的分值，此為常數數組；

數組PDif[]為難度分布概率，其初始值為難度的目標分布：

數組PAO[]為評價目標分布概率，其初始值為評價目標的目標分布。

第二步：從最后一個塊開始，分別按照PDif[]和PAO[]的概率分布，隨機分配塊內題目，同時TBlock[]數組相應位置數值－1，PDif[]數組和PAO[]數組相應位置減去相應題目的TSeo[]數值。

第三步：重復上述操作，直至某塊對應的TBlock[]單元的數值為零。

第四步：對前一個塊執行第二步和第三步的操作。

第五步：當TBlock[]數組中的所有數值均為零時，算法完成。

執行上述步驟后，可以得到一份符合題型分布、考核內容分布、難度分布和評價目標分布的四維命題細目表，此時可以進入組卷階段。

3按照細目表組卷階段

制作命題細目表是本組卷策略十分重要的一環，組卷階段的任務就是按照編制好的細目表抽取試題組卷。抽取方法可采用查詢后抽取的方式進行操作，即組卷系統從題庫中查詢符合細目表要求的試題作為備選，以不重復考核知識點為原則隨機抽取試題組卷。當題庫按照細目表完成試題抽取任務后，輸出并打印試卷，組卷完成。如果在抽取試題過程中發現沒有滿足某些屬性要求的試題，可以局部調整細目表后重新組卷。

三總結

基于命題細目表的二階段組卷策略有效地降低了隨機搜索組卷策略和回溯算法組卷策略在搜索試題時的盲目性，大幅度提高了組卷的成功率；同時，該算法還可以根據命題細目表快速搜索試題并組卷，有利于大規模計算機化考試和網絡考試，這是遺傳算法組卷策略所不能做到的，因為其需要進行大規模的并行計算工作。

本組卷策略的優勢在于，它是基于多維命題細目表構建而成的，可以很好地保證試卷的難度控制和考核目標分布，有利于提高試卷的效度，只要保證了題庫試題的容量和多樣性，完全可以命制出具有較高專家水平的試卷。而且，第一階段制作的細目表可以重復利用，使用同一雙向細目表可以命制不同的試卷，因此可以提高題庫的使用效率。同時，對不同的課程，可定制不同的細目表要求，滿足用戶多樣化需求?？傊?，該組卷策略符合現代考試的特點，是一種非常實用的組卷技術。

本組卷策略在計算機技術方面的優勢在于，抽取題目過程與制作細目表過程可同時進行，提高計算機的并行效率。同時，在計算機的空閑時間也可執行制作細目表的操作，提高了計算機的使用效率。最后，本組卷策略僅需使用重復查詢的算法即可實現滿意的組卷結果，有效縮短了組卷時間，有利于實現大規模計算機化考試和網絡考試。

但是，執行本組卷策略時還應注意，其對題庫中題目多樣性的要求較高，理論上，命題細目表中的任意位置都需有符合屬性要求的試題才可較好地完成組卷過程。此外，由于目前國家大型考試中無法施行試測，因此對試題的難度只能使用專家估計的方式進行，避免入庫試題屬性的主觀性是比較困難的，如果某些試題的預估屬性不夠客觀，組卷的合理性就會受到影響，因此在實際操作中，采用多位專家獨立預估并取平均值的方式可以盡量減少這種主觀性。最后，本組卷策略仍有改進的余地，例如，由于分值較高的題目具有難度相對較大、考核目標相對較高等特點，對難度、考核目標的分布概率可以進行相應調整，可使組卷更加科學、合理等。