馬鵬飛 李建軍
省級教育考試機構作為國家教育考試工作的重要一級組織管理部門,承擔著各類國家教育考試命題的組織實施。近年來,隨著省級教育考試機構組考職能的拓展,命題任務逐年增加。在高考綜合改革深入推進的背景下,大規模、高利害的學業水平考試(以下簡稱“學考”)受到社會和廣大考生高度關注。在新形勢下,命題質量和考試安全面臨著新的挑戰,傳統的命題組織管理模式已很難適應新形勢下命題工作的需要,題庫建設的重要性和緊迫性愈發明顯。《國務院關于深化考試招生制度改革的實施意見》和《國務院辦公廳關于新時代推進普通高中育人方式改革的指導意見》都明確提出要加強命題能力建設,加快題庫建設,提高命題質量[1]。可以說,題庫建設是省級考試機構命題能力建設的基礎性工作,也是深化考試招生制度改革的迫切要求,更是打造專業化教育考試機構的必由之路。
掌握全國省級教育考試機構題庫建設現狀,了解命題組織實施方式,吸收借鑒兄弟省(市)經驗,是做好題庫建設的基礎。為此,課題組采取調查問卷、考察走訪等方式,面向全國31 個省(市)教育考試機構開展了廣泛的調研。
結果發現,大多數考試機構尚未采用題庫命題方式(約占60%),命題組織方式一般采取集中入闈命題、分散與集中入闈命題相結合兩種模式;試題以卷庫方式呈現,制作平行試卷,隨機抽用。考試機構普遍反映這種命題方式入闈時間長,工作壓力大,安全保密風險逐年增加。主要表現為:命題教師選聘困難,組織管理難度大,命題成本高,試題質量把控缺乏有效手段等,對采取題庫命題方式普遍看好。
制約題庫建設的主要因素包括建設周期、研發費用、專業技術人員配備、題庫管理維護等。其他諸如題庫功能、題庫建設重點難點等,考試機構認識相對比較清晰,這也反映出了題庫建設的長期性和復雜性。對于已采用題庫系統實施命題的考試機構(約占40%),題庫使用滿意度較高,普遍認為題庫建設是考試機構命題工作方式和管理模式上的巨大變革,是考試機構核心競爭力的體現,有助于提高考試機構命題工作組織實施的能力和水平,具有節約命題成本、提高命題工作效率、提升命題質量和保證命題安全等優勢。
從題庫建設的實踐考察,隨著互聯網的普及和信息技術的飛速發展,題庫系統不僅應用于在線考評、測試、網絡培訓等教育領域,而且拓展到了公務選拔、職業技能鑒定、企業招聘等非教育領域,取得了良好的經濟和社會效益。國外許多專業考試機構都已建立起了適應大規模考試的題庫系統,例如雅思(IELTS)、學 術 能 力 評 估 測 試(SAT)、托 福(TOEFL)、國際學生評估項目(PISA)、研究生管理科學入學考試(GMAT)等。國內考試機構和行業部門題庫系統的研究與應用也逐步走向成熟。如教育部考試中心的全國英語等級考試(PETS)、財政部會計資格評價中心的全國會計專業技術資格考試等。題庫系統在國內外的廣泛應用以及在行業部門考試中的成功實踐都充分證明了題庫建設在教育考試領域應用的前景。
整體上,省級教育考試機構題庫建設進展不一,程度各異。在題庫建設的研究和應用方面,省級教育考試機構普遍認為題庫不僅是儲存各類試題或試卷的“倉庫”,更是一個以編題和組卷為核心,實現命題工作全流程信息化、規范化、精細化和科學化的管理系統和工作平臺。也就是說,完整意義上的題庫,除了具有錄入、存儲、編輯試題的功能外,還應具備智能組卷、查重、數據分析反饋等功能[2]。
省級教育考試機構題庫建設普遍起步較晚,研究和應用缺乏深度和廣度,整體水平不高。一是命題工作的組織形式以傳統的集中入闈命題為主,常態化的命題工作機制體制還未完全建立;二是題庫建設缺乏統一規劃和指導,進度不一,整體水平差異較大,不能完全適應新高考背景下命題工作開展的需要;三是題庫建設經費投入不足,相關專業人才匱乏,專技術力量薄弱;四是題庫建設理論研究滯后,對題庫系統功能、運行機制、工作模式等缺乏深入研究;五是題庫系統實際運用存在短板,題庫系統功能的通用性發揮不充分。
新高考背景下,學考分為合格性考試和選擇性考試,考試科目覆蓋國家課程方案規定的所有科目。因此,題庫建設必須圍繞考試科目特點、考生群體、考試性質等要素,結合自身命題組織實施過程中的實際情況,對照題庫建設實踐中的薄弱環節,以提高命題質量為重點,以保障命題安全為核心,不斷優化題庫建設思路和實施路徑,最終建立起與新高考相適應的題庫系統。
根據學考的性質和特點,題庫建設主要是建立覆蓋命題、審題、組卷和考后分析評價全流程的工作管理平臺,提升考試命題組織和管理的科學化、標準化、規范化工作水平。通過題庫管理平臺有效識別、發掘和培養高水平的命題教師隊伍。滿足紙筆考試、機考、網評、機器自動評卷的命題能力建設,適應未來信息化考試的要求。
學考作為高考綜合改革的重要組成部分,科目覆蓋面廣,考試頻次多,考生數量龐大,在題庫建設中應遵循以下基本原則:一是先進性和實用性相結合。系統在設計開發時應充分利用計算機技術發展的最新成果,保證系統設計的先進性和適度的超前性,同時也要考慮題庫使用者的計算機操作水平,簡化操作流程,方便使用。二是穩定性和安全性相結合。系統的開發設計應遵循軟件開發的流程和技術規范,研發成果和系統運行應具有完備的技術文檔,通過設置相應權限、角色模塊等保證數據的絕對安全和系統的可靠運行。三是開放性與可擴展性相結合。在系統的設計架構基礎上,實現系統與其他業務系統的有效對接,保持系統的開放性和可擴展性。
題庫功能是指為了滿足特定命題業務開展需要,題庫使用者提出初始化需求,并在題庫軟件系統上賦能實現的過程。為更好地滿足新高考背景下學考命題工作需要,省級考試機構題庫系統的建設應聚焦以下基本功能的實現。
1.用戶管理功能
用戶管理是對題庫系統中不同業務流程中涉及的不同角色的管理,主要有兩方面的內容:一是對命題參與人員的信息維護。主要包括命題管理人員、學科秘書、學科組長和命題教師等,信息維護中應當包含用戶的基本信息,如姓名、年齡、工作單位、職稱、學科、研究特長等,以便在開展命題工作時能夠進行準確、快速的人員篩選。二是對命題參與人員的權限管理。根據命題工作人員職能分工,在系統中設置對應的角色和權限,分配相應的功能菜單,給予適當的數據權限,同時對所有命題參與人員在系統中的操作記錄要有詳細的工作日志。
2.試題管理功能
試題管理是題庫系統的基礎,主要包含題庫基礎數據管理和試題命制流程管理等。題庫基礎數據管理部分,要能夠提供科目、試卷、題型、知識點以及試題擴展參數的配置。對于試題命制流程的管理,則需要與實際的工作開展相匹配,能夠制定命題計劃、分配命題任務,支持試題的審校、修改、備注,并能夠實現根據試卷參數進行自動組卷。同時根據命題工作的實際需要,試題管理還需要具備一定的查重功能,能夠對題庫的試題進行內網和外網的查重。
3.組卷管理功能
組卷管理功能是題庫系統的核心功能,也是題庫建設的重點和難點。組卷功能的設計與開發主要是滿足命題管理人員或學科專家通過相應的組卷規則來實現人工組卷和自動組卷的目的。組卷功能應依托靈活的組卷規則,支持根據知識點、難度、題型、數量等參數來組配不同要求的試卷。通過智能組卷,形成高質量的平行卷。
4.考試評價功能
考試評價屬于題庫的考后功能,主要用于評價試題的質量,驗證試題的預設參數,反饋命題得失,為后續的試題命制提供參考,最終達到提升命題質量的目的。由于涉及考后數據的回流,考試評價功能需要支持與評卷系統之間的數據對接,基于評卷數據重新整理、輸出考后試卷試題的數據分析,主要包括兩方面的內容:一是考生考試成績數據統計,主要包含總分和單科最高、最低、平均分等,用于評價試卷的整體情況。二是基于單個試題或某一題型的考生答題情況統計分析,如得分分布、選項比例、實測難度等,用于計算試題的信度、效度和區分度等。
目前,省級教育考試機構的命題組織形式主要包括入闈集中命題和分散命題。入闈集中命題基本采用傳統的卷庫命題方式:試題用word 軟件輸入調整,打印出來審核、研磨后將修訂結果錄入該軟件,再手工組卷、排版、定稿。整個過程以人工操作為主,工作繁重,效率不高,容易出錯,也不利于流程環節的保密。這種命題方式時間長,命題效率低,命題成本居高不下,命題質量主要依賴命題教師的個人經驗和主觀判斷。因此,如何建立一個集命題任務下發、分配、試題生產、加工、消費、反饋評價為一體的綜合性管理平臺就成了題庫建設需要解決的首要問題。即由傳統的集中入闈命題轉變為常態化征題,由粗放型的人工管理模式轉變為智能化管理,從而達到入闈命題和分散命題的有效整合,最終實現三個轉變:一是由傳統的經驗式命題向科學化、規范化命題的轉變;二是由手工命題向依托于計算機技術的信息化命題的轉變;三是由單一性的考試命題機構向綜合性的考試評價機構的轉變。通過題庫建設,將實現教育考試機構命題工作全周期的信息化管理,提高命審題的效率,降低命題成本,壓縮入闈時間,提高命題科研水平,為考試評價和改革提供決策依據。
題庫系統應具有性良好的穩定性,人機界面友好,操作簡單,易上手;系統錄入具有缺省值、操作提示、自動檢查、自動糾錯功能;具有先進的試題和數據加密技術,確保試題數據安全、保密,不被破解;系統還須具備良好的開放性,可以滿足多任務、多科目、多種題型的命、審題與題庫建設的需求。
安全性是題庫系統最基本的要求。在題庫建設中,必須保證信息安全和系統安全,要對應用系統、試題庫、數據存儲、訪問控制、權限管理等各個方面進行高可靠性的規劃和設計。因此,在加強入闈命題管理制度建設的同時,要確保入闈時工作網絡獨立組網,系統軟件的運行要經過嚴格的授權并在規定的時間內使用。對采用分散命題方式的,數據傳輸要經過高強度加密,不易破解。題庫系統還應有完善的數據備份與應急恢復機制,具備完善的日志管理功能,可以根據需要靈活配置,符合調查取證要求。最后,要建立一種安全可控的數據安全和服務管理手段,嚴格控制對數據的訪問與修改。
題庫的系統部署需要考慮系統運行的場景,因此在部署上需要能夠滿足常態化征題和封閉入闈命題的需要。一般情況下需要分三臺服務器部署三套系統,分別用于數據存儲、常態化征題和封閉入闈組卷。其中數據存儲服務器僅用于存儲試題數據,在專門的保密室中單獨管理,隔離外網,可選用塔式服務器或刀片式服務器;常態化征題服務器主要用于面向命題教師開展常態化征題工作,需要連接外網,可選用塔式服務器或刀片式服務器;封閉入闈服務器主要用于在封閉入闈場景中搭建臨時局域網絡,需要滿足便攜的要求,可選用2 臺工作站筆記本電腦,一主一備。同時整個系統在運行時,需要支持至少1000 人同時命題的并發規模,確保試題數據傳輸的流暢和穩定。
題庫建設專業性強,涉及面廣,是一個系統工程。同時,題庫建設是一個長期的過程,不可能一蹴而就,需要在實踐運用中不斷發現問題,解決問題。因此,題庫建設必須堅持問題導向,以命題工作需要為出發點和落腳點,探索適合本省省情和命題工作實際的題庫建設思路和方法。