


[摘 要] 數字化轉型是教育考試順應時代發展的必由之路,機考以其獨特的優勢成為大規模考試數字化轉型的有效途徑。專業考試機構應該結合人工智能、大數據等先進技術,深入探索大規模考試機考的實施策略,利用現代信息技術搭建大規模考試機考體系,改進命題工作方式,提高組考工作效率,優化考試智能評分系統,提升考試評價價值。同時,積極破解數字化轉型中機考的數據安全、技術保障、試卷等值等難題,提升大規模考試綜合管理的質效,以滿足現代考試的需要。
[關鍵詞] 數字化轉型;大規模考試;機考;體系構建
[中圖分類號] G424.74 [文獻標識碼] A
[文章編號] 1673—1654(2024)05—040—010
現代社會已邁入數字經濟時代,數字化轉型正在沖擊和顛覆著已有的技術路徑、組織模式乃至發展戰略。2022年,黨的二十大報告首次將“推進教育數字化”寫入其中,教育部也正式提出實施國家教育數字化戰略行動,加速教育適應數字中國發展的步伐[1]。中共中央、國務院印發的《深化新時代教育評價改革總體方案》明確提出,要充分利用信息技術,提高教育評價的科學性、專業性、客觀性,要求創新評價工具,利用人工智能、大數據等現代信息技術,探索開展學生學習情況全過程縱向評價和德智體美勞全要素橫向評價[2] 。考試是教育工作的重要環節,推進考試的數字化轉型,不僅是推進教育數字化的真實體現,也是落實教育評價改革的有力舉措。
數字化轉型是指順應新一代科技革命和產業革命的趨勢,不斷深化應用云計算、大數據、物聯網、人工智能、區塊鏈等新一代信息技術,激發數據要素創新驅動潛能,打造提升信息時代生存和發展能力,加速業務優化升級和創新轉型,改造提升傳統功能,培育發展新功能,創造、傳遞并獲取新價值,實現轉型升級和創新發展的過程[3] 。教育考試的數字化轉型就是要以數字化技術、數字化產品和數字化平臺為支撐起點,重新思考組考策略,著力創建新的組考模式,形成數字化考試生態系統,以適應數字時代對考試的需求。
計算機化考試(Computer-Based Testing,CBT,以下簡稱“機考”)由來已久,但隨著教育數字化轉型的推進,數字技術為機考賦能,“云”+“端”架構模式也以其便捷、靈活的特點,在大規模考試中日趨廣泛應用,并逐漸向全學科、全題型、全流程延展,這不僅豐富了各學科核心素養的考查需求,提升了考試組織管理的效能,也更好地維護了考試的公平與公正。
一、教育考試數字化轉型的研究現狀及發展現狀
(一)教育考試數字化轉型的研究現狀
隨著數字技術的發展及各行各業數字化轉型進程的加快,越來越多考試工作者開始逐步探索教育考試數字化轉型之路。徐光木等人積極探索了ChatGPT在助推教育考試數字化轉型中的機遇、應用及挑戰,指出當前教育考試數字化轉型面臨資源不均衡、對學生評價不全面、數字化成本高昂等問題,而ChatGPT為教育考試數字化轉型注入內生動力,可以用于自動生成海量題庫,建立虛擬考場,服務學校多元化選才和學生個性化成長[4]。趙劍楠結合測試使用論證框架(Assessment Use Argument)介紹了北京高考英語聽說機考的設計、開發、特點及效果[5],并以新托福、培生學術英語考試聽說測試為例,對計算機輔助英語聽說測試任務進行研究[6]。魯欣正[7]對數字化和數字化轉型的時代背景和現實意義進行剖析,對數字化轉型的關鍵要素進行梳理,并對教育考試數字化轉型的未來發展方向提出若干建議。應朝帥等[1]結合浙江省實踐,積極探索實踐試卷流轉出入庫數字化管理模式,構建基于“數據流”的考試試卷數字化管理體系雛形,從理念、方法、手段、技術路線上實現“試卷流”向“試卷數據流”的轉變。馬彪等[8]以江蘇省實踐為例,探索教育考試數字化轉型的問題、要素與目標。孫利君對教育考試業務數字化重構進行深入思考,總結數字化呈現的特點,結合考試業務提出建議[9],還積極探索教育數字化戰略背景下的考試評測創新與實踐[10]。吳斌[11]等對命題管理工作數字化轉型的建設框架和實施路徑提出相關思考。汪張龍梳理了認知智能大模型的發展進程,分析了認知智能大模型在教育考試數字化轉型中的應用場景,并指出認知智能大模型在加速教育考試數字化轉型中的必然性與價值體現[12];他還與李俊杰探討了新基建背景下,教育考試數字化轉型的路徑、應用場景及發展趨勢[13]。李鴻江等[14]從組考流程、平臺設計和實踐應用等方面,詳細闡釋了北京中考英語聽說機考的創新與實踐。
綜合上述研究成果可以看出,隨著數字技術的發展及人工智能的應用,數字化轉型是教育考試發展的必由之路,機考已經成為考試組織管理和教育測量評價領域的主要取向。機考將信息技術與考試融合為一體,發展模塊化組合,互通數據庫系統,實施多元化評價,推進考評一體化,具有靈活性強、嚴密性好、節約考試資源等優勢,是無紙化考試的延伸和擴展,能夠滿足教育考試的考查需求,實現了對數據信息的高效使用和深度挖掘[15]。
(二)教育考試數字化轉型的發展現狀
隨著感知智能、認知智能等技術的發展,機器學習推理技術、自動評閱技術、語義評測技術、圖文識別技術、行為識別分析技術等在教育考試領域創新集成應用,為教育考試數字化轉型提供了堅強的技術支持。例如:考試內容方面,語音識別、自然語言處理技術的突破,為英語聽說能力的自動評估提供了可能。語音識別技術使機器能夠聽懂考生的語音內容;語音增強技術讓機器能在嘈雜的考場環境中聽清考生的聲音;語音交互技術可以讓機器聽懂指令并實現人機交互;語音評測技術又能讓機器評判考生的口語水平。這些技術可以準確地評估學生的發音、流利度、語言表達等關鍵指標。在考試組織方面,人工智能、動作捕捉識別分析等技術的發展,使智能安檢門、考場智能巡查系統、保密室智能巡檢系統在考試組考中逐漸得到應用,數字化技術對考試組織管理的賦能,保障了考試的安全,維護了考試的公平與公正。
全國計算機等級考試、全國大學英語四六級口語考試(CET-SET)、全國英語等級考試(PETS)口語考試、全國普通話等級考試,北京、上海、廣東、天津等多省市的高考、中考英語聽力、口語測試,乃至一些音樂考試,都已經在使用機考技術開展多模態評測。現在的機考,通過數字化賦能,已經提升了組考過程的質效,彰顯出如下優勢:
一是提高了考試管理工作的高效性。機考通過自動化的方式部署實施考試環節,考務組織高效便捷,節省了考務人力的投入。同時,考試系統實時監控考試進展情況,考務工作人員可以動態獲取考生考試完成情況,無需再通過逐級上報等方式掌握考試情況,使考務的組織與管理更加便捷。
二是增強了考試組考的安全性。相較傳統紙筆考試,機考免去了試卷印刷環節,減少了紙張的使用,降低了試卷流轉的風險及管理風險。同時,增加了多重安全措施,確保了考試的公平與公正。考試過程中的數據也通過實時回傳監考機,或者在考試機上生成日志記錄,實現數據的可追溯,避免了人為錯誤造成難以追溯的情況。
三是實現了對考生考查的全面性。傳統紙筆考試具有一定的局限性,試題內容設計及考試方式無法實現對學生學科素養的全面考查。數字化的考試平臺,不僅可以實現傳統紙筆考試的功能,同時以前未能考查到的學科素養及能力也得以全面考查。
四是確保了試卷評分的一致性。機考輔助評分,可以將多視角評分數據與多維度診斷相結合,實現高解釋性、高區分性的全面評價,在提高閱卷效率的同時,確保測評標準的一致。
總之,教育考試數字化轉型是新時代教育發展的必然選擇。數字技術為大規模考試的機考提供了技術基礎和實施保障,也給考試的組織管理及教育教學帶來了新突破。隨著信息技術的不斷進步和政策的逐步完善,機考有望在大規模考試數字化轉型中發揮越來越重要的作用。
現有的機考大多運用于英語學科的考查,而大規模考試包含的科類較多,還需要引入新的技術,實現機考在其他科類考試中的全面應用。另外,大規模考試的組織管理是一項系統工程,包含試題命制、考試組織、試題評閱、考試評價等多個環節。目前的機考只是在考試中替代紙筆考試,在考試后智能輔助評分,數字信息技術對整個考試業務鏈條的賦能還不夠,對各管理系統及資源的整合還不全,對考試數據的挖掘還不深,未能充分發揮數字化轉型的優勢。作為專業的考試機構,應該用數字思維重塑教育考試業務流程,將信息技術與考試業務深度融合,搭建教育考試綜合管理體系,以提升大規模考試組織管理的質效,滿足現代考試的需要。
二、搭建大規模考試機考體系
如表1所示,大規模考試的組織管理從試題命題開始,歷經考務準備、考試組織、試卷評閱、考試評價等多環節,同時考試安全作為考試工作的“生命線”,又貫穿考試的全鏈條、各環節。在大規模考試中實施機考,需要利用現代信息技術、大數據處理技術、人工智能技術等先進手段賦能考試的各環節,需要高效的數據處理能力和穩定的安全系統做保障,以實現考試工作整體的數字化轉型。并且,數字化轉型不是簡單地將考試管理過程電子化,而是要借助數字技術,對考試全流程、全環節、全要素進行業務模式創新重構、業務流程優化再造[7],促進考試管理協同體系的構建,實現大規模考試真正的變革。
(一)機考命題系統
試題是測試評價的載體,命題也是整個考試鏈條的首要環節。命題工作一般包括命題藍圖設計、試題征題、審校篩題、試題研磨、試卷組卷、形成清樣等環節;命題過程中,需要綜合考慮知識點分布、試題形式、難度系數、試題查重等事項。在試題命制過程中,做好數字化轉型,加強信息技術、大數據處理、人工智能等技術的運用,可以實現命題全流程、全題型的智能化處理,進一步提升命題工作的質量及效率。
一是命題管理可以更有序高效。通過搭建數字化的命題系統,命題工作者可以更好地把控項目進展狀況,科學地分布試卷結構,還可以合理調配試題庫及命題教師資源等,以確保命題工作如期保質完成。
二是命制試題可以更科學規范。隨著OCR識別、圖像識別、圖文轉寫、語義理解、相似檢測、機器學習等人工智能技術的發展,將會對所命制試題的文本、語義、公式、圖片、視頻及音頻等內容的科學性、規范性進行校驗[13],如對單詞拼寫、語句語法、特殊符號等進行檢測,以進一步提高命制試題試卷的質量。另外,機考命題系統可以集成更豐富的數字化資料,如電子工具書、電子期刊、電子資料及軟件等,為命題過程中檢索相關內容、確保試題的科學性提供便捷。
三是試題形式可以更豐富多樣。計算機可以兼容多種考查形式,除了傳統紙筆測試的選擇題、填空題、簡答題以外,語言類測試可以增加視聽題、口語表達題等;自然學科測試可以增加繪圖題、連線題、實驗操作題等;藝術類學科可以增加音樂唱奏題、節奏敲擊題、美術配色題、圖片拖拽題等;信息技術類學科,可以增加軟件操作、編程等試題。多樣化的考查形式,可以更全面檢驗考生所具備的學科素養。例如:在英語聽說測試中,朗讀題、情景問答題、口頭復述題、看圖說話或口頭作文題等,對考生的發音進行測評,又對考生的理解能力、語言組織能力、口語表達能力等從發音清晰度、表達流暢度、語法準確度、信息完整度等方面進行全面測評,而這是以往紙筆測試難以實現的。還有藝術學科的文化理解、審美感知、藝術表現、創意實踐等素養,信息技術學科的實踐操作、技術素養等,都可以在數字化轉型的推動下得以實現。
四是試題難度可以更精準把控。試題難度是命題時需要關注的重點指標。傳統命題過程中,試題難度的把控主要憑借命題教師的預估,受命題教師經驗的影響較大,存在一定的誤差。數字化賦能的考試命題,可以基于歷年考試試題及考生成績等數據,通過機器學習的方式,標定試題難度,再反過來預估、標定新命制試題的難度。憑借以往試題及考生的真實數據,加上大數據的精準算法,可以使試題的預估難度更精確、標準更統一。考試完成后,還可以將新的考試數據補充進數據庫,通過建立訓練集,用機器學習算法構建AI難度預估模型,并不斷地拓展訓練和訓練迭代,持續提升模型的準確度[14];同時,可以與預估難度進行比對、校準,在豐富數據庫數據的同時,為下一次命題提供數據支撐(圖1)。
五是試題查重可以更簡捷高效。為維護考試的公平與公正,避免出現“泄題”“重題”等不必要的輿情,在命題審校過程中,需要對試題進行查重,排查試題是否與歷年試題、考前模擬題等重復。傳統的人工查重方式資源有限、時間緊迫、效率低下。通過信息技術建立試題庫,可以海量存儲試題,以更便捷地查重。隨著AIGC(生成式人工智能)在命題領域的應用,可以探索應用試題表征和融合技術,采集題干、公式、示意圖表、知識點的多模態特征,融合不同模態向量,得到查重檢索的輸入信息[16]。
六是試題管理可以更安全嚴密。根據試題數據下載方式不同,機考分為在線機考及非在線機考。在線機考的試卷包,采用國密算法進行切片加密存儲,考試時從考試系統直接通過線上專網下載;非在線機考通過試題U盤將試卷數據導入監考機,再使用加密鎖進行試卷包傳輸,由監考機通過局域網發給本考場考試機。無論哪種形式,都免去了試卷印刷、運輸分發等環節,降低了試題泄題的風險;智能機考系統也支持考中不解壓試卷包,使試題管理更加科學、安全。
(二)機考考務系統
考務工作是考試組織實施的主體,是考試工作鏈條中的關鍵環節。考務工作一般包括考前報名及考場編排、考中組織管理及考試行為監控、考后數據匯總及成績發布等。考務工作的數字化賦能,可提高考試管理工作的效率,提升組考工作的規范化水平。
考前的考務工作主要是考場編排、考務表件的制作、考生數據的管理等。數字化賦能的考務系統,可以在考生報名信息數據庫的基礎上,結合考點實際(如考場數、機位數)及考生特殊情況(如殘疾考生合理便利需求等),采取多校混編或指定編排等方式編排考場,并便捷地生成相應的考務表件(如考場信息表、條形碼數據、考場記錄表單等),及時統計考務相關數據,提高考務工作的組織工作效率。也可通過機考考務系統對考試環境進行檢測及排查,收集各考點考場的硬件檢測結果,協助考試組織機構判斷各考場備考狀況,督促各考點完成系統更新、設備調試及考試環境的準備。
考中的考務工作主要是考試試卷管理、考試流程的管理(在規定時間按考試程序完成相應考務事項)、突發情況的處置、考生答卷的回收及匯總等(傳統考試是回收試卷,機考為答題數據回收)。考試試卷管理中,數字化的管理可以降低試卷流轉的安全風險,緊急情況時調動試卷應急能力不足的風險,以及試卷流轉、交接、回收中的人工復核風險[1]。在考試流程管理中,機考考務系統可以嚴格按照設計的既定時間,依次執行考務程序中的相關事項,準時發放或回收試題數據,避免出現考生提前答題或結束鈴響后答題等違紀現象,也減少了工作人員任務執行中的人為錯誤(如打錯鈴、發錯試卷),提高了考試監考工作的質效。通過機考考務系統也可實時掌控各考點、考場的考試進展狀況,及時掌握考生答題情況,對網絡掉線、耳機脫落等突發情況及時報警,為合理處置爭取了時間,降低了考試的組考風險。在考試過程中,還要借助信息技術,提升考試指揮中心的功能,匯集考生、考場等考試信息,實時掌握考情動態,全面指揮調度,及時應急處置。在需要語音測試的科目中,綜合運用聲音降噪技術、語音識別技術、語義表征技術、音質檢測技術、音頻增強技術、考生端異常檢測與數據加密傳輸等手段,確保考生的答題數據清晰、有效。
數字化賦能的機考考務系統,也可以助力防范考試作弊。考生進入考場或登錄考試系統時,可通過刷臉、指紋驗證、虹膜技術等進行身份驗證,避免出現考生替考等現象。考試開始后,對于局域網下的機考,可以通過無干擾抓拍技術等,隨機抓拍考生考試情況,震懾考生作弊等行為,也進一步比對驗證考生身份;對于互聯網下的機考,可以通過行為分析技術等,實時監控考場考試情況,對考生偷窺、攜帶可疑物品等異常行為及時報警,方便監考員及時監管,有效維持考試紀律。同時,行為分析技術也可以實時巡查監考員的狀態,對不履責,或者有不當行為(如脫崗、長期久坐不巡場、監考中聊天等)的監考員,及時報警提示,促進考試考場秩序的建立。智能機考系統對試題及選項亂序的處理、隨機抽取套卷、實施相鄰考位試題不同等措施,也能為防范考試作弊行為提供有效途徑。
考后的考務工作主要是答卷回收、考試數據的安全管理和考后服務等。回收答卷數據首先需要進行完整性校驗,同時及時查驗考場、考生實際狀況,減少答題數據不可評測的風險。考試數據的安全是考務工作的重中之重。傳統的組考方式是回收答題卡等紙質介質,而機考的組考是回收考生答題的電子數據。根據高考考務工作規定,考生答卷在成績公布前按國家秘密級事項管理。為此,要制定嚴格的數據管理規范,采用信息技術對數據加密存儲、傳輸,嚴格控制數據回收的路徑及流程,做好數據校驗、行為日志記錄等工作。至于考后服務,主要是應對一些咨詢信訪訴求。數字化的考務管理系統,可更多記載考試有關信息,為追溯考試當時的具體情況提供客觀依據,保證了信訪咨詢的性能與效果。通過多模態分析技術、行為分析技術、機器學習技術等,還可以進行考后考場視頻錄像智能分析,智能捕捉考場中的考生異常行為,為考后信訪、投訴等提供評判依據及支撐,維護考試的公平與公正。
(三)機考評卷系統
目前,大規模紙筆考試的評卷方式主要是網上閱卷,一般以“雙評+仲裁”的方式進行。但是,由于評卷主體不同,也存在一定的誤差,尤其是主觀題。而機考的智能輔助評分,一般先由閱卷專家抽樣一定數量的試卷進行定標,機器自動學習評分標準,再以統一的標準對試卷進行機評。在提高評分效率、降低評分成本的同時,也確保了評卷標準的一致性、判分的準確性和考試的公平性。北京市中高考的英語聽說機考[14]、天津市高考口語機考等考試,均采取“人工評分+智能評分+人工仲裁”的方式。
計算機智能輔助評卷的核心在于計算機能夠從定標集合的人工評卷結果中學習并掌握評卷標準。計算機通過對相關特征的聚類分析,并考慮考生地域覆蓋、水平覆蓋情況等選出最具有代表性的樣本組成定標數據集合(簡稱為“定標集”),提供給專家老師進行評卷定標評分,通過學習專家老師在這些定標試卷上的評分結果,機器逐步形成與專家老師定標標準相一致的評分標準,也就是通過專家老師的定標結果來充分理解和掌握評分標準。
計算機智能輔助評卷一般要經過計算機預評卷、人工定標評卷、計算機智能評卷、人機協作評卷等流程(圖2)[14]。計算機預評卷,是基于“通用識別評分模型”對考生作答數據進行初步的粗粒度的分檔評分和排序,用于標桿卷及定標集合的抽取。根據預評卷的結果,按試卷、試題篩選標桿卷和定標集合,由閱卷組通過“雙評”,對定標集合進行評卷。計算機獲取人工評卷結果的定標集合后,通過對定標集樣本的分析、學習和記憶學習過程,建立符合本次考試人工評分標準的專用評分模型,對全體考生答卷進行自動評卷,并篩選異常答卷再進行人工評卷。最后,基于計算機評卷和人工評卷結果,確定考生最終成績。
智能輔助評分技術已日趨成熟、穩定,可以支持對填空、作文、證明題、簡答題等題型進行評分。北京市高考英語聽說考試從2017年開始實施機評,經過多年實踐,現實智能評分結果與人工評分在平均分、標準差、相關度及評分一致率等方面結果相當[10]。隨著語音識別、人工智能等技術的發展,智能輔助評分也逐漸嘗試在素養類學科測試中應用。例如,可對音樂唱奏題實施機器智能輔助評分,可對音準、節奏、完整性、表現力等多維度智能評分。通過測評數據分析,智能評測較人工評測的總分相關度高,總分平均誤差較低,可以達到預期效果。可以預計,隨著語音識別、圖像識別、智能評測等人工智能技術的發展,未來可實現對大規模考試全學科、全題型的智能評分。
但在使用智能輔助評分系統進行機評時,也需要注意:
一是加強對成績的復核和人評抽審,或者從技術上綜合分析考生成績做線性回歸,確保機評結果的信度及效度。例如:當英語聽說成績與筆試成績存在較大差異時(可能由于錄音設備考試進行中出現故障,造成考生的筆試成績分高口語分極低),要增加人工復審復核,必要時還需進行微調或追加評分,以確保考試的公平公正。
二是不同類型試題對定標集的數量要求不同。試題根據開放程度,一般分為封閉型試題(如口語測試中的朗讀題)、半開放型試題(如口語測試中的情景對話、看圖說話、復述題等),以及全開放型試題(如話題作文、藝術創作題等)。試題越開放,需要獲取的關鍵信息量越多,需要足夠的樣本供機器學習,以得到更精準的測評標準。
(四)機考評價系統
考試評價是考試組織實施的最后環節,充分發揮、提升數據的作用和價值也是數字化轉型的目標和方向。傳統的考試評價主要是通過分析考生的測評數據進行評價,而機考可以采集更多的有效信息,將這些信息與評價技術、測量模型等相結合,實現對學生的多元評價、實時評價及自適應測試等,助力考試評價的深入發展。對考試數據進行深入挖掘、分析及應用,向考生、學校或教育行政部門提供多維度的評價分析報告,可促進學生發展,促進教師教學質量提升,為政策制定者提供有效的借鑒,達到“以評促學、以評促教”的目的。
機考體系應該是一個集成系統,涵蓋考生報名信息、考場行為、作答情況、考試成績等考生考試信息,涵蓋試題試卷內容、系數參數等試題信息,以及考試組考中的相關信息。信息數據量大,數據類型齊全,數據資源豐富,不能僅對考試作答進行分數評判,還要借助大數據技術、人工智能技術等,增加考試評價的深入性,提高考試評估的全面性,豐富評估維度并提供可視化的考試評價分析報告。例如:通過對試題區分度、難度、信度、效度的分析,從知識點、能力等多維度,對命題質量進行評價;通過對評卷平均分、標準差、綜合指數、評卷量及誤差分析等,進行試卷質量分析;通過對考務預警情況、考試作弊數等信息分析,對各考點組考工作進行評價;利用智能行為分析技術,無感捕捉、采集考生作答時的具體行為及過程性表現(如嘴唇動作、頭部姿態、眼睛注視點、面部微表情、作答速度等),并與語音識別信息融合,形成多模態數據,再通過數字化分析,一方面檢測考生考試的異常行為,及時警示考生考試系統狀態[10],輔助提高機考語音識別的準確率、提升異常語音的檢測效果[17],另一方面對學生考試過程進行評價、診斷、分析,深入了解學生對所考查內容的掌握程度和疑難點,為考生提供個性化的學習方案,為學生自主學習及有針對性地提升成績提供參考。同時,反撥教學工作,為教師教學提供積極引導及有效借鑒。
另外,考試評價系統可以充分利用信息技術,將數據進行橫向和縱向的貫通評價分析。例如,將考生在不同考試中的測評結果進行有效關聯、縱向對比分析,為考生持續學習發展提供指導;也可將不同考區或者地區的測評結果進行橫向對比分析,為教育教學及教育行政部門決策提供參考,進一步優化教育資源配置。
隨著認知智能大模型技術等新一代人工智能技術的發展,機器對人的語言理解、邏輯推理、多模態交互等方面的能力也將大幅提升。不遠的將來,也許會有機器人考官通過與考生進行問答的方式,直接對考生進行自適性評價,在更多的學科、更多的題型中對考生進行實時、多維度、更深入的評價[12]。
三、大規模機考面臨的挑戰與對策
(一)機考數據安全問題
安全是考試工作的“生命線”。在大規模考試中,數據安全更是考試組織實施的重中之重。隨著數字化轉型的深入,在大規模考試中采用機考組考方式的趨勢不可逆轉。目前,大多數機考還是采取局域網的模式組織考試,主要利用硬件設備(如加密鎖)對試卷進行加密管理。隨著網絡技術的進一步發展,為使考試組織更加便捷,也為學生提供更多考試機會、降低試題泄漏和考試作弊風險,可推行基于考試專網的線上機考,進一步減少數據的周轉傳輸,實現由集中性考試邁向可分散性的考試。同時,可以多科目混排、混考,通過“同場不同卷”的方式,進一步優化考場資源,減少人力物力。數據加密技術也需要不斷升級,構建全方位的安全保障體系,以全面確保考試設施及系統安全、考試試題安全、答題數據安全、考生信息安全等。
(二)機考技術保障問題
大規模考試一般涉及面廣,社會關注度高,考試中若出現系統閃退、計算機宕機、網絡故障、考場斷電等偶發事故,不僅直接阻斷考試的進行,也會帶來一定的輿情風險,甚至會影響社會穩定。在大規模考試中實施機考,技術保障是關鍵。機考標準化考場是機考組織實施的主要場所,需要配置計算機、服務器、交換機、專用耳機、考試系統等軟硬件設施,設備的穩定使用情況直接影響著考試的組織與實施。要持續改進機考系統,開發、優化“斷點續考”等功能,建立、健全應急響應措施,減少、減緩事故對考試的影響。同時,積極培養、培訓具備數字化思維和技能的人才參與考試的組織和實施,以便能夠及時、妥善處置考試中的偶發事故。
(三)試卷平行等值問題
大規模考試參與的考生人數較多,但囿于考場建設成本和考點場地的限制,同一考試項目需要安排多場次先后進行。為確保考試的公平公正,防止出現泄題漏題,無法各場次使用同一套試題,需要命制多套試題,以供不同場次考生使用。但與此同時,這又對各場次試卷試題難度的等值等問題提出了更高要求。如何確保多套試卷的平行,既保持題型的統一,又保持難度的一致,是考試工作者,尤其是命題工作人員需要研究、破解的難題。建立科學、規范、題量充足的數字化題庫,為化解試卷平行等值問題提供可能。題庫可以按照考查內容、難度系數、題型結構等多項參數建立,在需要組卷時,按照既定的參數自動從題庫抽取試題,組成等值試卷。
四、結語
隨著機考在大規模考試中的推廣應用,以及教育考試數字化轉型的深入,未來大規模考試還可探索個性化的在線機考,組考也可以逐步向“隨報隨考”模式發展。通過數字化的機考系統,對考生動態實施自適應測試(Adaptive Testing),以更準確地評估考生的真實水平;通過數字化題庫的建設,實現實時智能組卷,在規定的考試周期內靈活安排組織考試,以有效分解大規模考試的組考壓力;將考試、教育、資源集中整合起來,通過數字化平臺提供的考試評價分析報告,有針對性地調動教學數據庫資源,為學生提供個性化的學習資源,加強對學生有針對性地訓練……大規模考試數字化轉型中,機考還有很大的發展空間。
與此同時,也需要注意:一是數字化轉型的過程中需要不斷地變革,但并不意味著要完全摒棄之前的資源與方式,而是應該在保留原有優勢的基礎上加強與新環境的適應,從而找到平衡點進行變革。二是為了更好地在大規模考試中實施和優化機考,制定大規模考試機考實施策略時,應考慮不同地區、不同學校的技術接入能力,制定差異化的實施計劃,加大基礎設施建設投入,縮小技術差距。三是機考不僅改變了原有的考試組考業態,也將改變教育教學的模式。在機考模式下,教師的角色從傳統的知識傳授者轉變為學習引導者和數據分析師,不僅需要提升對數字化工具及系統的使用能力,還需要掌握如何利用機考數據來指導教學、提升學生。四是在大規模考試中實施機考,還要注意關注特殊考生的需求問題。例如一些佩戴人工耳蝸或者助聽器的聽力殘障考生,其參加聽說考試時,進行安檢和佩戴耳麥均存在一定的困難;一些肢體殘疾的考生,考試中需要使用鼠標、鍵盤等介質,也會給他們帶來一定的不便;而一些視力殘障考生,通過顯示屏呈現試題,也給他們帶來一定的困擾。為了保證考試的公平實施,需要充分考慮特殊考生的需求,繼續探索更便利的考試介質。
參考文獻:
[1] 應朝帥,丁文,樓策英,等.教育考試試卷流轉出入庫數字化的實踐與思考[J].教考研究,2023,(10):9-13.
[2] 中共中央 國務院印發《深化新時代教育評價改革總體方案》[EB/OL].(2020-10-13)[2023-04-12].http://www.moe.gov.cn/jyb_xxgk/moe_1777/moe_1778/202010/t20201013_494381.html.
[3] 中關村信息技術和實體經濟融合發展聯盟.數字化轉型參考架構:T/AIITRE 10001—2020[EB/OL].(2020-09-18)[2022-06-01].http://www.ttbz.org.cn/Pdfs/Index/?ftype=stamp;pms=40662.
[4] 徐光木,熊旭輝,張屹,等. ChatGPT助推教育考試數字化轉型:機遇、應用及挑戰[J]. 中國考試,2023,(5):19-28.
[5] 趙劍楠.北京高考英語聽說機考的設計與開發[J].中小學外語教學(中學篇),2021,(12):49-54.
[6] 趙劍楠.計算機輔助英語聽說測試任務研究——以新托福、培生學術英語考試聽說測試為例[J].考試研究,2022,(4):33-40.
[7] 魯欣正.關于教育考試數字化轉型的若干思考[J].中國考試,2022,(9):1-8.
[8] 馬彪,劉明巖,王仕豪,等.教育考試數字化轉型:問題、要素與目標——以江蘇省實踐為例[J].現代教育技術,2023,33(4):24-31.
[9] 孫利君.教育考試業務數字化重構及呈現的思考[J].招生考試研究,2023,(3):77-85.
[10] 孫利君.教育數字化戰略背景下的考試評測創新與實踐[J].今日教育,2023,(5):48-51.
[11] 吳斌,施國良.命題管理數字化轉型的現狀及提升路徑[J].浙江考試,2023,(9):9-12.
[12] 汪張龍.認知智能大模型加速教育考試數字化轉型[J].中國考試,2023,(8):11-18.
[13] 汪張龍,李俊杰.新基建背景下教育考試數字化轉型的路徑與前景[J].中國考試,2022,(7):69-94.
[14] 李鴻江,孫利君,覃華.數字化轉型視域下英語聽說機考的創新與實踐[J].中國考試,2023,(5):11-36.
[15] 劉玉俠,王迎.數字化考試現狀分析與關鍵技術設計[J].現代遠程教育研究,2013,(5):84-90.
[16] 盧致杰.人工智能背景下考試招生制度與評價改革——第七屆教育考試與評價研討會綜述[J].中國考試,2024,(1):103-108.
[17] 孫利君.數字化賦能英語聽說機考的創新實踐[J].浙江考試,2022,(8):3-8.
Building a Large-Scale Computer-Based Testing System in the Context of Digital Transformation
Wu Man" Wang Songling
Tianjin Municipal Educational Admission and Examinations Authority,Tianjin,300387
Abstract:Digital transformation is the inevitable path for educational exams to adapt to the development of the times. Computer-based testing(CBT),with its unique advantages,has become an effective means for the digital transformation of large-scale exams. Professional examination organizations should integrate advanced technologies such as artificial intelligence and big data to deeply explore the implementation strategies of large-scale CBT. Utilizing modern information technology to build a large-scale CBT system can improve the way exams are created,enhance the efficiency of exam organization,optimize intelligent grading,and increase the value of exam evaluations. Additionally,it is crucial to actively address challenges related to data security,technical support,and test paper equivalency in the process of digital transformation,thereby improving the quality and efficiency of comprehensive management for large-scale exams to meet modern testing needs.
Key words:Digital Transformation,Large-Scale Exams,Computer-Based Testing,System Building
(責任編輯:陳暢)