自學考試命題審校工作信息化策略研究

詹曉莊，沈 潔，蘇 婧，魏思萌

(北京教育考試院，北京100083)

2018年4月，國家教育部正式發布了《教育信息化2.0行動計劃》，明確指出“教育信息化是教育現代化的基本內涵和顯著特征，是‘教育現代化2035’的重點內容和重要標志”。自學考試既是一種考試制度，也是一種教育形式[1]，自學考試命題審校(以下簡稱“自考審校”)工作的質量決定著自學考試質量，也與國家選拔人才的質量及廣大考生的切身利益密切相關。如何把信息技術手段有效應用于自學考試命題工作中，不斷提高命題質量，是加快自學考試現代化建設的抓手，也是推進新時代繼續教育信息化發展的重要課題。

一、自考審校工作的作用

自考審校工作是對試題和試卷整體的審查和校對，是命題工作中質量控制的重要環節。從命題工作流程角度看，不僅包括命題部門組織的命題組入闈開展的試題、試卷的審校工作，也包括在入闈結束后命題部門內部驗收過程中對試題、試卷進行的審校；從審校內容上看，是對試題和試卷的審查、研磨，既包括“校異同”，也包括“校是非”。

自考審校工作旨在通過多角度、多人次、多輪次對比考核依據、考核范圍、考核重點、編制規范，審查、研磨試題試卷，發現并修正試題和試卷中可能存在的問題，確保試題試卷質量，因此自考審校工作是保證自學考試質量的重要把關環節。

二、自考審校工作現狀和存在問題

(一)審校工作現狀

在三十多年的命題管理實踐中，自學考試命題管理工作已經形成了用于指導自考審校工作的管理規范和管理機制。教育部考試中心制訂的《高等教育自學考試命題工作指南》對試題試卷審校工作的主要流程和內容進行了明確的描述，并設計了用于檢查審校工作質量的檢查表，如《試卷校對表》《試卷審查表》等。各自學考試命題中心也依據《指南》，結合自身特點，在梳理審校工作流程、內容和相關標準的基礎上，對自考審校工作質量檢查表設計進行了進一步的細化。

目前，自考審校工作仍主要以紙質版的試題和試卷作為載體，采用以質量檢查表為依據，通過查閱教材、大綱等命題依據文件進行人工校對的方式。為提高審校工作質量，采用多人次、多輪次審校的模式，并通過自審、交叉審、合議等環節修改試題。由于自考審校工作產生的過程記錄紙質稿版本多，所以在工作記錄方式方面，主要采取對紙質審校終稿、關鍵過程稿和紙質質量檢查表進行存檔留存的方式。

隨著信息技術在自考命題管理中的運用，自考命題的信息化水平穩步提升。目前自考命題工作中已使用的信息系統包括命題信息化工作平臺系統、命題管理信息系統、題庫管理系統等，這些信息化系統主要側重于整體命題工作流程管理以及試題、試卷庫的管理，專門針對命題審校工作的信息化系統建設尚處于探索狀態。

(二)自考審校工作中存在的問題

受客觀、個人因素影響大。由于在審校試題、試卷時，需要多人次、多輪次人工反復查閱教材和大綱等命題依據、對比試題與教材、大綱的異同，耗費了審校人員的大量時間和精力。一方面，在審校時間有限的情況下，會壓縮用于審查試題、試卷正確性、規范性的時間和精力，影響“校是非”的實際效果。反復校對過程中出現的疲勞感會導致判斷能力減弱，產生閱讀盲點，即便是最簡單的比對，依然存在漏檢的風險。另一方面，校對人員也可能會因為先入為主的思維定式、個人對于教材及大綱等命題依據文件理解掌握的局限性[2]、工作細致程度等因素導致審校中的誤判或漏檢。

協同工作效率不高。自考審校工作中自審、互審、合議、修改的環節是多人次、多輪次、多角度審校工作要求的具體體現，各環節緊密相連、環環相扣。其中，自審、互審意見的匯總是合議、修改的前提，由于這些修改意見分散在不同紙質試卷版本上，查找和匯總意見效率低，致使審校人員協同開展工作特別是集中意見、討論修改時效率較低，不利于工作組協同優勢的發揮，也不利于形成組內審校工作合力。

缺少對于工作量及質量進行評估的依據。命題組審校過程中，存在過程記錄不完整的情況，審校記錄只有命題組的修改記錄，不能反映組內教師個體的審校工作情況，缺少對命題組教師審校工作全面評價的基礎，不利于了解和記錄組內教師個人在審校工作中發揮的作用，不利于有針對性地向命題教師個體反饋審校問題，無法發現教師在審校工作中存在的不足，也無法針對有關人員開展相應的技能培訓[3]。

三、推進自考審校工作信息化建設的策略

針對目前自考審校工作中存在的不足，應從以下幾個方面入手，推進和加快自考審校工作信息化建設，促進自考審校工作水平和命題質量的不斷提升。

(一)構建實時協同的審校工作系統

1.系統總體設計

命題審校工作中對試題、試卷的修改和完善是保證命題質量的重要環節。一份質量合格的試卷是命題組協同工作的智力成果，是審校驗收組協同工作的智力成果，也是命題組與命題部門的協同工作的智力結果。因此，系統設計的出發點和落腳點是在保證命題安全的前提下，提高審校工作中的協同工作效率和效果。

自考審校工作信息化系統功能模塊主要包括審校工作用戶和文件管理、實時協同修改、審校輔助、溝通交流、記錄審校過程、知識共享等。

自考審校工作用戶和文件管理。系統可依據具體審校工作需要，創建并配置命題管理部門的內設機構、命題組等基本信息，根據命題任務注冊、審核、注銷系統中的用戶(命題組教師、命題部門的審校驗收組成員)，保證只有注冊用戶才能登錄并使用系統。系統可根據命題組織架構自動生成結構化的用戶私有存儲空間和用戶專有的共享存儲空間。只有屬于同一內設機構且同一命題組的用戶才能使用這個共享目錄，并且可依據角色配置目錄文件的增加、刪除、查看、修改等權限，以滿足審校工作的安全保密要求。

實時協同修改。用戶登錄系統后，可進入自己專屬的命題管理部門的內設機構下的課程共享文件協作區。以命題組教師審校工作為例，可為組內教師提供全程、實時參加修改的工作環境，多位教師可以同時編輯同一試題，并且能實時看到其他參與者所做的修改。一方面保障了審校協作中教師之間快速、流暢地進行文檔修改的溝通與交流，提高了審校工作的質量和效率；另一方面修改方案的探討不以某命題教師提出方案為出發點，而是以共同修改的創造方式進行，利于思維碰撞而產生出更多解決問題的修改方案，使最終的修改達到最優化。

審校輔助。從試卷整體的審視角度，系統可快速比對試卷結構與預設結構的差異性，具體包括試卷的題型、題量，考點覆蓋、考核重點等。從試題審查的角度，系統可依據試題考點關鍵詞，快速查找定位教材、大綱中對應的考點及考點相應的考核要求，輔助用戶高效開展審查和校對工作。

溝通交流。課程協作區用戶之間可互發消息，實時進行交流。在使用協同批注修改模式下，也可以針對具體試題的修改實時交流修改意見。實時溝通交流是對協同審校、共同修改、編輯的補充和發展。

記錄審校過程。系統可以全面記錄自考審校工作數據，包括審校過程版本數據和審校結果數據、命題教師個體工作數據和命題組審校工作數據，作為評估命題教師個體、命題組審校工作完成質量的依據。

知識共享。協作區成員可以共享自考審校工作相關資料，如教材、大綱、工作經驗等，課程命題組內知識共享是高效、深度協同的價值體現。

2.系統建設策略

組織命題審校工作是自學考試命題管理部門的常規工作。為了能盡快發揮信息化優勢，自學考試命題審校信息化建設應盡量擺脫建設周期和經費的限制，盡量利用現有資源進行建設，使自考審校工作管理更加規范化和現代化，提升命題管理質量。

在硬件建設方面，應該遵循立足現有、適度超前的原則。一方面，硬件建設需要與審校信息化建設投入的實際狀況相適應，也要考慮投入產出比。硬件建設方面可以充分利用命題管理部門現有信息化建設的基礎設備條件，減少建設成本，提高現有設備使用率。另一方面，要充分考慮因信息技術高速發展帶來的硬件產品不斷更新換代因素，在審校信息化建設資金投入有限的情況下，硬件建設遵循適度超前原則，有助于減少信息化技術重復建設造成的損失。

在軟件建設方面，應該遵循適用性、經濟性、時效性、可靠性等原則，可選用的建設模式包括自主開發模式、外購軟件模式、選用+開發模式等。不同的軟件建設模式各有優缺點，具體選擇時命題管理部門需要考慮的因素有：承擔命題任務的規模(課程數量、用戶人數)、命題工作的延續性(時間)、審校工作組織特點是否突出、資金實力、信息化基礎、人員整體素質等。若承擔命題任務的規模大，審校工作組織特點突出，命題工作的延續性好，資金實力強，人員整體素質高，具有一定的信息化基礎，選擇自主研發軟件模式最優。若承擔命題任務的規模適中，審校工作組織特點不突出，命題工作的延續性好，資金實力一般，信息化基礎差，人員整體素質不高，選擇外購軟件模式最優。若承擔命題任務的規模不大，審校工作組織特點突出，命題工作的延續性好，資金實力不足，有一定的信息化基礎，人員素質較好，采用選用+開發模式最優。

(二)強化自考審校工作數據管理與評估反饋

促進數據流動和共享。在構建實時協同的審校工作系統基礎上，可以充分利用審校工作信息化后產生的數據，使其成為科學、合理的工作質量評價、教師培訓的數據支撐。通過審校工作數據在評價和培訓環節的流動和共享，形成“審校—評價—培訓”各環節相互促進的審校工作質量提升環路，以每次命題周期為臺階，促進審校工作質量階梯式提升，進而推動自考命題工作整體質量水平不斷提高。

加強審校工作數據質量管理。審校工作數據質量是數據充分發揮潛在價值的關鍵因素和基本前提，強化數據管理有益于保障數據的正確性、完整性、有效性和及時性，提升數據分析和數據計算結果的可信度。第一要建立數據標準，確立數據質量管理基準。構建審校工作數據標準是實現數據共同理解、診斷數據錯誤的重要依據。第二要規范審校工作數據收集過程，有效規避數據收集所造成的誤差。第三要進行數據審查，評估相應的數據是否具備公平性和準確性。第四要注重審校工作數據使用，在命題管理部門和命題教師群體中，營造運用審校工作數據的氛圍，提高命題精細化工作水平。

設計審校工作質量評價方案。利用關鍵績效指標法(Key Performance Indicator，KPI)，在教育部考試中心命題質量評估指標體系框架下，結合審校工作自身特點，建立明確、切實可行的評價審校工作質量的關鍵績效指標體系。構建基于一致性的審校工作質量評估模型。以通過命題部門驗收的審校完成試卷為標準參照，利用參照試卷文件和過程結果文件(命題教師獨立審校試卷終稿、命題組協同審校完成待驗收的試卷終稿)進行比對，對照關鍵績效指標，通過兩者的一致性和差異性分析、判斷，全面、系統地評估命題組審校工作質量和命題教師個體的審校工作質量。

建立審校工作信息反饋機制。在全面分析命題組及組內教師審校工作數據的基礎上，生成當次的審校工作評估結果。通過建立信息化的安全的反饋途徑，把有針對性的分析結果及存在的問題信息，及時推送給命題組及命題教師，便于及時了解工作中發現的問題及原因。

(三)探索運用新技術提高趨勢判斷和工作水平

1.運用數據挖掘技術

數據挖掘是指從大量的數據中通過算法搜索隱藏于其中信息[4]，關聯分析和自動預測趨勢是數據挖掘的重要功能。

審校工作是一個周而復始、不斷重復的工作。命題組、命題部門在運用審校工作系統協同開展試卷審校工作中會不斷產生大量的“增、刪、改、查”試卷內容的數據信息。這些數據是審校工作全過程的記錄，也與審校工作結束后的試卷質量相關聯。利用系統數據庫中不斷增長的審校工作數據信息，通過數據關聯分析可以發現存在于大量數據集中的關聯性或相關性，從而描述審校工作中某些特征、屬性同時出現的規律和模式。因此，通過明確挖掘需求、數據預處理、建模、預測等階段，利用數據挖掘在數據庫大量信息中尋找預測性信息的優勢，可由數據迅速得出預測結論，提高預警水平，比如通過往年審校工作中具體類型的試題問題出現情況和控制情況來預測未來年份的控制水平，進而增強命題單位對于試卷審校水平的預測和把控能力。

2.探索集成人工智能技術

人工智能是研究開發用于模擬、延伸和擴展人類智能的理論、方法、技術及應用系統的一門新的技術科學，研究目的是促使智能機器會聽(語音識別、機器翻譯等)、會看(圖像識別、文字識別等)、會說(語音合成、人機對話等)、會思考(人機對弈、定理證明等)、會學習(機器學習、知識表示等)、會行動(機器人、自動駕駛汽車等)。[5]人工智能校對，是人工智能技術在自然語言處理方面應用的一個分支。

自考試題的編寫嚴格依據命題依據(大綱、教材)，因此審校工作本身具有相對客觀化、規范化的特點，這意味著運用人工智能技術成為可能，計算機在進行數據(課程知識體系庫、知識素材庫)訓練后，可以輔助查找和判定試題與命題要求的一致性，試題整句表達的規范性(無缺字、別字、用語規范)，試題內容和考核知識點分布的科學性等，會具備比人工更快、更強的查錯糾錯能力，會使審校工作水平和效率大幅提高。

(四)加強制度化管理

建立命題資料管理制度。課程教材、大綱等命題資料電子化是審校工作信息化的前提和基礎?？紤]到出版版權問題，對紙質版教材、大綱電子化的過程中，應建立使用制度，注意版權保護。

建立審校信息化系統使用和管理制度。一方面要依據審校方式、模式變化重新構建工作流程，規范系統使用流程和操作；另一方面，建立基于角色和任務的訪問控制機制，合理劃分系統使用者角色的訪問權限和修改使用權限，并根據業務流程的執行動態分配權限。此外，還要建立網絡安全管理制度，強化和運用安全措施和手段，保障數據安全。

建立完善的人員培訓制度。一方面，培訓制度建設要以人為本，要對審校工作人員進行操作使用培訓，熟悉信息化的審校工作環境。另一方面，培訓制度建設要體現前饋控制原則，要把傳統的“事后檢驗”的方法轉變到“事前預防”的軌道上來，在分析審校工作質量數據基礎上，事先采取對策，組織有針對性的審校工作技能培訓，動態調整培訓內容和培訓對象，通過培訓把可能造成審校質量問題的因素控制在萌芽狀態。

四、結束語

自學考試命題審校工作信息化旨在通過在命題審校工作中引入現代信息技術，發揮技術優勢，促進審校工作改革，不斷提升自考命題工作整體水平。自學考試命題審校工作信息化是教育信息化的組成部分，是順應教育信息化發展需要，深化教育改革，加快教育現代化建設的具體體現，對于保證自學考試的命題質量，維護自學考試的公平、公正，辦好繼續教育，具有重要意義。