基于共建共享模式的在線考試題庫系統的設計與研究

吳君勝

(廣州市廣播電視大學 人文與工程學院， 廣東 廣州 510091)

0 引言

開放大學不同于一般的普通高校，它是一個由總部、分部(地方開大)和分校(教學點)組成的辦學系統。各層級有分工，也有合作，共同組成完整的辦學整體。系統辦學是開放大學的辦學特色、也是辦學優勢[1]。

廣州市廣播電視大學(下稱廣州電大)是國家開放大學(廣州分部)，就廣州電大系統而言，截止至2019年底，在校生規模超過25萬人，連續多年成為全市規模最大的高校。學生數超過10萬可謂巨型大學，面對規模、成本和質量的巨大沖擊[2]。傳統的紙質筆試時間不靈活、時空間成本高、評閱卷工作量大、成績發布周期長、耗費人力物力財力，很難滿足學習者和管理者的需求。因此，利用開放大學的特點和優勢，建立一套科學的、符合開放大學特點的在線考試題庫系統，提高效率，保證質量，達成“教、學、考、評”一體化目標，是開放大學考試改革的關鍵。

1 需求問題描述

目前，開放大學的在線考試系統分為總部網考系統和分部(地方開大)自建網考系統兩種，考試單位分別是總部和分部。總部網考系統與紙質筆試區別不大，僅僅是紙質筆試無紙化，仍需人工參與，沿用全國統一總部考試模式。廣州電大系統自建“易考通”在線考試平臺，在功能上解決了國開總部網考系統的缺陷，實現一定程度的智能化，但僅適用于分部統考課程，比較分析情況，如表1所示。

表1 總部與分部在線考試系統對比

2016年，《教育部關于辦好開放大學的意見》中明確提出指出，“開放大學與學習服務中心要實現高速、安全的現代遠程教育網絡覆蓋、統一教學管理、統一在線平臺、統一考試評價、保證教育教學質量”、“完善課程學習考試制度、建設數字化題庫、學習測評系統、電子試題保密機制”[3]。表1中的系統都僅針對終結性考核(期末考試)而開發的系統，仍無法達成“教、學、考、評”一體化的目標。

廣義上的網絡考試是指任何計算機參與的考試，可以是終結性、形成性或診斷性的考試等。筆者認為對教、學、考的全流程評價能實現融合統一是開放大學轉型發展的關鍵所在。為此，網考系統功能應在現有系統的功能上進一步拓展和創新，核心需求應在于題庫系統的功能設計，需求分析如下。

1.1 支持靈活的考核需求

在線考試系統假如只為終結性考核(期末考試)而開發，那么必然會出現施教者迫切想獲取課程復習資料或考試題庫信息的情況。然而，施教者往往不是課程題庫的建立者，施教者對課程教學文件的理解、對學習者負責任程度、對教研活動的參與度都直接影響學習者的課程最終成績。因此，課程題庫的建立目標，應既能支持形成性考試(包括課前問答、堂上小測、課后練習、常規作業)，又能支持終結性考試(包括考前模擬考試、期末考試)。在課程開始到結束的全流程中，支持不同形式、不同時空、不同規模的考核需求，利用智能移動終端設備，隨時、隨地、隨測、隨練、隨考的靈活考核方式是開放大學在互聯網時代的重要需求。

1.2 建立層級管理題庫結構

開放大學的題庫建設應改變課程責任教師獨立命題或委托專家命題的現狀，把集中式命題變為分散式命題。發揮開放大學辦學系統優勢，使分校(教學點)教師在日常教學中參與知識點考核的命題。建立層級管理題庫的功能，課程責任教師審核知識點考核命題并完成入庫，實現課程考題數據共享，碎片化審核有效降低集中審核的工作量壓力。同時，一定量的考題來源于面對不同生源、在不同區域教學的一線任課教師，具有更好的開放性、公平性和公正性。

1.3 支持單一考題的評析

單一考題的評價與分析除了能考量命題者的水平，還能在答題數據中反映出施教者在某些知識點的教學情況和學習者的掌握情況，正確率、答題平均時間等數據能精準分析考題對于開放大學的學習者的實際難易程度，相比當前依靠命題者和試題審核學科組專家的估算會更為準確。

1.4 支持多終端應用需求

支持PC端、移動設備等多終端應用，PC端提供全流程功能，移動設備終端提供便于施教者和學習者的操作。

1.5 支持跨系統數據共享

題庫系統應提供與終結性考核的在線考試系統的數據接口，實現課程題庫的導入導出，實現題庫數據共享。

2 系統設計

2.1 結構設計

題庫系統主要面向教學過程中的在線測考，屬于形成性考核，而面向終結性考核的網考功能，則由現有的在線考試系統負責。考慮微信公眾平臺的系統開發能同時適用于Andriod和iOS等移動操作系統，避免開發不同的移動應用程序所帶來的新問題，利用云服務器，針對智能移動終端設備開發基于微信公眾平臺的在線測考題庫系統。題庫系統主要由微信公眾平臺、微信客戶端(在線測考平臺)和PC端(題庫管理系統)3個部分組成，如圖1所示。

微信公眾平臺是微信公眾號管理后臺，微信客戶端既是用戶界面又是測試界面，開發者實際面對的主要對象是微信服務器和應用程序(網站)服務器[4]。在線測考平臺可通過授權接口和功能權限作為公眾號第三方管理平臺，其用戶為教師或教考務管理人員。系統采用ASP.NET作為開發平臺，部署在云服務器。

圖1 系統結構圖

2.2 功能設計

為實現題庫管理系統的核心需求，本文以廣州電大現有的在線考試系統為基礎，設計開發“拼題易”在線測考題庫系統，主要應用于教學過程中的形成性考核和課程終結性考核的考題集成。本系統實現教師對題庫考題管理、測考的發起與管理，實現學生隨測隨考、成績查詢與分析等功能，系統模塊包括學生管理、班級管理、教師管理、課程管理、試題管理和用戶管理等。功能結構，如圖2所示。

圖2 在線考試題庫系統功能結構圖

(1) 試題管理

課程責任教師可根據課程創建試題，并為試題分配指定命題教師，命題教師應為課程責任教師或分校(教學點)任課教師。考題由命題教師自行添加，既可逐條添加題目，也可根據指定模板批量導入知識點和題目。添加后的題目默認為待審狀態，題目由課程責任教師審核后入庫。已審題目可以按課程導出指定格式Excel文件，導入現有在線考試系統，可按照學科組專家審核流程完成考試發布。待審題目和已審題目都可由命題教師自行發起測考主題，如在線練習或堂上測試等，通過生成二維碼讓學習者使用終端設備掃碼答題，用于實施教學的課前、課中、課后全過程。學生答題監查實時顯示學習者答題情況，試題成績分析在PC端和智能手機終端可查看。

(2) 教師管理

開放大學任課教師與辦學系統層級結構對應，課程責任教師負責課程管理，班主任或導學教師負責班級管理，任課教師可以分部(地方開大)教師，也可以是分校(教學點)教師，教學機構管理主要是管理分校和教學點信息，并可標識教師參與命題的身份。其角色流程，如圖3所示。

(3) 課程管理

題庫題目用于教學全過程就必須關聯課程，課程信息可通過專業規則或專業教學計劃導入系統，根據課程可創建試題或發起在線練習。

(4) 班級管理

班級管理主要包括班級信息管理和學生信息管理。學生信息主要來源于教學過程中的身份注冊，班主任或任課教師可以完成學生和班級的綁定，有效解決學生基礎信息依賴學籍系統的數據源問題。

圖3 角色流程圖

(5) 后臺管理

系統用戶主要是教師，教師信息主要來源于參與題庫建設并將題目用于教學的一線任課教師，教師信息通過身份注冊完成。后臺默認注冊為任課教師，可根據教師角色設置模塊功能權限。

2.3 防作弊設計

針對終結性考核的網考系統在防作弊機制可謂各師各法，如表1所示，主要防止偷窺、夾帶、替考、利用存儲設備或通訊設備等常見作弊行為。本文所設計的題庫系統主要針對形成性考核，線下面授課的堂測實質可看作課中教學互動，線上練習實質可看作課前、課后作業，防作弊機制與終結性考核有異有同。基本功能包括考題隨機排序和選項隨機排列的顯示方式、知識點自動組題策略、限時作答、考題答案和查詢時間后移等，其他防作弊設計如下。

(1) 地理位置信息獲取

智能移動終端設備具有豐富的傳感器功能，針對面授教學，題庫系統的在線測考平臺在智能移動終端設備整合了筆者開發的“基于微信公眾平臺的課程云簽到系統”的功能，同名論文已公開發表。因此，面授課除了考勤數據具有GPS定位數據，堂測答題數據同樣具有GPS定位數據提交，記錄并防止缺勤者通過網絡獲取二維碼答題的作弊行為。

(2) 身份綁定

微信賬戶在微信公眾號中具有唯一的openid，實名用戶身份綁定具有設備限數和認證機制，微信接口技術所獲取的設備信息可判斷設備更換情況，而且微信號給予他人使用的現象并不多見，考慮即時通訊軟件存在個人隱私不便外借的情況，在一定程度上可以防止缺勤替考問題。

(3) 命題者分配和數據隔離

防作弊對象除了被考核人外，還包括對命題者，防止集體作弊行為。命題者來自分校(教學點)教師，為防止跨校教師私下互通考題進而集體套取大量題庫考題的行為，以命題者自愿參與為原則實施隨機選擇分配，命題者賬戶隔離考題數據，隔離與共享功能并存，控制每位命題者的被審核通過考題在最終導出終結性考核題庫的占比在30%以下，結合課程期末復習資料，比率可調可控，可靈活實施。

3 系統應用效果

本文以筆者自主開發的“拼題易”測考系統為例，在廣州電大計算機專業課程中試驗運行，實現了省設課題庫協同共建、省校與分校平臺共享、形考與終考融通共享的目標。比較“雨課堂”無法實現單一課程集成題庫，本系統的共建共享題庫系統，經過近1年的開發與運維，經試驗運行集成建立3門課程題庫并導入廣州電大“易考通”在線考試系統，在分部順利實施終結性考核(期末考試)[5]。下面從技術部署、教學實施和數據融合方面分析應用效果。

3.1 系統開發技術應用

系統的開發工具使用Visual Studio 2017，在ASP.NET的開發框架下，采用C#語言編程，結合MS-SQL Server 2016進行數據庫管理，系統以網站形式部署在Windows Server 2012 R2操作系統的云服務器上，通過IIS發布網站，在完成一些列域名注冊和備案審批流程后，與微信公眾號無縫結合。Web服務和數據庫服務都在云服務器上穩定運行，同時降低部署實施的技術難度[4]。

3.2 “教、學、考、評”一體化應用

題庫系統應用在教、學、考全過程，涵蓋“評題、評教、評學、評考”四評，在教師組織教學過程中獲取的數據，極大地促進教學活動由傳統的“經驗驅動”向“數據驅動”轉型，實現全面融合的一體化應用[6]。

(1) 考題評價

題庫系統為一線任課教師參與題庫建設提供了機會，提交的題目首先會被課程責任教師初步審核評價，如圖4所示。

圖4 堂測數據反映教學情況

例如《.NET編程基礎》課程共8章，由3位不同分校(教學點)的一線任課教師共同命題，如表2所示。

表2 不同教師命題及其應用情況

由表2可知，W教師、T教師和L教師合共審核通過的命題數為365題，終結性考核題庫總量最低要求為500題，入庫占比73%。從“拼題易”題庫導出后再導入“易考通”在線考試的命題系統將會進行學科組和專家再次審核評價，一審錯題率為3.8%，二審錯題率為0.6%。比較另一門計算機課程直接由課程主管教師在“易考通”在線考試命題系統中命題，一審錯題率為7.3%，二審錯題率為2.7%。“拼題易”系統共建題庫并用于形考以及碎片化審核題目能有效提高終考考題的命題質量。

任課教師在教學中參與命題的同時可將題目用于線上線下教學，每道題目的學生答題正確率可反映出題目的可用性、難易度和適用性等，一定程度上是學生參與了評價。如表2所示，W教師和L教師的生源不同，根據入庫已考題目的正確率，更適合控制及格率，個人入庫題目占比較高，分別是61.4%和55.9%，題目適用性更好，其中W教師的命題質量較高。

可見，多元化的考題評價優于傳統的考題評審。

(2) 教學評價

來自不同分校(教學點)的任課教師所出的考題，課程責任教師對題目的初步審核入庫實質也是對分校(教學點)任課教師的教學能力評價，優良的考題一定源自于良好的教學與備課。命題教師的題目在經過分校學生答題后，答題數據、題目對知識點的覆蓋度也在一定程度上是教學實施情況的反饋評估，包括開課安排、教學進度、知識點把握等，如圖5所示。

圖5 查閱測考成績與考題整體正確率情況

根據課程教學大綱的各章授課學時建議，對照命題時間和學生答題時間，可得到教學進度匹配表，如表3所示。

表3 不同教師命題時間與教學大綱建議學時匹配情況

由表3可知，W教師高度匹配，開課時間和教學進度正常，并可提前進入復習階段。T教師的開課時間正常，中間教學進度較慢，最后趕教學進度。私立教學點的L教師開課時間較晚，明顯壓縮課時，結合表2數據，為求學生易于通過，參與命題難度偏低。

(3) 學習評價

開放大學的不同分校、不同區域的教學點，學生的學習水平參差不齊，任課教師所出考題的質量和學生答題的數據，在一定程度上反映了系統內學生的總體學習能力，有利于均衡化建立終結性考核題庫，避免出現大量考生分數過低或過高的現象。

不同分校的某課程各章答題正確率折線圖，如圖6所示。

圖6 不同分校的某課程各章答題正確率折線圖

學生在查閱答題情況時可得知該題目的歷史整體正確率，了解自身學習差距。通過問卷調查顯示，關心此數據的學生達81%。分別統計該課程各章節的學生答題正確率，共4個班級，涉及152名學生答題數據，結合表2和表3數據，W教師命題的正確率漸漸提升，教師完成命題同時并能全程應用于形考。T教師和L教師命題都出現缺章，正確率數據缺失，形考數據不完整。L教師的命題明顯容易，但學生答題情況并不理想。

(4) 考核評價

系統的考核評價可以是形成性考核，也可以是終結性考核，形成性考核成績可在教學過程中線上獲得，如圖7所示。

圖7 堂上實時展示答題情況

任課教師可根據學生的掌握程度，自主評價教學情況，動態調整教學。課程題庫的整體數據評價，也影響課程終結性考核題庫的構成。

結合表3和圖7的數據可知，W教師和T教師在教學中都有一定程度調整教學，學生答題正確率逐步有所提升。通過省校的教學團隊管理和教研活動，教學進度基本可管可控。根據整體學習情況，不同分校、不同區域教學點的全體學生的形考答題正確率在55.4%～81.9%之間，平均正確率為72.2%。根據“易考通”系統導出數據，終結性考核實際報考人數為101人，實際參考人數88人，最終通過率是74%，數據顯示“拼題易”系統形考數據與終結性考核數據高度接近，并略有提高。

3.3 線上線下數據創新融合

系統既可應用于面授課程，又可應用于在線教學。前述該課程的命題由分校或教學點教師命題占73%，剩余占比由課程責任教師命題，最終形成終結性考核題庫。3位教師在教學過程中均實現線下數據線上化，涉及4個教學班，教與學的地理位置信息空間數據、教師上課時間數據、學生到課時間數據、測考答題數據、教學進度數據等線上線下時空數據高度融合，學生的答題成績完全可作為形成性考核作業成績，同時為導出終結性考核題庫提供數據依據。

按照題庫總題量要求為500題，從表2數據可知，L教師占27.4%，T教師占15.4%，L教師占30.2%。那么可預見，參與命題的教師越多，可選的命題總量將會更多，單位教師被選入庫題數越少，入庫占比必然越低，越接近“教考分離”。同時，教師參與度越低，優質考題入選率越低，入庫占比必然越低。課程命題總負責人命題占比越高，也會越接近“教考分離”，可調可控。

4 總結

本系統的設計充分發揮了開放大學系統辦學的特點和優勢，以課程題庫為頂，從頂層設計出發，探索創新開放大學的題庫建設新模式。有效改變了任課教師的教學高度依賴于復習資料的現狀，充分調動了任課教師的教學積極性，將被動變為主動，鼓勵積極參與命題工作。從個體走向協同，促進教師共同體協同發展。結合形成性考核和終結性考核的數字化題庫建設，在一定程度上改變了以教師為中心的課堂教學和考試命題，變為以學生為中心的均衡化教學與適用性命題。創新的題庫建設模式推進了課程網絡教學團隊的組建，適度的教考不完全分離也是防止教考脫節和監控教學的有效手段，有利于開放大學的“教、學、考、評”一體化向網絡化和智能化的發展。借助智能移動終端設備和微信接口功能的不斷進步和開放，在課程的全生命周期中，在課程教學過程中實現時空數據的全面獲取，形成了線上線下融合的教育教學大數據。本系統的開發設計與研究在更大規模的數據研究尚不夠，仍需要更多管理上和內部政策上的支持，后續系統功能開發將在這些方面進一步拓展和完善。