在線考試系統(tǒng)功能優(yōu)化需求分析
——以某部隊在線考試系統(tǒng)為例

■ 宋璇 孟海翠 張煒麟

隨著軍隊教育改革的不斷深入，信息化手段越來越成為教育教學(xué)工作的重要手段，影響著教學(xué)領(lǐng)域的各個階段。考試工作涉及安全性、保密性和公平性，對于教學(xué)管理人員和教育者也提出了更多的要求，所以以往單一的紙質(zhì)考試在某些方面越來越不適應(yīng)于目前教育信息化的發(fā)展，而市場中出現(xiàn)的在線考試系統(tǒng)在多方面亦不適用于相對封閉的士兵訓(xùn)練機(jī)構(gòu)。本文通過對自開發(fā)的在線考試系統(tǒng)進(jìn)行剖析，使用問卷、訪談、數(shù)據(jù)統(tǒng)計分析等多種形式，總結(jié)目前系統(tǒng)出現(xiàn)的問題，提出新的、更加科學(xué)的在線考試系統(tǒng)功能結(jié)構(gòu)。

1 在線考試管理系統(tǒng)功能

在線考試系統(tǒng)包括兩大模塊：考生考試和管理員模塊，前臺主要是考生考試，考生登錄后可直接進(jìn)行測試、提交試卷；后臺主要是管理員模塊，主要是管理員進(jìn)行試題庫、試卷組卷、考場設(shè)置、考生成績處理，由于考試模塊功能相對簡單，本文主要針對管理員模塊進(jìn)行研究。

1.1 在線考試管理系統(tǒng)功能模塊概述

在線考試系統(tǒng)管理員模塊包括六大功能，系統(tǒng)結(jié)構(gòu)圖如圖1 所示。

圖1 在線考試管理系統(tǒng)模塊結(jié)構(gòu)圖

1.1.1 試題庫管理功能

試題庫管理模塊可支持試題庫導(dǎo)入導(dǎo)出、規(guī)范性檢測、備份還原和簡單的分類分級。如圖2 所示。

圖2 試題庫管理功能圖

1.1.2 組織試卷功能

組織試卷管理模塊可通過從相應(yīng)試題庫中抽題或設(shè)置組卷模式兩種方式靈活組織試卷。

1.1.3 考生管理功能

管理員需選擇相應(yīng)的考試，將考生信息，包括準(zhǔn)考證號、姓名、證件號、專業(yè)、密碼導(dǎo)入系統(tǒng)。

1.1.4 人工判卷功能

人工判卷將主觀題單獨剝離出來，通過機(jī)上閱卷的方式得出成績。

1.1.5 成績管理功能

管理員可將每場或多場考試導(dǎo)出數(shù)據(jù)，系統(tǒng)會自動分析每道題目的正確率。

1.2 在線考試程序流程

與傳統(tǒng)紙質(zhì)試卷考試不同，在線考試節(jié)省人力、物力，主要需要管理員按照組卷流程，設(shè)置試卷，并導(dǎo)入考生，做好相關(guān)準(zhǔn)備工作。考試程序流程圖如圖3 所示。

圖3 在線考試程序流程圖

2 在線考試系統(tǒng)問題分析

在線考試系統(tǒng)在某士兵訓(xùn)練機(jī)構(gòu)應(yīng)用半年以來，主要進(jìn)行士兵共同科目、專業(yè)理論考試，筆者采用問卷調(diào)查的方式，選擇使用過在線考試系統(tǒng)的教育者及教學(xué)管理人員發(fā)放問卷，共發(fā)放35份，回收35 份，回收率100%。

2.1 在線考試系統(tǒng)應(yīng)用效果

對回收數(shù)據(jù)進(jìn)行分析，35 人中，教員占57%，教學(xué)管理人員占43%，86%人員更傾向于在線考試，14%人員傾向于筆試。可見，在線考試系統(tǒng)應(yīng)用以來，在使用過程中的優(yōu)勢是比較突出的，無論對教學(xué)管理人員還是教員來說，都是一種更加高效、便捷的考試形式。

2.2 在線考試系統(tǒng)問題分析

2.2.1 在線考試與傳統(tǒng)考試等效性分析

雖然大多數(shù)教員或教學(xué)管理人員傾向于在線考試，但仍有29%人員質(zhì)疑在線考試與傳統(tǒng)考試的等效性，認(rèn)為機(jī)考成績優(yōu)于筆試成績，筆者為驗證在線考試與傳統(tǒng)考試成績是否存在顯著差異，選擇某專業(yè)同一班次、相似課程紙質(zhì)試卷考試成績與在線考試成績，使用R 軟件“meta”程序包中的meta gen（）函數(shù)進(jìn)行隨機(jī)效應(yīng)模型下的效應(yīng)量合并發(fā)現(xiàn)，在隨機(jī)效應(yīng)模型下，本研究的20 個樣本合并效應(yīng)量Hedges’s g=0.067。依 據(jù) 科 恩（Cohen,1988）提出的效應(yīng)量分析理論，當(dāng)效應(yīng)量在0.2～0.5 時，可認(rèn)為差異較小；當(dāng)效應(yīng)量在0.5～0.8 時，可以認(rèn)為有中等差異；當(dāng)效應(yīng)量大于0.8 時，則認(rèn)為差異很大。本研究的總體效應(yīng)量低于0.1，說明在線考試成績與傳統(tǒng)考試成績相比差異很小。并且合并效應(yīng)量的95%置信區(qū)間均包含零。這表明，從已有研究的元分析結(jié)果看，在線考試與傳統(tǒng)考試成績之間不存在顯著差異，兩者具有等效性。

2.2.2 在線考試系統(tǒng)問題缺陷分析

問題5：對目前使用的在線考試系統(tǒng)，你認(rèn)為有哪些缺點亟待解決？數(shù)據(jù)統(tǒng)計見表1。

表1 在線考試系統(tǒng)亟待解決的缺點數(shù)據(jù)統(tǒng)計表

問題6：您覺得該系統(tǒng)還需添加哪些功能？數(shù)據(jù)統(tǒng)計見表2。

表2 添加功能數(shù)據(jù)統(tǒng)計表

在使用過在線考試系統(tǒng)的教員或教學(xué)管理人員中，大多數(shù)人員認(rèn)為在線考試管理系統(tǒng)中，試題庫的建設(shè)尚不體系、完整，分類較為簡單，一定程度上未達(dá)到分類的效果；帶有數(shù)字的選項有很大概率在試題中無法顯示，為在線考試帶來了很多準(zhǔn)備工作上的困難，也為正式考試帶來了可能會出現(xiàn)錯誤的風(fēng)險；組卷模式可選用“從所有試題庫中抽題”“從指定試題庫中抽題”“按組卷模式抽題”，大多數(shù)教員選擇“從指定試題庫中抽題”，教員們反映，這是一種最方便、快捷的組卷方式，這樣抽出的試卷在難度上相同，但獲取不同的試題，與我們常見的大學(xué)英語等級四、六級考試模式類似，但是否是最公正、公平的組卷模式，有待商榷。這時，需要靈活的組卷模式供教員進(jìn)行試用，如從試題庫中組合多套試卷，形成試卷庫等；成績管理功能只能得出每道試題正確率的信息，整體上的合格率、良好率及優(yōu)秀率，更多深入的分析數(shù)據(jù)無法獲取，如從整體分析，錯誤集中出現(xiàn)的位置等，可以給教員提供有跡可循的線索；另外，7 人認(rèn)為在線考試系統(tǒng)“不要再復(fù)雜了”，也能體現(xiàn)出用戶需要管理系統(tǒng)操作流程更加簡化。綜上所述，問題反映集中體現(xiàn)在系統(tǒng)的試題庫管理、試題導(dǎo)入、組織試卷、模擬練習(xí)、成績分析、流程簡化方面，需要根據(jù)用戶需求進(jìn)行優(yōu)化升級。

3 在線考試系統(tǒng)優(yōu)化升級

考務(wù)工作作為士兵訓(xùn)練機(jī)構(gòu)貫穿全年的大項工作，一直致力于形成一套規(guī)范、科學(xué)、準(zhǔn)確、拒絕冗雜的體系化流程，以往繁瑣的出題、組卷、印卷、分發(fā)試卷、閱卷、歸檔流程占據(jù)了大量的時間和精力，在線考試系統(tǒng)的使用無疑為軍隊人員解放雙手提供極其重要的助力，因此，在使用過程中根據(jù)實際不斷優(yōu)化升級，是一項有重大意義的工作。本文通過闡述功能、分析問題、總結(jié)需求，為在線考試系統(tǒng)提供了一種面向用戶、面向?qū)嵺`的更加真實、人性化的發(fā)展線索，筆者將按照功能需求，對管理系統(tǒng)需要優(yōu)化的子功能進(jìn)行具體分析。

3.1 試題庫管理

目前的試題庫管理只具備添加、修改和刪除功能。從課程理論來講，試題應(yīng)連接具體的專業(yè)、課程和知識點，就目前的試題庫而言，缺乏這樣的連接。因此，優(yōu)化升級的題庫管理結(jié)構(gòu)圖如圖4 所示。

圖4 題庫管理功能結(jié)構(gòu)圖

試題庫建設(shè)依托專業(yè)、課程、知識點的層級管理，其中知識點查詢包括具體知識點、試題難度系數(shù)、試題區(qū)分度等。為增加試題類型豐富性，試題添加首先分類為圖形型試題和文本型試題，同時，為增加試題保密性，對試題查詢進(jìn)行限制，只限管理員可以查詢?nèi)吭囶}信息，普通用戶只能添加和修改試題。

3.2 模擬練習(xí)功能

隨著教育教學(xué)信息化的深入，士兵訓(xùn)練機(jī)構(gòu)信息化條件建設(shè)日漸完善，在線學(xué)習(xí)室的設(shè)置為信息化教學(xué)提供了便利，每個專業(yè)都可以在自己的教室進(jìn)行網(wǎng)上學(xué)習(xí)，因此在線考試系統(tǒng)增加模擬練習(xí)功能是基于現(xiàn)實的、具備操作性的功能。

模擬練習(xí)功能讓在線考試系統(tǒng)的功能空間延伸至課堂，教員可將該環(huán)節(jié)加入自己的教學(xué)設(shè)計當(dāng)中。該功能應(yīng)支持教員即時加入新題或調(diào)取試題庫中任意試題進(jìn)行當(dāng)堂練習(xí)，具體功能結(jié)構(gòu)如圖5 所示。

圖5 模擬練習(xí)功能結(jié)構(gòu)圖

3.3 成績分析功能

在線考試系統(tǒng)應(yīng)具備成績自動分析功能，從教育教學(xué)管理的實際需求出發(fā)，對成績管理功能進(jìn)行設(shè)計，具體功能結(jié)構(gòu)圖如圖6 所示。初步設(shè)計使用的在線考試系統(tǒng)雖然能夠滿足在線考試的基本需求，但在一些功能的使用和處理上仍存在缺陷和問題，本文通過調(diào)查研究、數(shù)據(jù)分析對問題進(jìn)行分析，從而優(yōu)化在線考試系統(tǒng)，使其在使用過程中更加有效地獲得成績，優(yōu)化的功能將在下一步得到具體實現(xiàn)。

圖6 成績分析功能結(jié)構(gòu)圖