考試分析在操縱員培訓(xùn)中的應(yīng)用與研究

商寅 姜有為

【摘 要】考核是系統(tǒng)化培訓(xùn)方法實(shí)施階段的重要環(huán)節(jié)，是衡量培訓(xùn)有效性最有效的方式之一，也是最及時的方式。而試卷作為考核的一個重要載體，試卷的分析與評估應(yīng)得到足夠的重視。本文討論了核電培訓(xùn)領(lǐng)域中考試分析的現(xiàn)狀及其重要性，介紹了國際原子能機(jī)構(gòu)推薦的考試分析的各項(xiàng)指標(biāo)及意義，并以此建立了基于Excel的考試分析方法。

【關(guān)鍵詞】系統(tǒng)化培訓(xùn)方法;考試分析;培訓(xùn)有效性

中圖分類號： F272.92;F426.61文獻(xiàn)標(biāo)識碼： A 文章編號： 2095-2457（2019）07-0266-003

DOI：10.19694/j.cnki.issn2095-2457.2019.07.111

【Abstract】Assessment is an important part of the implementation stage of systematic training methods. It is one of the most effective ways to measure the effectiveness of training， and it is also the most timely way. As an important carrier of the examination， the examination and evaluation of the examination paper should receive sufficient attention. This paper discusses the status quo and importance of exam analysis in the field of nuclear power training， introduces the indicators and significance of the IAEA-recommended exam analysis， and establishes an Excel-based exam analysis method.

【Key words】Systematic training method; Test analysis; Training effectiveness

0 前言

目前世界上絕大多數(shù)核電廠普遍采用系統(tǒng)化培訓(xùn)方法（SAT）進(jìn)行人員培訓(xùn)。各國核電廠大多以國際原子能機(jī)構(gòu)（IAEA）出版的《建立并保持核電廠人員資格和能力導(dǎo)則》為指引，遵循SAT的原則，根據(jù)自身能力和客觀條件開展培訓(xùn)工作。SAT是一種培訓(xùn)組織形式，它把整個培訓(xùn)活動分為分析、設(shè)計(jì)、開發(fā)、實(shí)施和評估五個階段，并在各個階段進(jìn)行有效反饋。其中評估是SAT的重要環(huán)節(jié)，通過培訓(xùn)全過程的評估，對培訓(xùn)工作進(jìn)行監(jiān)督和評價，以確保培訓(xùn)目標(biāo)的實(shí)現(xiàn)，保證核電廠人員取得崗位要求的全面工作的能力。考試分析屬于培訓(xùn)評估的組成部分，主要是針對培訓(xùn)實(shí)施階段的考核結(jié)果進(jìn)行定量、系統(tǒng)地分析，將分析結(jié)果反饋到SAT的其他階段，以改進(jìn)培訓(xùn)的質(zhì)量，從而使培訓(xùn)的有效性得到不斷提升。

1 考試分析的現(xiàn)狀及其重要性

1.1 考試分析的現(xiàn)狀

培訓(xùn)項(xiàng)目的考試分析一般僅統(tǒng)計(jì)考試的通過率、平均分及最高分/最低分，可以從總體上定性地了解培訓(xùn)項(xiàng)目的實(shí)施情況，但不足以為改進(jìn)培訓(xùn)方式/內(nèi)容、提高培訓(xùn)有效性提供定量的數(shù)據(jù)依據(jù)。而且，培訓(xùn)考核從試題開發(fā)到考核評估，主要依托于教員的個人能力及工作經(jīng)驗(yàn)，缺乏系統(tǒng)的考試分析將導(dǎo)致考核的有效性未得到及時、持續(xù)地驗(yàn)證及改進(jìn)。

1.2 考試分析的重要性

考試是檢驗(yàn)學(xué)員學(xué)習(xí)情況最有效的手段之一。通過考試可以測量學(xué)員對培訓(xùn)目標(biāo)的掌握情況，獲取有用的信息，而不僅僅是為了得到一些分?jǐn)?shù)。考試結(jié)果的分析與評價是SAT評估階段的重要環(huán)節(jié)，通過分析可以了解教員的命題水平、授課質(zhì)量和教學(xué)效果，了解學(xué)員對培訓(xùn)目標(biāo)的掌握情況，對優(yōu)化教學(xué)內(nèi)容、把握教學(xué)水平、提高教學(xué)質(zhì)量具有重要意義。

2 考試分析的指標(biāo)及建立方法

考試分析包括試題和成績的分析，本文選取IAEA所推薦的考試評價指標(biāo)，采用定量評價和定性評價相結(jié)合的方法，將考試分析中常用的指標(biāo)分為定量指標(biāo)和定性指標(biāo)兩類。下文將通過這兩方面討論各主要指標(biāo)的內(nèi)容和意義，并以此建立考試分析的方法。

2.1 試題分析

試題分析是以評估試題的難度和區(qū)分性和試題選項(xiàng)的有效性而審查每位學(xué)員答案的過程。評估試題可以識別試題的問題并提出可行的建議。它可以判斷學(xué)員是否掌握培訓(xùn)目標(biāo)，也能用來提高教員的試題開發(fā)技能。試題分析主要包括以下三方面：

（1）試題難度系數(shù)

（3）選項(xiàng)分析

選項(xiàng)分析是審查選擇題各選項(xiàng)的過程，以驗(yàn)證選項(xiàng)的合理性[2]。像區(qū)分性一樣，選項(xiàng)分析可以計(jì)算每道題的系數(shù)，也可以通過直接審查選項(xiàng)結(jié)果進(jìn)行分析。

以上的例子共50人參加考核，通過給出各選項(xiàng)的選擇人數(shù)及其平均分進(jìn)行試題選項(xiàng)的評估。如試題1，干擾項(xiàng)C沒有任何考生選擇，雖然并不能說明該試題存在問題，但在后續(xù)的開發(fā)或升版中，可考慮增加選項(xiàng)的迷惑性。而試題3，選擇正確答案C的人數(shù)為40人，這些人的平均分達(dá)到18.93分，但是選擇干擾項(xiàng)A的考生平均分也達(dá)到了18分的較高分?jǐn)?shù)，這就需要教員進(jìn)行試題的重新評估，可能是干擾項(xiàng)A迷惑性太強(qiáng)、干擾項(xiàng)B/D明顯錯誤或是干擾項(xiàng)A本身的缺陷等。

2.2 成績分析

僅有高質(zhì)量的試題，還不一定有高質(zhì)量的考試，所以應(yīng)追求試卷整體質(zhì)量的優(yōu)化，同時為保證考核的有效性，其主要指標(biāo)為可靠性、有效性和正態(tài)分布。成績分析是考試分析的重要組成，它主要是對數(shù)據(jù)指標(biāo)進(jìn)行計(jì)算，包括參考人數(shù)、最高分、最低分、平均分、難度、標(biāo)準(zhǔn)差、信度、效度、成績是否符合正態(tài)分布等。下面簡述主要的數(shù)據(jù)指標(biāo)：

（1）信度

（2）效度

效度是指一次考試能有效地測量學(xué)員的實(shí)際學(xué)習(xí)水平的程度。我們可采用測量內(nèi)容效度來定性推斷考試內(nèi)容的質(zhì)量。主要的方式是通過組織技術(shù)專家對考試試題與原定內(nèi)容范圍的吻合程度做出判斷，這其實(shí)也是對培訓(xùn)設(shè)計(jì)階段開發(fā)試題的反饋。

2.3 考試分析方法的建立及優(yōu)點(diǎn)

2.3.1 考試分析方法的建立

基于上文所述的考試分析指標(biāo)，建立了旨在用于考試分析的Excel表格。考試分析表分為原始數(shù)據(jù)子表和4個結(jié)果輸出模塊。

（1）基本信息模塊

基本信息模塊包括考試基本信息和學(xué)員排名兩個部分。考試基本信息主要包括學(xué)員人數(shù)、題量、平均分、最高分、最低分、通過率和信度系數(shù)等。學(xué)員排名包括學(xué)員成績單和考試排名。

（2）試卷信息模塊

試卷信息模塊包括試卷分析和成績分布兩個部分。試卷分析包括試卷的難度系數(shù)和區(qū)分系數(shù)等相關(guān)信息。成績分布包括學(xué)生成績的直方圖、成績分布曲線。

（3）試題信息模塊

試題信息模塊包括試題數(shù)據(jù)、試題數(shù)據(jù)圖和選項(xiàng)分析三個部分。試題數(shù)據(jù)和試題數(shù)據(jù)圖包括各試題的詳細(xì)信息，如難度系數(shù)、區(qū)分系數(shù)、正確率等。選項(xiàng)分析主要介紹了單選題各選項(xiàng)的被選情況。

（4）專項(xiàng)信息模塊

專項(xiàng)信息模塊包括分類掌握、分類掌握圖和學(xué)員表現(xiàn)三個部分。在系統(tǒng)化培訓(xùn)方法中，通過培訓(xùn)目標(biāo)開發(fā)相應(yīng)的試題，故試題與培訓(xùn)目標(biāo)相對應(yīng)，可按培訓(xùn)目標(biāo)對試題進(jìn)行分類，總結(jié)學(xué)員各類試題的得分，即可了解學(xué)員各類培訓(xùn)目標(biāo)的完成情況，從而得出學(xué)員各方面的能力表現(xiàn)和薄弱點(diǎn)。分類掌握即是根據(jù)試題所屬培訓(xùn)目標(biāo)類別，統(tǒng)計(jì)各類別的正確率。而學(xué)員表現(xiàn)是比較學(xué)員與平均水平的差距，得出相應(yīng)的雷達(dá)比較圖。

（5）考試分析報告的生成

考試分析表可根據(jù)考試分析的結(jié)果，自動生成考試分析報告，便于數(shù)據(jù)的存檔和形成相應(yīng)的書面報告。

2.3.2 考試分析方法的優(yōu)點(diǎn)

（1）建立標(biāo)準(zhǔn)化的試卷評估體系，能科學(xué)、準(zhǔn)確地分析試卷

試卷分析的指標(biāo)較多，每個指標(biāo)的分析計(jì)算方法也不完全相同，進(jìn)行試卷評估，可以得出定量的分析數(shù)據(jù)。通過對考試指標(biāo)的分析，進(jìn)而評價考試質(zhì)量，確保測量結(jié)果有意義。

（2）為教員改進(jìn)教學(xué)工作提供依據(jù)

通過試卷分析，教員可以找出教學(xué)工作中的薄弱環(huán)節(jié)和學(xué)員學(xué)習(xí)過程中的普遍性問題，在教學(xué)中加以改善，以便于因材施教。

（3）減少工作量，節(jié)省時間，提高效率

傳統(tǒng)的考試結(jié)果統(tǒng)計(jì)和分析需要占用大量的時間。本考試分析方法僅需錄入考試結(jié)果信息，即可產(chǎn)生相應(yīng)的試卷、試題分析結(jié)果。

3 結(jié)論

考試是檢驗(yàn)學(xué)員培訓(xùn)目標(biāo)掌握情況的最有效手段之一，考試結(jié)果的分析與評價是SAT評估階段的重要環(huán)節(jié)，通過分析可以了解教員的命題水平、授課質(zhì)量和教學(xué)效果，了解學(xué)員對培訓(xùn)目標(biāo)的掌握情況，對改進(jìn)培訓(xùn)、提高培訓(xùn)有效性具有重要意義。

【參考文獻(xiàn)】

[1]Simpson，E.J.，“The Classification of Educational Objectives： Psychomotor Domain，”Illinois Teacher of Home Economics，10（4）， pages 110-144，1966.

[2]The Principles of Training System Development Manual， Addendum II：Examinations：Design，Development and Implementation.（ACAD 88-002）.

[3]郁張海.標(biāo)準(zhǔn)化考試中的試題分析，山西大學(xué)學(xué)報，2009年第14卷.