職業技能鑒定操作評測系統研究

摘要：在職業技能鑒定中，研究和運用“職業技能鑒定操作評測系統”，形成統一的評分標準和評分體系以及統一的評價體系，能夠在技能鑒定操作考核的考評工作中減少由于考評員對標準掌握程度不同帶來的評分差異，提高評測的準確度和公平性，在操作考核的考評中有很強的實用性和現實意義。

關鍵詞：職業技能鑒定；操作考核；評測系統

作者簡介：趙凱峰（1976-），男，吉林松原人，江蘇省電力公司徐州供電公司，工程師，企業培訓師；陳錚（1968-），男，江蘇南通人，江蘇省電力公司徐州供電公司，工程師。（江蘇 徐州 221003）

基金項目：本文系2011年江蘇省電力公司科技項目“技能鑒定操作考核自動評測模式及方法的研究”（項目編號：J2011021）的研究成果。

中圖分類號：G726 文獻標識碼：A 文章編號：1007-0079（2012）30-0031-02

關于職業技能操作考核的評測系統在2000年左右國內已經有人提出相關概念，但截至目前國內使用的操作考核評測系統大都是與某操作仿真系統結合在一起。例如電力行業中與變電仿真系統結合在一起的變電站值班員操作評分系統，此類評測系統功能單一，只能判斷操作人員的操作內容是否正確，無法反映熟練程度及各個操作步驟之間的邏輯關聯和分值比例，不具備評語和知識點的管理功能并且不能脫離仿真系統單獨使用，不能適用于技能鑒定考核。

目前職業技能鑒定實操的考核方式是在考核中使用人工在評分表中打分的方法，考評過程中一般由三個或幾個考評員根據表中各項分值和考生操作結果進行給分，每個考評員各自在評分表中打分，考評標準只能依靠考評員自己掌握，不同考評員對評分標準的掌握程度不同，可能導致不同考生間評分標準不一致，不同考評員間評分標準不一致，同樣成績的考生給出的評語差異很大。而且在考評中不能排除考評員給分未按照分值標準給分或計算總分時的計算錯誤。最后的評語由考評員人工書寫，考評員語言文字的組織方式和能力對評語有著很大影響。考評員對于不同考生之間的評語標準也不好掌握。

為了解決以上問題，要進行關于技能鑒定操作考核自動評測模式及方法的研究，此項研究能夠建立一個技能鑒定操作考核題庫平臺，并建立統一的評分標準和體系以及統一的評語，提供自動評分及給出評語功能，能夠最大限度減少考核中考評員人為帶來的差異，此項目的研究將填補國內對于操作題目自動評測方面的空白。

一、總體解決方案

1.研究職業技能鑒定操作考核評測流程，提出標準化管理方案

在現有職業技能鑒定操作考核方案及工作流程基礎上制定出一套適合自動評測系統的管理方案及考核評測流程，主要包含考核評測流程中各個工作節點的設置、每個節點用戶及用戶權限的設置、流程中數據流的設置、標準化歸檔數據的格式。考評流程主要包括考生抽題、考試開始、操作中考評員記錄、考試結束、匯總成績（給出評語）、數據歸檔五個階段。用戶分為考評員、考評員組長、鑒定管理人員和系統管理員四大類。最后歸檔數據以數據庫形式保存，但可以打印成評分表式的文檔資料。根據評測流程提出技能鑒定考核管理方案，主要包括題目管理、考評管理、數據管理三個方面內容，對每一方面要從管理原則、管理目標、管理方法等角度闡述。管理方法要能夠和鑒定實際工作緊密結合。題目管理方案中講述對應工種的題目種類、題目數量、題目覆蓋范圍、出題依據、題目級別；考評管理方案中主要講述考評方式、考評員聘請、考評方案、考評分數設置、考評紀律等；數據管理方案主要講述單個考生資料數據、考評記錄數據、上報數據、匯總數據等內容。

2.整理形成專業操作題目庫和鑒定評語庫

根據近年來電力行業職業技能鑒定考核題目和鑒定結果，參考生產技能專家和考評員的意見，整理形成部分職業工種的操作題庫和鑒定評語庫。對題目進行職業鑒定等級分類，題目設計要遵循各個工種和鑒定等級的鑒定規范，涵蓋工種的主要操作技能。題目庫中包含題干表、標準答案表。題干表中主要有“題目序號”、“題目內容”、“工種類別”、“題目等級”等字段，標準答案表有“題目序號”、“操作序號”、“操作步驟內容”等字段，上述兩表由專家按照規范和規定填寫上述字段內容。

設計評語標準結構和評語庫。鑒定評語庫中包含總況評語子句（例如：“熟練掌握××技能”等）、細節評語子句（例如：“操作票書寫正確“或”對母差保護操不熟練”等）、總結評語子句（例如：“符合變電站值班員技師技能操作考核要求”等）。在評語庫中設計總況評語表、細節評語表、總結評語表三個數據表。總況評語子句主要是反映考生對基本技能的掌握情況，可以用“基本掌握××技能”、“掌握××技能”、“熟悉掌握××技能”、“對××技能沒有掌握”等語句，細節評語設計要將評語子句與考核點（操作步驟）對應起來，主要是反映對某項操作內容的熟悉程度，總結評語是對考生是否符合所報等級的條件進行最終評價。

3.研究考核點和評分標準內容及相互關系，建立考核知識點及對應的評分標準、評分參考和考核知識點之間的邏輯關系

根據職業技能鑒定操作評分標準對題庫中題目進行考核點分析，并對評分標準進行細化，原有的評分標準有很多部分是通用標準，并沒有提供對某個題目每個具體操作步驟的具體評分方案，此次研究要確定題目庫中每個題目標準答案中每個操作步驟是否作為考核點。如果作為考核點，則確定每個考核點的分值范圍。分值要體現考生對本項操作的正確度和熟悉程度，對“不正確”、“基本正確”、“正確且熟練”等各個等級給予不同分值。

研究如何確立考核點之間的邏輯關系。邏輯關系主要包括：考核點之間的先后關系或并列關系；考核點對本次操作的否決關系。根據評分標準對每個考核點給定具體分值，確立考核點給分標準，指定具有否決條件的操作步驟。

4.研究對鑒定進行自動評分及形成鑒定評語的方法

使用計算機數據庫和數據結構方法實現考核點評分標準、各個考核點之間及考核點與評語之間的關系，通過識別各個考核點之間的關系并根據考核點評分標準自動給出考核總分。評分過程中計算機首先根據考評員所選內容判斷本步操作是否正確，如不正確則此操作的后續操作分數一并扣除，如為否決項則扣至及格線以下分數。如正確則判斷此操作后續操作，將此操作所有后續操作核對完畢后檢查此操作的并列操作步驟。整個過程是通過數據結構中對樹型結構遞歸遍歷的方式核對所有操作步驟，核對每一步操作時要根據考評員給出操作步驟的正確與否與熟練程度給出不同分值。

在核對操作步驟結束后，通過識別考核點與評語之間的關系并依據評語標準結構和分值自動選出鑒定評語。鑒定評語要反映對應工種等級要求的基本技能掌握情況（總況評語）、主要優點和不足之處（細節評語）、是否符合鑒定的要求（總結評語）等。（例如：變電站值班員在操作任務中90%以上的操作步驟評測都是“正確且熟練”，且沒有否決項出現，總分在85分以上，則總況評語給出“熟練掌握變電站設備及操作技能”；如每次操作二次設備都是“正確且熟練”，則評語中給出對應的“對二次設備操作熟練”語句；如在操作中的防誤措施上考生在部分考核點得到的評測是“基本正確”，則在給出評語中應對應“防誤措施熟練程度不夠”等；如果出現具有否決項屬性的考核點未操作或被評測為“不正確”，評語則直接對應“出現嚴重誤操作或漏項”，不需其他細節評語；如果總分為不及格，則總結評語對應“不符合變電站值班員技師技能要求”等。）為了能夠實現自動評語功能，要根據鑒定規范和標準確定評語中每個子句對應的考核點，建立考核點與評語子句之間的對應關系。主要包括每個考核點與總況評語子句之間的關系、每個考核點與細節評語子句之間的關系、具有否決項考核點和總分與總結評語之間的關系。對評語庫中的細節評語表進行拆分，將通用詞語組成通用子句庫，例如：“基本正確”、“正確”、“正確且熟練”、“很熟練”、“有不正確地方”、“有部分遺漏”。將評語類別（操作類別）組成評語類別庫，例如“二次設備操作”、“一次設備操作”、“防誤措施”、“設備巡視”等需要在標準答案表中添加“評語類別”字段，給每步操作都對應相應的評語類別。

系統自動評分結束后計算機將此次操作任務的評分情況保存在數據庫中，評分情況要包括考生情況、操作時間、操作任務、操作步驟、操作步驟得分、總得分、評語、考評員等信息，并且根據評分情況能夠生成詳細的評分表（可打印）。

5.研究建立各考核點對應的支撐知識庫

對職業工種的題目進行分析，對某些考核點對應的知識或原理進行整理形成知識庫。知識庫內容以數據庫形式存儲，其內容主要是操作考核點中的原理或理論依據。知識數據庫中可以存儲必要的圖形和圖片，同時建立知識庫中知識點與考核點的對應關系。知識庫中的內容通過專家和考評員審核，確定知識點的內容和對應的鑒定等級。對某個考核點可以對應多個知識庫中的內容，知識庫在計算機平臺中實現需建立兩張數據表：第一是知識表，其中包含知識點序號、知識點內容、知識點工種、知識點等級四個字段的內容；第二是對應表，包含知識點序號和考核點序號兩個字段表，用來建立知識點和考核點之間的關系。

二、系統功能

結合職業技能鑒定工作的特點，此系統主要有四項功能。

1.題庫和知識庫及評語庫管理功能

主要是用于題目和知識點及評語的編輯。提供編輯知識點與考核點關系的功能；提供編輯評語子句與考核點關系的功能；提供根據工種和鑒定等級隨機抽取鑒定題目的功能；提供選擇知識庫內容組卷并打印出口試試卷或筆試試卷的功能。

2.評分標準和策略的設置功能

主要為用戶提供編輯題目各個考核點評分標準及設置邏輯關系的功能。用戶能夠在客戶端界面中給定某個操作步驟（考核點）不同程度對應的分值，能夠在界面設置標準答案中操作步驟之間的邏輯關系以及設定否決項目。

3.考評評分功能

主要是為考評員提供在考核現場實時評測的功能。考評員根據考生操作過程，在系統評分界面中選擇對應條目是否正確和熟練程度，無需人為給出分數。系統根據考評員選擇的條目的內容進行自動評分。系統記錄每個考核點得分情況，并計算總分，根據總分和考核點評測情況，自動組成考核評語。

4.鑒定資料歸檔功能

主要是根據鑒定規范和方案要求將考生考核資料、成績進行歸檔，歸檔之后資料將不能修改，并且所存資料能夠導出標準文檔格式或直接以標準格式進行打印。每個考評員對某個考生某項操作任務的考評記錄能夠以考評表形式打印。

三、系統主要特點

就系統本身而言，它不僅僅是一般的管理系統，而側重點是在分析方法和預警處理方面，因此，該系統的需求起點較高，實現目標要求亦高。具有以下特點：

1.應用范圍廣泛

在各職業技能鑒定中心及教培中心均可應用，可以應用于職業技能鑒定的實操考核，也可以應用于技術比武。

2.工種適用性強

目前應用于電力行業職業技能鑒定考核工作，并支持工種類別的無限擴展。

3.業務處理標準規范

系統符合《江蘇省電力公司電力通信資源命名規范》的要求，遵循《江蘇省電力行業變電站值班員職業技能鑒定考核評分標準》、《江蘇省電力行業變壓器檢修工職業技能鑒定考核評分標準》。

4.考評信息處理流程化

考生、考評員及考評組長之間職責、權限劃分明確。

四、結束語

“職業技能鑒定自動評測流程管控系統”的開發過程中使用了微軟公司.NetFramework平臺軟件開發工具VisualStudio2010、大型關系數據庫SqlServer2005等工具。在實際開發中對于以上工具有了更深層次的認識，同時逐漸形成了自身的開發風格，建立起了完善的系統界面模版。

目前系統已經經過了嚴格的功能測試，調試和測試過程中在服務器配置和故障處理等方面積累了大量經驗。為了提高系統應用效率，對全部代碼進行了充分的優化，對于SQL語句的編寫和應用更加嫻熟，為以后的開發工作和系統升級奠定了堅實的軟、硬件基礎。在今后的工作中會繼續總結經驗、完善方法，為“職業技能鑒定自動評測流程管控系統”的應用和維護提供優質高效的技術保障。

“職業技能鑒定自動評測流程管控系統”的應用必將有助于改進技能鑒定工作的評分手段，在技能鑒定操作考核中使用此平臺能夠節省大約20%的考評工作量，并且能夠提高評測的準確度和公平性。

（責任編輯：王祝萍）