基于能力導向的職業院校學生COMET職業能力測評命題方法研究

王榮秀　楊生明　陳晨

【摘 要】本文闡述目前國內對學生職業能力的測試方式主要有職業技能鑒定、職業教育技能競賽以及職業能力測評工具，針對職業教育領域對學生能力測評在題目的質量、內容和依據方面缺少嚴謹、科學的標準等問題，提出采取COMET職業能力測評試題從另一角度對我國現有的測評形成補充，并論述COMET職業能力測評的理論及實踐、COMET試題題目的類型及表達方式、COMET職業能力測評的命題關鍵。

【關鍵詞】職業教育? 學生職業能力? COMET? 能力測評? 命題方法

【中圖分類號】G? 【文獻標識碼】A

【文章編號】0450-9889（2019）09C-0190-03

職業能力（competence）是特定（職業）領域內的“認知心理特征”和“發展潛力”。由于能力概念的復雜性、社會文化的多樣性、語言差異、認識主體的知識局限性和研究視角的差異性等原因，人們對職業能力的認識一直存在差異。自20世紀80年代以來，日益復雜的社會勞動對勞動者素質和智能的要求不斷提高，職業教育質量問題備受關注。更多的人認為職業能力指的是人們在真實工作情境中整體化地解決綜合性的專業問題的能力。

職業能力是一種心理特征，是相對穩定的。由于人的心理特質具有比較隱蔽的特性，研究者無法對其進行直接測量，但可以通過被試對一些刺激（如考題）的行為反應（考試答案等）特點來間接推測其心理特質的特點水平。并且，職業教育多是復雜、綜合且跨學科的，心理測量存在一定的難度，要保證測評結果的真實性，命題是關鍵。目前國內推廣程度較高的職業能力測評的試題存在一定局限性。COMET職業能力測評試題能從另一角度對我國現有的測評形成補充。為力求真實反映職業教育學生職業能力水平，本文在已有測評方案基礎上，提出拓展COMET職業能力測評方案的研究領域，并針對COMET測評命題環節所產生的技術問題進行分析。

一、目前國內對學生職業能力的測試方式

目前國內對學生職業能力進行大規模測試的方式主要有職業技能鑒定、職業教育技能競賽以及一些較為少用的能力測評工具。

（一）職業技能鑒定

職業技能鑒定工作是國家推行職業資格證書制度的重要環節。為提高命題水平和質量，我國職業技能鑒定命題采用開發題庫的手段保持歷次試卷之間具有良好的連續性和穩定性。由于題庫龐大、試題更新較為困難，我國職業技能鑒定題庫尚存在部分職業鑒定試題考核內容與現代職業活動不匹配、部分題庫資源過于陳舊、題庫建設與職業培訓研究脫節等方面的問題。

（二）職業教育技能競賽

職業教育技能競賽命題的內容主要依據競賽規程、職業學校教學大綱和專業指導方案、依據目前職業崗位生產實際三個方面進行確定。職業教育技能競賽在不同地區、不同專業領域、不同參與對象中間掀起了不同程度的熱潮。在此背景下，部分職業教育領域專家對技能競賽的質量提出了質疑。

（三）職業能力測評工具

我國專門針對職業能力測評工具的研究比較少，國內比較有影響力的北森職業測評系統重點是對職業測評工具的研究，主要用于幫助學生進行職業生涯規劃與指導。北森測評專家莊明科指出，職業測評的關鍵在于四點：題目的信效度、題目的隱蔽度、測驗內容與崗位勝任力要求的匹配程度、測評使用者對測試理念的認知程度。但是，由于智能傾向及其開發的程度等其他方面也是擇業的考慮因素、缺乏對個體具體思維狀況的差異性考慮，該測評系統憑借被試者的性格以及動機傾向來推測適合職業的科學性，還有待證明。

綜上，相比國內對基礎教育質量監測和全國統一中、高考的研究，在職業教育領域對學生能力測評的研究并不多，并且在題目的質量、內容和依據方面缺少嚴謹、科學的標準。

二、COMET職業能力測評理論及實踐

職業能力與職業認同感測評項目（COMET）是一個起源于德國，由瑞士和南非等國家參與的國際職業教育比較研究項目，是繼職業資格考試、PISA測試等能力測評方法之后，以職業學校學生為主要研究對象的職業能力測評技術。德國部分職業學校電工專業的學生首先參加了測評，通過實踐證明了COMET職業能力測評在評價學生職業能力發展和對職業教育教學改革項目的監控方面是一個有效的工具。

COMET職業能力測評的基礎是一個三維能力模型。從三個維度來描述學生的能力，現只從出題的角度來解讀這個模型。第一個維度是要求維度也是能力級別，我們用以評價學生表現出的能力類型。我們將只具備名義能力的學生稱為風險群體，其余三個能力級別分出8項能力指標。這8項指標對出題、評分都具有指導作用。第二個內容維度決定了學生的學習范圍，學生從初學者到專家需要經歷五個階段，在向高階段發展的時候需要經歷四種不同程度的任務。學生的培養目標定位決定了試題的難度，如果將學生的培養目標定位為生手到熟手之間，我們可以選取程序性任務作為試題內容。第三個行動維度表示的是一個完整的工作過程，其中包括6個階段，用來評價學生是否能夠將整個工作過程完整的體現出來。總之，要求維度決定了試題的覆蓋面和評分標準，內容維度決定了試題的難度，行動維度決定了試題的評分標準。

圖1? COMET職業能力模型

2008年以來北京師范大學和北京教科院在多個職業教育創新項目中引入了COMET能力測評方案，分別在北京、四川、廣東和交通部等所屬職業學校的電氣技術和汽車維修專業進行了4次規模不等的能力測評。2013年由北京師范大學承擔的《中國現代職業教育質量保障體系研究》成功立項教育部哲學社會科學重大課題攻關項目。項目將對建筑、護理等專業領域的高職學生進行職業能力測評，COMET能力測評方案的科學性也進一步得到了認可。

依據三維能力模型，COMET研究者最先開發出了電工專業的4道題目，開發經歷了一個復雜的過程，具體說來分為9個步驟：從現有的考試資料和課堂資料中收集考題;系統收集編寫測試題的創意;分組開發測試題目;預先挑選出適合兩類電工職業（工業電工和手工業電工）的試題;開發小組評價試題在兩個測試時間點是否都適用;對所有12道試題進行預測試，并對預測試結果進行評定;選出4道用于正式測試的題目;根據預測試結果，對測試題進行修改（如詳細描述情境或添加照片）;將測試題目用于正式測試。

三、COMET試題題目的類型及表達方式

（一）題目的類型

COMET試題屬于開放性試題，與常規考試不同的是，試題沒有一個固定的標準答案。學生在設計方案的過程中不僅要根據題目的情境來設計方案，與此同時還要考慮方案中對8項指標的體現，以及工作過程的完整性。每道試題在開發過程中會對應開發出一個“解題空間”，便于評分老師理解評分指標、統一評分標準。

（二）設計測試題目的任務表述

在編寫測試題目時，應避免出現明顯的幫助和提示性的信息。有一些題目，僅從任務要求中就能基本確定解決問題的途徑，這時應當采用簡短的描述方式，以避免提供暗示。每道測試題目都配有相應的情境描述，包括測試任務的背景情況等。背景描述應貼近現實，盡量配有圖示（如照片、功能圖等），便于學生理解。測試題目和情境描述不給出詳細的規定，而是以使用價值為導向的。

被試者在給出的解決方案中，不僅要利用草圖、文字描述、表格和清單等技術語言說明解決問題的方式方法，還應當向客戶詳細闡述其理由。

這與企業的真實工作任務不完全相同。我們之所以要求被試者全面詳細地說明他們提出的解決方案的理由，正好說明這只不過是一道測試題目而已。而在實際工作中，往往只看工作結果。如專業人員在完成工作任務時，并不是每次都要詳細說明自己為什么要這樣做而不那樣做。一般只有當委托方或客戶詢問時，他才會解釋選擇這一方案的原因。要求被試者詳細說明解決方案的理由，可以降低測試評卷工作的難度，并提高評分者信度值。

四、COMET職業能力測評的命題關鍵

（一）情境的構建

COMET測評方案試題以通過實踐專家研討會開發出來的典型工作任務為基礎，它不僅要反映職業的需求，并且有充分的開放度，從而保證其解決方案能夠反映出職業能力的高低。羅特等（Rothe、Schindler，1996）的實證研究證明，通過完成職業的典型任務可以對職業能力進行評價。考生解決問題的方式可以揭示其解決問題的職業學習策略、專業工作策略和專業合作策略，從而按照解釋學方法對考生解決方案進行解讀，可以確定其職業能力的發展狀況。

1.真實。COMET試題來源于從實踐專家研討會中總結歸納出的典型工作任務。強調試題情境的真實性亦是從根源上控制測試指標的準確度。因而在出題過程中需要具有10年左右施工經驗的工程師介入，對所開發試題進行真實性的考驗。

2.復雜。測試題目都是需要學生完成方案的設計，這要求題目所創建的情境具有相當程度的復雜性，也就是情境中需要對發生事件的客觀現象進行較為生動復雜的描述。保證學生能夠在大腦中最大限度地還原施工現場，從而進入“工作模式”而不是答題模式。

3.開放。題目應該給出一個開放性的答題空間，盡管COMET測評方案強調要給出相當程度的復雜信息供學生自行獲取，考查學生對信息的敏感度。也要給出一定的缺口，讓學生可以選擇他認為最合適的解決辦法、路徑和工具等，答案并不唯一。

（二）從答題角度看命題要求

從學生答題的角度來看試題的構成能有效反推出試題開發中需要注意的問題和關鍵。根據COMET測評方案的三維基礎模型中的行動維度，學生在答題過程中要體現出完整的工作過程6個環節，其中“資訊”環節最容易受到題目給出的信息及表述方式的影響。

要完成答題，學生首先要做的是資訊，即獲取信息。這一步也是學生能否答好題目的關鍵。題目要給出足夠多的信息，一方面增加題目的復雜程度，另一方面給學生一定的啟發（比如建工專業，將情境建立在“上海”，就要考慮淤泥地質和地下水的問題）。要讓“敏感度”更高的學生能夠獲取到比其他學生更多的有用信息。但不要將問題細化，固定學生的作答方式，要讓學生可以自己組織答題的模式和順序。盡可能給出足夠的信息點，讓學生自主從中挑選他認為有用的、有價值的信息，從而建立一個自己的信息庫，保證學生資訊環節的豐富性、自主性和完整性。除此之外，為保證學生能夠有足夠的空間來完成“資訊”，應避免在一道題目中分項提問的傳統提問方式。試題在開頭要營造一個真實的情境，設計真實的顧客名稱、真實工作會遇到的復雜問題，將學生引入工作模式而不是答題模式。與普通考試題目不同的是，COMET試題強調真實情境的建立。

學生通過題目獲取信息之后，要從獲取的信息中提取出 “有用”的部分，設計工作的步驟、內容以及工具等細節;從多種解決方式中選擇他認為最“適合”當時情景的方式方法、工藝、工具、流程和8項評分指標（COMET能力測評的8項評分指標：功能性、直觀性、經濟性、使用價值導向、企業生產流程和工作過程導向、環保性、創造性、社會接受度）。如果在預測試中，最好的學生也無法在答題過程中完全達到以上要求，有可能是題目的相關條件太少或者表達得過于隱晦。反之，如果學生成績普遍偏好，則有可能是題目難度太低。為保證學生成績能夠處于正態分布，命題小組就需要根據學生的答題情況對題目進行修改。

職業教育學生職業能力測評的命題研究是職業教育質量保障體系建設的重要環節，是國內外職業教育研究的熱點。COMET測評方案因在實踐中獲得的成績，影響范圍正在擴大，希望今后能夠繼續拓展其在更多專業領域的覆蓋面、確保其命題環節的嚴謹、科學，能夠從另一角度對我國現有的測評形成補充，從而真實反映職業教育學生的職業能力水平。

【參考文獻】

[1]費利克斯·勞耐爾，趙志群，吉利.職業能力與職業能力測評：KOMET的理論基礎與方案[M].北京：清華大學出版社，2010

[2]人民教育出版社組.心理統計與測量[M].北京：人民教育出版社，2008

[3]史術高，甘昌意.論改進職業技能鑒定省級題庫建設的措施和方法[J].職業，2008（12）

[4]中國大學生就業.樹立職業規劃意識 完善就業指導工作：北森朗途職業測評系統在中國海洋大學的使用[J].中國大學生就業，2006（16）

[5]趙志群，莊榕霞.職業院校學生職業能力測評的實證研究[M].北京：清華大學出版社，2010

【作者簡介】王榮秀（1989— ），女，廣西柳州人，柳州鐵道職業技術學院教務處講師，研究方向：學生職業能力測評;楊生明（1989— ），男，云南大理人，柳州鐵道職業技術學院建筑技術學院助理工程師，研究方向：鐵道工程;陳 晨（1991— ），女，湖南湘潭人，柳州鐵道職業技術學院建筑技術學院助教，研究方向：鐵道工程。

（責編 王 一）