基于COMET的高職建筑工程專業學生職業能力測評探究

摘 要：職業能力與職業認同感測評項目在評價學生職業能力發展、監控職業教育教學改革項目方面是行之有效的工具之一。該研究闡釋COMET職業能力測評理論內涵，通過實證研究方法，闡述試題開發策略及流程，包括確定典型工作任務、試題內容、類型和呈現方式。進行試測之后，基于該理論分析數據，評估試題的難度、區分度和內部一致性，并對試題開發過程中的參與人員、研究方法和過程進行反思，提出要確保參與人員的專業性、要以設計導向思想為指導、要對試題開發過程進行質量監控等改進建議。

關鍵詞：COMET；建筑工程；職業能力測評；試題開發

中圖分類號：G64 文獻標識碼：A 文章編號：0450-9889（2024）27-0042-06

職業能力與職業認同感測評項目（COMET）是一個起源于德國，瑞士、南非等國家參與的國際職業教育比較研究項目，是繼職業資格考試、國際學生評估項目（PISA測試）等能力測評方法之后，以職業學校學生為主要研究對象的職業能力測評技術［1］。德國部分職業學校電工專業的學生首先參加了測評，通過實踐證明了COMET職業能力測評在評價學生職業能力發展和對職業教育教學改革項目的監控方面是一個有效的工具。北京師范大學和北京教科院在多個職業教育創新項目中引入了COMET能力測評方案，分別在北京、四川、廣東等地的職業學校進行了能力測評。

由于建筑行業的特殊性，國內外都尚未針對土建專業學生實施COMET職業能力測評方案。建筑行業作為一個獨立的行業分類，區別于電子、機械、汽車等制造業，以龐大的建筑、橋梁等工程為背景，不僅涉及力學、測量、制圖、安全、管理等多方面的內容，受天氣、季節、地質條件等多方面影響也很大。針對這樣一個高度復雜并且獨特的專業領域，所進行的相關研究還停留在理論層面，缺乏采用科學測量技術的實證研究。為拓展COMET測評方案在專業層面的覆蓋面，填補在建筑工程類專業領域實證研究的缺陷，本研究擬在原有理論基礎上對高等職業教育建筑工程類專業學生能力測評進行實證研究。

一、COMET職業能力測評方案的理論內涵

COMET職業能力測評方案的理論基礎是一個三維能力模型（如圖1所示），包括能力的級別維度、能力的內容維度和職業的行動維度。COMET三維能力模型以“設計導向的職業教育思想”［2］“行動導向教學”［3］“發展性任務”［4］“從‘初學者到專家’職業成長邏輯規律”［5］“工作過程知識”［6］等已受到國際職業教育研究專家和從業者普遍認同的理論為基礎，建立起科學的職業能力解釋框架，對職業教育教學質量進行科學的診斷和評價，并具有較好跨職業領域和跨文化特點。［7］模型在其他研究中已有較為詳細的闡述，在此不再贅述。

（一）要求維度：職業能力的水平級別和評價指標

職業能力的水平級別是COMET職業能力模型中的要求維度，包括“功能性能力”“過程性能力”和“整體化的設計能力”3個能力層級。能力級別完整體現了職業能力的各個維度，這些維度表現為相對獨立的能力特征。也就是說處于功能性能力級別的被試者，也可能同時具備過程性能力和設計能力。被試者的職業能力特征最終可以通過“能力輪廓圖”清楚地表現出來。COMET職業能力測評方案研究者們在研究5個職業（專業）的基礎上，得到了基于功能性能力、過程性能力、整體化設計能力等3個能力層級和功能性、直觀性、經濟性、使用價值導向、企業生產流程和工作過程導向、環保性、創造性、社會接受度等8項能力指標。8項指標將能力層級進一步細化、具體化，使得抽象化的能力概念得以具現，增強了COMET職業能力測評試題開發研究的可操性，滿足了這些指標的要求，也就滿足了職業能力測評的要求。

（二）內容維度：職業能力發展規律

職業能力發展規律是COMET職業能力模型中的內容維度，是一個復雜而系統的過程，它不僅僅是知識的積累，更是能力層次的深化和提升。德雷福斯兄弟（S.Dreyfus）在20世紀70年代提出的理論為我們理解這一過程提供了深刻的洞見。根據他們的研究，職業能力的成長軌跡可以劃分為五個階段：新手、生手、熟手、能手和專家［5］。每個階段都對應著不同的知識形態和能力特征，且這一發展過程是建立在具體的學習情景之上的。

新手階段：個體在職業能力的起始點，依賴明確規則和指導來執行任務。他們對成功充滿渴望，但因經驗不足，面對錯誤時易感慌亂。通過遵循簡單規則，新手逐步積累能力，開始承擔基礎工作。

生手階段：隨著經驗的增長，個體開始嘗試獨立工作，擺脫對規則的完全依賴。生手能根據過往經驗在適宜情境中作出判斷，但尚未形成全局視角。

熟手階段：熟手探索適合自己的工作規則，面對任務的多樣性，必須自主決策。這一階段的個體感受到因決策帶來的焦慮和成就感，開始在團隊中扮演領導角色。

能手階段：能手對工作充滿熱情，能夠迅速識別任務目標，盡管具體執行策略尚不明確。他們具備了預判能力和全局思維，開始進行自我反思和改進。

專家階段：專家憑借直覺和豐富經驗，對細節高度敏感，能迅速做出精準判斷。他們的能力體現在對復雜情境的恰當反應，這是之前各階段難以達到的。

職業能力發展的這一規律，揭示了從新手到專家的轉變不僅僅是技能的增長，更是認知心理特征和發展潛力的全面提升。通過測評對象所處發展階段的任務特點，可以調整試題難度、提高試題的內容效度。

（三）行動維度：典型工作任務

典型工作任務（Professional Tasks）是COMET職業能力模型中的行動維度，是用完整的、有代表性的職業行動描述的一個職業的具體工作領域，反映了職業典型工作內容和工作方式；完成任務的方式方法和工作的結果多具有開放性，完成典型工作任務的同時能夠促進從業者的職業能力發展。COMET測評方案試題需要建立在領域典型工作任務的基礎之上［1］。羅特等（Rothe、Schindler）的實證研究證明，通過完成職業的典型任務可以對職業能力進行評價。測評對象解決問題的方式可以揭示其解決問題的職業學習策略、專業工作策略和專業合作策略，能夠按照解釋學方法對測評對象解決方案進行解讀，可以確定其職業能力的發展狀況。

建筑工程職業領域涵蓋了施工、設計、管理等多個方面，其典型工作任務包括但不限于施工方案的制訂、施工圖紙的解讀、施工現場的管理等。這些工作任務要求從業者具備扎實的專業基礎知識、良好的團隊協作能力、創新的思維方式和解決實際問題的能力。因此，在高職建工專業職業能力測評中，需要充分考慮這些典型工作任務對職業能力的要求，確保測評結果的準確性和有效性。

二、試題開發策略及流程

COMET職業能力測評試題開發過程，主要包括確定典型工作任務、確定試題內容、確定試題類型、確定試題表述等三個階段。COMET三維能力模型是試題開發研究的基礎，是準確把握試題任務難度、類型及表述方式的標尺。

（一）確定典型工作任務

本研究組織了20名專業教師與16位來自不同建筑工程公司的一線工程人員組成實踐專家小組，通過實踐專家研討會完成了建筑工程領域典型工作任務的歸納與劃分。

研討會流程主要包括四個階段：進行職業領域工作任務分析，確定典型工作任務；對典型工作任務難度進行分析，并按照難度范圍對典型工作任務進行分類；對每個典型工作任務分別從工作崗位、工作過程、工作任務對象、工具與器材、工作方法、工作組織、對工作和技術的要求、對工作對象的要求8個層面進行分析，提煉出建筑工程職業領域內的24個典型工作任務；結合實際進行修改，最后總結為11個典型工作任務（見表1）。

試題開發組在此基礎上結合建筑工程領域“5大員”的職業描述，將典型工作任務精簡為11個，主要基于以下幾個因素。

一是考慮了任務的相關性和普遍性，合并了功能相似或在多數建筑工程項目中普遍出現的任務，確保所選任務能夠廣泛代表行業內的實際工作需求；二是考量任務的難度和復雜性，篩選出既具有一定挑戰性又不至于超出能力范圍的任務，以確保它們作為評估工具時，同時能夠適應不同能力水平的評估對象；三是根據職業資格和能力要求的覆蓋，確保所選任務能夠全面覆蓋建筑工程領域內的關鍵職業資格和能力要求，從而為個體提供全面的職業能力評估；四是將專家意見和實際工作流程結合，通過與實踐專家的深入交流和反饋，結合實際工作流程，選擇那些最能反映真實工作場景和行業需求的任務；五是考慮資源和實施的可行性，依據試題開發和實施的資源限制及實際操作的可行性，精簡那些資源消耗大或難以實施的任務，以確保評估過程的高效性和實效性。

專家小組在確保任務真實性、覆蓋面和實用性的基礎上，對24個典型工作任務進行了篩選和合并，最終確定了11個典型工作任務。這11個典型工作任務最終能夠為建筑工程領域的職業能力評估提供一個全面、均衡且與實際工作緊密相連的框架。

（二）確定試題內容

在確定了建筑工程領域的11個典型工作任務之后，要確定具體的試題內容。試題內容的選擇應緊密圍繞這些典型工作任務，確保試題能夠真實地反映學生的職業能力水平。

首先，將每個典型工作任務分解為若干個關鍵能力點。以“土方工程與基礎工程”試題為例，關鍵能力主要包括：理解施工圖紙、選擇合適的施工方法、計算土方量、確定施工機械和材料需求、確保施工安全和質量等，確保試題覆蓋到每個工作任務的各個方面，從而全面評估學生的專業能力。

其次，結合實際工作場景，設計具有實操性的題目。現實建筑工程項目往往情況復雜且資料繁多，并不適合直接用于測評學生職業能力。為保證測試的有效性，首先要基于“從‘初學者到專家’職業成長邏輯規律”明確適合學生所處的職業能力發展階段，再根據該階段成長所需完成的學習任務類型對典型工作任務進行調整。學生畢業后大部分應達到“生手”向“熟手”發展的階段，這一階段的學生職業能力特征是，已經建立了對工作系統、綜合性任務和復雜設備的整體認識，掌握了職業關聯的知識，了解了生產流程和設備運作，開始思考人與人之間的關系以及技術與勞動組織之間的關系，擁有初步工作經驗，并開始形成職業責任感。少部分優秀學生能到達“熟手”向“能手”成長的階段，這一階段的學生職業能力特征是，已基本掌握復雜工作任務的功能性知識，能夠完成非規律性的學習任務（如故障診斷等），合作能力進一步發展，并形成較高的職業責任感。由于測試對象處于第四學期期末，學生尚未參加企業實習，故將試題確定在“程序任務”和“問題任務”之間。

綜合上述要求制訂出試題，其試題分析表如表2所示。

（三）確定試題類型及呈現方式

目前較為常見的試題分為三種：功能型、故障型和預見型。功能型需要學生針對需求完成方案設計；故障型需要學生解決在設計、使用、運行等過程中導致功能性障礙的特殊情況；預見型需要學生在問題發生以前已經預見到出現問題的可能性，設計方案避免問題發生。

在編寫測試題目時，應避免出現明顯的幫助和提示性的信息。例如有些題目僅從任務要求中就能基本確定解決問題的途徑，這時應當采用簡短的描述方式，以規避過多的暗示或提示性內容。每道測試題目都配有相應的情境描述，包括測試任務的背景情況等，描述應貼近現實，盡量配有圖示（如照片、功能圖等），便于學生理解［7］。

三、試題試測與質量分析

（一）試測評組織實施

1.樣本的選取

由于測評的人力、物力成本較高，本研究以班級為單位整群取樣，測評對象為來自3所高職院校的314名建筑工程專業學生，剔除無效卷（白卷及總分1分以下的干擾問卷），回收有效試卷306份。預測試時間選在了學生處于大學二年級即將結束的時候，根據培養計劃學生已完成所有課程學習，學校教育階段已經完全結束，將進入大三實習階段。此時通過COMET測評方案對學生在校期間學習效果進行評估較為合適。

2.試測要求

為確保試測的有效性和公正性，試測前對參與試測的教師和評分員進行了嚴格的培訓和指導。培訓內容涵蓋了試題的解讀、評分標準的明確、評分過程的規范以及特殊情況的處理等，確保每位評分員都能夠準確、公正地評價學生的答題情況。同時，為了保證試測的順利進行，試測現場安排了專門的監考人員，對試測過程進行了全程監控，并對試測紀律進行了嚴格要求。測試過程要求卷面不得透露任何考生個人信息以及學校的相關數據，以保護個人隱私和學校信息安全。測評時間限定為兩個小時，要求在規定時間內盡可能完成測評，保證答案的清晰度和判卷的便利性。手寫答題，如果需要，可以繪制相應的圖表來輔助說明。測評開卷作答，考生可以查閱手邊的所有資料，以便更全面、公平地完成測評。

（二）數據的收集與處理

在本研究的數據收集與處理階段，為了提高評分的客觀性和公正性，所有數據都經過了雙盲處理。首先，將這些數據統一錄入Excel表格，進行初步的數據處理，包括計算各評分點的均分并進行四舍五入，以保留一位小數作為評分點的最終得分；其次，對8項能力指標、3個能力層級以及總分的分值進行了換算，并繪制出輪廓圖，直觀地展示了得分的分布情況；最后，計算試題基本情況數據，包括學生得分的均值、極值和標準差。均值反映了學生整體答題情況，極值反映了得分范圍，標準差反映了樣本對題項看法的差異性。

為進一步分析試題質量，不斷優化試題內容和結構，提高試題的信效度和區分度，力求形成真實、全面、有效的職業能力測評方案，課改團隊從以下四個維度進行分析和修正。

內容效度：評估試題內容是否準確反映了建筑工程領域的典型工作任務和職業能力要求。通過各指標與能力層級、各能力層級與總量表之間的相關系數測量量表的內容效度。顯著性（雙尾）p的數值小于0.05，表示兩個變量間積差顯著。

難度分析：根據學生答題情況，分析試題的難度系數，即測評對象在該試題上的平均得分與其總分的比值。這一指標的高低直接反映了試題對學生的挑戰程度，難度系數越小，表示試題難度越大。

區分度分析：評估試題對不同能力水平學生的區分能力。通過項目分析，探究總分不同的學生在8個職業能力指標上的得分差異。將學生分為高分組和低分組，使用獨立樣本t檢驗來檢驗兩組在每個能力指標上的差異是否顯著（p＜0.05），以了解樣本在社會參與量表各評分點平均數高低是否因組別不同而有差異。通過比較不同能力層級學生的得分情況，分析試題在區分學生能力差異方面的有效性。

內部一致性：利用SPSS軟件Cronbach α系數來檢驗試題的內部一致性。一致性高的試題能夠更準確地反映學生的整體職業能力水平。α系數至少要高于0.80，α系數越高，表示信度越高，測量誤差值越小。

四、教學反思

本研究基于COMET職業能力測評理論模型，以高等職業院校建工專業為例，設計開發了一套職業能力測評試題并對試題的難度、區分度、內部一致性、內容效度、能力輪廓圖進行了分析。通過對初始試題的質量分析，發現部分試題的指標覆蓋程度、對學生的鑒別程度、難度等方面與其他試題存在一定差異。為提高試題質量，減少由于試題差異引起的測量誤差，以下對試題開發過程的參與人員、研究方法、研究過程以及研究成果進行反思，為COMET職業能力測評方案在其他職業領域的推廣提供實踐經驗。

（一）要確保參與人員的專業性

試題開發研究工作在很大程度上受到參與人員本身專業能力和工作閱歷的影響，他們在工作經驗、受教育背景、對測評（理念、目的、方法等）的理解等方面都應滿足相應的要求。參與人員一般分三類，即研究人員、開發人員和審查人員。

研究人員主要為職業教育教學研究人員，需要對試題開發工作進行整體的控制和把握，主要負責研究測評理論模型、完成試題開發流程設計、對開發組進行統一培訓、完成數據處理和分析、解決各環節的技術問題，他們是支撐研究工作的主要力量。開發人員主要是參與測評對象日常教學工作的專業教師，他們在理解測評的基礎上，能夠結合自身經驗將測試題目具體化。審查人員主要是與測評對象有直接關系的特定專業領域專家，負責從職業的角度對試題的效度和真實性進行審查。

一般而言，要求研究員具備較強的研究能力，對職業教育教學研究理論熟悉且具有COMET職業能力測評研究的經驗；要求參與試題開發研究的專業教師具備多年專業課教學經驗，而且具有基本的企業實踐經驗；要求工程專家曾經受過中等或高等職業教育，具備多年現場工作經驗。

（二）要以設計導向思想為指導

本研究是按照費利克斯·勞耐爾（Felix Rauner）的“設計導向（Shaping Orienation）”的指導思想，遵循了跨學科的研究與開發范式。設計導向的思想最起源于20世紀70年代歐洲跨學科的職業教育研究項目。由于職業教育問題日益復雜，各學科之間（特別是職業教育學、工業社會學、工業心理學和工程科學等）的交叉日益深入，在許多研究項目中都發展出設計導向研究方法與研究范式。

目前“設計導向”已經不是工程科學中專有的指導思想，在教育研究特別是職業教育研究領域中也逐漸形成了“設計導向研究范式”。設計導向的研究基于設計（Design-Based Research），是一種為了解決現實的教育問題，由教育的管理者、研究者、實踐者和設計者等共同參與，在多學科理論的指導下，綜合運用多種研究方法，形成可靠而有效的設計，從而滿足理論和實踐的發展需求的新興研究范式。設計導向的研究具有跨學科性，在設計導向的職業教育研究中，不僅要考慮核心學科的規律和原理，還應當關注相關其他學科的基本原理與認識。

（三）要對試題開發過程進行質量監控

在設計導向的研究中，研究人員是研究過程中質量控制的關鍵，是在整個研究過程中引領研究工作的主要力量。職業教育研究人員需要對研究過程進行設計、監督和跟蹤，必要時還要對其他參與者進行培訓、組織研討會、把握研究進程，以確保研究過程的質量控制。本研究中，研究人員通過完成試題開發的流程設計、提供試題開發指南、主持專家座談會、進行數據處理和分析等活動，確保了研究過程的質量。在職業教育的開發過程中，由于多種人員的參與，確保了跨學科理念的實現。

綜上所述，試題開發方案要建立在COMET職業能力模型之上，通過認知能力反映行動能力；能力表現搜集是試題開發的途徑，試題的內容和難度要根據學生培養目標進行定位；能力級別判斷是試題評分的標準。據此，對職業能力評估提出以下改進思路。

一是前期研究要充分。試題開發方案需要科學的能力模型作為理論基礎，與此同時厘清國家、行業和學校對職業的要求，針對職業特點和要求制定出規范的評價指標，確保研究過程中的職業效率。

二是研究過程多方參與。從前期研究、命題、預測、審核、修改到最后確定正式試題，其間都需要多方人員參與質量評估，從不同層面為試題的確定和修改提供助力。以此保證試題能夠最大限度接近真實工作任務，確保真實反映學生的職業能力，避免脫離現實。

三是研究結論要謹慎。職業能力水平的表現是一種復雜的綜合狀態，對其進行測評本身就有技術上的難度，在給出測評結論時要謹慎，可綜合課業水平考試、實操、實訓等多種測評結果給出綜合性強而又具客觀性的判斷，提高職業能力測評的準確度。

參考文獻

［1］趙志群，莊榕霞.職業院校學生職業能力測評的實證研究［M］.北京：清華大學出版社，2010.

［2］Rolf Arnold，Antonius Lipsmeier.Handbuch der Berufsbildung［M］.Wiesbaden：VS Verlag für Sozialwissenschaften，1995：52-72.

［3］Bader，R.Berufliche Handlungskompetenz［J］.Die berufsbidende Schule，1989（41）：73-77.

［4］Havighurst，R.J.Developmental task and education［M］.London：Longmans amp; Green，1972.

［5］Dreyfus，Hubert L.，and Stuart E.Dreyfus.Mind over machine：The power of human intuition and expertise in the era of the computer［M］.Oxford：Blackwell，1986.

［6］Boreham，N.C.，R.Samurcay，and M.Fischer，eds.Work Process Knowledge［M］.London/New York：Routledge，2002.

［7］王榮秀，楊生明，陳晨.基于能力導向的職業院校學生COMET職業能力測評命題方法研究［J］.廣西教育，2019，（35）：190-192.

［8］趙志群.職業教育工學結合一體化課程開發指南［M］.北京：清華大學出版社，2009.

注：本文系廣西教育科學“十四五”規劃2022年度高等教育國際化專項重點課題“基于COMET的高職院校東盟國家來華留學生教育質量保障和提升機制研究”（2022ZJY3044）、2024年度廣西職業教育教學改革研究重點項目“基于COMET的高職建工專業工學結合一體化課程開發研究與實踐”（GXGZJG2024A042）2022年度廣西職業教育教學改革研究項目“基于信息化平臺的高職教學評價指標體系的構建與實踐研究”（GXGZJG2022B168）的研究成果之一。

（責編 羅異豐）