“1+X”證書制度建設對技術技能人才評價的挑戰

趙志群 孫鈺林 羅喜娜

關鍵詞：“1+X”證書;技能考試;真實性評價;行動能力

一、“1+X”證書制度對技能評價技術的新要求

國務院頒布實施的《國家職業教育改革實施方案》（簡稱“職教20條”）提出在職業院校和應用型本科高校啟動“學歷證書+職業技能等級證書”（即“1+X”證書）試點工作，這是我國在雙證書基礎上進行職業證書制度建設的又一次重要探索。2019年4月教育部會同國家發展改革委等制定的《關于在院校實施“學歷證書+若干職業技能等級證書”制度試點方案》明確提出“堅持以學生為中心，深化復合型技術技能人才培養培訓模式和評價模式改革”的要求，把“1+X”證書制度作為“指導職業教育教學改革，提高人才培養質量，暢通技術技能人才成長通道，拓展就業創業本領”的重要手段，這賦予了“1+X”證書制度在指導人才培養質量提高方面的重大歷史使命。

“1+X”證書制度建設在給職業教育發展帶來機遇的同時，也面臨著諸多挑戰。回顧歷史我們不難發現，我國雙證書制度之所以沒有取得完全成功的一個重要原因，就是職業資格證書考試的質量問題，即技能評價結果預測效度不高，沒有完全反映企業對技術技能人才的真實要求，以至于最終沒有被社會所認可。從目前公布的“X”證書試點資料看，業界對技能證書的內容和考試方式理解還很模糊。要想保證“1+X”證書制度成功實施，必須保證“X”技能評價的科學性，即技能評價要滿足效度、信度、區分度和客觀性等測評技術標準的要求。

技能評價是社會組織根據特定職業（或崗位）的技能要求，采用一定測量工具對特定人群進行的考試、測量和評估。傳統的技能考試采用“知識+實踐技能”考試方式，其中知識考試一般通過多種方式的筆試進行，實踐技能部分通過對考生現場或模擬操作行為過程和結果的觀察進行評分。隨著人類工作活動復雜程度的提高，技能的內涵發生了深刻的變化，這直接影響了考試的方式和方法。一方面，研究發現，除了簡單動手操作行為（如打字錄入和點鈔等）外，通過觀察法進行的技能考試的結果信度很低[1]，特別是在對心智技能要求較高的專業領域，這種行為導向的考試的局限性更大，更無法滿足信息技術日新月異發展對專業考試的質量要求。另一方面，“引導行動的知識”的診斷方法也是一個巨大的難題。例如，如何確定究竟是哪些具體的知識片段能夠決定專業人員是否可以完成工作任務？如何組合、以及按照什么順序組合多種知識診斷方法，才能有效地判斷出不同類型的知識（如條件知識、因果知識、程序知識和工具知識）等等[2]。解決這些問題，也是利用人工智能技術實現復雜生產過程自動化的基礎。

當今社會，信息技術發展在很大程度上改變了我們的工作和生活，互聯網和人工智能更是開啟了“工業4.0”的新時代。基于信息物理系統（CPS）的智能化、產品全生命周期的全制造流程數字化，催生了高度靈活和個性化生產與服務模式的建立[3]，這對技術技能人才的職業能力和綜合素養提出了新的更高的要求。技術人員要在最短時間內熟悉工作過程和工作環境，適時對工況進行準確認知，并做出合理的決策。數字化工作和學習方式擴大了對“人—機協作”模式和生產組織的設計空間，技術人員必須對“可能性世界”進行深入的理解和探索，這需要具備更高的制定計劃、判斷決策和分析復雜系統的能力，“技術正被深深地嵌入在社會情境中，并為各種復雜價值關系所左右”[4]。這說明，在未來的技能評價過程中，必須用整體化的觀念對待工作和技術的關系，在相對弱化簡單和重復性操作技能的同時，加強對諸如技術敏感性等高層次實踐能力的評價，從而促進學習者的“價值理性”和“事實性評價能力”的發展，這對技能評價技術提出了新的要求。

技能評價是人力資源管理的經典課題，也是一個世界性的難題[5]，“1+X”制度的技能評價必須反映技術技能人才的發展性目標和職業規范的雙重要求。國際的發展趨勢是采用表現性評價方式，即采用在具體工作情境中針對復雜內容的開發性試題[6]。這種基于建構主義的考評方式克服了傳統標準化測驗僅能考查書本知識的弊端，但是需要大量的組織和時間投入，這無疑又對教育技術研究提出了新的挑戰，即：是否有可能開發針對開放性試題的自動評分系統？當前，深度學習等人工智能技術，特別是自然語言處理、復雜網絡分析、異常診斷技術在知識產權保護、信息檢索等領域已有重要的應用[7]，這為未來的技能考試及其自動化評分系統設計提供了啟發。

在技能評價領域，技能大（競）賽是一種特殊的考試方式。世界技能大賽（WorldSkills Competition，下文簡稱“世賽”）是全球最具影響力的技能大賽，它在促進全球青年技能工作者（主要是職業院校學生）技能提升方面起到了積極作用，被譽為是技能領域的“世界奧林匹克”。對于專業技術水平和職業素質的檢驗，“世賽”有一整套更為準確和全面評價方法[8]，對“世賽”的考試題目設計開展研究，可以為“1+X”證書制度的建立和發展提供方法和技術上的支持。

二、世界技能大賽的題目及評分標準分析

技能競賽是為了解職業教育培訓的成效，利用競爭形式對職業技能進行評價和激勵的社會活動[9]。與我國目前重要的技能考試，如職業院校技能大賽和高職院校招生的技能高考相比，“世賽”在競賽目的、賽項設置、考核環境、考核內容和評分標準等方面有很多獨特做法[10]。限于篇幅，本文討論“世賽”的考核內容和評分標準對技能考試設計的啟發。

（一）反映典型工作任務的競賽題目

世界技能大賽賽項涉及信息與通信技術、制造與工程技術、創意藝術與時尚等國民經濟的六大主要領域，包括企業生產和社會生活所需的多數技能。“世賽”試題設計的基本理念是：職業技能無法通過一道考試題來考察和甄別，每個賽項的試題都是由一組內容相互關聯的題目組成，被稱之為“模塊”。如第44屆“世賽”“商務軟件解決方案”賽項試題由5個模塊組成，比賽時間共計20小時。其中，模塊一“分析和設計軟件解決方案（4小時）”要求選手按照給定商業案例，使用系統建模技術進行分析、確定軟件功能模塊、繪制核心業務流程UML圖、繪制數據庫ER圖、設計數據字典并完成數據分析與處理;模塊二“開發軟件解決方案（13小時）”要求對功能進行代碼實現，開發客戶端服務器系統、網絡和移動終端接口;模塊三“測試軟件解決方案（1小時）”對所開發的系統進行全面測試，編制測試報告;模塊四“編寫軟件解決方案技術文檔（1小時）”，為日后軟件系統升級維護提供指導;模塊五“制作解決方案PPT（1小時）”總結提煉開發思路、系統實現的功能。可以看出，“世賽”題目是一個工作過程結構完整的綜合性工作任務。

整體上說，“世賽”試題體現了人文主義的技術觀，它將社會價值融入到技術的設計與使用過程中，完整地展現了技術與社會文化間的互動，體現了技術的自然屬性和社會屬性的統一[11]。又如“世賽”“網絡設計”賽項有四個模塊，分別是“設計”“布局”“客戶端”和“服務器端”。其中“客戶端”又分為兩個子模塊，即“客戶端A——拼圖”和“客戶端B——奧林匹克競賽”。前者需要3小時完成，占總分值的14.75%;后者需要2小時完成，占總分值的10.25%，兩項合計占總分值的25%。試題內容要點如下表所示。

可以看出，“世賽”試題是按照職業的“典型工作任務”（Professional Task，建立在工業社會學理論基礎上的職業教育學概念）理念設計的，即“代表著一個職業的專業化水平的任務”。網絡設計賽項是編程工程師或程序員職業的典型工作任務，它有以下特征：（1）工作過程結構完整，包括獲取信息、制定計劃、決策、實施、檢查控制和評估反思等環節;（2）涉及所有的工作要素，如工作的對象、工具、材料、工作方法、工作組織形式和工作要求;（3）工作的結果或工作流程具有一定開放性;（4）能夠促進從業者職業能力的發展[12]。盡管“世賽”試題會提前半年公布，但是最終比賽時具體內容和要求仍然會有30%的變化。完成此類任務需要很強的綜合職業能力，特別是獲取信息、學習新知和解決問題的能力，這對選手的專業知識、技能和技巧，以及學習能力提出了很大挑戰。由于比賽現場有很大的發揮空間，選手還需要有較強的現場反應能力和創新能力。

（二）涉及范圍廣的分析性量規

為了判斷工作表現和任務完成情況，技能考試一般會采用兩種不同類型的量規，即“整體性量規”和“分析性量規”。“世賽”采用分析性量規，其特點是內容精確，對細節進行詳細的描述。如網絡設計賽項滿分100分，分163個評分點，其中最大的評分點3分，最小評分點僅為0.15分。在我們分析的兩個模塊“客戶端A——拼圖”和“客戶端B——奧林匹克競賽”中，最大的評分點為2，最小為0.15。如評分點“應用程序中提供的動畫的質量（旋轉件、提升件、顯示模態）”賦分0.7分，分4個等級，即“所有事件都沒有動畫”“使用簡單或較差的動畫”“有些動畫很好，有些則很差”和“所有的動畫都很好”，藉此可以準確評分。可以看出，“世賽”的評分方式與我國傳統技術技能考試有較大差別。后者一般采用整體性量規，綜合考慮多方面要求，概括性強但不夠精細。例如，湖北省的技能高考是我國目前組織較為嚴密，設計精致的技能高考，代表著我國的高水平技能考試設計。2019年湖北省計算機類技能高考的“操作”部分共有8個部分考核項目，如電子表格處理、幻燈片制作、計算機網絡應用等，它們都是根據總體結果進行評判的。即便在其他一些操作性比較強的專業如汽車維修，盡管加入了操作安全方面的要求，如“造成人身、設備重大事故……，立即終止考試，扣8分”等等[13]，但這里采用的仍然是整體性量規。

分析性量規不是簡單的操作技能標準，也不是用來考核學生書本知識的積累水平，而是來源于企業生產實際或產品質量的真實技術標準，它不僅針對最終作品的完成情況和技術水平，而且還關注整個工作過程的質量，反映行業的規范性要求[14]，這不但為主觀性評分提供了質量保障，也為職業素養的評估提供了可能。

（三）采用真實性評價方式

傳統的技能考試通過行為觀察法和標準化考試衡量考生對專業知識和技能的掌握程度，而“世賽”通過與現實工作世界類似的真實性任務，讓選手應用專業知識、技能和策略解決問題，展現其對知識的理解水平和應用能力[15]，這反映了“真實性評價策略”，即通過完成與工作情境相似的真實性任務展示知識技能的應用能力[16]。從以上案例可以看出，“世賽”試題反映的基于情境學習理論的真實性評價策略的特點是：（1）基于工作實踐中具有完整工作過程的真實工作任務，不把職業活動分割成更小的子任務或操作單元;（2）評價標準包括內容標準、過程標準和價值標準等多個維度，按照企業要求進行全面評估，而不僅僅考核知識技能點的學習獲得;（3）評價量規細致全面，包括評分標準陳述和等級達成度。通過真實性工作任務考查解決專業問題的能力，可反映選手對復雜工作的理解和把握程度以及相關實踐經驗，這克服了傳統標準化考試僅能考察低水平書本知識和孤立操作技能的局限性[17]，體現了職業的效度。

“世賽”評分標準按照企業實際工藝標準和產品精度要求制定，這與我國通常做法不同，后者主要圍繞教育主管部門或學校制定的教學標準建立標準體系。真實性評價不僅關注工作結果，還關注工作中的技能細節，其評價的環境、方式和內容均需反映真實工作世界的要求，這體現了建構主義學習理念，即知識是在具體工作情境中由主體建構的。

（四）主觀性評分和客觀評分相互補充

正常情況下，典型工作任務沒有唯一正確的答案或工藝流程，如軟件開發和網絡設計等，裁判的個人偏好和主觀感受會對評判結果產生重要影響。為了降低評分的隨意性，提高評分信度和可操作性，“世賽”采用了主觀評分和客觀評分兩部分評分標準。如“路標和終點要求”部分有六個客觀分評分點，兩個主觀分評分點。主觀評分標準分四檔，如“道路盡頭奔跑的山丘的動畫質量”這個主觀評價指標下，“沒有動畫或跑步者直接出現在山頂”得0分，“跑步者在爬山時呈現出非常單一或較差的動畫與相同的跑步動作”得1分，“跑步者爬山呈現出良好的動畫效果”得2分，“跑步者沿著跑道爬山時呈現了一個出色的動畫”得3分。三名裁判同時打分，當評分相差大于1時，差異較大的兩名裁判需說明理由并降低分差，以保證評分者間信度。

客觀分有嚴格的評判依據，也分兩類。一類是“是”“否”判斷，如“游戲打開時會顯示歡迎屏幕”;另一類規定明確的扣分點，如“在每場比賽中，必須至少有5個障礙物在路上，隨機放置在跑步場”，每錯過一個障礙扣0.10，障礙物位置不隨機扣0.25。與此相比，我國傳統技能考試通常采用主觀評分。例如，同樣是設計類的技能大賽，全國高職院校服裝設計與工藝技能大賽評分標準有6個評分項，如“服裝整體效果美觀;規格準確，比例協調;工藝精致，松度平衡”。但什么是“工藝精致，整體效果美觀”？評分標準中未有說明，裁判需根據經驗進行主觀評判[18]。可以看出，建立主、客觀評分標準相互補充的評分標準，可更好地反映企業的實際，這不僅有利于考察被試學生的專業知識和技能，也有利于綜合職業能力的評價。

（五）情境性考試題目的開發

行動能力評價的最大困難是開發情境性考試題目，即有助于觀察和確立工作能力和態度的標準化案例性任務，它既要反映重要的實踐價值，又要能藉此評判被試者的職業技能的高低。專家智能（Expertise）研究發現，只有完成典型工作任務過程中的問題解決方式才可以被抽象化和普世化，并被遷移到類似的工作任務中，對職業能力（技能）的全面評價只能在完成典型任務的過程中進行[37]。教育家格魯施卡（A. Gruschka）在發展性任務（Developmental Tasks）理論基礎上定義了情境性考試任務，即被試在真實工作條件下進行工作，通過對其工作行為、工作成果的觀察和必要時對特殊工作環節的解釋，評價其職業能力發展水平，通過解決（或未成功解決）問題的方式，揭示實踐問題解決策略，包括職業學習策略、專業化的工作策略和專業合作策略等[38]。在情境考試中，考生以規劃形式制定項目方案并詳細說明理由，做實施準備，并將計劃付諸實施;在口試中考生展示工作結果，對工作結果和過程進行自我評估，對實施結果偏離計劃的情況進行說明。情境性考試與真實的工作過程聯系緊密，這不但能對個體的職業能力進行評價，也為職業教育的課程和教學改革提供了重要的啟發。

在信息化和智能化時代，一個社會組織在履行其管理和生產職能、建立高效的生產、服務和組織管理模式時，經濟技術指標已經不是唯一的決策依據，員工的技能和綜合素養具有重要的影響，包括基本技能、解決問題能力和創新能力，“工作的人性化設計”[39]具有重要的意義。人性化的工作設計是智能化發展的必然要求，也是高素質技術技能人才成長的必要條件，這意味著職業教育必須實現從“適應導向”向“設計導向”的范式轉變，培養的學生不僅要適應技術和社會的發展，還要有能力“本著對社會、經濟和環境負責的態度，（參與）設計和塑造未來的技術和工作世界”[40]。未來的職業教育人才評估應當按照“完整的行動模式”（Vollst?ndige Handlung）[41]，將考試題目設計成為學生全程參與的包括計劃、實施和評價等步驟的完整的工作過程，避免過分精細的任務劃分。這樣，不但可以較好地解決促進學習者個性發展的“教育性目標”和適應企業崗位要求的“實用性目標”之間的矛盾，滿足企業崗位工作的現實需求，也可以為學習者的全面發展奠定扎實的基礎。從更高一個層次看，這也是我國職業教育實現立德樹人教育目標的要求，即職業教育培養的不僅是簡單的操作者和實施者，而是具有系統職業能力和領域特長的、德智體美勞全面發展的社會主義接班人和勞動者。

“世賽”在組織設計方面也為“1+X”制度建設提供了重要的借鑒經驗，如建立權威的“實踐專家”組織，依托行業部門推薦遴選權威專家而不僅僅是個別公司組織的專家團隊，通過專家團隊的權威性保證試題命制的科學性;完善組織實施過程，包括技術文件公布、合作企業遴選、技術平臺和評判細節的確定等環節，而不僅僅由各“技能評價組織”確定，等等。“世賽”比賽過程全程開放觀摩，對推動職業院校的課程和教學改革也有重要的示范作用。