學生職業能力測評實證研究

摘 要：學生的學業能力評價是研判全國技工院校一體化課程教學改革試點工作成效的重要契入點。通過對廣州市工貿技師學院等學校試點班和非試點班學生的職業能力測評和自主學習能力調查，發現試點班學生的職業能力水平顯著高于非試點班、自主學習能力優于非試點班，表明一體化課程教學改革試點富有成效。

關鍵詞：職業能力測評；實證研究；技工院校

作者簡介：辜東蓮（1965-），女，湖南常德人，廣州市職業技術教研室副研究員，研究方向為職業教育課程與教學。

基金項目：人力資源和社會保障部職業能力建設司“技工院校一體化課程教學改革評價研究”（人社職司便函[2012]16號），主持人：辜東蓮。

中圖分類號：G710 文獻標識碼：A 文章編號：1001-7518（2018）04-0131-05

一、問題的提出

2009年人社部正式啟動汽車維修等5個專業的一體化課程教學改革，2010年在全國30所技工院校的中級層次新生班開展試驗；2012年起，受人社部委托，廣州組建技工院校“一體化課程教學改革評價”研究課題組，選擇試點院校，對學生學業效果進行持續跟蹤分析和總體研判。為此，課題組圍繞“學校人才培養與企業人才需求的契合度”問題開展研究，并為“學生職業能力培養與企業職場職業能力要求”是否匹配等后續問題提供必要的實證支撐。具體研究內容包括：梳理分析文獻資料，構建學業評價模型的理論基礎，建立測評模型；制定測評方案及測評技術，設計調查問卷，檢驗分專業試題與問卷的信效度；預測與修正，施測與組織，數據分析等。

二、研究過程與方法

（一）研究過程

1.預測階段：設計研究方案，開發預測評試題，對廣州市工貿技師學院等3所院校的汽車維修等4個專業的學生實施了預測評，并對預測評數據進行處理分析。根據預測情況，修訂測評方案，以確保正式測評的效果。

2.測評階段：選擇山西、成都、寧波、承德和黑龍江等地5所技師學院的試點班和非試點班第3年學生作為測評對象，確定汽車維修等4個專業試點班和非試點班的495名學生進行職業能力與自主學習能力測評。職業能力測評選用企業真實工作任務為載體，學生在完成任務的過程中不僅要獨立編寫任務解決方案，全面細致地闡述理由，還要將方案付諸實踐，以檢驗與評價解決方案的可行性，做好過程記錄并對結果進行分析，經歷完整的職業行動過程。學生自主學習能力調查采取調查問卷的方式，問卷共74道題，重點考查學生的學習動機和學習策略。

3.分析階段：測評結束即進行閱卷和數據統計分析，根據4個試點專業測評試題的評分標準，從4個方面統計試題中各評分點的得分情況，再利用SPSS軟件對統計數據進行檢驗，檢驗指標主要有：t值、F值、標準差和顯著性等。研究累計統計了371個評價點，生成6.8萬個統計數據，形成了30余萬字的測評總報告，包括4個測評專業分報告以及8所試點院校19個試點教學班和每一名學生的成績報告。

（二）研究方法

1.文獻法：通過梳理分析文獻資料，構建一體化課程學生學業評價模型建立的理論基礎。建立符合國家中級層次職業資格標準、真實工作情境中的職業能力要求、科學客觀的“學生職業能力測評模型”，將其轉化為可操作的“測評方案”，并具體落實在各專業的命題思路及評價標準上。

2.測量法：開發測試題目，對試點專業學生的職業能力水平進行測評。從測評命題到測評組織與管理均由第三方組織實施，通過測評結果歸納分析學生職業能力各維度的達成情況，再對一體化課程教學改革試點班與非試點班的綜合情況進行橫向對比，從而分析一體化課程教學改革的效果與存在的問題。

3.調查法：調研技工院校一體化課程教學改革的情況，為一體化課程學生學業評價模型的建立提供實踐基礎。設計學生自主學習能力問卷，調查分析一體化課程教學改革對學生自主學習等素養的影響。

三、研究成果

本研究借鑒國際前沿“職業能力與職業認同感測評項目（COMET）”的職業能力測評模型，結合我國技工院校教學特點設計了針對性的測評模型、測評方案及測評技術，研究發現：一體化課程教學改革，有助于提高技工院校學生的自主學習能力和綜合職業能力，一體化課程教學改革對促進學校內涵發展，提高學校辦學質量的效果初顯。

（一）開發了職業能力測評模型及測評方案

本研究設計的測評模型詳見圖1[1]，其設計以“COMET職業能力測評模型”為基礎，遵循從初學者到專家的職業能力發展規律、學習者的認知規律，從職業人職業效度的視角來評價學生的職業能力水平，同時兼顧特定工作領域的職業能力特征、技術標準、社會規范，對學生是否達到教育目標、是否符合職業標準的要求進行測評。

本測評模型的創新點是充分結合了國家中級層次職業資格標準和真實工作中的職業能力要求，設計了明確具體、可操作的三維評價指標體系。其中，職業內容維度為從初級工到高級技師各自的勝任任務特征，本研究的測評對象中級工層次的職業能力維度以功能性能力為主，以過程性能力和設計能力為輔，需勝任程序性任務，職業行動維度包含了從明確任務與獲取信息、制定與確定方案，到實施方案與檢查控制，再到評價反饋等階段，構成完整的職業行動過程，并伴隨職業素養的相關要求。

本研究開發了測評方案，以任務測試的方式進行，分紙筆測試和實操測試兩部分，要求學生獨立編寫任務解決方案，全面細致地闡述采取方案的理由，付諸實施，進行檢驗，對解決方案予以評價，以此學生經歷一個完整的職業行動過程。測評方案豐富了“COMET測評方案”，避免了因僅采取紙筆測試而對學生職業能力測評所帶來的局限性。

（二）開發了符合職業人職業能力要求的測評技術

本研究的測評技術包括以第三方評價為主的測評命題、施測管理與數據分析、報告撰寫。

命題方面，測評試題來自真實的工作任務，符合國家中級工層次職業資格標準要求。在完成測評任務的過程中，學生可現場查閱教材、學材、行業企業技術標準與工作手冊等資料，收集信息完成方案的編寫和任務實施、進行質量監控與評價反饋，與企業實際的工作過程與工作要求完全一致；同時測評要求學生理解自己的職業行動并對自己的行動負責。測評試題中的各測試環節的內容銜接相關性顯著，紙筆測評與實操測評存在顯著相關。

測評實施方面，學生需按照真實職業情境中的工作要求，綜合運用知識與技能去完成任務，解決實際問題；測試任務體現了系統化的工作過程，即有完整的工作過程結構、全面的工作要素及工作過程知識，全方位對學生綜合職業能力發展水平實施評價，突出功能性能力的同時兼顧了過程性、設計性能力的要求。從測評結果看，絕大部分測試學生均能完成，同時因測試內容具有一定的開放性，故每個學生編寫的方案卷會略有不同。

數據分析方面，對紙筆測評的綜合職業能力、實操測評主要指標和平均得分率、平均分、職業行動及試題相關性等方面進行統計分析，分析維度設計科學，過程嚴謹。本研究獲得的數據準確、圖表豐富、內容詳實、分析嚴謹，結論可信度高。

（三）發現了測試學生職業能力與真實工作要求的差距

研究顯示，測評樣本在紙筆測評的綜合職業能力、總平均得分率、職業行動等維度的平均得分率與真實職業工作要求差距較大，尤其是紙筆測評方面、職業行動維度的制定、方案確定和評價反饋方面以及紙筆測評的綜合職業能力方面等3項差距尤為明顯。

表現在平均得分率方面：本研究測評495名學生的平均得分率為64.23%，其中紙筆測評為51.65%；在職業行動維度，“明確任務與獲取信息”為62.29%、“制定與確定方案”為46.58%、“實施與檢查控制”為68.98%、“評價反饋”為57.61%、“職業素養”為80.75%；學生紙筆測評的綜合職業能力維度為50.44%（詳見圖2、圖3和圖4[2]）。

表現在答卷中：測評學生普遍存在紙筆能力較實操能力弱且兩者顯著相關的情況，書面和口頭表達能力、分析問題的能力均不強。從不同專業來看，數控專業測評學生自主獲取信息、制定加工工藝及零件檢測技術等方面能力欠缺；汽修專業測評學生在解決汽車故障問題時表現出閱讀理解能力和故障診斷能力不足；鉗加工專業測評學生在掌握與實際職業情境聯系緊密的知識、加工與測量工件、工時制定的經濟性等方面能力較弱；電氣專業測評學生對本職業的工程圖紙要求不熟悉。

圖2 試點班和非試點班測評學生總分及紙筆、

實操成績的平均得分率

圖3 試點班和非試點班測評學生職業行動

維度的平均得分率

圖4 試點班和非試點班測評學生紙筆測試的

綜合職業能力維度的平均得分率

（四）診斷了測試學生的多維度職業能力水平

測試結果顯示，在總分、紙筆與實操成績、職業行動、紙筆測評的綜合職業能力維度上，試點班學生測評的平均得分率顯著優于非試點班。

表現在：學生職業能力測評共計4個專業8套題、3個對比項目24個對比組的得分情況，其中19組呈現顯著性差異，試點班學生的平均分均高于非試點班，尤其是在紙筆測評項，試點班與非試點班學生差異明顯。

職業行動維度共計4個專業8套題、5個項目40個對比組，其中25組呈現顯著性差異，試點班學生的平均分均高于非試點班，尤其是在“明確任務與獲取信息”“制定與確定方案”“實施與檢查控制”和“評價反饋”等4項，試點班學生明顯優于非試點班（詳見圖3）。

紙筆測試綜合職業能力維度共計4個專業8套題、3個項目38個對比組，其中28組呈現顯著差異，試點班學生的平均分均高于非試點班，特別是在功能性能力和過程性能力2個測評項，試點班學生與非試點班學生差異大（詳見圖4）。

實操測試共計4個專業8套題、8個對比組，其中5組呈現顯著性差異，試點班學生得分均高于非試點班，試點班學生的實操測試表現較好。

表現在答卷中：測評學生普遍存在紙筆能力弱于實操能力且兩者顯著相關，但試點班的差距小于非試點班；試點班明顯優于非試點班，具體表現在閱讀理解、實操準備、工具使用、操作規范性與條理性方面，分析問題、獲得工作過程知識能力方面，質量意識、安全意識和成本意識方面，班級成績分布均衡等方面。分專業表現在數控專業的數控編程基本功、完整加工過程的熟悉程度，汽修專業解決維修故障問題的方案制定水平，鉗加工專業與職業情境聯系緊密的復雜信息獲取、知識掌握及應用能力，電氣專業PLC的程序設計質量。

（五）檢驗了測試學生的自主學習能力水平

從試點班和非試點班的整體比較來看，自主學習情況的差異明顯：250名試點班學生優于245名非試點班學生（詳見圖5[3]）。表現在：學習動機和學習策略各項上，除控制因素和復述項外，其余各項均具有顯著差異，且試點班學生問卷成績高于非試點班學生；在元認知的自我調節策略上，除了設計階段的過程性能力、檢查和評價階段測評項之外，其余各項均呈現顯著差異，且試點班學生問卷成績高于非試點班學生。4個專業試點班學生其自主學習情況相對接近，但在4個專業非試點班學生之間，其自主學習情況的差異較大。

測評學生學習策略維度的得分要高于動機維度的得分，在動機維度量表中，測評學生在價值因素的得分高于期望因素；在學習策略維度量表中，測評學生在認知和元認知策略上的得分要高于資源管理的得分（詳見圖6[4]）。

值得關注的是，試點班學生在學習動機和學習策略各項上的同伴學習平均分最高，而在時間管理項得分最低；在元認知自我調節策略方面，技能學習策略平均分最高，而設計階段的功能性能力得分最低，總結和反思平均分亦較低。本調查研究反映出一體化課程教學改革的效果（如交流與合作的小組學習愿望強烈，而對時間管理的愿望較低），同時反映了當前技工院校學生的自主學習能力特征（如控制因素和復述愿望低）。

圖5 試點班和非試點班測評學生在學習動機和

學習策略各項上的平均分

圖6 試點班和非試點班測評學生在元認知

自我調節策略各項上的平均分

（六）揭示了技工教育三個“強調與忽略”的辯證關系

本實證研究揭示了當前技工院校的教學過于強調學校教學環境下書本知識的學習，忽略了與知識學習顯著相關的真實情境下的職業工作要求；過于強調技能操作的嫻熟，忽略了與技能顯著相關的工作過程知識的學習；過于強調學校培養具有“工具”慣性思維的技術工人的辦學觀念，忽略了學校培養綜合發展、能夠不斷自我更新的技術人才的辦學理念。研究結果體現出試點院校在服務行業企業的辦學理念、服務學生的教育理念、人才培養與評價標準的研究等方面存在不足，說明技工院校的教師、學生的綜合職業能力與綜合素養的專業化提升還有很大的空間[5]。

四、效果與反思

（一）研究效果

本研究建立的測評模型、測評方案與技術手段，對一體化課程教學改革的實證研究具有開創性的意義。研究表明：在設計導向的職業教育思想指導下開展的技工院校一體化課程教學改革，以實踐專家訪談會提煉的職業典型工作任務為課程內容，以職業情境下的學習任務為教學載體，采取工作過程系統化的教學原則和行動導向的教學方法組織教學，實現了學習與工作的充分融合，在顯著促進學生職業能力發展的同時，學校的人才培養有效實現了與企業的人才需求相對接。本研究以豐富而可信的數據說明了一體化課程教學改革取得的積極成效，揭示了三個“強調與忽略”的辯證關系，提供了深入推進一體化課程教學改革有益建議，對我國技工教育改革具有重要的參考價值。

該成果已應用于廣州市技工院校課堂教學質量診斷、中高級工畢業考試改革、師資隊伍建設工作，應用在2015年人社部辦公廳頒布的汽車維修等兩個試點專業《國家技能人才培養標準》和《一體化課程規范》研制中，主要觀點被人社部《技工教育“十三五”規劃》、廣東省人社廳《廣東省技工教育創新發展行動計劃（2016-2020年）》等重要文件采納，體現了教育研究輔助行政決策的價值。

（二）研究反思

本次測評歷時一年，組織管理工作量大且要求高。全面開展大規模的學生職業能力測評仍面臨諸多挑戰。

1.測評題目開發難度高。本測試不僅需要尋找與被試職業能力發展水平相當的一組測評題目，而且題目需要符合行業企業的工作要求，同時題目之間需滿足信度與效度及等值的要求，對于分專業的測評標準及試題的開發與建立、命題人員的能力水平等都有嚴格要求。

2.測評組織實施成本高。由于真實性、開放性的測試任務通常沒有標準答案，也無法預測學生的方案編寫情況。如在考場資源的準備過程中，工位設備設施材料的準備需非常全面周到，以免出現學生方案編寫可行，卻因缺乏某些條件而無法實施的情況，增加考試成本。

3.對考評員能力要求高。真實性、開放性的問題對考評員的綜合素養與綜合職業能力提出了很高要求。如測試題目的真實性，測試過程的開放性，測試答案的多元性，考評員在過程評價中需要對學生綜合職業能力與綜合素養的表現非常敏感，這對考評員評價的信度效度提出了挑戰。

（三）需進一步探索的問題

1.將一體化課程教學改革提高到促進技工院校內涵發展的戰略高度，加快完善相關配套政策。各級主管部門、技工院校加大產教融合、校企合作等政策扶持力度，加大對一體化課程教學改革的重視程度與投入力度，加強世界技能大賽的評價標準引入一體化課程教學的轉化研究，塑造技工教育的課程教學品牌。

2.加強技能人才標準研究，加快教學資源保障機制建設。堅持“以學生為中心”的教育理念，注重學生職業生涯的可持續發展，技工院校的人才培養標準要對接職業情境中的綜合職業能力要求。加強分專業的國家技能人才培養標準的設立和技工院校一體化課程規范的開發，教材學材及數字化教學資源的建設，大力推動技工教育校內外配套軟硬件資源等系統建設，切實提高技工院校培養適應產業發展變化的復合型技能人才的能力。

3.強化師資綜合職業素養與能力，促進教師專業化發展。在積極擴充一體化師資隊伍數量的同時，更加注重提高師資隊伍建設的整體質量。要加強技工院校師資標準、企業實踐、職稱政策等方面的研究、制定與執行，明晰教師階段性發展職業能力要求，全方位、多渠道優化教師的專業化成長通道。

4.建設第三方評價機制，完善職業能力測評模型。扶持與建設技工院校人才培養質量第三方評價機構，定期組織評學、評教和評管，并向社會發布質量報告，逐步形成第三方評價監控機制與評價激勵制度。要加強一體化課程教學改革評價標準的研究，依據產業、職業對不同層次技能人才的要求完善職業能力測評模型。推進一體化課程教學改革評價的常規化、科學化，規范技工院校的辦學行為和教學標準，切實提高技工教育的辦學質量。

參考文獻：

[1][5]辜東蓮.一體化課程教學改革學生職業能力測評實證研究[M].北京：中國勞動社會保障出版社，2013：43-44，127.

[2][3][4]辜東蓮，陳彩鳳.有了職業能力才有更好未來——技工院校一體化課程教學改革學生職業能力測評研究結果發布[J].職業，2013（12）：11-14.

責任編輯 韓云鵬