國際成人能力測評對我國高職擴招學生評價的啟示

孫凱瑞 趙志群

摘 要 2019年《政府工作報告》提出高職大規模擴招100萬人的要求，這對高職院校的招生和教學管理帶來了新的課題。鑒于許多新增生源（如退伍軍人和農民工等）是成人學習者，為確保招生和教學質量，需要關注和解決成人生源的入學考試和學業評價等一系列特殊問題。近年來，國際上開展了很多有關成人能力測評的研究和實踐，特別是能力錯配研究和相關成人能力測評，對解決此類問題提供了如下借鑒和啟示：探索分類招生考核模式，采用實證測量和主觀評價相結合的方法，適時改進評價方式和豐富評價內容，重視評價結果的分析和反饋，注重非認知能力和職業能力評價。

關鍵詞 高職擴招;學生評價;PIAAC國際成人能力測評項目;能力錯配

中圖分類號 G719.1 文獻標識碼 A 文章編號 1008-3219（2019）31-0073-06

2019年《政府工作報告》提出高職院校擴大招生規模100萬人的要求。不同于以往單純從高中階段畢業生中招錄，此次擴招生源擴大到了退役軍人、下崗職工、農民工和新型職業農民等成人受教育。這場前所未有的職業教育“大變革”在給高職院校帶來機遇的同時也帶來了諸多挑戰，特別是學生管理和人才培養質量方面的挑戰。2019年5月，教育部、國家發改委等六部門印發的《高職擴招專項工作實施方案》提出，要“加強教學常規管理，適應不同生源、不同學習時間、不同學習方式，創新教學組織和考核評價”，對“已積累的學習成果（含技術技能），探索通過水平測試等方式進行學歷教育學分認定”[1]。2019年8月，教育部和退役軍人事務部等聯合發文，允許“由各校組織與報考專業相關的職業適應性面試或技能測試”[2]。這一系列政策措施的貫徹實施，要求高職院校招生和學生評價等管理制度必須做出相應改革，從而有效解決擴招后生源多樣化帶來的新問題。

目前，我國高職招生有多種方式，如通過普通高考、單獨考試、綜合評價、面向中職畢業生的技能考試、中高職貫通招生、技能拔尖人才免試等方式[3]，或采用以上幾種方式的組合，但這都很難滿足高職擴招生源的特殊性要求。針對退役軍人、下崗職工等成人受教育者，傳統的書本知識或操作技能考核很難達到招生考試的技術標準，如信度、效度和區分度等，需要探索新的綜合能力評價方式。從理論上講，能力評價有兩種基本形式，即“考試”和“測評”：考試針對教學標準，考察對學習內容的掌握程度，有對錯之分，反映課程效度;能力測評評價認知特征和認知水平，只有水平高低之分而沒有標準答案。能力測評的目的是評估應用知識和技能解決實際問題的能力，因此對高職擴招具有特別重要的意義。

在國際上，為建立職業教育質量保障體系，及時發現職教運行過程中存在的問題并進行及時干預，各國都在努力尋找對職教投入、培養過程和產出質量進行有效調查、測量和分析的工具。近年來，發達國家相繼實施了一系列針對成年人的能力測評項目，對成人學習的質量起到了有效的監控、反饋和指導作用。本文對國際能力錯配研究領域的成人能力測評方法，特別是經濟合作與發展組織（Organization for Economic Co-operation and Development，OECD）的國際成人能力測評項目（PIAAC）方法進行介紹和分析，以期為我國高職擴招后的學生評價工作提供有價值的參考。

一、能力錯配研究和國際成人能力測評項目

在職業教育經濟學研究領域，“能力錯配”是一個重要研究課題。所謂“能力錯配”是指個體的能力超過或無法滿足工作需求而得不到有效利用的現象。“能力錯配”包括各種形式的不匹配，如垂直錯配、學習領域/橫向錯配、技能鴻溝、技能短缺、技能退化和技能萎縮等[4]。從宏觀經濟學角度講，能力錯配會造成社會勞動力的能力折舊，使人們較難滿足科技發展和社會進步的要求;從微觀經濟學角度講，能力錯配會影響勞動者的經濟收入和工作滿意度[5]。能力錯配研究中采用了多種成人能力測評方法和技術。

20世紀90年代以來，OECD先后實施了“國際成人讀寫能力調查”（The International Adult Literacy Survey，IALS）、“成人讀寫和生活技能調查”（The Adult Literacy and Life skills Survey，ALL）和“國際成人能力測評”（The Programme for the International Assessment of Adult Competencies，PIAAC）三個大型成人能力測評項目，評估內容從讀寫和計算能力測評（IALS），到閱讀、算術和獨立解決問題能力（ALL），后來又擴展到對閱讀、算術和在技術環境中解決問題的能力等更廣范的內容。

“PIAAC國際成人測評項目”是迄今為止世界上規模最大、最為全面的國際成人能力調查活動，由于該項目對各參與國產生的巨大影響，有時也被稱為“成人的PISA”。PIAAC項目共經歷兩個測評周期，第一個周期時間為2011-2018年，期間進行了三輪測評，分別為第一輪2011-2012年、第二輪2014-2015年和第三輪2017年;共有38個國家和經濟體參與，涉及24個OECD成員國和部分發達國家和經濟體[6]。第二個周期時間為2018-2023年，其中2018-2020年為測評工具開發和試測階段，2021-2022年將正式測評和收集數據，有30多個國家（含經濟體，下同）參加，結果報告將于2023年公布[7]。

PIAAC項目于2013年發布首個能力調查報告《OECD 技能展望2013：成人能力調查首輪結果》，公布了其主要發現，并于2016年發布第二份題為《技能的重要性：承認能力技能調查的進一步結果》的調查報告，內容包括2011-2012年第一輪調查結果和2014-2015年第二輪調查結果。報告描述了被調查國家成年人三種能力的發展程度，分析技能熟練程度與勞動力市場和社會發展成果的關系[8]。

PIAAC測試在每個被測國家抽取5000個樣本，采用計算機測試、紙筆測試和問卷調查等方式，調查內容包括兩大部分：第一部分是背景調查，包括“背景調查問卷”“能力應用模塊”和“社會情感能力模塊”（第二周期新加入）;第二部分是對“認知能力”的直接測評，包括“讀寫能力”“計算能力”“在科技環境中問題解決的能力”（只在第一周期被測量）和在第二周期新加入的“可適應的問題解決能力”。PIAAC的主要調查內容見表1。

表2為PIAAC項目“背景調查問卷”F-G部分問題舉例。可以看出，這里的問題都是針對典型的職業活動、工作任務和工作過程展開的。

PIAAC項目“認知能力”測評部分“讀寫能力”測評試題舉例：受測者在網上閱讀含有體育鍛煉器械信息的圖表，通過點擊按鈕回答以下問題：“如果你用圖中的健身椅，將主要鍛煉哪里的肌肉？”此題為多選題，主要考察受測者對日常生活中信息的閱讀、解釋和處理能力[9]。又如一道中等難度的“計算能力”測評題目為：根據文章提供的有關瑞典風力發電站取代核反應堆的信息和電能換算公式，回答“需要多少風力發電站可以替代核反應堆產生的電力”[10]。本題主要測試量的概念和運算能力，特別是在社會情境中的數字計算應用能力。再如“在科技環境中問題解決能力”的測評題目：針對職業生涯中遇到的實際問題，要求受測者扮演求職者角色，在五個職業介紹機構網站中搜索和獲取與工作相關的信息，按照指定條件評估這些信息，并為自己找到合適的工作。在此，受測者需做的工作包括：瀏覽所列網站網頁，確定是否需要注冊或支付費用以便獲取更多信息;單擊結果頁和搜索頁面的鏈接以定向到識別的網站;使用后退和前進箭頭或主頁圖標進行導航;將網頁添加到書簽上，并查看或更改這些書簽[11]。這里全面考察獲取工作世界的信息和解決與職業發展相關問題的能力。

近年來，PIAAC項目的設計者發現，現代社會、技術、人口和經濟發展轉型極大改變了全社會對能力的需求，特別是對日常認知能力要求下降，而對信息處理技能、人際溝通、自我管理和學習能力的要求卻在不斷增長。其結果是，除了傳統的認知能力外，“社會情感能力”逐漸成為勞動力市場和日常生活中所需的“關鍵能力”，并成為各國職業教育與培訓中重要的學習目標和教育成果;而解決復雜社會問題要求人們具備“使用技術解決問題和完成綜合性、復雜任務的能力”。以上這些發展，促使PIAAC從2018年第二個周期開始加入較多的新測評內容，特別是跨職業的關鍵能力或核心技能。

在經濟界，越來越多的企業主發現其員工存在著很大的技能差距，如何彌補這些技能差距，并制定合適的人力資源政策，對企業實現其發展戰略具有重要意義。基于此，PIAAC項目開發了一個面向雇主的技能調查單元，即“雇主調查”（Employer Survey），從第二周期開始作為一項可選擇調查項目，用于調查“企業需要的能力”“處理技能差距的策略”和“影響技能需求的企業因素”等方面的能力[12]。

二、國際成人能力測評的評價方法

（一）實證測量方法

實證測量方法是通過評估一個職業的平均能力水平來測量其教育需求，然后將工作者的教育水平與實測的平均水平作比較。實證法的優點是容易計算，可以利用現在所有包含受教育水平和職業信息的數據庫中的信息，開展學校、行業和地區間的比較。實證法的缺點有：第一，此類方法不包含實際具體崗位能力需求信息，只能反映特定職業中所有工作者的平均數據;第二，某一職業的平均要求值反映的可能是一大部分老員工的情況，這是目前的實際狀況，而不是未來的入職要求[13]。下面是一些常用的實證測量方法。

1. OECD組織測量法（2013）

OECD組織的能力研究采用理論導向的、基于“非常匹配”員工來確定能力錯配狀況的系統化成人能力評價方法。其針對某個職業背景問卷的自我報告確定“非常匹配”的定義范圍，根據定義好的范圍，重新將被測對象劃分成非常匹配、技能不足和技能過度等不同組別，對成人能力發展狀況進行全面評價。OECD方法可以較好判定某個被測試者及其群體與工作需要的匹配程度，其主要缺點是計算量大，而且由于主要關注認知領域的能力發展，如讀寫和計算能力等，相對忽略了不同職業之間的差異。此外，采用自我報告評價方式有時也會造成一些偏差。如在數據處理過程中，采用似真值（Plausible Value， PV）平均值而不是10個似真值，根據確定好的“非常匹配”范圍重新劃分調查對象錯配類別、不考慮自我匯報的信息等做法，都會在某種程度上影響評價的質量[14]。

2. Quintini法（2011）

對PIAAC中計算能力應用水平與熟練程度進行比較。計算能力應用水平與熟練程度相等為非常匹配，計算能力應用水平大于熟練程度為技能不足，計算能力應用水平小于熟練程度為技能過度。這個方法的優點是容易計算，主要缺點是：從嚴格意義上講，這里采用不同尺度測量熟練程度和計算能力，由于沒有統一標準，是不能直接進行比較的。這個方法有可能造成對員工在實際工作中技能應用水平的高估，特別是在熟練的技能領域，如計算[15]。

3. Allen法（2013）

將PIAAC中計算能力的第一個似真值和計算能力應用水平的平均值進行標準化比較，從標準化的技能水平中減去標準化技能應用水平，結果低于1.5分，高于或低于0分為非常匹配;低于-1.5分為技能不足;高于1.5分為技能過度。這一方法的優點是容易計算，采用標準化方式測量和計算能力水平，可以進行不同規模的比較。其缺點是只用了一個似真值而不是10個，員工有可能過分強調工作中某一技能的應用，特別是在自己熟悉的領域[16]，從而造成偏差。

4. Perry法（2014）

計算PIAAC中每個職業在每個被試組的平均技能發展水平和標準差;每個職業定義的匹配和不匹配截斷點為平均值1.5個標準差。根據項目反應理論，此方法的優點是包含所有似真值，不依靠自我匯報的信息并由此減少了主觀偏差。缺點是計算量大，而且忽略了不同職業間的差別[17]。

（二）主觀評價法

主觀評價法是基于工作者通過自我評價所確定的從事一項工作所需要的能力水平，與工作實際所需要的能力水平進行比較，從而判定其能力是否完全匹配、過高或過低。PIAAC項目采用的主觀評價法的優點是操作相對簡單，缺點也是較容易產生主觀偏差[18]。這些主觀評價法主要有：

1. 自我匯報法

即采用自我報告的方式測量技能短缺，通過詢問工作者的技能與工作任務的匹配程度獲得數據。該方法的優點是較易實施，能獲得實時的技能錯配信息;其缺點是：自我報告通常會產生偏差，調查對象會過度強調工作場所的要求，還會有意或無意識地自我提升自己在工作中的地位。

2. 技能過度/不足評價法

成人工作者將他們的技能和能力，包括在學校和在工作場所中學到的，與現有實際工作需要的技能進行比較，行業專家通過獨立觀察和訪談進行主觀評價。該方法的優點是：由行業人力資源專家直接評估給出結果，比自我評估更加全面和準確;缺點是仍有較大可能產生主觀偏見，另外也無法確定調查對象在回答問題時所想的是否只涉及工作技能。對技能過度/不足評價法的反對意見主要集中在問題的提問方式上：每次調查所用的評價問題都不相同，這就很難進行橫向比較，評價者很難通過這些問題分辨出哪些技能是從勞動市場中、培訓中或正式學校教育中獲得的、但是未被充分利用的技能。

3. 橫向錯配評價法

通過主觀問題，讓調查對象評估自己當前工作與其最高學歷資格的相關程度。這種方法與技能過度/不足評價法的優缺點基本一致，即沒有關注到通過勞動市場和培訓積累的非正式技能，而這些非正式技能有可能比在正式教育和培訓中學習獲得的技能的應用性更強。

4. 工作評估法

通過職業工作分析師的評估，評價某一職業的教育需求，類似職業標準。如美國交通運輸部認證標準（United States Department of Transportation，DOT）、美國國家標準職業分類信息網站（The Occupational Information Network， O*NET）等開發采用的方法。此類方法的優點是基于領域內專家的經驗，被認為更準確;缺點是耗費資源較多，難以進行大規模推廣。另外，職業需求會隨著時間推移發生較大變化，如果職業分析沒有定期更新，其分析結果往往會過時，而且基于專家意見的方法總是不可避免地受到主觀因素的影響。

三、對我國高職擴招學生評價的啟發與建議

（一）探索分類考核評價模式

2019年9月以來，多個省市發布了針對高職擴招考試工作的文件，如《山東省高等職業院校擴招實施方案》和《江蘇省教育廳關于進一步做好高職院校面向社會人員開展全日制學歷教育招生工作的通知》提出，“根據全日制普通高職院校人才培養目標、規格，單獨制定人才培養方案，單獨編班、教學、考核”[19]，“健全以證代考制度，取得相應職業技能等級證書、職業資格證書和行業企業實踐經歷，可記入本人的學業學分”[20]。按照這些工作安排，高職院校必須探索建立針對成人的招生分類考核模式，針對擴招對象的特點、先前工作積累的經驗和技能證書進行學習能力認定，在此基礎上實施分類個性化教學。

（二）主觀評價與量化評價相結合

通常在對成人進行的能力評價中主要采用兩種方法，即主觀評價方法和量化評價方法。前者簡單易行，但由于主觀因素影響有可能產生較大偏見;后者較為準確客觀，但是存在方法、指標、數據、樣本設計和數值選擇方面的困難和問題。在職業能力評價領域，人們設計開發了很多結構化的評價方法，這些方法反映了不同的研究范式，即質性研究和混合式研究。基于質性研究的評價方法主要集中在人力資源管理領域，典型的如“基于勝任特征的測評”“ICA能力評價工具”和“學習潛能評價中心法”（LP-AC）等。“基于勝任特征的測評”利用工作勝任力測評法 （The Job Assessment Method，JACM） 建立科學的能力模型和指標體系，用來測量和評價員工的勝任特征;ICA通過訪談診斷工作能力，以能力等級表呈現被測者的能力水平;LP-AC關注能力發展，在結構性的學習情境中評估領導者的學習潛能[21]。基于混合式研究的評價方法是職業能力評價的發展趨勢，國際有影響的項目有“技術支持的職業技能和能力測評”（Technology-based Assessment of Skills and Competences in VET，ASCOT）、“可觀察學習結果的結構”（Structure of the Observed Learning Outcome，SOLO）和“職業能力測評”（Competence Measurement，COMET）等。ASCOT按照項目反應理論建立能力模型，由于能力要求碎片化和行為化傾向明顯，還很難完全反映工作世界中解決方案的復雜性要求[22]。SOLO是香港大學開發的混合式評價方式，其符合教育學關注人的發展要求，但沒有考慮“情境化”問題[23]。COMET能力測評方法以“從初學者到專家”能力發展邏輯為基礎建立測評模型，經多種效度檢驗證明有較高的評價質量[24]。在已有工作經驗的成年人為對象的高職招生和管理過程中，可綜合采用依托自我評價報告的主觀測評法和以問卷調查、數據分析為主的客觀量化評價法，用量化數據分析補充主觀評價的不足，確保對學生評價的信度和效度。

（三）將學生評價融入教學過程

科學的能力測評，不但可以了解不同類型院校和專業學生能力的發展水平，也可以為職業教育課程改革提供有價值的參考，為教師的教學設計提供直接支持[25]，并對職業院校的教學質量起到監控、反饋和調節作用。高職院校可將能力評價融入日常的教學和管理工作中，把單純的評價過程擴展為學習過程的一部分。通過能力測評，激勵學生對自己的學習和工作情況進行自我判斷，評估自身發展與教學標準的差距，明確和調整發展方向，提高學習的動機和主動性。能力評價結果可以促進教師的教學反思，為建立新型的人才培養模型提供啟發和依據。

（四）重視評價結果的分析和反饋

PIAAC項目定期向社會公開發布調查報告，“分析個人技能發展和運用對改善勞動者就業、生活質量，以及對推動國家經濟發展的作用，并幫助各國制定技能標準和應對政策”[26]，這體現了OECD“為更好的生活提供更好的政策”的宗旨。鑒于此，高職院校應采取多種措施，重視教育教學評價結果的分析和反饋，應針對評價中反映出的問題進行及時干預，真正做到“以評促教”和“以評促學”，確立以學生能力發展為中心的管理和評價理念，保障擴招之后新型大學生的人才培養質量，使企業、職業院校、學生個人和全社會都能享受到高職擴招帶來的紅利。

（五）創新評價方式和評價內容

PIAAC項目利用互聯網和信息技術手段，將全球參與測評的國家聯系起來，保證了測評項目的大規模樣本需求，提高了測評結果的可信度，并為地區間和國際比較提供了基礎。經過兩個周期四輪的實踐，從調查結果、實證研究、時代發展和勞動力市場的現實要求中吸取有益經驗，豐富和完善了測評內容與方法，并適時增加了對“社會情感能力”等的測評內容。借鑒這一經驗，職業院校可以在以下方面進行探索：一是創新學生評價方式，針對不同專業和不同學生類型采用計算機模擬、AI、AR和VR等先進科技手段開發新的評價工具;二是創新評價內容，在分析學生現有水平基礎上，根據高職生源實際情況和職業技能標準設計評價方案，并進行試測和調整，確定具有職業教育和成人學習特色的、具有未來社會適應力的評價項目。

（六）注重非認知能力和職業能力的評價

目前，成人能力測評大多集中于讀寫、計算、問題解決等普通認知能力方面，較少涉及非認知能力和職業工作中的能力，更缺乏對職業和專業能力的測評。研究發現，在真實的工作實踐中，在工作過程、職業培訓和學校教育中積累的實踐經驗和職業行動能力，對成人生涯發展的影響甚至大于普通認知能力。我國在借鑒國際成人能力測評在評價理念、評價工具和方法、非認知能力評價等方面經驗的同時，還要設法借鑒和補充有關職業能力評價的部分。2017年教育部在《高等職業教育專業評估試點方案》研制工作中采用COMET法對四個省的高職學生綜合職業能力進行實驗性測評，其情境化的開放性試題被企業和學生所認可，但不同專業認知能力對職業行動的影響機制存在差異。今后，如何在成人認知能力測評基礎上補充對“特定職業（領域）的認知能力”和完成整體化工作任務的“綜合職業能力”的評價，是建立完整的職業教育能力評價體系的重要任務。

參 考 文 獻

[1]教育部等六部門關于印發《高職擴招專項工作實施方案》的通知[EB/OL].（2019-05-13）[2019-10-01].http：//www.moe.gov.cn/srcsite/A07/moe_737/s3876_qt/201905/t20190513_381825.html.

[2]教育部辦公廳，退役軍人事務部辦公廳，財政部辦公廳.關于全面做好退役士兵職業教育工作的通知[Z].教職成廳函[2019]17號，2019-08-07.

[3]楊衛軍.高職招生制度改革：基于制度變遷理論的分析[J].職業技術教育，2014（28）：19-23.

[4][5][14][15][16][17]Perry， A.， Wiederhold， S. & Ackermann-Piek， D. How can Skill Mismatch be Measured？ New Approaches with PIAAC Methods Data Analyses[J]. Journal for Quantitative Methods and Survey Methodology， 2014（8）：138.149-152.

[6]PIAAC成人能力測評項目第一周期測評[EB/OL].[2019-10-01].http：//www.oecd.org/skills/piaac/about/piaac1stcycle/.

[7]PIAAC成人能力測評項目第二周期測評[EB/OL].[2019-10-01].http：//www.oecd.org/skills/piaac/about/piaac2ndcycle/.

[8]PIAAC成人能力測評項目出版物[EB/OL].[2019-10-01].http：//www.oecd.org/skills/piaac/publications/.

[9]PIAAC項目“讀寫能力”試題樣例[EB/OL].[2019-10-01].http：//www.oecd.org/skills/piaac/Literacy%20Sample%20Items.pdf.

[10]PIAAC項目“計算能力”試題樣例[EB/OL].[2019-10-01].http：//www.oecd.org/skills/piaac/Numeracy%20Sample%20Items.pdf.

[11]PIAAC項目“在科技環境中問題解決的能力”試題樣例[EB/OL].[2019-10-01].http：//www.oecd.org/skills/piaac/Problem%20Solving%20in%20TRE%20Sample%20Items.pdf.

[12]PIAAC成人能力測評項目設計理念[EB/OL].[2019-10-01]http：//www.oecd.org/skills/piaac/piaacdesign/.

[13][18]McGuinness， S.， Pouliakas K. & Redmond， P. How Useful is the Concept of Skills Mismatch？[J].IZA Discussion Papers 10786， Institute for the Study of Labor（IZA）. 2017：4-5.

[19]江蘇省教育廳關于進一步做好高職院校面向社會人員開展全日制學歷教育招生工作的通知[EB/OL].（2019-09-17）[2019-10-01].http：//www.moe.gov.cn/jyb_xwfb/xw_zt/moe_357/jyzt_2019n/2019_zt19/difang/jiangsu/201909/t20190917_399516.html.

[20]山東省高等職業院校擴招實施方案[EB/OL].（2019-09-06）[2019-10-01].http：//www.moe.gov.cn/jyb_xwfb/xw_zt/moe_357/jyzt_2019n/2019_zt19/difang/shandong/201909/t20190906_398127.html.

[21]高帆，趙志群，黃方慧.職業能力測評方法的發展[J].中國職業技術教育，2017（35）：9-16.

[22]Winther， E.， & Achtenhagen， F. Measurement of Vocational Competencies[J]. Empirical Research in VET， 2009（1）：85-102.

[23]柳潔，陳澤宇.SOLO分類理論在職業教育學業評價領域的應用剖析[J].中國職業技術教育，2018（17）：7-8.

[24]周瑛儀.大規模職業能力測評的預測效度[D].北京：北京師范大學，2015：I-II.

[25]趙志群.職業能力研究的新進展[J].職業技術教育，2013（10）：5-11.

[26]何珺子，王小軍.認知能力和非認知能力的教育回報率——基于國際成人能力測評項目的實證研究[J].經濟與管理研究，2017（5）：66-74.