從測量目標和效度看技能測試的挑戰與發展

劉英霞 杜永貴

摘要：職教高考技能測試是高職院校招生考試的重要組成部分，其測量目標的達成度和測試效度關系到考生的切身利益和招生的公平性。目前，技能考試在實訓測量目標、可測量性、區分度、測試項目設計等方面面臨挑戰，從教育測量角度透視技能考試的科學性，對測試的難度、區分度、效度和信度進行分析，通過實證研究，從優化考試內容、考試方式、考試標準等方面提出技能考試的發展策略。

關鍵詞：測量目標;效度;技能考試;挑戰;發展

中圖分類號：G710? ? 文獻標識碼：A? ? 文章編號：1672-5727（2022）01-0069-06

考試招生制度是我國的基本教育制度，也是人才培養的樞紐環節?！秶衣殬I教育改革實施方案》明確提出了要“建立‘職教高考’制度，為學生接受高等職業教育提供多種入學方式和學習方式”?！秶鴦赵宏P于深化考試招生制度改革的實施意見》要求招生考試要體現科學高效，提高選拔水平，指出要改革考試形式和內容，加快推進高職院校分類考試?！笆奈濉睍r期，我國將建立職教高考制度，把中等職業教育、職業?？平逃⒙殬I本科教育在內容上、培養上貫通起來。在我國，教育測量理論很早就開始指導高考改革與實踐[1]。技能考試是高職院校招生考試的重要組成部分，技能考試目標的達成度和考試效度關系到考生的切身利益和招生的公平性。從教育測量理論的視角，通過對技能考試進行科學性分析，優化技能考試的內容和方式，有助于形成分類考試、綜合評價、多元錄取的考試招生模式，為全社會有需要的學習者搭建進入職業院校學習的橋梁。

一、職教高考技能考試現狀分析

職教高考制度是職業教育類型特征的重要表現，國家進行職教高考改革是為學生能接受高等職業教育提供更多的入學方式，促進教育公平。職教高考將賦予高校更多的自主權，同時也為考生提供了更多的選擇。而技能考試作為技術技能人才培養的重要“入口”，關系到高職院校的技能供給質量和服務經濟社會發展的水平。隨著職教高考改革進程的不斷加快，技能考試在技術技能人才評價中發揮著越來越重要的作用。

（一）從國家政策看，職教高考是一項制度設計

職業教育作為一種類型教育，構建縱向貫通的現代職業教育體系，需要一個與之相適應的選拔人才的考試制度設計。建立分類考試、多元錄取的“職教高考”制度，暢通了職業教育體系內部升學通道，為學生搭建多樣化選擇、多路徑成才的立交橋。黨中央、國務院高度重視考試招生制度改革工作。高等職業教育的考試招生改革大致可以分為三個階段：

第一階段是納入全國統一高考。自1952年我國確立統一全國招生考試制度以來，高職教育作為?？茖哟谓逃?，納入全國統一高考，并按照分數高低，分層分批錄取為本科和高職。

第二階段是實施分類入學考試。《國家中長期教育改革和發展規劃綱要（2010—2020年）》提出了改革考試招生制度;2011年，教育部發布《關于推進中等和高等職業教育協調發展的指導意見》提出，要積極推廣“知識+技能”的考試招生模式;2013年，教育部出臺《關于積極推進高等職業教育考試招生制度改革的指導意見》，提出“逐步與普通高校本科考試分離，重點探索‘知識+技能’的考試評價辦法，為學生接受高等職業教育提供多樣化入學形式”。

第三階段是實行“文化素質+職業技能”考試招生模式。2014年，國務院發布《關于深化考試招生制度改革的實施意見》，明確“實行‘文化素質+職業技能’評價方式”。同年，《國務院關于加快發展現代職業教育的決定》提出，要健全“文化素質+職業技能”、單獨招生、綜合評價招生和技能拔尖人才免試等考試招生辦法，為學生接受不同層次高等職業教育提供多種機會。2019年發布的《國家職業教育改革實施方案》提出，完善“文化素質+職業技能”的考試招生辦法。在國家政策指導下，各省高職考試招生制度改革不斷深化和完善，多元化考試招生模式逐步形成。

（二）從考試改革看，職教高考采用試點先行

2007年，教育部批準江蘇、浙江、湖南、廣東4省8所國家示范性高職院校進行“單獨招生”試點，開創了我國高職院校“單獨招生”的新時代。山東省2012年正式啟動職教高考（山東省稱為“春季高考”），技能考試共涉及17個專業類別的276個專業;2021年春季高考技能考試涉及18個專業類別。目前，山東省春季高考繼續沿用技能考試單獨進行的方式，而江蘇等省份的高等職業院校（含部分應用型本科院校）對口招收中等職業學校畢業生時，除按專業類實施通用專業技能省級統考外，還將學業水平考試技能成績同時作為學生對口升學考試技能成績的一部分計算在內。

（三）從考試模式看，職教高考采用“知識+技能”的方式

職教高考采用文化素質考核與職業技能考核并重的方式，突出了實用導向[2]。以山東省為例，春季高考分為“知識”和“技能”兩部分。知識部分由省考試院統一命題、統一組織考試，考試科目為語文（滿分120分）、數學（滿分120分）、英語（滿分80分）、專業知識（滿分200分）。技能考試部分由主考學校負責命題并組織考試，2021年山東省的技能考試分別由30所高職院校作為主考學校，滿分為230分，知識和技能的占比為2.26∶1。

二、職教高考技能考試面臨的問題

技能考試作為職教高考改革的重要環節，突出了職教高考和普通高考的區別，彰顯了職業教育面向人人、面向市場、面向能力的類型屬性特征。從近10年技能考試的實施情況以及在教師和學生中的調研來看，技能考試在試點省份穩步推進，暢通了職業教育縱向貫通的渠道。以山東省為例，從不同生源占比及變化趨勢來看，2014—2018年普通高考招生規模占比由55.21%逐年上升到58.95%，呈現基本穩定但緩慢上升的趨勢，依然是考試招生的主渠道，有效保障了高職院校的生源，為高職院校的高質量發展提供了有力支撐。從錄取人數來看，從2012年的2 607人增加到2021年的45 442人，從而解決了技術技能人才學業成長路徑不暢、高層次技術技能人才短缺問題，滿足了產業轉型升級對高技能人才的迫切需求，為學生根據個人興趣和愛好選擇專業和學校創造了條件，為更多青少年走技能成才、技能報國之路奠定堅實基礎。但是，從測量目標和效度視角分析，技能考試在目標達成度、區分度等方面還面臨一些挑戰。

一是技能考試的測量目標達成度面臨挑戰。技能考試的目標是實現適應需求、因材施考、因材施教，科學選拔人才。這體現在三個方面：一是滿足區域經濟社會發展和產業轉型升級的需要;二是適應高職院校特色發展定位的需要;三是適應學生個性化發展的需要，提供鑒別其知識、能力、素質等方面差異的考試內容[3]。目前，技能考試在實現測量目標方面還存在一定困難，主要表現為：考試內容與產業發展、企業職業崗位要求結合不夠緊密;考試內容與專業人才培養目標吻合度不高;考試內容對考生的學情考慮不充分，學生差異化發展、個性化成才體現不足等。調研數據顯示，有36%的考生認為技能考試能滿足個性化發展需要;有18%的考生則認為技能考試對學習基礎、特長等差異性體現不足。

二是技能考試的可測量性面臨挑戰。考試內容、過程和結果可測量是保證考試質量及有效性的基本要求。技能考試以實操為主，主要考核學生的實踐能力和職業素養，因此，技能考試通常采用過程評價和結果評價相結合的方式。過程評價主要是由評定員根據考生現場操作和表現進行評分。在考試過程中，考生的操作是否規范、是否達到指定的熟練程度等指標，均受主觀因素影響，使考試標準量化困難，從而影響職教高考的公平性。調研數據顯示，僅有47%的考生認為技能考試能夠體現測試的公平性;有40%的考生認為技能考試能反映出自己的技能水平;有15%的考生則持否定態度，認為技能考試難以準確地鑒別出技能水平高低。

三是技能考試區分度面臨挑戰。區分度是表征測試質量和有效性的重要依據。但是，目前有些專業大類的技能測試為了便于考試評分和組織管理，技能考試偏簡單，難以體現本專業大類的核心技能，考生分數相對集中，不能將不同水平的考生區分開來，不利于學生創新能力和創新思維的發揮，在一定程度上影響了技能考試的權威性。調研數據顯示，有超過57%的考生認為技能考試比較簡單;有12%的考生持否定態度，認為技能考試難以準確地鑒別出技能水平高低。

四是技能考試測試項目面臨挑戰。職業教育是面向能力的實踐教育，對選拔的生源除了要求具備必須的理論基礎外，還要具備一定的實踐操作能力。以山東省為例，技能考試最初是通過筆試完成測試，2014年開始實施現場實操測試，重點考核學生的實踐動手能力和職業素養。如商貿類專業側重于商品促銷方案策劃、業務單證繕制等，可通過上機考試完成;電工電子類專業側重于焊接、組裝、設計、調試等，通常在實踐教學場所動手操作完成。由于受命題質量、測試場地、測試經費等條件限制，不同專業技能測試局限于固有的面試、上機考試、現場實操等大眾化的考試模式，表現為考試方式僵化，不利于選拔出創新型、復合型的技術技能人才。調研數據顯示，有42%的考生認為技能考試形式多樣化;有20%的考生則認為技能考試形式單一，不利于發揮個人的優勢特長。

三、職教高考技能考試的科學性分析

本文將經典測量理論應用于技能考試分析，從教育測量視角透視技能考試的科學性，滿足難度、區分度、效度和信度等技術指標的要求，以提高考試的可靠性，保證“職教高考”作為制度設計的權威性。

（一）難度：要能充分適合被測試者的能力水平

難度是指測驗的難易程度，通常用通過率作為難度系數P來定量描述被測試者完成項目作答任務時遇到的困難程度。P的最小值為0，最大值為1。通常將P≤0.4定義為難，將0.4

技能考試的難度受被測試者個體特征、測試方式、測試環境等多種因素影響。技能考試的主體以中等職業學校畢業生為主，其學習行為具有動手能力強、邏輯思維弱、創新能力強、學習需求多元化等特征。針對被測試者的學情特點，如果在真實或模擬的情景化職場環境中，采用實踐操作的形式完成技能測試，將在一定程度上降低測試的難度。因此，技能考試的內容要在深入分析研究被測試者學習心理特征和行為特征的基礎上，科學設計測試題目結構和題目類型，并設定恰當的測試方法，使考試的難度系數P控制在0.4～0.7之間，且在0.5左右，保證測試的適當性和有效性。

（二）區分度：要能準確鑒別被測試者技能水平的高低

區分度是指測試在多大程度上能將水平不同的被測試對象區分開的量度，通常用D表示，取值范圍在-1～1之間。D值越大，區分度越高，越能反映出被測試者的真實水平。當D取0～1的值時，表示正區分，即高水平的被測試者得高分，低水平的被測試者得分低;當D取-1～0的值時，表示負區分，即高水平的被測試者反而得分低，而低水平的被測試者得分高;當D=0時，表示高水平的被測試者和低水平的測試者得分沒有差異。根據美國教育測量學家埃貝爾提出的區分度標準[4]，D的取值在0.40以上，則認為測試的區分度較好。

技能考試的區分度是衡量技能測試質量的重要標準和依據。技能考試以學生的能力本位為導向，注重職業能力評價，要求被測試者在設定的情境中，運用已有的知識和具備的能力完成設定的任務。評價過程側重被測試者知識和技能的掌握程度、分析問題和解決問題的能力、交流與合作的能力，以及批判性思考問題的能力。因此，技能考試內容和方式要充分考慮上述因素，科學設定測試的區分度，合理區分被測試者能力的不同水平，選拔出合適的技術技能人才。

（三）信度：要能穩定呈現被測試者技能的實際水平

信度是測試的可靠性程度，是指測試能否穩定地反映被測試者的實際水平，通常用rxy表示，取值范圍在0～1之間。任何一個測試都會受到相關因素的干擾，從而在不同程度上影響測試的信度。測試的信度通常用信度系數來表示，信度系數越大，測試的可信程度越高。美國學者德維利斯認為，信度系數在0.7～0.8之間時，表示測試的信度很好;信度系數在0.8以上時，表示信度非常好。

技能考試通常是在特定的實踐環境中進行，以表現性評價的方式完成，考試過程受被測試者生理因素和心理因素、考試的難度和方式、考試的時段和時長、考試環境和測試設備、評分人員的言行和評分方式等的影響，從而導致測試結果的不穩定，影響考試的信度。因此，要科學設計技能考試的命題、測試過程以及考核評價，以最大限度避免被測試對象因特質不同、測試時間不同、測試環境不同等因素帶來的誤差影響，保證技能測試結果的公平和公正，為選拔適應需求的技術技能人才提供客觀有效的依據。

（四）效度：要能有效反映被測試者的能力建構

效度即有效性，是指所測量到的結果反映所想要考察內容的程度。效度是與測量目標緊密聯系的，反映了測試預期目的的達成度，測量結果與要考察的內容越吻合，則效度越高。美國心理學會發行的《教育與心理測量的標準》將效度分為內容效度、結構效度和效標關聯效度。本文進行內容效度的研究，通過專家分析的方法，定性分析測試題目對測試內容范圍的代表程度。

技能考試的目的是為適應產業轉型升級和學校特色發展選拔技術技能人才，因此，技能考試的內容要適應新業態、新技術、新規范、新職業發展，遵循技術技能人才成長規律和能力建構過程，契合專業人才培養目標。高質量編制考試試卷、規范考試過程、科學統計分數，確保考試內容達到測試目標，有效反映被測試者能力的建構。

四、技能考試實證分析

以2021年山東省某專業類技能考試為例，對考試的難度、區分度、信度和效度進行定量和定性分析。試題共分兩部分，包括填空、上機操作等題型，均以客觀評分為主。本次考試共有3 466人參加，滿分230分，平均分145.5分。從考生中隨機抽取578人進行分析，考試成績頻率分布曲線如圖1所示。

從圖1看出，考生的成績分布合理，符合偏右的正態分布，大部分考生成績在141分以上，占到總人數的64.3%，技能考試分數分布整體良好。

（一）難度分析

由于本次技能考試人數較多，且分數為連續變量，因此難度系數采用分組法計算。首先將測試總分按從高到低的順序進行排列，從最高分開始依次向下選出全部試卷的27%作為高分組（本次測試選擇578×27%=156人），從最低分開始依次向上選出全部試卷的27%作為低分組，計算P值：

其中，PH、PL分別為高分組、低分組的難度系數，XˉH、XˉL分別為高分組、低分組被試者的平均分，X為該測試的滿分。

技能測試是常模參照測驗，其目的是盡可能體現被測試者的個體差異，要求測試結果盡量拉開距離。本次技能測試P=0.588，在0.4～0.7范圍內，且接近0.5，說明本次技能考試難度適宜，能體現被測試者實踐動手能力的不同層次，測驗分數基本呈正態分布。

（二）區分度分析

測試的區分度和難度密切相關，當測試的難度適中時，才能使區分度達到最大值。采用分組法計算本次技能測試的區分度：

其中，H、L分別為該測試的最高得分和最低得分。

由于技能考試的目的是選拔合格的技術技能人才，因此，要求區分度越高越好。本次測試D=0.38<0.40，區分度接近于0.4，說明測試基本能鑒別被測試者的技能水平，但區分度不夠高，出現分數過于集中的現象。

（三）信度分析

由于本次技能測試不可能重復測驗，因此，采用奇偶分半信度來估算測驗的信度系數：

其中，X、Y分別為奇偶次測試得分。

用斯皮爾曼—布朗公式進行校正，得到一致性系數 rtt為：

技能考試是大規模選拔性的技能測驗，要求具有較高的可靠性。本次測試的信度系數 rxy=0.81>0.80，且校正后內部一致性系數較大，說明整個測試信度很高。

（四）效度初步分析

對技能考試來說，所要測試的內容依據是職業崗位（群）和專業人才培養方案，實際測試的內容是學生對知識和能力的運用與表現，如果技能考試的題目能恰當地反映職業崗位能力、專業人才培養目標和學生的個性化發展需求，則測試具有較高的內容效度。本文采用專家分析法研究技能考試的內容效度，根據本次技能測試的目標和被測試者的學習行為特征制定評定量表，由行業企業專家、專業負責人、課程專家、考試專家等50名專家組成的專家組，根據量表的內容對考試的效度進行判斷分析，結果如表1所示。

數據顯示，本次技能考試的試題一，有62%以上的專家認為能與人才培養目標吻合、與職業崗位契合、與被測試者學情適合，但是，有4%的專家認為和被測試者的學情基本不適合，需要引起足夠重視。對試題二來說，72%以上專家均持肯定態度?？傮w來看，本次技能考試題目分布基本合理，具有較高的內容效度。

（五）結論

通過分析發現，雖然本次技能測試難度、信度均在合理范圍內，但是，測試的區分度存在一定問題，需要進一步論證測試項目的設計和優化，并加強技能測試的流程管理，減少分數集中的現象。通過調研發現，專家對測試內容的效度基本持肯定態度，但仍有4%的專家認為專業人才培養目標和學生的個性化發展需求吻合度不高。同時，專家普遍認為技能測試的能力構建是深層次問題，測試中的技能操作過程符合度、覆蓋度與測試目標尚有差距，需要在后續的測試中引起高度重視。

五、職教高考技能考試的發展策略

能力本位評價是職業教育作為一種教育類型的重要特征，因此，技能考試要從分析各專業大類對應崗位群的職業能力入手，分專業大類建設技能考試試題庫，并確保不同專業、不同工種或科目的測量基準和難易程度相當[5]，通過優化考試內容、考試方式、考試標準等，提高技能考試測試目標達成度和效度。

（一）優化考試內容，完善技能考試難度和區分度

考試內容的優化能提高技能考試的區分度，使測試具有適中的難度，提高測試的可測量性，實現選拔合適技術技能人才的目的。一是技能考試要選擇職業崗位真實的工作項目（任務），適應技術進步和生產方式變革需要，通過設計多個可供選擇的不同測試項目，保證測試具有良好的難度和區分度。二是技能考試內容要依據招生專業（群）的人才培養方案，與人才培養目標和培養規格吻合，將專業知識、技能和素養融入到不同的測試項目中。三是技能考試內容要契合被測試者學習基礎、學習習慣、思維方式等差異化學情特征，注重服務其全面發展和個性化成才，拓寬職業空間[6]，使被測試者能根據個人的興趣愛好，選擇發揮個人技能專長的測試項目。

（二）優化考試方式，提高技能考試效度

技能考試單一固化的考試模式在很大程度上限制了技術技能人才的入口質量，從而影響考試的效度。美國哈佛大學教授加德納將多元智能理論定義為在某種社會或文化環境的價值標準下，個體用以解決自己遇到的真正難題或生產及制造出有效產品所需要的能力。技能考試要以多元智能理論為指導，根據每個被測試者都具有自身優勢和特點，并有自己獨特的表現形式，以學生的能力本位為導向，注重考試的針對性和專業性，使學生在設計的真實或模擬的工作崗位情境中，運用已有的知識解決某個新問題、創造某個作品、完成一個生產過程、模擬一項經營服務等，測試學生知識與技能的掌握程度，以及分析問題、解決問題、交流合作和批判性思考等能力，提高技能考試效度，選拔出適應產業發展需求的技術技能人才。

（三）優化考試標準，提高技能考試信度

我國已經進入新的發展階段，產業升級和經濟結構調整不斷加快，新產業、新業態、新商業模式不斷涌現，對技術技能人才的能力結構和素質結構提出了新的要求。因此，技能考試的標準要契合職業能力標準，提高技能考試信度。技能考試要有相關行業和企業全程參與考試命題和標準制定，使技能考試標準與職業崗位要求相匹配，從“入口”解決校企合作不緊密的問題，從根本上實現學校、學生和企業共贏、共生。同時，技能考試標準要與職業技能等級證書標準結合，與職業資格證書標準結合，確保技能的實用性及有效性。另外，技能考試標準要以質性評價與量化評價相結合，并以量化評價為主，減少評分人員主觀因素的影響，確保技能考試的公平性和公正性。

參考文獻：

[1]雷新勇.教育測量理論應用于高考改革實踐若干問題的探討[J].中國考試，2020（1）：7-12.

[2]陳虹羽.類型教育視角下職教高考制度建設的邏輯要求、難點及對策[J].教育與職業，2021（5）：13-20.

[3]吳根洲.職教高考的適應性與選拔性[J].職教論壇，2021（6）：49-52.

[4]朱德全.教育測量學[M].北京：中國人民大學出版社，2016.

[5]盧斌，陳少艾，呂金華，等.基于高考改革的“技能高考”模式研究與實踐成果[J].中國職業技術教育，2016（8）：5-9.

[6]劉英霞，亓俊忠，丁文利.系統論視角下高職學校高水平專業群組建邏輯與成效探析[J].職業技術教育，2020（14）：25-29.

（責任編輯：張宇平）