基于大數據的學生職業能力評價指標體系研究

胡伏湘 陳超群

摘? 要：針對學生職業能力評價方面存在的層次少、指標粗、數據難獲取等問題，從職業能力的內涵著手，系統梳理了國內外研究的階段性成果，設計了依托大數據平臺的由目標層、領域層、類型層和指標層組成的四層評價指標體系，包括基礎素質、專業水平、方法運用能力、社會交往能力、可持續發展能力五個領域層指標，20個類型層指標和96個指標層指標，運用德爾菲法與層次分析法確定了指標權重。這種評價指標體系的優勢在于，指標內涵明確，層次清晰，指標值可從大數據平臺得到，客觀真實。最后探討了數據處理方法和評價過程相關問題。

關鍵詞：大數據;職業能力;評價指標體系;智慧教育

Abstract： In order to deal with the difficulties of collecting students' data with few structures and rough indicators， for students' professional competence assessment， the paper proposes an assessment index system. It starts with the connotation of professional competence， summarizes periodical achievements made by domestic and international students on learning topics， and then designs a framework of 4-level assessment index system based on big data analysis. The framework consists of target layer， domain layer， category layer and indicator layer. There are five indicators at domain layer， it contains of indicators of essential quality， professional level， application ability， social communication skills and sustainable development ability. There are 20 indexes at the category layer， 96 indexes at the indicator layer. Delphi method and analytic hierarchy process are used to compose the weight of each index. The advantages of this assessment index system are that the index has clear connotation and levels， the index value can be obtained from big data analysis， which is objective and practical. At last， the paper specifies the data processing method and the evaluation process.

Keywords： big data; professional ability; index evaluation system; intelligent education

1? ?引言（Introduction）

職業能力是指從事對口職業崗位所需能力的總和，即完成一定職業任務所需的知識、技能和態度的要求[1]，通常包括三個方面：一是勝任一種具體職業而必須具備的基本能力，即任職資格，如職業資格證書和大學畢業證書;二是步入職場后所表現出來的職業素質，即專業核心能力，通常與所學專業知識緊密相關;三是工作崗位開始后具有的職業發展、崗位遷徙、組織管理、職務晉升方面的能力，即可持續發展能力，這些能力往往通過參加社會實踐和課外活動等途徑獲得。運用信息技術手段，科學評價學生的職業能力既是時代的要求，也是學生自身的訴求，更是教師監測人才培養質量的現實需要。

2? 職業能力評價的國內外研究現狀（Research status on professional ability evaluation at home and abroad）

2.1? ?國外職業能力評價情況

美國職業能力評價體系是基于國家技能標準制定的[2]，由基礎標準、專業標準和特殊標準（指特殊工種和特定行業所需的特別要求）三部分構成，國家技能標準推進委員會（NSSB）負責組織和實施，與職業崗位技能等級證書緊密關聯，職業能力體系包括基礎能力（基礎技能、思維能力、個人素質）和工作能力（資源、信息、系統、技術、溝通等方面）。德國將職業能力確定為專業、方法、社會和個性能力四種類型[3]，按照重要程度又分為基本職業能力和關鍵職業能力[4，5]，前者包括專業知識和專業技能，與崗位要求相關，后者包括方法能力和社會能力，指職業發展過程中適應職位遷移、職務晉升而具備的跨專業、綜合性組織協調和終身學習能力，它不受任職時間限制，也不受具體崗位制約，即職業生涯的可持續發展能力。英國以職業資格證書（NVQ）的要求為依據，將職業能力分為特定能力（專業技能）、通用能力（崗位群技能）和核心能力，由國家資格委員會和主導產業機構聯合實施[6]。日本的職業能力評價體系有技能考核制度、企業內部技能考核制度三大核心，包括技能認定、事務處理和辦公自動化技能等內容[7]。澳大利亞將職業能力細分為溝通能力、協作能力、解決難題、進取精神、計劃組織、自我管理、學習和技術能力八個方面，同時增加了忠誠度、抗壓能力、積極樂觀心態等個人品質因素。從美德日澳對職業能力的分類不難看出，這些國家將讀寫表達、技術與方法運用等基礎能力，團隊意識、溝通能力、思維理解能力、性格品質、創新創業等可持續發展能力與專業技能置于同等重要的地位。

2.2? ?國內職業能力評價學術梳理

在中國知網上，以“職業能力評價”作為關鍵詞檢索，可找到20篇文獻，其中核心期刊1篇，說明評價職業能力的學術研究還比較少。以“大數據”和“職業能力評價”同時作為關鍵詞，相關文獻為0，說明運用大數據手段來評價職業能力還沒有成熟的方案。若以“職業能力評價”作為主題檢索，可以找到483篇文章，近5年居多，其中全國中文核心期刊15篇，涉及核心能力評價、課程評價、教師職業能力評價、就業競爭力評價、發展質量評價等角度，說明職業能力評價已經受到教育界普遍關注，為本研究提供了借鑒。

文獻[8]以《網絡營銷》課程為例，從學習環境設計、教學設計、個性化在線學習流程設計等方面探討了提升課程教學效果的方法。文獻[9]從海量招聘信息中，通過提取候選特征詞，構造詞匯-文本矩陣，利用聚類算法確定了企業需求與人才培養的相互關系，為教學實施確定了目標。文獻[10]認為教師專業發展的核心是TPACK，即學科知識、教學法知識、技術知識以及整合技術的學科知識、整合技術的教學法知識、學科教學知識、整合技術的學科教學知識七個方面，相關數據反映出教師發展水平。文獻[11]按照職業教育的特點和人才培養定位，構建了教師職業能力評價體系，包括教育、教學、科研和社會服務四個一級指標，涵蓋課程建設、創新創業、項目論文、技術應用等具體內容。文獻[12]利用層次分析法設計了包括創新知識學習能力、創新意識、創新個性和創新實現能力四個維度的學生創新能力評價體系，各部分權重在20%到25%。文獻[13]以某職業學院為例，在問卷調查的基礎上，設計了教師風范與職業道德教育、參與企業工作與行業影響力、教學設計與教學研究、教學組織與教學實施、教學資源開發、教學效果、學生服務與管理、職業規劃與團隊建設、校企合作與產學研共九個指標的教師職業能力評價體系，并運用專家評分法賦予了相應的權重。文獻[14]、文獻[15]、文獻[16]分別以國際貿易專業、商務英語專業、酒店管理專業為例，分析探討了職業能力的構成要素及評價方法，給出了提高學生職業能力的一些措施。

2.3? ?大數據用于職業能力評價方面

用大數據評價學生職業能力尚處于探索階段，沒有形成完整的解決方案，多數文獻的主題集中在如何運用大數據思維提高學習效率、大數據時代對人才培養的影響等定性研究方面，文獻[17]提出了一個通過企業需求大數據制定人才培養方案從而實現需求驅動導向的職業能力培養方法，將崗位職責映射為知識技能點，對于本研究具有一定的借鑒作用。

2.4? ?研究述評

上述不難看出，職業能力評價已經成為高校及學術界關注的熱點，在職業能力的組成、專業職業能力體系、課程效果評價、教師能力評價等角度形成了一定的階段性成果，但理論層面居多，指標體系不完善，包括目標層、類型層、領域層三層，粒度太粗，指標值難以直接獲得，主觀性指標多，與評價者存在直接關系，處理過程煩瑣，操作性不強，落地難。將大數據用于職業能力評價過程，調用教育大數據平臺的數據和分析預測結果，既能反映學生職業能力現狀，更能促進學生取長補短，這個領域的研究尚屬于起步階段。

3? 運用大數據評價學生職業能力的指標設計原則與方法（Design principles and methods of students' professional ability evaluation indexes with big data）

3.1? ?運用大數據評價學生職業能力的可行性

大數據是新一代信息技術的典型代表，是一種結構化和非結構化數據混合存儲的方式，也是一種思維模式[18]，在精準營銷、智能交通、案件偵破、互聯網金融、政府治理等方面已廣泛應用。在教育界，這些年陸續建成的專業教學資源庫、資源共享開放課程、精品資源開放課程、MOOC、視頻公開課等平臺積攢了大量的資源，成為教師評價課程教學效果的主要方法，為職業能力評價手段的創新提供了數據支撐。作為評價對象的95后學生伴隨互聯網成長，獲取知識的渠道多種多樣，在某個問題上，比老師了解更多更深的現象時有發生[19]，僅靠課程成績和輔導員的印象式評價難以精確衡量學生的職業能力。利用大數據的存儲、分析和預測功能，在診斷性評價、形成性評價以及總結性評價三個階段中多元化評價主體、細化評價指標、增加評價頻度、加大過程數據占比[20]，彌補傳統評價評價方法的不足。通過診斷與改進，強化結果運用，提高教與學的精確度， 優化培養過程，正是大數據驅動人才培養的價值邏輯，也是職業教育高質量發展的關鍵。

3.2? ?指標設計原則

導向性：以市場需求和職業教育人才培養目標為導向，從職業能力內涵入手，注重學生綜合素質和應用技能的全面培養，圍繞學生必須掌握的專業能力、方法能力、社會能力、成才能力等方向進行評價。

多元性：從學生自評、教師考評、項目導師點評等維度綜合考慮，以用人單位招聘試題、本專業技能測試題目、項目庫為基本依據，融入實習和項目實踐過程，客觀結果和主觀測試結合，保證評價結果的科學性和公平性。

動態性：學生職業能力構建是一個動態疊加過程，需要以發展的眼光看待評價內容和結果，既要考慮學習期間的能力培養，還要具備一定的前瞻性，關注業態變化，適時調整評價方案，提高學生的就業競爭力和職場可持續發展能力。

可操作性：通過智慧校園或者信息化管理系統，充分利用教育大數據平臺所存儲的過程性數據，盡可能由軟件自動評判賦分，同時兼顧終結性成績，把平時學習過程和核心課程及項目的考試有機結合起來，使評價結果更加真實可信。

3.3? ?指標遴選依據

指標遴選的過程就是根據評價目的及內容、系統收集、分析和優化備選指標的過程。主要依據有四個，一是根據職業教育的特點、辦學定位、崗位技能、課程體系、實踐性教學環節等因素，在調研和專家論證的基礎上提煉而成。二是考慮職業技能證書考試大綱所規定的基本要求，使評價結果與崗位勝任程度吻合。三是盡量客觀，指標內涵明確，來源可靠，數據可信，避免界定模糊引起歧義的指標，縮小憑感覺評判憑印象賦分的指標所占的比例。四是指標數適中，層次分明，脈絡清晰，可操作性強。

4? 基于大數據的學生職業能力評價指標體系設計（Design of students' professional ability evaluation index system based on big data）

4.1? ?指標體系設計

從前面的分析可以看出，關于職業能力評價指標體系，業界通用的做法是分為目標層、領域層和類型層共三級，包括基礎能力、專業能力和關鍵能力三類指標。在此基礎上，充分運用教育大數據的優勢，設計并經專家認可，本研究將指標體系拓展到四級，將類型層細化到指標層，實現指標層原子指標數據的可讀取可計算;同時關注信息化時代學生職業生涯的規劃和成長成才需要，將指標類型分類整合，重構為基礎素質、專業水平、方法運用、社會交往、可持續發展五個方面，如表1所示。一級指標是目標層，即學生職業能力量化值，二級指標是領域層，反映學生職業能力所涵蓋的范圍，三級指標是類型層，是對各二級指標的進一步分類，四級指標是指標層，是可以量化的最小指標單位。

4.2? ?指標說明

表1看出，二級指標基礎素質是步入職場所需要的個人素質，包括高考入學成績、中文應用能力、英語水平、身體與心態、表達能力、計算機應用水平等三級指標。專業水平是進入大學后需要學習的知識和培養的技術技能，包括專業知識掌握程度、專業技能掌握程度、專業實習成績、專業實踐成績、職業資格證書等三級指標。方法運用能力是在大學里通過學習和訓練而掌握的問題分析、方案策劃、綜合運用所學知識進行科學決策等方面的能力，這些三級指標的值大部分不能直接獲取，需要利用專門的題目或者專項測試，綜合評價產生。社會交往能力具有一定的綜合性，且不確定因素多、隨機性大，主要采用觀察法、調查法、實驗法和測量法等評價方式，包括團隊協作能力、環境適應能力和局面掌控能力，涵蓋社會責任意識、合作能力、協調能力、領導力、模仿能力等三級指標。可持續發展能力是指既滿足現在需要又考慮將來發展要求而具備的職業提升能力，包括創新能力、抗壓能力、抗挫折能力、信息檢索能力、計劃能力、學習能力、自我管理能力、反思能力等三級指標。

本指標體系各二級指標及其下級明細相對獨立，評價主線清晰，結果反映從入學到大學三年學習，再到走入社會，成長成才和職業能力提升的過程。與已有研究相比，具有四個特點：一是操作性更強，緊密對接教育教學和社會實踐過程，大部分指標值可以直接從學業管理系統中獲得，部分指標需要利用教育大數據平臺，通過專門設計和專項測試，過程記錄和軟件系統評價產生。二是層級更多具體，達到四級，部分指標能夠直接從大數據平臺讀取，更加精確和客觀。三是緊密對接學校人才培養過程，充分利用智慧校園各業務系統記錄的信息，盡可能減少了主觀分和印象分，提高了評價結果的真實性和可信度。四是凸顯職業教育特點，強調實踐技能在指標體系中的份額，擴展了指標的數量和精細度。

4.3? ?指標權重的確定

采用德爾菲法與層次分析法，構建判斷矩陣，其中為要素i與要素j的重要性比較結果，以此來確定二級指標的權重W，根據計算結果，以上五個二級指標的權重分別為0.08、0.27、0.35、0.18、0.12，得到二級指標的權重集合W為：W=（0.08，027，0.35，0.18，0.12）。依同樣方法，可以得出三級指標與四級指標的權重，最后得到的學生職業能力指標權重見表1。

4.4? ?數據來源與收集

數據主要來自兩種，一種是安裝在校園信息化平臺上的各類通用業務管理系統，包括教務管理系統、學工管理系統、獎助學金管理系統、一卡通管理系統、網上辦事大廳、社團管理系統、頂崗實習管理系統、校企合作管理系統、創新創業教育管理系統、德育管理系統、學生社團管理系統等，這些軟件應用較為普遍，大多數學校搭建數字校園或者智慧校園平臺時，都會購置或者定制這類基礎性管理系統。另一類是專用業務管理系統，這些系統需要進行定向開發和專項采購，通常是實施了智慧校園項目后，作為第二期建設內容，即建立大數據應用平臺，全面實施智慧教育和智慧管理，才會考慮這些項目，包括學生考勤管理系統、學習管理系統、社會實踐管理系統、項目實踐管理系統、輿情監控預警系統、教學管理決策支持系統等。如通過項目實踐管理系統實施精細化管理，學生在項目中是否擔任經理（項目組長）等職務、項目進度情況、項目的創新程度、文檔制作水平、團隊展示情況等都會作為評價要點上傳系統，通過項目完成情況能夠反映負責人及團隊成員的職業能力。再如《創業教育》課程，在評價其學習成效時，不能只是一個期評分數，而應該綜合考量學生在創新意識、新生事物敏感度、創業動力、抗壓能力、抗挫折能力、信息檢索能力、批評與自我批評能力等相關因素，要通過理論教學、“雙創”項目實踐等過程階段性評定，這對教師的教學方法提出了新的要求，需要用項目驅動、翻轉課堂、智慧教育手段才能有效實現。

5? 基于大數據的學生職業能力評價過程的實施（Implementation of students' professional ability evaluation based on big data）

5.1? ?指標數據的獲取

運用大數據評價學生職業能力需要智慧教育大數據平臺，典型載體是智慧校園[21]，要反映學生的中心地位，一方面是全程捕獲學生的學習、測試、項目實踐和社會活動信息，同時通過模式分析預測未來趨勢，經過歸一化處理產生評價值。數據的來源有三層，最底層是互聯網層，即研習數據，包括師生合作完成、項目小組共同完成以及單獨完成的成果。中間層是所鏈接的各類硬件，包括智能門鎖、一卡通記錄、遠程訪問數據。最外層是流入數據中心的各類業務數據，學工系統、教務系統、實習實訓、社團、獎助學金、課程學習系統等，這是數據采集的主要來源，大多數指標是從此處直接讀取或者處理得到。

5.2? ?數據中心設計思路

數據中心是業務數據的匯集地，也是評價過程所需要的過程數據和最終數據的存儲池，包括結構化數據、半結構化數據和非結構化數據，學生自評或者教師測評均可以從中調取數據，系統根據評價結果向學生推送個性化資源也是由程序自動完成。整個數據倉庫是通過HDFS、HIVE存儲在HADOOP生態環境，通過HDFS和HIVE的相互配合搜索關鍵詞條目，對原始數據抽取和篩選，形成原始庫，再經過預處理構建標準庫，聚合成主題庫，建立起相應的庫表，按照一定的規則做二次清洗，然后建模，計算結果存儲在MySQL數據庫分布式集群，以數字或圖形方式呈現在前端界面。

5.3? ?指標數據的處理

方法運用能力、社會交往能力、可持續發展能力是職業能力的重要組成部分，在評價指標體系的五個二級指標中，占據了三席，從相應的各下級指標來看，數據獲取的難度較大，和課程成績、績點等簡單無爭議指標相比，難以精確測量，不同的角度得到的結果也有一定的偏差，且無法從數據管理系統中直接導出，需要經過專門測試和處理后才能得到。通常可以采取三種措施解決這種問題：一是由學校和企業聯合組成命題團隊，根據崗位技能要求和職業發展的要求，設計大體量的專項測試題庫或者專門項目庫，在規定的時間獨立完成或者小組合作隨機抽取題目完成，根據所選擇的角色、完成的速度和質量等因素確定指標分數，比如方法運用能力一級指標中的分析能力各下級指標都可以這樣處理。二是優化設計原來的考核表格和方案，比如團隊協作能力三級指標，對于社團考核表，不能只是一個簡單的評語和結論，而需要根據學生在社團中承擔的職位、工作量、工作態度和最后結果，設計更為詳細的考核方案，盡量做到數字化、詳細化和具體化，這些處理在軟件系統中容易實現，也方便分類匯總形成統計數據。

6? ?結論（Conclusion）

提高學生職業能力是高等職業教育高質量發展的重要目標，是校企合作產教融合的核心成果，建立職業能力評價指標，依托教育大數據平臺，可以以學期或者學年為單位，定期考核評價，這是除課程成績外又一個調動學生學習積極性的主要手段，是實施智慧教育的抓手，是推動教育教學模式創新的時代命題，這是新時代賦予高校的使命。本文立足于此，對大數據環境下如何評價實施學生職業能力，初步探索了可操作的四級指標體系，并設計了數據采集和數據中心的建設方案，并通過采用德爾菲法與層次分析法確認了各個評價指標的權重，但尚未針對某一個學校進行實踐檢驗與探討，這也是將來要繼續完成的工作。

參考文獻（References）

[1] Kratzke Cynthia. Smart Choices for Cancer Education Professional Development： Your Voice and Visibility for Leadership[J]. Journal of cancer education： the official journal of the American Association for Cancer Education， 2018（33）： 5-9.

[2] Jan Masschelein， Maarten Simons. Education in times of fast learning：the future of the school[J]. Ethics and Education， 2016（1）： 322-339.

[3] Lindsay Johnston， Susan B. Williams， Anne Ades.Education for ECMO providers： Using education science to bridge the gap between clinical and educational expertise[J]. Seminars in Perinatology， 2018（42）： 2-10.

[4] 李新華，韓奕，陳莉莉，等.大學生職業能力提升方法探索[J].教育教學論壇，2018（42）：144-146.

[5] 謝英姿.論高職學生職業能力評價指標體系的構建[J].職教論壇，2015（11）：17-21.

[6] 肖化移，邱瀅瀅.國外高職學生職業能力標準的比較與啟示[J].職教論壇，2016（04）：87-91.

[7] 李福東，曾旭華.國內外職業能力評價研究和應用[J].中國電力教育，2012（12）：34-36;47.

[8] 彭楚鈞.大數據環境下高職學生在線學習成效提升路徑[J].現代經濟信息，2017（20）：367-368;379.

[9] 張學新，賈園園，饒希，等.海量非結構化網絡招聘數據的挖掘分析[J].長春師范大學學報，2017，36（10）：28-36.

[10] 李國成，向燕玲.教育大數據視角下高職院校教師專業發展研究[J].牡丹江教育學院學報，2017（06）：11-13.

[11] 付永山，李春明，向月波.高職教師職業能力評價體系研究[J].教育科學論壇，2017（15）：68-70.

[12] 胡芬.基于改進的層次分析法對高職學生創新能力的評價[J].湖北成人教育學院學報，2017，23（04）：68-71.

[13] 姜榮，叢迎九，曲桂東.高職院校教師職業能力標準與評價體系研究[J].職教通訊，2013（02）：56-58.

[14] 李福東，曾旭華.國內外職業能力評價研究和應用[J].中國電力教育，2012（12）：34-36;47.

[15] 余雅.高職學生職業能力評價體系的構建與實施——以商務英語專業為例[J].教育教學論壇，2018（11）：228-229.

[16] 劉加鳳.高職學生核心能力評價指標體系的構建——以酒店管理專業為例[J].職業技術教育，2012，33（05）：54-56.

[17] 劉耘，袁華.基于大數據的需求驅動的職業能力培養研究[J].電子科技大學學報（社科版），2018，20（02）：8-14.

[18] 胡伏湘，方玲玉.基于大數據思維的教育教學模式探析[J].湖南行政學院學報，2018（05）：25-29.

[19] 徐嫚，魯晨陽，沙成金.高職院校視角下探究“00后”大學生輔導員工作的新模式[J].課程教育研究，2019（08）：195.

[20] 周潔如.大數據背景下課程評價方法探析[J].天津電大學報，2018，22（02）：10-13.

[21] 胡伏湘.基于大數據的智慧職教——內涵、平臺設計與應用[J].中國職業技術教育，2017（03）：85-91.

作者簡介：

胡伏湘（1967-），男，博士，教授.研究領域：智慧教育，軟件技術.

陳超群（1974-），男，碩士，副教授.研究領域：生態旅游，系統評價.