基于NLP的IT崗位需求分析研究

摘? 要：文章以IT高水平專業群建設為例，通過自然語言處理（NLP）對IT產業崗位需求進行了大數據分析，依次采用DBSCAN聚類和LDA概率主題模型，分析得到了4類崗位簇與5個技能模塊關系矩陣。文章采用LTP依存句法提取崗位簇技能、知識、素質模塊，進一步為厘清高水平專業群組群邏輯、完善人才培養模式、增強職業技術教育適應性提供了技術支持。

關鍵詞：大數據技術;NLP;IT崗位;高水平專業群

中圖分類號：TP391.1;G717? ? ? ? ? ? ?文獻標識碼：A文章編號：2096-4706（2022）04-0161-04

Research on IT Post Demand Analysis Based on NLP

—Take the Construction of IT High Level Professional Group As an Example

LIU Shaohong

（Guangdong Nanhua Vocational College of Industry and Commerce， Guangzhou? 510095， China）

Abstract： This paper takes IT high level professional group construction as an example， analyses the big data of IT industry post demand through natural language processing （NLP）， uses the DBSCAN clustering and the LDA probability theme model successively， analyzes and obtains four kinds of post clusters and five skill module relationship matrices. This paper uses the LTP dependence syntactic extraction post cluster skill， knowledge， quality module， and then further provides technical support of clarifying the logic of high level professional group， improving talent training mode， enhancing the adaptability of vocational and technical education.

Keywords： big data technology; NLP; IT post; high level professional group

0? 引? 言

針對中辦、國辦印發《關于推動現代職業教育高質量發展的意見》[1]和《“十四五”規劃和2035年遠景目標綱要》[2]提出的增強職業技術教育適應性目標，文章[3]提出“雙高建設”背景下提升高職教育質量的路徑為構建特色化人才培養模式，構建與地方的產業形態、行業特點、企業經營相輔相成，與勞動力市場需求緊密貼合的人才培養模式。

按照教育部頒發的《中國特色高水平高職學校和專業群建設計劃申報書》[4]中提出“組群邏輯”一欄專業群組群邏輯敘述要求，文章[5]指出當前高水平專業群組群邏輯普遍研究不足、內部邏輯較少涉及，以及在組建過程中并未遵循嚴格的組群邏輯問題，需要厘清組群邏輯的結構與機理等。文章[6]提出從技術鏈出發深化專業群頂層設計，依據組群邏輯重組群內資源，推進制度體系保障工作，實現專業群可持續發展。

針對以上問題和解決思路，借助自然語言處理（NLP）等大數據分析挖掘技術，通過常態化實時準確感知勞動力市場需求，對解決當前高水平專業群建設組群邏輯問題、完善人才培養方案、增強職業教育適應性具有現實而長遠的指導意義。

1? 算法框架

如圖1所示算法主要包括6個步驟：第一步：數據采集，應用Requests技術收集崗位信息;第二步：數據清洗，進行數據查重、變換和清洗;第三步：崗位簇聚類分析，利用DBSCAN聚類與專家判斷相結合的方法提煉;第四步：LDA主題分析，應用LDA概率主題模型提煉崗位簇和技能集關系矩陣;第五步：依存句法分析，應用依存句法分析提煉崗位簇知識、技能和素質技能特征集;第六步：分析專業群組群邏輯，構建專業群人才培養模式。

2? 數據來源及清洗

2.1? 數據來源

以某招聘網站發布的13+萬條IT崗位數據為數據來源，數據包括招聘信息ID、公司名稱、崗位名稱、薪酬、工作地點、工作年限要求、學歷要求、信息公布時間、崗位描述等特征。

2.2? 數據清洗

數據清洗包括去除同一崗位的招聘重復信息，去除崗位名稱中包含的異常符號、數字和無效數據。經Jieba分詞、去除停用詞、無效詞后進行分析。

3? 數據挖掘分析

3.1? 產業崗位、城市和學歷分布

IT產業涵蓋上游、中游和下游產業，具體包括電子電路/傳感器、網絡通信、計算機硬件、計算機軟件、信息中介/服務業等。通過對行業字段統計分析，如圖2（a，b）所示，IT崗位需求占整個崗位需求的36.6%崗位，共計69 579條。

從城市分布圖3（a，b）看，IT產業人才需求80%主要集中在一線城市（北京、上海、廣州、深圳）以及新一線城市（成都、杭州、武漢、南京、長沙、天津等15個）。而廣州、深圳核心城市及珠海、惠州、東莞、肇慶、佛山、中山、江門、澳門等粵港澳大灣區城市群崗位占比達34.2%。

3.2? 崗位簇聚類分析

因主題數量未知，故與文章[7]采用基于質心的K-means聚類算法需要事先確定主題數量不同，本文采用基于密度的DBSCAN聚類算法，該算法能夠自動確定聚類簇數，并有效消除噪聲和異常點的干擾，尤其可以發現任意形狀的聚類簇。

從學歷分布圖4看，IT崗位對本科學歷的需求最大，占44%，其次專科為41%，表明產業對專科及以上層次高素質技能人才的需求較大。

依次對崗位名稱進行分詞、詞性標注、TF-IDF詞權重、基于詞性的新權重、并調整距離閾值和鄰域樣本數閾值參數分別為eps=0.5，min_samples=3最終聚類得到前200簇類名稱，分析得到IT需求量較大的4大崗位簇及對應崗位名稱、數量情況，如表1所示，其中以大數據分析為代表的新一代信息技術崗位需求逐漸增多。

3.3? LDA主題聚類分析

使用Gensim LDA聚類分析方法對崗位簇相應主題和技能進行聚類，輸入崗位描述，輸出為相應的主題概率和關鍵詞。首先計算了主題數量N取值為2～10時的多個模型主題數困惑度和一致度曲線，如圖5所示，綜合困惑度最小化、一致性最大化原則，取主題數量N=7可視化輸出為pyLDAvis主題模型如圖6所示。

分析圖6可知，除了主題3為員工福利外，其余6個主題均與專業技能有關，其中主題5包含在主題7中，可以合并為一個主題，故可聚類開發、測試、軟件、實驗、運維5個主題技能集，以及對應頻次最高的15個技能詞，如表2所示。

3.4? 需求矩陣分析

按照崗位簇中所有崗位對每一個技能集需求程度的平均值歸一化[7]后，得到4個崗位簇對于5個技能集的需求矩陣表3和重要度指數表4（其中的重要度指數*的數量為表3數據整數部分）。

3.5? 結果可視化

將表4崗位簇技能集重要度指數可視化為桑基圖，如圖7所示，中間連接線寬度表示指數大小。分析可知：開發、軟件技能與軟件開發崗位簇強相關;軟件、測試、實驗技能與軟件測試崗位簇強相關;測試、實驗技能與大數據分析崗位簇強相關;而運維技能與網絡運維崗位簇強相關。由技能難度分析，4類崗位簇中軟件開發難度最大;而大數據分析崗位的技能難度相對較低，一定程度反映當前大數據分析崗位技能要求與專科層次水平差距較大。

4? LTP依存句法分析

本文使用哈工大的PYLTP分析算法如圖8所示，別對4類崗位簇進行主謂賓關系句法分析，精準抽取知識、技能和素質關系事實三元組，這里以軟件開發崗位簇分析為例，可視化輸出詞云圖如圖9所示。

分析詞云圖可知，4大崗位簇均涵蓋操作系統和服務器原理、數據庫原理、編程等知識技能，以及學習、溝通、協作、責任、服務等素質，以上可作為專業群平臺模塊。而項目經驗可作為拓展模塊納入人才培養方案中。以人才培養方案為基礎構建IT專業群組群邏輯如圖10所示。

5? 結? 論

本研究基于13+萬的崗位大數據，依次采用DBSCAN聚類分析、LDA主題模型、LTP依存句法分析，對崗位簇和技能集分別進行了大數據分析挖掘，以下為具體結論：（1）IT產業崗位占比整個崗位需求的36.6%;其中面向粵港澳大灣區城市占比33%;面向專科層次占比39%，故面向粵港澳大灣區城市群高職IT崗位需求數（占比）為5 800（4.5%）確保了專業覆蓋面和地域特色。（2）由表4可知：軟件開發崗位簇以開發、軟件技能培養為主;軟件測試崗位簇培養測試、軟件、實驗技能為主;大數據分析崗位簇培養測試、實驗技能為主;網絡運維崗位簇培養運維技能為主;以上較真實地反映了當前IT崗位對人才技能的需求，可作為IT專業（群）人才培養技能目標。（3）按照4類崗位簇對應4個專業（群），并結合5個技能模塊需求關系，加上平臺和拓展2個技能模塊，作為IT專業群組群邏輯圖10，并以此為基礎構建高水平專業群人才培養模式，能夠較好地適應IT產業對人才的需求。

參考文獻：

[1] 中共中央辦公廳 國務院辦公廳印發《關于推動現代職業教育高質量發展的意見》[EB/OL].[2021-12-12].http：//www.gov.cn/zhengce/2021-10/12/content_5642120.htm.

[2]打造現代化職業教育體系（人民時評） [EB/OL].[2021-12-12].http：//paper.people.com.cn/rmrb/html/2021-11/02/nw.D110000renmrb_20211102_1-05.htm.

[3] 李明慧，曾紹瑋.“雙高計劃”背景下高職教育質量提升的方向、難點與路徑 [J].教育與職業，2021（13）：42-47.

[4] 教育部辦公廳、財政部辦公廳關于開展中國特色高水平高職學校和專業建設計劃項目申報的通知 [EB/OL].（2019-04-19）.http：//www.moe.gov.cn/srcsite/A07/moe_737/s3876_qt/201904/t20190419_378876.html.

[5] 張新民，楊文濤.論高職院校專業群建設的組群邏輯 [J].職教論壇，2021，37（7）：6-12.

[6] 沈建根，石偉平.高職教育專業群建設概念、內涵與機制 [J].中國高教研究，2011（11）：78-80.

[7] 徐正麗，文博奚，謝梅英，等.基于大數據技術的AI崗位需求分析研究 [J].廣西科學，2021.28（3）：321-329.

作者簡介：劉邵宏（1972—），男，漢族，湖南邵陽人，副教授，工學碩士，主要研究方向：大數據技術、智能裝備設計與制造。