軟件人才需求分析系統的研究

四川信息職業技術學院軟件學院 周建儒

應用大數據技術從知名招聘網站采集軟件技術人才的招聘信息，然后針對具體專業技術領域，分析目前人才市場需求的技術熱點、人員需求量、工作經驗等信息，并根據這些數據，設計不同專業方向的專業課程體系和核心課程中應含有的關鍵技術。這樣能使人才培養與行業發展和企業實際人才需求緊密銜接。實踐證明，用大數據技術輔助專業人才培養方案的設計是科學而有效的方法。

1 背景及系統需求

人才培養方案是高職院校實施專業人才培養的基本依據，發揮著至關重要的作用。2019年教育部發布的《關于職業院校專業人才培養方案制訂與實施工作的指導意見》明確指出，職業院校要緊跟產業發展趨勢和行業人才需求，建立健全行業企業、第三方評價機構等多方參與的專業人才培養方案動態調整機制。人才培養方案要與行業發展相契合。四川信息職業技術學院（以下簡稱我院）每年要召開專業建設研討會，邀請企業的專業技術人員、行業專家參加人才培養方案的研討和修訂工作，聽取專家的意見，并確定專業核心課程及關鍵技術。但是，這個過程中也存在一些問題。第一，由于專家自身對專業領域了解的不夠全面，所以，提出的意見也有片面性。第二，由于專家從事技術領域不同，有時會針對同一個問題提出相互矛盾的意見。第三，人才培養方案的制訂受主觀因素影響較大，而且缺乏科學論證。要使人才培養方案更加科學并具有前瞻性，就必須有大量的實際數據做支撐，這些數據可以從知名招聘網站上爬取，比如前程無憂、智聯招聘、拉鉤網等。爬取的數據包括，崗位名稱、公司名稱、工作地點、學歷要求、經驗要求、薪資、職位描述、公司行業等。將爬取的數據存儲在數據庫中，然后進行數據預處理，最后分析數據，得出與工作崗位相對應且需求廣泛的專業技術、專業知識、專業課程。這些具體的技術需求，就是修訂人才培養方案中專業課程體系的依據。這樣做的目地是使學校傳授的專業知識與企業實際需求相銜接。

2 系統設計

軟件人才需求分析系統是使用python語言，基于Scrapy框架編寫完成。系統有四個模塊，分別是數據爬蟲模塊，數據存儲模塊，數據預處理模塊，數據分析模塊。

2.1 爬蟲設計

Scrapy是一個開源爬蟲框架，它是為了爬取網站數據、提取結構性數據而編寫的應用框架。它已經為用戶實現了基礎的必要功能，用戶可以在框架的基礎上根據自己的需求進行快速開發，實現具體的應用需求。該框架由引擎、調度器、下載器、Spiders、Item Pipelines、下載器中間件、Spider中間件構成，每個組件有不同的分工與功能。

Scrapy Engine：引擎是框架的核心，負責控制數據流在系統的所有組件中流動，并在相應動作發生時觸發事件。Scheduler：調度器主要作用是存儲待爬取的網址，并確定這些網址的下載優先級。Downloader：下載器是對網絡中要爬取的頁面資源進行下載，然后將這些數據傳輸給引擎，再由引擎傳遞給對應的爬取器進行處理。Spiders：爬取器是用戶編寫的用于分析Response并提取Item或額外跟進的URL的類。每個爬取器負責處理一個特定網站，用戶可以根據自己的實際需求增加特定的爬取器。

在知名招聘網站上主要針對6個技術領域（Java、PHP、Python、HTML5、web前端、運維工程師）采集數據。數據包括公司名稱、公司行業、公司規模、學歷要求、工作經驗、職位描述、薪資等。為了采集這些數據，首先要分析目標網站的網頁層次結構和頁面地址的命名規律，以便進行連續多個頁面的數據爬取；然后分析網頁源代碼，定制爬取規則，并使用Xpath或者Beautiful Soup準確定位網頁源碼中的數據元素；最后是從調度器中取出每個URL交給引擎，爬取需要的數據。

2.2 數據存儲

使用Scrapy框架編寫的爬蟲程序從招聘網站采集到的數據大多是非結構性的數據，Scrapy將解析的結果以字典的形式返回，但是python中字典缺少結構，在爬蟲系統中使用不方便。可以使用Scrapy.Item類，Item提供了類似于字典的API，可以聲明字段，保存結構化的數據。爬取的數據通過Item文件對數據進行格式化處理后，保存在MySQL數據庫中。

2.3 數據預處理

數據清洗是數據預處理的第一步，是提高數據質量的有效方法。數據清洗的主要任務是提高數據的可用性，去除噪聲、無關數據以及空值等。

數據清洗的基本規則：第一，去掉關鍵數據中的缺失值；第二，在一個區間內取值的數據用平均值替換，例如工作經驗1-3年，就用浮點數2.0替換；第三，薪資轉換為浮點數；第四，用jieba庫對“崗位描述”進行分詞，取出專業技術的關鍵詞，例如Python、Redis、MongoDB等。將數據保存到Pandas庫的DataFrame里，并按照清洗規則進行數據清洗。

將清洗后的數據逐條取出并構造出多個列表，例如公司列表、職位描述列表、薪資列表、工作經驗列表、招聘人數列表等。然后，遍歷每個列表，并通過定位或者包含字段或者正則表達式等方法，可以統計出需要的關鍵數據。

2.4 數據分析

將不同招聘網站的數據進行處理，轉換成統一格式之后，可以使用Spark、Mapreduce等框架對數據進行統計和分析。Apache Spark是一個適合大規模數據處理，快速通用的計算引擎，它是一種基于內存分布數據集的開源集群計算環境，不僅提供交互式查詢，還可以優化迭代工作負載。Mapreduce是面向大數據并行處理的計算模型。在本系統中分析統計的數據有公司列表數據、職位描述列表數據、薪資列表數據、工作經驗列表數據、招聘人數列表數據等。其中核心是分析職位描述列表數據，包括專業技術要求、崗位職責、學歷條件、招聘人數、工作地點等。通過數據分析獲得每個專業方向目前市場需要的熱點技術是哪些、需求量、區域分布、薪資水平、工作經驗、公司規模及從事行業等詳細信息。這些數據將為專業人才培養方案的設計提供有力的數據支撐。

3 系統應用

軟件人才需求分析系統從招聘網站采集軟件技術專業多個技術領域的人才需求數據，包括公司名稱、公司行業、工作經驗、招聘人數、職位描述等。將采集到的數據保存在數據庫中，然后進行數據清洗和數據預處理，對數據進行分析。主要是針對每個技術領域分析該領域內企業需要掌握哪種技術的人才，需求量是多少，以及從事該崗位工作的基本條件和要求。例如工作經驗、職業素養、學歷條件等。通過分析這些數據就能掌握目前該技術領域的技術熱點、市場需求情況、經驗要求等情況。根據這些情況確定每個專業方向的辦學規模，以及應該開設的專業技術核心課程、職業素質拓展類課程等。從而為專業人才培養方案的制訂提供必要的數據支撐。這樣可以有效的避免目前在人才培養方案設計過程中存在的行業信息來源比較局限，來自企業的專家由于各自從事技術領域不同而意見不一致等問題。用大數據分析技術輔助專業人才培養方案的調研和設計過程，從而科學有效地解決了以上問題，提高了人才培養方案設計的科學性，使人才培養方案與企業的實際需求緊密融合，使專業人才培養緊跟產業發展趨勢和行業人才需求。

使用Scrapy框架和MySQL數據庫設計了軟件人才需求分析系統，該系統具有數據采集、數據存儲、數據預處理、數據分析等功能，主要是從知名招聘網站采集軟件技術專業多個技術領域的企業招聘信息，分析這些信息中的關鍵數據，為我院軟件技術專業群各個專業方向人才培養方案的制訂（修訂）提供科學分析和方向指導，其目的是使專業人才培養緊跟行業發展趨勢，專業技術要點以及專業課程體系與目前企業技術人才需求緊密結合，進而達到學校傳授的技術更加有用、適用，提高學生的就業質量。該系統目前已經應用在軟件技術群專業2019級人才培養方案的設計中，目前2019級的部分學生已經進入企業實習，2021年12月份將進行頂崗實習，目前軟件專業97%的同學已經找到合適的企業進入專業實習，從企業的反饋信息分析，實習效果良好。這也說明了該系統在人才培養方案設計方面發揮了積極作用。同時也驗證了將大數據技術應用在專業人才培養方案設計的方法是科學有效的，值得推廣。