大數據環境下基于Python大學生就業指導的數據可視化

宋文杰

(青島工學院, 信息工程學院, 山東, 青島 266000)

0 引言

大數據對大學生就業形勢的分析、政策的制定、就業效勞與就業指導、大學生職業開展規劃等方面具有深遠的影響,對促進當代大學生充分就業具有重要意義。本文依托互聯網平臺,運用大數據技術,構建了以大數據信息采集為基礎的“互聯網+求職招聘、互聯網+就業分析”系列分析方法,可有效幫助大學生利用就業數據信息,提升自身就業籌碼,有助于高校通過聯動數據信息完善就業效勞體系,助力我國建立大型就業數據庫,精準制定就業政策。[1]

1 網絡爬蟲獲取招聘信息

1.1 需求分析

網絡招聘[2]是效果最快而且成本最低的一種招聘渠道。因此,對網絡招聘信息進行分析研究,了解企業崗位需求特點 與趨勢,對大學生求職與就業指導有著非常重要的意義。利用爬蟲技術可以很好地進行數據分析。這里以BOSS直聘網為實例,對如何使用網絡爬蟲技術高效地獲取信息進行深入探討與研究[3]。

首先從招聘網頁面中獲取每一頁的崗位名稱、薪資、學歷、經驗、工作地點、公司、公司類型等基本信息。

本文在爬取BOSS直聘網時,通過循環的方式爬取不同的頁面。

1.2 模塊設計

通過for循環的方式爬取不同頁面的思路為首先輸入想要爬取的頁數,然后網頁通過requests庫獲取源代碼,對獲取到的網頁源代碼通過lxml庫中的Xpath對每個目標字段進行解析,最后將獲取的字段信息存儲至MySQL數據庫中[4]。代碼設計思路如圖1所示。

圖1 獲取BOSS直聘網全國職位的爬取思路

獲取存儲在數據庫中的數據,通過DataFrame()來對獲取到的數據進行分析與處理[5]。圖2為獲取數據庫中的數據及處理數據的方法[6]。

圖2 連接數據庫及DataFrame數據處理方法

1.3 爬取結果

設計好爬取流程后,將對BOSS直聘網中北京、廣州、杭州、上海等熱門城市的所有職位進行信息采集,共獲得60 516條數據,爬取的部分數據如表1所示。

表1 全國熱門城市職位數據部分截圖

2 數據分析

2.1 全國熱門地區招聘人數分析

根據BOSS直聘網中的熱門城市,畫出其相對應所在省的招聘人數分布圖,如圖3所示。

圖3 全國熱門地區其所在省/市招聘人數分布圖

從圖3中可以看出,招聘人數最多的地方,主要分布在浙江省、北京市。雖然只是對其中的一個城市進行分析,但作為直轄市或省的核心城市,可以很好地對工作崗位招聘人數進行分析。一個省或直轄市中核心城市的發展,必然會對直轄市或省帶來高效快速的發展。

2.2 全國熱門地區崗位排名前50數據分析

通過詞頻統計的方法對全國熱門地區排名前50崗位進行分析,如圖4所示。

圖4 全國熱門城市排名前50職位餅圖

從圖4中可以看出,Java、Java開發工程師、前端開發工程師、測試開發工程師是急需的,高校應該開設這方面的課程,以培養企業與國家所需要的人才。

2.3 全國熱門地區排名前15崗位薪資分析

薪資是當代大學生選擇崗位的首選,圖5是BOSS直聘網-熱門城市排名前15崗位薪資的情況分析。

圖5 全國熱門城市排名前15崗位薪資情況折線圖

從圖5中可以看出,全國熱門城市排名前15崗位薪資在22～50 K/月范圍之間,而且排名前15的大部分是工程師。

2.4 全國熱門城市學歷要求分析

學歷是企業招聘人才的第一個選擇因素,把握好新時代各企業招聘的學歷要求是很有必要的。圖6為全國熱門城市學歷分析的情況。

圖6 全國熱門城市排名前25學歷要求漏斗圖

從圖6中可以看出,崗位招聘要求經驗與學歷在3～5年本科的占比最高,在校/應屆本科處于中等水平,要想在全國熱門城市中找到一個崗位,門檻是比較高的,高校應該在加強當代大學生學好專業知識的基礎上多開展一些校企合作,培養當代大學生的實踐能力。

2.5 全國熱門地區招聘人數分析

為了清晰地看出當前熱門的崗位,圖7為全國熱門城市職位熱詞情況分析。

圖7 全國熱門城市職位熱詞

從圖7中可以看出,工程師崗位在全國熱門城市中的需求占比較大,對于這種崗位需求,建議當代大學生多參加資格證的考試,多做一些實戰的項目,從這些項目中不斷地提升自己,完善自己。

3 實際應用

3.1 實習生招聘

通過對一些企業招聘大學生相關崗位的調查,發現了在招聘崗位的過程中,工程師崗位所對應的薪資是最高的;而且對調查中的所有數據做一個綜和分析排名,并將排名前6的崗位所對應的薪資做了條形圖(見圖8),這樣能夠更加直觀的看出崗位與薪資之間的對應關系。

圖8 實習生招聘崗位待遇

3.2 大學生課程開展

通過對中國大學慕課中對工程師崗位的分析,統計了各大學在2021年開展該崗位相關的課程,圖8為大學慕課中高校開展該崗位的相關課程數的分析。

從圖9中可以看出,各名牌大學更加的注重技術手段方面的研究性人才及培養大學生的動手實操能力。

圖9 高校及工程師相關課程開課數量

3.3 大學生就業幫助

大學生就業一直是社會關注的熱點問題。隨著社會的不斷發展和技術的迅速進步,大學生在就業市場上面臨著新的挑戰和機遇。以下幾點建議希望能夠更好地幫助大學生就業。

第一:注重技能的培養。大學生在就業市場上需要具備實際的技能和知識。在本文圖中可以看出,工程師等技術崗位的需求相對較高。因此,高校應該加強技術類課程的開設,為學生提供必要的技能培訓。關于技能培養應該從以下幾個關鍵要點出發。

(1) 專業知識和實踐技能培訓。高校應該確保他們的課程涵蓋最新的行業趨勢和技術,以確保學生獲得實際工作所需的技能和知識。

(2) 實習和實踐機會。學生應該有機會參與實際項目、實習和研究,以將理論知識轉化為實際經驗。這有助于他們更好地適應職業生涯。

(3) 資格證書考試。考取與自己領域相關的資格證書可以增加競爭力,因此高校應鼓勵學生參加相關考試。

(4) 編程思維和解決問題能力。技術類崗位通常需要學生具備優秀的編程思維和解決問題能力,因此高校可以開展編程競賽和培訓,幫助學生培養這些重要技能。

第二:做好職業導向。除了技能培養,大學生還需要明確的職業導向,以更好地規劃他們的職業生涯。關于職業導向應該從以下幾個關鍵要點出發。

(1) 職業咨詢和指導。高校可以提供職業咨詢服務,幫助學生了解各種職業選擇,并根據個人興趣和能力制定職業規劃。

(2) 實習和實踐經驗。學生應該有機會參與實際項目和實習,以更好地了解他們感興趣的領域,并確認自己的職業興趣。

(3) 就業展會和招聘活動。高校可以定期組織就業展會和招聘活動,使學生能夠與潛在雇主建立聯系并了解不同公司的需求。

(4) 校企合作。與企業的合作可以為學生提供實際項目機會,并幫助他們建立職業網絡。

第三:注重綜合發展。綜合發展是培養當代大學生的重要方面,不僅要培養他們的技術能力,還要關注他們的綜合素養。關于綜合發展應該從以下幾個關鍵要點出發。

(1) 綜合素質教育。高校應該鼓勵學生參與綜合素質教育項目,如文化、體育、志愿服務等,以培養學生的全面素養。

(2) 領導力和團隊合作。學生應該有機會參與領導團隊或合作項目,培養領導力和團隊合作能力。

(3) 創新和創業。高校可以鼓勵學生參與創新和創業項目,培養創新精神和創業技能。

(4) 跨學科學習。學生可以嘗試跨學科學習,了解不同領域的知識和技能,以拓寬視野。

第四:加強政府、高校和企業的協作。關于加強政府、高校和企業的協作應該從以下幾個關鍵要點出發。

(1) 政府政策支持。政府可以通過政策和資金支持高校的職業發展和創新項目。

(2) 高校與企業合作。高校可以積極尋求與企業的合作機會,為學生提供實際項目和實習機會。

(3) 就業培訓。政府和企業可以提供就業培訓和導向服務,以幫助大學生更好地準備職業生涯。

(4) 就業數據分析。政府和高校可以共同進行就業市場數據分析,以了解市場需求和趨勢,為學生提供有針對性的建議。

總之,大學生的就業幫助需要綜合考慮技能培養、職業導向和綜合發展,以及政府、高校和企業的合作。通過這些努力,我們可以更好地為當代大學生提供就業支持,幫助他們在競爭中找到屬于自己的天地。

4 總結

本次爬蟲項目以BOSS直聘網的互聯網模塊的招聘信息為例,進行了基于Python的網站爬取以及對應的數據分析,對于這個職業的各地區分布情況分析和薪資情況進行分析,目的是分析各地數據,將互聯網行業的招聘信息進行可視化展示,為以后大學生的就業進行了基礎鋪墊,可以少走應聘彎路。

項目主要工作是通過requests庫和lxml庫進行爬取數據以及利用Pyecharts庫來進行分析,最終實現可視化的數據分析。

在實驗過程中,還有許多不足的地方,比如爬蟲的部分可以通過Scarpy框架來完成,可以更加的專業化,解析的字段可以增加一些,這樣更加利于后期的數據分析,讓數據分析的結果更加有說服力。

在做完整個項目后,不僅對爬蟲的技術有了更加牢固的掌握,真切感受到數據分析的重要性,數據分析就是對某一數據進行詳細的分析,即用適當的統計分析方法對所收集來的大量數據進行分析,從而提取有用信息,從而形成結論并對數據加以更為詳細的研究和概括總結。數據分析工作在企業運營的時候還能夠及時的發現出企業自身的問題,對于業務運營過程中可能會出現的問題作預警,還能對企業未來發展方向的預測,這都是十分重要的。