基于互聯網大數據的招聘數據智能分析平臺

秦玥　朱繼威　董哲清

摘? 要：國家教育事業發展迅猛，畢業生人數連年攀升。尤其是受疫情影響，就業形勢嚴峻，給畢業生帶來了巨大的挑戰。因此，了解企業招聘要求，實時獲取招聘信息十分關鍵。本文采用hadoop集群作為數據清洗的環境搭建大數據平臺，Tomcat服務器，Vue作為前端框架設計了一套基于互聯網大數據的招聘數據智能分析平臺，對主流企業的招聘信息進行分析和整理，并利用可視化技術展示幫助畢業生們能夠了解互聯網行業的趨勢和要求，提供適合的崗位。

關鍵詞：招聘;大數據;智能分析;可視化

引言

據教育部統計，2020屆高校畢業人數高達874萬人，再創歷史新高[1，2]。尤其是受到新冠肺炎，經濟下滑等多種因素的影響，就業形勢十分嚴峻，畢業生們面臨著巨大的就業壓力。值得注意的是，在《2020應屆生畢業生春招求職報告》，中我們了解到，在各行業新增的應屆畢業生人數來看，互聯網行業應屆生占比最高，無疑加大了互聯網行業人才市場的競爭，解決高校畢業生就業成為了一個熱點問題。

隨著網絡時代的到來，每天都有海量的信息鋪天蓋地而來。一方面為人們提供了大量選擇的機會，但另一方面，信息的冗余也增大了人們篩選的難度[3]。傳統招聘的數據采集和分析光靠人工收集并采用普通的方式進行分析十分的浪費人力和物力，效率不高，用戶體驗效果不好。

針對上述問題，本文設計了一套基于互聯網大數據而招聘數據智能分析平臺，運用大數據技術，對當前主流企業的招聘信息進行分析和整理，提煉出畢業生最關心最感興趣的部分，并利用可視化技術將這些內容以一種簡潔清晰的方式展現出來。在此平臺，畢業生們能夠了解到當前互聯網各行業的趨勢以及當前企業對畢業生的期望和要求;同時還能根據自身的條件，獲取到適合自己的崗位信息。

1系統設計框架

本系統主要采用hadoop集群搭建大數據平臺，并將事先采集到的數據加載到Mapreduce中清洗，再載入至hive數據表中，對其進行統計和分析，并將結果通過hive表保存至hbase中。再通過tomcat服務器訪問獲取hbase中的數據打包成json格式，通過前端頁面展示出來，具體設計框架如圖1所示：

2具體實現方案

2.1 數據分析

在hadoop大數據集群環境搭建完畢后，進入數據處理的階段。首先將csv數據文件裝載到hdfs文件系統中并編寫相應的MapReduce進行數據的初步清洗。將初步的清洗結果通過hdfs文件系統載入至hive表格當中進行數據的統計與分析。并將統計結果存入hive表。

2.2 數據展示

在處理好數據后，創建web項目。通過啟動tomcat服務器訪問hbase獲取hive統計好的數據，并打包成json格式，方便前端實時訪問數據。當前端獲取到數據后，對其進行解析利用echarts可視化工具進行展示。在前端頁面展示中主要通過“工作薪資”，“地區”，“招聘所學技能點”，“招聘影響因素”等方面進行展示。

2.3 職位推薦

根據用戶對相關知識技能的專業程度對用戶進行畫像，再根據職位對用戶的相關知識技能的專業程度要求對職位進行畫像。在前面的大數據分析過程中，已經分析出了各職位標簽分類的技術熱詞以及數量，利用大數據分析結果，對每個專業領域的技能要求進行重要程度的分析，再根據不同職位所屬大類對各種不同知識技能的重要程度的分析，利用層次分析法計算在用戶和職位中不同知識技能所占的比重，利用這個比重衡量用戶畫像和職位畫像的和適度，和適度前幾位的職位信息將被推薦給用戶。

3系統測試

本文主要是針對算法和主要功能點進行測試，通過設計測試用例判斷程序的邏輯、功能是正確實現。測試結果與分析如表1所示：

4總結展望

本系統充分利用了大數據技術解決了傳統數據采集和分析所帶來的不便，通過前端可視化的展示讓用戶直觀了解招聘信息，為畢業生提供了一定的就業幫助。但是仍有不足的地方需要改進，在之后的工作中，我們將采集更多的招聘信息，優化推薦算法，為高校畢業生提供更精確的推薦服務。

參考文獻

[1]楊紫，劉凱，王樂樂.后疫情時代高校畢業生就業意愿的變化分析及對策研究[J].中國商論，2021（08）：187-189.

[2]黃宇飛.大學生就業現狀及對策研究[J].青年與社會，2020（17）：130-131.

[3]馬曉超.“互聯網+”時代高校人才招聘新思考[J].科技經濟導刊，2020，28（24）：163-164.