數(shù)據(jù)驅(qū)動下高校畢業(yè)生就業(yè)管理服務(wù)系統(tǒng)設(shè)計研究

趙鵬飛

摘? 要：在高校畢業(yè)生人數(shù)逐年遞增的大背景下，高校獲取的崗位信息與就業(yè)市場的需求不對稱的矛盾越顯突出。現(xiàn)階段大數(shù)據(jù)技術(shù)迅猛發(fā)展，開發(fā)數(shù)據(jù)驅(qū)動下的高校畢業(yè)生就業(yè)管理服務(wù)系統(tǒng)既可以為高校畢業(yè)生提供精準(zhǔn)的就業(yè)崗位推薦服務(wù)，又可以通過數(shù)據(jù)分析功能為高校學(xué)科專業(yè)設(shè)置和就業(yè)指導(dǎo)工作提供相應(yīng)依據(jù)，具有切實(shí)的理論和現(xiàn)實(shí)意義。

關(guān)鍵詞：數(shù)據(jù)驅(qū)動? ?高校畢業(yè)生? ?崗位推薦? ?數(shù)據(jù)采集

中圖分類號：TP311.52? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼：A文章編號：1672-3791（2021）07（a）-0099-03

Abstract： Under the background that the number of college graduates is increasing year by year， the contradiction between the job information obtained by colleges and universities and the demand of the job market is becoming more and more prominent. At this stage， with the rapid development of big data technology， the development of data-driven employment management service system for college graduates can not only provide accurate employment recommendation services for college graduates， but also provide corresponding basis for discipline setting and employment guidance in colleges and universities through data analysis function， which has practical theoretical and practical significance.

Key Words： Data driven; College graduates; Job recommendation; Data Collection

1? 背景

近些年，我國的高等教育發(fā)展迅速，招生人數(shù)逐年遞增，造成每年畢業(yè)生的數(shù)量增長迅猛。2001年全國大學(xué)畢業(yè)生數(shù)量約114萬，到了2021年，全國高校畢業(yè)生總?cè)藬?shù)已達(dá)到909萬，短短20年間翻了近8倍。2020年的統(tǒng)計數(shù)據(jù)顯示，全國高等教育的毛入學(xué)率達(dá)到54.4%，已經(jīng)實(shí)現(xiàn)了從大眾化到普及化的階段，全國高校在校生人數(shù)突破4 000萬。每年高考報名人數(shù)也是逐年增長，2021年全國高考報名1 078萬人，據(jù)此分析，在未來幾年內(nèi)的大學(xué)畢業(yè)生還會延續(xù)增長勢頭。與之相對應(yīng)的是，全社會所能提供的就業(yè)崗位增幅遠(yuǎn)遠(yuǎn)沒有達(dá)到高校畢業(yè)生數(shù)量的增幅，就業(yè)市場依然呈現(xiàn)“供大于求”的買方市場。“就業(yè)難”問題已經(jīng)成為國家和全社會共同關(guān)注的一個重要問題。

造成目前這種矛盾的原因，最重要的是結(jié)構(gòu)性矛盾。就業(yè)單位對于招聘崗位的需求與大學(xué)畢業(yè)生的能力存在很大差異性，這種差異給大學(xué)畢業(yè)生在求職上造成很大困難。如何解決這一結(jié)構(gòu)性矛盾，讓二者相互適應(yīng)，提高大學(xué)生就業(yè)核心競爭力，是整個高等教育界亟待解決的問題。

國內(nèi)很多高校都通過提高就業(yè)服務(wù)來緩解這一矛盾，通過建設(shè)高校畢業(yè)生就業(yè)管理服務(wù)系統(tǒng)來對就業(yè)相關(guān)的信息進(jìn)行采集、處理、分析、推薦和輔助決策功能。通過就業(yè)管理服務(wù)系統(tǒng)，高校就業(yè)指導(dǎo)管理部門可以通過采集到的學(xué)生信息和就業(yè)崗位信息進(jìn)行比對，通過多角度的精準(zhǔn)策略匹配，將適合某一畢業(yè)生的崗位精準(zhǔn)推薦給本人，幫助畢業(yè)生找準(zhǔn)自身定位，避免盲目就業(yè)，實(shí)現(xiàn)理性就業(yè)。同時，就業(yè)管理服務(wù)系統(tǒng)通過采集到的就業(yè)單位和就業(yè)崗位信息，能夠預(yù)測出當(dāng)下和未來一段時間內(nèi)就業(yè)市場的需求導(dǎo)向，這些信息需要反饋給高校教學(xué)部門做決策依據(jù)，調(diào)整專業(yè)設(shè)置和學(xué)科布局，提高所修課程與就業(yè)崗位的匹配度，提高畢業(yè)生的就業(yè)能力，進(jìn)而提高高校的就業(yè)率和畢業(yè)生的就業(yè)質(zhì)量。

數(shù)據(jù)驅(qū)動下的互聯(lián)網(wǎng)開辟了招聘的新渠道[1-2]。調(diào)查結(jié)果顯示，2019年有超過480多萬的用人單位通過互聯(lián)網(wǎng)招聘，方便快捷地為求職者提供了大量的就業(yè)崗位信息，大數(shù)據(jù)技術(shù)把招聘引入了信息化時代。互聯(lián)網(wǎng)招聘平臺的廣泛應(yīng)用，海量的就業(yè)崗位信息撲面而來，無關(guān)和無效的信息很多。在大規(guī)模復(fù)雜的就業(yè)信息中過濾出適合自身的工作崗位，需要通過大數(shù)據(jù)計算功能針對不同求職者進(jìn)行個性化推薦。另外，高校畢業(yè)生就業(yè)情況回訪不容樂觀，畢業(yè)生的參與度非常低，高校無法掌握畢業(yè)生職業(yè)發(fā)展動態(tài)。造成高校的學(xué)科和專業(yè)設(shè)置不能緊隨市場變化而調(diào)整，畢業(yè)生就業(yè)能力與社會實(shí)際需求對接不暢。所以，高校畢業(yè)生需要通過一個就業(yè)管理服務(wù)系統(tǒng)找到適合自己的崗位。另外，高校需要通過就業(yè)管理服務(wù)系統(tǒng)獲取到社會需求信息，用這些信息來輔助決策，包括學(xué)科專業(yè)設(shè)置、課程體系建設(shè)、培養(yǎng)方案制訂、就業(yè)指導(dǎo)方向等工作。現(xiàn)階段，各高校基本都有就業(yè)數(shù)據(jù)管理系統(tǒng)，但是大都功能簡單、傳統(tǒng)，無法滿足海量數(shù)據(jù)處理，效率較低。所以，設(shè)計開發(fā)一個數(shù)據(jù)驅(qū)動下的高校畢業(yè)生就業(yè)管理服務(wù)系統(tǒng)勢在必行。該系統(tǒng)不僅可以管理傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)，同時也可以對于各種非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行處理，將其格式化、歸類等操作，對每個畢業(yè)生不同情況數(shù)據(jù)進(jìn)行分析，將適合的就業(yè)崗位進(jìn)行個性化的推薦。同時，高校也將收集到的招聘信息進(jìn)行深度數(shù)據(jù)挖掘，從中分析當(dāng)前就業(yè)市場情況，預(yù)測未來就業(yè)導(dǎo)向，根據(jù)分析結(jié)果對該校學(xué)科專業(yè)建設(shè)做出科學(xué)的調(diào)整和規(guī)劃，輔助高校決策。

2? 研究框架

2.1 Spark數(shù)據(jù)處理框架

Apache Spark由美國加州大學(xué)伯克利分校的AMPLab實(shí)驗(yàn)室于2009年研發(fā)，用于提高數(shù)據(jù)處理速度、易用性、海量數(shù)據(jù)迭代運(yùn)算和復(fù)雜分析功能的數(shù)據(jù)并行計算處理框架，2010年該框架成為Apache的眾多開源項目之一。由于大量開發(fā)者和用戶的使用，圍繞Spark框架形成了一個數(shù)據(jù)處理生態(tài)圈。

2.2 硬件環(huán)境

數(shù)據(jù)驅(qū)動下高校畢業(yè)生就業(yè)管理服務(wù)系統(tǒng)設(shè)計研究（以下簡稱系統(tǒng)）的運(yùn)行須架設(shè)3臺服務(wù)器保障其順暢運(yùn)行[3-4]。每臺服務(wù)器均配置了Spark、Kafka和Flume框架，分別負(fù)責(zé)提供Web運(yùn)行服務(wù)、數(shù)據(jù)采集服務(wù)和具體業(yè)務(wù)服務(wù)。Web運(yùn)行服務(wù)器提供Web系統(tǒng)訪問服務(wù)，可以為用戶提供友好的訪問界面和功能;數(shù)據(jù)采集服務(wù)器用于從網(wǎng)絡(luò)中采集就業(yè)崗位信息;具體業(yè)務(wù)服務(wù)器用來用來管理和分析就業(yè)崗位信息，具體內(nèi)容如圖1所示。

2.3 軟件環(huán)境

系統(tǒng)在Linux操作系統(tǒng)下運(yùn)行，版本為Ubuntul6.04。數(shù)據(jù)采集功能的開發(fā)框架是Python語言的Scrapy框架，數(shù)據(jù)庫系統(tǒng)采用MongoDB來存儲數(shù)據(jù)。具體業(yè)務(wù)服務(wù)器在Spark、MLlib、Spark Streaming組件下開發(fā)設(shè)計，并使用Flume、Zookeeper、Kafka等開發(fā)軟件。

3? 系統(tǒng)總體功能設(shè)計

數(shù)據(jù)驅(qū)動下的高校畢業(yè)生就業(yè)管理服務(wù)系統(tǒng)根據(jù)其功能可劃分為四大模塊，分別為用戶信息管理模塊、數(shù)據(jù)采集模塊、崗位推薦模塊、數(shù)據(jù)分析模塊。每個模塊下又分別有若干子功能。

3.1 用戶信息管理模塊設(shè)計

該模塊的功能用于用戶的注冊和登錄服務(wù)，對于用戶信息管理和關(guān)于用戶信息的各種配置功能[5-6]。整個系統(tǒng)采用B/S模式設(shè)計，用戶界面友好。當(dāng)新用戶初次打開系統(tǒng)主界面時，必須注冊個人信息。系統(tǒng)采用郵箱、密碼和驗(yàn)證碼三重認(rèn)證注冊模式，當(dāng)新用戶正確填寫之后，系統(tǒng)會將一個帶有校驗(yàn)功能的郵件發(fā)送到新用戶注冊的郵箱地址中，新用戶打開郵件并進(jìn)行激活，這時就注冊完成了。注冊完成后，即可登錄系統(tǒng)，如遺失密碼，可點(diǎn)擊“忘記密碼”進(jìn)行找回。找回后再次登錄，更新密碼。系統(tǒng)會自動比對用戶名和密碼，完成登錄。

登錄系統(tǒng)后，進(jìn)入用戶個人信息界面，用戶可以進(jìn)行編輯和修改個人信息，制作和修改個人簡歷，收藏部分就業(yè)崗位信息等操作。此模塊中還設(shè)計系統(tǒng)與用戶交互功能，用于接收系統(tǒng)發(fā)送的消息，并且可以發(fā)送消息給系統(tǒng)管理員。

3.2 數(shù)據(jù)采集模塊設(shè)計

該模塊的功能主要由采集參數(shù)配置功能、數(shù)據(jù)采集功能和數(shù)據(jù)預(yù)處理功能組成，在這3個功能中，數(shù)據(jù)采集功能和數(shù)據(jù)預(yù)處理功能是系統(tǒng)內(nèi)嵌功能，在后臺自動運(yùn)行，需要進(jìn)行交互的只有采集參數(shù)配置功能，系統(tǒng)管理員可以通過配置Python網(wǎng)絡(luò)配置爬蟲的參數(shù)來完成數(shù)據(jù)采集和預(yù)處理工作。可配置的參數(shù)如下。

3.2.1 是否多線程采集

采用多線程采集會大大提高數(shù)據(jù)采集效率，但非常耗費(fèi)系統(tǒng)資源;如不采用多線程則節(jié)省系統(tǒng)資源，但會影響采集的效率。

3.2.2 是否定時爬取

系統(tǒng)提供設(shè)置定時爬取數(shù)據(jù)開關(guān)，可以根據(jù)網(wǎng)絡(luò)負(fù)載時段來配置爬取時段，以免影響正常網(wǎng)絡(luò)運(yùn)行。

3.2.3 選擇數(shù)據(jù)來源

系統(tǒng)提供崗位信息數(shù)據(jù)來源設(shè)置，可以專門針對某些網(wǎng)站進(jìn)行采集。

3.2.4 設(shè)置崗位數(shù)量

系統(tǒng)提供針對崗位類別、崗位區(qū)域設(shè)定數(shù)量采集。

3.3 崗位推薦模塊設(shè)計

該模塊的功能是將崗位精準(zhǔn)地推送給畢業(yè)生用戶，包括離線推薦和實(shí)時推薦兩種模式。

3.3.1 離線推薦

離線推薦是基于用戶在系統(tǒng)上制作的簡歷為數(shù)據(jù)來源，根據(jù)簡歷中的個人信息與采集到的崗位進(jìn)行精準(zhǔn)匹配，為畢業(yè)生用戶推薦崗位列表。

3.3.2 實(shí)時推薦

實(shí)時推薦的數(shù)據(jù)來源于用戶實(shí)時日志文件。系統(tǒng)通過推薦引擎分析用戶日志，將當(dāng)前熱門崗位列表實(shí)時推薦給畢業(yè)生用戶。

3.4 數(shù)據(jù)分析模塊設(shè)計

該模塊的功能主要是針對崗位信息進(jìn)行分析。由數(shù)據(jù)采集模塊采集到的崗位信息包含很多重要隱含信息，通過數(shù)據(jù)挖掘算法，從中可以獲取到當(dāng)前招聘市場的熱點(diǎn)，從而輔助高校的教學(xué)、科研和就業(yè)指導(dǎo)工作。

3.4.1 就業(yè)熱點(diǎn)分析功能

對采集到的崗位介紹文本內(nèi)容通過其主題進(jìn)行聚類分析，提取出磁盤最高的熱點(diǎn)信息，經(jīng)過數(shù)據(jù)可視化功能呈現(xiàn)出來，輔助高校對于學(xué)科和專業(yè)方向做出及時調(diào)整，以適應(yīng)就業(yè)市場需求。

3.4.2 關(guān)聯(lián)規(guī)則挖掘功能

在崗位信息關(guān)聯(lián)挖掘功能中，畢業(yè)生用戶可按照單位類型、所在地區(qū)、產(chǎn)業(yè)趨勢、薪酬水平等變量通過FP-Growth算法進(jìn)行挖掘活動，得到各變量的關(guān)聯(lián)性分析。

3.4.3 數(shù)據(jù)統(tǒng)計分析功能

該功能是針對采集到的崗位信息進(jìn)行全面統(tǒng)計分析，得到崗位信息中的學(xué)歷變量、薪酬變量和工作經(jīng)驗(yàn)變量進(jìn)行統(tǒng)計、分析，通過數(shù)據(jù)可視化工具展示出來，供畢業(yè)生用戶參考。

4? 結(jié)語

該文論述了數(shù)據(jù)驅(qū)動下高校畢業(yè)生就業(yè)管理服務(wù)系統(tǒng)的設(shè)計與開發(fā)，主旨是為了解決高校畢業(yè)生就業(yè)崗位推薦不精準(zhǔn)和高校獲取就業(yè)市場信息不明確的問題。通過該系統(tǒng)對海量就業(yè)崗位數(shù)據(jù)的采集、統(tǒng)計、挖掘、分析和可視化等功能，給高校畢業(yè)生和高校就業(yè)管理人員提供基于數(shù)據(jù)的決策輔助，提高了高校的就業(yè)管理和服務(wù)水平。

參考文獻(xiàn)

[1] 韓茹，劉建棟.當(dāng)代大學(xué)生面臨的就業(yè)困境及解決途徑分析[J].理論觀察，2019，1（9）：139-41.

[2] 湯志鴻.面向高校大學(xué)生的職位推薦系統(tǒng)的功能設(shè)計與實(shí)現(xiàn)[D].南京：南京郵電大學(xué)，2019.

[3] 田寧.基于大數(shù)據(jù)的高校就業(yè)信息服務(wù)系統(tǒng)的設(shè)計與實(shí)現(xiàn)[D].石家莊：河北科技大學(xué)，2020.

[4] 雷遠(yuǎn).高校學(xué)風(fēng)建設(shè)在微信平臺的應(yīng)用探究[J]智庫時代，2019（3）：178，180.

[5] 蔣漪漣，王勝，宋凱.基于Web的分布式教學(xué)資源庫系統(tǒng)的研究與實(shí)現(xiàn)[J].自動化技術(shù)與應(yīng)用，2018，37（9）：47-51.

[6] 劉海濱，楊曉慧.高校大學(xué)生智慧就業(yè)服務(wù)體系構(gòu)建研究[J].思想政治教育研究，2018，34（2）：148-154.