基于推薦系統的大學生就業的研究

尚衍亮

摘 要：隨著中國經濟的騰飛，互聯網行業進入發展的快車道，招聘網站如雨后春筍般出現，一時間互聯網上充斥著大量的招聘信息。為解決當前環境下招聘信息數量龐大，數據分散，學生無法及時獲取到適合的招聘崗位的問題，提出了基于語義分析的就業推薦系統。利用python網絡爬蟲抓取各大網站的招聘信息，將招聘信息匯總，避免了招聘信息的分散。使用分詞技術，將爬取到崗位信息進行分詞，結構化處理，計算招聘崗位之間的相似度，提高崗位推薦的準確率。通過對現抓取的所有數據進行評測，實驗結果表明，該方法可以準確的找出相近的崗位。

關鍵詞：推薦系統數據挖掘高校就業

一、研究背景

近年來我國招聘行業發展迅速，然而，如何使求職者全面充分了解真實的用人單位需求，如何讓用人單位能更加便捷高效的匹配到所需的人才，一直都是社會多方人士所考慮的問題。與此同時，大學生在求職過程中始終存在著技能與崗位不匹配的問題，雙方信息的不對稱，也大大增加了招聘的成本。招聘行業的轉型，已經成為了一個亟待解決的問題。

國家統計局數據顯示，全國目前共有在校大學生2695.8萬，用戶規模大，這使得技能共享的市場十分廣闊，同時，據央視報道，到2020年，高端技術人才缺口將會達到2200萬，這表明社會對于技能型人才的需求也在日益增長。那么，構建一個完備的，針對大學生技能共享提升、智能求職的平臺，是尤為重要的。

就業推薦，是指根據用戶的信息和企業的信息，借助相關技術，給用戶推薦合適的企業，給企業推薦合適的員工。用戶在瀏覽就業信息網站的時候，面臨的企業如此之多，如何在眾多的企業中找到自己合適的崗位，要花很長的時間去尋找，同樣，企業也面臨同樣的問題，如何在眾多的應聘者中找到自己合適的人選，要花很長的時間去尋找。網站提供了數千萬個企業，用戶卻只能使用分類瀏覽、分類導航、搜索等此類通用的網站工具來搜索信息。這就要求用戶對所要搜索的企業有相當清楚的了解和把握。然而面對如此眾多的企業，絕大多數的用戶基本不會有效整合網站信息資源的，這就很容易出現所謂的“信息迷航”。諸如此類現象：網站存在有用戶需要的企業，然而用戶卻沒有找到，或找到的企業不是最適合自己的。

二、主要技術

1.推薦系統

推薦系統產生推薦列表的方式通常有兩種：協同過濾以及基于內容推薦，或者基于個性化推薦。協同過濾方法根據用戶歷史行為（例如其購買的、選擇的、評價過的物品等）結合其他用戶的相似決策建立模型。這種模型可用于預測用戶對哪些物品可能感興趣（或用戶對物品的感興趣程度）。基于內容推薦利用一些列有關物品的離散特征，推薦出具有類似性質的相似物品。

2.結巴分詞

結巴分詞開源的中文分詞工具，主要使用三種算法進行分詞：1.基于前綴詞典實現高效的詞圖掃描，生成句子中漢子所有可能成詞情況所構成的有限無環圖（DAG）;2.采用了動態規劃查找最大概率路徑找出基于詞頻的最大切分組合;3.對于為登錄詞，采用了基于漢字成詞能力的 HMM 模型，使用了 Viterbi 算法。

三、語義文本的獲取

1.目前主流的招聘網站有十多家，每天的招聘崗數量有幾十萬條，如果采用手工抓取的話，既耗時又耗力。于是采用了python爬蟲技術，利用自建的爬蟲框架，構建自動崗位信息抓取工具，這樣既省時又省力，并且將抓取到的數據存放于數據庫中，方便隨時使用。同時在抓取的時候，按照職位種類抓取，這樣可以以保證抓取的數據已經存在于一個較大的聚類中了。

2.主要抓取的數據包括 ：崗位名稱，公司，工作地點，學歷要求，工作經驗，性別，最低薪資，最高薪資，職位種類，崗位職責等。

3.系統架構

四、語義文本的建立

根據已經抓取到的招聘信息，我們可以發現，抓取回來的信息主要可以分為兩類，一種是具體的屬性，比如學歷要求，工作經驗等信息，另一種是崗位職責。由此我們在建立語義文本的時候分為兩類建立。

1.一級語義文本的建立及處理

1.1建立

在進行一級語義文本建立時，我們采用了自頂而下的構建方式，并將部分信息剔除。我們將崗位名稱，工作地點，學歷要求，工作經驗，性別，薪資定義為頂級屬性，而后在進行二級定義，而例如學歷就擁有二級屬性：專科，本科，碩士，博士。最終建立所需的的語義文本如下圖（4.1）

1.2 處理處理過程將按照表格中的數據選擇性的列舉：

1.2.1 崗位名：例如初級java工程師;中級java工程師;高級java工程師，這三個崗位雖然屬于java類崗位，但是對于java的水平要求卻不一樣。因此需要對崗位名稱進行分詞。提取出關鍵的信息，這樣在進行崗位相似度比較的時候，更準確。下表是結巴分詞的效果：

1.2.2 經驗要求：公司對于求職者的經驗要求一般以年計算，其中應屆生的經驗看為0，最后將其映射為整形數據：0，1，2，3，4……

1.2.3學歷要求：公司對于求職者的學歷要求大致分為：大專，本科，研究生，博士生，將其映射為整形數據：大專=0;本科=1;研究生=2;博士生=3。

1.2.4最低薪資和最高薪資：本身就是具體的整型數據。

1.2.5性別：性別只有男，女兩種類型，將其映射為整形為：男-0;女-1。

2.二級語義文本的建立二級語義文本的建立主要依賴于崗位職責，而對于崗位職位，一般是文本的形式，如下示例：

任職要求

1、熟練掌握Java及面向對象設計開發，對部分Java技術有深入研究，研究過優秀開源軟件的源碼并有心得者優先;

2、了解SOA架構理念、實現技術;熟悉常見設計模式，熟練掌握Spring、myBatis等框架;

3、熟練掌握MySQL應用開發、數據庫原理和常用性能優化和擴展技術，以及NoSQL，Queue的原理、使用場景以及限制;

4、研究過http協議、搜索引擎、緩存、jvm調優、序列化、nio、RPC調用框架等，有相應實踐經驗者優先;

5、參與過大型復雜分布式互聯網（特別是電商）用戶端WEB/API系統的設計開發者優先。在建立二級語義文本的時候需要提取其中的專業技能要求，在這里利用的是結巴分詞。具體細節如下：

Step1： 將所有崗位的崗位職責從數據庫中提取出來

Step2： 利用結巴分詞從所有的所屬相同職位種類的崗位職責中盡可能提取多的專業技能要求，并形成部分限定詞庫，又因為分詞效果不能完全的找出所有的專業技能要求，需要手工添加和剔除。

Step3： 利用限定詞庫，找出每個崗位的崗位職責中的專業技能要求。并保存到數據庫中。

Step4：以java這個崗位為例，最終找出的語技能要求如圖所示

五、相似度計算

1.這里根據一級語義文本計算崗位間的相似度使用歐式距離相似度。

又名歐幾里得度量是一個通常采用的距離定義，指在m維空間中兩個點之間的真實距離，或者向量的自然長度（即該點到原點的距離）。可以看出，當n=2時，歐幾里得距離是平面上的兩點的距離。

2.計算步驟

2.1.設定目標找出10個不同分類的崗位，來找出這10個崗位的10個相似度最高的崗位。示例如下：

2.2.根據一級語義文本計算物品間的相似度從數據庫中找出與之對應分類的所有崗位，這樣保證了同屬于同一個聚類中，然后計算崗位名稱的文本相似度，然后計算其余屬性的歐幾里得距離

2.3.根據二級語義文本計算物品間的相似度從數據庫中找出與之對應分類的所有崗位的崗位職責，計算出文本相似度，這里仍然采用歐幾里得距離。

2.4.根據兩次計算出的歐幾里得距離，計算平均值，并選出top10.

六、實驗結果

從實驗結果中可以看出，該系統推薦精度較為滿意。兩個崗位間的相似度較高，由此可以得出，該推薦結果符合推薦預期。

[參考文獻]

[1]隋占麗， 李文， 李影， et al. 面向大學生就業的協同過濾推薦算法與推薦系統研究[J]. 山東農業工程學院學報， 2017， 34（4）：3-4.

[2]張駿. 推薦系統多樣性研究及其在就業推薦中的應用[D].山東師范大學，2017.

[3]陳朝沖. 基于高校畢業生與招聘企業雙選的推薦系統[D].西南科技大學，2017.

[4]黃貴斌，孫柳，黃佳玲，余發明，賈禮平.基于爬蟲技市的就業推薦系統設計與實現[J].內江科技，2018，39（01）：59-61.

[5]揭正梅. 基于協同過濾的高校個性化就業推薦系統研究[D].昆明理工大學，2015.

[6]劉玉華，陳建國，張春燕.基于數據挖掘的國內大學生就業信息雙向推薦系統[J].沈陽大學學報（自然科學版），2015，27（03）：226-232.

[7]吳瓊. 基于改進K-Means聚類方法的高校就業推薦系統研究[D].大連海事大學，2015.

（作者單位：江蘇師范大學智慧教育學院，江蘇 徐州 221000）