基于大數據的在線就業課程推薦系統

陳永康　章美仁

摘要：針對目前在線教育與網絡招聘的發展情況，通過對現有平臺運營模式的分析研究，提出構建基于大數據的在線就業課程推薦系統。本文詳細闡述了在大數據時代通過數據分析將在線教育與網絡招聘融合發展的前景及必要性，最后通過實驗，運用Apriori算法和協同過濾算法對真實的在線學習數據，網絡招聘數據以及個人信息進行關聯規則挖掘，提供個性化課程崗位推薦，得出在大數據背景下在線教育與網絡招聘融合發展是未來準確方向的結論。

關鍵詞：大數據；在線教育；網絡招聘；推薦系統；融合發展

引言

隨著互聯網的快速發展，在線教育與網絡招聘隨之崛起，人們的學習模式和求職招聘方式得到了深刻的改變。

在線教育的出現使“教”與“學”得以在不同的時空進行，打破了時間和空間的阻隔，大大便捷了教學的進行。網絡資源的可共享性使得眾多稀缺、珍貴、高質量的教學資源得以廣泛廉價地傳播，有效緩解了不同地區教育資源不公平的情況，促進了教育的公平性。同時，在教與學的過程中，用戶的在線學習，經過線上學習規劃，名師視頻學習，線上習題測試，學習論壇討論等在線學習行為，產生了海量的學習數據。這些數據對線上教學的進一步優化有十分重要的意義。

網絡招聘從興起到發展的十幾年中憑借其速度快、成本低、招聘范圍廣、無地域限制、高效便捷等優勢快速占領傳統招聘市場。傳統的求職就業模式在互聯網發展的沖擊下被迫轉型甚至逐漸消亡。據艾瑞咨詢統計顯示：從2014Q1到2015Q4，企業通過城市公共就業服務機構進行招聘的崗位越來越少，2015Q1同比減少14.9%，全年總人數減少9.7%；通過公共就業服務機構進行求職的求職者人數也在不斷下降，2015Q1同比減少144%，全年總人數減少7.6%。艾瑞分析認為，在互聯網大環境下，傳統招聘模式覆蓋率低、效率差、成本高的弊端逐漸顯現，同時隨著互聯網對各個行業的滲透，傳統行業也傾向采用互聯網招聘的方式。傳統招聘規模下降顯而易見。

然而隨著大數據時代的到來，持續增長的課程資源和職位信息卻為用戶的選擇帶了困擾。用戶面對海量的職位信息與在線課程資源時往往難以抉擇，不知道所學或所擁有的技能對應哪些熱門就業崗位，不知道什么崗位適合自己，不知道相關崗位需要掌握哪些課程知識，不知道哪些課程是優質資源。

針對這一現象，我們清楚地認識到，線上的學習就業與線下的學習就業一樣，具有密切的聯系，是難以分割，互為因果的整體。而在他們之間存在一個亟需解決的問題——如何解決課程自主學習與職業選擇之間的關聯決策。以大數據為技術背景，通過對現有模式研究，提出只有以用戶個人能力為鏈接點，將在線教育與網絡招聘融合發展，為用戶提供個性化的從學習到就業一條龍的生態服務才是大數據時代規避數據風險，利用數據價值的最好方式。

1、大數據驅動下在線學習就業融合發展

分析當下在線教育與網絡招聘割裂發展的現狀，提出“在線教育+數據分析+網絡招聘”的新發展模式。

以數據分析、關聯匹配等大數據技術作支持，用戶能力培養為紐帶，將“用戶”、“學習資源”、“崗位信息”串聯貫通，實現為每一位用戶提供個性化的學習就業規劃以及相匹配的學習資源和崗位信息。

通過在線學習就業的融合發展，針對“在校大學生”、“應屆畢業生”、

“在職人員”三類用戶群體個人能力培養的不同訴求設計了五條用戶數據分析和資源提供的流程。

1）專業——能力——在線課程

2）在線課程——能力——崗位

3）崗位——能力——在線課程

4）崗位——公司——能力培養

5）能力——崗位——在線課程

五條推薦模式是網絡招聘與在線學習在大數據迅猛發展的背景下，共享并挖掘彼此的用戶數據，通過相關數據挖掘、推薦算法所產生的新的服務模式，也是在線教育與網絡招聘利用大數據這一技術在融合發展之后新的前景。

可以看到，五條新流程都出現了“能力”一詞。能力作為用戶最初與核心訴求，是在線學習的最終目的，是網絡求職的首要條件，自始至終貫穿在學習到就業這一流程之中。將其作為新模式下的核心鏈接點，在分析用戶能力訴求和工作能力的基礎上為用戶推薦課程及崗位，在了解用戶求職取向的基礎上對用戶進行能力培養等等緊密相連的服務模式都可以實現。而實現這些新模式的首要條件是在線學習與網絡招聘的融合發展，充分利用各自的服務獲取用戶學習就業數據并在數據分析的基礎上進行關聯匹配，為彼此的個性化推薦服務提供重要依據。

2、構建基于大數據的在線就業課程推薦系統

2.1個性化推薦技術

個性化推薦是推薦系統根據用戶的個性化特征，如興趣、愛好、職業或專業特點等，主動地向用戶推送適合其學習需要或可能感興趣的信息資源的一種推薦技術。隨著用戶的數據種類與數據量迅速增加，當餐飲、娛樂、學習、健身等平臺的數據匯集到一起時，針對單一用戶可提供的個性化推薦服務將不單單是割裂的餐飲、學習、購物等推薦。如阿里巴巴在云棲大會上提及的：早年的阿里巴巴，淘寶，支付寶，1688，口碑，天貓等每一個業務板塊都有自己搭建的數據平臺，數據共享變得十分困難。一個統一全部異構的技術平臺是未來的方向。在這樣的模式下，用戶將會獲得更全面，更精確，更有效率和價值的個性化推薦。而這也是在線教育與網絡招聘的發展方向。

此外，通過個性化推薦技術，用戶在工作、學習、出游等生活活動上的經驗也會被推薦給有需求的用戶。通過對所有用戶數據的分析獲得用戶畫像，找到并推薦與目標用戶具有相似興趣偏好的用戶或相關的信息資源。以此來滿足用戶對于信息資源的個性化需求。

2.2Apriori算法

Apriori算法的經典實例便是“尿布與啤酒”。通過對商品購買情況的記錄和分析，幫助商家對用戶的購買習慣有一個更深入的了解，從而制定出更優的銷售策略。

Apriori算法的基本原理是先從數據集中獲得頻繁項集，即將常常共同出現的物品集合作為一個項集，并獲得該項集對應記錄出現的次數。將該值除以數據記錄的總和以求得項集支持度，進一步通過與項集中元素的支持度作比獲得可信度或置信度。支持度與可信度是將某一項集的關聯分析量化，為判斷分析成功與否提供了重要的判斷依據。

2.3協同過濾算法

個性化推薦技術能克服傳統資源檢索方式的缺陷，其中，協同過濾推薦技術是一種應用最為廣泛的個性化推薦技術。協同過濾算法通過對用戶視頻學習、線上作答、社區討論、求職簡歷、工作履歷、課程選擇等數據集的挖掘分析后為每一位用戶形成一個用戶畫像，在此基礎上將不同用戶畫像進行對比分析，進一步為目標用戶尋找到與其興趣愛好、學習情況等最為相近的用戶集，將他們所關注的項推薦給目標用戶。

協同過濾算法實現主要分為數據的表示、最近鄰居集的匹配以及top-N數據集的推薦。其基本原理首先對一個歷史數據集進行數據分析，通過一張i*j的表格呈現歷史數據，i和i分別代表用戶和與用戶相關的興趣項。例如：在獲取的海量的用戶學習到就業的一系列數據中，用戶的視頻學習、測驗成績、工作經歷都會被量化作為i中的數據項。當一個新的數據集出現的時候，就可以通過協同過濾算法進行鄰居匹配，為當前數據集找到“最近鄰居”集。并通過余弦相似性和相關相似性度量鄰居集與目標用戶的相似程度，最后根據鄰居集的數據特稱對當前數據集進行課程或崗位等其它興趣項推薦。

2.4算法及個性化推薦的實現

在“在線學習+數據分析+網絡招聘”的新模式中，系統采用python語言制作爬蟲，抓取用戶信息，在線課程信息與招聘網職位信息以及與之相關的評論內容。通過Apriori關聯算法分析課程與職位之間的關聯規則以及基于就業技能的課程頻繁項集，使用協同過濾算法對就業崗位與在線課程進行推薦與決策支持。實現了根據用戶自身愛好和特長，幫助用戶選擇符合自身特點的熱門崗位，并對該崗位所需的在線課程進行推薦。

通過Apriori算法，以“能力需求”為鏈接點，對“在線課程”“線上崗位”“用戶信息”進行頻繁項集分析，獲取“課程一能力”“能力一崗位”“能力一用戶”之間的關聯，從而獲得“課程一崗位一用戶”之間關聯的頻繁項集。通過測試集數據庫對獲得的頻繁項集的檢驗，不斷調整最小支持度獲得最合適的支持度設定值，并進一步計算出符合要求的項集的可信度。在此基礎上，當目標用戶選擇某一課程或某一崗位時就會在系統中出現“尿布與啤酒”的效果。一方面用戶的課程學習與崗位選擇聯系在了一起，另一方面則有益于在線教育與網絡招聘的發展。

協同過濾算法的實現則主要集中在對用戶數據集的分析，通過協同過濾算法挖掘分析所有和某一用戶相關的學習、就業、興趣愛好等數據，為所有用戶形成唯一的用戶畫像，并以時間軸的方式呈現用戶的學習就業歷程。當目標用戶在系統中輸入自己的相關特征時，系統通過收集該用戶的相關信息進行協同過濾算法分析，為其獲得最優鄰居的相關數據并進一步根據這個結果進行崗位和學習資源的推薦。

3、結束語

當下，用戶面對的不再單單是資源匱乏的問題，更迫切的需求是幫助他們在海量的資源中做出選擇。

在線教育與網絡招聘平臺都已經發展到了一個至關重要的環節。在這個環節，曾經匱乏的在線課程和職位或是求職信息都不再是問題的關鍵，如何在海量的信息資源中高效地篩選出高質量、高精度、個性化的信息資源推薦給用戶成為各平臺無法逃避的問題。

然而，想要解決這一問題單將目光局限在各自平臺上的數據是難以實現的。用戶的學習和就業是緊密相連、互為因果的過程。只有在線教育明確了用戶的求職目標、工作歷程才能更好地提供課程推薦服務，也只有網絡招聘在清楚了用戶的學習過程、學習能力才能提供更合適的崗位。