基于模糊層次聚類的大學(xué)生就業(yè)數(shù)據(jù)分類存儲系統(tǒng)

蔣大銳，徐勝超

（廣州華商學(xué)院 數(shù)據(jù)科學(xué)學(xué)院，廣東 廣州 511300）

0 引言

在國家政策的扶持下教育事業(yè)不斷發(fā)展，不同院校取得了新的發(fā)展，其中高校的規(guī)模逐漸擴大，越來越多的人能夠享受到高等教育。但持續(xù)性地入學(xué)人數(shù)增加導(dǎo)致每年的畢業(yè)人數(shù)不斷上漲，在實際就業(yè)過程中面臨的工作壓力較大。無論是校企合作還是宣講過程中均會涉及不同類型的數(shù)據(jù)信息，對于高校來講，大學(xué)生就業(yè)產(chǎn)生的信息量越來越大，在信息膨脹的情況下，需要對不同類型的數(shù)據(jù)信息進(jìn)行分類和整合，急需一個有效的數(shù)據(jù)管理系統(tǒng)[1]。一般情況下，大學(xué)生就業(yè)數(shù)據(jù)管理系統(tǒng)主要是使用現(xiàn)代化計算機軟件配合互聯(lián)網(wǎng)技術(shù)對不同學(xué)生的就業(yè)意向進(jìn)行統(tǒng)計，并隨時發(fā)布就業(yè)信息，以此保證大學(xué)生能夠穩(wěn)定就業(yè)，高校具有較好的就業(yè)率。因此，對管理系統(tǒng)的設(shè)計具有重要意義，一方面體現(xiàn)在信息管理系統(tǒng)，能夠為大學(xué)生提供更多企業(yè)信息，大學(xué)生可以通過企業(yè)咨詢來制定適合自身的就業(yè)計劃；另一方面，通過信息管理系統(tǒng)企業(yè)能夠開展不同類型的宣講會，更加容易設(shè)計不同類型的招聘崗位。無論是從企業(yè)方面還是大學(xué)生個人方面，甚至是對于高校來講，一個有效的信息管理系統(tǒng)既可以減少工作人員的工作量，又能夠推動校內(nèi)的信息流通，最大程度地為高校就業(yè)率的提升提供幫助[2]。

近年來，有很多學(xué)者對大學(xué)生就業(yè)數(shù)據(jù)分類存儲系統(tǒng)進(jìn)行了研究。文獻(xiàn)[3]和文獻(xiàn)[4]都提出了不同的數(shù)據(jù)存儲系統(tǒng)，并具有各自的優(yōu)缺點。文獻(xiàn)[3]的分類存儲系統(tǒng)采用多種模式識別算法，可以實現(xiàn)機器人運行軌跡數(shù)據(jù)的有效分類存儲，但需要考慮算法選擇和參數(shù)調(diào)整等問題，并且分布式存儲技術(shù)的實現(xiàn)需要付出額外的開發(fā)和維護成本。文獻(xiàn)[4]的海量數(shù)據(jù)儲存系統(tǒng)基于Hadoop技術(shù)，可以實現(xiàn)高效的海量數(shù)據(jù)存儲和管理，適用于大規(guī)模數(shù)據(jù)處理和分析，但需要一定的技術(shù)和人力成本。文獻(xiàn)[5]中基于多核TMS320C6678 的數(shù)據(jù)處理與存儲系統(tǒng)設(shè)計具有以下優(yōu)點：首先，采用多核TMS320C6678 處理器，具有支持并行處理和高效的數(shù)據(jù)處理能力；其次，該系統(tǒng)具備強大的數(shù)據(jù)存儲能力，可以有效地處理和存儲大規(guī)模的數(shù)據(jù)；此外，基于多核架構(gòu)的設(shè)計使得系統(tǒng)具有較高的性能和可擴展性，適用于需要高性能數(shù)據(jù)處理和存儲的應(yīng)用場景。然而，該設(shè)計也存在一些潛在的缺點：首先，基于多核架構(gòu)的系統(tǒng)設(shè)計可能涉及到復(fù)雜的并行編程和任務(wù)調(diào)度問題，需要額外的開發(fā)和調(diào)試工作；其次，TMS320C6678 處理器的價格較高，可能增加系統(tǒng)的成本；此外，由于多核處理器的功耗較高，系統(tǒng)設(shè)計需要考慮散熱和能耗管理等問題。文獻(xiàn)[6]中基于NAS 的非結(jié)構(gòu)化數(shù)據(jù)分布式存儲系統(tǒng)設(shè)計具有以下優(yōu)點：首先，采用NAS 架構(gòu)可以提供高性能的數(shù)據(jù)訪問和共享能力；其次，分布式存儲設(shè)計使得系統(tǒng)具備良好的可擴展性和容錯性，適用于大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)的存儲和管理；此外，該設(shè)計還可以提供數(shù)據(jù)冗余和備份，增強了數(shù)據(jù)的安全性和可靠性。然而，基于NAS 的設(shè)計也存在一些潛在的缺點：首先，由于分布式存儲涉及到數(shù)據(jù)的劃分和復(fù)制，可能引入額外的網(wǎng)絡(luò)開銷和存儲開銷；其次，對于非結(jié)構(gòu)化數(shù)據(jù)的管理和索引可能需要額外的處理和算法支持；此外，系統(tǒng)的可靠性和性能可能受到網(wǎng)絡(luò)延遲和帶寬限制的影響。

為解決上述問題，本文以設(shè)計數(shù)據(jù)的分類和存儲為研究前提，選擇模糊層次聚類方法設(shè)計一種適合大學(xué)生就業(yè)的數(shù)據(jù)分類存儲系統(tǒng)，為高校的大學(xué)生就業(yè)管理提供技術(shù)支持。軟件平臺采用開源的Hadoop 的分布式文件存儲系統(tǒng)，降低了成本。后續(xù)的實驗部分也驗證了分類存儲系統(tǒng)的良好性能。

1 大學(xué)生就業(yè)數(shù)據(jù)分類存儲系統(tǒng)總體設(shè)計

1.1 基于模糊層次聚類的分類存儲系統(tǒng)框架

隨著機器學(xué)習(xí)技術(shù)的不斷發(fā)展，模糊聚類算法的應(yīng)用范圍逐漸擴大，可以在多個類型的數(shù)據(jù)中進(jìn)行局部分類[7]。此次將模糊層次聚類算法應(yīng)用在大學(xué)生就業(yè)數(shù)據(jù)分類存儲系統(tǒng)中，主要采用該算法設(shè)計分類存儲框架，具體如圖1 所示。

圖1 基于模糊層次聚類的分類存儲系統(tǒng)框架

根據(jù)圖1 中內(nèi)容所示，此次按照4 個功能板塊劃分大學(xué)生就業(yè)數(shù)據(jù)分類存儲系統(tǒng)，將模糊聚類算法放置在每個板塊中，對所屬信息進(jìn)行聚類分析[8]。分別對每個功能模塊的具體職能進(jìn)行如下設(shè)定：

就業(yè)指導(dǎo)模塊：統(tǒng)計大學(xué)生的相關(guān)信息，對具有關(guān)聯(lián)性的信息匯集成表。

管理模塊：對校內(nèi)企業(yè)發(fā)布的就業(yè)信息進(jìn)行管理，及時對具有相關(guān)專業(yè)性的學(xué)生發(fā)出通知，安排面試和筆試。

招聘模塊：涉及多個企業(yè)用人單位，可以根據(jù)高校內(nèi)設(shè)立專業(yè)提供對應(yīng)崗位，統(tǒng)計不同專業(yè)學(xué)生的具體人數(shù)。

求職模塊：大學(xué)生根據(jù)自身的專業(yè)完善個人信息，并將簡歷發(fā)布至該模塊中，等待企業(yè)或者校內(nèi)的招聘通知。

從多個功能角度構(gòu)建大學(xué)生就業(yè)數(shù)據(jù)分類存儲系統(tǒng)框架，實現(xiàn)大學(xué)生信息的完善和管理，及時地對大學(xué)生就業(yè)信息進(jìn)行備份，滿足學(xué)生的就業(yè)需求。

1.2 設(shè)置大學(xué)生就業(yè)數(shù)據(jù)分類存儲結(jié)構(gòu)

對大學(xué)生就業(yè)數(shù)據(jù)的分類管理，需要包含學(xué)生的基本信息、就業(yè)基本信息、招聘單位以及注冊單位的基本信息。為準(zhǔn)確關(guān)聯(lián)不同信息的所屬關(guān)系，以實體關(guān)系圖設(shè)置大學(xué)生就業(yè)數(shù)據(jù)的分類存儲結(jié)構(gòu)，具體情況如圖2所示。

圖2 大學(xué)生就業(yè)數(shù)據(jù)實體關(guān)系圖

通過圖2 可知，大學(xué)生就業(yè)信息數(shù)據(jù)包含多種關(guān)系類型，對于每一個信息數(shù)據(jù)，將其看作為一個實體，在不同的實體之間對應(yīng)結(jié)構(gòu)，因此可以實現(xiàn)不同信息之間的關(guān)聯(lián)。如：學(xué)生的基本信息與檔案信息之間為包含關(guān)系，就業(yè)單位與學(xué)生信息之間屬于關(guān)聯(lián)關(guān)系。

2 基于模糊層次聚類數(shù)據(jù)分類存儲系統(tǒng)軟件設(shè)計

2.1 大學(xué)生就業(yè)信息表構(gòu)建數(shù)據(jù)庫

將整體系統(tǒng)按照實際功能進(jìn)行清晰劃分，建立相對獨立的功能板塊，并結(jié)合分類存儲的功能對大學(xué)生的就業(yè)信息進(jìn)行統(tǒng)計。依照不同類型的就業(yè)信息構(gòu)建數(shù)據(jù)庫，此次共涉及兩個類型，分別為數(shù)據(jù)存儲表和字典表，具體見表1。

表1 系統(tǒng)數(shù)據(jù)庫列表類型

如表1 中內(nèi)容所示，數(shù)據(jù)存儲表主要是對上報的數(shù)據(jù)進(jìn)行存儲，共分為6 個部分，而字典表則是對不同存儲項目的詳細(xì)解釋，此次主要設(shè)計了大學(xué)生就業(yè)相關(guān)的元素信息，如專業(yè)、學(xué)院等。通過兩種類型的數(shù)據(jù)表構(gòu)成大學(xué)生就業(yè)信息數(shù)據(jù)庫，對大學(xué)生就業(yè)信息進(jìn)行管理，對應(yīng)不同大學(xué)生的就業(yè)需求。在此基礎(chǔ)上以模糊層次聚類方式對不同的數(shù)據(jù)信息進(jìn)行分類存儲，這種方法也適合于Hadoop 云平臺中的MySQL 數(shù)據(jù)庫。

2.2 基于模糊層次聚類分類存儲就業(yè)信息

模糊層次聚類是一種基于模糊數(shù)學(xué)和層次分析的聚類方法，它將數(shù)據(jù)樣本按照相似度分為不同的組別。與傳統(tǒng)的層次聚類方法不同的是，模糊層次聚類可以處理樣本在多個組別中共存的情況，從而更加靈活地適應(yīng)實際問題的需求。模糊層次聚類的基本思想是將數(shù)據(jù)樣本劃分為一些模糊集合，然后通過計算模糊集合之間的相似度進(jìn)行聚類。基于模糊層次分類實現(xiàn)數(shù)據(jù)的分析，該聚類算法需要計算隸屬度，以隸屬關(guān)系確定不同數(shù)據(jù)的分類標(biāo)準(zhǔn)[9-12]。隸屬度cij的計算公式為：

式中：cij表示第i個樣本對于第j個簇的隸屬度；xij表示第i個樣本與第j個簇之間的距離；m是一個模糊指數(shù)，通常取大于1 的值，用來控制隸屬度的模糊程度；n表示簇的最大取值。

假定就業(yè)信息數(shù)據(jù)中包含多個子集，在數(shù)據(jù)與子集中存在隸屬程度，在執(zhí)行算法前先預(yù)設(shè)聚類項目，在不斷選擇過程中實現(xiàn)最終聚類中心的標(biāo)定，得到分類結(jié)果。

式中以連續(xù)的大學(xué)生就業(yè)信息數(shù)據(jù)為分布條件，對其初始聚類中心進(jìn)行確定，標(biāo)記為w1、w2。兩個中心之間的信息數(shù)據(jù)樣本點為e，其對應(yīng)的隸屬度[13-15]分別為qw1e、qw2e，滿足以下條件：

若隸屬度的值分布在[ ]0,1 之間，則表示選擇的數(shù)據(jù)可以合并到一個類型之中，將其一一對應(yīng)在大學(xué)生就業(yè)信息的不同分類中，對不同的數(shù)據(jù)信息進(jìn)行隸屬值計算。

計算數(shù)據(jù)信息之間的歐氏距離[16-17]，其公式如下：

式中：q1和q2是兩個樣本；qw1e和qw2e分別表示它們在第w1、w2個屬性上的取值。

通過隸屬度的范圍設(shè)定和數(shù)據(jù)信息之間的歐氏距離[18-20]，對模糊層次聚類的分類流程進(jìn)行設(shè)計，具體如圖3 所示。

圖3 模糊層次聚類的信息分類流程

如圖3 所示，在信息數(shù)據(jù)兩兩判斷過程中可以挑選出符合合并條件的類型，若類別間距較小就可以將其歸類為一組，若間距過大則需要再次劃定聚類中心，進(jìn)行隸屬值的再次計算[21-23]，以此多次進(jìn)行計算實現(xiàn)數(shù)據(jù)類型的劃分。至此，本文在分別確定硬件和軟件兩個部分的基礎(chǔ)上，實現(xiàn)大學(xué)生就業(yè)數(shù)據(jù)的分類存儲系統(tǒng)設(shè)計。

3 系統(tǒng)運行與實驗性能分析

3.1 大學(xué)生就業(yè)系統(tǒng)的運行

上文中通過模糊層次聚類方式設(shè)計了新的存儲系統(tǒng)，為驗證該系統(tǒng)能夠?qū)崿F(xiàn)有效應(yīng)用，采用對比測試的方式完成驗證。采用基于負(fù)荷序列的存儲系統(tǒng)和基于Hadoop 架構(gòu)的存儲系統(tǒng)作為對照組，分別與本文系統(tǒng)進(jìn)行對比，驗證不同系統(tǒng)的有效性。本文學(xué)生就業(yè)數(shù)據(jù)分類平臺頁面運行效果如圖4 所示。

圖4 基于模糊層次聚類的大學(xué)生就業(yè)數(shù)據(jù)分類平臺

3.2 實驗方案

本文部署基于模糊層次聚類的大學(xué)生就業(yè)數(shù)據(jù)分類存儲系統(tǒng)，具體步驟為：

1）針對就業(yè)信息數(shù)據(jù)的存儲和管理，設(shè)計一個基于MySQL 的數(shù)據(jù)庫結(jié)構(gòu)。MySQL 是一種關(guān)系型數(shù)據(jù)庫，適用于存儲與管理結(jié)構(gòu)化數(shù)據(jù)?？梢栽O(shè)計多個表來存儲不同類型的就業(yè)信息，例如學(xué)生信息表、工作機會信息表等。每個表可以包含多個列，用于組織和查詢相關(guān)的屬性信息。通過創(chuàng)建適當(dāng)?shù)闹麈I和外鍵約束，可以建立表與表之間的關(guān)聯(lián)關(guān)系，并保持?jǐn)?shù)據(jù)的一致性。

2）為了提供用戶友好的界面和實現(xiàn)模糊層次聚類算法，可以借助Java 編程語言與MySQL 數(shù)據(jù)庫進(jìn)行交互。Java 提供了各種API 和驅(qū)動程序，可用于連接、讀寫和操作MySQL 數(shù)據(jù)庫中的數(shù)據(jù)。通過使用Java 編程語言，可以開發(fā)用戶界面，向用戶展示就業(yè)信息，并通過調(diào)用MySQL 的API 實現(xiàn)對數(shù)據(jù)庫的查詢和更新操作。此外，可以利用Yarn 規(guī)范作為數(shù)據(jù)處理平臺，使用MapReduce 編程模型對就業(yè)信息數(shù)據(jù)進(jìn)行分類和存儲。通過實現(xiàn)模糊層次聚類算法，可以發(fā)現(xiàn)就業(yè)信息中的相關(guān)性和隱藏的模式，為用戶提供更加精準(zhǔn)的推薦和搜索功能。

3）在實驗系統(tǒng)的硬件設(shè)計和搭建方面，需考慮關(guān)鍵因素。首先選擇適合的硬件設(shè)備，如服務(wù)器、存儲設(shè)備和網(wǎng)絡(luò)設(shè)備，以滿足大規(guī)模數(shù)據(jù)處理和存儲的需求；其次，進(jìn)行系統(tǒng)架構(gòu)設(shè)計和部署，包括安裝和配置MySQL 數(shù)據(jù)庫，搭建Java 與MySQL 的集成開發(fā)環(huán)境等；然后，將大學(xué)生就業(yè)信息數(shù)據(jù)導(dǎo)入MySQL 數(shù)據(jù)庫，并使用模糊層次聚類算法對數(shù)據(jù)進(jìn)行處理和分類；最后，評估系統(tǒng)的性能和功能，如查詢響應(yīng)時間、數(shù)據(jù)一致性和聚類效果的準(zhǔn)確性等。

3.3 數(shù)據(jù)準(zhǔn)備

為保證此次測試的真實性，以某高校實際大學(xué)生就業(yè)信息作為測試樣本，分別按照不同專業(yè)的就業(yè)情況進(jìn)行分類，統(tǒng)計各專業(yè)大學(xué)生的就業(yè)數(shù)據(jù)。由于就業(yè)率等情況與就業(yè)人數(shù)息息相關(guān)，本次以實際就業(yè)人數(shù)作為統(tǒng)計前提，將其作為大學(xué)生就業(yè)數(shù)據(jù)的分類存儲對象，對該高校內(nèi)畢業(yè)生的就業(yè)情況進(jìn)行統(tǒng)計，具體見表2。

表2 大學(xué)生就業(yè)信息

如表2 所示，本次大學(xué)生就業(yè)信息統(tǒng)計選擇了4 個專業(yè)類型，每種專業(yè)選取了3 種不同的就業(yè)方向，且不同專業(yè)對應(yīng)的就業(yè)人數(shù)各不相同。為了研究高校就業(yè)率情況，以不同的存儲系統(tǒng)對就業(yè)人數(shù)作為測試數(shù)據(jù)進(jìn)行分類，并直接給出統(tǒng)計結(jié)果。將上述數(shù)據(jù)上傳至Matlab 測試平臺，連接三個不同的分類存儲系統(tǒng)，從分類存儲精度和效率兩個方面進(jìn)行驗證，比較不同系統(tǒng)的應(yīng)用效果。經(jīng)過以上操作，可以評估不同分類存儲系統(tǒng)在大學(xué)生就業(yè)信息統(tǒng)計方面的性能，包括分類存儲精度和效率等指標(biāo)。這些評估結(jié)果可以為進(jìn)一步研究高校就業(yè)情況提供參考，幫助相關(guān)部門制定更加科學(xué)合理的政策和就業(yè)指導(dǎo)方案。

3.4 不同系統(tǒng)分類存儲精度對比

第一階段驗證不同系統(tǒng)對就業(yè)信息的分類存儲精度，即各系統(tǒng)是否能夠真實且準(zhǔn)確地對不同專業(yè)學(xué)生的就業(yè)情況進(jìn)行分類和存儲，其計算公式如下：

式中：χ1表示分類存儲后各專業(yè)的就業(yè)類型人數(shù)；χ2表示各專業(yè)實際就業(yè)類型人數(shù)。具體分類存儲精度結(jié)果如圖5 所示。

圖5 分類存儲精度對比結(jié)果

由圖5 可知，在本文系統(tǒng)應(yīng)用下能夠?qū)崿F(xiàn)不同專業(yè)大學(xué)生就業(yè)情況的具體統(tǒng)計，且分類存儲結(jié)構(gòu)與實際數(shù)據(jù)相一致，而其他已有的分類存儲系統(tǒng)會存在數(shù)據(jù)丟失情況，說明本文系統(tǒng)更具有應(yīng)用價值。通過將模糊聚類技術(shù)應(yīng)用于不同專業(yè)大學(xué)生的就業(yè)情況統(tǒng)計中，可以更加全面地了解不同專業(yè)大學(xué)生的就業(yè)情況，為相關(guān)政策制定和就業(yè)指導(dǎo)提供參考依據(jù)，具有重要的應(yīng)用價值。

3.5 不同系統(tǒng)分類存儲效率對比

上一階段驗證了本文系統(tǒng)的分類存儲精度，為進(jìn)一步驗證本文系統(tǒng)的應(yīng)用效果，本次實驗選取4 000 條數(shù)據(jù)進(jìn)行驗證，其中，財務(wù)管理專業(yè)、城市規(guī)劃專業(yè)、物流工程專業(yè)、英語專業(yè)各占1 000 條數(shù)據(jù)，以此進(jìn)行實驗。以全部分類存儲正確為測試前提，對各系統(tǒng)的存儲效率進(jìn)行驗證，結(jié)果如圖6 所示。

圖6 分類存儲時間對比結(jié)果

如圖6 所示，當(dāng)應(yīng)用模糊聚類技術(shù)對不同專業(yè)的大學(xué)生就業(yè)情況進(jìn)行統(tǒng)計時，可以更全面地了解不同專業(yè)大學(xué)生的就業(yè)情況，為政策制定和就業(yè)指導(dǎo)提供參考依據(jù)，具有重要的應(yīng)用價值。模糊聚類是一種數(shù)據(jù)挖掘技術(shù)，它可以將具有相似特征的數(shù)據(jù)對象劃分到同一類別中，并且允許某個數(shù)據(jù)對象屬于多個類別。在本文系統(tǒng)中，應(yīng)用了精準(zhǔn)分類存儲和模糊聚類技術(shù)，以實現(xiàn)對專業(yè)就業(yè)人數(shù)的統(tǒng)計和分類。通過使用模糊聚類技術(shù)，本文系統(tǒng)能夠更加快速地對大學(xué)生就業(yè)情況進(jìn)行分類，避免了傳統(tǒng)系統(tǒng)中可能出現(xiàn)的數(shù)據(jù)丟失問題。這樣一來，系統(tǒng)能夠在短短幾秒內(nèi)完成對全部專業(yè)就業(yè)人數(shù)的統(tǒng)計和分類，而傳統(tǒng)系統(tǒng)則需要超過15 s 的時間。

這種快速而準(zhǔn)確的統(tǒng)計和分類能力使得本文系統(tǒng)在應(yīng)用領(lǐng)域具有重要的優(yōu)勢。政府部門可以利用該系統(tǒng)的結(jié)果更全面地了解不同專業(yè)大學(xué)生的就業(yè)情況，從而為政策制定提供科學(xué)依據(jù)。同時，就業(yè)指導(dǎo)機構(gòu)也可以借助該系統(tǒng)的數(shù)據(jù)為學(xué)生提供更精準(zhǔn)的就業(yè)指導(dǎo)，幫助他們做出更明智的就業(yè)選擇。因此，結(jié)合模糊聚類技術(shù)的本文系統(tǒng)在應(yīng)用上具有顯著的效果，為相關(guān)領(lǐng)域的決策者和從業(yè)人員提供了有價值的工具和參考依據(jù)。

4 結(jié)語

本文應(yīng)用模糊層次聚類算法設(shè)計了新的系統(tǒng)，并且在實驗論證中證明了其有效性，相比傳統(tǒng)系統(tǒng)具有更高的分類精度和存儲效率，能夠投入實際應(yīng)用中，具有良好的應(yīng)用價值。但由于研究時間有限，在設(shè)計過程中仍存在少許的不足之處，如在實驗過程中僅以就業(yè)人數(shù)作為測試前提，驗證方向較為單一，無法全面地完成分析，具有局限性。后續(xù)研究中會針對上述問題，選擇多個類型的就業(yè)信息進(jìn)行分析，提出更加全面的分類存儲系統(tǒng)，為大學(xué)生就業(yè)數(shù)據(jù)的管理提供理論支持。