基于大數據技術的專業發展信息化系統研究

張偉龍　李榮嫻　張波

摘要：專業質量建設是當前高等職業院校內部質量保障體系建設的重要環節。運用大數據技術構建專業發展信息化系統，整合業務系統和數據資源，能為相關部門提供信息可靠、數據精準、資源共享和可視化分析的服務，輔助學院開展專業質量診斷與改進工作，提升專業建設水平，推動智慧校同建設步伐。

關鍵詞：大數據技術;可視化分析;專業建設;質量診斷

中圖分類號：TP311 文獻標識碼：A

文章編號：1009-3044（2020）20-0038-02

為貫徹落實《高等職業院校內部質量保障體系診斷與改進實施方案》等文件精神，完善質量標準和制度體系，全面提升人才培養質量[1]。在教學質量診斷與改進體系及理論指導下，以提升學院辦學質量及促進后續發展為中心，采用大數據技術建沒專業發展信息化系統，將專業相關業務系統的數據實現統一存儲、分析及應用，建立自動采集匯總的機制，讓專業數據形成循環扭轉的數據流，積累專業數據資產及資源庫，存儲文檔、圖片、視頻等非結構化教學資源，通過數據應用，挖掘分析，為決策提供依據，最終用信息化輔助學校人才培養質量體系的搭建。專業建設信息化平臺通過多終端采集數據，實現對專業建設工作流程全過程的跟蹤、監控、預警、診斷與改進，提升教育教學質量管理信息化水平[2]。

1專業建設面臨的問題

（1）人才培養滯后于市場需求。專業人才培養目標和市場需求存在差異。高職院校新增專業往往根據當前市場社會熱點，熱門專業進行設置，但市場需求和產業調整會對人才需求產生變化。人才培養周期性較長，再加上各個學院爭相開設熱門專業，這必然會導致學生畢業就業時壓力增大。有的職業院校師資力量不足，致使學生就業競爭力不足。人才培養與市場脫節，必然導致專業質量低下，浪費國家人力物力和財力，影響職業院校的長遠發展。

（2）缺乏長遠規劃，定位不精確。專業設置定位模糊、專業課程銜接不夠緊密、課程沒置不全面、專業課程重復現象嚴重等問題一直影響專業發展。專業建設服務區域經濟，人才培養與市場需求緊密相連，精準預測區域動向，合理制定專業長遠發展規劃和短期發展規劃是專業質量的關鍵。

（3）專業相關系統多樣，數據利用率低。當前各大院校專業數據資源增長迅速，并以非結構化數據為主，但是在面對視頻、圖像等非結構化數據在分析、利用等方面存在著嚴重不足。大量的專業數據分布與學生迎新系統、學工系統、教師選課系統、教務管理系統、智慧課堂等系統之中，數據重復性大，保存分散，不利于專業發展有效數據的提取。專業數據資源浪費嚴重，專業改進不及時、不徹底。

2專業大數據的特點分析

2.1大數據的概念及特點

大數據（big data），是指用傳統技術和軟件工具無法進行有效的數據獲取、存儲管理、挖掘分析的數據集合，是當今社會重要的信息資產[3]。衡量大數據的標準可以從這五個方面考慮，分別是數據規模、數據類型、數據增長或轉換速度，數據的密度和價值。大數據技術主要包括大數據的采集、數據預處理、數據交換、數據存儲、數據分析和數據挖掘等。簡而言之，大數據是把所有的數據放到一起，再通過云計算，運用數據分析和挖掘技術，找到數據關聯，實現精準預測。

2.2專業大數據的數據來源及其分析

專業大數據是專業建設過程中建沒過程中，形成的一系列數據。數據形式多樣，有標準化文本形式結構數據，也有圖片、教學視頻等過程性非結構化數據。其數據內容主要包括專業建設方案、人才培養、師資團隊、教學資源、專業管理和社會服務六大塊內容。

專業建設方案包括專業市場調研、專業區域競爭力、專業申報、專業分析報告、專業建設計劃、年度終結、存在問題、成因和改進措施等。人才培養包括訂單班、校企合作、學徒制、技能大賽、各類證書賽項、課程體系、課程教學實施等數據。師資團隊包括師資培養、教職工發展規劃、校外專家、名師培養、教師科研提升等。資源建設包括校內專業資源、實訓場地建設、校外實訓基地、教學信息化資源等。社會服務主要包括招生就業信息、繼續教育信息、學生職業發展、社會捐贈、技術服務和成果轉化等。

2.3專業大數據系統設計的技術路線和系統架構

為滿足專業建設過程中所產生的大量的結構化數據和非結構化數據存儲，可視化分析和有效數據挖掘等需要，根據批處理的特點，采用基于HDFS存儲系統+Spark架構開發系統。

Hadoop是一個分布式系統基礎架構，它可以利用集群實現高速運算和海量存儲，其核心是HDFS和MapReduce。HDFS為海量數據提供了存儲，MapReduce為海量數據提供了計算框架。由于MapReduce是面向磁盤的，受磁盤讀寫速度的制約，MapReduce在交互式查詢、實時計算和迭代計算方面并不高效。Spark是基于內存運算的大數據框架，具有良好的并行運算性能，具有高容錯性和高可伸縮性，可以在大量廉價硬件之上部署大規模集群，性能上要優于MapReduce，在同等條件下要比Hadoop快10到100倍，具有能力更強，效率更高的特點。基于分布式文件系統HDFS的NoSql數據庫HBase有存儲速度快，易擴展，容錯性高等特點，滿足采集大規模數據集實時讀寫、隨機訪問的需求[4]。

專業大數據系統架構分五個層次：（1）數據源層：對多種數據類型進行實時采集，包括結構化數據源、非結構化數據和半結構化數據;（2）數據傳輸和預處理層：針對上下課簽到、食堂刷卡、圖書借閱等密集數據采集時，基于KAFKA構建消息隊列實現緩存區，避免數據井噴式增長可能導致的數據滯后丟失等情況。還包括通訊網關服務，并行作業傳輸實現對數據快速采集與交換;（3）數據存儲層：通過數據接收、數據預處理、數據檢查、預判分析、數據的存儲等功能完成對數據的接收、解析和存儲工作;（4）數據分析層：運用數據倉庫、聯機分析、數據挖掘等技術提取、整合有價值的數據;（5）應用展示層，為使用者提供可視化數據展示、專業畫像及可操作UI界面。

3專業發展大數據系統的主要功能模塊

3.1數據交換和數據共享系統

專業大數據的數據交換和共享系統主要包括專業數據字典、異元數據交換系統和數據共享系統三部分：一是，根據專業建設和專業質量診斷與改進需求，設計專業字典及各類指標體系、質量控制點，編制專業數據指標規范。例如：專業編號、專業名稱、專業群編號、專業群名稱等。構建專業數據字典，規范各項專業指標編號和名稱，說明指標作用和指標來源，為各個部門使用統一的、標準化數據提供服務;二是，建沒完善的數據交換系統為各個部門的數據通信建立統一的數據通道，保證數據信息準確及時;三是，建設一套完善專業數據共享系統，實現一次錄入多部門多用戶多次共享的功能，減少冗余數據。專業數據共享系統可教職工數據采集數量和頻率，有效提高各部門協同工作效率、提升專業建設的質量。

3.2數據清洗系統

數據清洗系統主要是為提高數據質量，發現并糾正數據文件中可識別的錯誤。數據清洗主要是對數據進行預處理，通過判斷識別，得到數據集含有的諸如錯誤、無效、重復的數據等，再填補空值，最大可能地保證在數據真正使用和分析應用前的正確性，從而提高數據決策的質量[5]。數據源的采集是一項極為繁雜的工作，大量的數據原始填報是由人工完成的，而錄入后的數據清理一般是由計算機完成。原始數據往往存在數據缺失、數據重復、數據異常甚至錯誤等問題。例如迎新系統原始數據庫中學生性別字段用“男”和“女”表示。教學過程中，教務管理系統原始數據庫中性別字段用“Y”和“N”表示。數值類型、字符串回車、全角半角、日期格式等這一系列的錯誤都會導致ETL運行失敗，這就需要在獲取數據之前有一套完整的數據清洗機制。例如對于數據進行統一的對比，找出不一致的數據精準處理，統一標準，交給業務部門刪除異常數據。對數據進行清洗和比較，是為滿足專業建設和專業質量診斷與改進需求的高質量數據。

3.3專業大數據畫像系統

專業大數據畫像系統是專業各項指標的綜合展示系統，為滿足專業質量保證系統核心KPI決策分析，從人才培養、資源建沒、社會服務、專業評價、交流合作等各方面指標進行詳細的指標量化分值設置，并且進行橫向縱向排名分析實現專業建設持續改進。所應用的大數據相關技術有：專業數據關聯分析、獨立成分分析、分類分析、主成分分析、聚類分析和異常分析以及決策樹等。該系統包含能滿足專業發展和質量診斷改進需求的專業大數據分析模型，幫助各個系部、專業相關部門直觀地了解專業現狀，深入分析專業建設成效，為專業發展提供決策支持等。例如應用聚類分析技術分析學生，對課堂回答問題的頻率、正確性，按照學生對知識的掌握情況進行分類，開展精準輔導，針對不同群體制定不同的教學安排。

4專業發展大數據系統建設的意義

專業發展大數據系統不僅能實現專業的申報、遴選、淘汰以及檢測、預警、改進，還對專業相關數據進行整合、實現數據分析和挖掘形成專業畫像，有利于推進高職院校專業建設質量工作，促進師生樹立質量理念，培育質量文化，履行質量主體責任，形成常態化的診斷與改進制度.具有較強預警功能和激勵作用。

5結論

應用大數據技術建設專業發展信息化平臺，整合學院各個部門間的數據資源，為學院專業建設工作提供精準可靠的數據支撐。能夠有效提升專業建設水平，實現專業建設過程中處處留痕，實時改進的功能，穩步提升專業質量、專業知名度的效果。利用專業建設大數據系統能夠為專業定制、專業申報、優質專業遴選、專業質量診斷與改進和劣質專業淘汰，提供一整套現代化解決方案，持續提升辦學活力和人才培養質量，對加快發展現在職業教育具有重要意義。

參考文獻：

[1]袁洪志，陳向平.文化育人：高等職業教育質量提升的新視角[J].江蘇高教，2016（1）：135-137，151.

[2]方娟.基于質量提升的職業院校教學診改工作研究[J].哈爾濱職業技術學院學報，2018（3）：4-6.

[3]汪保友，錢晶，袁時金.基于Hadoop的電信大數據來集方案研究與實現[J].電信科學，2017，33（1）：135-142.

[4]程學旗，靳小龍，王元卓，等.大數據系統和分析技術綜述[J].軟件學報，2014，25（9）：1889-1908.

[5]范會麗，彭寧，任薇.基于Hadoop平臺的數據清洗研究[J].電腦知識與技術，2020，16（5）：27-28.

【通聯編輯：代影】

收稿日期：2020-03-23

基金項目：河北省社會科學發展研究課題——大數據背景下專業建設質量診斷與改進研究（編號：2019030401065）

作者簡介：張偉龍（1981-），河北交通職業技術學院，副教授，碩士，主要研究方向：大數據技術。