高等院校大數據挖掘與決策分析體系的應用研究

余 鵬 李 艷 呂 鵬

?

高等院校大數據挖掘與決策分析體系的應用研究

余 鵬1李 艷2【通訊作者】呂 鵬3

（1．中南民族大學現代教育技術中心，湖北武漢 430074；2．中國科學院武漢文獻情報中心湖北武漢 430071；3．中南民族大學圖書館湖北武漢 430074）

文章從我國高等院校“十二五”期間信息化建設的情況入手，探討了高等院校大數據研究及發展的趨勢，分析了大數據挖掘與決策分析體系建設的意義，并就該體系在高等院校信息化建設中的發展方向展開了討論。文章設計了高等院校大數據挖掘與決策分析體系架構及流程，提出了一種新穎的“大數據+微服務”模式。結合該體系在高等院校未來信息化建設中多個典型應用場景的分析，可為高等院校信息化發展提供個性化服務保障，同時為高等院校的決策者進行科學決策提供依據。

高等院校；大數據挖掘與決策分析體系；微服務；個性化服務

當前，大數據承載著海量、高增長率和多樣化的信息特點。面對數據的大幅膨脹和積累，高等院校如何更好地利用數據源信息，深入挖掘數據間的關聯性和交互性，大幅釋放出數據紅利，為決策者提供更為強大的決策力、洞察力以及管理的效率、手段、流程等方面的優化能力，將是高等院校信息化人員、管理人員和業務人員需要進一步研究的課題。教育部在2012年發布的《教育信息化十年發展規劃》中提出：智慧教育發展的目標是依托新一代信息技術，尊重學習者的個性化與多元化的發展需要，創建智能化的教育環境，推動信息時代“教與學”的變革，以最有效的方式促進學習者的知識構建與智慧發展。高等院校應抓住機遇，努力挖掘校園大數據的價值，以大數據驅動自身發展、推動智慧校園建設，從而挖掘人才創新力，輔助管理者進行決策。大數據輔以“云平臺+云計算”技術，為新時期的教育信息化建設帶來了新思路。同時，云計算技術的快速發展，也成功掃清了大數據技術面臨的數據處理和存儲瓶頸等相關問題。大數據挖掘與決策分析體系（下文簡稱“體系”）的建立，將可以大幅縮小高等院校各類業務系統之間的信息孤島與數字鴻溝，為不同規模、不同結構的數據構建統一的分布式管理、分布式計算體系提供保障。

一 體系對高等院校信息化建設及發展的影響

1 高等院校大數據研究發展的趨勢及體系建設的意義

據調查顯示，“十二五”期間，我國大部分高等院校正在建設或已經完成一輪甚至是幾輪信息化系統的建設[1]。信息化建設除了實現各類業務系統的模塊、規范業務的操作流程等功能，本研究認為最重要的一項工作應是各類業務系統的數據累積、數據標準的規范管理（即數據字典的統一與規范）、業務數據交換平臺的構建。各類信息化系統除了實現自身的業務流程，理應最大地程度克服“數據孤島”，構建一種“既分工、又合作”的關系。同時，通過構建標準的數據接口和數據字典，依托ODI、LDAP等方式，實現最大化的數據交換與共享。截至2015年底，中央財經大學數據資源以每年30~50%的速度在增長；北京師范大學教務管理信息系統數據達到500~600G，校園卡系統日記數據達到1~2TB，校園網日記數據大約為1TB。2015年5月，清華大學的業務系統記錄條數已達到3億條；其中，門禁系統每天以10萬條的速度增長；結構化數據高達1.3T，非結構化數據更是積累至14T的規模[2]。高等院校數據庫里的內容不僅豐富，而且結構已經發生了很大的改變，即大量的數據由過去的結構化數據占主導發展為非結構化數據占主導。據統計，全球結構化數據增長速度約為32%，而非結構化數據增速高達63%——這個趨勢在高等院校亦然[1]。針對國內高等院校日益龐大的數據積累，如何提高信息的利用率，使得數據逐步轉化為潛在的知識服務，并輔助業務部門和決策者做出合理的決策，將成為“十三五”期間高等院校信息化建設和發展的重點課題。

“十三五”元年，諸如清華大學、上海交通大學、復旦大學、武漢大學、中國地質大學（武漢）、華中農業大學、中南民族大學、常熟理工學院等高等院校信息化建設的主要工作，已轉到“智慧校園驅動個性化服務”、“高等院校大數據挖掘、決策與分析驅動知識服務”的建設上。高等院校建設大數據挖掘及決策分析體系的目標在于：緊密圍繞自身發展的需求，以促進智慧校園創新應用、釋放數據紅利為核心；輔助提升學校治理能力，以推進學校治理體系現代化為契機；構建大數據生態體系，輔助提升網絡和信息安全保障能力；完善大數據發展的政策環境，加快實施大數據發展戰略。也就是說，要強化各級管理的數據意識，不斷輔助提升精確的數據意識，讓決策者從拍腦門到“用數據說話、用數據決策、用數據管理、用數據創新[2]”。

2 高等院校體系建設的基礎及發展方向

高等院校體系建設將是一項長期且持續化投入的工程，而信息化建設過程中數據的積累與再利用是體系運轉的軸心。當前，高等院校在完善和優化各級業務系統功能、厘清各級業務流程、不斷構筑數據中心虛擬化云支撐平臺的同時，更應不斷完善“整合大數據業務及微服務滲透”、“以學促建加速關鍵技術的發展”、“實現高等院校的科學化管理與智能化決策”的工作流，以實現未來高等院校信息化建設的發展目標[3]。

（1）整合大數據業務及微服務滲透

①需要統籌規劃大數據基礎設施的建設。具體包括：統籌校園各類業務的數據資源和社會大數據資源，加強與社會大數據的匯聚整合和關聯分析；充分利用現有數據資源和基礎設施平臺，統籌建立低成本、高效率的大數據基礎設施和行業性數據匯聚平臺。

②信息化部門應在相關校領導的支持下，構建以校領導為核心，以多業務部門處級領導為成員的信息化建設小組。該小組的成立，旨在以信息化技術推動校園全面發展為業績考核目標，不斷推動業務部門的數據共享：統籌規劃跨部門的數據共享工作，加強頂層設計，明確各部門數據共享的范圍、邊界和使用方式，厘清各部門數據管理及共享的義務和權力；建立統一的數據交換接口及標準，加強信息系統的統籌共建，推進系統間信息共享。

③以“微服務”作為應用手段，不斷滲透至各級業務，依托數據交換平臺及大數據挖掘與分析平臺，輔助“微終端”（如微信、APP應用、釘釘等移動終端技術）實現個性化業務的展示與交互。

（2）以學促建加速關鍵技術的發展

①推進核心技術攻關。即開展大數據基礎理論和關鍵技術研究，圍繞大數據全生命周期管理，攻關大數據分析技術，突破校園大數據建模方法、非結構化數據分析、數據可視化、數據安全與隱私保護等技術，提升大數據管理能力、分析處理能力、知識發現能力和輔助決策能力。

②形成大數據產品體系。即圍繞數據采集、數據整理、分析挖掘、數據展現、數據應用等環節，研發大數據管理軟件、大數據分析挖掘軟件、數據可視化軟件、硬件支撐平臺等產品，打造健全的大數據技術產品體系，形成與傳統產業業務流程深度融合的大數據解決方案。

③構建大數據產業生態體系。即整合企業、科研院所、產業聯盟等創新資源，組建大數據開源社區、產業聯盟，促進協同創新，加速大數據應用普及。

（3）實現高等院校的科學化管理與智能化決策

體系的建立對決策者的意義在于：①輔助事前預測；②輔助事中感知；③輔助事后反饋。在大數據中“沙里淘金”，貫穿于事件的起因、經過和結果三個重要階段，為決策者提供了客觀、準確的策略來實現目標的制定，讓決策者能夠更好地了解并把握政策的實施情況，從而更好地根據反饋情況，優化、改進政策方案，增進政策的執行力，讓政策更有活力、效力[4]。

圖1 大數據輔助高等院校實現科學化的管理和智能化的決策模型

結合當前高等院校建設發展的特點，體系的建立同樣能夠為高等院校今后的發展提供更加科學化的管理和智能化的決策。鑒于此，本研究構建了大數據輔助高等院校實現科學化的管理和智能化的決策模型，如圖1所示。

①實現科學化的管理（不僅限于以下方面）。主要包括：培養計劃執行預警（學生）、失聯與行為預警（學生、輔導員）、畢業資格審查預警（學生、管理老師）、項目經費執行預警（項目負責人）、學風預警（高等院校）、就業發展狀況預警（高等院校）。

②輔助智能化的決策（不僅限于以下方面）。主要包括：實現招生計劃決策支持、財務狀況與政策決策支持、師資隊伍發展狀況與人才政策決策支持、科研發展狀況與學科建設決策支持、教學評估狀況與人才培養模式決策支持。

二 體系的構建及驅動未來信息化發展的意義

1 體系的架構和流程

高等院校大數據挖掘與決策分析體系的構建，離不開數據中心虛擬化云平臺的建設[5]，并需要依賴于各業務系統的數據積累及數據交換平臺的建設。如圖2所示，體系可由“大數據存儲交換平臺”、“外部數據挖掘平臺”、“大數據分析平臺”構成。其中，“大數據存儲交換平臺”完成高等院校內部各業務系統結構化、非結構化數據集的存儲、交換、推送，實現異構數據的統一化處理，其貫穿于整個系統建模與流程構建，在數據的預處理階段為大數據分析過濾、多維度數據抽取、數據的高性能分布式存儲提供技術保障；“外部數據挖掘平臺”實現互聯網信息的抓取（爬蟲引擎）、關鍵字過濾及實時檢索、知識及語義分析、智能挖掘，為大數據存儲交換平臺的數據源做預處理，并提供標準化的外部數據接口；”；“大數據分析平臺主要依托校園虛擬化云平臺、云計算，實現對問題的抽取、建模、規則庫的定義和遞歸優化，并實現數據的可視化統計與智能化分析，為管理、決策者提供可行性的決策依據。

圖2 高等院校大數據挖掘與決策分析體系架構

依據前期研究，本研究將體系的建模流程定義為[6]：

Step A——多維度提取數據來源：從外部互聯網數據（直接裝載爬蟲引擎）和學校內部數據（評估數據采集和對接方式）提取；

Step B——評估數據規模：根據規模大小，選擇合適的分布式并行計算應用架構；

Step C——數據樣例分析：根據采樣的數據特點進行分類、重組、歸并；

Step D——根據實際需求確定建模方式：輿情監控和分析（關鍵詞組合）、分類（選用合適的算法）、預測及輔助決策（需調整模型做大量嘗試，優化模型，無限接近準確結果）；

Step E——根據需求確定輸出方式：或直接輸出分析報告，或提供SAAS平臺，或對接DMP，或設計整體解決方案；

Step F——反復地進行迭代、優化，建立最優庫（這是一個長期過程，需要不斷進行模型匹配、機器分類、人工聚類）：確立算法模型優化、整合盡可能多的維度數據、提供多元的可視化方案。

2 以“大數據+微服務”模式驅動未來高等院校信息化發展的意義

當前，信息化服務的對象正逐步從原有的“面”服務向“點”服務發展，而用戶的需求逐步趨向于定制化及個性化的發展[7]，因此信息化服務模式轉變是未來“知識服務化”發展的必要趨勢。基于此，本研究構建了一種加快信息化服務轉型和衍生的手段——“大數據+微服務”模式，來驅動未來高等院校信息化的發展。

“微服務”的核心價值在于利用先進、穩定的信息化技術手段，將龐大且復雜的業務服務流微小化，以構建特點突出、個性鮮明的“微小”服務來貼近用戶的服務體驗。作為業務與服務的催化劑，“微服務”將各類業務數據與業務流進行深度融合，構建起貼近用戶、便捷管理的知識服務體系。“微服務”依賴于微信、跨平臺APP應用、釘釘等移動終端的微應用技術，通過調用各類標準化的數據通信接口，并利用基于大數據的挖掘、分析決策平臺，實現復雜的多業務系統平臺異構數據統一的處理；同時，通過抽取、清洗、挖掘、分析、整合等步驟，構建基于高等院校特點的大數據挖掘與決策分析平臺，建立事件或業務流程模型，向用戶提供豐富的個性化資源數據和服務。

三 體系在解決高等院校未來信息化痛點問題時的應用場景分析

1 場景一：輔助學工部門實現“學生失聯與行為預警”

問題分析：“學生無故失聯”是輔導員最大的訴求問題之一。學生作為高等院校中的個體，存在于高等院校這個空間中，不可避免地會產生各種數據痕跡。學生失聯信息如何提前預警并及時獲知，可以依賴于大數據挖掘分析機制。

學生離不開吃飯、飲水、洗澡等消費，一卡通消費數據就是分析學生日常是否在校的第一個維度；學生來學校的主要工作就是上課，依賴于上課簽到系統日志數據，從中提取學生的上課簽到信息，可作為分析學生日常是否在校的第二個維度；學生在宿舍生活，務必離不開對校園網的使用，從校園網認證系統中提取學生的上網日志，可作為分析學生日常是否在校的第三個維度；學生進出宿舍，務必需要刷卡進行準出和準入操作，從一卡通門禁系統中提取學生的出入信息，可作為分析學生日常是否在校的第四個維度。基于此，通過在高等院校數據中心構建大數據存儲交換平臺，挖掘并分析學生一卡通消費數據、上課簽到系統日志數據、校園網上網日志數據、宿舍進出門禁日志數據，然后從學校各個業務系統中抽取相關數據到大數據存儲及分析平臺，設計數據分析模型和預警策略，進行數據清洗和歸并，可以構建學生失聯與行為預警機制分析模型，如圖3所示。該模型會及時將超過閾值的異常信息，借助短信、郵件、微信等微技術介質推送給管理學生的輔導員，并在學工部門備案。失聯預警信息能夠呈現學生失聯的可能信息（如關聯學工系統請假記錄、在外租房記錄、校醫院就醫記錄等），以減輕輔導員線下核實信息的工作量，同時能夠輔助輔導員及時了解學生動向，為學生失聯與異常行為提供預警服務，并為高等院校管理者做出及時且科學的決策提供依據。

2 場景二：輔助教學部門實現“大數據輔助教學評估”

問題分析：教學評估是高等院校被考核的必選動作之一，評估結果的好壞將直接影響高等院校未來的建設與發展。結構化的數據依賴于關系數據庫，比較容易分析。面對教學評估中的一系列非結構化數據，如何進行有效的分析處理是評估的難點之一，往往會大量耗費工作人員的時間和精力來進行甄別和篩選。針對全文本結構的非結構化數據（如學生對教師的評價、學生對課程設置的建議等），如何準確地抓取非結構化數據中的有效信息，可以依賴于大數據挖掘分析機制。

如圖4所示，初始化評教文本數據，首先將數據進行預分類，通過構建非結構化數據處理平臺，依托人工聚類分析法，搭建并不斷修訂模型規則匹配庫，將使評價中的非結構化數據處理效率和效果成倍提升。

3 學生失聯與行為預警機制分析模型

圖4 大數據輔助教學評估分析模型

3 場景三：輔助招生部門實現“大數據輔助就業”

問題分析：當前，高等院校人才培養與社會需求間的結構性矛盾問題突出，一方面一批批大學生感慨就業難，另一方面眾多用人單位卻苦于招不到合適的人才。對于高等院校來說，輔助畢業生就業的手段十分有限，主要依賴于畢業前的就業指導、組織數量有限的校園招聘會和人才推薦等方式。高等院校的專業設置與目標求職崗位關系復雜，部分行業的數據涉及多項參數，難以用傳統的方法進行度量與處理；互聯網上的招聘數據量很龐大，且每天都在不斷增加。

大數據輔助就業，具體表現為：通過對互聯網上與就業相關的網站數據進行抓取、清洗和整理后，導入到大數據存儲交換平臺和數據挖掘分析平臺，可以對互聯網上各類與就業相關的網站數據進行監控；將用人單位的需求與校園內的數據進行交叉對比（如學校專業分類數據、學生課程設置數據等），依據高等院校用戶的需求進行統計分析，可以為高等院校管理者與決策者提供大數據就業指導模型；方便學校查找待定地區、待定行業歷年的人才需求變化分析及行業未來走勢分析，并了解不同行業、不同崗位對技術和技能的儲備要求，以指導學生入學后提前做好學習及研究方向的規劃；幫助學校開展有針對性的專業培訓，以提升學生的素養，同時調整專業設置、實現資源優化，布局招生計劃、完成科學的分析與預測；利用“微應用”等媒介進行可視化的數據展示，來輔助高等院校管理者與決策者定期調整專業需求，從而為招生計劃、師生配比等提供依據。

四 結語

作為大數據的生產者，高等院校各類業務系統為學校的各項信息化工作提供了基礎保障。數據的價值在于多維度數據的聯動與交互。通過對各類生產數據進行采集、抽取、清洗、關聯、分析，面向對象化的用戶服務由“面式”已逐步轉化為“點式”的定制化、個性化用戶服務。依托高等院校大數據挖掘與決策分析體系，借助“大數據+微服務”模式，可為高等院校全面建設智慧校園，實現以大數據輔助高等院校日常教學、科研、管理以及個性化服務功能，提供科學合理的保障。

參考文獻

[1]中國教育和科研計算機網.大數據時代:一切都讓沉睡的數據說話[OL].

[2]袁芳.智慧校園中大數據的機遇與挑戰[OL].

[3]汪浩.大數據輔助智慧校園落地探索[OL].

[4]孫強,張雪峰.大數據決策學論綱:大數據時代的決策變革[J].華北電力大學學報,2014,(4):34-37.

[5]李艷,呂鵬,李瓏.虛擬云桌面為高等院校圖書館服務和管理帶來的革新——以中南民族大學圖書館為例[J].現代情報,2015,(6):58-63.

[6]李艷,呂鵬,李瓏.基于大數據挖掘與決策分析體系的高校圖書館個性化服務研究[J].圖書情報知識,2016,(2):60-68.

[7]馬曉亭.基于可信小數據的圖書館個性化服務研究[J].圖書情報工作,2015,(4):70-75.

The Application of Information Construction in Universities with Big Data Mining and Decision Analysis System

YU Peng1LI Yan2LV Peng3

The paper, started from the information construction of the universities in the 12th Five-Year Plan, mainly discussed the research and the development trends of big data. Meanwhile, it analyzed the significance and the value of the data-mining and decision analysis system (short for “system”), as well as discussing the direction of development in the information construction of universities. The paper designed the architecture and process of the system, and proposed a novel information construction mode named “big data+micro-service”. Combined several typical application scenarios in universities with the system model, it can quickly and effectively penetrate into each business units of universities and provides personalized services. Meanwhile, the system can also be used for the researchers and managers of the universities to make scientific decisions.

big data; data-mining and decision analysis system; micro-service; personalized services

G40-057

A

1009—8097（2016）08—0102—07

10.3969/j.issn.1009-8097.2016.08.015

本文為中南民族大學教研項目“基于‘大數據挖掘與決策分析+微服務’體系的高等院校云輔助教學研究”、中央高等院校基本科研業務費專項資金項目“云計算環境中數字化圖書館基于多維QoS屬性的虛擬化資源分配算法研究”（項目編號：CZQ14023）的階段性研究成果。

余鵬，實驗師，碩士，研究方向為大數據、SDN網絡，郵箱為wildwolfyup@sina.com。

2015年12月29日

編輯：小西