基于高校信息共享服務的大數據平臺關鍵性技術研究

蔣安波，羅金光，張福生

（常熟理工學院 江蘇 常熟 215500）

0 引言

在十四五規劃提出“以數字化改革為牽引，全力提升高等教育核心競爭力、綜合實力和影響力”[1]的背景下，以教育大數據為載體，驅動智慧校園建設成為高校信息化發展的必然趨勢，而構建高校綜合信息的共享服務平臺正是智慧校園建設的深化。“完善業務系統、優化工作流程、集中改進教學、消除信息孤島、管理、決策等方面的數據共享問題”[2]是信息共享服務平臺的建設宗旨，也是信息化大數據服務高校綜合實力提升所必須要解決的痛點問題。

1 信息共享服務平臺的數據需求分析

隨著高校信息化、智慧化校園的發展建設，多渠道的數據來源、數據的海量增長、信息孤島下的數據冗余都向傳統的信息服務平臺提出了新的技術要求，具體體現在以下幾個方面：

1.1 數據獲取渠道的規范化管理

數據管理權限混亂是傳統高校信息化管理工作中長期存在的問題，由于信息化建設初期高校缺乏總體的統一規范設計和部署，相關的數據管理體系也不完善，導致數據管理權限分散在多個部門之間，部門權屬、職責和工作流程的不同又進一步加劇了這種管理混亂的現象，導致數據從獲取源頭開始就缺乏統一的規范和標準，這不僅大大增加了數據采集的重復工作量，也難以保障數據的質量[3]。

1.2 海量數據的有效匯聚和關聯關系的構建

高校信息化建設和發展歷經了數十年，圍繞學校的人、物、事積累了大量的數據資源，這些數據資源如果能夠進行有效的匯聚，建立科學的關聯關系，將有助于數據的充分利用和共享，并為高校管理工作的數據分析和發展決策提供可靠的數據依據。

1.3 數據的開放共享

在信息化建設初期，受限于計算機軟、硬件技術的發展，很多業務系統開發都不具有開放式的共享理念和規范的框架設計，且主要是依據業務部門的實際需求，需要什么做什么，部門與部門之間的業務系統各自獨立，缺乏統一的數據交換接口和標準的數據交換格式，形成了很多信息孤島[4]。如需打通這些業務系統，還需付出高昂的系統改造費用和數據對接費用，這都大大增加了在原有業務系統上實現數據共享的代價成本。

1.4 數據隱私及安全的保障

隨著數據的海量增長，隨之而來的還有數據的隱私和安全問題。在數據的有效生命周期中，建立完善的數據加密、脫敏、驗證、審計、日志跟蹤等安全機制是十分必要的[5]，也是保障數據可靠性和有效性的必要手段。

針對上述四個方面的數據需求分析可知，傳統的信息服務平臺已經很難滿足高校信息化數據管理的需求，構建以大數據為載體的新型信息共享服務平臺才是未來高校信息化、智慧化校園建設的必然發展趨勢。

2 信息共享服務平臺的框架設計

信息共享服務平臺主要采用了三層式的架構設計，自底向上主要包括基礎層、核心層和服務層[6]，如圖1所示。

基礎層是信息共享服務平臺的最底層，是信息共享平臺的構建基礎，由硬件設施和軟件服務系統共同構成。其中硬件設施是指用于構建共享網絡平臺的交換設備，以及數據采集所需的終端設備；軟件服務系統則由ioas（基礎服務設施，Infrastructure-as-a-service）、PaaS（平臺即服務服務，Platform-as-a-service）、SaaS（軟件即服務，Software-as-a-service）三種服務模式整合而成[7]。其中IaaS提供的是一種按照數據訪問量或空間占用量計費的服務模式，主要面向一些普通用戶，以租用的方式向用戶提供平臺數據共享服務，用戶無須自己進行的基礎設施的投入和搭建，該種模式大大降低了普通用戶實現數據共享所投入的成本，并具有很好的服務靈活性與彈性，但服務權限是受限的，對于定制化服務需求的滿足程度是有限的。PaaS主要面向企業級用戶提供一種基于網絡共享平臺的開發環境服務，PaaS將平臺本身作為服務有償提供給用戶，用戶可以基于平臺自行進行軟件環境的開發和部署，該模式提供有預置的開發框架，開發人員可以基于框架通過內置組件進行應用程序的二次開發，并依據資源的使用量或空間占用量進行計費。SaaS是將部署在服務器端的應用程序提供給用戶服務，并以軟件服務的訂購量或服務時長為標準進行計費，該模式將軟件服務劃分為免費、付費、增值三個級別，以滿足用戶的不同需求，用戶無需對服務環境進行任何設置和管理，直接通過終端瀏覽器即可使用服務。以上三種服務模式都是基于云平臺實現的，所涉及的大數據核心技術主要有網絡虛擬化技術與云計算技術。

核心層位于信息共享平臺技術框架的中間層，用于實現數據資源的采集、存儲、挖掘分析和共享[8]，是平臺核心功能的實現層。高校信息共享服務平臺所涉及的數據資源分為三類：基礎數據資源、教育數據資源和業務數據資源，其中基礎數據資源是指高校管理所需的所有基礎數據，例如學生基本信息、教師基本信息、行政人員基本信息、開設系部和專業基本信息、高校資產信息、行政管理信息等等。教育數據資源是指與高校教育相關的、具有較強學術性和專業性的數據資源，可以分為一般性的教育資源與科研級的教育資源，一般性教育資源主要指的是教師的教學資源、課程資源等，科研級教育資源指的是實驗數據、科研論文、科研項目報告等數據，這類數據資源大都涉及知識產權的歸屬問題，需要依據數據的涉密程度進行分級別的權限管理。業務數據資源是指高校日常管理過程中所產生的行為有關的數據資源，以及系統日常維護所產生的動態數據，例如學生考勤信息、教師評教數據、行政部門工作評價數據、系統日志、文件備份等。核心層可以看作是信息共享平臺的集中資源池，所涉及的大數據關鍵技術都是以數據處理為核心的，主要包括：數據采集挖掘技術、數據預處理技術、數據標準化技術，以及數據的存儲技術等。

服務層位于信息共享平臺技術框架的頂層，是面向用戶實現服務的前端交互層，用于接收和響應用戶的數據服務請求，并按照用戶要求的形式提供最終的數據處理結果。服務層面向的用戶群可以是用戶單位（高校）本身、與用戶單位相關的其他科研院所、與用戶單位同屬一個管理體系的上下級關聯單位、向社會提供教育服務的用戶群體等，依據用戶群的屬性和需求不同，平臺還需建立完善、嚴謹的數據安全管理機制和共享機制，以實現數據資源的按需共享。該層所涉及的大數據關鍵技術主要有數據可視化技術、數據分析技術和數據的安全驗證技術。

3 信息共享服務平臺體系的大數據關鍵技術

基于信息共享服務平臺體系架構下的大數據關鍵業務和構成如圖2所示。該高校信息共享綜合平臺是建立于統一政策法規與信息標準體系、信息安全與運行維護體系為前提的頂層設計系統，其由IT基礎設施層、應用支撐平臺、業務應用和綜合服務展現四層結構構成。

3.1 IT基礎設施層和應用支撐平臺關鍵技術

基礎層主要負責實現信息共享服務平臺的底層構架，包括硬件部署和網絡軟件服務等部分，在此基礎上構建信息整合和應用整合平臺以構成應用支撐平臺，涉及數據共享規則、統一身份認證、應用集成框架、企業服務總線等核心模塊，所采用的關鍵技術主要是基于網絡虛擬化技術和云計算技術。

網絡虛擬化技術是基于物理網絡虛擬出多個邏輯網絡，通過邏輯網絡提高網絡資源的利用率，以及網絡安全性和可靠性。網絡虛擬化面向的是網絡設備底層，具體的技術實現包括局域網的虛擬化、專用網絡的虛擬化和網絡設備的虛擬化。網絡虛擬化技術突破了物理網絡的空間限制，從邏輯上基于組織單位、部門、應用等因素將一定范圍的用戶構建在同一個網絡當中，用戶對網絡資源的調度和使用通過虛擬映射對應到物理網絡，邏輯網絡的資源調度和功能擴展不會受到物理網絡的限制，只需更新相應的映射關系即可，極大地提高了網絡的可拓展性和應用靈活性，降低了網絡搭建的硬件成本投入，為云平臺和云計算服務的實現奠定了硬件基礎。

云計算是基于分布式計算機集群技術發展起來的一門新興技術，即將分布在不同物理位置的服務器構建為集群，每一個服務器可以看作是一個網格元素，用于承擔一個完整任務下的部分數值運算，通過所有的網格共同協作高效地完成一個復雜任務的數據運算。早期的云計算技術重點是實現任務的網格分解和結果合并[9]，隨著應用場景和應用需求的不斷更新擴展，云計算已經成為涵蓋分布式計算、虛擬化網絡、網絡負載均衡、網絡存儲和并行計算等計算機技術的一門綜合技術。云計算技術使得網絡硬件與軟件資源的全面共享成為可能，特別是大數據環境下，網絡需要具有極高的數據處理能力才能承載海量的數據，云計算技術極大地提升了網絡數據的運算和存儲能力，通過云計算技術所構建的網絡資源池可以面向所有的互聯網用戶提供服務，而這種服務是集合了網絡中所有優質資源、安全且高效的共享服務。

3.2 業務應用層的大數據關鍵技術

該層是信息共享服務平臺業務應用的實現層，主要為完成學生、科研、教師、財務、資產和服務等功能提供后臺的基礎數據、教育數據、業務數據等三類數據資源的采集和處理。所涉及的關鍵技術主要包括：數據挖掘技術、數據預處理技術、數據標準化和數據存儲技術等。

數據挖掘是基于一定算法挖掘出海量數據中的數據關聯關系和數據的潛在價值的數據處理過程。數據挖掘的實現過程由三個階段構成：數據準備、數據規律分析、數據規律表述[10]。數據準備階段是從數據源中篩選出相關聯的數據，并依據用戶需求不同整合相應的數據集合；數據規律分析階段是通過算法設計查找到數據集中的數據規律；數據規律表述階段是基于數據集中的數據規律構建關聯模型，為數據處理結果的最終呈現提供通用的數據模型。

數據預處理技術是數據處理中的前導環節，主要是實現對數據的規范化處理，未經處理的原始數據往往會存在以下問題：

1）數據冗余問題，指數據內容或屬性的重復；

2）數據不一致問題，數據來源不一致導致的數據格式、屬性的標準差異；

3）數據不完整問題，指數據內容或屬性的部分遺漏；

4）數據噪聲問題，指數據中存在的異常情況。

通過數據預處理技術可以對原始數據進行必要的清洗、去重、分類、排序、篩選等處理，這也是實現數據挖掘的前提條件。

數據標準化技術主要是實現數據分析中的數據物理屬性或數據量級的標準化處理，隨著數據規模的急劇擴張，數據分析的視角、維度、參考指標也越來越復雜和多元化，所涉及的原始數據在物理屬性、量級等方面往往存在很大的差異，導致數據分析結果不夠準確和客觀，因此需要通過一定技術手段先對數據進行標準化處理，再實現綜合的數據分析。數據標準化處理主要解決數據性質的不同和數據量級的不可比問題，數據性質的不同主要指的是物理屬性不同，通常采用修改逆指標性質的方式，使得所有指標數值的作用力趨于同質化，再進行加總處理；數據量級的不可比是指量級過大的指標數值往往會削弱量級過小的指標數值的權重，從而影響數據分析的準確性，解決方法是采用去量級標準化，使得所有指標數值都處于同一數量級標準，再進行分析比較。

數據存儲技術也稱為數據持久化技術，大數據背景下數據存儲具有高實時性、非結構化、體量龐大等特征，這就要求數據存儲系統具有非常高的處理性能、吞吐量、存儲容量和較好的數據兼容性與穩定性。數據存儲技術基于云計算平臺重新定義了數據存儲的文件架構和存儲方式，采用HDFS分布式文件存儲架構，以數據塊為最小存儲單位，分布存儲在服務器集群之上，再通過節點服務器進行存儲文件的備份和管理，具有海量的數據存儲空間，以及高效的數據讀寫等技術優勢。

3.3 綜合服務層展現的大數據關鍵技術

綜合服務層展現主要通過短信、WEB、手機客戶端和郵件等功能為系統使用者提供管理決策、自主學習、交流和業務處理等功能，用于實現數據處理的結果呈現，所涉及的大數據關鍵技術主要有：數據可視化技術、數據分析技術。其中數據可視化是借助二維表格、圖形圖像等方式對大數據集合的分析結果進行表達和顯示的過程，這當中涉及了數據空間、數據開發、數據分析等大數據的相關概念。其中數據空間指的是由n維屬性和m個元素構成的多維數據集合；數據開發指的是對數據進行計算、推演的算法設計和模型搭建的實現過程；數據分析是指針對多維數據集合進行的數據切片、塊拆分、維度切換等數據剖析的實現過程。

4 結論

隨著大數據時代的來臨，傳統的高校信息服務平臺已經很難滿足海量數據的規范化管理、數據隱含價值的有效發掘、數據的全面共享和數據安全等方面的信息需求，因此基于大數據技術實現高校信息共享服務平臺的構建是高校信息化建設的必然趨勢。在此前提下，本研究實現了信息共享服務平臺的四層構建框架和統一的運維及標準體系，并針對信息共享服務平臺框架所采用的大數據關鍵技術進行了深入研究，為高校信息共享服務平臺的后續功能優化和迭代進化奠定研究基礎。