基于校園大數據的數據共享與交換平臺分析與設計

摘要：人工智能、物聯網和云計算等信息技術在高校中的廣泛應用，積極推動了校園信息化發展進程，使得教學、科研和生活等數據爆炸式地增長。然而，由于各個應用系統或平臺建立的時間、環境、標準和技術等不一致，導致“信息孤島”問題日益嚴峻。本文在剖析校園大數據共享與交換的現狀的基礎上，提出了一種基于校園大數據的數據共享與交換平臺方案。該方案試圖突破信息壁壘、解除信息孤島，為異構業務系統、異構數據庫和不同數據格式之間提供數據共享與交換提供服務。

Abstract： The extensive application of information technology such as artificial intelligence， Internet of Things and cloud computing in colleges and universities has actively promoted the development of campus informationization， which has led to the explosive growth of data such as teaching， research and life. However， due to the inconsistencies in the time， environment， standards and technologies established by various application systems or platforms， the problem of "information silos" has become increasingly serious. Based on the analysis of the status quo of campus big data sharing and exchange， this paper proposes a data sharing and exchange platform based on campus big data. The program attempts to break through information barriers， dismantle information silos， and provide services for data sharing and exchange among heterogeneous business systems， heterogeneous databases and different data formats.

關鍵詞：大數據;數據共享;數據交換

Key words： big data;data sharing;data exchange

中圖分類號：G47;TP308? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文章編號：1006-4311（2019）18-0240-03

0? 引言

隨著高校信息化建設的發展，應用信息化的不斷深入，管理精細化要求的提高，不同系統間的數據得不到共享，形成一個又一個的信息孤島。各個業務系統所產生的大量異構數據，如何能夠方便高效地開放出去，實現數據共享與交換，是當前高校信息化亟需決的難題[1]。校園信息化水平不高的時候，數據的開放方式還可以直接將數據導出給對方。然而，教育信息技術2.0支撐下的泛在學習、混合式教學和智慧校園等應用，使得教育教學有關數據爆炸式地增長。過往簡單的數據直連的方式不僅低效，而且還帶來了管理與安全等諸多問題。同時，信息技術的廣泛應用，使得業務服務對象從既往的各級業務部門變為全校范圍內的師生。更多的應用、更多的用戶需求，將直接導致業務共享與交換的壓力呈指數上升。例如，數據服務共享得不到有效管控，多源頭的數據采集，重復過程的數據采集，服務通訊無法統一管控等問題日益突現。這對數據服務架構性能、穩定性、擴展性、可控性提出了更高的需求。因此，如何減輕工作量，方便業務部門進行數據管理，打造一個數據共享交換生態平臺成為各個高校的共性問題。

1? 現狀及需求分析

當前我國學校教育信息化基礎設施、信息系統建設和師生服務等方面普遍取得了長足進展。同時，隨著信息技術在教育領域中的不斷深入，也逐漸暴露出各級信息系統分散，數據質量低等問題，這與金融、電力、通訊、交通、制造等信息化程度高的行業相比，仍存在較大差距。主要體現在數據文件和數據報文的共享與交換。

首先，在數據文件共享與交換方面，校內存在眾多的信息管理系統，每個信息的數據獨立存在，得不到有效共享與互通。其次，信息安全管理與防范機制不夠完善，存在信息系統數據隨意授權或管理不嚴的現象，容易導致濫用數據或隱私數據泄露的情況發生。最后，數據的質量得不到提高。前期信息系統建設普遍存在“重功能輕數據”情況，缺少全校數據標準整體規劃，即使發現數據有問題也無從審核與校驗，進而導致問題數據不斷的沉積，相關報表數據統計的及時性、準確性得不到保證，嚴重將會影響到學校的決策與分析的應用。

在數據報文共享與交換方面，不同業務系統之間的通訊報文與文件交換缺乏相關管理流程，數據管理責任不明確和缺乏審計機制等。首先，數據全生命周期缺乏管理，容易出現數據質量問題，無法對問題數據進行溯源追蹤。其次，學校各種應用服務快速增長，單點負載均衡壓力也會越來越大，并且各項應用服務之間的依賴關系變得錯綜復雜，難以理清具體應用程序之間的先后啟動順序。最后，各項應用服務的調用量越來越大，服務的容量就會受到一定的考驗。

2? 數據共享與交換平臺設計

數據共享交換平臺將起到橋梁樞紐作用，是突破信息壁壘、消除信息孤島的重要手段。針對當前校園數據共享與交換的現狀與需求，本文提出一種基于校園大數據的數據共享與交換平臺框架。該平臺架構由三大框架組成，分別為分布式服務中間件、分布式數據交換系統和集中任務調度系統，如圖1所示。

數據共享與交換平臺通過為各業務系統提供數據準入接口，以統一的數據模型、數據質量標準和接口規范，以實現數據自動提取、數據轉換、數據發送、數據校驗、數據審核等，并確保各項業務系統之間的數據能夠順暢、實時和批量傳輸。然后。通過制訂大數據共享規則，將所有經過檢驗與審核的數據匯聚到數據管理中心，形成大數據共享中心庫。最終該平臺采用規范、統一和透明的數據共享方式，為不同業務系統、不同數據庫和不同數據格式之間進行數據交換而提供服務。

2.1 分布式服務中間件設計

隨著信息技術在教育教學中廣泛應用，越來越多的系統被融進“服務流程重組”，“敏捷開發”等“微服務”的概念中，并對原有業務系統進行不同層次與級別的拆分。“微服務”節點在學校中的數量成指數增長，不同數據服務直接的調度對服務接口造成的強烈的負擔。尤其在傳統業務分層概念下開發的相關服務系統，給學校業務環境留下了嚴峻的單點故障問題[2]。為了解決這些問題，分布式服務中間件就應運而生。

分布式服務中間件為所有的業務系統提供了統一的API接口。在取得數據管理者授權的前提下，數據使用者可以通過調用數據接口對數據服務進行獲取。同時，分布式服務系統對接口調用情況進行記錄，并且形成API接口調用分析表。從服務模型的角度來看，分布式服務系統采用的是一種非常穩定的模型，只有服務提供方（Provider）和服務消費方 （Consumer）兩個角色。數據服務調度過程如圖2所示。

2.2 分布式數據交換系統設計

分布式數據交換系統是將各項繁雜的數據系統集成在一起，提供同構或異構數據之間的數據采集、格式轉換、消息過濾、動態部署和可視化監管等方面功能[3]。該系統能夠支持Oracle、SQLServer、MySQL等主流數據庫以及各項常規文件（如：word、excel、pdf等）各種格式。如圖3所示，Reader負責數據采集，Writer負責數據的寫入，而Framework解決Reader和Writer之間的連接問題。另外，數據從原始數據庫流向標準庫的過程中，需要對數據的唯一性和正確性的變化情況進行監測。

2.3 集中任務調度系統設計

集中任務調度系統是數據交換共享平臺的核心，將完成分布式服務系統與分布式數據交換系統進行任務的統一調度。如圖4所示，集中任務調度系統通過獲取分布式服務系統與分布式數據交換系統的相關策略配置，并對不同的服務與交換要求進行優化，進而實現統一的進程發起與任務調度。首先，集中任務調度系統能夠支持豐富多樣的調試方法，以滿足各種調度需求。其次，調度方式具有靈活性，能夠支持調度數據的多種存儲，以及任務與調度多方式組合。最后，該任務調度系統通過對RMI（Remote Method Invocation）的使用，能夠確保該調度服務能夠以獨立的方式運行。

3? 結束語

大數據環境下，大量的信息服務與應用的興起給校園數據共享與交換平臺的建設帶來了巨大的挑戰。本文提出了一種基于校園大數據的共享交換平臺設計方案。該方案將通過為各類型業務系統數據接入的提供準入接口，并采用統一的數據模型、數據質量標準和接口規范，實現數據的自動采集、內容轉換、數據傳輸和數據審核等，進而為異構業務系統、異構數據庫和不同數據格式之間數據交換與共享提供服務。

參考文獻：

[1]俞春，袁芳，等.高校數據共享與交換技術的應用研究[J].實驗技術與管理，2012，29（11）：109-122.

[2]張云，韓彥嶺.航運大數據[M].上海：上海科學技術出版社，2016：133-135.

[3]陳海郎，陳農心.信訪一體化信息系統關鍵技術研究與實現[J].價值工程，2016，15：81-83.