董啟雄,唐清安,穆道生
(裝備學院訓練部信息管理中心,北京100416)
數字校園中的統一數據交換技術研究
董啟雄,唐清安,穆道生
(裝備學院訓練部信息管理中心,北京100416)
進入二十一世紀以來,伴隨著“211”、“985”等重點工程的實施,大多數高校都建成了比較完善的網絡基礎,形成了具有一定數量及規模的服務器和數據存儲的數據中心;建設了一批基礎網絡服務和業務應用系統以及一批各具特色的教育信息資源,數字校園建設與應用正方興未艾。本文介紹了數字校園的總體架構,論述了統一數據交換在數字校園體系中的重要作用,分析了當前數據交換的主要方式、性能優劣及適用場合。
數字校園;數據交換;性能分析
我國的數字校園建設雖然起步晚,但是由于政府的強力支持、各院校的積極參與并參照了國外數字校園的建設經驗,數字校園建設發展迅猛。進入二十一世紀以來,伴隨著“211”、“985”等重點工程的實施,大多數高校都建成了比較完善的網絡基礎,形成了具有一定數量及規模的服務器和數據存儲的數據中心,建設了一批基礎網絡服務和業務應用系統以及一批各具特色的教育信息資源,數字校園建設與應用正方興未艾。
從總體上來看,數字校園大致可以分為以下三大部分,即基礎設施(信息網絡、數據中心、信息終端)、基礎平臺(統一數據交換平臺、統一身份認證平臺、統一門戶平臺、統一基礎數據庫)和應用系統(如教務管理、學生工作、財務管理、人事管理、教學平臺、公共服務、一卡通等),如圖1所示。

圖1
開展信息化建設以來各院校開發部署了大量的應用系統,有很多系統至今仍在發揮著重要作用。但是由于歷史的原因,這些應用系統大多偏重于本單位、自身業務的工作流程以及數據的信息處理,普遍缺乏有效的總體規劃和統一的數據標準,因此這些系統通常是封閉、自治、異構的,形成了數據不一致、信息不共享、安全難保障、應用難集成的局面。
因此,必須建立一種能夠有機、高效地整合應用系統的機制,包括新建設的以及過去不同時期建設的應用系統,解決教育信息化過程中應用系統之間的數據共享和信息互通問題。
數字校園的出現徹底改變了傳統的業務系統建設模式,它實現了統一的數字校園門戶、統一的身份認證、統一的數據交換與共享,能夠有效地消除“信息孤島”。
統一數據交換以校園網為基礎,以國家和教育部的相關標準為依據,在涵蓋全校共同業務的統一基礎數據庫(包括人員基本信息、設備基本信息、教學信息、科研信息等)上,構建通用、靈活、高效的數據交換體系,打破當前多部門基礎數據分治、孤立的局面,實現基礎數據的抽取、過濾、存儲、管理,從而形成完整、統一的全校數據視圖,為包括基于不同平臺、采用不同技術、異構的應用系統提供松耦合的數據交換和信息共享,提高教學、科研、行政管理和決策分析的綜合效率和公共服務水平。
統一數據交換應實現的主要功能包括:
(1)元數據管理。在數字校園中元數據是對數據結構、數據關系等的描述信息,是數據交換的基礎。
(2)集中管理。控制各交換節點(應用系統、統一交換平臺、應用系統數據庫、統一基礎數據庫)間數據交換權限、規則、路徑,提供數據交換全過程的可視化配置手段。
(3)支持主流的數據庫,如Oracle、MS SQL Server等,支持異構數據庫間的數據集成與協同,并保證多數據庫(異構或同構)之間的全局事務一致性。
(4)支持多種數據交換策略,如事件觸發,定時任務、按需觸發等以滿足不同的交換需求。
(5)具備完善的日志管理機制。監控交換任務的全過程并記入日志,為管理人員進行性能分析和故障判斷提供直觀詳實的數據。
(6)支持集群部署和負載均衡,確保無單點故障,提供可靠、高效服務。
最早的數據交換為直接的“點對點”形式,在這種方式下必須為系統中的每個交換進行定制開發,但是隨著集成的系統變多,開發及后期維護的工作量就會急劇增加,因此這種效率低下的方式無法滿足數字校園中大量的應用系統間的數據交換需求。
隨著EAI、SOA、ESB等技術的出現,以及各行業信息化進程的加速,數據交換、系統集成技術日益成為研究與應用的熱點領域,出現了多種高效、通用的數據交換方式,主要有數據庫ETL(Extract Transform Load)工具、第三方ETL工具和Web服務三種方式。
1.基于數據庫ETL工具的數據交換
大型的商用數據庫通常都會提供ETL工具(如Oracle 的ODI、SQLServer的SSIS和人大金倉的KDI等)。以ODI為例,它可以提供靈活的數據獲取方式,包括數據庫變化的數據捕捉、觸發器、自定義標志位、基于日志的Logminer等方式,并可以采用數據庫的內置客戶端命令抽取、過濾和加載數據,從而獲得高性能、高質量的數據交換。
2.基于第三方ETL工具的數據交換
第三方ETL工具(如Informatica Powercenter、Kettle等)提供獨立的數據交換引擎,支持多種通信協議,封裝具體的數據訪問、傳輸過程,實現數據交換節點(應用系統數據庫與公共數據庫,或者數據文件與公共數據庫)之間的數據映射、轉換、清洗、傳輸及存儲功能。
3.基于Web服務的數據交換
基于Web服務的數據交換是一種采用SOA架構的、分布式環境下的異構系統集成技術,它采用了標準的XML、SOAP、WSDL、UDDI等協議,具有開放、分布、標準化等特點,實現了對數據交換功能的封裝、注冊、發布及調用。在統一數據交換平臺中能根據元數據自動構建出基本的數據服務,實現高效、快捷的服務構建,從而達到異構應用系統間松散耦合、與平臺無關的交互與協同。由于統一數據交換平臺與業務系統的服務接口是規范、公開、穩定的,因而可將應用系統或數據平臺升級對數據交換的影響降低到最小,整個體系具有良好的可擴展性。
以上三種數據交換平臺均能完成同構、異構數據之間的數據抽取、格式轉換、內容過濾、內容轉換、可視化管理監控等方面功能,但是由于采用的技術不同,它們在數據交換效率、數據質量上的性能有所差異,如表1所示。

表1
數據庫ETL工具和第三方ETL工具都是實現源數據庫(或前置機數據庫)與目標數據庫間的直接數據交換,是一種緊耦合方式,交換效率高,但前提是必須開放雙方數據庫的訪問權限,存在較大的安全隱患;其次只有熟悉源數據庫與公共數據庫的人員才能創建與維護。但是這兩種模式都不必改造參與交換的應用系統,適用于暫時不便改造的遺留系統和上級配發的系統。
基于Web服務的數據交換采用了標準的協議,實現應用系統與數據交換平臺間的數據交換,是一種松耦合的方式,具有廣泛適用性和良好的擴展性,能夠實現大規模的集成,有利于建立高效、規范、統一的校級應用系統體系。但是必須在應用系統和數據交換平臺中開發相應的服務,且交換效率較低。適應于在數字校園架構下的新建系統和計劃改造系統。
隨著技術的發展與融合,一些ETL工具中也結合了Web服務技術,而Web服務的效率也在不斷提高,因此在建設數字校園統一數據交換平臺時,應從本單位的現實情況和長遠規劃考慮,選擇有針對性的、科學合理的技術方案,為數字校園提高一個高效、可靠、安全的數據交換與共享平臺,為院校的教學、科研、管理、服務的信息化提供有力支撐。
[1]蔣東興,付小龍.高校數字校園建設指南[M].北京:高等教育出版社,2012.
[2]俞春,袁芳,劉乃嘉,王茜.高校數據共享與交換技術的應用研究[J].實驗技術與管理,2012(11).
(編輯:王曉明)
TP393
B
1673-8454(2015)13-0067-02