構建共享數據中心

文/周筠

共享數據中心作為校內基本數據的共享平臺，將各個業務部門的基本數據進行集中管理，實現統一管理，保證數據的權威性和準確性，為各個業務應用系統和各類服務系統提供權威和準確的數據支持，承擔信息化校園中的大量數據、信息、處理以及交換結果。

消除信息孤島，建立信息與應用規范，提供集成的個性化的服務，是高校信息整合的三個重要目標。為了實現目標，須解決數據不共享、應用不集成、界面不統一等問題。首先要制定信息規范，再從數據、應用、內容、流程等層面進行信息整合，從而實現真正的信息集成。同時通過信息整合建立起各個層面的信息標準，為后續信息的管理與利用提供規范。

共享數據中心作為校內基本數據的共享平臺，將各部門的基本數據集中管理，實現統一管理，保證數據的權威性和準確性，為各個業務應用系統和各類服務系統提供權威和準確的數據支持，承擔信息化校園中的大量數據、信息、處理和交換結果。因此，共享數據中心的建設是解決多個應用系統之間數據交換和數據共享問題的核心。

數據交換和共享流程

數據采集更新

所有數據來源于各個業務系統，通過通用的數據抽取或同步方法將數據采集到共享數據中心，同時制作數據更新報告。

數據組織整理

按照學校的信息標準對各個部門更新的數據進行整理，報告數據異常，保證數據的一致性和準確性，保留歷史數據。

數據共享利用

通過授權，共享和利用共享數據中心的部分或全部資源。共享數據中心實時做出數據使用情況報告。

數據挖掘分析

通過對共享數據和歷史數據的OLAP分析，形成各種報表或根據需要展現分析結果，為領導決策提供參考。

體系架構

共享數據中心架構如圖1所示。

元數據管理

負責所有與數據結構及數據邏輯相關的定義。

數據集成工具

主要負責數據的轉換。即把源數據轉化成標準的、權威的數據，把更新后的數據分發到源數據，以及定期的數據更新。

共享數據庫

按業務領域的數據規劃，抽取出共享數據庫中的數據，存儲標準化數據和元數據、待處理數據表、分發數據表、操作日志等。

領域主題庫

按照查詢、分析等方面的需求，形成某個領域、某個維度的專門數據集。

歷史數據庫

主要存儲數據主題庫的所有變化歷程，并可以恢復某個歷史時間點上的數據。

統一的數據訪問服務

對外提供統一、標準的訪問中心數據庫表和視圖的訪問接口服務。

系統運維管理

監控數據轉換的過程，記錄數據轉換的結果。當發生數據邏輯錯誤或違反規則的情況，系統立即向相關數據庫管理員發出間斷性警報。包括數據操作日志（被拒絕的數據、數據處理記錄、錯誤記錄）、數據管理、監控系統運行狀態等。安全控制

圖1 南京財經大學共享數據中心架構

采用多級安全控制體系，分別在應用層、服務層，以及數據庫控制層進行權限設置，以保障整個系統的訪問安全。

系統功能

基礎功能

1. 數據同步

通過數據復制和發送功能，建立各業務系統數據庫到共享數據庫系統之間的數據雙向同步更新機制。各業務系統可及時將更新的業務信息同步到共享數據庫系統，共享數據庫系統也可將更新的業務信息及時同步給其他業務系統。

2. 支持數據訪問下載

共享數據中心可為學校各部門業務系統提供訪問和下載信息資源的支撐服務。學校終端用戶通過用戶身份認證和目錄系統授權驗證，將數據查詢條件及查詢要求提交到共享數據中心，共享數據中心分析查詢條件及查詢要求，對信息資源進行查找、定位、獲取、打包返回給服務調用方。

3. 數據檢查比對

共享數據中心提供了信息化校園各業務應用系統的數據檢查比對支撐服務。學校用戶通過用戶身份認證和目錄系統授權驗證，將需要比對的數據提交到共享數據庫系統，共享數據庫系統再將用戶提交的數據和共享數據庫中的數據進行一致比對，檢查比對的結果將予以標記并返回用戶。

4. 數據規則約束檢查

共享數據中心的數據保持一致性、完整性、正確性，提供數據規則約束檢查手段，對入庫數據按照業務邏輯規則進行完整性、一致性、正確性的數據清洗整理，保證共享數據庫數據準確、可靠、及時性。

5. 目錄服務

按照信息資源管理體系框架，建立信息資源目錄標準服務及元數據描述服務。元數據管理

元數據管理完成對共享數據中心的數據庫結構的管理維護工作。即對共享數據中心標準表的元數據進行登記，以方便日后的數據管理，主要如下：

1. 表注冊。對表名進行中文注釋，詳細描述該表。表的數量非常多，涉及學校方方面面，表的注冊就是為共享數據中心建立檔案，供訪問者查閱。

2. 字段注冊。字段注冊為共享數據中心的數據結構建立檔案，供訪問者查閱。

3. 更新數據庫結構。為適應學校信息化的發展和變化，對數據標準的錯誤或者誤差，有時需要更新數據庫結構。由于更新牽涉面大，不到萬不得已不能更改。更改的原則是對于未使用的表更新、新增、刪除字段信息，對已使用的表只能做新增操作。

4. 建立元數據管理系統。完成表的注冊、字段注冊和數據結構的更新等操作。主題庫管理

為了實現統一的數據規劃，對需求進行系統化的分析是必不可少的。同時，還要優先制定一套切實可行的數據模型構建標準，才能從眾多的系統中將功能交叉的部分歸納出來，最終形成共享數據模型。

在基于多個舊有系統進行共享數據中心構建的情形下，共享數據中心與這些舊有系統的數據庫還會有信息的交互。因此，對舊有系統的改造過程包括用共享數據模型替換舊有系統模型，構建新的業務關系及業務規則，對舊有系統進行重構等。經過這樣的模型重組，使得多個系統在集成以后更趨于全方位的解決方案，從而為下一步實現信息一體化奠定基礎。

在完成標準庫的建立之后，根據學校需求，建立相應的分項主題庫：

1. 財務庫。包含科研經費、教職工工資、學生繳費貸款信息。

2. 成績庫。包含學生各門課成績、輔修課程成績、第二專業課程成績。

3. 課表庫。包含各專業教學計劃、本學期開課計劃、本學期排課列表。

4. 學生庫。包含本科生、研究生、繼續教育學生、基本信息表。

5. 教職工庫。包含在職教職工基本信息、離退休職工基本信息。

6. 學籍變動庫。包含學生所有學籍變動、獎懲信息。

7. 科研成果庫。包含論文、專著、專利、獲獎、鑒定成果等信息。

8. 科研項目庫。包含申請、在研、完成項目的信息。

9. 教學資源庫。包含教室、多媒體教室、課件、精品課程講義等信息。

10. 設備庫。包含大型儀器設備基本信息及使用情況。

對主題對象的管理有：1.主題對象生成。根據應用的訪問權限，對可訪問的表的操作封裝，以后對數據庫的訪問都通過對象實現。2.對象權限管理。劃分用戶的訪問權限。3.主題對象查看。根據用戶的訪問權限，查詢接口共享目錄，調用相應的接口，將圖形化展示對象展示出來。

數據抽取與同步

共享數據中心的數據抽取與同步功能具體應包括：1.從各個業務數據庫中實時和定期地抽取數據到共享數據庫中；2.各個業務數據庫與共享數據庫數據的實時和定期同步；3.支持從各種異構的數據庫系統和文件系統中抽取數據；4.支持數據轉換與清洗，規范數據的格式。主要功能還包括數據的抽取與同步、數據管理工具等。

應用系統的數據層訪問需要通過統一的數據訪問服務平臺對共享數據庫和業務數據庫進行數據訪問操作。我們以元數據為基礎提供全局統一的數據模式。在主題庫中存儲需要共享的數據，作為數據清洗的終點和權威數據分發的起點，將所有的數據處理操作包裝成Web服務，以面向服務架構（SOA）的形式注冊到ESB總線。以工作流技術構造數據交換的業務邏輯，工作流把對數據的操作編排起來，自動完成數據交換的工作。