高校數據交換平臺的設計與研究
——以西北工業大學數據交換平臺為例

西北工業大學信息中心 周曉菊 黃曉波 曹祥瑞

高校數據交換平臺的設計與研究
——以西北工業大學數據交換平臺為例

西北工業大學信息中心 周曉菊 黃曉波 曹祥瑞

隨著高校業務系統的增多，系統間數據存在著密切聯系，互聯互通需求越來越迫切。文章以西北工業大學數據交換平臺建設為例，具體從建立信息標準、收集需求、設計交換平臺、實現數據清洗四個方面來探討如何實現校園數據交換與共享，并提出了建立數據交換平臺的解決方案。

數據交換平臺；數據共享；數據倉庫

1.高校數據交換的背景

目前，信息化建設存在于高校管理的各個領域，信息化建設已經成為學校實現跨越式發展和創建“雙一流”的重要手段和戰略選擇。近年來，各部門紛紛建立自己的應用系統，減輕了人工管理的負擔，提高了管理效率。例如：教務處的排選課系統；學生處的獎助勤貸系統；財務處的財務管理系統等。

但是，由于校內部各部門的信息化建設程度參差不齊，在系統定制或產品購買時只考慮到滿足實際業務的需要，未考慮系統互聯互通的需求，缺少統一規劃，使得開發語言、平臺、數據庫種類、版本上存在很大的差異，同時，各部門自行維護數據，易導致不一致等問題，對數據交換共享帶來很大障礙。因此，制定統一的數據標準，構建全校共有數據交換平臺顯得尤為重要。

那么，如何實現校園各應用系統的數據交換和共享？下面主要以西北工業大學（以下簡稱“西工大”）數據交換平臺為例，具體從建立信息標準和基礎數據庫、了解總體需求、設計交換平臺、實現數據清洗四個方面來探討。

2.建立信息標準和基礎數據庫

信息標準從原則上遵循國標、部標、省標，優先級從下到上的原則。2012年教育部頒發了《高等學校管理信息》標準，具體由《學校概況數據子集》、《學生管理數據子集》、《教學管理數據子集》、《教職工管理數據子集》、《科研管理數據子集》、《財務管理數據子集》、《資產與設備管理數據子集》等十一部分組成。西工大在沿用該標準的基礎上，納入校內編碼規則，形成了《西北工業大學基礎數據庫標準》，并依照該標準建成《西北工業大學基礎數據庫》，作為數據交換的中心節點。各部門通過數據交換平臺，進行數據抽取和轉換，提高交換效率，降低點對點交換的復雜性。該標準規范了學校信息化建設，為后續數據層和接口層的交換打下了良好的數據基礎。

3.收集高校數據交換需求

數據交換首要的工作是搜集各業務系統數據交換需求，分別形成各自的需求文檔，對需求進行詳細地分析，這能極大提高實施效率。需求收集的主要內容包括以下四點：

（1）環境信息。記錄基礎數據庫和各業務數據庫所在主機IP地址、服務器操作系統、數據庫名、數據庫類型、版本信息、數據庫用戶名和密碼、數據庫用戶的訪問權限、數據庫端口等。

（2）流轉數據信息。即記錄基礎數據庫提供哪些數據給業務數據庫，以及業務數據庫應該提供哪些數據給基礎數據庫，且要記述數據在交換到其他業務數據庫后的使用場景。

（3）數據項信息。首先需要進行現行數據狀況普查，了解基礎數據庫中的數據項產生源頭部門、數據有無、數據現有存儲形式，確定數據單一來源，詳細記錄交換中源數據（或視圖）和目標數據的表結構、字段對照關系、字段具體信息、源與目標字段的轉換關系、交換描述、交換規則等。詳見表1數據交換設計映射關系表。

表1 數據交換設計映射關系表

4.設計數據交換與共享平臺

借助校園網絡，將物理上各個獨立的業務系統通過數據交換共享平臺聯系起來，形成邏輯上高度集成的數據交換共享中心。該平臺將信息采集、加工和整合，通過制定合理的數據交換機制實現校園數據的集中管理與共享。西工大數據交換平臺通過集成校內基礎數據庫與業務數據庫，經過數據抽取、映射和轉換以及加載，實現數據交換，減少系統間各自頻繁交換，實現校園信息共享。此外，該平臺在數據交換共享的同時為數據倉庫清洗、沉淀數據，為大數據分析打好數據基礎。

數據交換平臺架構：

圖1 西北工業大學數據交換平臺整體架構

如圖1所示，西工大數據交換平臺的整體架構由五層構成，分別是源數據庫、目標系統、基礎數據庫、數據倉庫、公共數據管理平臺。

（1）源數據庫

是原始信息層，由各業務系統組成，各系統在實際運行過程中積累了與學校業務相關的較為規則的業務數據和歷史數據，如人事、教務、科研、資產、財務數據等。構成交換所需的數據源。

（2）基礎數據庫

存放相對固定的共享的數據，來源于學校的各個業務應用系統。（3）數據倉庫

收集業務數據、運行監控數據、日志數據等，根據業務需求，對信息進行加工轉換，進行數據挖掘，為領導層提供決策支持。

（4）公共數據管理平臺

是數據交換的中心。該平臺主要包括交換機制管理、數據抽取與轉換、信息發布與訂閱以及信息標準等。對外統一以接口形式發布在ESB總線上，進而實現了異構數據庫和標準數據庫之間的數據雙向交換問題。

（5）目標系統

是指需要通過數據交換平臺來獲取其他部門或者基礎數據庫數據的業務系統。目標系統通過抽取、訂閱的方式在ESB總線上調用WEBService接口來獲取所需數據。

5.數據交換的具體實現

5.1 數據交換模式

目前國內外數據交換的模式主要包括：利用中間數據庫進行交換；通過ODI工具構建視圖進行交換；開發數據庫中間件或組件。西工大數據交換平臺采用ETL抽取和ESB發布的形式，以基礎數據庫作為中心節點對各個業務系統進行數據交換。業務系統間的信息交換主要有兩種模式。

第一種是“請求與應答模式”，某個系統獲取另一個系統的數據，需獲取數據的系統向信息交換平臺發出請求消息，交換平臺將消息傳遞給提供數據的系統，該系統向交換平臺發送應答報文，交換平臺再將報文回傳給需求者。

第二種是“發布與預約模式”，某個系統需共享其他業務系統的數據，需向交換平臺發出“預約”報文，當被預約的數據更新時，被預約數據所在系統向交換平臺發布“數據更新事件”消息，交換平臺立即將報文發送給預約者，從而實現數據的實時更新。

5.2 數據交換過程

西工大數據交換平臺借助基礎數據庫對數據進行統一儲存，整合各個業務系統數據資源。為避免業務系統的升級和完善對其它業務系統正常運行的影響，各業務系統間數據交換通過交換平臺的接口進行的，不允許直接訪問基礎數據庫。好處是確保基礎數據庫的數據安全，同時，減輕多個業務系統對基礎數據庫同時訪問的壓力，應對并發訪問帶來的響應速度慢的問題。

下面以學生數據為例，對西工大數據交換平臺的轉換過程進行說明。以在校學生信息為例，學工、教務、一卡通、財務、圖書館等系統都使用到它，目前各系統自行維護學生數據，這種重復錄入可能導致數據不一致。

數據交換平臺采用主動抽取訂閱、觸發兩種方式進行數據交換。對于批量比較大，實時性要求不高的情況采用訂閱間斷性抽取的方式，對于實時性要求較高，數據量少的情況采用增量觸發的方式。

（1）新生入學

新生數據從招生系統開始至迎新系統完成，期間與各系統存在著反復的數據傳遞，其數據聯系如圖2所示。

圖2 新生入學期間系統間的數據傳遞

各系統數據流轉如下：

（1）從省招辦系統將新生數據導入招生系統，獲取新生基本信息，包括：考號、姓名、專業、成績、聯系方式、照片等信息，招生系統編制學號，打印通知書。基礎數據庫通過訂閱方式將招生系統中的新生信息導入基礎數據庫。

（2）教務系統完成分班，產生新生班級信息。基礎數據庫采用訂閱方式將教務系統中的班級信息更新至基礎數據庫。

（3）學生處的宿管系統劃分學生宿舍。產生宿舍信息被訂閱到基礎數據庫中。

（4）一卡通讀取學生基本信息，采集照片，將卡號、照片信息交換至基礎數據庫，學工系統通過訂閱基礎數據庫獲取一卡通的更新信息。

（5）迎新系統補填學生手機號、家庭聯系人等信息，更新報到狀態。迎新系統中學生報到狀態的改變實時觸發迎新系統發送報文至基礎數據庫，基礎數據庫接收報文，將迎新系統中數據進行標準格式轉換后寫入至基礎數據庫，同時觸發學工、教務系統相應的接口函數將學生報到狀態信息回填至學工、教務系統。

（6）財務系統產生的學費、宿舍費用等繳納信息的交換對實時性要求較高，固采用觸發機制。通過基礎數據庫將繳費信息回填至學工、教務系統。

（7）圖書館從迎新系統讀取已報道的學生信息，為一卡通開通借閱功能。該部分采用周期訂閱的方式從基礎數據庫中獲取信息。

6.進行數據清洗

學校業務系統多，數據量大，數據質量較差。數據清洗的任務繁重，為保證數據的準確性、一致性，數據清洗在三個層面進行：第一層，原始應用層：在數據源所在的業務系統中進行數據清洗；第二層，ETL層：在數據進行抽取轉換時進行清洗；第三層，目標數據庫層：在數據裝入基礎數據庫后進行清洗。我們主要討論在數據抽取轉換過程中（ETL層）進行數據清洗。

數據清洗的實現：

數據清洗在數據抽取配置中同時進行，這里我們采用數據交換平臺中自帶的DI（Data Interchange）工具通過界面配置進行清洗轉換。數據抽取清洗配置包括：（1）選擇從哪個業務系統的哪個數據表（包括關系型數據庫、webservice、Excel）抽取到基礎數據庫中對應的哪個表。（2）進行兩個表的數據項對應，包括設定的關鍵字。（3）進行數據清洗設定，包括代碼轉換、字段組合拆分、字段默認值等。

7.總結

本文從西工大業務系統間的交換需求出發，以提高數據共享為目的，提出建立數據交換平臺的策略，詳細介紹了數據交換平臺的整體架構、交換模式和交換過程，以及數據清洗方案。在一定程度上解決了校園信息化建設中出現的信息分散、缺乏共享、集成困難等問題，為實現數字化校園提供了可行性方案。但是，高校信息化建設是一個需要不斷積累、修正、迭代的過程，信息共享和標準化建設仍在探索階段，還需要更深入的研究與實踐。

[1]郭文越,陳虹,劉萬軍．基于SOA的數據共享與交換平臺[J]．計算機工程,2010,36(19):280-282．

[2]賀志強,宋衍,高越．教育資源元數據規范標準及支撐平臺的設計研究[J]．現代教育技術,2010,20(2):109-111．

[3]刁宇．基于數字化校園的數據交換平臺的研究與實現[D]．長春:東北師范大學,2013．

周曉菊（1982—），女，陜西西安人，大學本科，學士，現任西北工業大學信息中心應用系統中心軟件工程師，中級工程師，專業技術崗，獲得項目管理師PMP認證，主要研究方向為校園信息化建設和數據交換共享，參與完成西北工業大學信息化頂層設計、標準規范、基礎數據庫、數據交換平臺等項目建設，參與西北工業大學政策研究基金項目《我校信息化建設模式研究》的建設。