數字校園中數據交換與信息共享的常見方式與應用研究

趙丹，楊穎，王向東

?

數字校園中數據交換與信息共享的常見方式與應用研究

趙丹1，楊穎2，王向東3

(1.中國人民大學信息技術中心，北京100872；2.中國農業大學信息與電氣工程學院，北京100083；3.中國科學院計算技術研究所，北京100190)

隨著網絡信息技術的普及，高校中的日常業務也高度網絡化、數字化，例如有負責網絡管理的校園網，負責校園卡管理的校園卡專網、負責財務事物管理的財務專網等。通常情況下這些網絡相互獨立，其分屬網段的各業務系統的信息也彼此獨立，但事實上，因業務需要這些系統之間的部分數據信息又常有交互，故需要針對不同的應用場景建立合適的數據交換與信息共享的機制。詳細介紹了高校校園信息化建設中的幾種常用的數據交換與信息共享的方式，對幾種常見的數據交換與信息共享方式進行了細致的研究和分析，并結合作者所在高校的實際情況給出了相應的建設實例，最后，分別闡明了其適用的場景。

校園信息化；數據交換；數據共享；同構數據；異構數據數據

0 引言

隨著網絡技術的不斷發展，高校的科研、教學、管理的技術水平也不斷提高，服務于校園的各種網絡也應用而生，為數字校園的建設起到了重要的推動作用。基于安全的因素，很多高校的校園網、校園卡專網、財務專網三網獨立，從而導致建立于校園網的電子校務、校園卡專網的卡系統、財務專網的財務核算系統在同一個數據庫中數據無法統一，但是某些數據例如統一身份信息、用戶繳費信息、財務報銷信息、電子注冊信息等又時常有所交互，故需要進行數據交換與信息共享。另外，隨著IT技術的飛速發展，不同框架技術的更新交替，使得即使在同一網絡中的應用，也有可能采取不同的數據庫。故需要進行數據交換與信息共享[1]。

目前在校園信息化建設中常用的幾種數據交換與信息共享的方式有：文件共享服務器方式、ODI（Oracle Data Integrator，簡稱：ODI）共享方式[2]、共享數據庫視圖、Java消息服務方式[3]等。本文將詳細介紹這些方法，進行研究和分析，并結合筆者所在高校的實際情況給出其分別適用的場景。

1 幾種數據交換與信息共享方式介紹

校園信息化建設中常用的幾種數據交換與信息共享方式：文件共享服務器方式、ODI共享方式、共享數據庫視圖、Java消息服務方式等，各有特點，分別適用于不同的場景，下面一一介紹。

1.1 文件共享服務器方式

文件共享服務器方式是指甲乙兩個系統約定文件服務器地址、文件命名規則、文件內容格式等內容，通過上傳文件到文件服務器進行數據交互。對于非結構化的數據，采用這種基于文件的交互方式比較合適。

最典型的應用場景是批量處理數據：例如，學生通過校園卡自助設備繳網費，卡系統的同步程序于每天凌晨1點之前把前一天的所有繳費（網費）數據生成一個txt文件，并上傳至ftp服務器。計費系統的同步程序于凌晨3點從ftp服務器上下載此txt文件，并進行處理，處理完成之后，把處理結果生成一個txt文件，然后上傳至ftp服務器。卡系統凌晨5點獲取處理結果文件，并進行處理。其架構和流程，如圖1所示。

圖1 文件共享服務器方式共享繳費信息

如此一個回合下來，至少需要5個小時，實時性很差。

1.2 ODI共享方式

Oracle Data Integrator 簡稱ODI，是一個完整的數據集成平臺，能夠滿足所有數據集成的需求。可以在異構源和目標間實現高效的、批量的數據抽取加載功能，同時能夠保證數據完整性和一致性。

ODI共享方式是指從數據源中抽取數據進入數據中轉區（裝載ODI的服務器），在中轉區對數據進行管理、分析、使用，例如將捕獲的數據變化量進行分析以確定下一步的操作等，然后將必要的數據反饋到相關的數據源中。在建設過程中，數據采集與交換平臺承擔著數據獲取、轉換、管理、訂閱與發布、應用協同等一系列重要職責，是系統最重要的基礎服務。

以某校網絡報銷數據交換為例，流程圖如圖2所示。

圖2 網絡報銷流程

位于校園網的師生用戶需要在電子校務里填寫報銷表單，然后線下提交發票。位于財務專網的財務人員需要取得報銷表單數據，然后在財務核算系統進行相關的數據核驗等，并將實際報銷數據記入財務核算系統，生成最終的報銷數據。報銷完成之后，按照最終的報銷數據，財務系統核減相應項目余額，并把最新項目余額回寫到電子校務相關的表中，使得報銷模塊中查詢出來的項目余額與實際情況一致。最后，財務系統發放報銷款、并下發通知短信等。

在上述實例中，電子校務系統位于校園網，采用的是oracle 11g數據庫；賬務核算系統位于財務專網，采用的是sqlserver2000數據庫。若要進行數據交換與信息共享，則需要先建立一個數據交換中心，設置一臺數據交換與信息共享的主服務器，在此服務器上安裝ODI。服務器通過網線或光纜連接不同的網段，實現物理互通。在系統實現時，首先做好ODI數據鏈路的各項配置，如配置數據庫、資料庫、數據源等，然后建立模型，抽取數據，設計數據映射、創建包，最終生成方案。

以上述網絡報銷中的映射之一報銷信息為例，需要先通過ODI工具配置數據庫并創建資料庫，然后建立數據源，對數據源--電子校務數據庫中的表cw_wsbx_fkfss, cw_bxxx進行數據抽取，提取出合乎要求的數據，例如近30天以來的付款方式信息，然后設計映射將數據寫入財務專網數據庫中相應的表fkfsxx中。如圖3所示。

圖3 報銷信息映射設計

LSH、MC等字段信息經過濾、聯合之后直接寫入FKFSXX表中，但是FKLB字段的信息卻需要按照下圖中綠色背景文本框內的交換規則進行轉換之后寫入FKFSXX表中。這是因為雙方的數據庫表中同一內容的表達方式不同，源表采用字符串cz表示“沖賬”，wy表示“網銀”，dgwy表示“對公網銀”，ghcz表示“工行存折”，gwk表示“公務卡”，qtwy表示“其他網銀”，而目的表中采用數字40表示“沖賬”，11表示“其他”。

映射設計完畢，利用報銷信息、差旅費報銷單、非差旅費報銷單、付款方式等映射，創建設計出網絡報銷包，如圖4所示。

圖4 網絡報銷包

然后生成方案，網絡報銷包即可按照已定計劃執行數據交換，例如從2015年9月9日9：00開始，每四個小時執行一次。每執行一次網絡報銷包即將相關的這些數據傳到財務專網數據庫大概需要6分30秒左右。

1.3 數據庫共享視圖的方式

數據庫共享視圖方式是指兩個系統通過連接同一個數據庫服務器的同一張視圖進行數據交換。在采用同一個數據庫的、不同開發商提供服務的系統之間，采用數據庫共享視圖的方式最為簡便快捷。

以某校為例，傳統的業務系統雖然位于同一數據庫，但是分別由不同的公司開發，存放于不同的數據庫用戶下面。也就是說從物理上是統一的，但是從邏輯上來講是隔離的。例如人事信息存放于idc_u_rs用戶，學生信息存放于idc_u_xs用戶，科研信息存放于idc_u_ky，分別用于人事、學生、科研系統。當科研系統需要人事信息，例如教職工、臨時人員、博士后等的信息和學生信息時，首先從數據源（idc_u_rs , idc_u_xs用戶下面相應的數據表）中提取數據，生成一個視圖，SQL語句如下：

create or replace view idc_u_ky2.view_ky_ry asselect jzg.zgh as rybh, 1 as ryxzm, xm as ryxm,yxsh as yxsh,ZYJSZWM as zcm,jzg.xbm as xbm,jzg.csrq as csrq,jzg.mzm as MZM,jzg.WHCDM as WHCDM,jzg.XWM as XWM,jzg.ZZMMM as ZZMMM,jzg.ZJHM as ZJHM,jzg.ZJLBDM as ZJLBDM,jzg.ZXZT as ZXZT,jzg.BZLBM as BZLBM,'1' as JZGTYPE from idc_u_rs.rs_jzgjbxx jzg --教職工

union --學生

select xs.xh as rybh,2 as ryxzm,xs.xm as ryxm,xs.yxsh as yxsh,'' as zcm,xs.xbm as xbm,xs.csrq as csrq,xs.MZM as MZM,'' asWHCDM,'' as XWM,xs.ZZMMM as ZZMMM,xs.SFZH as ZJHM,xs.ZJLB as ZJLBDM,'' as ZXZT,'' as BZLBM,'' as JZGTYPEfrom idc_u_xs.xs_xsjbxx xs

union --臨時人員

select ls.zgh as rybh,1 as ryxzm, ls.xm as ryxm,ls.yxsh as yxsh, ls.zyjszwm as zcm,ls.xbm as xbm, ls.csrq as csrq,ls.MZM as MZM,ls.WHCDM as WHCDM,ls.XWM as XWM,ls.ZZMMM as ZZMMM,ls.ZJHM as ZJHM,ls.ZJLBDM as ZJLBDM,'' as ZXZT,'' as BZLBM,'2' as JZGTYPEfrom idc_u_rs.rs_lsryjbxx ls

union --博士后

select bsh.zgh as rybh, 1as ryxzm,bsh.xm as ryxm,bsh.YXSBZX as yxsh,bsh.ZCM as zcm,bsh.xbm as xbm,bsh.csrq as csrq,bsh.mzm as MZM,bsh.zhxlm as WHCDM,'' as XWM,bsh.zzmmm as ZZMMM,bsh.zjhm as zjhm,bsh.zjlbdm as ZJLBDM,'' as ZXZT,'' as BZLBM,'3' as JZGTYPEfrom idc_u_rs.rs_bshjbxx bsh where bsh.zgh not in (select zgh from idc_u_rs.rs_jzgjbxx)

然后科研系統直接讀取視圖view_ky_ry中的信息即可。采用這種數據庫共享視圖的方法，實時性最好，幾乎是即時的。

1.4 Java消息服務方式

Java消息服務（Java Message Service, JMS）是message數據傳輸的典型實現方式。甲乙兩系統通過一個JMS消息服務器進行數據交換。系統甲發送消息到JMS消息服務器，如果系統乙訂閱了系統甲發送過來的消息，JMS消息服務器會將消息推送給乙。消息是JMS中的一種類型對象，由兩部分組成：報頭和消息主體，雙方約定消息格式即可。目前市場上有很多JMS消息中間件，比如IBM的MQSeries、BEA的WeblogicJMS、Progress的SonicMQ、ActiveMQ[4]、OpenJMS等。

各所高校每學期初都會進行電子注冊，以某校電子注冊數據傳輸為例：首先，學籍科在電子校務里進行電子注冊時間設置和注冊信息初始化，然后注冊信息被傳輸到卡系統。至此，學生可在校園卡自助設備上通過一卡通進行電子注冊。注冊完畢，卡系統需要將這些信息傳回電子校務數據庫中，以便后續的學生管理等。采用WeblogicJMS消息中間件，如圖5所示。

圖5 電子注冊Java消息服務

Java消息隊列信息管理代碼如下：

從而實現電子注冊的數據交換與信息共享。采用這種方式傳輸數據，一般單程需要5分鐘左右。

2 幾種數據交換與信息共享方式分析比較

本節詳細分析以上幾種數據交換與信息共享方式的優缺點，并進行分析比較。

2.1 文件共享服務器

文件共享服務器的方式，必須有共同的文件服務器，需要約定文件數據的格式，適用于大量數據的傳輸。其優勢在于：

方案簡單。

成本低。

在數據量大的情況下不會超時，不搶占網絡帶寬。

其劣勢在于：

安全性差。文件服務器存在風險，因文件可能被刪除、篡改、泄密等。

時效性差。

必須約定文件數據的格式，當文件格式改變時，需要各個系統都做修改。

通常適用的場景有：卡系統與計費系統之間的繳網費信息等批量數據或非結構化的數據處理。

2.2 ODI數據交換與信息共享

ODI數據交換與信息共享的方式適用于大量、高性能批量數據的處理、事件驅動的近實時數據集成流程、支持SOA的數據服務、支持多種異構數據源。

在數據量大的狀況下，文件共享服務器、共享數據庫視圖、Java消息服務等傳統方式往往出現性能瓶頸，且難以管理、無法重用。而采用ODI數據交換與信息共享的優勢在于：

安全性很高。

適用數據范圍廣泛。不僅能用于結構化數據的交換與共享，也可以用于非結構化數據的交換與共享。

實時性較高。是基于事件驅動的整合平臺。

高效性。從手工編碼轉變為聲明式設計。

開放性。100%JAVA和SOA無縫集成。

其劣勢在于：

比較復雜。從數據鏈路的各項配置到建立模型、抽取數據、設計數據映射、創建包，再到生成方案與計劃，內容繁多。

成本高。購置一套ODI工具需要花費數十萬，成本高昂。

通常適用的場景有：卡系統與電子校務系統之間的人員信息、四六級繳費信息同步等，計費系統與電子校務系統之間的人員信息同步，財務核算系統與電子校務系統之間的網絡報銷、勞務費、項目信息、課題立項結項、工資報盤、學生補助金發放同步等等。

2.3 共享數據庫視圖

共享數據庫視圖的方式設計簡單、易操作、成本低，而且時效性最高，不過僅用于結構化數據的交換與共享。通常適用于不同系統間少量的、需頻繁訪問的共享數據。

基于安全性考慮，以某校為例僅用于采用同一個數據庫不同用戶存儲數據的、不同開發商提供服務的系統之間的基礎數據共享，如公用代碼、人員信息等。

2.4 Java消息服務

Java消息服務是一種非常安全的數據交換與信息共享方式，但是設計復雜。其優勢在于：

安全性高。

適用數據范圍廣泛。

通過消息方式比較靈活，可以采取同步、異步、可靠性的消息處理，消息中間件也可獨立出來部署。

JMS有很多的開源消息中間件可以選擇，而且比較通用。接入起來相對也比較簡單。

其劣勢在于：

比較復雜。學習JMS相關的基礎知識，消息中間件的具體配置，以及實現的細節對于開發人員來說有一定的難度。

實時性能一般。在大數據量的情況下，消息可能會產生積壓，導致消息延遲、消息丟失，甚至消息中間件崩潰。

通常適用的場景有：校園卡系統與銀行之間的對賬單等。

2.5 小結

結合筆者所在高校的實際操作情況，對文件共享服務器、ODI共享方式、共享數據庫視圖、Java消息服務這幾種數據交換與信息共享方式從安全性、適用數據范圍、數據完整性、實時性、簡易性、成本這幾方面來分析比較，如表1所示。

表1 幾種數據交換與信息共享方式的比較

結合本校信息化建設實際情況，分別統計購置ODI工具前后幾種數據交換與信息共享方式的使用比例，如圖6所示。

圖6 購置ODI前后幾種數據交換與信息共享方式使用比例

3 總結

本文介紹了校園信息化建設中幾種常用的數據交換與信息共享的方法，給出了建設實例，并進行了對比，闡明了各種數據交換與信息共享適用的場景。為兄弟院校的信息化建設提供了一定的參考。

[1] 顏如鉆，施芝元.論高校數字化校園統一數據交換平臺的建設與發展[J].現代計算機（專業版），2013，（17）：61-63.

[2] 郭越，張明，葉愛兵.基于ODI的高校異構數據集成的研究與實現[J].自動化技術與應用，2011,30（6）：24-27.

[3] 陶以政，吳志杰，唐定勇，高山.基于Java消息服務的異步郵件發送技術[J].信息與電子工程，2009,7（4）：371-375.

[4] 李鑫，李俊，黃紅偉.基于Hibernate和ActiveMQ的遠程數據同步服務器設計與實現[J].計算機光盤軟件與應用，2011，（23）：185-186.

Research on Data Exchange and Information Sharing Methods in Campus Information System

Zha Dan o1, Yang Ying2, Wang Xiangdong3

(1.Information Technology Center, Renmin University of China, Beijing 100872, China;2. College of Information and Electrical Engineering, China Agricultural University, Beijing 100083, China;3. Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190, China)

With the development of information technology, the daily work in the university becomes highly networked and digitalized. For example, the campus network is used for the network management, the campus card network is used for the campus card management, and the campus financial network is used for the campus financial management. These networks are typically independent and belong to the different information systems. However, data need to be shared among these systems due to some business requirements. Therefore, it is necessary to establish an appropriate data exchange and information sharing mechanism. This paper presents several widely used methods of data exchange and information sharing in the campus information system. Meanwhile, in view of the author's own experience in university information systems construction, this paper also gives comparison and analysis on data exchange and information sharing methods. According to the real university network construction, it summarizes the suitable environment in which these data exchange and information sharing methods are applied.

Campus information; Data exchange; Date sharing; Isomorphic data; Heterogeneous data

1007-757X(2016)12-0008-04

TP399.0

A

國家自然科學基金（61202209）

趙丹（1982-），女，湖北襄陽人，中國人民大學信息技術中心，工程師，碩士，研究方向：教育信息化、人機交互，北京 100872；

楊穎（1980-），女，河北安新人，中國農業大學信息與電氣工程學院，副教授，博士，CCF會員，會員號：49350M，研究方向：多媒體檢索、視頻圖像處理、模式識別，北京 100083；

王向東（1979-），男，內蒙古呼和浩特人，中國科學院計算技術研究所，高級工程師，博士，研究方向：人工智能、人機交互、自然語言處理、語音識別和語言處理，北京 100190。

（2016.05.30）