聯邦式數據交換與共享技術研究與實現

彭漢仔 譚獻海 翟妍偉

摘 要：針對電務綜合監測系統存在的數據源異構問題，提出了一種基于XML的聯邦數據交換與共享框架來管理各個監測站點的數據。該框架將每個數據源看成一個獨立的聯邦進行管理。每個聯邦成員都可以了解整個聯邦有哪些可供共享的數據，并調閱查看其它成員的歷史數據，同時訂閱其他成員發布的實時數據和推送報警信息等實時數據。

關鍵詞：異構數據；數據集成與交換；聯邦；數據透明訪問；訂閱發布

中圖分類號：TP392 文獻標識碼：A 文章編號：2095-1302（2016）05-00-03

0 引 言

當今鐵路快速發展，帶動了信號技術的跨越式進步。大量先進的信號系統與技術投入運營。如裝備監測設備可進行實時狀態信息采集，并利用這些采集的實時信息進行故障診斷和及時報警，可以在極大程度上提高鐵路的運行效率。然而這些監測信息、狀態信息等大都存儲于各個地區不同的監測站點，而這些站點維護著自己的監測系統，使用著彼此互不兼容的存儲格式，形成了一個個“信息孤島”[1]。所以要想充分利用這些監測信息、狀態信息，進行計算機輔助故障診斷、判斷故障、開展智能化研究、預測設備健康狀況等工作時，就必須對現有的互不兼容的異構數據庫進行數據集成。目前，現有的數據集成方案已日趨成熟，然而國內乃至世界范圍內將數據集成技術運用到鐵路電務綜合檢測上的成功案例基本沒有。本研究在充分分析各個監測站點數據格式的基礎上，提出一套基于各個監測站點的聯邦式管理方法，用以實現各個站點間的透明訪問[2，3]、成員間歷史數據交換、成員實時數據的訂閱與即時推送[4]。在保證現有各個數據源獨立性的同時，以一個統一的視角對當前的所有監測信息、狀態信息等進行綜合利用。為電務綜合監測系統進行高效的智能故障診斷提供良好的數據基礎。

1 電務綜合監測聯邦式數據交換與共享系統設計

電務綜合監測聯邦式數據庫管理系統要求系統內的兩個成員之間可以進行數據互操作，即聯邦內的任意一個成員可以調閱聯邦內其他成員的數據，可以訂閱聯邦內其他成員更新的實時數據。要求當一個聯邦成員有數據更新時，可以將該更新內容推送給其它訂閱了該數據的成員。

系統主要分為以下幾個模塊：

（1）注冊模塊

所有想要加入聯邦系統的數據源都需要向聯邦控制中心申請注冊，成功后才能以一個邦員的身份做其他操作。

（2）數據定義模塊

根據數據源結構的不同可以手動或者自動定義本地數據庫全部數據的基本信息，為控制中心制定全局數據庫提供基本信息。

（3）數據發布模塊

該模塊負責信息定義邦員的數據發布，并將該信息提交至控制中心的數據容器。

（4）數據訂閱模塊

該模塊負責定義邦員的數據訂閱情況，并將該信息提交至控制中心的數據容器 。

（5）數據自動推送模塊

在邦員有數據更新時，會將這些更新推送給訂閱了該數據的其他邦員。

（6）透明訪問模塊

提供對全局數據的訪問，聯邦系統自動根據查詢請求分解成針對各個邦員的子查詢，并匯總結果，返回給請求發起方，在不知道系統內其他成員的情況下獲取對應的數據。

該系統流程主要分為成員注冊初始化、成員之間的數據共享交換、系統透明訪問三個部分。成員注冊初始化過程如圖1所示。

圖1 成員注冊初始化

1.1 注冊及初始化流程

（1）注冊

填寫自身注冊名稱、自身IP、聯邦控制中心IP，根據控制中心IP發出注冊請求。如果符合注冊資格則返回注冊成功的消息。

（2）邦員數據定義

定義自身的全部數據基礎信息，形成LDM（Local Data Model，LDM）文件發送給控制中心，控制中心匯總各個邦員的LDM文件形成GDM（Global Data Model，GDM）文件。GDM文件包含當前系統所有成員的全部數據信息。

（3）邦員數據發布

定義邦員的數據發布信息，并提交至控制中心。控制中心匯總各個邦員的發布信息形成GPM（Global Publish Model，GPM）文件，即全局發布文件。

（4）邦員數據訂閱

定義邦員的數據訂閱信息，提交至控制中心。控制中心匯總各個邦員的數據訂閱信息形成GSM（Global Subscribe Model，GSM）文件，即全局訂閱文件。

1.2 聯邦成員數據共享交換流程

控制中心通過數據容器來描述整個聯邦的全局數據及各個邦員的數據訂閱/發布情況，并將最新副本冗余存儲到各個邦員。數據容器總共包含三大配置文件：GDM（全局數據模型），GPM（全局發布模型），GSM（全局訂閱模型）。

GDM：記錄聯邦系統中的所有數據基本信息。

GPM：記錄各個邦員的數據發布情況。

GSM：記錄各個邦員的數據訂閱情況。

當數據容器的內容有變更時，控制中心會將變動情況推送給各個邦員，各邦員會根據該變動修改自身維護的訂閱發布文件以和控制中心保持一致。

此外，在邦員有實時數據更新時，會根據自己維護的訂閱發布配置文件，將這些更新推送給訂閱了該數據的其他邦員。數據容器主要構成如圖2所示。聯邦成員數據交換如圖3所示。

圖2 數據容器的主要構成圖

圖3 聯邦成員的數據交換圖

1.3 透明訪問流程

系統內成員之間的數據共享和交換如圖4所示。

當用戶在訪問聯邦系統的全局數據時，邦員可以根據自身維護的數據容器配置文件副本或這些數據所在數據源對應IP，并向其發送命令請求。其他邦員接收并執行這些查詢請求然后返回查詢結果，查詢發起者將這些查詢結果匯總并呈獻給用戶，用戶只需知道該系統可以提供哪些數據即可，無需知道這些數據具體由誰提供，達到將整個系統看成一個數據源實現透明訪問的效果。

圖4 系統內成員數據交換結構圖

2 關鍵技術

2.1 虛擬全局數據定義

虛擬全局數據庫是整個系統正常運行的基石。每個新加入的邦員都可以選擇手動或者自動添加自身數據生成LOM文件并提交至控制中心生成GOM文件。LOM文件應當包含本地數據源中擁有的全部數據的基本信息。考慮到各個數據源之間存在結構上的差異，擬采用XML來描述數據容器內的各種文件、數據消息、命令消息等中間數據交換介質[5，6]。

XML具有非常高的自描述性，可有效提高在不同應用、不同模塊間數據交換的可操作性。通過XML可實現數據的標準化、結構化，解決不同平臺、不同系統之間的數據結構/模式的差異問題，使得數據層在XML技術的支持下統一起來[7，8]。

2.2 數據發布與訂閱關系定義

每個邦員都可以通過發布模塊和訂閱模塊來制定對應的發布/訂閱文件。pub_sub.txt用來表示自身發布和自身訂閱的數據，并提交給控制中心[9]。該文件具體內容如圖5所示，表明需要發布或訂閱的數據名稱即可，其他信息可在數據容器的GOM文件中得到補充。控制中心收到各個邦員的pub_sub.txt內容后與自身保留的各個邦員的注冊信息進行匯總并將對應的內容收納進GPM文件和GSM文件中。

圖5 pub_sub.txt內容示意圖

2.3 數據的自動發布

每個邦員自身的數據有更新時，會在數據容器的GSM中查詢哪些邦員訂閱了該數據，同時獲取對應邦員的IP地址。使用底層封裝好的Socket接口向這些IP地址發送對應的內容更新。

2.4 數據透明訪問

外界訪問聯邦數據庫系統時，直接針對數據容器中的虛擬全局數據庫進行訪問，在接受到請求后，控制中心分局GOM中的內容分解為針對各個邦員的子查詢，子查詢返回結果后由控制中心匯總結果并對外返回數據，訪問者只需要知道虛擬全局數據庫中有哪些數據，而不需要知道聯邦系統中具體有哪些邦員。對外屏蔽系統內其他邦員的存在，從而達到透明訪問的效果。

3 系統演示

在本地數據定義階段，邦員可進行全局數據的定義，可以選擇曾經定義過的LDM（Local Data Model，LDM）文件或者手動添加新數據覆蓋原有的LDM文件。數據定義界面如圖6所示。

圖6 數據定義界面

邦員可以在圖7所示的透明訪問界面里看到當前系統的所有全局數據，通過輸入指定的查詢條件查詢到對應的數據，而不需要知道這些數據的具體來源[10]。

4 結 語

電務綜合監測系統需要綜合多個監測站點的監測數據來做故障診斷及智能分析，然而各個監測站點之間的差異性異常復雜，使得這個場合的數據集成變為一個難題。使用聯邦式的管理方式結合XML在結構上可以比較清晰地描述整個系統結構，便于維護管理。

圖7 透明訪問界面

參考文獻

[1] 黃曉川，楊曉鵬，黃琛.基于XML異構數據庫中數據遷移技術的研究[J].科技視界，2014（34）：97-98.

[2] Brodie M L.Data Integration at Scale： From Relational Data Integration to Information Ecosystems[C].IEEE International Conference on Advanced Information Networking & Applications. IEEE， 2010：2-3.

[3] Jovanovic P， Romero O， Simitsis A， et al. ORE： an iterative approach to the design and evolution of multi-dimensional schemas[J]. Fifteenth International Workshop on Data Warehousing & Olap， 2012：1-8.

[4] 趙偉.發布/訂閱系統數據模型的設計與實現[D].南京：南京理工大學，2009.

[5] 魚濱，鄭婭峰.基于XML的異構系統集成框架的研究[J].計算機應用與軟件，2005，22（7）：14-15.

[6] 蘇明.基于XML的數據集成中間件的研究[D].西安：西安電子科技大學，2013.

[7] 胡昔祥.基于P2P和XML內容的發布訂閱系統.計算機工程與應用[J]. 2007，43（29）：101-103.

[8] 王哲，宋茂強.基于SaaS的XML數據庫中間件的設計與實現[J].計算機安全，2010（2）：73-76.

[9]齊鳳亮，金蓓弘，陳海彪，等.發布/訂閱系統中的原子訂閱管理和匹配[J].計算機科學，2009，36（12）：111-114.

[10] 陳遠斌.面向信息共享的數據集成技術應用研究[D].哈爾濱：哈爾濱工程大學，2013.