數據分發服務中的全局數據空間(GDS)的研究與設計*

李 軍

(武漢市74223信箱 武漢 430074)

1 引言

隨著分布式計算和網絡的飛速發展,分布式應用系統在金融、電信、軍事領域中得到廣泛應用。為了實現分布式異構網絡環境下不同應用的互聯、互通和互操作,一般采用中間件技術來屏蔽系統平臺的差異。但是目前中間件產品并不能很好地解決通信的實時性、伸縮性和靈活性問題,如當前較為流行的CORBA技術,由于它是以對象和服務為中心,采用了C/S通信模型,通信機制較為復雜,數據收發需要建立連接,不能完全滿足系統對實時性能的需要。早先的分布式共享內存是一種以數據為中心交換的經典模型,然而這種模型很難在網絡中高效地執行,很難為用戶提供可衡量性和靈活性,特別是很難滿足系統的實時性需求。OMG意識到需要一個基于以數據為中心的發布/訂閱(DCPS)通信模型[1]的數據分發服務來滿足分布式實時應用的需要,提出并最終采納了“OMG-DDS”規范。為了實現網絡中各節點通信的實時性、異步獨立性和松耦合性,該規范建立了“全局數據空間(Global Data Space)[2]”的概念并指定了發布者和訂閱者以及如何訪問該空間。在DCPS通信模型中,全局數據空間代替了中心服務器,用來管理整個分布式系統中的主題發布,主題訂閱,節點信息的維護以及節點的關聯。因此,GDS的設計成為了DCPS通信模型實現的關鍵。本論文根據DDS[3,5]中以數據為中心的發布/訂閱模型,提出一種全局數據空間的總體框架及各組織結構設計,最后給出了一些管理策略。

2 全局數據空間的概念

如圖1所示,DDS中以數據為中心的發布/訂閱(DCPS)模型[3～4]建立了一個“全局數據空間”的概念,通過全局數據空間來管理數據對象(每個數據對象由“主題(T opic)”和“類型(Type)”共同標識,“主題”提供了一個標志符,在全局數據空間中唯一地標識某些數據項。“類型”提供了中間件如何操縱這些數據所需的結構信息)的發布及主題的訂閱。需要說明的是全局數據空間并不存放實際數據,它只管理訂閱主題信息。

想要向數據空間提供主題信息的應用程序聲明為“發布者”,同樣,想從數據空間中獲取主題信息的應用程序成為“訂閱者”。發布者(Publisher)負責發布數據,它可能發布不同類型的數據。訂閱者(Subscriber)負責對發布的數據進行接收并使數據能被接收應用所使用(根據Subscriber的QoS)。主題在邏輯上將發布者和訂閱者關聯起來。發布者必須能夠讓訂閱者非常清楚地查閱它。主題能夠完成該目的:它將一個名稱(在領域domain內唯一)、數據類型(data-type)和數據本身的QoS關聯在一起,使空間上、時間上關系松散甚至毫無關聯的發布者和訂閱者之間產生了互通。

每當發布者將新主題信息發送到當前節點的全局數據空間,中間件就會把主題信息廣播給所有感興趣的訂閱者。當訂閱者能從自己的數據空間中找到需要的主題信息時,就向發布主題節點發送訂閱請求信息,發布者根據訂閱信息中的訂閱者地址,發布該主題下的數據給指定的訂閱者,兩者即完成數據的分發。

圖1 DCPS數據模型及全局數據空間

3 全局數據空間設計分析

在DDS中間件設計中采用基于偵聽的通信機制,由偵聽者來進行信息的分發并觸發相關實體的動作,即各節點之間通過偵聽者來傳遞發布和訂閱的主題信息。所有與主題相關的信息都保存在GDS中,偵聽者收到來自其他節點的信息后通過與GDS進行交互來進行主題和QOS的匹配,從而進行任務的分發,通知相關發布者/訂閱者調用與主題相關聯的數據寫入者/數據讀入者進行數據傳送。

由于DCPS通信模型采用的是基于主題發布訂閱機制[6～7],各節點之間的交互通過主題來關聯,而且新節點的接入和節點的退出信息也保存在全局數據空間中,因此全局數據空間上的主題信息的同步更新則成為了設計的關鍵。GDS一方面與本地發布者、訂閱者、數據讀入者、數據寫入者進行交互,協助這些實體完成主體的發布或訂閱。另一方面,它為偵聽者進行信息處理和分發提供參考。

由于傳統C/S通信模式需要一個中心服務器來處理并提供數據,而且如果多個節點同時向服務器請求,服務器需要花很長時間來處理消息,增加了服務器的負載,不適合數據流大的實時系統,所以全局數據空間并不在一個集中式服務器中,而是采用分布式的設計,分布到每個分布式節點上。于是,在設計GDS的時候需要考慮以下幾個方面:

?當需要發布主題時,DDS中間件需要查詢GDS是否已有其他節點發布過該主題;若沒有,發布方采取廣播的方式發送主題到所有接入的節點,各節點需要同步更新GDS主題信息表,所以各節點保持一樣的主題信息;

?當訂閱者訂閱主題時,DDS中間件通過查詢GDS主題信息表得到該主題的發布者,確定向哪里訂閱;

?當確定主題發送者之后,即向發布者發送訂閱信息;訂閱信息存儲在發布者的訂閱登記表中;

?當某個主題上有數據產生時,需要在GDS訂閱登記表中查詢找到所有該主題的訂閱者,來確定數據的接收地;

?當偵聽者收到訂閱主題或退訂消息時,通過查找GDS確定是否需要保存該信息。

4 全局數據空間的設計

基于以上的需求分析,提出了一種基于DCPS模型的發布訂閱中間件框架并設計了全局數據空間的的組織結構。如圖2所示。

圖2 基于DCPS模型的發布訂閱中間框架及數據空間結構

通過以上對DDS規范的研究和對實際應用的需求分析,GDS主要需要保存所有發布者的主題信息、本節點的訂閱信息、需要保存的數據、所有訂閱失敗的信息。所以設計的GDS由發布主題表、訂閱登記表、發布數據緩存區和訂閱失敗隊列四部分構成。

1)發布主題表

定義發布主題表PT_Table(ID,P_IP,T_QOS)保存所有發布主題的狀態信息,其中ID為發布的主題標識;P_IP為發布者IP地址;T_QOS表示發布者所提供主題的服務質量,T_QOS主要包括:(1)Durability數據持久性,其中 VOLATILE表示非持久性數據,不需要保存,T RANSIENT表示需要暫時保存,PERSISTENT表示持久性數據,需要永久保存;(2)Reliability為傳輸方式的可靠性,Best-effort表示盡力方式傳輸,Reliable表示采用可靠方式傳輸;(3)Priority表示訂閱時間的優先級,值越小其優先級越高。

所有節點上的發布主題表保持一致并實時更新。對于一個有多個分布節點組成的具有特定功能的系統來說,所有節點應用具備一張一致的發布主題表,描述了該系統的基本主題狀況。

2)訂閱登記表

定義訂閱登記表SR_T able(ID,S_IP,T_QOS)反映當前訂閱該節點的訂閱信息,其中ID表示訂閱主題;S_IP為訂閱者地址;T_QOS表示訂閱方要求主題的服務質量,與PR_Table的 T_QOS參數和意義相同。

不同節點的訂閱登記表各不相同。節點在訂閱主題時,通過發布主題來確定提供該訂閱主題的節點;在發布數據時,通過訂閱登記表來確定數據該發往何處。

3)發布數據緩沖區

Data_pool保存由本節點發布且需要保存的發送數據,即主題的Durability_QOS屬性為TRANSIERNT或PERSISENT的數據。其結構如圖3所示,數組每一項表示同一主題已發送的數據,num表示現有數據條數;ID為主題標識;ptr指向所有主題數據的鏈表,鏈表的每一項保存了一條數據信息,通過指針指向數據的內存區;Livaspan表示該主題數據需要保存的時間,若 Livaspan為0xffff則永久保存,否則在規定的時刻后刪除該主題下的首條消息;

GDS根據每種主題下數據的Livaspan來決定何時更新緩沖區。

圖3 發布數據緩沖區結構示意圖

4)訂閱失敗隊列

Sub_fail_que保存本節點向其他節點失敗訂閱的歷史記錄,數組每一項表示在同一主機上訂閱失敗的記錄。中間件在收到發布方開機信息或間隔一定時間再進行重新訂閱。

5 GDS管理策略

GDS是本模型實現主題訂閱和數據分發的關鍵。如何更新各節點上的發布主題表使其保持動態一致,以及維護和更新訂閱登記表是GDS管理的核心環節,所以GDS最后需要一些管理策略來進行更新維護。本文提出了如下策略:

?每個節點開機時向所有節點廣播開機信息,收到開機信息后,各個節點檢查自己的訂閱失敗隊列,將在開機節點上訂閱失敗的訂閱消息重新發給開機節點,訂閱成功后從隊列中刪除。

?訂閱者變更訂閱記錄時通知相應發布者更新其訂閱登記表。發布者變更發布主題信息時通知所有節點更新發布主題表,以保持發布主題表的全局一致性。

?訂閱方根據發布主題表向發布者發送訂閱信息,若發布主題表中沒有相關發布記錄,則進行廣播訂閱,若訂閱成功就在發布者的訂閱登記表中登記訂閱記錄。發布節點上的GDS在發布數據緩沖區查找是否存在該訂閱者所訂閱主題的數據,然后激活相應數據寫入者將數據發送給訂閱方的相應數據讀入者。若訂閱失敗就將該訂閱記錄記入本節點的訂閱失敗隊列。

?節點離開或失效的情況:當節點離開時,向其他節點發送離線消息,其他節點刪除訂閱登記表中離線節點的訂閱記錄,并終止與離線節點間的所有發布/訂閱關系,離開節點同時清空節點上的訂閱登記表;各個節點通過定期向其他節點發送心跳信息來表示該節點還“活著”。一段時間內收不到某節點的心跳信息表明該節點已“死亡”,其他節點要刪除訂閱登記表中“死亡”節點的訂閱記錄。

6 結語

傳統的中間件包括CORBA、EJB、DCOM 都采用C/S通信模式,它需要一個中心服務器來處理數據信息,增加了服務器的負載,產生了不可預測的時延,不適用于數據量大的實時系統。而DDS規范采用的以數據為中心的發布/訂閱(DCPS)模型,根據主題進行點到點消息發送,實現了按需發送。而全局數據空間概念的提出,實現了發布訂閱模型的異步性和松耦合性,同時本文提出一種全局數據空間分布式設計方案,大大提高了系統的可靠性和可擴展性。因此,DDS中間件在高性能、高可靠性、高實時的數據傳輸中應用前景廣闊。

[1]OMG Data Distribution Service for Real-time Systems Version 1.2,2007

[2]Giddings V Tutorial on the OMG Data Distribution Service[R].Objective Interface Systems.Inc,2005

[3]TAO Developer's Guide Excerpt Object Computing,Inc,2007

[4]Data Distribution Service(DDS)and the RTPS protocol Gerardo Pardo Castellote gerardo@rti.com,2004

[5]Addressing the Challenges of Tactical Information Management in Net-CentricSystemswith DDS Douglas C.Schmidt Angelo Corsaro Hans van't Hag PrismTech Corporation,2005

[6]Middleware Solutions for automation application-case RTPS Helsinki University of Technology Seppo Sierla,2003

[7]Designing and debugging real-time distributed systems By Geoff Revill,RTI,2008