元數據技術在艦艇數據共享平臺中的應用與實現*

吳亞非 鄧振國 王振龍

(華北計算技術研究所 北京 100083)

?

元數據技術在艦艇數據共享平臺中的應用與實現*

吳亞非 鄧振國 王振龍

(華北計算技術研究所 北京 100083)

元數據是描述數據的數據,是數據共享的關鍵技術。以元數據為核心構建數據共享平臺需要建立統一的元數據標準,以實現異構數據的一致性表達,資源的生產者按照元數據標準抽取元數據,注冊到全局資源目錄中;使用者通過資源目錄查詢定位元資源,并與資源生產者建立訂閱關系從而實現數據資源的共享。論文利用元數據技術、Web Service架構實現了無線環境下不同平臺之間的數據共享,能夠適用于艦艇之間數據共享。

元數據; 元數據標準; 資源目錄; 數據共享

Class Number TP391.1

1 引言

數據是信息系統的基礎,在指揮自動化系統建設過程中,如何共享各平臺的自有數據,快速發現、充分利用處于分布式網絡環境中的各類異構數據,是提高資源利用效率、減少重復建設、決定指控系統建設成敗的關鍵因素。

通常,業務系統數據共享主要通過以下兩種方法:

1) 直接使用模式。資源使用者直接向資源生產者提出申請,經允許后按照雙方約定的格式進行共享。這種方式的優點在于簡單直接,但缺點也非常明顯,擴展性和維護性太差,若有新的數據需求或者數據發生變化,就必須更改程序代碼。

2) 共享使用模式。資源生產者將可以共享的數據提交到公認的位置,比如網絡磁盤空間或共享數據庫中,資源使用者可以按需獲取所需數據。這種方式的優點在于公開透明,建設成本也相對較低,但對于海量異構數據缺少必要的管理機制,在多用戶網絡環境背景下的安全性、便捷性都可能帶來一定的問題。

本文提出一種基于元數據技術的數據共享機制,并在某科研項目中得以實現和驗證,取得了良好的效果。實驗證明,這種機制應該能夠用于艦艇之間的數據共享。

2 元數據

元數據(Metadata)的定義有兩種,即“關于數據的數據”或“描述數據的數據”,它提供了數據或信息資源的描述性信息,是對數據特性的抽象與概括。

利用元數據描述數據資源,使得數據資源能夠被發現、定位、獲取、管理和評價。對數據資源進行個性化描述,使用戶能夠識別數據資源;提供數據資源的位置信息,如出處、位置等,以供用戶訪問時使用,通過在描述數據中提供檢索熱點,方便用戶對資源的檢索和利用;通過對記錄數據資源的各種特征屬性,輔助用戶對是否使用、何時何地使用數據資源進行判斷;信息系統處理數據時可以利用元數據所記錄的數據特征屬性,決定數據處理的具體方式,例如在交換過程中進行數據的轉換;元數據是原始信息的簡潔描述,通過元數據可以實現對數據資源的管理。

利用元數據描述數據資源而不直接訪問數據在信息系統中有很明顯的好處:

1) 通過元數據描述可抽取出數據的表示細節,如數據的格式及組織方式,從而使系統能夠以獨立于數據表示細節的方式來獲取數據的信息內容。

2) 元數據描述可用來表達與數據所屬信息領域相關的領域知識。系統可利用此領域知識來對數據進行推理,以確定數據之間的相關性。而這種推理又無需直接訪問數據,因而使需要處理的數據量呈幾何級降低。

3 元數據共享的原理與實現流程

圖1演示了元數據共享的一般流程。

圖1 元數據共享的一般流程圖

1) 構建元數據標準。基于元數據共享必須構建元數據標準。元數據標準采用結構化的表達方式,描述數據的邏輯結構,在組織與系統內部統一元數據標準,能夠讓數據的生產者和使用者達成對數據理解的一致性,同時有利于計算機的自動識別與分析。在不同的數據之間建立統一的元數據標準,實現對數據的統一描述,為數據共享提供基礎。

2) 以元數據標準為模型抽取元數據。基于元數據標準,在資源生產節點上,對該類數據進行抽取后,形成對數據可理解的描述,即元數據,元數據是用戶進行數據發現的基礎。

3) 形成資源目錄。在局部節點通過將各類數據的元數據組織成有序的樹狀結構,形成資源目錄,使得元數據有機的進行組織,并以快捷的形式提供用戶可見,方便用戶的發現。這解決了節點內資源發現的問題。

4) 建立全局共享的資源目錄。在全局空間內通過對局部資源目錄的進行管理與整合,形成全局的資源目錄,使得分布式環境下各個節點都可以發現自身感興趣的資源,這解決了節點間數據發現的問題。

5) 數據的訂閱與分發。基于資源目錄,用戶可以選擇感興趣的資源進行訂閱,在建立訂閱關系后,資源發布方的數據在變化時,自動推送給資源訂閱方,達到數據共享的目的。

4 艦艇平臺元數據共享的設計實現

在某科研項目中模擬建立了具備多級指揮關系艦艇編隊環境,實現了無線環境的基于統一元數據標準的數據交換、共享的服務平臺,它的設計實現,為必要時豐富艦艇裝備數據共享手段奠定技術基礎。

基于元數據的數據共享服務平臺利用元數據來構建信息資源目錄,可為海上異構信息資源建立起統一的注冊、發布、維護與檢索平臺,從而使得信息資源對用戶可視、可訪問、可理解,實現數據的有效發現、定位、集成和對使用數據的有效維管。在此基礎上,可進一步實現基于訂閱/分發機制的數據共享模式:數據擁有者將數據及其相關元數據發布到共享環境中,訂閱者根據自己的信息需求,從共享環境中獲取所需的數據來完成自己的處理功能和任務。同時,采用半結構化語言XML進行描述,在數據的語法上進一步約束數據涵義,使數據標準化、規范化,從而提高系統數據的表示能力和共享程度。

基于元數據的數據共享服務平臺采用分布式J2EE的Browser/Server/DB三層軟件架構,前端界面使用瀏覽器搭建用戶UI界面,利用XML技術表達統一的元數據標準,實現了元數據構建、查詢、共享、監察等功能,并能夠結合用戶權限管理實現數據的分級、分類訪問,保證了數據的安全與保密性。

圖2 元數據共享軟件架構圖

在瀏覽器端,利用瀏覽器設計工具軟件人機界面,用戶直接利用瀏覽器進行數據抽取、注冊及共享本機數據工作,同時可以同步、下載其他平臺的數據,并執行用戶管理的任務。

服務端采用EJB技術實現邏輯服務,向客戶端提供元數據標準服務、資源目錄服務、訂閱/分發服務、用戶管理服務,是元數據共享服務平臺的核心。元數據標準服務提供業務數據的描述抽取、注冊服務,用戶統一的元數據標準采用自動、半自動甚至手工方法描述數據資源,以便將數據資源注冊到本級資源目錄,供資源使用者發現訪問。資源目錄服務提供資源目錄維護與管理,保證資源能夠被及時發現與訪問;資源目錄服務同時提供目錄同步服務能力,能夠將本平臺的資源目錄同步注冊到上一級管理節點,逐級注冊后能夠形成一個全局的資源目錄,根據需要全局資源目錄可以逐級同步到具備指揮關系的各個節點,此時資源使用者只需訪問本平臺的全局資源目錄即可定位數據資源,否則就需要逐級訪問相應的目錄,直到最高級指揮節點的全局目錄以搜索數據資源。訂閱/分發服務利用無線環境提供的各類通信手段,以訂單的方式,提供用戶間的數據共享手段;用戶管理服務維護數據使用者及使用權限。

數據庫段存儲本地業務數據,包括本地產生的業務數據和共享而來的業務數據;資源目錄庫存儲全局資源目錄,各平臺資源目錄同步一致;系統管理庫保存系統運行時必備的運維數據,包括用戶數據及系統運行日志,后者便于資源評價、故障排除。

為適應艦艇平臺之間基于無線環境的多種通信模式,基于元數據的數據共享服務平臺在設計時也針對多種通信鏈路的有對應的傳輸模式與方法。數據同步以訂單為媒介在數據的訂閱方和發布方建立同步關系,數據發布方對捕獲出來的二進制數據進行數據壓縮和加密,并用可配置數據包的大小來進行拆包控制發送的頻率以適應不同帶寬的通信,由此變化數據到達數據訂閱方;數據訂閱方接受到變化數據后,采用已存在數據更新、未存在數據插入的策略來支持數據同步過程中重復數據的沖突檢測及處理機制,由此實現變化數據的入目的數據庫。同時對于節點不連通的情況下也提供了離線的數據同步手段,來進行數據的離線同步。同時對于數據同步策略也動態進行配置調整,比如從變換數據同步的模式(自動、手動),數據同步的頻率和優先級等手段均可以適應不同通信信道條件下數據的同步需求。

5 結語

元數據為描述異構數據提供了有效的途徑,構建元數據標準是實現元數據理解一致性,達到數據共享與交換的前提與保障。以Web Service為技術基礎能夠建立跨平臺分布式的數據表現與交換平臺。

元數據共享技術同樣能夠在軍事項目中發揮重要作用。基于元數據技術,論文在某科研項目中實現了基于元數據進行共享的解決方案,為在艦艇編隊環境下進行跨平臺、跨業務系統之間進行數據共享提供了有效支撐。研制過程中進行了多級指揮關系下的數據共享試驗,同時運用規模非實時數據相關實驗,實驗均取得了良好的效果。

一定意義上說,元數據標準的抽象統一的程度與數據應用的便利性是相反的。軍事作戰過程中包含大量的異構數據,元數據標準的高度統一不利于海量數據大快速查詢定位與應用。下一步將進一步探索在分級指揮關系背景下構建分類的專業元數據標準,并且研究在多標準下的元數據表達與共享方案,為元數據在軍事項目中的推廣應用奠定基礎。

[1] 趙亮,樓向英,張春景,等.元數據應用:語義、結構與句法[J].圖書館雜志,2004,23(7):49-55.

[2] 張曉林.元數據研究與應用[M].北京:北京圖書館出版社,2002.

[3] 牛曉琳,季民,趙志剛.基于元數據管理的數據共享研究[J].艦船電子工程,2006,26(1):71-74.

[4] 邰峻,李博,梁麗華,等.國內元數據研究共詞圖譜分析[J].情報雜質,2013,32(10):106-110.

[5] 游祎,趙榮.我國元數據研究現狀與發展[J].圖書情報工作,2008,增刊(1):202-205.

[6] 王繼周,李成名,林宗堅.面向共享的空間元數據管理框架研究與設計[J].國土資源遙感,2003,3:67-70.

[7] 趙景明,張福.元數據互操作方法體系研究[J].圖書館理論與實踐,2007,4:52-54.

[8] 辜寄蓉,苗放,王成善.基于元數據的信息共享機制研究[J].物探化探計算技術,2006,28(1):75-79.

[9] 羅英偉,汪小林,許卓群.基于XML的地理信息元數據系統計[J].計算機學報,2005,28(7):1205-1212.

[10] 韓夏,李秉嚴.元數據的互操作研究[J].情報科學,2004,22(7):812-814.

Application and Implementation of Metadata-based Technology for Naval Vessel Data Sharing Platform

WU Yafei DENG Zhenguo WANG Zhenlong

(North China Institute of Computing Technology, Beijing 100083)

Metadata is data about data, is the key technology for data sharing. The metadata technology, core structure in data sharing platform, needs to build a unified standard, consistency of data schema. Producers extract and define the metadata int global libraries, subscribers query the global libraries to find the data, since the relationship between subscribers and producers has been established. Metadata, a rich data form, has been implemented with web service architecture to communicate between different platforms under the wireless environment, can be applied to data sharing between ship.

metadata, metadata standard, resource directory, data sharing

2015年6月13日,

2015年7月30日

吳亞非,男,高級工程師,研究方向:軍用圖形學、指揮自動化系統的工程設計和研究工作。鄧振國,男,碩士,工程師,研究方向:搜索引擎技術的研究工作。王振龍,男,工程師,研究方向:指揮自動化系統的應用與研究工作。

TP391.1

10.3969/j.issn.1672-9730.2015.12.025