基于自標(biāo)準(zhǔn)數(shù)據(jù)和數(shù)據(jù)港口架構(gòu)的數(shù)據(jù)共享技術(shù)

袁 滿, 王丹丹, 翟紅翠

?

基于自標(biāo)準(zhǔn)數(shù)據(jù)和數(shù)據(jù)港口架構(gòu)的數(shù)據(jù)共享技術(shù)

袁 滿1, 王丹丹1, 翟紅翠2

(1.東北石油大學(xué) 計算機與信息技術(shù)學(xué)院，黑龍江 大慶 163318；2.華北油田數(shù)據(jù)中心，河北 任丘 062552 )

為滿足復(fù)雜數(shù)據(jù)共享需求、減輕數(shù)據(jù)提供者負(fù)擔(dān)，分析自標(biāo)準(zhǔn)與數(shù)據(jù)港口架構(gòu)理論機器實現(xiàn)技術(shù).將數(shù)據(jù)模式的概念引入自標(biāo)準(zhǔn)數(shù)據(jù)模型，根據(jù)NIEM原理，構(gòu)建由公共數(shù)據(jù)模型、業(yè)務(wù)領(lǐng)域數(shù)據(jù)模型及編碼表構(gòu)成的自標(biāo)準(zhǔn)數(shù)據(jù)模型庫；基于MFI-13表單注冊標(biāo)準(zhǔn)，根據(jù)自標(biāo)準(zhǔn)數(shù)據(jù)模型對數(shù)據(jù)集進(jìn)行注冊，為實現(xiàn)軟件之間的互操作對應(yīng)生成元數(shù)據(jù)，并描述元數(shù)據(jù)遵循的語法及語義；為實現(xiàn)自標(biāo)準(zhǔn)數(shù)據(jù)的共享，提出基于數(shù)據(jù)港口架構(gòu)的數(shù)據(jù)共享模型，并構(gòu)建原型系統(tǒng)，證明其有效性和技術(shù)可行性.

數(shù)據(jù)港口架構(gòu)； 自標(biāo)準(zhǔn)數(shù)據(jù)模型； 數(shù)據(jù)集注冊； 數(shù)據(jù)共享模型

0 引言

數(shù)據(jù)集成技術(shù)研究始于20世紀(jì)70年代中期，之后應(yīng)用范圍和作用不斷擴大[1].對數(shù)據(jù)進(jìn)行有效的集成管理已成為增強企業(yè)商業(yè)競爭力的必然選擇.數(shù)據(jù)集成是數(shù)據(jù)組織的重要方法，是實現(xiàn)數(shù)據(jù)共享的重要途徑[2].無論企業(yè)應(yīng)用系統(tǒng)多么復(fù)雜，其本質(zhì)是進(jìn)行數(shù)據(jù)處理，實現(xiàn)數(shù)據(jù)的共享，數(shù)據(jù)共享包括數(shù)據(jù)查詢和數(shù)據(jù)交換[3].在企業(yè)處理數(shù)據(jù)過程中，Martin J等認(rèn)為企業(yè)產(chǎn)生數(shù)據(jù)的種類與數(shù)量是有限的，由于用戶對數(shù)據(jù)需求不同，造成數(shù)據(jù)共享的復(fù)雜與多變[4-5].雖然已制定諸多數(shù)據(jù)共享標(biāo)準(zhǔn)，但是企業(yè)標(biāo)準(zhǔn)的制訂速度遠(yuǎn)遠(yuǎn)不能滿足企業(yè)對數(shù)據(jù)共享標(biāo)準(zhǔn)的需求.袁滿等提出“自標(biāo)準(zhǔn)”思想[6]，通過自標(biāo)準(zhǔn)與標(biāo)準(zhǔn)結(jié)合，滿足企業(yè)對數(shù)據(jù)共享的需求.夏艷波等受到集裝箱采用標(biāo)準(zhǔn)化體系后貨物的運輸效率提升4～5倍的啟發(fā)，將“自標(biāo)準(zhǔn)數(shù)據(jù)”視為信息世界的集裝箱及其內(nèi)裝貨物，并將自標(biāo)準(zhǔn)與數(shù)據(jù)港口技術(shù)融合在一起解決企業(yè)的數(shù)據(jù)共享問題[7].2011年，Dan Woods提出“數(shù)據(jù)湖(Data Lake)”概念，主要目的是解決信息孤島和大數(shù)據(jù)分析問題，其重點是保存不同數(shù)據(jù)，忽略如何使用數(shù)據(jù)，以及為什么要使用數(shù)據(jù)、監(jiān)管數(shù)據(jù)、定義數(shù)據(jù)和確保數(shù)據(jù)安全[8].與“數(shù)據(jù)湖”概念相比，基于自標(biāo)準(zhǔn)數(shù)據(jù)的數(shù)據(jù)港口技術(shù)架構(gòu)不僅能夠?qū)崿F(xiàn)對數(shù)據(jù)的存儲，而且還能夠?qū)崿F(xiàn)對數(shù)據(jù)的管理與共享.

自標(biāo)準(zhǔn)數(shù)據(jù)和數(shù)據(jù)港口技術(shù)結(jié)合形成的數(shù)據(jù)標(biāo)準(zhǔn)，能夠較好地解決企業(yè)數(shù)據(jù)共享問題.文獻(xiàn)[6]給出自標(biāo)準(zhǔn)數(shù)據(jù)和數(shù)據(jù)港口技術(shù)架構(gòu)，但是對于如何實現(xiàn)共享的自標(biāo)準(zhǔn)數(shù)據(jù)模型，以及數(shù)據(jù)集注冊等沒有給出解決辦法.筆者將NIEM(National Information Exchange Model)和MFI(Metamodel Framework for Interoperability)等技術(shù)融入到問題解決方案，并設(shè)計與實現(xiàn)原型系統(tǒng)，驗證研究內(nèi)容的正確性與有效性.

1 數(shù)據(jù)港口架構(gòu)

用航行業(yè)務(wù)中港口概念類比數(shù)據(jù)港口，數(shù)據(jù)港口是用于建立獨立于各現(xiàn)有應(yīng)用系統(tǒng)之外的數(shù)據(jù)服務(wù)機制，是一個邏輯概念.數(shù)據(jù)港口主要由數(shù)據(jù)碼頭、泊位、數(shù)據(jù)泵及港口航道等重要組件構(gòu)成.

(1)數(shù)據(jù)碼頭.作為存放數(shù)據(jù)的場所，不同領(lǐng)域的自標(biāo)準(zhǔn)數(shù)據(jù)對應(yīng)存儲于對應(yīng)的數(shù)據(jù)碼頭，方便數(shù)據(jù)消費者查詢并獲取數(shù)據(jù).

(2)泊位.即數(shù)據(jù)提供者和數(shù)據(jù)消費者為了向數(shù)據(jù)港口集裝或解封數(shù)據(jù)，臨時用于排隊停靠的地點，在這里對進(jìn)港的數(shù)據(jù)進(jìn)行解封、分類后，推送給指定的數(shù)據(jù)碼頭；出港的數(shù)據(jù)也在這里集裝打包后推送給數(shù)據(jù)消費者.

(3)數(shù)據(jù)泵.包括數(shù)據(jù)抽取泵和數(shù)據(jù)推送泵，是專門抽取數(shù)據(jù)的部件，它既可以是集中的，又可以是分散的，可以被看作是傳統(tǒng)數(shù)據(jù)適配器的改進(jìn).

(4)港口航道.可提供數(shù)據(jù)港口與數(shù)據(jù)港口間鏈路接口，實現(xiàn)港口與港口之間數(shù)據(jù)互聯(lián)和共享.

2 自標(biāo)準(zhǔn)數(shù)據(jù)

自標(biāo)準(zhǔn)數(shù)據(jù)由數(shù)據(jù)模式和數(shù)據(jù)部分組成.數(shù)據(jù)模式用于描述數(shù)據(jù)結(jié)構(gòu)，是數(shù)據(jù)的概念、組成、結(jié)構(gòu)和相互關(guān)系的總稱[9].對數(shù)據(jù)進(jìn)行自標(biāo)準(zhǔn)時，將數(shù)據(jù)模式概念融入到自標(biāo)準(zhǔn)數(shù)據(jù)中定義自標(biāo)準(zhǔn)數(shù)據(jù)模型.

2.1 模型構(gòu)建

數(shù)據(jù)模型是跨領(lǐng)域數(shù)據(jù)共享和共同遵循的標(biāo)準(zhǔn)，表現(xiàn)為系列的模式文件.自標(biāo)準(zhǔn)數(shù)據(jù)模式推薦采用XML Schema 模式語言，對各個業(yè)務(wù)領(lǐng)域共用的實體或領(lǐng)域內(nèi)部實體及其關(guān)系進(jìn)行抽象描述，根據(jù)領(lǐng)域不同對它進(jìn)行主題分類.借鑒美國國土安全部和司法部提出的國家信息共享模型(NIEM)的原理和方法，實現(xiàn)中國跨領(lǐng)域信息共享.NIEM由核心數(shù)據(jù)模型、領(lǐng)域數(shù)據(jù)模型(各專業(yè)的業(yè)務(wù)模型)及各領(lǐng)域涉及到的屬性規(guī)范值三部分組成.基于NIEM實現(xiàn)原理，抽取自標(biāo)準(zhǔn)數(shù)據(jù)模型，構(gòu)建由公用數(shù)據(jù)模型、業(yè)務(wù)領(lǐng)域數(shù)據(jù)模型及編碼表構(gòu)成的自標(biāo)準(zhǔn)模型庫.

公用數(shù)據(jù)模型用于定義在所有領(lǐng)域內(nèi)具有普遍意義，且具有高度一致性和穩(wěn)定性的數(shù)據(jù)，如人員(Person)、機構(gòu)(Organization)等.公用數(shù)據(jù)模型的提出可以大幅提高模型重用性，減少數(shù)據(jù)提供者工作量和系統(tǒng)緩存負(fù)擔(dān).如定義的Person簡單數(shù)據(jù)類型見表1.

表1 定義的Person簡單數(shù)據(jù)類型Table 1 The definition of Person simple data types

業(yè)務(wù)領(lǐng)域數(shù)據(jù)模型定義該領(lǐng)域特有的數(shù)據(jù)模型，由各業(yè)務(wù)領(lǐng)域根據(jù)自身業(yè)務(wù)信息共享需求，在公用數(shù)據(jù)模型基礎(chǔ)上擴展而成.如在油田領(lǐng)域，需定義油田(OilfieldType)、警報事件(AlarmEventType)等數(shù)據(jù)模型.

編碼表是將各領(lǐng)域內(nèi)已有的編碼標(biāo)準(zhǔn)引入，體現(xiàn)為一系列模式文件.

油田勘探開發(fā)自標(biāo)準(zhǔn)數(shù)據(jù)模型結(jié)構(gòu)見圖1.圖1規(guī)定油田企業(yè)數(shù)據(jù)應(yīng)遵守的規(guī)則.已有的模型文件稱為模板，數(shù)據(jù)文件與模型文件之間為一對多的關(guān)系，如果當(dāng)前存儲的模板不能滿足數(shù)據(jù)提供者的需求，數(shù)據(jù)提供者可以申請建立新的模型文件，并在建立新的模型文件時將存儲時間作為版本標(biāo)記，保證存放數(shù)據(jù)的正確性與有效性.

2.2 數(shù)據(jù)集注冊

數(shù)據(jù)提供者向管理員申請授權(quán)并向數(shù)據(jù)港口分類存放數(shù)據(jù)的過程即為數(shù)據(jù)集注冊.借鑒MFI-13表單注冊標(biāo)準(zhǔn)[10]及MFI-12信息模型注冊標(biāo)準(zhǔn)[11]，提出數(shù)據(jù)集注冊方法，實現(xiàn)對數(shù)據(jù)集的有效管理，方便對數(shù)據(jù)的分類存儲和分類快速定位查詢等.數(shù)據(jù)集注冊過程包括數(shù)據(jù)注冊和元數(shù)據(jù)注冊.數(shù)據(jù)提供者得到授權(quán)后，下載所需模板得到一個表單，并對應(yīng)生成元數(shù)據(jù).元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù)(Data About Data)[12]，描述數(shù)據(jù)集內(nèi)容的簡單說明，以及對數(shù)據(jù)元素所遵循的語法、語義的明確記錄，可以實現(xiàn)軟件系統(tǒng)之間的互操作.定義元數(shù)據(jù)元素包括屬性：數(shù)據(jù)中文名稱、數(shù)據(jù)英文名稱、定義(概念說明)、數(shù)據(jù)約束、數(shù)據(jù)條件、數(shù)據(jù)類型和備注(補充說明)等.元數(shù)據(jù)元素與屬性之間的關(guān)系見圖2；表1對應(yīng)描述的元數(shù)據(jù)見表2.

圖1 油田勘探開發(fā)自標(biāo)準(zhǔn)數(shù)據(jù)模型結(jié)構(gòu)

圖2 元數(shù)據(jù)元素與屬性之間的關(guān)系Fig.2 The properties of describing the metadata elements

表2 某人員元數(shù)據(jù)注冊流程Table 2 A person metadata registration processes

表單為一個規(guī)定約束的、為了細(xì)節(jié)插入帶有空格的文檔.通常情況下，表單以標(biāo)準(zhǔn)格式(如HTML、EXCEL或PDF等)呈現(xiàn)，數(shù)據(jù)提供者將數(shù)據(jù)填充到表單上.有效數(shù)據(jù)文件經(jīng)過壓縮打包進(jìn)行處理，在泊位處等候入港，進(jìn)行解封并按照領(lǐng)域及業(yè)務(wù)范圍進(jìn)行分類，經(jīng)過數(shù)據(jù)泵將有效數(shù)據(jù)文件推送到相應(yīng)數(shù)據(jù)港口，將模型文件及數(shù)據(jù)文件上傳到相應(yīng)目錄結(jié)構(gòu)，完成數(shù)據(jù)注冊.港口內(nèi)的數(shù)據(jù)碼頭根據(jù)數(shù)據(jù)類型對數(shù)據(jù)完成封裝、存儲及管理.數(shù)據(jù)提供者不必考慮存放到數(shù)據(jù)港口的數(shù)據(jù)后期管理和調(diào)用，可以減少工作的繁復(fù)性與復(fù)雜性.數(shù)據(jù)集注冊流程見圖3.

3 數(shù)據(jù)共享

數(shù)據(jù)提供者將數(shù)據(jù)存儲到數(shù)據(jù)碼頭后，須考慮如何實現(xiàn)數(shù)據(jù)共享問題.在數(shù)據(jù)港口技術(shù)架構(gòu)中，數(shù)據(jù)提供者與數(shù)據(jù)消費者通過規(guī)范化流程實現(xiàn)數(shù)據(jù)共享.自標(biāo)準(zhǔn)數(shù)據(jù)共享過程分為兩個步驟：(1)建立數(shù)據(jù)共享模型.根據(jù)用戶需求，對所需數(shù)據(jù)與存儲在數(shù)據(jù)碼頭的數(shù)據(jù)建立映射關(guān)系，在引用自標(biāo)準(zhǔn)數(shù)據(jù)模型基礎(chǔ)上，通過裁剪、擴充等方法建立數(shù)據(jù)共享模型；(2)建立數(shù)據(jù)共享模式.利用企業(yè)服務(wù)總線接入WEB服務(wù)，實現(xiàn)數(shù)據(jù)共享.

圖3 數(shù)據(jù)集注冊流程示意Fig.3 The process of data set registration

3.1 模型

自標(biāo)準(zhǔn)數(shù)據(jù)共享時，數(shù)據(jù)共享模型建立[13]主要分為4個階段：(1)總體規(guī)劃.根據(jù)項目目標(biāo)、業(yè)務(wù)需求等分析需要共享的信息，形成計劃.(2)需求分析.對涉及的單位、共享內(nèi)容進(jìn)行分析，形成數(shù)據(jù)共享模型，可以用UML表示.(3)根據(jù)數(shù)據(jù)共享模型，生成數(shù)據(jù)交換包并對它進(jìn)行驗證，采用安全認(rèn)證和加密處理等措施，防止數(shù)據(jù)丟失或被竊取.(4)將形成的所有文件壓縮并發(fā)布.

3.2 模式

數(shù)據(jù)共享模型的核心是數(shù)據(jù)共享模式，分為3個階段：(1)通過映射關(guān)系，將數(shù)據(jù)共享模型與自標(biāo)準(zhǔn)數(shù)據(jù)模型庫相符的元素抽取出來，形成子集模式.子集模式不僅可以降低信息共享的復(fù)雜性，而且可以提高模型的重用性[14].(2)由于在數(shù)據(jù)共享時并不是所有元素都能找到合適的描述或者不完全匹配，需要將在數(shù)據(jù)共享模型中出現(xiàn)的、在自標(biāo)準(zhǔn)數(shù)據(jù)中沒有描述的元素進(jìn)行模型擴展定義，即為擴展模式.如需通過Location描述地點采油量，但是Location中并不包含采油相關(guān)信息，可以在Location的基礎(chǔ)上增加一個采油量模型，以形成擴展模式.(3)通過子集模式和擴展模式形成能夠描述數(shù)據(jù)共享模型中所有元素的全集.

3.3 實現(xiàn)

數(shù)據(jù)共享模型是共享雙方共同遵守的共享標(biāo)準(zhǔn)[15].數(shù)據(jù)提供者根據(jù)數(shù)據(jù)共享模型生成共享實例文檔，接入WEB服務(wù)，將共享實例文檔傳遞給數(shù)據(jù)消費者；數(shù)據(jù)消費者在接收到交換實例文檔后，根據(jù)數(shù)據(jù)共享模型對交換實例文檔進(jìn)行解析，實現(xiàn)對數(shù)據(jù)的理解，達(dá)成數(shù)據(jù)共享目的.數(shù)據(jù)共享實現(xiàn)過程見圖4.

圖4 數(shù)據(jù)共享實現(xiàn)過程示意Fig.4 The process of data sharing

4 現(xiàn)場應(yīng)用

為驗證基于自標(biāo)準(zhǔn)數(shù)據(jù)和數(shù)據(jù)港口架構(gòu)的數(shù)據(jù)共享技術(shù)的可行性，以大慶油田實際數(shù)據(jù)為背景，實現(xiàn)一個具有自標(biāo)準(zhǔn)數(shù)據(jù)入港、數(shù)據(jù)出港及港內(nèi)數(shù)據(jù)管理基本功能的原型系統(tǒng)，并進(jìn)行驗證.驗證所用數(shù)據(jù)源為大慶油田勘探開發(fā)A2數(shù)據(jù)庫，開發(fā)環(huán)境采用Microsoft Visual Studio 2010.在原型系統(tǒng)中，定義油田開發(fā)動態(tài)和測井?dāng)?shù)據(jù)碼頭，采用層級目錄方式存儲.數(shù)據(jù)提供者根據(jù)需求構(gòu)建數(shù)據(jù)模型，并以數(shù)據(jù)模型為基礎(chǔ)將數(shù)據(jù)存儲至數(shù)據(jù)碼頭；數(shù)據(jù)消費者根據(jù)自身需求進(jìn)行資源搜索，并將所需數(shù)據(jù)打包回傳.原型系統(tǒng)部分實現(xiàn)功能見圖5，現(xiàn)場應(yīng)用結(jié)果表明原型系統(tǒng)實現(xiàn)設(shè)計功能、運行穩(wěn)定可靠.

圖5 原型系統(tǒng)部分功能示意Fig.5 The functions implemented by the prototype system

5 結(jié)束語

基于自標(biāo)準(zhǔn)數(shù)據(jù)與數(shù)據(jù)港口技術(shù)架構(gòu)的數(shù)據(jù)共享技術(shù)可以有效集成和管理數(shù)據(jù)，實現(xiàn)領(lǐng)域內(nèi)部及領(lǐng)域之間的數(shù)據(jù)共享，滿足復(fù)雜的數(shù)據(jù)共享需求.構(gòu)建基于自標(biāo)準(zhǔn)數(shù)據(jù)和數(shù)據(jù)港口技術(shù)架構(gòu)的數(shù)據(jù)共享技術(shù)的原型系統(tǒng)，能夠?qū)崿F(xiàn)數(shù)據(jù)入港過程中自標(biāo)準(zhǔn)數(shù)據(jù)模型的定義、數(shù)據(jù)集注冊、數(shù)據(jù)出港過程中的數(shù)據(jù)共享及港內(nèi)數(shù)據(jù)管理，系統(tǒng)運行穩(wěn)定、性能達(dá)標(biāo).

[1] 袁滿,武峰林,于春生.基于混合本體和Mediator/Wrapper的語義數(shù)據(jù)集成模型[J].大慶石油學(xué)院學(xué)報,2010,34(1):84-88.Yuan Man, Wu Fenglin, Yu Chunsheng.Semantic data integration model based on mixed ontology and mediator/wrapper [J].Journal of Daqing Petroleum Institute, 2010,34(1):84-88.

[2] 龔建華.數(shù)據(jù)集成技術(shù)研究[J].辦公自動化,2012,18(10):52-53.Gong Jianhua.Research on data integration technology [J].Office Informatization, 2012,18(10):52-53.

[3] ISO/IEC 11179-1: Information technology-Meta data registries (MDR)-Part 1: Framework for the specification and standardization of data elements: 2nd edition [S].

[4] Martin J, Finkelstein C.Information engineering [M].Prentice-Hall, 1981:10-40.

[5] Martin J.An information systems manifesto [M].Prentice-Hall, 1982:40-55.

[6] 袁滿,王權(quán),夏艷波,等.自標(biāo)準(zhǔn)數(shù)據(jù)研究及其在數(shù)據(jù)共享中的應(yīng)用[J/OL].吉林大學(xué)學(xué)報,(2014-11-18)[2015-05-05].http://www.cnki.net/kcms/detail/22.1341.T.20141118.1119.007.html.Yuan Man, Wang Quan, Xia Yanbo, et al.Research on self-standard data and its application in data exchange [J/OL].Journal of Jilin University, (2014-11-18)[2015-05-05].http://www.cnki.net/kcms/detail/22.1341.T.20141118.1119.007.html.

[7] 夏艷波,王權(quán).信息孤島解決之道——數(shù)據(jù)港口架構(gòu)理論初探[J].中國管理信息化,2015,18(1):70-72.Xia Yanbo, Wang Quan.The solution of information island: Data port structure theory [J].China Management Informationization, 2015,18(1):70-72.

[8] EMC.GE嘗試“數(shù)據(jù)湖”[J].上海國資,2014,16(10):79.EMC.GE try "data lake" [J].Capital Shanghai, 2014,16(10):79.

[9] 中華人民共和國科學(xué)技術(shù)部，科學(xué)數(shù)據(jù)共享工程技術(shù)標(biāo)準(zhǔn)——數(shù)據(jù)模型描述規(guī)則和方法:SDS/T 2133-2004 [S].Ministry of Science and Technology of the People's Republic of China, Scientific data sharing engineering technology standard: Rule and method for description of data schema: SDS/T 2133-2004 [S].

[10] ISO/IEC CD2 19763-13: Information technology-Metamodel framework for interoperability (MFI) Part 13: Metamodel for forms registration [S].

[11] ISO/IEC DIS 19763-12: Information technology-Metamodel framework for interoperability (MFI) Part 12: Metamodel for information model registration [S].

[12] 中華人民共和國科學(xué)技術(shù)部.科學(xué)數(shù)據(jù)共享工程技術(shù)標(biāo)準(zhǔn)——元數(shù)據(jù)的XML/XSD置標(biāo)規(guī)則:SDS/T 2113-2004[S].Ministry of Science and Technology of the People's Republic of China.Scientific data sharing engineering technology standard: XML/XSD marking rules for metadata: SDS/T 2113-2004 [S].

[13] 戴劍偉,馮勤群.美國國家信息交換模型及其啟示[J].軍事運籌與系統(tǒng)工程,2013,27(3):15-19.Dai Jianwei, Feng Qinqun.National information exchange model and its enlightenment [J].Military Operations Research and Systems Engineering, 2013,27(3):15-19.

[14] NIEM Program Management Office.Introduction to the National Information Exchange Model [EB/OL].2007-02-12[2014-07-21].http://reference.niem.gov/niem/guidance/introduction/0.3/niem-introduction-0.3.pdf.

[15] NIEM Program Management Office.History about NIEM [EB/OL].[2014-07-21].https://www.niem.gov/aboutniem/Pages/history.aspx.

2015-06-17；編輯：張兆虹

黑龍江省教育廳基金項目(12531059)

袁 滿(1965-)，男，博士，教授，主要從事信息標(biāo)準(zhǔn)化與信息集成、數(shù)據(jù)工程理論與技術(shù)方面的研究.

TP391

A

2095-4107(2015)04-0103-06

DOI 10.3969/j.issn.2095-4107.2015.04.013