物流信息系統(tǒng)中的數(shù)據(jù)集成技術(shù)

[摘要] 本文分析了當(dāng)前物流信息系統(tǒng)數(shù)據(jù)管理的需求，提出了物流信息系統(tǒng)集成的體系結(jié)構(gòu)，討論了物流信息系統(tǒng)中數(shù)據(jù)集成的關(guān)鍵技術(shù)。

[關(guān)鍵詞] 物流信息系統(tǒng) 數(shù)據(jù)集成 數(shù)據(jù)倉庫

一、引言

數(shù)據(jù)源的多源異構(gòu)是物流信息化建設(shè)過程中經(jīng)常遇到的一個現(xiàn)實(shí)問題，也是制約各種應(yīng)用信息系統(tǒng)建設(shè)和數(shù)據(jù)共享程度，以及信息化建設(shè)投資重復(fù)或負(fù)擔(dān)重的一個重要因素。物流行業(yè)數(shù)據(jù)的多源異構(gòu)特性主要表現(xiàn)在3方面:1.系統(tǒng)異構(gòu)，即數(shù)據(jù)源所依賴的業(yè)務(wù)應(yīng)用系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)乃至操作系統(tǒng)之間的不同構(gòu)成了系統(tǒng)異構(gòu)。2.模式異構(gòu)，即數(shù)據(jù)源在存儲模式上的不同。3.來源異構(gòu)，即企業(yè)內(nèi)部數(shù)據(jù)源和外部數(shù)據(jù)源之間的異構(gòu)。

在物流行業(yè)信息量不斷增加及信息源多樣性的情況下，對有價(jià)值信息的檢索日趨復(fù)雜。各相關(guān)企業(yè)不僅要訪問關(guān)系型數(shù)據(jù)庫等傳統(tǒng)應(yīng)用數(shù)據(jù)源，還必須能夠訪問XML文檔、文本文件、掃描圖像、Web內(nèi)容及專用存儲器等數(shù)據(jù)源。這就迫切地需要將諸如此類的面向物流的信息集成。

經(jīng)典的信息集成觀點(diǎn)強(qiáng)調(diào)數(shù)據(jù)的集成性、完整性，一致性與訪問安全性。物流行業(yè)的信息集成也不例外，但它不僅要面對多源異構(gòu)的數(shù)據(jù)源，而且在實(shí)時(shí)信息查詢方面的要求較高。對干面向物流的信息集成，IT行業(yè)有許多可選擇的技術(shù)與工具。但是，繁雜的技術(shù)可能也會對技術(shù)人員造成一些麻煩。如何在現(xiàn)有技術(shù)條件下，科學(xué)合理地制定適合物流行業(yè)的信息集成的體系結(jié)構(gòu)與解決方案，是技術(shù)人員面臨的一個巨大挑戰(zhàn)。

二、物流信息系統(tǒng)數(shù)據(jù)集成的體系結(jié)構(gòu)

面向物流信息集成的體系結(jié)構(gòu)必須能夠無縫地對異構(gòu)的關(guān)系數(shù)據(jù)等結(jié)構(gòu)化數(shù)據(jù)與XML等非結(jié)構(gòu)化數(shù)據(jù)提供統(tǒng)的訪問與管理。本文提出了下圖所示的基本的5層體系結(jié)構(gòu)。

圖 物流信息系統(tǒng)數(shù)據(jù)集成的體系結(jié)構(gòu)

1.數(shù)據(jù)源層：提供各類結(jié)構(gòu)化（如關(guān)系表)、半結(jié)構(gòu)化(如XML文檔)、與非結(jié)構(gòu)化（如字節(jié)流、掃描文檔）的數(shù)據(jù)源，這些數(shù)據(jù)源來自各個物流企業(yè)與其他相關(guān)機(jī)構(gòu)。

2.數(shù)據(jù)整合層：提供來自基本數(shù)據(jù)源層的不同數(shù)據(jù)格式數(shù)據(jù)的存儲、檢索與轉(zhuǎn)換。該層應(yīng)能夠?qū)?shù)據(jù)存儲為結(jié)構(gòu)化、半結(jié)構(gòu)化與非結(jié)構(gòu)化的格式，并能提供方便的檢索。該層更應(yīng)能集成外部數(shù)據(jù)源，這些數(shù)據(jù)源同樣可能是各類結(jié)構(gòu)化、半結(jié)構(gòu)化與非結(jié)構(gòu)化的數(shù)據(jù)。該層是本體系結(jié)構(gòu)的核心部分。

3.集成服務(wù)層：是從內(nèi)容管理系統(tǒng)和企業(yè)集成應(yīng)用程序中抽取的，用來提供將數(shù)據(jù)訪問服務(wù)透明地嵌入企業(yè)應(yīng)用程序和業(yè)務(wù)過程的基礎(chǔ)結(jié)構(gòu)，涉及查詢處理、文本搜索和挖掘、版本控制和元數(shù)據(jù)管理、數(shù)字資產(chǎn)管理、轉(zhuǎn)換、復(fù)制和高速緩存技術(shù)。

4.應(yīng)用程序接口層：對數(shù)據(jù)整合層和集成服務(wù)層提供豐富的服務(wù)和數(shù)據(jù)集，提供了基于標(biāo)準(zhǔn)的編程接口(如傳統(tǒng)的編程接口ODBC，JDBC和基于Web Services的接口)和查詢語言(如針對XML的查詢語言XQuery)，以接入數(shù)據(jù)整合層和集成服務(wù)層提供的一套豐富的業(yè)務(wù)和數(shù)據(jù)。

5.應(yīng)用程序?qū)樱航o物流各相關(guān)企業(yè)、相關(guān)機(jī)構(gòu)與相關(guān)客戶提供各類應(yīng)用服務(wù)。

該體系結(jié)構(gòu)的主要部分應(yīng)該是中間的3層，其實(shí)現(xiàn)應(yīng)全面科學(xué)地考察以下目前可用的信息集成方面的關(guān)鍵技術(shù)。

三、物流信息系統(tǒng)數(shù)據(jù)集成的關(guān)鍵技術(shù)

1.數(shù)據(jù)庫與數(shù)據(jù)倉庫技術(shù)。DBMS能很好地處理與數(shù)據(jù)管理相關(guān)的數(shù)據(jù)存儲、檢索、轉(zhuǎn)換、可伸縮性、可靠性和可用性等方面的難題。DBMS也正在迅速適應(yīng)近幾年物流應(yīng)用程序引入的數(shù)據(jù)和訪問模式的多樣性。同時(shí)，由于各類物流企業(yè)與機(jī)構(gòu)對DBMS過去進(jìn)行了大量的投資，充分利用它們，在所有級別上直接利用增強(qiáng)的DBMS體系結(jié)構(gòu)是信息集成的最佳選擇。

數(shù)據(jù)倉庫(Data Warehouse)技術(shù)，傳統(tǒng)上主要強(qiáng)調(diào)如何存儲與集成歷史數(shù)據(jù)，使之成為面向物流信息集成的必然選擇的主要技術(shù)之一。

2.聯(lián)邦技術(shù)。聯(lián)邦(Federation)是指用戶可以像對待一個數(shù)據(jù)源那樣對多個數(shù)據(jù)源進(jìn)行查詢和處理，同時(shí)保持?jǐn)?shù)據(jù)源各自的獨(dú)立性和完整性。利用聯(lián)邦數(shù)據(jù)庫技術(shù)可以解決物流行業(yè)分布式數(shù)據(jù)操作、異構(gòu)數(shù)據(jù)復(fù)制、空間地理應(yīng)用與分布式數(shù)據(jù)倉庫管理等一系列商務(wù)難題。聯(lián)邦技術(shù)能夠統(tǒng)一地訪問以任何技術(shù)存儲的任何數(shù)字信息，具有透明性、異構(gòu)數(shù)據(jù)源支持、底層聯(lián)邦數(shù)據(jù)源自治、可擴(kuò)展性、開放性和優(yōu)化等功能，這使聯(lián)邦技術(shù)成為面向物流的信息集成中另一個重量級技術(shù)。

3.XML技術(shù)。XML是SGML的簡化子集。XML是一種元語言，允許用戶創(chuàng)建自己的標(biāo)記語言，其自描述性使其非常適用于物流信息系統(tǒng)集成中不同應(yīng)用間的數(shù)據(jù)交換，而且這種交換是不以預(yù)先規(guī)定一組數(shù)據(jù)結(jié)構(gòu)定義為前提的。

4.Web Services技術(shù)。用Web Services可以方便地集成物流行業(yè)的異構(gòu)系統(tǒng)，在不需要對原有系統(tǒng)進(jìn)行修改、不影響原有系統(tǒng)功能的情況下，只要在原有系統(tǒng)的基礎(chǔ)加上一個SOAP接口，就可以將現(xiàn)有的、用不同技術(shù)實(shí)現(xiàn)的系統(tǒng)互聯(lián)起來，提供相互的數(shù)據(jù)交流和訪問操作。在面向物流的信息集成過程中，既有一些原有的Web Services可以通過集成平臺集成進(jìn)來，也可以由集成平臺提供新的Web Services以供用戶使用。

5.網(wǎng)格技術(shù)。數(shù)據(jù)網(wǎng)格是在網(wǎng)格環(huán)境下通明訪問異構(gòu)數(shù)據(jù)資源的新的體系結(jié)構(gòu)。數(shù)據(jù)網(wǎng)格主要解決數(shù)據(jù)密集型計(jì)算應(yīng)用中如何方便高效地使用分布式數(shù)據(jù)資源的間題。其研究內(nèi)容主要集中在廣域、異構(gòu)、分布環(huán)境下如何對數(shù)據(jù)進(jìn)行管理，如何從地理分布的各種異構(gòu)數(shù)據(jù)資源中獲取數(shù)據(jù)，并通過地域分布的協(xié)作和處理，如何從數(shù)據(jù)源中獲取有用信息。因此該技術(shù)對今后的物流信息集成非常有用。

四、結(jié)束語

物流，作為一個正在迅速成長的行業(yè)，其信息化的應(yīng)用自然成了一個熱點(diǎn)。如何利用眾多IT行業(yè)的新技術(shù)為物流信息化服務(wù)，是非常具有挑戰(zhàn)性和實(shí)際意義的。本文結(jié)合目前的集成新技術(shù)，提出了利用數(shù)據(jù)倉庫與聯(lián)邦技術(shù)結(jié)合為核心的物流信息集成方法。今后相應(yīng)的集成辦法也將隨著IT技術(shù)的發(fā)展，會與網(wǎng)格等新技術(shù)有更多的融合。

本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文。