交通數(shù)據(jù)中心數(shù)據(jù)整合與綜合數(shù)據(jù)庫的設(shè)計(jì)研究

杜 勇 李 軍

（北京市交通信息中心 北京 100073）

隨著交通信息化建設(shè)的不斷深入，數(shù)據(jù)中心建設(shè)的核心是通過交通數(shù)據(jù)的整合，消滅“數(shù)字鴻溝”［1］和“信息孤島”，促進(jìn)各部門信息資源的共享共用，為綜合應(yīng)用提供數(shù)據(jù)支撐［2］，進(jìn)而提高政府部門的管理和服務(wù)水平。因此，數(shù)據(jù)整合和數(shù)據(jù)的綜合應(yīng)用是數(shù)據(jù)中心建設(shè)的重點(diǎn)內(nèi)容。本文以北京市交通行業(yè)數(shù)據(jù)中心建設(shè)為例，著重探討交通數(shù)據(jù)中心的數(shù)據(jù)整合與綜合數(shù)據(jù)庫的建設(shè)原則、流程、策略、框架及結(jié)構(gòu)等技術(shù)環(huán)節(jié)。

1 數(shù)據(jù)中心總體設(shè)計(jì)

1.1 總體框架

完整的數(shù)據(jù)中心一般由8個(gè)部分構(gòu)成：基礎(chǔ)環(huán)境、業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫（源數(shù)據(jù)庫）、共享交換平臺(tái)、中心數(shù)據(jù)庫（信息資源庫）、數(shù)據(jù)應(yīng)用、標(biāo)準(zhǔn)規(guī)范、安全體系和管理運(yùn)行機(jī)制［3］。其總體框架見圖1。

圖1 數(shù)據(jù)中心總體框架圖

1.2 總體思路

數(shù)據(jù)中心建設(shè)通過構(gòu)建統(tǒng)一的數(shù)據(jù)資源平臺(tái)，定義全行業(yè)交通數(shù)據(jù)的交換存儲(chǔ)策略、基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)；調(diào)度、監(jiān)控全市各業(yè)務(wù)系統(tǒng)的信息流轉(zhuǎn)，根據(jù)需要為各單位之間提供數(shù)據(jù)交換，建成全行業(yè)交通基礎(chǔ)性、戰(zhàn)略性的數(shù)據(jù)資源庫，實(shí)現(xiàn)重點(diǎn)交通信息資源的集中管理，從而為綜合應(yīng)用系統(tǒng)提供數(shù)據(jù)支持。

（1）根據(jù)需求分析整理匯總現(xiàn)有數(shù)據(jù)及需補(bǔ)充采集的數(shù)據(jù)，明確數(shù)據(jù)采集的目的、來源、管理機(jī)構(gòu)、采集方式等，為制定科學(xué)合理的數(shù)據(jù)交換與整合策略奠定基礎(chǔ)。

（2）根據(jù)數(shù)據(jù)來源、分布情況以及數(shù)據(jù)交換需求，確定適當(dāng)?shù)臄?shù)據(jù)交換方案，搭建全市交通部門統(tǒng)一的數(shù)據(jù)交換平臺(tái)。

（3）根據(jù)部分需要整合的數(shù)據(jù)，針對(duì)數(shù)據(jù)的不同結(jié)構(gòu)、類型及內(nèi)容，制定合理的整合方案。

（4）根據(jù)數(shù)據(jù)交換和整合方案以及應(yīng)用系統(tǒng)的數(shù)據(jù)需求，進(jìn)行基礎(chǔ)數(shù)據(jù)庫和主題數(shù)據(jù)庫的內(nèi)容設(shè)計(jì)，進(jìn)而形成全市統(tǒng)一的交通數(shù)據(jù)資源平臺(tái)。

2 數(shù)據(jù)整合研究

2.1 數(shù)據(jù)整合原則

數(shù)據(jù)整合是交通行業(yè)數(shù)據(jù)中心建設(shè)的主要工作內(nèi)容之一，也是建立綜合數(shù)據(jù)庫的基礎(chǔ)［4－5］。綜合數(shù)據(jù)庫不能無原則地抽取、處理和存儲(chǔ)各業(yè)務(wù)系統(tǒng)的所有信息，而應(yīng)當(dāng)根據(jù)實(shí)際需要和具體情況，有重點(diǎn)、有選擇地整合有價(jià)值的信息。需重點(diǎn)整合的數(shù)據(jù)如下：

（1）管理決策所需數(shù)據(jù)。著重整合行業(yè)管理決策及業(yè)務(wù)工作所需要的、關(guān)鍵的綜合性數(shù)據(jù)。例如，省際客運(yùn)售票情況統(tǒng)計(jì)信息，出租車空駛比率信息。

（2）公眾服務(wù)所需數(shù)據(jù)。社會(huì)公眾關(guān)注的交通狀況信息，例如，公交換乘信息、占道施工信息等。

（3）共用數(shù)據(jù)。著重整合跨部門、跨業(yè)務(wù)的應(yīng)用（2個(gè)或2個(gè)以上應(yīng)用）所需要的共用數(shù)據(jù)。

（4）最終結(jié)果信息。有針對(duì)性地整合各業(yè)務(wù)系統(tǒng)最終的統(tǒng)計(jì)、分析和處理結(jié)果，不整合各業(yè)務(wù)系統(tǒng)的過程信息。例如，針對(duì)運(yùn)輸局審批系統(tǒng)，數(shù)據(jù)中心不抽取審批流程及各個(gè)環(huán)節(jié)的審核意見，而是采集最終通過審批的人、車、戶的基本信息。

2.2 數(shù)據(jù)整合策略

北京市交通行業(yè)數(shù)據(jù)中心數(shù)據(jù)整合涉及三級(jí)交通管理部門，涉及的部門廣、業(yè)務(wù)種類多，而各級(jí)部門對(duì)數(shù)據(jù)的內(nèi)容、數(shù)據(jù)的顆粒度以及數(shù)據(jù)組織方式等要求各不相同，造成數(shù)據(jù)整合難度相當(dāng)大。采取何種策略，使得數(shù)據(jù)整合既能適應(yīng)兩局一隊(duì)行業(yè)管理的需要，又能滿足交通決策和統(tǒng)一的公眾服務(wù)需要，是需要重點(diǎn)解決的問題之一。

綜合考慮管理體制、信息安全、集約投資等多種因素，數(shù)據(jù)中心整合策略為：按照統(tǒng)一的標(biāo)準(zhǔn)，進(jìn)行2級(jí)整合，數(shù)據(jù)存儲(chǔ)采取“分布集中式”。

第一級(jí)，根據(jù)路政管理、運(yùn)輸管理和執(zhí)法管理的行業(yè)管理需要，按照一定的業(yè)務(wù)邏輯對(duì)相應(yīng)系統(tǒng)數(shù)據(jù)進(jìn)行采集、處理和存儲(chǔ)，分別建成路政基礎(chǔ)庫、運(yùn)輸基礎(chǔ)庫和交通執(zhí)法基礎(chǔ)庫。

第二級(jí)，按照決策、公眾服務(wù)以及市級(jí)和部級(jí)數(shù)據(jù)共享的需要，從路政基礎(chǔ)庫、運(yùn)輸基礎(chǔ)庫、交通執(zhí)法基礎(chǔ)庫和交委內(nèi)各系統(tǒng)中再次采集、整合數(shù)據(jù)，建成綜合數(shù)據(jù)庫。3個(gè)基礎(chǔ)數(shù)據(jù)庫和綜合數(shù)據(jù)庫共同構(gòu)成“分布集中式”的中心數(shù)據(jù)庫。

2.3 數(shù)據(jù)整合方法

數(shù)據(jù)整合是一個(gè)相對(duì)復(fù)雜的過程，一般需經(jīng)過4個(gè)階段：數(shù)據(jù)梳理、數(shù)據(jù)采集和校驗(yàn)、數(shù)據(jù)分析和轉(zhuǎn)換、數(shù)據(jù)集成和存儲(chǔ)。數(shù)據(jù)整合流程方法見圖2。

圖2 數(shù)據(jù)整合流程方法

（1）數(shù)據(jù)梳理。理清各業(yè)務(wù)系統(tǒng)所涉及的業(yè)務(wù)流程及數(shù)據(jù)流，確定唯一的數(shù)據(jù)源。

（2）數(shù)據(jù)采集和校驗(yàn)。利用共享交換平臺(tái)，對(duì)第一數(shù)據(jù)源的數(shù)據(jù)進(jìn)行采集，進(jìn)行完整性檢驗(yàn)，并去除重復(fù)數(shù)據(jù)。

（3）數(shù)據(jù)分析和轉(zhuǎn)換。按照業(yè)務(wù)邏輯和統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行格式轉(zhuǎn)換。

（4）數(shù)據(jù)集成和存儲(chǔ)。按照數(shù)據(jù)集成邏輯，對(duì)多源數(shù)據(jù)進(jìn)行集成處理后存儲(chǔ)到中心數(shù)據(jù)庫。

2.4 數(shù)據(jù)整合內(nèi)容

綜合數(shù)據(jù)庫信息主要來源于各個(gè)業(yè)務(wù)部門和相關(guān)單位。數(shù)據(jù)整合需要按照統(tǒng)一的信息資源目錄標(biāo)準(zhǔn)及編碼標(biāo)準(zhǔn)，從其業(yè)務(wù)數(shù)據(jù)庫中抽取相關(guān)數(shù)據(jù)，經(jīng)過兩級(jí)整合后，建立統(tǒng)一的信息資源數(shù)據(jù)庫。

3 綜合數(shù)據(jù)庫設(shè)計(jì)研究

綜合考慮交通行業(yè)領(lǐng)導(dǎo)決策、業(yè)務(wù)人員業(yè)務(wù)管理、社會(huì)公眾出行及信息資源共享交換的需要，在整合接入業(yè)務(wù)系統(tǒng)數(shù)據(jù)的基礎(chǔ)上，進(jìn)行業(yè)務(wù)梳理和目錄編制，按照統(tǒng)一的目錄和數(shù)據(jù)標(biāo)準(zhǔn)，結(jié)合需求對(duì)原始數(shù)據(jù)進(jìn)行進(jìn)一步的梳理和加工整合，構(gòu)建交通信息資源數(shù)據(jù)庫（綜合數(shù)據(jù)庫），并通過數(shù)據(jù)動(dòng)態(tài)分析系統(tǒng)、各類業(yè)務(wù)應(yīng)用系統(tǒng)、交通委網(wǎng)站和公眾出行網(wǎng)站為各級(jí)領(lǐng)導(dǎo)、管理人員和社會(huì)公眾提供豐富、詳實(shí)的交通信息。

3.1 邏輯框架設(shè)計(jì)

交通信息資源整合平臺(tái)建設(shè)從邏輯框架層面主要分為現(xiàn)有業(yè)務(wù)數(shù)據(jù)資源梳理、數(shù)據(jù)交換和整合、綜合交通信息構(gòu)建和數(shù)據(jù)交換服務(wù)4個(gè)部分。

（1）業(yè)務(wù)數(shù)據(jù)資源梳理。現(xiàn)有數(shù)據(jù)資源是來自北京市交通委相關(guān)處室、運(yùn)輸局、路政局以及執(zhí)法總隊(duì)的相關(guān)業(yè)務(wù)系統(tǒng)。對(duì)于這些數(shù)據(jù)，需要了解數(shù)據(jù)庫結(jié)構(gòu)、數(shù)據(jù)元素、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)流、數(shù)據(jù)存儲(chǔ)等內(nèi)容，為業(yè)務(wù)系統(tǒng)與資源整合平臺(tái)間的數(shù)據(jù)交換奠定基礎(chǔ)。

（2）數(shù)據(jù)交換與整合平臺(tái)。數(shù)據(jù)交換與整合技術(shù)研究數(shù)據(jù)資源整合平臺(tái)，它是數(shù)據(jù)同步、交換、傳輸、整合、共享的服務(wù)平臺(tái)，不僅可以實(shí)現(xiàn)各類異構(gòu)數(shù)據(jù)源之間的數(shù)據(jù)交換，還支持?jǐn)?shù)據(jù)的匯總、整合和轉(zhuǎn)換，具備完善的ETL功能，并最終形成行業(yè)資源數(shù)據(jù)庫實(shí)現(xiàn)行業(yè)數(shù)據(jù)資源的整合，為行業(yè)數(shù)據(jù)資源的綜合應(yīng)用創(chuàng)造基礎(chǔ)條件。

（3）交通信息資源整合庫。經(jīng)過數(shù)據(jù)交換與整合平臺(tái)加工后的數(shù)據(jù)，依據(jù)數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范體系，形成交通信息資源整合庫，交通信息資源整合庫劃分為基礎(chǔ)數(shù)據(jù)庫群、業(yè)務(wù)數(shù)據(jù)庫群和綜合數(shù)據(jù)庫群。按照數(shù)據(jù)資源整合的線索，形成基礎(chǔ)數(shù)據(jù)庫群；按照現(xiàn)有交通業(yè)務(wù)的劃分形成業(yè)務(wù)數(shù)據(jù)庫群；在基礎(chǔ)數(shù)據(jù)庫群和業(yè)務(wù)數(shù)據(jù)庫群的基礎(chǔ)上，構(gòu)建主題數(shù)據(jù)庫群。資源整合庫是實(shí)現(xiàn)上層綜合應(yīng)用系統(tǒng)的基本條件。

（4）數(shù)據(jù)交換服務(wù)通用接口。資源整合庫需要為其他系統(tǒng)提供數(shù)據(jù)的支持，所以資源整合平臺(tái)應(yīng)該具有數(shù)據(jù)交換服務(wù)的通用接口，與資源整合綜合應(yīng)用的服務(wù)系統(tǒng)及今后部級(jí)整合平臺(tái)、其他行業(yè)協(xié)同業(yè)務(wù)系統(tǒng)進(jìn)行數(shù)據(jù)交換。

3.2 技術(shù)流程設(shè)計(jì)

在數(shù)據(jù)中心建設(shè)中，交通信息資源整合及建庫是最關(guān)鍵的環(huán)節(jié)。主要技術(shù)流程環(huán)節(jié)包括數(shù)據(jù)采集設(shè)計(jì)、數(shù)據(jù)整合設(shè)計(jì)和數(shù)據(jù)庫設(shè)計(jì)。

（1）數(shù)據(jù)采集設(shè)計(jì)。根據(jù)需求分析整理匯總現(xiàn)有數(shù)據(jù)及需補(bǔ)充采集的數(shù)據(jù)，明確數(shù)據(jù)采集的目的、來源、管理機(jī)構(gòu)、采集方式等，為制定科學(xué)合理的數(shù)據(jù)交換與整合策略奠定基礎(chǔ)。

（2）數(shù)據(jù)整合設(shè)計(jì)。根據(jù)對(duì)各類數(shù)據(jù)的分析，待整合的數(shù)據(jù)可分為2類：①數(shù)據(jù)需從已有數(shù)據(jù)庫系統(tǒng)進(jìn)行抽取、轉(zhuǎn)換、集中存儲(chǔ)，形成供交通運(yùn)輸管理各部門共享的基礎(chǔ)數(shù)據(jù)庫，如公路空間數(shù)據(jù)、車輛基礎(chǔ)數(shù)據(jù)等；②用于綜合應(yīng)用，來源相對(duì)復(fù)雜，包括基礎(chǔ)數(shù)據(jù)庫、業(yè)務(wù)系統(tǒng)、各種紙質(zhì)或電子文檔等，需要統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，通過格式轉(zhuǎn)換或建立關(guān)聯(lián)等方式進(jìn)行整合，如城市道路類數(shù)據(jù)、公路類數(shù)據(jù)、規(guī)費(fèi)征收業(yè)務(wù)數(shù)據(jù)等。

（3）數(shù)據(jù)庫設(shè)計(jì)。根據(jù)數(shù)據(jù)需求，進(jìn)行基礎(chǔ)數(shù)據(jù)庫、業(yè)務(wù)數(shù)據(jù)庫和主題數(shù)據(jù)庫的內(nèi)容設(shè)計(jì)，進(jìn)而初步形成全行業(yè)統(tǒng)一的數(shù)據(jù)中心。

3.3 數(shù)據(jù)庫結(jié)構(gòu)設(shè)計(jì)

數(shù)據(jù)庫結(jié)構(gòu)設(shè)計(jì)包括決定數(shù)據(jù)庫的數(shù)據(jù)內(nèi)容、選擇適當(dāng)?shù)臄?shù)據(jù)模型并進(jìn)行相關(guān)的數(shù)據(jù)組織管理建設(shè)工作。傳統(tǒng)的數(shù)據(jù)庫模型主要有3種：網(wǎng)狀、層狀和關(guān)系型模型。近年來，隨著面向?qū)ο蠹夹g(shù)的發(fā)展，面向?qū)ο蟮臄?shù)據(jù)庫模型也運(yùn)應(yīng)而生。數(shù)據(jù)中心建設(shè)結(jié)合Arc GIS軟件系統(tǒng)和數(shù)據(jù)庫管理工具進(jìn)行面向?qū)ο蟮姆植际綌?shù)據(jù)庫的建模。數(shù)據(jù)庫中屬性標(biāo)語與屬性關(guān)系的設(shè)計(jì)，空間數(shù)據(jù)與屬性數(shù)據(jù)的屬性表與屬性關(guān)系的設(shè)計(jì)通常包括以下5個(gè)步驟：①設(shè)計(jì)相互關(guān)聯(lián)的表格；②對(duì)數(shù)據(jù)表進(jìn)行規(guī)范化；③定義主關(guān)鍵項(xiàng)和外部關(guān)鍵項(xiàng)（主鍵或主碼和外鍵或外碼）；④使用實(shí)體關(guān)系模型來定義關(guān)系；⑤關(guān)系表的再規(guī)范化。

考慮到項(xiàng)目建設(shè)主要是一個(gè)對(duì)現(xiàn)有數(shù)據(jù)資源庫進(jìn)行遷移、轉(zhuǎn)換、整合、處理的過程，它不直接面向系統(tǒng)的具體功能應(yīng)用，所以在進(jìn)行數(shù)據(jù)庫結(jié)構(gòu)設(shè)計(jì)上具有一定的特殊性，具體以下。

（1）完成數(shù)據(jù)資源的標(biāo)準(zhǔn)化和規(guī)范化是建設(shè)的一項(xiàng)基礎(chǔ)工作，所以數(shù)據(jù)庫結(jié)構(gòu)中，依據(jù)現(xiàn)有的標(biāo)準(zhǔn)規(guī)范完成分類、分層及命名代碼表的建設(shè)是一項(xiàng)重要內(nèi)容。

（2）現(xiàn)有的數(shù)據(jù)庫資源中，具體的數(shù)據(jù)庫表包括3個(gè)部分：①數(shù)據(jù)庫代碼表；②成果數(shù)據(jù)表；③支撐原系統(tǒng)應(yīng)用的支撐數(shù)據(jù)表。對(duì)于數(shù)據(jù)庫的遷移，完成數(shù)據(jù)代碼表和成果數(shù)據(jù)表的轉(zhuǎn)換是關(guān)鍵，而不需涉及支撐原系統(tǒng)應(yīng)用的數(shù)據(jù)表。

4 結(jié)語

數(shù)據(jù)中心是一項(xiàng)復(fù)雜的系統(tǒng)工程，它涉及到網(wǎng)絡(luò)、系統(tǒng)集成、信息安全、數(shù)據(jù)庫、數(shù)據(jù)挖掘、標(biāo)準(zhǔn)規(guī)范等信息工程領(lǐng)域的各個(gè)方面。由于篇幅所限，本文重點(diǎn)探討數(shù)據(jù)中心的總體框架，并選取數(shù)據(jù)整合與綜合數(shù)據(jù)庫2個(gè)部分，分別提出設(shè)計(jì)思路和實(shí)現(xiàn)方法。數(shù)據(jù)整合依照統(tǒng)一標(biāo)準(zhǔn)，2級(jí)整合，分布集中存儲(chǔ)的策略，經(jīng)過數(shù)據(jù)梳理、采集和校驗(yàn)、分析和轉(zhuǎn)換、集成和存儲(chǔ)4個(gè)階段進(jìn)行整合，在數(shù)據(jù)整合基礎(chǔ)上，結(jié)合Arc GIS軟件系統(tǒng)和數(shù)據(jù)庫管理工具進(jìn)行面向?qū)ο蟮姆植际綌?shù)據(jù)庫的建模。在綜合數(shù)據(jù)庫建立的基礎(chǔ)上，如何與業(yè)務(wù)工作充分結(jié)合以考慮未來的應(yīng)用需求是數(shù)據(jù)中心的發(fā)展方向。

［1］ 杜榮良，藤茂宏，王崇海.地市供電公司綜合數(shù)據(jù)平臺(tái)的應(yīng)用研究［J］.上海電力學(xué)院學(xué)報(bào)，2009，25（6）：603-606.

［2］ 宋曉宇.數(shù)據(jù)集成與應(yīng)用集成［M］.北京：水利水電出版社，2008.

［3］ 汪祖云.交通數(shù)據(jù)中心總體架構(gòu)與數(shù)據(jù)共享交換平臺(tái)的設(shè)計(jì)研究［J］.交通運(yùn)輸系統(tǒng)工程與信息，2008（8）：23-28.

［4］ 胡永舉，高婷婷.綜合智能交通管理控制系統(tǒng)設(shè)計(jì)研究［J］.交通科技，2005（1）：74-76.

［5］ 龔曉暉，朱顯紅，陳健壯，等.公路建設(shè)項(xiàng)目信息資源整合技術(shù)研究［J］.中外公路，2012，32（1）：301-305.