京杭運(yùn)河（濟(jì)寧段）數(shù)據(jù)資源管理方案設(shè)計與應(yīng)用

殷 猛，楊國華，陳信一

（1 濟(jì)寧市港航事業(yè)發(fā)展中心，山東濟(jì)寧 272000；2 中交水運(yùn)規(guī)劃設(shè)計院有限公司，北京 100007）

引言

隨著時代的進(jìn)步和新技術(shù)的不斷發(fā)展成熟，社會已經(jīng)進(jìn)入信息經(jīng)濟(jì)、數(shù)字經(jīng)濟(jì)的時代。數(shù)據(jù)資源的管理與利用正在被各行各業(yè)重視與實踐。2020年3月，中共中央、國務(wù)院《關(guān)于構(gòu)建更加完善的要素市場化配置體制機(jī)制的意見》中明確指出，要加快培育數(shù)據(jù)要素市場，探索建立規(guī)范的數(shù)據(jù)管理制度，提高數(shù)據(jù)質(zhì)量和規(guī)范性，豐富數(shù)據(jù)產(chǎn)品；在《中華人民共和國國民經(jīng)濟(jì)和社會發(fā)展第十四個五年規(guī)劃和2035年遠(yuǎn)景目標(biāo)綱要》第五篇“加快數(shù)字化發(fā)展，建設(shè)數(shù)字化中國”中，也提出了“建立健全國家公共數(shù)據(jù)資源體系”的建設(shè)任務(wù)，強(qiáng)調(diào)構(gòu)建全面、系統(tǒng)的數(shù)據(jù)資源體系的重要性。

在京杭運(yùn)河（濟(jì)寧段）港航管理業(yè)務(wù)中，業(yè)務(wù)涉及的信息種類龐雜、零散，且具有較明顯的即時性需求，數(shù)據(jù)資源管理的重要性愈發(fā)凸顯。如何更好的存儲、維護(hù)、挖掘和利用數(shù)據(jù)的巨大潛在價值，成為了一個重大的課題，因此，建立完善科學(xué)的數(shù)據(jù)資源管理方案顯得尤為重要[1]。

1 數(shù)據(jù)資源管理目標(biāo)

1.1 數(shù)據(jù)資源現(xiàn)狀

濟(jì)寧市港航事業(yè)發(fā)展中心由于自建系統(tǒng)較少，且各相對獨(dú)立，尚未形成完整的、成體系的數(shù)據(jù)資源。濟(jì)寧市港航事業(yè)發(fā)展中心依托本地港航大氣污染防治視頻監(jiān)控平臺形成了港口碼頭的視頻監(jiān)控數(shù)據(jù)庫。依托微山、韓莊船閘管理系統(tǒng)，形成了船閘基本數(shù)據(jù)庫，包括船閘名稱、設(shè)計通過能力、管理機(jī)構(gòu)、地址等基本信息，以及負(fù)責(zé)人、聯(lián)系人名稱、聯(lián)系方式等信息，但各船閘基本信息均存儲在本地，尚未匯總至濟(jì)寧港航事業(yè)發(fā)展中心。此外，通過船舶動態(tài)管理、山東省交通廳港航業(yè)務(wù)管理平臺形成的船舶基本信息、船舶檢查信息、運(yùn)政信息存儲在山東省交通廳。通過外部企業(yè)采集的航標(biāo)信息、水位信息也尚未在本地落地，存儲在上海。

1.2 功能目標(biāo)

基于上述問題，通過“三改二”工程建設(shè)，將建立流域完善的航道感知體系及港航業(yè)務(wù)管理體系，建設(shè)智慧航道數(shù)據(jù)管理中心，通過接入港航船舶識別系統(tǒng)（AIS）、衛(wèi)星定位系統(tǒng)（GPS）、視頻監(jiān)控系統(tǒng)（CCTV）、移動平臺等數(shù)據(jù)，為上層應(yīng)用航道維護(hù)、動態(tài)監(jiān)測、船閘運(yùn)行監(jiān)測與管理、航道應(yīng)急指揮、航道運(yùn)行協(xié)調(diào)與聯(lián)運(yùn)預(yù)警、航道運(yùn)行安全監(jiān)控、數(shù)字海事系統(tǒng)提供現(xiàn)場數(shù)據(jù)和圖像服務(wù)；各業(yè)務(wù)系統(tǒng)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)為對外航運(yùn)信息服務(wù)、政務(wù)、協(xié)同辦公提供不同權(quán)限的服務(wù)。具體功能目標(biāo)主要體現(xiàn)在以下三個方面：

1）提升港航管理精細(xì)管理能力，通過建立科學(xué)便捷的航道信息采集手段，實現(xiàn)港航管理關(guān)鍵要素在航道圖與各管理系統(tǒng)中的有效收集與顯示。

2）通過建立港航綜合信息服務(wù)體系，為社會公眾與行業(yè)單位提供綜合信息服務(wù)，提升內(nèi)河公共信息服務(wù)水平。

3）提高區(qū)域資源融合開放能力，通過與相鄰市、省共建相關(guān)信息化平臺，共享港航業(yè)務(wù)信息，打通內(nèi)河區(qū)域資源共享開放環(huán)節(jié)，推動基于多部門多要素資源的協(xié)同工作機(jī)制與科學(xué)制度，提高內(nèi)河及港口集疏運(yùn)效率。

2 數(shù)據(jù)資源管理方案設(shè)計

2.1 數(shù)據(jù)資源需求

智慧航道數(shù)據(jù)資源管理中心工程建設(shè)內(nèi)容是通過整合各區(qū)域數(shù)字航道數(shù)據(jù)資源、航道維護(hù)數(shù)據(jù)資源以及其他信息系統(tǒng)數(shù)據(jù)資源，構(gòu)建為一圖、一站、三平臺提供服務(wù)的數(shù)據(jù)中心。主要數(shù)據(jù)資源包括電子航道圖成圖需要的底層源數(shù)據(jù)、區(qū)域數(shù)字航道資源、基礎(chǔ)數(shù)據(jù)資源、業(yè)務(wù)數(shù)據(jù)資源等。詳細(xì)各系統(tǒng)所需數(shù)據(jù)資源主要內(nèi)容見表1。

2.2 技術(shù)框架設(shè)計

根據(jù)濟(jì)寧港航事業(yè)發(fā)展中心智能通航信息化建設(shè)要求，智慧航道數(shù)據(jù)資源管理中心主要由數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范與數(shù)據(jù)資源體系、人才隊伍、組織機(jī)構(gòu)與運(yùn)行管理機(jī)制、軟件系統(tǒng)（數(shù)據(jù)交換與信息服務(wù)平臺等）、硬件環(huán)境等內(nèi)容組成。技術(shù)框架如圖1所示。

圖1 數(shù)據(jù)資源管理中心總體框架

2.3 數(shù)據(jù)資源體系

在數(shù)據(jù)資源體系架構(gòu)方面，依據(jù)航道數(shù)據(jù)資源規(guī)劃及數(shù)字航道建設(shè)方案，在數(shù)據(jù)庫平臺上進(jìn)行航道數(shù)據(jù)資源體系的總體優(yōu)化設(shè)計，在此體系基礎(chǔ)上，對各數(shù)據(jù)庫內(nèi)容進(jìn)行總體設(shè)計。主要內(nèi)容包括數(shù)據(jù)資源體系及內(nèi)容設(shè)計、數(shù)據(jù)抽取轉(zhuǎn)換處理、數(shù)據(jù)加工與制作、數(shù)據(jù)管理、數(shù)據(jù)交換與信息服務(wù)。

在數(shù)據(jù)組織方案的選擇上，對于大多數(shù)結(jié)構(gòu)簡單的航道數(shù)據(jù)采用數(shù)據(jù)庫中常見基本單元進(jìn)行組織，對于非規(guī)則且結(jié)構(gòu)復(fù)雜量大的航道數(shù)據(jù)（如航道圖、監(jiān)控視頻等）則在數(shù)據(jù)庫的基礎(chǔ)上進(jìn)行組織結(jié)構(gòu)的優(yōu)化設(shè)計，對此類數(shù)據(jù)一般兩種組織方式：一種是完全數(shù)據(jù)庫方式，采用定長字段和變長字段進(jìn)行數(shù)據(jù)內(nèi)容組織的方式；另外一種是“數(shù)據(jù)庫+文件”方式，將結(jié)構(gòu)化的簡單信息存儲在數(shù)據(jù)庫中，而大數(shù)據(jù)或復(fù)雜數(shù)據(jù)以文件方式組織，兩者通過在表中記錄文件位置等信息進(jìn)行關(guān)聯(lián)。

數(shù)據(jù)交換與共享主要包括兩個方面，航道數(shù)據(jù)主中心與水上安全監(jiān)管數(shù)據(jù)中心之間的數(shù)據(jù)交換共享和航道數(shù)據(jù)中心與外部數(shù)據(jù)中心之間的數(shù)據(jù)交換共享[2]。數(shù)據(jù)交換方向一般根據(jù)工作需要及交換共享標(biāo)準(zhǔn)等進(jìn)行定義的，可以根據(jù)實際情況進(jìn)行調(diào)整。

數(shù)據(jù)維護(hù)與管理包括了數(shù)據(jù)庫及數(shù)據(jù)庫相關(guān)硬件的維護(hù)與管理。數(shù)據(jù)庫維護(hù)和管理的涉及到數(shù)據(jù)庫性能、可靠性、可維護(hù)性等幾個方面。因此，數(shù)據(jù)庫管理人員必須建立起包括問題發(fā)現(xiàn)、故障診斷、問題解決和日常維護(hù)在內(nèi)的完整的數(shù)據(jù)庫性能及可用性管理流程，并借助相關(guān)管理工具，實現(xiàn)管理職能。

2.4 數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范

航道數(shù)據(jù)中心數(shù)據(jù)庫設(shè)計充分借鑒交通信息化數(shù)據(jù)標(biāo)準(zhǔn)化建設(shè)經(jīng)驗，參照國家及交通運(yùn)輸部制定的數(shù)據(jù)標(biāo)準(zhǔn)，同時根據(jù)航道現(xiàn)有基礎(chǔ)數(shù)據(jù)及信息化建設(shè)的現(xiàn)狀和特點(diǎn)制定符合平臺自身特點(diǎn)的標(biāo)準(zhǔn)體系。主要建設(shè)內(nèi)容包括數(shù)據(jù)處理標(biāo)準(zhǔn)、數(shù)據(jù)管理標(biāo)準(zhǔn)、數(shù)據(jù)服務(wù)標(biāo)準(zhǔn)、數(shù)據(jù)安全標(biāo)準(zhǔn)及數(shù)據(jù)中心管理類標(biāo)準(zhǔn)等，具體內(nèi)容如表2所示。

表2 航道數(shù)據(jù)中心標(biāo)準(zhǔn)體系建設(shè)內(nèi)容

2.5 數(shù)據(jù)庫設(shè)計

本項目數(shù)據(jù)庫設(shè)計參照國家及交通運(yùn)輸部制定的數(shù)據(jù)標(biāo)準(zhǔn)，并充分借鑒交通信息化數(shù)據(jù)標(biāo)準(zhǔn)化建設(shè)經(jīng)驗。通過對本項目涉及到的航道空間區(qū)域、管理對象、管理活動進(jìn)行分析[3]，結(jié)合數(shù)據(jù)庫劃分原則以及布局方案，確定濟(jì)寧市港航事業(yè)發(fā)展中心智慧航運(yùn)數(shù)據(jù)中心包括基礎(chǔ)數(shù)據(jù)庫、業(yè)務(wù)數(shù)據(jù)庫、外部接入數(shù)據(jù)庫三部分，同時還包括：電子航道圖、視頻流數(shù)據(jù)、VTS報文、大文本等內(nèi)容。數(shù)據(jù)中心管理和存儲的內(nèi)容是一圖一站三平臺系統(tǒng)運(yùn)行的重要組成部分。

2.6 數(shù)據(jù)集成方案設(shè)計

項目數(shù)據(jù)集成方案包括數(shù)據(jù)集成系統(tǒng)與數(shù)據(jù)分析可視化平臺兩大部分。數(shù)據(jù)集成系統(tǒng)是利用智慧航道中心的數(shù)據(jù)，進(jìn)行基于大數(shù)據(jù)的關(guān)聯(lián)分析。通過將需要進(jìn)行數(shù)據(jù)分析與統(tǒng)計的數(shù)據(jù)抽取到專用的大數(shù)據(jù)存儲平臺中，進(jìn)行數(shù)據(jù)轉(zhuǎn)換，為數(shù)據(jù)分析平臺提供數(shù)據(jù)基礎(chǔ)；數(shù)據(jù)分析可視化平臺主要提供數(shù)據(jù)可視化圖表的設(shè)計管理功能，將抽象、海量的數(shù)據(jù)，通過不同顏色、形狀和組合的圖表進(jìn)行直觀的展現(xiàn)，真實、豐富、立體地反映數(shù)據(jù)指標(biāo)、特性及其關(guān)聯(lián)關(guān)系，構(gòu)建數(shù)據(jù)畫像，便于用戶進(jìn)行可視化決策，實現(xiàn)立體數(shù)據(jù)的動態(tài)呈現(xiàn)，主要功能模塊包括可視化分析、船舶分類統(tǒng)計顯示、執(zhí)法力量顯示、進(jìn)出卡口船舶艘顯示、貨運(yùn)總量情況顯示、到港離港貨物量顯示、預(yù)測性分析等。

3 數(shù)據(jù)資源管理中心應(yīng)用場景

基于項目信息化建設(shè)基礎(chǔ)，在數(shù)據(jù)分析理念下，結(jié)合京杭運(yùn)河（濟(jì)寧段）流域港航管理需求，項目搭建了智慧航道數(shù)據(jù)中心管理系統(tǒng)，系統(tǒng)包括數(shù)據(jù)管理服務(wù)、數(shù)據(jù)抽取服務(wù)和數(shù)據(jù)采集服務(wù)，將各個服務(wù)按功能分，數(shù)據(jù)管理服務(wù)分為數(shù)據(jù)管理平臺、數(shù)據(jù)共享平臺、系統(tǒng)管理和基礎(chǔ)設(shè)施4個模塊，數(shù)據(jù)抽取服務(wù)為ETL平臺，數(shù)據(jù)采集服務(wù)為數(shù)據(jù)采集平臺。在“智慧港航綜合管理系統(tǒng)”門戶頁面，本系統(tǒng)展示為“數(shù)據(jù)中心”欄的數(shù)據(jù)中心管理系統(tǒng)。有權(quán)限的用戶點(diǎn)擊數(shù)據(jù)中心管理系統(tǒng)進(jìn)入本系統(tǒng)，展示數(shù)據(jù)管理平臺的數(shù)據(jù)資產(chǎn)概覽頁面。

圖2 系統(tǒng)功能結(jié)構(gòu)

在系統(tǒng)功能設(shè)計上，系統(tǒng)可分為數(shù)據(jù)管理平臺、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)共享平臺、ETL平臺、數(shù)據(jù)采集平臺、運(yùn)行報表六個部分。

3.1 數(shù)據(jù)管理平臺

數(shù)據(jù)管理平臺主要用于數(shù)據(jù)資產(chǎn)管理和數(shù)據(jù)共享，對外提供資產(chǎn)數(shù)據(jù)共享綜合服務(wù)。服務(wù)提供主流的數(shù)據(jù)訪問方式，包括：REST API、消息隊列訂閱等方式，可方便且靈活的獲取數(shù)據(jù)。平臺功能模塊主要包括數(shù)據(jù)資產(chǎn)概覽、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)資產(chǎn)瀏覽、數(shù)據(jù)資產(chǎn)統(tǒng)計。

3.2 數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)質(zhì)量管理分為數(shù)據(jù)質(zhì)量檢查與數(shù)據(jù)質(zhì)量報告兩個部分。數(shù)據(jù)質(zhì)量檢查系統(tǒng)定位于數(shù)據(jù)質(zhì)量的考核與運(yùn)行審計，專門用于進(jìn)入平臺數(shù)據(jù)的質(zhì)量分析和質(zhì)量報告的發(fā)布，促進(jìn)數(shù)據(jù)資源質(zhì)量的持續(xù)改進(jìn)。系統(tǒng)主要包括數(shù)據(jù)質(zhì)量審計、數(shù)據(jù)質(zhì)量評估和數(shù)據(jù)質(zhì)量報告、數(shù)據(jù)安全管理、數(shù)據(jù)資產(chǎn)監(jiān)測；數(shù)據(jù)質(zhì)量報告是對數(shù)據(jù)中心系統(tǒng)日常監(jiān)控以及數(shù)據(jù)質(zhì)量評估等過程累積的各種信息進(jìn)行匯總、梳理、統(tǒng)計和分析，形成統(tǒng)計報告的過程。

3.3 數(shù)據(jù)共享平臺

平臺包括共享服務(wù)概覽、服務(wù)目錄管理、接口服務(wù)瀏覽、服務(wù)賬號管理、數(shù)據(jù)服務(wù)監(jiān)控、數(shù)據(jù)共享服務(wù)6個功能模塊。共享服務(wù)預(yù)覽展示數(shù)據(jù)共享接口信息和統(tǒng)計信息，數(shù)據(jù)共享接口信息包括：共享服務(wù)接口數(shù)、歷史調(diào)用次數(shù)、平均響應(yīng)時間和調(diào)用成功率，統(tǒng)計信息包括：近七日接口調(diào)用數(shù)、昨日接口調(diào)用排名和昨日應(yīng)用調(diào)用排名；服務(wù)目錄管理的功能是維護(hù)服務(wù)目錄，功能包括：新增、修改、刪除、接口管理和多條件查詢；接口服務(wù)瀏覽顯示接口服務(wù)信息，提供服務(wù)詳情和多條件查詢功能；服務(wù)賬號管理包括：業(yè)務(wù)域管理、服務(wù)賬號管理和服務(wù)賬號審理記錄；數(shù)據(jù)服務(wù)監(jiān)控包括：服務(wù)調(diào)用日志、服務(wù)調(diào)用統(tǒng)計、MySQL監(jiān)控、Redis監(jiān)控和Java監(jiān)控；數(shù)據(jù)共享服務(wù)包括：已授權(quán)接口一覽、開發(fā)者手冊和API文檔。

3.4 ETL平臺

ETL平臺將數(shù)據(jù)從來源端經(jīng)過抽取（extract）、轉(zhuǎn)換（transform）、加載（load）至目的端，即將各個系統(tǒng)的資產(chǎn)數(shù)據(jù)匯聚到數(shù)據(jù)中心，為提供數(shù)據(jù)共享服務(wù)做支持。平臺主要負(fù)責(zé)數(shù)據(jù)采集、加工和匯聚。采集實現(xiàn)方式主要包括：對各業(yè)務(wù)數(shù)據(jù)庫進(jìn)行數(shù)據(jù)抽取（增量同步和全量同步），同時提供數(shù)據(jù)轉(zhuǎn)換和匯聚能力。支持主流數(shù)據(jù)庫（MySQL、Oracle、SQLServer、PostgreSQL、Hbase、MongoDB、Hive、Elasticsearch、HDFS等）的數(shù)據(jù)提取和匯聚，靈活提取數(shù)據(jù)和創(chuàng)建抽取任務(wù)。

3.5 數(shù)據(jù)采集平臺

被采集的系統(tǒng)提供Rest Api和WebService等方式的對接接口，本系統(tǒng)主動或被動獲取數(shù)據(jù)。需提前跟被采集方的系統(tǒng)做聯(lián)調(diào)對接，數(shù)據(jù)對接通過開發(fā)定制化功能來完成。

3.6 運(yùn)行報表

展示任務(wù)數(shù)、任務(wù)執(zhí)行總數(shù)、執(zhí)行器數(shù)量，折線圖統(tǒng)計最近八天的任務(wù)執(zhí)行成功數(shù)、失敗數(shù)信息，餅圖統(tǒng)計歷史成功和失敗占比。

4 結(jié)語

在數(shù)據(jù)治理和應(yīng)用技術(shù)不斷發(fā)展與應(yīng)用的時代背景之下，數(shù)字化已經(jīng)深入的應(yīng)用到各行各業(yè)，且愈發(fā)扮演著越來越重要的角色。在港航業(yè)務(wù)日益智能化、自動化發(fā)展的基礎(chǔ)條件上，數(shù)據(jù)的作用價值也得到了進(jìn)一步的體現(xiàn)，數(shù)據(jù)不再是基本信息的展現(xiàn)，而是數(shù)字經(jīng)濟(jì)和智慧航運(yùn)的關(guān)鍵生產(chǎn)要素，因此需要我們提高對于數(shù)據(jù)資源應(yīng)用管理的重視。通過在京杭運(yùn)河（濟(jì)寧段）“三改二”項目中對于港航數(shù)據(jù)資源管理方案的探索，加速構(gòu)建先進(jìn)的港航數(shù)據(jù)管理應(yīng)用體系，實現(xiàn)港航數(shù)據(jù)的高質(zhì)量應(yīng)用，為我國內(nèi)河航運(yùn)領(lǐng)域數(shù)字化、智能化管理賦能，打造內(nèi)河航運(yùn)行業(yè)數(shù)字生態(tài)圈，推動行業(yè)高質(zhì)量發(fā)展。