上海市海洋數據基礎平臺框架設計

李靜芳

[摘 要] 分析了上海市海洋數據基礎平臺建設的必要性和建設背景；設計了海洋數據基礎平臺的總體框架；海洋數據中心管理系統、海洋數據處理系統、海洋數據檢索系統、海洋數據分析系統、海洋數據交換與更新體系。

[關鍵詞] 上海；海洋；基礎數據平臺；框架設計

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2018. 23. 070

[中圖分類號] TP315 [文獻標識碼] A [文章編號] 1673 - 0194（2018）23- 0166- 04

1 前 言

近年來，上海市海洋局通過海洋數據資源管理、網絡基礎設施建設和業務應用系統開發等一系列專項工作的開展，海洋信息化建設取得了長足發展，初步搭建起上海市“數字海洋”管理框架，發揮了重要的信息支撐保障作用。

上海市“數字海洋”管理框架主要包括海洋數據基礎平臺框架、基于ArcGis的數字海洋原型系統框架、海洋綜合管理與服務信息框架和海洋網絡與安全框架。其中海洋數據基礎平臺框架是整個“數字海洋”管理框架的支撐和基礎。

由于上海市海洋局的數據來自多方單位，包括國家海洋局、國家海洋局東海分局信息中心、國家海洋局東海分局預報中心、國家海洋局東海分局監測中心、上海市海洋局歷史數據、各局屬單位和各涉海單位等，原有數據歸各單位獨立存儲、獨立管理，最后形成了一個個的信息“孤島”，各方數據標準不統一、數據結構不統一、數據字典各不同，無法實現海洋數據的共享共用和統一管理。海洋數據基礎平臺的建設將來各方結構不統一，內容及形式復雜多樣的數據，通過一套針對多源、異構數據進行處理和整合技術方案，以數字海洋基礎平臺的方式實現各應用系統之間海洋數據交換和共享，并將各應用系統中產生的分析和成果數據集中存儲到海洋數據中心。

2 總體框架設計

上海市海洋數據基礎平臺的規劃和建設依據“統一規劃、統一標準、統一設計、數據共享”的基本原則，海洋數據基礎平臺架構主要分三個層次。首先經過數據交換和更新體系將各行業數據對象進行規范定義，從而形成行業基礎數據，其次對海洋基礎數據進行整合后形成市海洋局核心數據，最后按照不同的業務需求對核心數據進行分析應用，形成數據分析與應用部分。

3 海洋數據中心管理系統設計

海洋數據中心管理系統是決策支持系統和各業務管理系統的數據基礎，信息主要來源于國家海洋局、國家海洋局東海分局信息中心、東海分局預報中心、東海分局監測中心、上海市海洋局、局屬單位、涉海單位等。各單位提供的海洋基礎數據是海洋數據中心管理系統中數據中心的一個重要來源，這些數據主要分為四類：實時類數據、基礎類數據、核心類數據、元數據類數據。海洋數據中心管理系統整體結構采用“集中與分布相結合”的方式，將數據按照支撐不同的業務分成四個區域：互聯網區、核心業務區、東海分局數據區以及交換區。通過使用DataExchange對數據進行抽取、傳輸、匯總、整合到海洋數據中心管理系統中。

3.1 互聯網區

互聯網區存儲的是科技服務類數據、海洋經濟類數據和行政許可辦理類等需要對涉海單位、涉海企業、社會公眾公開的數據，以及涉海單位、涉海企業上報的數據，這部分數據通過交換區與核心數據區進行交換。

3.2 核心業務區

核心業務區存儲的是上海市海洋局的業務核心數據，有來自國家海洋局東海分局信息中心、監測中心和預報中心的基礎地理數據、基礎資料數據、專題數據、產品數據以及業務數據等；還有上海市海洋局的歷史數據以及海洋的實時監測數據，它們是支撐上海示范區業務的核心數據，這些數據根據業務特點，通過設置關鍵標志位的方式，為原型系統和綜合管理信息系統提供數據支撐。

3.3 東海分局數據區

東海分局數據區存儲的是上海示范區前期國家投資部分的數據，主要是908專項數據，這些數據按照上海市海洋局的數據標準進行整理、歸類，并成功遷移到上海市海洋局數據中心。

3.4 交換區

交換區存儲的是臨時數據，交換區是數據交換的中轉站，是交換數據臨時存放的區域。交換區的數據來源于國家海洋局、國家海洋局東海分局、上海市海洋局、實時監測數據以及互聯網區。

海洋數據中心管理系統的建設過程中，形成了上海市海洋局數據庫管理規范，制定了響應的數據標準和管理規范，保證了各業務系統的正常運行，并為以后的業務擴展提供數據接口，實現了海洋數據共享共用、統一管理、統一規范的項目目的。

4 海洋數據處理系統

海洋數據處理系統按照國家海洋局統一的《“數字海洋”信息基礎框架構建總體實施方案》、《海洋環境基礎數據庫標準》、《海洋綜合管理專題數據庫標準》和《“數字海洋”上海示范區（地方配套）項目數據庫詳細設計》通過對海洋數據調查和評價、海洋觀測站和其他重大歷史專項資料的收集，這些數據格式多為文檔（DOC），表格（XLS）、圖片文件（JPG）、圖層數據，圍繞示范區的應用系統需求，對數據按照數據中心的數據庫結構、屬性結構將這些數據進行分類、格式轉換、柵格圖片矢量化、圖幅拼接等操作，然后入庫保存，進行結構化存儲，利用導入程序自行轉化入庫工作，實現上海海洋數據交換與共享。海洋數據主要有以下幾類：海洋基礎地理及908專項調查數據、海洋環境類監測數據、海洋氣象及災害類數據、其他908調查數據、機關業務數據等。

還對相關的海洋數據依據海洋數據中心的入庫規范，將數據按照相應的要求，按基礎地理類、基礎資料類、產品信息類、專題信息類、業務運行類、元數據類等進行分類整理，規范并入庫。

其數據處理流程見圖3。

5 海洋數據檢索系統

海洋各類數據經過海洋數據處理系統處理后，形成具有規則的數據結構，數據檢索系統分別針對結構化數據和非結構化進行檢索，結構化數據的檢索通過目錄管理模塊進行分類管理，海洋數據目錄管理模塊將海洋數據分為基礎資料數據、基礎地理數據、專題數據、產品數據、業務數據。結構化數據檢索通過建立數據加載集群、查詢機集群和元數據集群，實現高效率的數據檢索系統。非結構化數據檢索是用戶通過文件屬性、關鍵字及分類等信息來搜索所需要的文件，基于平臺的數據索引，快速給用戶展示出相關查詢結果。其檢索流程見圖4。

非結構化數據查詢的步驟主要包括：①對查詢內容進行解析，區分查詢內容中單詞和關鍵字，根據查詢語法的語法規則形成一棵樹；②搜索索引，得到符合語法樹的文檔集合；③根據查詢語句與文檔的相關性，對結果進行排序，將查詢結果按順序展現給用戶。其查詢邏輯見圖5。

6 海洋數據分析系統

海洋數據分析系統利用分析方法對數據進行檢查、變換和建模，從中提取數據潛在價值。其中使用的數據分析技術有：分類、聚類、關聯規則、時間序列分析和優化等技術。通過建立海洋數據分析模型，實現對海洋水文、海洋氣象、海洋化學、懸浮體等專業數據按指定的方法、要素、分布位置或者空間網格大小、時間間隔、空間層次進行統計計算，并對統計分析的結果進行客觀分析開發。

6.1 海洋數據分析

將海洋數據管理中心的數據通過特征分析后，采用Java語言作為處理語言，根據海洋數據特點，開發數據統計分析工具，如：日月年及任意時間范圍的統計、自定義公式方法的統計分析、滑動數據統計、數據比對統計分析、任意參數和數據類型的長期值。

對海洋相關大量的數據進行數據分類存儲，分級管理，建設數據自動同步平臺，實現各個數據源之間的數據交換和同步，形成一套分級管理、綜合應用的信息挖掘和應用機制。同時建設一套數據審核機制和規則，實現對各類數據的審核和整理加工，提高數據的可靠性和完整性，并以標準的數據交換格式提供給模型，提高模型預報時效和精度，以實現各類數據的交換、審核、整編、挖掘、刷選等需求，并為各類信息發布和模型調用提供精確、完整、高效的數據服務。

6.2 數據可視化

海洋數據經過分析后，采用Echarts完成分析數據的可視化，ECharts是一款開源、功能強大的數據可視化產品，緊跟著大數據時代的步伐。ECharts是商業級數據圖表，一個純Javascript的圖表庫，可以流暢地運行在PC和移動設備上，兼容當前絕大部分瀏覽器（IE 6/7/8/9/10/11，chrome，firefox，Safari等），底層依賴輕量級的Canvas類庫ZRender，提供直觀，生動，可交互，可高度個性化定制的數據可視化圖表。創新的拖拽重計算、數據視圖、值域漫游等特性大大增強了用戶體驗，賦予了用戶對數據進行挖掘、整合的能力。其分析顯示界面見圖6。

支持折線圖（區域圖）、柱狀圖（條狀圖）、散點圖（氣泡圖）、K線圖、餅圖（環形圖）、雷達圖（填充雷達圖）、和弦圖、力導向布局圖、地圖、儀表盤、漏斗圖、事件河流圖等12類圖表，同時提供標題，詳情氣泡、圖例、值域、數據區域、時間軸、工具箱等7個可交互組件，支持多圖表、組件的聯動和混搭展現。

在實現海洋數據分析系統時，預留了將來對業務數據進行分析的業務接口，并對上海市海洋局目前所建有的“水之云”中的數據也預留有數據分析接口，實現對上海市水務局（海洋局）業務分析系統的統一規劃。

7 海洋數據交換與更新體系

海洋數據交換和更新系統用于實現系統間數據交換和數據同步的數據集成平臺，能夠訪問主流的數據庫、結構化、半結構化數據，并可以從中提取、轉換、加載到指定的數據源中，在復雜網絡環境下，提供安全控制、錯誤處理、斷點恢復與續傳等數據傳輸能力。

系統以元數據服務為支撐，基于 CWM-XMI、W3C-XML Schema 規范，提供對傳統的數據庫、半結構化和非結構化文件數據的支持，以及對分布式存儲等新興技術的支持。

在運維層面上，提供了基于 Web 的管理與監控工具； 在開發層面上，提供了圖形化的配置工具。

在組件層面上，系統提供了數據訪問服務、錯誤處理服務、數據轉換與清洗服務、數據傳輸服務、任務調度服務、元數據管理服務、管理監控服務等服務。其體系如圖7所示。