海洋觀測預報業務多源異構數據與信息集成分析

吳向榮，李郅明，余肖翰，張旭龍，賈峰

（1.中國海洋大學，山東 青島 266100；2.國家海洋局廈門海洋預報臺，福建 廈門 361008）

海洋觀測預報數據信息是地方經濟建設和社會發展重要基礎數據之一，也是海洋觀測預報業務機構服務政府和社會公眾的一項重要內容。經濟的持續快速發展同時也對本地區防災減災、城市突發公共事件應急保障、生態文明建設提出更高要求。近期國務院出臺的《海洋觀測預報管理條例》也體現了國家對海洋觀測預報工作的重視。

近年來，隨著各種新興技術的崛起和數據通訊技術的不斷完善，海洋觀測要素已由單一的數據類型發展為數據、視頻、遙感影像、地理信息等多種形式并存（張峰等，2009），而海洋預報產品也有文本文件、三維動畫、音視頻等多種類型。由于各數據信息的來源不同，所采用的傳輸通訊方式也不盡相同，如數值預報所需的日本氣象廳JMAT213、美國NCEP-AVN 等再分析格點信息通過Internet 傳輸，實時觀測數據通過點對點傳輸，音視頻信息從視頻服務器共享等，如何對這些數據信息進行有效集成分析（劉金等，2011），使多項業務間可以方便地相互配合、輔助、調用和校準，加快信息傳遞速度，同時又能提高自動化程度。

1 海洋觀測預報數據信息分析

目前常見的海洋觀測預報業務所涉及到的數據信息主要包括海洋觀測數據、海洋預報基礎信息、海洋數值預報初始條件及邊界條件數據、海洋環境預警報產品信息、海洋災害信息數據、視頻監控信息、地理信息數據等七大部分，具體如下：

1.1 海洋觀測數據

海洋觀測數據分為實時觀測數據和非實時觀測數據。實時海洋環境監測數據主要包括常規水文要素（潮汐、海浪、海表溫度、海表鹽度）、氣象要素（氣溫、氣壓、風、相對濕度、降水、能見度）和海流、浮標資料等；非實時數據包含各觀測要素的月報表、年報表數據。

1.2 海洋預報基礎信息

海洋預報基礎信息主要有氣象圖片資料信息、臺風資料信息以及其他相關信息。氣象圖片資料信息包括：衛星云圖、雷達圖、高空及地面天氣圖，天氣預報圖等；臺風資料信息包括臺風路徑、臺風中心氣壓、風速、大風半徑和臺風登陸地點、時間等。

1.3 海洋數值預報初始條件及邊界條件數據

海洋數值預報初始條件及邊界條件數據主要包括日本氣象廳JMA-T213、美國NCEP 的再分析格點信息、國家海洋環境預報中心下發的大區域預報場。

1.4 海洋環境預警報產品信息

海洋環境預警報產品主要有海洋環境日常預報、海水浴場環境預報、濱海旅游度假區環境預報、專項預報以及海洋預警報信息等。海洋環境日常預報包括潮汐、海浪、海表溫度、風等要素；海水浴場環境預報包括水溫、海浪、游泳適宜度、最佳游泳時段、海氣溫差、沙灘娛樂指數、礁石淹沒時段；濱海旅游度假區環境預報包括海面狀況指數、海上觀光指數、海濱觀光指數；專項預報包括潮汐、海表面風速、視程、海流等；風暴潮、災害性海浪、海冰警報、海洋數值預報等海洋預警報信息。

1.5 海洋災害信息

海洋災害信息主要有歷史上發生的風暴潮、災害性海浪、海冰、赤潮、海嘯等，包括其災害成因、性質，災害發生的時間、地點、影響區域、人員傷亡和對農業、漁業資源、海岸工程、臨港工業、濱海旅游業等造成的經濟損失等相關信息。

1.6 視頻監控信息

視頻監控信息包括海水浴場、保護區、風險區、國管項目等實時視頻監控信息。

1.7 地理信息數據

地理信息數據包括海岸帶、近海最新的基礎地理信息GIS（遙感影像、地形圖點、線、面數據、DEM 數據等） 和區域、岸線的高程數據。

2 數據信息源分析匯總

由于海洋觀測預報數據信息來源和展示的多樣性，海洋觀測與預報業務相互間的配合與調用很大程度上受到了阻礙。為了更好地應用海洋觀測預報數據信息，拓展海洋觀測預報業務，有必要對各項數據信息進行集成，建立海洋環境數據倉庫（Data Warehouse，DW） （何偉 等，2009；胡金龍 等，2011）。海洋環境數據倉庫的主要功能設計，是對不同來源、不同類型的各種數據信息進行實時統計、同步分析與自動入庫，并針對各數據信息進行優化存儲、安全管理，實現數據信息的存儲管理、更新維護、查詢與顯示、導入導出和數據信息分析調用等功能，同時也可以很方便地對海洋觀測數據與預報結果進行比對，提升預報準確性。

2.1 數據信息多源異構分析

要進行數據信息集成，首先需要對數據源與信息源進行分析（李揚等，2009）。數據信息的多源性體現在數據信息以Internet 網絡、專線（VPDN、幀中繼電路、SDH）、VSAT、局域網等多種不同網絡為載體進行傳輸；數據信息的異構性則表現為各數據信息以數據庫、文本文件、圖片、視頻文件等多種不同結構的形式進行存儲（劉偉等，2005）。具體如表1 所示。

2.2 網絡集成

從數據信息安全性考慮，如何有效地將這些不同來源、不同通訊方式的數據信息集成到統一的平臺上，將是解決多源數據信息集成的關鍵，分析目前國內外相關的數據交換技術，考慮采用安全隔離網閘完成數據交換（董保國，2004；張震，2002）。

安全隔離網閘由內網主機系統、外網主機系統、隔離交換矩陣三部分組成（聯想安全隔離網閘產品特性與功能，2012）。內/外網主機系統分別具有獨立的運算和存儲單元，通過隔離交換矩陣完成應用數據的封包、擺渡、拆包。內外網主機系統的任一網絡接口與隔離交換矩陣的一個或多個固化通道綁定，實現多網接入功能。

在海洋觀測預報系統中采用外網主機系統的多個網口通過隔離交換矩陣與內網主機系統的一個網口建立多對一的多網隔離交換方式完成數據交換與通訊。

表1 信息源通訊方式與存儲方式分析

通過安全隔離網閘的雙擺渡技術，各個網絡不會直接連接，由于網閘采用硬件加速隔離交換卡進行數據交換，沒有任何管理接口，因此內外網主機系統之間無法進行基于網絡協議的數據交換，從而從硬件層面保證了在海洋觀測預報數據信息集成中各數據源與信息源的安全隔離（陳舒，2010）。

2.3 數據信息匯總

在經過數據源與信息源分析和網絡集成之后，海洋觀測預報各項數據信息的網絡情況與數據存儲形式已確認，開始著手海洋環境數據倉庫的數據信息匯總。

為實現數據信息匯總，首先要將各項數據信息同步傳輸到指定服務器上統一操作。安全隔離網閘自帶的同步程序包含了客戶端與服務端，客戶端安裝在各個不同網絡數據源與信息源的機器上，服務端安裝在要做數據信息匯總的指定服務器上，并在網閘上配置相應規則，可實現數據庫和文件夾同步更新，從而實現信息匯總。

安全隔離網閘自帶的數據庫同步功能提供了多種控制策略，支持“覆蓋文件”、“丟棄文件”、“重命名文件”等多種方式，可實現數據庫同步更新功能，實現對Oracle/SQLServer/DB2/Sybase 等多種主流數據庫系統的安全訪問控制。海洋預報基礎資料數據、海洋環境預警報產品信息、地理信息數據庫和部分海洋觀測數據都是基于SQLServer 2000/2005 數據庫存儲（Ramez et al，2002），應用安全隔離網閘的數據庫同步功能進行相關庫表的同步更新，其效果與本地局域網間數據庫的訂閱與發布相似。

安全隔離網閘的文件夾同步采用數字證書方式，實現雙向身份認證，支持通信SSL 加密，實現密文傳輸，提供了強化的訪問用戶控制機制，對發送用戶、接收用戶的權限進行單獨控制，同時支持Windows、Linux 等多種文件服務器平臺。通過文件夾同步功能，海洋觀測預報數據信息的文本、圖片、預警報單、音視頻文件等，都可以同步更新到指定服務器上。

至此，所有的海洋觀測預報數據信息都匯總到了指定的同一臺服務器上。

3 數據信息集成

使用數據庫技術進行數據信息集成，可為后期系統開發提供廣闊的應用支持空間。本文選擇數據庫軟件SQLServer 2005 作為海洋環境數據倉庫的載體。新建一個數據庫取名SeaServer，使用網閘數據庫同步功能的海洋預報基礎資料數據、海洋環境預警報產品信息、地理信息數據庫和部分海洋觀測數據等數據，可直接將相關庫表同步至SeaServer中，在此不再具體展開介紹。

通過文件夾同步功能，傳輸至服務器的數據信息有如下形式：

1、文本文件：海洋預報基礎資料數據、海洋環境預警報產品信息和部分海洋觀測數據；

2、圖片文件：主要是各數值模式的海洋數值預報結果；

3、視頻文件：包括海水浴場、保護區、風險區、國管項目等實時視頻監控信息。

要對這些文件進行入庫管理，首先要對這些指定的同步文件夾進行實時監控。利用C#語言調用ICopyHook 編寫一個文件夾鉤子，用來實時監控文件夾。ICopyHook 是一個用于創建拷貝鉤子處理程序COM 接口，可監控文件夾內對象是否被移動，拷貝，重命名或刪除等操作動作。

3.1 文本入庫

文本文件入庫較易實現，在數據庫中設計創建相對應的庫表，定義相關要素，使用文件夾鉤子程序監控收到的文本文件，使用C#語言定義對應的二維數組進行數據提取，并導入到對應字段中。值得注意的是，海洋觀測數據的文本為分鐘級數據，在設計數據庫表時，必須設計好主鍵和唯一標識，做好主鍵覆蓋和丟棄的策略，以避免文本文件重傳造成數據重復錄入，減少數據庫冗余度。

3.2 圖片入庫

圖片文件主要是各數值模式的海洋數值預報結果，每個數值預報圖片展示了未來72 h 的計算結果，各模式圖片數量不盡相同，24 張、36 張、72張都有，每天分上午和下午兩次數值預報。其格式與命名都有非常固定的格式，如每天兩次的風場數值模式的圖片以 windYYYYMMDD00.png 和windYYYY-MMDD12.png 為命名方式，00 和12 為世界時，代表每天北京時08 時和20 時。在各數值模式中，首張圖片為實測資料，需保留，之后的圖片為高性能計算機計算出來的，僅作為預報的參考，保留三天后自動刪除。

從入庫方面，建立一張數值預報庫表，建立字段“模式名稱”和“時間”，保存各數值模式第一張圖片的時間（展示時選擇起始時間即可）。各數值模式的結果都以獨立文件夾形式存在，通過文件夾鉤子監控，入庫第一張圖片的時間點，三天后將該圖片移動至指定位置存儲，剩余圖片則刪除。

3.3 視頻入庫

由于網絡并非直連，無法接收實時視頻，只能通過文件夾同步存儲的視頻文件。視頻文件為每半小時接收一個，由于視頻文件占用空間較大，且過了預報時效沒有保存價值，所以設計保留近三天的視頻文件。

視頻文件的命名較有規律，為“地名簡寫”+“YYYYMMDDhhmm”的格式。設計對應庫表，添加字段“地點名稱”和“時間”，通過文件夾鉤子讀取相應信息，當時效超過三天時則刪除視頻，并刪除數據庫對應記錄。

3.4 海洋環境數據倉庫構建

海洋環境數據倉庫的構建，是建設科學客觀的、可以業務化運行的實時在線觀測預報集成服務系統的前提。目前，系統構建的海洋數據倉庫共15 張庫表，涵蓋近百萬條不同結構的數據記錄，業務化運行正常。

海洋環境數據倉庫的搭建，為海洋觀測預報信息服務展示系統的研發提供廣闊的應用支持空間。下一步將開展基于海洋環境數據信息的應用分析及展示。

圖2 海洋環境數據倉庫構建結果

圖3 觀測預報信息服務展示系統框架圖

圖4 廈門海域海洋觀測預報信息服務系統

4 海洋環境數據應用

基于多源異構海洋環境數據與信息集成的海洋觀測預報信息服務系統研發主要包含觀測數據質控及實時數據展示、預報制作與發布以及視頻信息在線三個功能模塊，通過B/S 架構，在GIS 平臺進行展示。借助該系統，社會公眾通過網絡訪問將很方便地實時了解觀測海域的海洋觀測基礎數據、預警報產品信息，并可通過視頻查看海水浴場衛生環境、海面漂浮物、游泳人數，對海面狀況一目了然，大大提升海洋預報信息的普及性、實用性。

廈門海域海洋觀測預報信息服務展示系統的建成將為防災減災工作提供基礎能力支撐，為涉海工程和資源規劃提供基礎數據，為海上工程、交通運輸、濱海旅游等涉海產業提供信息安全保障，為地方經濟社會及民眾生活提供更多的海洋信息服務。

今后，隨著觀測預報業務的不斷發展，我們將不斷豐富觀測預報集成服務系統的內容，繼續完善數據信息源，改進系統數據信息集成方式，以期提供一個更加完善、實用的系統，更好地為海洋防災減災指揮工作提供技術支撐。

Ramez Elmasri，Shamkant B Navathe，著.邵佩英，張坤龍，等，譯，2002.數據庫系統基礎（第三版）.北京：人民郵電出版社.

陳舒，2010.異構數據庫同步模型的研究與實現.上海：華東師范大學.

董保國，2004.網絡安全的物理隔離技術.計算機與自動化，23（2）：108-110.

何偉，郝雅青，2009.一種網絡隔離環境下數據庫同步方法的實踐.計算機安全，（12）：15-21.

胡金龍，許衛，等，2011.異構數據庫同步復制技術研究與實現.長江科學院報，28（6）：71-75.

聯想安全隔離網閘產品特性與功能，2012. http：//www.leadsec.com.cn/Product/Default.aspx@RootID=80&ParentID=164&ClassID=179.

李楊，李文天，2009.多源空間數據集成技術綜述與前景展望，測繪與空間地理信息，32（1）：09-14.

劉偉，佟俐鵑，2005.異構數據庫集成中的變化捕獲方案設計.計算機應用研究，22（7）：213-215.

劉金，朱吉才，姜曉軼，等，2011.海洋信息組織與存儲模型研究及其在“數字海洋”中的應用.海洋通報，30（1）：73-80.

張震，2002.網絡隔離的技術分析與安全模型的應用.數據通信，（3）：22-28.

張峰，石綏祥，殷汝廣，等，2009.數字海洋中數據體系結構研究.海洋通報，28（4）：1-8.

周順平，魏利萍，2008.多源異構空間數據集成的研究.測繪通報，（5）：11-15.