海上平臺水文氣象數據監測系統的設計與實現

李文倚 武 鵬 龐長才 張天一

(中海油研究總院 北京 100028)

海上平臺水文氣象數據監測系統的設計與實現

李文倚 武 鵬 龐長才 張天一

(中海油研究總院 北京 100028)

基于.NET開發平臺和云存儲、并行計算、多線程和應用程序托管等技術設計并實現了面向海上平臺水文氣象數據的監測系統。系統集海量數據的采集、發送、處理、管理和可視化于一體，解決了海上平臺的風、海流、波浪、泥溫和鹽度等海量水文氣象數據難以采集、無法遠程快捷智能傳輸、難以進行有效處理和挖掘以及難以可視化的問題。為長期有效獲得并處理海量連續水文氣象觀測數據，進而提供有效水文氣象信息指導給出了解決方案。

海上平臺 海量數據 高頻采集 數據處理 可視化

0 引 言

海上平臺水文氣象數據是海上油氣田開發各個階段的重要基礎數據之一，由于海上條件的限制，海上油氣田區域長期連續的水文氣象觀測數據十分缺乏，傳統的浮標和潛標方式投入大、觀測時間短，數據監測作用受限[1]。由于水文氣象數據具有高頻采集特點，一個監測點一年的數據量達近億條規模，形成海量數據，同時鑒于平臺條件所限，相應應用程序的運行需要自動化無人值守，相應數據的傳輸也受到平臺通信網絡帶寬和傳輸速度的限制[2]。基于以上特點，海上平臺的風、海流、波浪、泥溫和鹽度等海量水文氣象數據監測面臨難以采集、無法遠程快捷智能傳輸、難以進行有效處理和挖掘、難以可視化，進而無法有效和科學利用的問題。

本文針對海上平臺水文氣象環境條件研究領域[3]，基于.NET開發平臺，采用分布式架構，結合數據倉庫和云存儲技術，設計與實現了海上平臺水文氣象監測系統。除了有效的數據采集外，同時集成了完善的海量數據接收、數據解析、數據加解密、數據處理、數據入庫和數據可視化等過程，形成了一整套面向水文氣象數據的海上平臺水文氣象數據一體化自動數據監測系統。系統革新了目前通過將監測數據按一定時間進行傳統人工拷貝傳輸再進行線下處理的方式，實現了海上平臺端到目標數據中心端之間，海量數據的不間斷持續入庫、處理與數據管理和可視化，為海上平臺設計環境條件研究，油氣田開發生產提供了全面、翔實的水文氣象數據與信息支持。

1 系統總體架構

系統總體結構如圖1所示，主要包括：(1) 數據采集；(2) 數據發送服務；(3) 數據處理；(4) 數據管理與可視化四個部分。其中數據采集部分負責對水文氣象監測儀器采集的實時數據生成序列化文件及對監測要素的實時顯示。數據發送服務負責在平臺端將監測數據按一定的時間間隔定時發送到目標數據中心。數據處理部分負責在數據中心端接收傳輸的風、海流、波浪、泥溫、鹽度等數據[4]，并對數據進行處理后存儲到數據庫。數據管理與可視化部分實現對所有數據的管理，可以實現任意時間段數據的按需查詢，并可以經過一定的數學計算和數據加工按需形成數據曲線、剖面圖及多種關鍵統計指標[5]。

圖1 系統總體結構圖

2 系統的設計與實現

本文設計實現了面向水文氣象海量數據采集、發送、處理、管理和可視化于一體的綜合應用平臺。整個系統采用分布式架構處理多個平臺數據傳輸請求并進行數據處理。

本文首先設計實現了平臺端數據采集模塊，通過分析不同被監測對象的多種不同屬性，數據采集模塊綜合了各監測設備的被監測數據對象的多種不同屬性。氣象參數主要包括氣壓、氣溫、濕度、風速及風向。海流主要包括波長、周期。海浪包括波高、周期、方向譜。把這些數據分別統一生成標準序列化文件作為系統接收采集設備的標準數據文件。標準化數據文件滿足一定數據格式，通過各監測設備的數據接口按一定的時間間隔(時間間隔采用可配置方式，可按需配置，時間間隔可根據網絡條件、實時性要求進行調整)生成，作為數據發送服務的發送對象。同時，平臺端提供儀表盤功能，實現監測數據的實時解析并將數據組織成特定意義的要素(比如風速和風向)進行顯示，為平臺生產端提供氣象實時數據支持。

其次，在通過數據采集獲得標準化數據文件的基礎上，本文采用WINDOWS服務的方式設計并實現了數據發送服務。數據發送服務重點實現了自動化無人值守功能，用于自動發送標準化數據文件。此數據發送服務是數據自動傳輸的核心，解決了平臺通信網絡帶寬和傳輸速度的限制問題。該模塊采用了C/S模式實現了程序托管。除此之外，為了確保數據發送服務持續正常的運行，設計并實現了系統級程序監控服務對數據發送服務進行全程監控，在無人值守的情況下，自動應答并處理各種異常(如軟件意外關閉、網絡中斷、系統宕機等)，自動激活數據發送服務。數據發送服務通過定時輪詢機制，定時抓取待發送的數據文件，并對待發送的數據文件進行壓縮與加密，壓縮率達到八分之一，同時支持斷點續傳功能。傳輸層協議使用TCP，應用層基于FTP協議將壓縮加密后的數據包發送到目標數據中心，能夠很好地適應帶寬網絡較小的條件進行持續不間斷地數據發送，數據發送相關服務的邏輯結構如圖2所示。

在數據發送服務的基礎上，本文設計了數據處理模塊，數據處理模塊包括數據接收服務，主要依據每個平臺的數據發送請求，形成隊列處理作業，處理作業自動完成數據文件的接收，并把數據文件存儲在指定的數據共享目錄。數據接收服務是數據處理模塊設計和實現的基礎，數據接收服務除了將數據文件存儲在共享目錄，還將數據推送到核心數據處理流程，通過對數據接口的管理、數據預處理和數據解析入庫等流程將數據存儲到數據庫中，如圖3所示。

圖3 數據處理流程示意圖

本文特別針對海量數據的特點，對于存儲需要面對高頻采集的海量數據，存儲架構上充分考慮了數據的持續增長、數據讀取和數據處理的效率問題。數據存儲模塊采用分布式架構進行設計和實現，設置了一個主服務器、多個數據存儲服務器。主服務器部署數據接口管理模塊及數據接收作業調度程序。數據接口管理模塊首先把接收的原始文件保存到文件服務器，同時數據接口管理模塊針對接收的數據包文件進行格式檢查，對符合格式規范的文件包進行分類，把風、海流、波浪、泥溫等數據包文件放置到各類數據處理作業中。數據接收作業調度程序，負責把數據存儲到不同的數據存儲服務器，同時通過對數據預處理服務器的計算資源的檢測，自動判斷啟動數據預處理模塊。數據預處理模塊采用多線程處理和并行計算模式完成多個平臺的風、海流、波浪、泥溫和鹽度等多類數據質量檢查、數據滑動平均等處理流程，示意圖見圖4。在完成預處理后把數據存儲到數據存儲服務器的數據庫中，比如針對風數據進行的滑動平均計算，將原始1秒采樣數據通過計算轉換為1分鐘、3分鐘及1小時平均數據，轉換后數據同步存入到數據庫中。數據質量檢查包括對采集數據的合理性和時間連續性進行檢查，對不符合檢查標準的數據自動標注為異常數據，為以后數據深度應用與挖掘提供支持。

圖4 多平臺多種數據并行處理示意圖

數據管理與可視化模塊采用B/S架構，綜合了圖形圖像技術、數據庫技術、AJAX技術，基于ASP.NET、Javascript和C#進行開發。該模塊在數據存儲中基于數據倉庫技術[6]和云存儲[7]，應用了“塊+時間”雙索引，在數據庫中建立DATApacket表(如圖5所示)用于存儲接收的文件數據包信息，主要包括PackDataID、數據起始時間(DataStartTime)及數據結束時間(DataEndTime)等。同時建立各數據表，以風數據表為例(如圖6所示)，主要包括所在包ID(PacketDataID)、接收數據時間(WindTime)及數據屬性。在查詢時，通過“塊+時間”雙索引檢索解決了時間單索引情況下的查詢超時問題，使數億條海浪數據的查詢速度達到常規數據的查詢速度。

圖5 DATApacket表

圖6 風數據表

在處理風、波浪、海浪的月度和年度等統計數據中采用了空間換時間的策略，在對海量數據進行統計時，并不對數據進行實時處理，而是在后臺定期完成常用數據的統計并將統計結果進行存儲。在前臺展示需要讀取相應數據并進行處理的時候，先自動搜索中間存儲，如果中間存儲有滿足要求的數據，直接調用中間存儲結果進行二次處理，前臺可以快速展示相應處理結果(如圖7所示)，總體處理效率提升近百倍。完成數據處理后，繪制各類數據的曲線圖、玫瑰圖(如圖8所示)等。

圖7 某平臺風數據月度平均數據

圖8 某平臺風速分布風向玫瑰圖

內部終端用戶和外部終端用戶通過門戶系統，按照相應授權，通過系統認證可以在線訪問相應數據，對數據和相應信息進行瀏覽、下載等操作。例如：可以依據不同的時間段下載歷史水文數據；可以通過數據儀表盤觀察一定時間點和時間段的風、海流、波浪、泥溫和鹽度等平臺水文氣象情況。

3 應用案例

截止目前已通過本系統分別采集了9個平臺的水文氣象監測數據，實時不間斷數據傳輸，入庫數據量百億條。如南海東部某平臺，距離數據中心2 000多公里，實測平均傳輸速度僅為16.07 KB/s，原監測為自容方式，過一段時間須更換存儲，把存儲數據的介質拿回到數據中心處理后才能進行具體應用。數據采集周期長且質量無法保障。該平臺部署海上平臺水文氣象數據監測系統后，局域網授權用戶每時每刻都能瀏覽、下載該監測到的最新數據，并可快速瀏覽每年、月的統計圖表，能夠為海上平臺設計環境條件研究，油氣田開發生產提供綜合的水文氣象數據信息支持。

4 結 語

本文設計并實現了面向海上平臺水文氣象數據的監測系統，該系統給出了遠程海量數據批量采集，窄帶寬不間斷傳輸，海量數據存儲、管理和可視化的技術解決方案，在實際工作中取得了很好的應用效果。 在下一步工作中，可以引入GIS技術，實現氣象觀測點的查詢導航及氣象格點數據的動態顯示功能[8]，進一步提高水文氣象數據監測系統的應用支持能力和適應性。

[1] 劉在科,李家鋼,雷方輝.海上油氣平臺水文氣象監測系統標準化研究[C]//2015年深海能源大會論文集,2015.

[2] 王亞丁,唐軍武,徐俊臣,等.海洋觀測水文氣象通用數據采集器架構設計[J].海洋技術學報,2013,32(2):11-15.

[3] 張喜驗.海洋臺站自動化觀測系統模塊化的實現[J].海洋技術學報,2000,19(3):21-25.

[4] 李民,袁新,劉勇,等.國內大型海洋水文氣象資料浮標的現狀及發展方向[J].氣象水文海洋儀器,2002(2):1-4.

[5] 馬瑞,周謝,彭舟,等.考慮氣溫因素的負荷特性統計指標關聯特征數據挖掘[J].中國電機工程學報,2015,35(1):43-51.

[6] 沈飛飛,郭忠文,胡克勇.一種海洋環境數據存儲模型設計與應用[J].中國海洋大學學報(自然科學版),2015,45(6):122-127.

[7] 趙芳云,張明富.基于云存儲的海量海洋監測數據平臺設計[J].艦船科學技術,2016,38(13):143-148.

[8] 劉健,姜曉軼,范湘濤.海洋環境信息可視化研究進展[J].海洋通報,2014(2):235-240.

DESIGNANDIMPLEMENTATIONOFOFFSHOREPLATFORMHYDROMETEOROLOGICALDATAMONITORINGSYSTEM

Li Wenyi Wu Peng Pang Zhangcai Zhang Tianyi

(ResearchInstitute,ChinaNationalOffshoreOilCorporation,Beijing100028,China)

Based on the .Net development platform and cloud storage, parallel computing, multithreading and application hosting technology, a monitoring system for the hydrometeorological data of offshore platforms is designed and implemented. The system had integrated the collection of massive data, data send, data processing, data management, and data visualization. The system solved issues that massive hydrometeorological data of offshore platform environment, such as the wind, the ocean currents, the waves, the mud temperature and the salinity were difficult to collect, including the issues that the massive hydrometeorological data was unable to transmit remotely, intelligently and quickly, and the issues that hydrometeorological data were difficult to effectively deal with, to visualize and to mining. The results show that the system can effectively obtain and process massive continuous hydrological and meteorological observation data. Therefore, our system provides an effective solution of hydrometeorological information guidance.

Offshore platform Massive data High frequency collection Data processing Visualization

2017-02-22。李文倚，高工，主研領域：企業信息集成，數據庫應用系統。武鵬，高工。龐長才，工程師。張天一，工程師。

TP311

A

10.3969/j.issn.1000-386x.2017.12.062