基于私有云的船舶自動氣象站網的設計與實現

陳 寧，邵夢琪，王延東，龔 熙，黃 振，羅鴻宇

（湖北省氣象信息與技術保障中心，湖北武漢 430074）

0 引言

目前湖北已經建成3 個船舶自動氣象站，主要負責長江航線（重慶—上海）的天氣預報預警，并且計劃在未來幾年內繼續增加船舶氣象站的數量。一般氣象站網的數據傳輸采用單中心模式，隨著氣象業務的發展壯大，各種氣象自動站的興起，如這種船舶自動站利用分布式傳感器采集不同地理位置的風向、風速、溫濕度、氣壓、能見度等氣象數據，隨著站點的增大，數據采集頻次的增大，數據中心站服務器的運算能力將成為氣象數據傳輸網絡中的瓶頸[1-4]。將云計算運用于氣象數據的處理，是解決這一瓶頸比較好的方法。云計算是分布式計算的一種，是通過網絡“云”將龐大的數據處理程序分解成無數個小程序，然后通過多部服務器組成的系統進行處理和分析這些小程序，得到結果并返回給用戶。其核心為大規模的分布式環境下的數據存儲和網絡服務，通過分布式的規模化集群和服務器虛擬化軟件來實現。與公有云相比，私有云能在數據安全和可靠性方面進行有效的控制[5-13]。

1 系統網絡架構

本氣象站網云平臺基于B/S 架構，由多個船舶氣象站組成的氣象站網，船載自動氣象站組成結構如圖1 所示，通過DTU無線網絡傳輸氣象中心站處理平臺。該架構可以分為數據采集層、網絡層、應用層。

圖1 船舶自動氣象站組成結構

1.1 數據采集層

船舶氣象站的觀測要素包括航速、航向、經緯度、風向、風速、溫度、濕度、氣壓、能見度等。通過各類氣象傳感器采集觀測數據，將觀測數據轉換為各種電壓、電流、電阻等各類電信號，傳輸至氣象站主采集器進行處理和存儲。

1.2 網絡層

網絡層利用無線DTU 通信設備將氣象站采集器中處理后的數據傳輸至云平臺。云平臺是整個氣象站網的核心，完成大量的氣象數據的存儲、分析處理和發布，并有接口對接應用層。

1.3 應用層

能夠基于瀏覽器或應用程序，給用戶提供各種氣象產品和數據服務，例如中短期天氣預報、各類數據查詢瀏覽等。

2 基于云平臺的系統設計

基于物聯網卡的無線云平臺氣象站網通過無線數據傳輸、氣象數據云存儲以及氣象數據云應用3 個方面進行實現的[14-16]。

2.1 數據傳輸

氣象站采用DTU 通信模塊進行數據的無線傳輸，兼容2G/3G/4G 移動通信。早期利用的是各個移動運營商的GPRS 等2G無線網絡，當時氣象數據采集和傳輸頻次較低，基本為1 h/次或10 min/次，數據量不大，GPRS 的數據吞吐量完全能夠滿足氣象站的數據傳輸。隨著氣象觀測要素的增多，數據傳輸頻次的增大，達到了5 min/次或1 min/次，目前使用的是4G 并向下兼容的DTU 模塊，保證了傳輸速度和穩定高效。

采用DTU 無線傳輸有2 個優點：①可以實現云平臺管理的規模化、集中化；②支持SIM 卡管理，提升規模化。

本系統自動氣象監測網絡如圖2 所示：

圖2 船舶自動氣象站監測網絡

2.2 云平臺的選擇

本系統使用華為云平臺Manage One 取代以往氣象監測中心的硬件計算和存儲方式，Manage One 提供統一的數據中心管理平臺，針對分布云數據中心的服務保障和服務編排提供先進的管理方案，能夠做到：物理分布、邏輯集中，多數據中心統一管理、異構虛擬平臺統一管理、運營和運維統一管理；可基于VDC（Virtual Data Center，虛擬數據中心）模式，為不同的部門、業務提供不同的資源服務，實現資源的建設與使用分離，更加匹配企業和運營商的商業模式。

Manage One 的優勢：①提供統一的運維平臺，可以統一管理物理服務器、網絡設備、存儲設備、虛擬資源等多種類型；②提供高效的運維管理手段，提升問題處理效率，縮減問題處理時間；③自動生成報表，并通過靈活的通知機制，在問題發生時可快速通知到維護人員，從而快速響應，解決問題；④提供先進的分析工具，方便預先研判故障。容量管理功能可通過歷史容量指標給出容量預測的能力，以便管理員對資源容量做好規劃和擴容。

當氣象站監測所得數據通過4G 網絡傳輸到云計算中心后，云計算平臺需要對這些數字信號進行分析處理和存儲，本系統通過RDS（Relational Database Service，云關系型數據庫）的存儲服務和SQL Server 實現上述功能。Manage One 需要處理的數據有：從感知層獲取的數據和供應層使用的數據，兩種數據分別應用Manage One 的HBase 和Tables 存儲及SQL Server數據庫存儲。

在氣象業務環境中，私有云的設計從邏輯上分為4 個層次：基礎硬件層、資源調度層、會話管理層和終端接入層。

（1）基礎硬件層。目前氣象環境中根據用戶需求不同建立了虛擬服務器集群和物理工作站池兩種不同的硬件環境，虛擬服務器集群負責為普通用戶組提供服務，物理池負責為特殊用戶組提供服務。

（2）資源調度層。用于實現基礎硬件的云化，通過建立計算機資源池、存儲資源池和網絡資源池來實現IT 基礎資源的統一管理、按需分配。依托ManageOne Service Center 管理軟件實現資源利用率的最大化。

（3）會話管理層。負責整個私有云資源調度分配、用戶身份鑒別和安全控制功能，其中資源調度分配主要由VCS 連接服務器和部署在各種網絡環境下的VSS 安全服務器組來實現，用戶身份鑒別和安全控制主要由ActiveDirectory 服務器實現，通過域用戶管理策略管理全體用戶的賬戶策略—安全策略—軟件策略，提升了對用戶行為控制的效率。

（4）終端應用層。負責在各種網絡環境下臺式電腦、筆記本電腦客戶機和使用APPLE iOS 或者Google Android 操作系統的智能終端設備接入氣象私有云。

3 船舶氣象站系統的實現

3.1 云端氣象數據存儲

目前船舶氣象站每隔5 min 采集1 條氣象數據傳回數據庫服務器，以后的發展趨勢是每隔1 min 采集并上傳。長此以往，數據庫中將會存入大量的氣象數據，因此需要解決氣象數據的存儲和處理問題。

RDS 是一種基于云平臺的、穩定可靠、便捷管理的在線關系型數據庫，可以支持SQL Server，利用Manage One 華為云數據庫RDS for SQL Server 2017 數據庫，它可以支持5 個只讀副本，無論是讀寫分離還是負載均衡的支持都能實現。

RDS 無需用戶親自完成數據庫安裝、部署、維護、擴容和監控等工作，用戶只需一些簡單的操作，繁瑣復雜的過程即可由RDS 高度自動化完成，包括安裝數據庫軟件、為數據庫軟件升級版本或打補丁、搭建數據庫主備實例、只讀實例、數據備份和恢復、監控數據庫運行指標等。另外，RDS 主備實例可以在主實例發生故障時，由備實例快速自動接管業務讀寫請求，最大限度減少業務中斷時間，而這個過程無需用戶介入。

使用RDS，數據庫實例的生命周期狀態、各實例的角色關系、實例OS 和DB 引擎的各項指標監控信息、數據庫日志信息、數據庫備份信息、數據庫引擎參數信息等，都可以通過Console圖形化界面對用戶可視，而且用戶可以很方便地通過Console或者Open API 進行管理和監控。

使用RDS，用戶可以隨時根據數據庫的讀寫比和負載壓力情況，通過一些簡單操作即可完成增加刪除只讀實例，及時水平擴容以應對業務暴漲情況，或者及時縮容回收資源以應對業務回落情況，避免資源長期閑置浪費。

3.2 數據庫設計

數據庫設計了站點信息表、氣象站觀測數據表、用戶賬號信息表3 個表格，氣象站觀測數據表見表1。

表1 氣象站觀測數據表

湖北省的船舶氣象自動站數據可以分為兩類：結構化數據和半/非結構化數據。云存儲平臺根據氣象資料屬性不同提供了結構化存儲（Table Storage）和半/非結構化數據存儲（HBase Storage）兩種存儲方式[17-20]。

泛氣象數據及各類服務產品數據結構化程度低，數據參數一致性低，數據大小不定。對于此類非結構化數據，如果采用通用的結構化存儲方式，必然導致其在數據存取方面出現問題，無法滿足業務需求。故采用HBase 非結構化數據庫進行存儲。

HBase Storage 主要存儲氣象觀測資料中的圖像及Flash 文件，對處理后的歷史氣象數據圖表、曲線、實時圖像圖片及天氣預測圖片等進行保存，并提供接口供應用層展示，Flash 文件主要有movie.swf 和mycurve.swf 兩種格式，分別用來展示動態的氣象動畫及統計動畫。這類數據結構化程度低，數據參數一致性低，數據大小不定，采用HBase非結構化數據庫進行存儲。

HBase 的數據表由行和列組成。邏輯上，數據存儲在表里，而表由行和列組成，每行由一個可排序的主鍵和任意多的列構成，列又歸屬于不同列族。HBase 是面向列的稀疏存儲，列族是固定不變，在創建表時被定義，相當于表結構，HBase 將同一個列族下的數據存儲在同一個目錄下，而列族中的列成員不必在表定義時聲明，可以在表實時運行中動態定義。

Table Storage 存儲則通過ASP.net 實現普通數據的保存。在用戶進行數據獲取時利用唯一的Session 進行事務跟蹤，如用戶登錄、密碼設置、數據查詢更新等操作。

氣象觀測數據利用HBase Storage 和 Table Storage 兩種存儲方式，通過SQL Server 進行數據的查詢、關聯、更新及修改。

3.3 基本WEB 的云應用實現

針對存儲的氣象數據，采用B/S 結構開發了船舶氣象站網的數據顯示系統（圖3）。該系統能夠幫助氣象監控預報人員更有效直觀地獲得長江沿線的氣象數據，同時對長江沿線氣象災害的預警信息有著更快的反應。也為長江沿線的水文氣象服務、氣候變化研究提供重要的觀測資料。

圖3 船舶氣象站網數據顯示系統

4 結語

對基于私有云的船舶自動氣象站網的設計與實現做了全面描述，基于華為的Manage One 云平臺技術，完成氣象數據共享服務系統建設，實現長江流域大數據處理分析及共享服務。為長江航道災害天氣實況監測預警、開展精細化的預報預警服務提供全方位高覆蓋的發布手段；開展長江航運專業氣象服務，提升長江航道氣象預報專業化水平和服務效益，滿足船舶駕駛人員、旅客、政府相關管理部門對氣象服務的需要。