湖南省氣象業務內網平臺的設計與實現

鐘艷雯 尹新懷 朱亮 馮冼 夏正龍

摘要：為了實現業務系統的集約整合，提供一站式數據在線訪問和共享服務，建設了湖南省氣象業務內網平臺。該平臺基于通用的J2EE應用架構;使用統一數據源;采用分布式架構，利用大數據技術提升查詢統計速度;通過自定義各種組件實現地圖圖層疊加。該平臺為省市縣用戶提供統一業務數據、產品與信息服務，為氣象預報、測報、管理等業務提供有效補充手段和數據支撐。

關鍵詞：氣象業務內網;數據;分布式數據環境

中圖分類號：S163

文獻標識碼：A

文章編號：0439-8114（ 2020） 20-0155-04

DOl：10.1408 8/j .cnki.issn0439-8114.2020.20.035

隨著氣象事業的發展，多來源、高密度、精細化的氣象觀測資料及產品對數據處理、應用、共享提出了新的要求，因此中國氣象局及各省氣象部門先后開展了內部信息資源整合工作，構建內部“業務內網”系統[1-5]。湖南省各類業務系統數量大、小而散現象突出，需要統一的平臺進行集約整合;預測、預警、決策等用戶需要統一的數據環境提供數據支撐與服務;基層各業務單位需要對各類氣象數據與產品集中、便捷的在線訪問[6，7]。為了充分發揮地面、高空、雷達、數值預報、衛星云圖等氣象資料的整體效益，實時、準確地獲取觀測數據與氣象產品，增強對暴雨、冰雹、大風等災害性天氣的監測能力和氣象防災減災能力，助力公眾服務與農業生產，湖南省按照集約化發展思路，建設了氣象業務內網平臺（以下簡稱平臺）。作為湖南省內統一的業務產品展示、服務和業務管理信息綜合共享平臺，氣象業務內網平臺滿足了省內業務、管理和服務需求，實現了省一市一縣三級用戶信息共享和一站式在線訪問，同時為預報、測報、管理等業務提供有效補充手段和數據支撐。

1 系統設計與實現

平臺的建設目標為基于統一數據環境，構建湖南省氣象部門內部統一的業務數據、產品與信息共享門戶系統;面向省內用戶信息的共享和應用需求，向省一市一縣三級用戶提供快捷、高效的產品訪問與共享支撐;提供省內實時觀測、預報預警、氣候業務、氣象信息業務等氣象信息與產品的一站式可視化展示。

1.1 系統架構

采用“云端部署、終端應用”的模式建設，在省級分布式數據環境中建立一套部署在省級，以CIMISS（China Integrated Meteorological Information SharingSystem，即全國綜合氣象信息共享系統）為主要數據源，為省一市一縣用戶提供統一業務數據、產品與信息服務[8]。該平臺包括信息收集與處理系統、數據存儲管理系統、信息共享服務系統等三個子系統，總體結構如圖1所示。

該平臺基于通用的J2EE應用架構（Velocity+SpringBoot），從邏輯上分為表現層、應用層、數據層（圖2）。表現層是基于瀏覽器的客戶端，為用戶呈現一個豐富的、具有高交互性的可視化界面，以圖文一體化的方式顯示空間和屬性信息，同時也為用戶提供地圖交互、信息查詢、地圖分析的交互接口。應用層接收來自客戶端的請求，并根據用戶請求類型做出相應響應;通過WebCIS服務器Ⅱ向應空間數據和屬性數據請求，對空間數據進行分析和控制，同時利用應用網關、遠程服務與業務數據庫進行交互，完成業務數據的查詢。數據層是平臺的底層，負責空間數據的存取機制，維護各種數據之間的關系，并提供數據備份、數據存檔、數據安全機制，為整個平臺提供數據保障。平臺建立了基于配置的產品發布模式，實現了數據獲取與前端顯示功能的獨立分離，屏蔽了大量的后臺數據獲取復雜邏輯，每個數據獲取邏輯只需在配置界面配置數據源、獲取頻次以及獲取方式，在顯示端即可通過制定ID方式獲取所需數據，并使整個開發更專注于前端展示頁面，考慮業務用戶需求體驗，后端數據源甚至數據結構的變化可以通過一鍵式配置快速調整，有效應對氣象數據多樣性特點。

該平臺主要包括信息收集與處理系統、數據存儲管理系統、信息共享服務系統三個子系統。信息收集與處理子系統依托地面寬帶網以及CIMISS系統，快速、完整地收集各類氣象資料數據及氣象服務產品;根據業務的需求，對相關數據進行解碼、格式轉換、數據反演等處理加工，生成各類氣象監測、服務產品等，并提供數據采集、分發、處理情況的監控以及監控信息的統計分析功能。數據存儲管理子系統以文件和結構化數據庫相結合的方式，建立高效、安全、穩定的數據存儲管理子系統;采用科學合理的管理機制，提供統一、分級的數據檢索接口和服務，滿足用戶對氣象數據資料檢索訪問的各種需求，具有歷史實時數據導入、追加、更新、數據的備份和恢復、數據清理維護等功能，并提供數據入庫、存儲資源使用情況的監控以及監控信息的統計分析功能。信息共享服務子系統采用共享文件目錄接口、Web網站等方式，發布和管理各種基礎數據、監測、預測和預警服務綜合信息，為用戶提供針對性的氣象數據和產品的目錄導航、數據檢索、查看、下載以及數據統計分析等共享服務，并提供信息發布、訪問情況的監控，以及監控信息的統計分析功能，具體功能結構劃分如下圖3。

1.2 數據庫設計

為了提高訪問速度，需要對常用的觀測數據、預報產品、運維數據等進行統一管理?？紤]數據量達到TB級，通過對比選用了基于Hadoop的HBase大數據平臺。按照功能分為站點數據表，自動站觀測數據表以及業務數據表共35個。根據數據存儲時效，數據表可分為永久數據表和固定時間數據表。永久數據表表示數據存儲時效不受限制，可以永久保存。固定時間數據表指為保證數據的可維護性。數據表將從插入時間開始，根據存儲時效，將超過存儲時效的數據每日定時清理。根據不同數據表存儲量大小，為避免單表數據量過大，需要設計單表的分區策略。同時為加快數據查詢速度，可以建立對應的索引信息[8，9]。

1.3 安裝部署

平臺硬件資源使用5臺通用X86服務器組成服務器集群，內部數據交換采用兩個萬兆交換機堆疊，外部數據訪問采用兩個千兆交換機堆疊。平臺操作系統為CentOS Linux，建立基于Hadoop的分布式數據環境并進行相關軟件部署。服務器部署情況如表1所示。

1.4 關鍵技術

1.4.1 基于CIMISS的統一數據環境基于模塊化和松耦合的設計思路，平臺對CIMISS的接口調用客戶端進行了輕量級的封裝，并且提供了一個JS庫用來在瀏覽器端直接訪問CIMISS獲取數據，方便和規范系統各模塊對CIMISS接口的調用。同時提供了超時處理，即保證在CIMISS無響應的情況下不會導致該系統請求線程不釋放而耗盡線程資源。在需要查詢氣象數據資料的模塊，平臺主要通過調用CIMISS接口的方式獲取資料。對于目前無法從CIMISS獲取的數據資料，平臺暫時從其他數據庫或網絡文件夾上獲取，同時留下數據接口，以便下一步進行對接。

1.4.2 分布式服務器集群技術內網平臺對周邊6省將近2萬個自動站的分鐘實況數據進行實時展示，對于此類大范圍、多要素、高頻次的數據，平臺采取的策略是：一是在硬件上采用高性能服務器組成服務器集群;二是在軟件上采用Hadoop大數據分析技術，利用HBase數據庫、Kafka、Tachyon，Spark、Phoenix等組件，提升自動站查詢統計速度的問題[10-12]。

1.4.3 WebCIS展示技術平臺設計基于JavaScript的WebGIS框架，通過自定義各種組件，實現地圖圖層疊加。表現層的各種顯示通過定制功能組件完成，各個組件互相通信，協同工作;利用ArcCIS APl完成地圖渲染、繪制及客戶端數據處理。應用層地圖服務采用動態地圖渲染和地圖切片技術相結合的方式來發布，對于底層不經常變化的地圖數據和地圖背景，利用地圖切片技術，以四叉樹方式對同一地圖在n級不同比例尺下進行切分，按照先比例尺等級再圖片所在行對地圖進行切片，然后對圖片所在列的文件目錄方式進行組織并存儲在服務端;上層實時變化的氣象數據則采用動態渲染。數據層利用WebGIS實現多源數據的疊加顯示、空間分析等綜合利用，主要實現自動站與雷達圖、云圖、預報產品、等值線分析產品的疊加顯示;自動站的要素平面填圖、基于地圖的站點要素統計查詢及動態顯示;雷達圖在WebCIS里面的時間序列動畫顯示等功能。

2 應用效果

該平臺于2018年2月在湖南省測試運行，2019年7月正式運行，期間得到了省、市、縣三級用戶的廣泛應用及高度好評。建立了預報服務產品集約共享機制，整合了省、市氣象臺的各類產品及水文、環保等行業交換數據，實現了一體化查詢與展示，在為氣象部門內部提供數據服務的同時，為湖南省防汛辦、長江流域氣象中心等部門提供了數據共享，充分發揮了數據的整體效益。目前平臺包含實況監測、預報預警、服務產品以及業務管理4大板塊18個欄目，近2 000種產品，并隨著氣象業務服務需求拓展不斷增長，為基層氣象部門業務服務提供了豐富的數據與產品支撐。該平臺實現了管理規范查閱、傳輸質量監控統計、預報質量評估結果展示等功能，融合了業務服務與管理，有效促進了氣象業務質量提升;湖南省傳輸及時率達到100%的資料種類由2017年的4類增長到2019年上半年的7類，數據可用性也明顯增長。在汛期關鍵時期，一線業務服務人員可直接采用平臺產品快速制作各類決策服務材料，利用高效的分鐘級實況數據及時發布監測警報，在氣象防災減災中發揮了不可或缺的作用。

3 結語

內網平臺根據業務特點，聚合數據和服務，存儲、計算資源向省級集中，通信資源向外延伸，形成“一級部署、多級應用”的業務布局，實現了“一平臺”提供省市縣三級應用，“一窗口”支撐氣象預報預警服務，“一站式”提供數據加工處理與共享，“一體化”整合信息業務服務與管理。隨著氣象業務及信息網絡技術發展，平臺將為省內用戶提供更快捷、更高效、更智能的數據支撐與服務。

參考文獻：

[1]張志強，張強，胡星，等.國家氣象業務內網設計與實現[J].安徽農業科學，2016，44（6）：224-227

[2]李新慶，衛建國，單新蘭，等.寧夏氣象業務內網的功能與實現[J].干旱氣象，2017，35（6）：1077-1083。

[3]王會品，王洪祥，孫悅程，等.基于，ArcGIS的大連氣象內網業務平臺設計與實現[J].湖北農業科學，2018，57（11）：111-112，117

[4]詹利群，任曉煒，黃志，等廣西氣象業務內網功能設計與實現[J].氣象研究與應用，2019，40（1）：71-76.

[5]朱倩雨，宋雅婷氣象業務內網中業務管理模塊的應用[J].沙漠與綠洲氣象，2016（ Sl）：140-141.

[6] QX/Tl02-2009，氣象資料分類與編碼[s].

[7]熊安元，趙芳，王穎，等.全國綜合氣象信息共享系統的設計與實現[J]應用氣象學報，2015，26（4）：500-512

[8]錢建梅，孫安來，徐韶，等.風云氣象衛星數據存檔與服務系統[J].應用氣象學報，2012，23（3）：369-376.

[9]張潔，薛勝軍云計算環境下氣象大數據服務的應用[J].安徽農業科學，2016，44（5），298-301.

[10j LARS G.HBase權威指南[M]北京：人民郵電出版社，2013.

[11]陸嘉恒.Hadoop實戰[M].第2版北京：機械工業出版社，2012.

[12]肖衛青，楊潤芝，胡開喜，等Hadoop在氣象數據密集型處理領域中的應用[J]氣象科技，2015（5）：53-58.

作者簡介：鐘艷雯（1976-），女，廣西柳州人，高級工程師，碩士，主要從事氣象信息處理方面的研究，（電話）0731-85600000（電子信箱）cs-yw@163.com;通信作者，尹新懷（1968-），男，湖南邵陽人，高級工程師，碩士，主要從事氣象信息處理與氣象業務系統開發方面的研究.（電話）0731-85534785（電子信箱）yinlb@foxmail.com。