

摘要:氣象數據采集監控管理系統在氣象領域具有至關重要的作用,能夠實時、準確地采集氣象數據,對其進行有效監控和管理,為氣象預報、環境監測等提供可靠的數據支持。文章通過內蒙古地區氣象數據采集監控管理系統的設計,深入探討氣象數據采集監控管理系統的組成、功能以及總體設計等,旨在為相關領域的研究和實踐提供有益參考。
關鍵詞:氣象數據;采集監控管理系統;內蒙古地區
中圖分類號:TP393中圖分類號 "文獻標志碼:文獻標志碼A
0 引言
隨著氣象業務在全球范圍內的不斷發展,氣象數據的準確采集和有效監控管理已成為氣象領域的核心任務之一。內蒙古地區作為我國重要的氣象觀測區域,具有獨特的地理位置和氣候特點,對氣象數據的需求尤為迫切。
內蒙古地域遼闊、氣候多樣,涵蓋了從干旱的沙漠到廣袤的草原、從寒冷的高山到溫暖的平原等多種地形和氣候類型。其獨特的生態環境和豐富的自然資源,使得氣象數據在生態保護、農牧業生產、交通運輸、旅游開發等多個領域都具有至關重要的作用。例如,準確的氣象預報可以幫助農牧業生產者合理安排農事活動,避免由惡劣天氣造成的損失;及時的氣象預警可以提高交通運輸的安全性,減少交通事故的發生。此外,隨著全球氣候變化的影響日益加劇,內蒙古地區的氣候也呈現多變性和不確定性。極端天氣事件如暴雨、洪澇、冰雹、干旱、高溫、低溫等頻繁發生,給當地的經濟發展和人民生活帶來嚴重影響。因此,建立一個高效、準確的氣象數據采集監控管理系統,對于及時掌握氣象變化趨勢、提前做好災害預警和應對措施具有重大的現實意義。
本研究旨在優化內蒙古地區氣象數據采集監控管理系統,提高氣象數據的質量和應用價值,為氣象預報、環境監測等提供更可靠的數據支持。對現有系統的分析和改進,可以更好地滿足內蒙古地區日益增長的氣象數據需求,為當地的經濟發展和社會穩定做出貢獻。
1 系統概述
氣象數據采集監控管理軟件是一套集數據采集、通信、質量控制、數據存儲、報文生成、數據查詢、監控與統計為一體的軟件系統。它與現場設備通過特定的通信協議實現數據傳輸與控制,是一套先進高效的氣象觀測系統數據服務平臺。通過合理有效的運行監控、設備管理手段和容災、備份機制,達到提供高效、高質量的自動氣象觀測數據服務的目的,提高氣象觀測系統的實際效益。系統建成后,能夠滿足持續增長的大數量級的數據采集和自動化管理維護需求,為用戶的數據二次應用提供良好的技術支持。
2 系統組成
數據采集監控管理軟件由數據采集子系統、運行監控子系統、數據質量控制子系統、數據存儲與共享子系統、系統管理子系統、數據查詢子系統、GIS子系統7個部分組成,如圖1所示。
其中,數據采集子系統是整個軟件系統運行的基礎和核心,為整個分系統提供數據支撐,涵蓋了多源資料采集、數據解析與預處理、數據存儲與轉發,通過與現場觀測設備進行通信交互,獲取各類觀測數據并持久化到數據庫中。
運行監控子系統負責對數據質量、網絡通信、設備工作狀態、子系統各部件運行狀態、系統運行資源環境、鏈路狀態等進行實時監控[1]。用戶可以設定監控的內容,當達到條件時,系統可以通過軟件界面、聲音、短信、郵件等方式實時提醒用戶。該系統對軟件系統運行的整個流程進行了全方面的跟蹤,對故障的快速定位和檢修有著重要作用。
數據質量控制子系統是實現高質量數據的保證,是數據的使用方獲得高可靠數據進行科學研究的前提。數據質量控制包括3個方面,一是設備端的質控,二是軟件端的質控,三是數據共享推送端質控。根據數據流轉過程中的不同環節進行不同級別的質量控制。用戶在軟件端可以進行氣候界限值的檢測、空間一致性的檢測、時間一致性的檢測、內部一致性的檢測、用戶自定義范圍的質量控制檢測。
數據存儲與共享子系統[2]是將數據采集子系統采集后的數據質控后持久化到數據庫中,再將數據通過多種方式共享給其他系統進行歸檔、備份和二次開發使用。該系統可以以標準報文、消息隊列(Message Queue, MQ)、數據庫等方式將數據共享到磁盤目錄、網絡共享文件夾、MQ服務器、FTP服務器、數據庫等目的地址。共享后的數據基本上與共享前的時效性一致,因此,其他系統可以實時同步地獲取相關數據。
系統管理子系統包括臺站管理、日志管理、用戶管理等功能。其中,臺站管理子系統負責臺站信息的錄入與修改,對臺站設置各種必要的屬性,如臺站號、臺站名、經緯度、觀測場海拔等。具有控制權限的用戶才可以對臺站進行添加、修改、刪除等操作。只有臺站被創建好并設置正確參數后,現場的觀測設備才能與軟件系統進行各種數據處理操作。用戶管理子系統負責用戶信息的錄入與修改,對用戶設置各種屬性,如用戶名、登錄密碼、訪問權限、用戶角色等參數。具有管理員權限的用戶才可以對用戶進行添加、修改、刪除等操作。只有用戶被創建好并設置正確參數后,用戶才能登錄系統并進行各種數據查詢操作,只有授權了編輯功能才可以進行軟件和設備的控制操作。
數據查詢子系統提供數據展示交互界面,用戶可以對歷史數據和實時數據進行查詢,對查詢的數據進行下載、排序、再次過濾等操作。數據顯示支持表格、曲線、柱狀圖等形式,不同用戶登錄后可以查看個性化的展示內容[3]。
地理信息系統以空間的方式將數據、圖片、數據產品等內容疊加到地圖上,賦予用戶更加直觀的數據展示形式。
3 系統總體設計
3.1 系統平臺
3.1.1 硬件平臺
氣象數據采集監控管理系統選用穩定、可靠、成熟的國產品牌計算機和網絡設備作為硬件平臺,主要包括服務器、交換機等設備。運行軟件的服務器須滿足特定配置要求,以確保系統的穩定運行。其中,CPU須達到 2 GHz(8 核),8 核以上 CPU 更佳,推薦使用專用處理器。硬盤容量應達到 5 T,以提高數據存儲的安全性和可靠性。內存為 16 G,網卡為千兆網卡。同時,為了保障計算機系統在停電之后繼續工作一段時間以使用戶能夠緊急存盤,可配置電源保護設備,如 UPS(可選)。數據庫服務器可以和軟件后臺服務器共用一臺電腦,也可以單獨部署。單獨部署時,其硬件配置標準與軟件后臺服務器硬件配置要求一致。
3.1.2 軟件平臺
系統運行環境采用 Windows Server 系列操作系統,數據庫管理系統采用SQL Server企業版。操作系統推薦使用 Windows Server 2008以上的64位操作系統。數據庫可選用MS SQL Server 2008 R2以上版本、ORACLE或MYSQL,推薦使用MS SQL Server 2008 R2 企業版。設置防火墻指定端口出入允許規則,確保系統的網絡安全。搭建Net4.0 及以上和JRE7及以上的運行環境,軟件開發采用 JAVA、NET等高級程序設計語言。
3.1.3 網絡環境
(1)基礎要求。軟件服務器須滿足一系列網絡條件:能夠登錄氣象內網(使用公有 APN 接入時須同時可登錄 Internet),提供固定公網 IP 和 UDP 服務端口號,外網帶寬 2 M 以上,設置指定端口出入允許規則。如果軟件所在機器通過路由器接入網絡,則在路由器中配置轉發規則。
(2)網絡接入方案。網絡接入方案包括公有 APN 接入方案和專有APN接入方案。公有APN接入方案中,服務器采用公網方式接入Internet,如 ADSL撥號、電信專線寬帶上網等,須要申請公網固定IP,可實現中小容量的數據采集應用,要求采集監控軟件所在服務器能夠連接 Internet。專有接入點名稱(Access Point Name, APN)接入方案中,服務器采用移動通信服務商提供的數字數據網(Digital Data Network, DDN)專線,須要申請固定的IP地址,連接GPRS網絡。DDN專線由于可以提供較高的帶寬,適用于大容量的數據采集應用。
(3)FTP訪問權限。FTP訪問權限需要獲取數據文件上傳的相關信息,包括 FTP 地址和端口、路徑、用戶名和密碼。
3.1.4 軟件部署設計
數據采集監控管理軟件主要包括采集處理、數據融合、產品顯示、保障會商和運行支撐5個子系統軟件配置項[4]。其中,采集處理子系統軟件部署在數據處理服務器,負責數據的采集和初步處理。數據融合子系統軟件和保障會商子系統軟件部署在應用處理服務器,進行數據的融合和保障會商工作。子系統軟件和運行支撐子系統軟件部署在業務終端服務器,為用戶提供直觀的數據展示和系統運行支撐。當接入管理的臺站數目較少時,數據應用和服務平臺也可以不部署,直接在數據采集和共享平臺上進行統計分析和數據產品的生成工作[5]。
3.2 系統邏輯架構
3.2.1 業務功能架構
氣象數據采集監控管理系統的軟件用戶主要分為管理人員和一般用戶2類。管理人員主要負責數據采集、數據質量控制、數據共享的配置工作以及運行監控維護等任務;一般用戶則主要進行數據查詢和監控工作[6]。該系統旨在滿足2個功能需求:數據采集和共享;數據應用和服務。從業務層面來看,整個系統可劃分為2個平臺,一是數據采集和共享平臺;二是數據應用和服務平臺。
數據采集和共享平臺是整個系統的核心,承擔著數據采集、入庫、質控、臺站管理等重要功能。它通過多種方式從遠程設備采集觀測數據,包括氣象數據和設備狀態信息等,采用氣候閾值檢測、時間一致性檢測、空間一致性檢查、內部一致性檢測等多種方式對采集的數據進行質量控制,確保數據的可用性和質量。經過質控后的數據會按類劃分并持久化到數據庫中,供后期檢索和統計使用。此外,該平臺還負責臺站管理等工作,確保數據采集的準確性和穩定性。
數據應用和服務平臺則建立在數據采集和共享的基礎上,主要滿足觀測數據應用、自動站運行維護等業務需求。它通過對采集和共享平臺的數據進行統計分析,生成數據產品,為用戶提供更深入的數據分析和應用服務。例如,針對歷史數據統計日、月、旬的各要素極值、均值和累計值,統計一段時間內數據到報、缺測情況等。如果接入管理的臺站數目較少,數據應用和服務平臺也可以不部署,直接在數據采集和共享平臺上進行統計分析和數據產品的生成。
3.2.2 系統結構
氣象數據采集監控管理系統采用3層架構,包括客戶端、服務器和數據庫。
客戶端分為桌面應用客戶端、Web瀏覽器客戶端、智能移動客戶端3種類型。桌面應用客戶端是桌面應用程序,能夠高效運行專用業務工具,也能夠訪問服務器端應用;Web 瀏覽器客戶端以 IE、Firefox 等作為客戶端,用戶通過瀏覽器訪問服務器應用,通過 HTML、腳本、插件等進行客戶端功能交互;智能移動客戶端通過定制的應用程序訪問服務器應用,要符合移動客戶端用戶操作習慣。
服務器是數據采集和應用中心。它接收、解析、執行客戶端請求,適配多種通信方式,完成與各類數據源的交互、數據傳輸和共享服務等功能。在本系統中,服務器端應用還要適配多種通信方式,完成與各類數據源的交互、數據傳輸和共享服務等功能。
數據庫可以理解為數據持久化層,數據被保存在數據文件或數據庫中。
3.2.3 應用結構
氣象數據采集監控管理系統分為數據采集平臺和多任務數據處理平臺。數據采集平臺是系統的核心部分,完成數據的采集、解析和持久化,提供一定的交互功能。它通過多種通信方式從遠程設備采集數據,進行質量控制后將數據持久化到數據庫中,同時還能為用戶提供交互功能,如站點運行監控等。
多任務平臺則負責進行數據的轉換、分發和共享,驅動數據應用和查詢的數據流轉。它將不同數據源的數據統一進行處理入庫,推送到其他部門和單位,甚至外系統中。對于一些比較耗時耗資源的操作,如后期數據的統計和加工分析以及數據分發和產品制作,可以在多任務數據處理平臺上進行。
4 系統的功能實現
4.1 系統功能
系統完成數據采集、持久化、數據質量控制、數據共享等功能,同時通過對觀測系統的狀態監控來保障整個觀測過程的正常進行;通過臺站及其設備的信息管理,輔助用戶進行自動站的日常維護和故障維修;提供符合常規操作和閱讀習慣的用戶接口輔助用戶及時有效地獲取觀測信息、發現問題;提供良好的共享數據接口,為用戶的二次開發應用提供支持。系統的基本功能如圖2所示。
4.2 功能特點
4.2.1 統一的數據監控管理平臺
兼容外廠商的區域站設備接入,支持內部所有通信方式的臺站的接入。一套系統內完成統一的數據解析、持久化和分發功能,提供檢索、產品生成和監控功能。
4.2.2 分布式部署,結構靈活
系統采用B/S結構,無須安裝客戶端,服務器端跨平臺安裝,安裝和升級便利。系統支持分布式部署,可以將多個組件部署在多臺機器上, 負載壓力分攤到多臺機器。
4.2.3 完善又高效的數據分發方案
成熟的數據分發方案并且支持多種數據分發方式:從數據源(文件、數據庫、MQ)分發到多種目的地(本地文件夾、共享文件夾、用戶數據庫),保證用戶業務的正常運行。一套軟件可以完成上下行政級別的共享、分發和檢索。下級單位或其他部門登錄上級單位的軟件系進行特定臺站的查詢和監控,使用方便快捷。
4.2.4 人性化的臺站管理和用戶管理
自動添加上線臺站,臺站信息增刪改后無須重啟軟件,可以按照各種目的(區域、類型、行業等)劃分臺站并關聯給不同角色的用戶。
4.2.5 實時監控和報警
實時監控:支持電壓監控、通信狀態監控、鏈路狀態監控、到報率監控。
實時報警:對于出現的各種數據質量、在線狀況能夠實時在界面中報警提示。
4.2.6 數據可見可得
用戶可以將查詢、過濾、排序后的數據和圖像下載到本地。
4.2.7 擴展性和可靠性
支持內嵌和主流數據庫作為后臺數據庫;支持本地和多種在線地圖作為GIS展示接口;支持多行業(地面、農氣、交通、大氣電場、船舶等)應用。管家式服務,監控軟件的運行異常并恢復出錯的組件。
4.2.8 支持常用的數據產品
支持的數據產品包括日值統計、GIS輸出等值面圖。系統能夠在不影響數據采集的情況下生成日統計數據到數據庫和Excel文件中,可以自動地生成相關要素(雨雪、氣壓、溫度、電壓等)的等值面分析圖到文件并疊加到GIS系統中展示。
5 系統評估
氣象數據采集監控管理軟件經過周密和可靠的設計,能夠廣泛應用于各行業的業務應用中,效果主要體現在以下幾個方面:
(1)運行穩定可靠,較好地解決了軟件的資源調度問題,投入應用以來沒有發生過系統性能故障,數據接收情況一直穩定保持在99%以上。
(2)系統架構完整,能夠很好地適應氣象站建設發展進度,采用讀寫分離技術保障了數據接收和數據服務的穩定性,同時采用多個橋接器解決了一直以來存在的“接收平臺眾多、維護煩瑣”問題,可以滿足5000個以上站點全部集中到1個平臺上,大大減少了日常業務維護量。
(3)平臺提供了基于B/S架構的站點信息和參數的維護頁面,不再須要安裝客戶端進行站點參數的維護。同時,該平臺還提供了數據質控,在觀測系統的前端大幅度減少了數據的明顯錯誤,避免明顯錯誤值進入后續的業務流程。
(4)平臺數據查詢方便,頁面設計簡潔易用、信息豐富、監控功能強大。平臺提供對設備各種狀態、通信狀態、到報情況、數據質量、系統子部件、系統資源使用情況等多個方面進行實時監控和報警的功能。平臺可以通過GIS直觀顯示站點的運行狀況,易于操作,功能實用,對時效要求高的自動站數據的收集幫助較大。同時,該平臺也能兼容其他廠家、多種型號的設備,大幅度減少了軟件平臺的維護及一致性問題。
6 結語
本研究對內蒙古地區氣象數據采集監控管理系統進行了深入分析和優化設計,為內蒙古地區的氣象事業發展提供了有力支持。通過對系統的組成、總體設計、功能實現和評估等方面的深入分析,可以看到在氣象數據采集、監控和管理方面具有顯著優勢。雖然該系統在目前的應用中表現出了較高的性能和實用性,但仍存在一些不足,如在數據處理效率、智能化監控等方面還有待進一步提高。未來可結合人工智能、大數據等技術,不斷完善系統功能,提高氣象數據采集監控管理的水平。
參考文獻
[1]王力,韓笑,劉培寧,等.基于MQ的氣象數據采集與監控系統設計[J].氣象科技,2015(3):451-457.
[2]馬渝勇,徐曉莉,宋智,等.省級氣象信息共享系統的設計與實現[J].應用氣象學報,2011(4):505-512.
[3]趙玉娟,李祥海,王琪,等.基于CIMISS的天津整編數據查詢系統設計與實現[J].信息通信,2017(12):104-106.
[4]吳貴義,賈寧遠,張志堅,等.氣象數據全鏈路監控系統的設計與實現[J].廣東氣象,2021(6):77-80.
[5]鐘磊.面向氣象數據監控系統的優化設計與研究[D].北京:北京交通大學,2019.
[6]葉汶華.氣象數據監控系統的設計與實現[J].電子技術與軟件工程,2016(6):185.
(編輯 王雪芬編輯)
Design of meteorological data acquisition monitoring and management
system in Inner Mongolia
LIU" Zhihong
(Inner Mongolia Meteorological Data Center, Hohhot 010050, China)
Abstract:" Meteorological data acquisition, monitoring and management system plays a vital role in the field of meteorology, which can collect meteorological data in real time and accurately, and carry out effective monitoring and management, and provide reliable data support for meteorological forecast and environmental monitoring. Based on the design of the meteorological data acquisition and monitoring management system in Inner Mongolia, the article deeply discusses all aspects of the meteorological data acquisition and monitoring management system, including the composition, function and overall design of the system, aiming at providing useful reference for the research and practice in related fields.
Key words: meteorological data; acquisition; monitoring and management system; Inner Mongolia region