氣象資料省際共享監控系統①

王建榮,唐懷甌,孔芹芹,金素文

(安徽省氣象信息中心,合肥 230031)

氣象資料省際共享監控系統①

王建榮,唐懷甌,孔芹芹,金素文

(安徽省氣象信息中心,合肥 230031)

氣象資料省際共享為預報預測以及氣象服務提供了及時的周邊省資料服務. 目前國家氣象信息中心按月統計省際共享資料傳輸質量,不能及時發現資料收發異常. 參照上行傳輸監控方案,設計與實現了省際共享實時監控系統,將接收與發送的自動站文件解碼得到的站級信息以及雷達基數據站級信息寫入省際共享監控庫. 通過Web展現國家級自動站正點資料、區域自動站正點資料和雷達基數據接收與發送情況. 基于數據庫實現各省資料日、月和年統計分析,為資料應用部門和管理部門提供實時的省際資料傳輸情況. 系統自動生成省際共享日志并定時上報. 業務應用證明,該系統運行穩定可靠,體現了氣象資料省際共享實時業務質量監控的優勢.

省際共享; 三層架構; CTS; 多線程并行; 分區表

引言

數據共享業務在短時臨近預報、突發災害性天氣預報預警和決策氣象服務工作中的作用十分顯著. 之前,各省只能通過中國氣象局衛星廣播系統(CMACast[1])下行通道獲取鄰省資料,從CMACast系統下發的全國站點打包文件中逐個查找所需的站點,由于全國站點數目大,下發報文數量多,導致每時次數據處理耗時長,不能滿足預報預測以及氣象服務對資料及時性的需求[2]. 2012年5月中國氣象局組織實施了全國省際氣象數據共享工作,在全國范圍開展雷達基數據、國家級和區域氣象自動站觀測數據的省際數據共享傳輸業務. 各省陸續開通了新一代國內通信系統共享服務,實現雷達基數據和自動站資料在省際間快速共享和傳輸,極大地提高了各省市(區)獲取周邊省氣象資料的時效.

國家氣象信息中心負責按照共享氣象資料傳輸時限要求按月統計省際共享氣象資料傳輸質量,通過國家級氣象業務內網發布統計結果,各省信息中心每天將前一天的站級記錄日志文件通過省級CTS系統上傳至國家氣象信息中心[3]. 目前,國內對氣象資料省際共享實時監控方法的研究尚待完善.

本系統按照省際共享氣象資料傳輸時效要求,對省際共享做實時監控,及時發現收發雙向中斷問題,保障氣象資料省際共享業務質量,并向資料用戶和管理部門提供實時的省際傳輸狀況.

1 系統架構

按照中國氣象局規定,安徽省與江蘇、浙江、上海、江西、湖北、湖南、河南和山東8個省進行氣象資料交換共享. 中國氣象局建設了CMANet(全國氣象寬帶網絡)和新一代國內通信系統以及后續的CTS,省際之間以CMANet為支撐,共享資料,如圖1所示.

圖1 系統架構

CTS是全國綜合氣象信息共享平臺(CIMISS)的數據收集與分發子系統,是新一代國內通信系統的升級[4,5]. 目前,安徽省新一代系統主要運行CMACast下行業務,省際共享收發Server作為新一代系統的單機備份,專門承載省際共享業務.

省際共享的資料包括國家級自動站資料、區域自動站資料和多普勒雷達基數據,本文將國家級自動站、區域自動站統稱為自動站資料.

安徽省氣象局省際共享業務流程為: 資料通過CTS分發至省際共享收發Server,省際共享收發Server將收集的資料放進各省傳輸隊列,分發進程采用并行方式將各隊列資料推送至各省服務器并將發送日志入庫. 省際共享收發Server接收外省的資料后也通過隊列方式推送至全省資料共享Server(主機別名:SHARES)省氣象臺資料 Server(主機別名: SQXT)兩個本地存儲服務器并將接收日志入庫.

省際監控子系統通過查詢省際共享收發Server的MySQL數據庫xxshj_db實時接收表(TR_FILE_RCV)和實時發送表(TR_FILE_SEND),逐行讀取記錄集,根據文件名字段調用.NET FTP API函數訪問資料存儲路徑中的自動站打包文件,逐個文件解碼得到區站號和觀測時間等信息后批量插入省際監控子系統數據庫.

2 軟件系統設計與實現

2.1 功能模塊

省際監控子系統包括接收信息入庫模塊、發送信息入庫模塊、省際共享日志文件生成模塊、收發信息補入庫模塊、監控告警模塊和統計分析模塊,如圖2.根據中國局要求,每日生成省際共享日志文件并上傳,省際共享日志生成模塊基于省際監控子系統數據庫(數據庫 ID: sjgx,基于 SQL Server2008 R2),定時生成日志文件.

2.1.1 接收信息入庫

省際共享收發Server接收外省的自動站資料后解碼入庫得到站級信息(包括區站號Iiiii和觀測時間),而雷達基數據是命名規范的二進制文件,不作解碼,解析其文件名即可得到雷達站區站號和觀測時間. 由資料類型、區站號、觀測時間、接收時間等即可批量插入sjgx庫自動站接收信息表(dbo.RcvRealInfo)和雷達接收信息表(dbo. RadRcvRealInfo).

2.1.2 發送信息入庫

發送信息包括兩個類型目的地:

(1) 8 個外省;

(2) 兩個本地資料服務器SHARES及SQXT.

對于(1),本監控系統需解碼省際共享收發Server上本省發送外省成功后轉移至備份目錄中的自動站資料并入庫; 對于(2),由于“接收信息入庫”模塊是解碼SHARES和SQXT資料存儲服務器中的文件,接收信息入庫的同時,也根據發送信息表結構生成DataTable對象批量寫入發送信息表(dbo.SndRealInfo和dbo.RadSndRealInfo).

圖2 監控系統功能模塊

2.1.3 省際共享日志文件生成

按照《省際共享氣象資料日志文件傳輸規范》要求,每天由sjgx數據庫的作業調用存儲過程dbo.Create DataShareProvinceDayLogFile定時生成前一天的站級記錄日志文件并壓縮成一個文件后通過CTS系統上傳至國家氣象信息中心.

文件名模板為: Z_NOTES_C_CCCC_YYYYMMDD HHmmss_L_SHARE-sType.TXT,其中sType規定見表1.

表1 日志文件

2.1.4 監控告警

鄰省自動站正點資料、雷達基數據收發時效監測.通過檢測策略指定第幾分鐘采集sjgx數據庫接收信息表和發送信息表,某省缺報站點總數超過閾值(或缺報率超過閾值,因為接收外省的考核站點每年均有不同數量的調整,因此各省缺報閾值隨之調整)則發出聲音提示.

2.1.5 統計分析

實現各省共享資料的接收和發送日統計、月統計和年統計及報表功能,統計對象為各省自動站逐小時資料和雷達基數據及時率.

2.1.6 收發信息補入庫

系統解碼入庫程序執行異常中斷時,需要將中斷時段內的收發信息補入庫,補入庫流程與正常流程一致,只是從異常起始時間執行至恢復時間.

2.2 軟件設計

系統采用三層架構[6]設計和實現,分為表示層、業務邏輯層、資源訪問層,如圖3所示. 各層邏輯分離,降低了耦合度,增加了系統的可擴展性.

圖3 軟件架構

2.2.1 表示層

監控信息展示和參數配置UI.

監控信息顯示: 資料接收和發送信息實時顯示(各省每小時應收、實收、接收及時率)、傳輸統計(按資料類型、省份、統計時間)顯示、日數據統計分析、月數據統計分析、年數據統計分析,如圖4所示.

參數配置UI: 省際告警配置,即資料類型、啟用接收告警、啟用發送告警和告警頻次設置接口.

2.2.2 業務邏輯層

業務邏輯層的主要功能: 定時從省際共享收發Server數據庫xxshj_db查詢資料接收與發送信息,解碼各省自動站文件得到站級記錄集后批量寫入sjgx庫、解析雷達基數據文件名得到雷達站級信息并寫入sjgx庫; 基于sjgx庫定時生成省際共享氣象資料日志文件; 根據檢測策略定時采集省際傳輸異常信息并告警.

圖4 省際共享實時監測

本文主要介紹外省資料解碼入庫過程. 應用多線程技術和.NET Framework FTP 類庫 API[7]. 針對 8 個外省,在SHARES服務器上按省名創建8個資料存儲目錄,每個省名目錄分別包含國家自動站目錄、區域自動站目錄和雷達基數據目錄. 除雷達基數據外,各類自動站報文均需解碼.

系統解碼入庫程序共創建8個工作線程并行執行,并且使用C# ADO.NET數據庫連接池技術[8],各線程執行時訪問不同的目錄、打開連接池中不同的連接資源,因此基本不存在線程同步問題.

解碼入庫進程通過.NET定時器每2分鐘執行數據訪問步驟:

(1) 查詢省際共享服務器的MySQL文件級實時接收表(TR_FILE_RCV)和文件級實時發送表(TR_FILE_SEND),并返回記錄集.

(2) 主線程暫停 N 秒鐘 (N=1,2,…),等待記錄集各數據行(DataRow)的文件名字段對應的文件完整寫入SHARES.

(3) 逐行讀取記錄集,獲取資料類型 (DTYPE)、資料子類型(CTYPE)、省份代碼(CCCC)、文件名(FNAME)、接收時間(ARR_TIME)和入庫時間(LOG_TIME)等字段值. C#項目的App.config文件配置了SHARES等資料存儲服務器的FTP登錄賬戶、省際資料主目錄以及各省CCCC對應的資料相對路徑. 應用.NET FTP API訪問 SHARES 目錄下匹配的文件FNAME,從字節流中解碼得到站級信息,包括區站號、觀測時間等,將其存入表變量(DataTable對象),記錄遍歷結束后,將表變量作為參數傳入存儲過程批量插入sjgx庫的dbo.RcvRealInfo.

在第(3)步,各省自動站資料均是打包后的Z文件,其中包含多站記錄,因此解碼子程序采用正則表達式(Regex)來匹配測站基本信息行,國家級自動站報文、區域自動站報文的測站基本信息行格式不一樣,分別為:

i. 國家級自動站 Regex: [A-Z0-9]d{4}sd{14}sd{6}sd{7}sd{5}.*;

ii. 區域自動站 Regex: [A-Z0-9]d{4}sd{6}sd{7}sd{5}.*.

設置不同的高效正則表達式來匹配報頭,保證了解碼效率.

外省自動站資料解碼入庫流程圖如圖5所示.

圖5 外省自動站解碼與入庫流程

本省發送至外省的自動站資料解碼入庫流程基本與圖5相同,主要區別是資料所在服務器為省際共享收發Server,其FTP連接及存儲目錄結構同樣在App.config文件中配置.

外省雷達基數據接收無解碼步驟,如圖6所示.

圖6 外省雷達基數據入庫流程

本省雷達基數據發送入庫流程與圖6相同.

(1) 入庫子程序中表變量的定義.

(2) 數據庫端設計.

資料入庫子程序使用SQL Server 2008支持的表值參數 (Table-valued parameters)特性,作為入庫存儲過程的參數,接收傳入的表變量(DataTable)實現批量插入sjgx庫收發信息表,從而提高了入庫效率,存儲過程定義如下:

2.2.3 資源訪問層

包括數據訪問子層(Data access)、配置文件訪問子層 (Config access)和服務訪問子層 (Service access).

基于ADO.NET數據庫訪問技術建立適應MySQL和SQL Server兩種數據庫的數據訪問子層接口. 向業務邏輯層提供MySQL數據庫的收發數據集(DataSet);將業務邏輯層獲取的站級收發信息通過調用存儲過程的方式持久化到SQL Server數據庫.

3 數據庫模型設計

sjgx庫主要數據表有資料類型字典表(見表2)、資料-省名配置表、外省臺站基本信息表(見表3)、外省自動站接收節目表、自動站接收信息表(見表4)、自動站發送信息表(見表5)、雷達基數據接收信息表、雷達基數據發送信息表、日統計表(見表6)、月統計表等.

主要存儲過程: 解碼數據批量入庫存儲過程、統計分析存儲過程、日志文件生成存儲過程和Web顯示存儲過程.

為優化sjgx庫表讀寫性能,提高數據查詢速度,利用分區表技術,對接收信息表和發送信息表按觀測時間做分區,具體為每月一個分區[9,10]. 主要數據表均創建了主鍵,例如 RcvRealInfo 表選取 (MTime,Ctype,Dtype,Iiiii)作為復合主鍵,也提高了數據檢索效率.

3.1 資料類型描述表

表2 資料類型字典表(DataDescDic)

3.2 外省臺站基本信息表

表3 外省臺站基本信息表(StationRcvDic)

3.3 自動站站級接收信息表

表4 自動站站級接收表(RcvRealInfo)

3.4 自動站站級發送信息表

表5 自動站站級發送表(SndRealInfo)

雷達基數據接收表和自動站站級接收表結構相同,而雷達基數據發送表和自動站站級發送表結構相同,不再贅述.

3.5 自動站日統計表

雷達基數據日統計表與之相同,不再贅述.

4 系統評估

選取國家級自動站資料作為評估對象,具體為2013年11月份的省際共享監控數據庫自動站站級接收表中8個鄰省的國家級自動站資料和CMACast下發的全國自動站打包文件所包含的8省的國家站級自動站資料,在站點和觀測時間相同條件下,資料接收的時效性、解碼入庫效率作評估.

表6 自動站日統計表

4.1 省際共享與CMACast時效對比

省際共享與CMACast下行兩種途徑的資料接收時效對比,接收時間對比結果: 省際共享接收資料的時效要比CMACast下行平均快11.5秒鐘,可見省際共享在資料及時性方面有優勢.

4.2 系統解碼入庫效率

解碼時間由每次從FTP服務器中采集的自動站文件數和文件大小決定,解碼過程最大耗時25.4 S,平均耗時 14.7 S; 入庫過程平均耗時 2.2 S. 基本能夠在 2 分鐘內(系統工作周期)完成外省資料解碼入庫和本省發外省資料解碼入庫過程.

5 結語

本文針對氣象資料省際共享實時監控需求設計和實現了安徽省省際共享監控系統. 具體功能如下.

(1) 定時采集MySQL實時收發表得到文件名,再運用.NET FTP API獲取相應文件的字節流并解碼自動站信息、批量寫入sjgx庫自動站收發信息表; 通過解析雷達基數據文件名得到站級信息并寫入雷達基數據收發信息表.

(2) 按照監控告警策略,定時采集sjgx收發信息表中各省缺報信息并及時告警.

(3) 基于sjgx庫統計各省日傳輸、月傳輸和年傳輸及時率.

(4) 運用SQL Server存儲過程定時生成省際共享上傳日志.

(5) 補入庫功能,保障收發信息的完整性.

系統運行穩定,基本在2分鐘內完成外省資料解碼入庫和本省發外省資料解碼入庫過程.

省際共享資料實時監測和統計信息為資料用戶、業務管理部門提供了可靠的依據,體現了氣象資料省際共享實時業務質量監控的優勢.

1王春芳,李湘,陳永濤,等. 中國氣象局衛星廣播系統(CMACast)設計. 應用氣象學報,2012,23(1): 113–120.

2李顯風,鄒海燕. 基于省際共享的外省自動站報文入庫系統研究. 第 31 屆中國氣象學會年會. 北京,中國. 2015.

3中國氣象局. 預報司關于下發2014年全國氣象資料傳輸質量檢查工作要求的通知. 氣預函[2014]13號,2014.

4楊潤芝,馬強,李德泉,等. 內存轉發模型在 CIMISS 數據收發系統中的應用. 應用氣象學報,2012,23(3): 377–384.

5熊安元,趙芳,王穎,等. 全國綜合氣象信息共享系統的設計與實現. 應用氣象學報,2015,26(4): 500–512. [doi:10.11898/1001-7313.20150412]

6華連生,王建榮,金素文,等. 基于 IMS 的氣象信息傳輸智能語音通知系統設計與實現. 氣象科技,2015,43(6):1040–1045.

7Liberty J,Xie D. Programming C# 3.0 中文版. 李愈勝,劉衛衛,汪泳,譯. 第 5 版. 北京: 電子工業出版社,2009.

8帕特里克. ADO.NET 4 從入門到精通. 賈洪峰,譯. 北京:清華大學出版社,2012: 113–116.

9Walters RE,Coles M,Ferracchiati F,等. 深入 SQL Server 2008. 任斌,劉芳芳,譯. 北京: 人民郵電出版社,2011.

10吳東麗,梁海河,曹婷婷,等. 中國自動土壤水分觀測網運行監控系統建設. 氣象科技,2014,42(2): 278–282.

Monitoring System for Meteorological Data Interprovincial Sharing Service

WANG Jian-Rong,TANG Huai-Ou,KONG Qin-Qin,JIN Su-Wen

(Anhui Meteorological Information Centre,Hefei 230031,China)

Meteorological data interprovincial sharing service provides the weather prediction and meteorological service of timely data for neighboring provinces. The National Meteorological Information Center now gets statistics and publishes the transmission quality of interprovincial sharing service by month. It is not easy to find out the abnormality during data transmission timely. We design and implement a real-time monitoring system for interprovincial data sharing service using the monitoring method for data upload transmission. Firstly,the system above decodes AWS-data and then shows the receiving and sending status of the hourly national and regional automatic station data and radar data. This system provides data application department and management department of the daily,monthly and annual statistics results based on SQL Server database and it also generates interprovincial sharing log files. The application result shows that the real-time monitoring system of meteorological data interprovincial sharing service is stable and reliable.

interprovincial sharing; three-tier architecture; CTS; multi-threaded parallel; partition table

王建榮,唐懷甌,孔芹芹,金素文.氣象資料省際共享監控系統.計算機系統應用,2017,26(12):71–77. http://www.c-s-a.org.cn/1003-3254/6085.html

中國氣象局關鍵技術集成項目(CMAGJ2015M29); 安徽省氣象局科技發展基金項目(KM201306)

2017-03-09; 修改時間: 2017-03-27; 采用時間: 2017-03-29