安徽省綜合觀測資料基礎數據庫系統設計與實現

金素文 劉俊娜 江雙五 孔芹芹

【摘要】為了實現安徽省國家級、區域級自動氣象站，自動土壤水分觀測站等各類綜合觀測資料的數據采集存儲、加工處理、報文生成等功能，利用最新數據庫鏡像、數據同步技術，設計、建成了一套高效、穩定、安全、易用的省級綜合觀測資料基礎數據庫系統。該數據庫系統提供API接口和Web Service接口兩種數據接口訪問模式，可滿足現有氣象業務、科研對實時綜合觀測數據的服務需求。

【關鍵詞】綜合觀測;基礎數據庫;設計與實現

The Design and Implementation of Anhui Province Comprehensive Observation Database System

Anhui Province Meteorological Information Center ?Jin Suwen ?Liu Junna ?Jiang Shuangwu ?Kong Qinqin

Abstract：In order to implement the functions of data acquiring，storage，processing，message generating for comprehensive stations such as regional automatic weather stations，national automatic weather stations，automatic soil moisture observation stations etc.in Anhui province and neighboring provinces，to solve the problems of effectiveness，stability，security and other aspects existed in provincial regional weather station database，refer to advanced meteorological data classification management mode，use the latest database mirroring，data synchronization technology，design and built a set of efficient，stable，safe，easy-to-use comprehensive observation database system.The database system provides two data access interface mode，API interface and Web Service interface，which can meet the existing meteorological service，scientific research service requirements for real-time comprehensive observation data.

Keywords：comprehensive observation;database;design and implementation

1.引言

安徽省氣象局經過多年的現代化建設，建成了由2004個區域自動氣象站、81個國家級自動氣象站、85個土壤水分觀測站等多種觀測設備構成的綜合地面氣象觀測站網，為有效監測中尺度天氣系統提供了先進的技術手段。如何有效利用現有氣象觀測數據為氣象災害監測預警服務提供基礎數據成為綜合氣象觀測數據庫建設的首要任務。經過多年的改進和完善，初步了安徽省區域站網數據庫，取得了良好的服務和應用效益。但隨著氣象業務的發展，現有的安徽省區域站網數據庫已經不再能夠滿足需求，主要體現在以下幾個方面：

（1）系統建設缺乏總體規劃，流程復雜，各節點之間的界限不清、環節較多，不利于系統的維護和管理，也不能滿足用戶對數據時效和數據一致性的要求。

（2）數據庫結構的設計落后，庫表結構不能兼容新型區域自動站和新長Z文件數據格式需求。

（3）數據庫系統缺乏有效控制和管理，無法對用戶有效實施數據庫系統訪問方式、訪問時間、訪問內容和訪問安全等管理。

因此，需要結合現有的省級氣象通信業務流程，整合原有的省級區域站網數據庫，建設能夠滿足全省業務部門對綜合觀測資料實時獲取及數據一致性需求的安徽省綜合觀測數據基礎數據庫系統。

圖1 數據庫系統邏輯結構圖

2.數據庫系統設計

2.1 功能設計

安徽省綜合觀測資料基礎數據庫系統包括數據源層、數據庫中間層、數據庫層、數據應用層三個邏輯層，如圖1所示。數據源層提供各類綜合觀測資料，包括區域級自動站原始數據、國家級自動站數據（含定時、日數據、輻射和日照）、重要天氣信息、自動土壤水分資料、風塔數據、酸雨數據、閃電定位、GPS等資料。數據庫中間層完成綜合觀測數據的采集處理以及整個數據流程的監控，包括數據收集處理分發子系統、數據入庫子系統、數據加工子系統、報文生成子系統。數據庫層用以存儲、管理各類觀測數據。數據應用層通過標準的數據接口，為各應用服務平臺提供數據訪問服務。

2.1.1 采集處理子系統

該子系統包括采集和處理模塊，采集模塊指基于收集策略實時地收集到各類氣象數據。處理模塊指根據氣象通信業務規定和規范要求，對收集到的數據進行格式檢查和數據標準化處理，包括文件格式檢查、文件完整性等。

2.1.2 數據入庫子系統

該子系統由報文讀取、報文轉譯、格式檢查、數據入庫等模塊組成。報文讀取模塊讀取數據采集模塊傳遞過來的原始數據文件，將文件中的報文信息讀取到內存，報文轉譯及格式檢查模塊轉譯報文信息并檢查格式，同時利用氣候極值等檢查方法做質量控制，數據入庫模塊質控后的數據以設定的信息組織方式存入數據庫。

2.1.3 數據加工子系統

數據加工子系統讀取站點信息和原始數據，根據業務規定的計算方法進行數據匯總計算，并將計算結果存入數據表，該過程由數據庫存儲過程實現。

2.1.4 報文生成子系統

報文生成子系統定時從數據加工后的數據產品表中提取指定的要素值，按照氣象報文文件格式生成報文文件，然后根據不同的優先級將報文文件實時地分發到不同的目的地址。

2.1.5 業務監控子系統

利用各子系統產生的運行日志對整個數據流程的各個環節進行實時監控，發現問題時以語音、短信告警等方式通知值班維護人員。

2.2 物理架構設計

系統包括1個數據收集服務器、2個數據加工處理服務器、2個數據存儲服務器、1個數據接口服務器共計6個服務器。數據收集服務器運行數據采集處理子系統和數據入庫子系統，數據加工處理服務器由2個互為鏡像的生產服務器組成，運行數據加工子系統、報文生成子系統和生產數據庫，數據存儲服務器由實時庫和歷史庫組成。實時庫復制生產數據庫內的產品數據，供外部系統訪問;歷史庫用以存儲歸檔的歷史數據;數據接口服務器用以向系統外程序提供訪問實時庫數據的接口。如圖2所示。

為確保生產數據庫安全可靠，采用數據庫鏡像技術，構建互為鏡像備份的生產數據庫。生產數據庫中應用程序自動檢測，當發現主生產數據庫故障時自動連接到鏡像數據庫繼續工作，以保障生產庫7乘24小時不間斷運行。實時庫通過數據庫復制技術與生產庫數據保持實時同步。

2.3 數據庫結構

安徽省綜合觀測資料基礎數據庫系統中存儲的數據主要為結構化氣象要素資料，如氣溫、降水量、日照時數、相對濕度、風速風向等。存儲結構設計為由資料時間、空間屬性字段以及溫度、氣壓等要素和各要素質控碼等字段組成。數據庫中設計三類基本數據表，分別是站點元數據表、原始數據表和產品表。

圖2 數據庫系統物理結構圖

2.3.1 站點元數據表

站點元數據是指各類氣象站站點相關信息，在安徽省綜合觀測資料基礎數據庫中站點元數據貫穿于整個系統建設的各個環節之中，站點元數據的設計充分考慮到各類氣象站站點的特征和屬性。元數據表包括站點表、站點屬性表和站點屬性關聯表。站點表存儲所有站點的基本信息，站點屬性表存儲預先定義的屬性，站點屬性關聯表是站點與具體屬性之間的外鍵關聯表。

2.3.2 原始數據表設計

原始數據表存儲各種觀測數據報文的原始數據，將原始報文按照相應的結構拆分成各要素代碼存儲到原始數據表中，基本上保存報文中的原始代碼信息不變。

2.3.3 產品表設計

產品表是對原始數據表進行加工后產生的數據表，如區域自動氣象站十分鐘數據產品表、常規要素產品表、分鐘降水量產品表、日數據匯總產品表等。對原始數據表加工后形成的產品表將用于生成氣象數據交換報文，并提供給用戶直接使用，所以應該考慮數據表結構、字段屬性設計的合理性以及數據信息的完整性。

表1 區域自動氣象站十分鐘數據產品表

名稱 代碼 數據類型 備注

記錄標示 D_RECORD_ID bigint

資料標示 D_DATA_ID varchar（30）

入庫時間 D_IYMDHM datetime

更新時間 D_UPDATE_TIME datetime

資料時間 D_DATA_TIME datetime 唯一索引

區站號_字符 V01301 varchar（10） 唯一索引

緯度 V05001 float

經度 V06001 float

資料觀測年 V04001 smallint 唯一索引

資料觀測月 V04002 smallint 唯一索引

資料觀測日 V04003 smallint 唯一索引

資料觀測時 V04004 smallint 唯一索引

資料觀測分 V04005 smallint

2分鐘平均風向 V11290 int

2分鐘平均風速 V11291 float

……

2.4 訪問接口

數據庫訪問接口是位于業務軟件和數據庫平臺的一個中間層，向上為業務應用軟件提供服務，向下訪問數據庫平臺獲取數據。安徽省綜合觀測資料基礎數據庫系統為各級用戶提供統一、標準的訪問接口，方便用戶高效獲取數據，同時可對用戶行為進行有效管理。

2.4.1 用戶權限管理

系統為不同的用戶提供擁有不同訪問權限的接口，實現數據庫訪問分級管理，權限設置包括用戶名/密碼、用戶的IP控制、用戶可訪問資料的時間跨度、用戶可訪問資料的要素種類、用戶可訪問資料的時間頻度、用戶可訪問的站點。

表2 訪問控制元數據表

名稱 代碼 數據類型 備注

記錄標示 D_RECORD_ID bigint 唯一索引

用戶標示 USER_ID int

用戶名 USER_NAME varchar（30）

用戶密碼 USER_PASS varchar（30）

用戶訪問地址 USER_IP varchar（200）

用戶類型 USER_TYPE varchar（30）

用戶啟用狀態 USER_STATUS smallint

2.4.2 接口訪問方式

系統提供API程序調用（C#）接口和Web Service接口兩種接口訪問方式，API接口使用C#封裝調用內部函數API，Web Service接口使用WS封裝調用內部函數API。如圖3所示。

圖3 省級區域自動站數據庫訪問接口功能圖

2.4.3 接口種類

根據接口訪問的數據對象可將訪問接口分為元數據接口和產品接口兩類。系統提供三個元數據接口，分別是指定站號查詢站點的更新時間以及站點詳細信息、指定區域名稱模糊查詢屬于該區域的站點詳細信息、指定區域代碼查詢屬于該區域的站點詳細信息。產品接口也就是數據檢索接口，包括一般站點資料接口、層次站點資料接口、專業專項定制接口。一般站點資料接口通過時間點或時間段、臺站號、區域代碼或經緯度區域范圍獲取數據表中存儲的觀測數據信息。層次站點資料接口針對地溫等分層要素，通過時間點或時間段、臺站號、區域代碼或經緯度區域范圍獲取該要素相應層次的觀測數據信息。專業專項定制接口是氣象產品定制接口，主要針對非氣象部門的行業用戶按需求定制、獲取如旅游氣象、交通氣象、山洪地質災害等特定條件下相關站點的觀測數據信息。

3.系統技術路線與實現

3.1 數據庫軟件

數據庫軟件采用的是SQL Server 2008數據庫系統，該版本改進了數據庫鏡像功能，提供了更可靠的數據庫鏡像的平臺，壓縮了輸出的日志流，使數據庫鏡像所要求的網絡帶寬達到最小，而且系統可以更細粒度的對數據庫管理系統日志記錄的不同階段所耗費的時間進行計時。

3.2 存取策略

考慮到氣象信息數據量大、保存時間較長等特點，采用對表和索引進行分區管理的技術，即將數據量較大的表或索引按照某種策略劃分成多個相對較小的、各自獨立的存儲空間，分別對其進行獨立的管理和操作來提高數據讀寫操作和查詢速度。生產數據庫設計保存35天的數據，按日劃分區域。實時庫設計保存7天的數據，按日來劃分區域。歷史庫設計保存13個月的資料，按月來劃分區域。數據庫分區可提高數據檢索速度、增強數據的可用性，同時在系統的安全性、靈活性以及可維護性等方面都有較大提高。

3.3 數據庫鏡像

數據庫鏡像技術實現一個數據庫的兩個副本，分別駐留在不同的SQL Server數據庫引擎實例上。其中一個引擎實例作為主體服務器，而另一個引擎實例則充當鏡像服務器。同步數據庫鏡像會話時，數據庫鏡像提供了熱備用服務器，可支持在已提交事務不丟失數據的情況下進行快速故障轉移。為支持自動故障轉移，在高安全性模式下配置數據庫鏡像會話，并且在只讀庫上配置了見證服務器。見證服務器是 SQL Server 的可選實例，它能使高安全性模式會話中的鏡像服務器識別出是否要啟動自動故障轉移。

3.4 數據復制

安徽省綜合觀測資料基礎數據庫系統通過實時只讀庫、歷史庫向用戶提供服務。為滿足用戶對數據時效和數據一致性的要求，系統必須及時將原始數據的更正信息同步至實時只讀庫、歷史庫等不同數據庫服務器上以保證數據的一致性，系統采用數據庫復制技術來實現這個功能。SQL SERVER提供了內置的復制能力，在復制技術的支持下系統可以快速維護不同數據庫服務器上的多個拷貝，從而保證數據的一致性，同時也可滿足時效要求。

3.5 系統開發與測試結果

按照安徽省綜合觀測資料基礎數據庫系統的設計要求，2014年5月完成數據庫系統的建設并投入業務應用，該系統實現了全省各類自動氣象站觀測資料的實時入庫、存儲和共享任務。經測試，全省2000個左右的區域級自動站的分鐘數據能夠一次性入庫，入庫時間在40秒以內，數據同步可在8-11秒之內完成。數據庫復制技術能夠實現只讀庫的任意擴展，擴展的只讀庫能夠實現數據庫資源的負載均衡和在線備份。數據訪問接口設計提高了數據庫訪問效率，用戶使用接口獲取全省24小時小時數據、約5萬條記錄可在30秒內完成。

4.小結

文中設計的安徽省綜合觀測資料基礎數據庫系統實現了全省國家級自動站、區域自動氣象站、土壤水分觀測站等多種觀測數據的采集處理、數據入庫、數據加工、報文生成、數據監控、數據服務等功能，滿足了數據庫系統的高可靠性、高穩定性和易維護性等要求。系統的建成，對推進安徽省氣象信息共享平臺、安徽省綜合觀測數據應用平臺、業務值班監控系統、數據質量控制系統等業務系統的建設奠定了基礎，其設計理念對今后省級基礎數據環境的建設也有著很好的借鑒意義。

參考文獻

[1]王宏記，王海軍，曾又枝等.省級氣象信息綜合數據庫系統的設計與實現[J].湖北氣象，2008，27（3）：253-256.

[2]馬渝勇，徐曉莉，宋智等.省級氣象信息共享系統的設計與實現[J].應用氣象學報，2011，22（4）：505-512.

[3]高峰，趙芳.元數據技術在MDSS 實時氣象數據庫系統建設中的應用[J].氣象科技，2006，34（Z1）：22-26.

作者簡介：金素文（1979—），女，工程師，主要從事氣象信息系統設計與開發以及氣象信息業務研究。