氣象實時數據庫服務監控系統設計與實現

李德泉, 何文春, 阮宇智, 劉一鳴

(國家氣象信息中心,北京100081)

0 引言

實時氣象資料數據庫系統(以下稱“實時數據庫”或“實時庫”)作為“國家級氣象資料存儲檢索系統”(MDSS)[1]的重要組成部分,是氣象信息部門針對預測預報及相關業務開發的重要數據服務系統,是確保從觀測到預報業務流程按時高效完成的重要基礎性數據支撐環境。實時數據庫系統對實時氣象資料進行接收、分類、加工處理,并以地面氣象資料、高空氣象資料、海洋氣象資料、氣象輻射資料、農業氣象資料、數值分析預報產品資料、氣象災害資料、氣象衛星資料、氣象服務產品資料和其他資料等12類資料形式存儲并實現資源共享。

所謂實時(Real-Time),是指數據庫應用系統一方面要維護大量共享數據和相關用戶信息,另一方面其應用服務有很強的時間性,要求在一定的時刻或者一定的時間期限內從外部環境采集數據,經規范化處理后,以有效的數據組織形式存儲,并及時響應隨后的大量并發訪問服務。因此,整個數據處理過程具備短時、高效特點,并且每種資料對數據服務時效具有明確要求,過時則無意義[2]。

氣象實時數據庫不僅作為關鍵數據源連接氣象中心、公共氣象服務中心等部門的實時業務系統,還為科研用戶提供一定時間期限內數據查詢下載服務。因其在整個業務流程中發揮關鍵的底層支撐作用,其服務穩定性及時效將直接影響其服務對象的實時業務效能和氣象預報及時性與準確性,進而影響氣象部門對內外行業用戶、公眾用戶的氣象服務質量,因此從業務運行開始就一直作為國家氣象信息中心的運維重點。

為了保障實時數據庫系統穩定對外服務,協助值班人員日常值班,實時動態地監測各類氣象實時觀測資料的到報、入庫質量,以及實時庫處理相關線程的運行狀態,國家氣象信息中心組織技術力量,開發完成實時氣象資料數據庫業務監控系統(RDBCat,以下簡稱“實時庫監控系統”),并在2008年奧運會期間業務上線運行。

1 實時數據庫監控系統設計思路

1.1 基于服務監控系統的通用性設計

作為針對實時氣象數據庫服務業務的監控系統,系統核心設計目的是針對實時庫的運算環境及健康狀況進行即時監控與報警,確保實時數據服務能穩定支撐業務使用。因此可歸類為服務類監控系統(Service Monitoring and Control,SMC)[3]。

服務監控系統重點負責對信息服務系統運算環境及健康狀況進行即時監控,動態顯示服務成功或失敗的可辨識特征,并對服務異常狀況報警。此外,服務監控還負責收集服務故障相關上下游運行環境及流程信息,進而協助使用部門改進IT服務質量。

服務監控系統往往以分布式方式采集來自于信息服務系統各相關設備、應用程序的日志信息和告警事件信息,判斷服務故障事件,快速定位故障事件的來源,分析故障發生的根本原因,集中展示信息服務系統運算環境及整體安全狀況。一旦發現高風險服務故障事件還可觸發相應故障事件處理流程,督促值班人員及相關責任人進行快速排查問題和解決故障。

服務監控系統從體系架構上可劃分為4層:信息基礎層、數據采集層、數據及規則處理層、展示層4個層面,各個層面功能各不相同。整體架構如圖1所示。

信息基礎層為整個系統提供基礎設備及軟件運行環境(網絡設備、安全設備、業務系統、服務器等),其同時也是各類監控信息的數據獲取來源。

數據采集層:根據系統內部指定的運維策略,借助由專用的數據采集引擎,數據采集層負責從信息基礎層采集各種報警信息、日志信息、流量信息,經過數據格式標準化、數據歸并、統計等處理后,形成原始數據,提交給上層的數據及規則處理層。

數據及規則處理層:將采集到的原始數據按照業務系統數據、設備數據、網絡及安全數據等進行分門別類,經過基于統計、基于規則的關聯分析后,科學合理地定義各類故障事件的性質和處理級別,作為展示層的數據基礎。

展示層:實現整個服務監控系統的靈活展示和配置管理。通過豐富的、多元化、分層次的圖形化展示方式呈現各個監控對象的運行狀況,提供有效的安全預警,減免嚴重故障的發生,快速應對突發故障并降低所造成的損失。

總之,一個設計良好的面向服務的監控系統應該至少具備如下完整因素:明確的監控對象,涵蓋所有業務需要關注的場景并提示給使用者簡明清晰必要信息,監控信息明確分類并具有界面友好的處理建議,當然,其他方面諸如快速部署、擴展性、標準化等根據實際需求也必須有所側重。同時,與之匹配的業務運維架構尤其是監控流程和運維崗位設置等管理性內容也會對監控系統設計及發揮效益起著至關重要的先決制約作用。

圖1 服務監控系統體系架構

1.2 基于業務值班需要的監控功能設計

鑒于服務監控系統主要用戶為一、二線值班人員,作為業務值班監控系統,其設計思路上還應充分考慮業務值班特點:支持聲音報警;支持監控信息集中“一頁式”定制顯示,使報警信息及統計信息一目了然,不需要手工繁瑣操作;簡單易行的策略配置操作;監控信息按錯誤類別分類,用戶可定制哪些類別在監控屏幕顯示,屏蔽不關心的信息提示,避免值班干擾;具備故障處理向導,幫助值班人員與后臺技術人員溝通。

值班運維業務架構采用一線、二線兩個級別。一線值班并報告故障內容,二線值班負責排查并去除故障,之后反饋一線。

同時,業務監控系統還應作為二線進行故障追溯和關聯分析的輔助工具。

1.3 基于氣象實時業務數據處理通用流程的設計需求

1.3.1 典型的實時數據庫業務數據流程

實時庫作為系統的監視對象,其流程直接影響系統的監視內容的設計,以圖2典型的實時業務流程進行簡要分析說明。

流程中,報文數據首先進行入庫前預處理,報文經過格式檢查并解析后按照分類歸并,再存放于一定目錄組織形式的臨時文件庫中,格式檢查錯誤信息被寫入日志。入庫處理進程從臨時文件庫中提取數據并存入關系型數據庫或文件庫中,期間經過質量控制算法發現的異常值寫入要素異常值日志。對外服務平臺從數據庫中提取信息,以程序接口、文件推送、查詢服務等多種形式對外提供實時數據服務。

圖2 實時數據業務流程

1.3.2 監控對象需求

由上述流程可以看出,實時氣象資料數據庫系統的監視對象至少包括2個方面:數據庫系統運行監視和數據處理流程監視。

數據庫系統運行監視包括數據庫管理系統運行狀態監視、空間監視和用戶行為監視。重點包括底層的商用數據庫的關鍵進程監視、表空間監視、CPU與磁盤利用率等系統資源監視。

數據流程監視包括來報數量統計、應到報缺報統計、未處理資料統計、數據入庫統計、錯報統計、處理進程狀態監視、數據備份和清除監視。監控對象重點是對實時資料(地面、高空、國外數值預報產品等)入庫情況、關鍵進程運行狀態、數據處理臨時目錄文件積壓狀態、數據質量監測等,并提供各省入庫詳情的查詢。

1.3.3 告警級別

監控系統根據關鍵性能指標(Key Performance Indicator,KPI)計算監控對象狀態所處的風險值,由該值確定告警級別。系統將風險值分為5個級別(見表1),最終界面顯示的告警級別則將5個級別歸并為異常、警告、正常3個級別,用紅、黃、綠不同顏色標識。

風險計算公式為:

F通常取一個線性函數集合,即在不同的定義域范圍內選取不同的線性函數,以體現隨著監控對象狀態值在一定條件下不斷上升,將導致風險值線性增長。通過與KPI的比較分析計算得到的風險值為一個數字,不同的取值范圍決定了不同的風險級別,風險級別劃分為5個等級:

表1 事件狀態風險值級別

2 系統實現

2.1 監控系統架構設計及部署

系統的架構選擇沒有采用廣泛的Brower/Server架構,而是采用Client/Server架構。關于“胖”、“瘦”客戶端的優缺點爭論由來已久。胖客戶端的優勢在于優良的客戶體驗以及可以離線操作,瀏覽器的優勢在于易于部署管理,全部數據存儲在服務器,不存在數據同步問題。事實上,現在胖客戶端通過不同的技術革新已遠不是過去傳統意義上的胖客戶端,例如Java的RCP[4-6]以及.NET平臺上的Smart Client[7]解決方案都具有廣泛成功案例。不存在任何情況下都能始終保持優勢的唯一方案,方案選擇更多依據實際需要。系統選擇胖客戶端主要基于如下考慮:

(1)首先最重要的一點,是希望利用客戶端的資源為值班人員提供更加友善的用戶體驗。這樣監控客戶端既可充分使用客戶端的硬件資源和軟件資源,也可利用客戶端本地存儲能力。

(2)通過一個集中的服務器,客戶端通過網絡可以非常容易地實現部署和自動更新,不再出現傳統胖客戶端程序會出現的各客戶端版本不同的情況。

(3)系統整體功能劃分上,考慮客戶端負責數據展現和人機交互,而服務器負責數據處理和業務邏輯。

圖3為監控系統架構設計圖。

在整個監控框架中,系統通過部署在各監控對象上的代理程序(agent)采集各種運行狀況信息,形成標準化的XML格式監控原始數據,提交給上層的數據及規則處理層。該層獲得原始數據后,再根據在客戶端和服務器端始終保持一致的全局規則及處理策略,對原始數據經過基于統計、基于規則的關聯分析后,形成監控展示信息及報警數據,以標準化的XML形式,通過HTTP協議傳輸給展示層。展示層對XML文件進行解析,根據客戶端的顯示配置文件,定制圖形化展示各個監控對象的運行狀況,并對異常情況進行聲音報警。

采用agent方法的優勢在于分布式部署方便靈活,擴充方便,并且不會對之前監控內容造成影響;另外,為便于系統整合,agent數量可以隨意增減,每個監控對象可以用一個agent采集,也可多個監控對象由一個agent采集。

圖3 實時庫業務監控系統架構

2.2 通過策略配置來靈活地調整監控內容

對業務監控系統,必須支持對監控規則的靈活配置和調整,以應對加密觀測和突發應急服務事件需要,因為這些情況下往往需要對部分規則進行調整,如地震期間對某些重點關心區域應到站入庫情況格外關注,甚至要求必須規定時間內全部入庫,對這些應到站的報警閾值就會調高已滿足監控需要。

系統通過靈活的監控策略配置文件并建立一套系統的監控規則語法描述,實現規則驅動下的監控內容靈活調整功能。系統將XML格式作為策略配置文件基本格式,并參考氣象行業元數據特點[8],制定出XML規范下的規則策略描述形式。數據庫監控策略中需考慮的常見因素如提供者、數據庫及表、響應方法、閾值、頻率、時間及邏輯計算、規則屬性及內容等,在配置文件中皆使用相應XML的標簽項(Tag)和屬性值定義表示。

當各種規則及監控參數變更時,通過XML中的標簽項及屬性值予以執行。

2.3 基于REST架構思想構建監控內容傳輸

系統通過HT TP協議向客戶端返回XML格式監控數據結果。也就是說,監控結果作為一種服務器資源,可以簡單用類似http://localhost/rdbcat/output/device/01這樣形式的URI表示并獲取,并且每一個會話都是無狀態的,可重復使用URI訪問監控結果資源。這一點上正好符合REST(Representational State Transfer)[9]架構思想,即利用簡便易行的方式滿足遠程信息獲取的需要。

REST方法引入的另一優勢就是系統監控結果可以方便整合進入其他監控平臺,因為外部平臺獲取系統監控結果資源的方法十分簡單,采用URI訪問即可獲得監控結果(XML形式),然后按照XML描述規則解析內容即可完成整合。

系統監控結果沒有采用一個大而全的形式表示,而是分而治之,依照監控對象的分類劃分為資料入庫、統計、設備、進程等多個XML文件,便于未來與其他系統整合時,外部系統僅提取所關心監控結果文件即可。

以下為資料入庫狀況的結果XML文件示例。

此外,為降低運維復雜度,系統還為一二線值班人員進行展示及功能的特殊功能設計,如集中告警及處理,自動遠程升級,日志查詢統計,各省未入庫站點分省統計,要素異常值報警等。實時庫監控系統客戶端運行展示界面如圖4所示。

圖4 實時庫業務監控系統界面

3 結束語

隨著氣象業務發展,對實時數據庫進行有效服務監控越來越重要。一方面,隨著數據庫系統自身龐雜程度以及業務系統技術復雜度的提高,對整個系統基礎架構維持良好狀態的要求不斷增強;另一方面,實時業務對實時數據庫的業務依賴性逐步加深,實時庫服務在業務供應方面所扮演的角色也變得日益重要。業務依賴性的直接結果是,任何服務故障都會很快被各級用戶很快感受到,從而使其對氣象部門對外服務能力產生嚴重影響。

實時庫監控系統自2008年奧運會期間業務上線運行后,一直作為重要業務保障,提升氣象信息部門在應對實時庫突發故障事件時的響應能力,從而有力地支撐實時數據庫系統的穩定運行。系統通過采用服務監控處理流程,能夠不斷改進監控方式以配合業務和技術變動,在發生服務事故時提高響應能力,從而降低對業務的影響。經過兩年多業務實踐的充分檢驗,監控系統部署靈活、運行穩定、界面友好、升級方便、運維簡便,已成為數據服務方面的重要業務保障系統,實現了預期設計目標,并為未來信息中心建立統一的大運維監控平臺奠定技術基礎。

致謝:感謝國家氣象信息中心沈文海、高華云、琚玲、劉媛媛、周崢嶸、楊昕等大力協助和支持,以及眾多一線值班人員的業務應用反饋支持;感謝張小纓對系統后續業務發展方向上的重要建議。

[1] 沈文海,趙芳,高華云,等.國家級氣象資料存儲檢索系統的建立[J].應用氣象學報,2004,6.

[2] 趙芳,高峰.如何保障實時氣象資料的管理[J].中國計算機報,2007.

[3] Baron Anthony,Pizzo Kathryn,Sarabosing Michael.Methods for service monitoring and control,US Application Publication,Publication No.US 2006/0064486 A1 published on 23-Mar-2006[EB/OL].http://ip.com/patapp/US20060064486.

[4] Rich Client Platform.[EB/OL].http://www.eclipse.org/rcp.

[5] Ed Burnette.SAS.Rich Client Tutorial Part[EB/OL].http://www.eclipse.org.

[6] Jeff McAffer,Jean-Michel Lemieux.Eclipse Rich Client Platform-Designing,Coding,and Packaging Java Applications[D].NY:Addison-Wesley Professional,2005.

[7] Smart Client Application Model and the.NET Framework 1.1,Microsoft[EB/OL].http:∥msdn.microsoft.com.

[8] 王國復,徐楓,吳增祥.氣象元數據標準與信息發布技術研究[J].應用氣象學報,2005,1.

[9] Roy Fielding.Architectural Styles and the Design of Network-based Software Architectures[D].University of California-Irvine,2000.