B/S架構的氣象資料綜合監控平臺建設

張杰，張思豆，代華

（1.云南省氣象信息中心，云南昆明，650034；2.云南大學大氣科學系，云南昆明，650091）

B/S架構的氣象資料綜合監控平臺建設

張杰1，張思豆2，代華1

（1.云南省氣象信息中心，云南昆明，650034；2.云南大學大氣科學系，云南昆明，650091）

本系統主要是對省級收集的各類下行資料進行檢索、實時信息采集、入庫、補調、監控，并全面、實時、準確地提供各類資料的詳細信息，達到了對實時資料的高效管理和實時監控的目的。本系統的建成實現了云南省氣象資料的全面網絡化管理，實現網上工作，減輕值班人員勞動強度，提高工作效率。

B/S架構；監控；氣象資料

0 引言

隨著科學技術的發展，數值預報技術和氣象探測技術得到長足發展，再加上各類新增觀測項目的開展實施和多種數值預報模式的業務運行以及中國氣象局大批海量實時數據通過CMACast下發至省級信息中心，氣象數據傳輸量、監控量急劇膨脹，省級節點由原來的日傳輸量2T發展至今日傳輸量4T左右；并且隨著預報周期的變短，預報員對資料的及時性、可靠性、準確性要求大大提高，信息中心每天要從4-5T的海量資料中檢索出本省預報員需要的強針對性產品相當于大海撈針，但目前我省對國家局廣播下發的各類資料只是進行簡單監控或者沒有監控，經常存在資料不完整或及時性不夠的問題，對預報業務的開展產生了影響。

實時監控系統就是要變被動為主動，通過在相關服務器上部署資料預處理程序，從底層對資料到報情況進行實時監控、報警以及資料的及時補調。管理員在任何地方根據提示采取相應的解決方案，使系統保持在穩定的運行狀態，實時提供高效的數據服務。并將監控內容精確到文件名，能夠快速確定并醒目標注已到和未到的文件名、到達時間及文件大小，提高工作效率，減少重復勞動。同時資料到達信息能在10分鐘內到達氣象臺、氣候中心、人影中心及全省業務應用人員桌面。基于以上的原因，云南省氣象信息中心組織中心人員設計開發了云南省氣象資料綜合監控平臺。本平臺分為兩大系統，一個是資料預處理子系統，另一個是web頁面展示子系統。

1 系統的需求分析

基于軟件需求分析[1]的概念、目的，著重對云南省氣象資料綜合監控平臺進行需求分析，從最主要的幾個方面進行闡述，第一是可行性需求分析，第二是功能性需求分析，通過對以上兩方面的需求分析，對系統提出了嚴格的要求，為下一步開發工作打下了夯實的基礎，并且為整個系統提供了依據，指明了方向。

1.1 可行性分析

云南省氣象信息資料綜合監控平臺是專門為云南省氣象臺以及相關的業務單位業務需求而開發的。老的資料監控方式是靠人工被動發現，工作效率低，很難進行管理和監控，而且缺乏規范性和專業性，無法滿足大量新增業務的需求，導致工作起來總是手忙腳亂，開發統一的監控平臺是迫切需要的。

首先要搞清楚軟件系統的功能，為了做好這一工作，到州市進行考察，了解預報員做預報時最關心什么資料，都需要哪些資料，并對這些資料做了歸類總結，采用從下到上的方法再進一步的整理和表達用戶所需。通過對系統可行性的分析總結，用例圖如圖1所示。

可行性用例圖中分為兩級，省局監控人員及預報員。國家局中心站負責下發資料，省級服務器接收后，監控人員監控報文是否到達、報文是否正確、程序是否正常、報文是否轉發解碼，報文是否及時入庫等等；預報員對部分資料進行解碼應用，他們關心報文的正確性、完整性以及資料的分類。如出現問題，要在第一時間確認這些資料的屬性，預報員比較關心頁面的瀏覽速度、數據的正確性、瀏覽是否方便等功能。

圖1 可行性分析用例圖

1.2 功能需求分析

氣象數據種類繁多，數據量大，所以查找一個沒有到達的資料文件非常困難，必須對這些資料進行規范管理，使得依托網絡進行監控成為現實。通過對臺站、本單位以及下屬機構的一線值班人員各方面情況的詢問以及了解，本系統在功能上的需求用例圖如圖2所示。

圖2 功能需求用例圖

整個項目需要分為兩個子系統：資料預處理子系統(云南省各種下行氣象資料檢索、入庫、補調、刪除等)和Web頁面展現子系統(云南省氣象資料綜合監控平臺網站)。

2 系統設計

2.1 總體架構設計

整個系統采用三層體系結構，即瀏覽器/服務器，從邏輯上講，本系統分成三層：第一層交互層，第二層服務層，第三層數據訪問層。三層體系結構示圖如圖3所示。

圖3 B/S的三層結構示意圖

（1）交互層

交互層位于體系結構的最上面即最外面，主要任務是接收用戶發送的數據并且表示數據，操作界面非常人性化，是可交互的，是最接近用戶的一層。這層中我們采用ASP. NET技術，里面嵌套了VbScript腳本語言、JavaScript腳本語言等來完成該層的任務工作。也用到了很多控件，操作不但簡單，而且可以和數據進行直接的關聯，不需要編寫任何代碼，直接在面板中設置屬性即可。

（2）服務層

本層的設計強調了云南省氣象局業務的可操作性、可整合性。在系統中，服務層會對一些數據進行緩存，例如一些基本上不變化的數據，但是使用率又比較頻繁，在這種情況下，用戶只需要請求一次這些相同的數據，他就可以從緩存中直接讀取，也避免了重復讀取而導致數據庫系統效率降低和破壞。

（3）數據訪問層

數據訪問層實現了數據訪問功能，是為交互層、服務層服務的。它直接和數據庫建立連接，來完成用戶的各種請求數據，例如查詢操作、插入操作、更新操作以及刪除操作等等，然后把所得到的數據又返回給用戶。

2.2 功能模塊設計

系統功能模塊設計的主要任務就是確定如何實現本系統的預定功能。確定了要開發哪些模塊以及模塊之間如何實現調用，采用功能模塊化以后，系統各方面功能都變得簡單。首先系統的結構變得非常清晰，其次是設計人員設計思路也變得明了，最重要的是系統后期的測試、調試也相對容易的多。在系統維護時，只需要修改相應模塊即可完成系統的變動，大大提高了工作的效率。系統總功能模塊結構如圖4所示。

圖4 總功能模塊結構圖

根據功能模塊劃分方法，云南省氣象資料綜合監控平臺分為兩個子系統，一個是資料預處理系統主要任務是對收集來的資料首先進行分類、檢索、屬性提取、入庫等，另一個是web頁面展示系統，主要被把數據庫里的數據以圖表形式顯示出來。

2.2.1 資料預處理系統的設計

資料預處理系統是一個7×24h運行的實時程序軟件。為保證數據傳輸的高效運行，設計上采用以時間觸發器控制所有傳輸流程，把要實現的傳輸內容分成多個功能模塊，由多個線程負責，確保模塊之間互相不影響，獨立運行。各模塊之間的工作流程圖如圖5所示。

每個模塊都由一個線程負責，線程1負責生成節目表，每天上午八點整啟動定時任務，生成一天的節目表；線程2負責檢索資料，線程2在線程1生成節目表的基礎上，首先和節目表中所有未到資料比較，對已經到達的資料用sql語句保存屬性存到臨時文件，同時對相應的文件更改通配符；線程3負責將線程2保存的臨時文件進行入庫，更新到達文件的狀態、文件名、時間、大小等；線程4負責資料補調，在資料基本到齊時啟動補調任務，對節目表進行掃描，找出未到資料，啟動ftp到國家局服務器調取并入庫；線程5負責資料的刪除，啟動定時任務每天凌晨對所有數據掃描，刪除7天前的數據。

圖5 各模塊之間工作流程圖

2.2.2 Web頁面展現的設計

Web頁面展現子系統主要是將資料預處理系統入到數據庫里面的數據如何展現出來，根據資料的功能劃分為四個模塊，數值預報模塊、高空地面模塊、衛星資料模塊、服務產品模塊，每個模塊之間都是獨立的，互不影響。每個模塊的設計方法基本相同，以數值預報模塊設計方法為例，設計流程圖如圖6所示。

圖6 數值預報模塊設計流程圖

上述流程首先是從每日節目表中讀取當日資料日期、時次、文件名以及到報狀態；如果狀態為資料已到，統計到報個數，如果沒有到報，再繼續掃描節目表；后面再對到報狀態進行顯示，已到報顯示為綠色，未到的個數為應到數減去已到數，未到數顯示紅色，一個流程結束。

2.3 數據庫的設計

考慮到監控信息數據量大，并發操作比較多，實時性要求高，SQL Server數據庫在可用性強、可擴展性強方面有一定優點，但考慮到大規模監控資料的入庫及查詢，對各類資料到達情況詳細監控到文件名級，由于各類資料的文件名命名方式和補調的配置信息繁雜，對資料信息配置表的科學設置要求很高，所以本項目采用了ORACLE11g作為綜合監控平臺的數據承載數據庫。

數據庫設計的核心是數據庫物理結構設計[2]，簡單說也就是數據庫表設計，數據庫的表結構設計非常重要，要想讓應用程序效率高，維護起來又方便，并且有良好的擴展性，必須要設計好數據庫的表。

經過綜合各類文件名命名方式，對監控信息配置表進行了多次完善，包含了資料名稱、資料文件名提取SQL串、文件名掩碼及其關鍵字、文件名無用信息替換方式、補調起止時間、資料補調源服務器信息、目標服務器信息等。數據庫表分為資料信息表、每日節目表、資料屬性表。數據庫表的設計規劃直接關系到整個監控系統的運行是否流暢、網頁瀏覽是否快捷，操作是否簡便，綜合考慮上述問題且盡量減少數據庫查詢中表連接的數目，加快查詢速度，首先建立資料信息表表，其次為了數據庫查詢效率，避免因多表關聯導致查詢效率低，對各類建立了每日資料屬性信息表。數據庫表中最重要的是每日資料節目表，所有屬性都在一張表中，并對表進行定期刪除、設置索引，確保快速查詢且查詢結果準確可靠。在系統研發期間不斷進行增加、刪除、修改完善。

2.3.1 資料信息數據表

資料信息表(CMACAST_DATAINFO)存放的內容為CMACAST系統接收的國家局下發的資料，我們把這些進行歸類，把每類資料的信息詳細情況倒入到數據庫里面。資料信息包括資料的名稱，資料的時次，有些資料即使一個時次里面也包含很多個，所以又增加了資料的資料文件名中變化的字段、后綴；每種資料收集后要分類，要分發到不同的服務器以及不同的目錄，所以又增加了傳輸的源路徑和目的路徑；資料收到后我們要記錄資料的到達時間，設置了到達時間的字段。表結構列表如1所示。

表1 資料信息表(CMACAST_DATAINFO)

2.3.2 資料屬性信息數據表

資料屬性信息表(CMACAST_DATALIST)為每種資料每個時次應到個數，資料表的內容包括資料名稱，資料名稱必須與信息表里面的資料名稱進行匹配；為了便于查找，按照各種分類設置了文件名共有部分、文件日期、文件的時次、預報日期、預報時間、資料中綴、資料后綴字段。表結構列表如2所示。

表2 資料屬性信息表(CMACAST_DATALIST)

2.3.3 每日節目表信息表

每日節目表信息表(CMACAST_DAYDATA) 每日后臺程序早上八點鐘生成當日的節目表，節目表里面的信息只保留一周的，由于這些信息的監控基本屬于實時的，不需要長期保存。資料表在整個系統中有著承前啟后的作用。資料屬性表里面的內容為我們業務所需的一些信息，資料的時間、資料的名稱、資料的時次、資料是否到達、到達的時間以及最關心的資料是否完整，即資料的大小。表結構列表如3所示。

表3 每日節目表信息表(CMACAST_DAYDATA)

3 系統的實現

3.1 資料預處理系統

3.1.1 系統內容

資料預處理系統主要包括各類收集資料的檢索入庫和補調，采用DELPHI XE2編程[3]技術，包含了【重新生成當日節目表】和【檢查資料到達情況并入庫】等功能。資料預處理系統分為六大模塊，分別是：節目表生成模塊、資料檢索模塊，資料入庫模塊、資料補調模塊、參數配置模塊、刪除資料模塊。

3.1.2 各模塊功能

生成節目表模塊每天定時讀取資料信息表中信息生成當日節目表，生成完成后所有資料狀態都顯示未到；資料檢索模塊主要依據當日資料到達節目表中文件名級別的到達信息檢索資料到達情況，檢索過程中對每一個文件的屬性，包括文件的文件名，到達時間，后綴、中綴、文件的大小等屬性進行sql語句的保存；然后資料入庫模塊對保存的sql語句進行入庫，入庫時只是對節目表信息進行更新，并對所有信息進行記錄保存，生成日志；補調資料模塊主要在指定時間內依據當日資料到達節目表中文件名級別的到達信息中檢索未到資料，并使用資料監控及配置信息表中的資料補調源服務器信息及目標服務器信息進行具體到文件名級的資料補調下載；資料配置模塊可以對新增資料和不需要的資料進行刪減以及一些參數的改動的配置；資料刪除模塊定時刪除7日前資料到達監控信息，可鼠標點擊進行手動實時操作。

圖7 資料預處理系統主界面

這了六個模塊既相輔相成，又相互獨立。后臺程序為24小時不間斷實時運行，兩分鐘更新一次，保證值班員第一時間掌握資料到達情況。主界面如圖7所示。

3.2 web頁面展示系統。

3.2.1 頁面總功能

云南省氣象資料綜合監控Web頁面整體布局采用了框架結構。分為“左—右”結構，左方為一級菜單，右方為一級菜單打開展示的內容。整個頁面如圖8所示。

圖8 應用展現層主界面

左方的一級菜單主要使用框架結構，完成對系統的導航以及系統的所有功能模塊的轉換；各個模塊主要顯示在右邊的框架內。本系統頁面上的框架全部使用Iframe框架，使用起來比較靈活，可以加在網頁中任何一個地方。左右框架的寬和高設置固定值，框架隱藏，右邊和下邊的滾動條隨著頁面內容的多少自動在 Iframe中顯示滾動條。主框架的內容隨著左邊框架的導航而變化。

3.2.2 各模塊功能

Web頁面展示部分基于B/S架構，集瀏覽、查詢等功能為一體。這部分根據資料的用途共分為4大模塊，分別為：數值預報模塊、高空地面模塊、衛星資料模塊、服務產品模塊。四個模塊顯示方法相同，都采用進度條顯示方式，區別在于每種資料的個數和每日的到達時次不同。

數值預報模塊：這個模塊分了11類資料，這些資料有些一天有兩個時次，有些一天有四個時次，每個時次到報數各不相同，所以在這個頁面顯示中同時按照時次和報類進行顯示，一個頁面顯示24小時所有的到報情況。每種報每個時次都采用進度條的現示方式，綠色代表到達，紅色代表未到，同時在進度條上顯示百分比，為了更清楚報文到達情況，在進度條的下方也顯示了報文的應到數、已到數、未到數。打開頁面可以一目了然資料到達情況，還可以點擊進度條或者文字查看每種資料每個時次的詳細信息，詳細信息顯示每個文件的文件名，文件到達時間，文件到達狀態，文件大小等。詳細信息按照到報節目表里生成的文件順序進行排序，到達的文件顯示綠色，未到達的顯示紅色，可清楚的知道缺少哪個文件，方便補調。整個頁面還設置了前一天、后一天的查詢按鈕查看歷史資料信息。

高空地面資料模塊：這個模塊里面只有高空地面資料，24小時都有資料，而且每個時次的個數有些不同，在這里我們選擇把一整天資料總數作為一個個體，只顯示一條信息，同樣也是進度條顯示方式，不需要點擊鼠標查看詳細信息，進度條下面直接顯示當前資料詳細信息。

衛星資料模塊：這個模塊分了五類資料，這些資料是不定時到達，每一類資料一天到達數作為一個個體，以進度條的方式顯示，點擊進度條顯示一整天的資料詳情，資料詳細頁面增加了資料的到達時次。

服務產品模塊：這個模塊分了11類資料，資料同樣是不定時到達，有的資料一天也只有一個，所以也是把每類資料一天總數作為個體進行統計，以進度條方式顯示。

4 結束語

本項目的建設，能夠較大地提高我省對各類到達資料的監控能力，同時最大限度地減輕業務值班人員在資料到達監控方面的工作強度，有效提升各類資料的利用率及利用時效，從而提高預警預報時效，提高氣象為各行各業服務能力，有效提升我中心業務人員對各類資料的獲取方式、分發轉發、存儲備份方式以及部分資料的數據格式的理解，特別是對現有資料的種類有了深刻的理解，大大提升今后的資料支撐服務能力。

[1]樊愛京.軟件工程[M].北京：北京郵電大學出版社,2012,211.

[2]Adam Jorgensen,Patrick LeBlanc，Jose Chinchilla. Oracle 11g 2008 BIBLE[M].Tsinghua University Press,2012.

[3]吳秀榮.Delphi程序設計項目教程[M].北京：電子工業出版社,2011,198-234.

B/S structure of meteorological data comprehensive monitoring platform construction

Zhang Jie1,Zhang Sidou2,Dai Hua1
(1.Yunnan meteorological information center，Kunming Yunnan,650034;2.Department of atmospheric sciences, yunnan university,Kunming Yunnan,650091)

This system is mainly to the collection of all kinds of downward at the provincial level data retrieval and real-time information collection, storage, filling, monitoring, and provide all kinds of comprehensive, real-time and accurate data for detailed information, to achieve the efficient management of real-time data and the purpose of real-time monitoring The establishment of this system has realized the comprehensive network management of meteorological data in yunnan province, realized the online work,reduced the labor intensity of the staff on duty, and improved the work efficiency

B/S architecture; monitoring; meteorological data

“云南省氣象資料綜合監控平臺研發”項目資助。