任燕 謝永德 任萍

摘 要:在實際的氣象服務實踐中用戶的需求是千變萬化的,經常會需要非常規的統計資料,氣象部門沒辦法面面俱到地事先建立起包含各種統計數據的數據庫供使用者查詢,為了能滿足用戶的各種需要,需要構建出一個數據加工平臺。該平臺實現的手段:一是針對不同要素的物理意義及特點盡可能多地增加統計數據的品種,豐富數據庫內容;二是設計出復雜的豐富的邏輯查詢方法從數據庫中提取數據;三是設計出針對數據庫中基本數據的自由選擇時間段的向導式的統計查詢的方法;四是設計出一個可交互的數據工作表以及二次加工算法工具,對通過各種方式查詢顯示在工作表中的數據進行二次加工,由使用者根據需要自行設計統計方法,得出較復雜的統計序列。
關鍵詞:氣象觀測 信息服務 數據處理 加工平臺
中圖分類號:P413 文獻標識碼:A 文章編號:1674-098X(2015)08(a)-0092-02
在實際的氣象服務實踐中服務對象的需求是千變萬化的,經常會需要非常規的統計資料,氣象部門沒辦法面面俱到地事先建立起包含各種統計數據的數據庫供服務人員查詢,通過采取以下四種措施構建了一個數據加工平臺:一是針對不同要素的物理意義及特點盡可能多地增加統計數據的品種,豐富數據庫內容;二是設計出復雜的邏輯查詢方法從數據庫中提取數據;三是設計出針對數據庫中基本數據的自由選擇時間段的向導式的統計查詢的方法;四是設計出一個可交互的數據工作表以及二次加工算法工具,由服務人員根據需要自行設計統計方法,得出較復雜的統計序列。
1 數據加工平臺框架
數據加工平臺由數據源、數據集、數據庫服務器和軟件系統四部分組成。數據源由信息化數據文件組成;數據集是由信息化數據文件經過統計加工形成的數據文件;數據庫內的數據來源于數據集;軟件系統由若干程序模塊組成,是整個系統的核心。
2 數據集的設計與制作
數據集的設計與制作是構建數據加工平臺的一個重要環節,其質量的高低將直接影響數據加工平臺的性能。在數據加工與統計產品研究的基礎上,根據數據庫內容及結構的需要設計制作,利用經過質量控制的信息化數據文件進行統計加工形成16個文本文件。
2.1 源數據的質量控制
數據集制作用到的是地面氣象觀測數據文件(A、A0、A1、A6、A7文件),在進行數據集加工之前,必須對所使用的資料進行質量控制。對原始觀測資料的質量控制方法有:要素允許值范圍檢查、氣候學界限值檢查、極值檢查、內部一致性檢查、時間一致性檢查、空間一致性檢查等。數據集加工用到的數據應是具有質量控制標識的數據,其中標識為正確和可疑的數據參加統計,對標識為錯誤的數據進行訂正,無法訂正時,按缺測處理。
2.2 數據集的結構組成及內容設計
日數據集內含定時觀測數據及日統計數據,利用這些數據可以進行千變萬化的統計加工;旬數據集內含定時及日統計值的旬統計值;月數據集包含定時及日平均、日極值等的月統計值以及有關要素的回數、次數、日數、頻率、極值、日期等的月統計值;年數據集包括常規氣象要素的年統計值以及有關要素的回數、次數、日數、頻率、極值、日期等的年統計值。
3 數據庫構建
3.1 數據庫設計的方法原則
數據加工平臺的數據庫設計主要是靜態的數據庫模型設計,一旦設計完成,在實際的應用當中數據庫的結構基本是固定的,而變化的只是氣象資料的續加。數據庫的設計和應用程序的設計緊密相連,以保證實現應用程序的全部功能。
3.2 數據庫的安全訪問策略
數據加工平臺數據庫的安全策略由四層安全驗證體系組成。
(1)客戶端軟件級別。數據加工平臺采用公共用戶和公共密鑰的方式進行訪問,公共用戶和公共密鑰由系統管理員提供給用戶,真實的登錄密碼隱含在密鑰當中,由客戶端應用程序軟件系統負責解釋,這樣就保證了數據庫服務器的安全。
(2)數據庫服務器級別。由數據庫服務器SQLServer2000進行身份的認證,確保非法用戶無法登錄。
(3)數據庫級別。訪問數據庫的用戶必須是在指定的數據庫上已經注冊的合法用戶,否則無法訪問。
(4)數據對象級別。數據庫的合法用戶并不能訪問所有數據,而只能訪問獲得訪問許可的以單站劃分的數據對象。
4 軟件系統應用環境構建及應用
數據加工平臺的所有功能都是通過軟件系統來實現的,軟件系統提供了一個集成的系統應用環境,其承載著數據查詢和數據加工的責任,同時又是一個開放的系統,允許使用者利用自身的想象力進行統計方法的設計與開發,從而滿足用戶的不同需求。
4.1 軟件系統的結構模型
軟件系統是一個多功能模塊的組合體。其組成見圖1。
4.2 軟件模塊功能設計及應用
4.2.1 參數設置
參數設置模塊用于設置客戶端軟件運行時所需要的參數數據。
4.2.2 連接數據庫服務器
該模塊負責打開遠程的數據庫,并建立連接。
4.2.3 數據庫維護模塊
主要包括:
(1)管理員入口,該模塊是專門提供給數據加工平臺的管理員使用的。
(2)預處理A0文件,為了保證數據統計的一致性和正確性,在進行數據集加工之前需要對A0文件進行必要的處理,統一A0文件的格式。
(3)建數據集,利用原始數據文件統計加工形成建數據庫的數據文件。
(4)數據集入庫,將16個數據集內的數據寫入數據庫服務器。
4.2.4 數據庫應用模塊
(1)工作簿操作。
一個客戶端軟件實例可以新建或打開多個工作簿,每一個工作簿包含多個工作表,在形式和功能上很像Microsoft office Excel工作簿。工作表是查詢結果的載體,也是對查詢結果進行進一步加工的平臺。工作表由若干行若干列交叉形成單元格,查詢出的數據最終顯示在單元格內,每一個單元格內的數據都是可以交互的,單元格可以被選中、多重選中,單元格里的內容可以刪除、修改、移動等。
客戶端軟件的工作簿很好的兼容了Excel工作簿,這樣查詢結果就很容易被傳播和共享。
(2)常規查詢。
常規查詢的功能:
①分別指定被查詢資料的起止日期,被查詢出的資料是不同年份的同一時間段。
②一次可以查詢多個要素,在列表中任意選擇。多要素查詢時每個要素在工作表內占一列,按時間順序從上到下顯示;單要素查詢時可以按列顯示,也可以按行顯示,即查詢出的同一年的數據顯示在一行內,從左到右日期由先到后,這種方式為在工作表上對資料進行二次加工,比如累年統計,提供了極大的方便。
③對每一個被查詢的要素都可以同時指定查詢條件,查詢條件用邏輯表達式表示。在查詢同一時間不同要素時,每個要素都可以指定查詢條件,要素之間的查詢條件可以是與的關系也可以是或的關系,通過這些查詢條件的設定可以做出非常復雜的查詢結果。
(3)統計查詢。
統計查詢和一般查詢不同的是它更具靈活性,它輸出的數據不是數據庫中事先統計好的數據,而是根據用戶需求對數據庫中日數據表中的日數據進行進一步統計加工的結果,該模塊提供了豐富的統計項目列表,針對不同的氣象要素的物理意義設計出豐富多彩的統計項目,并且各統計項目中加進了大量的可由用戶定制的參數,使統計計算出的結果千變萬化。
①任意時間段要素統計。
任意時間段要素統計是對日數據表中某一時間段的四次定時數據或日統計數據的進一步加工,統計時間跨度是任意的,可以跨年跨月,也可以將時間段設成逐月的方式,從而直接統計出一年當中逐月的統計值,是對常規查詢的重要補充。
②初終日期統計。
該統計模塊允許用戶任意設定要素的界限值,從而可以統計出滿足用戶需求的各種統計數據。初終日期統計包括天氣現象出現的初終日期和氣象要素值達到某一標準的初終日期。
③初終日(初日固定日期)間要素統計。
初終日(初日固定日期)間要素統計就是先統計出歷年某種現象出現或某要素達到標準的初終日期(方法見5.2.4.3.2),然后再統計該初終日期間(或初日到某一固定日期間)某氣象要素的統計值,例如:日平均氣溫穩定通過10 ℃期間的積溫、降水量合計、日照時數等等。
(4)工作表函數計算。
工作表的函數計算功能是本系統最為突出的特點,它是利用嵌入在表內的統計函數和運算符號對表內的數據進行二次統計加工,可以滿足復雜統計的需求。它使得客戶端軟件加工出的數據千變萬化。
統計工具能識別數據系列(日期的統計只對日期格式的單元格有效),當焦點單元格在數據行尾或數據列尾時可以自動選擇需要統計的數據行或數據列并將統計值顯示在焦點單元格內。
5 結論
通過對地面氣象資料產品的即時加工技術研究,得到以下結論:
(1)突破以往的數據查詢系統局限,即構造一個地面氣象數據加工平臺,而不是一個簡單的查詢系統,滿足用戶千變萬化的特殊需求。
(2)除了常規的統計值,針對不同的要素設計出不同的統計產品,比如:氣溫最強連續升高數值、氣溫最強連續降低數值、最多連續降水量、取暖度日數、土壤解凍(凍結)初終日期等等。
(3)在地面氣象資料數據共享方面提出了具體的做法。通過構建數據庫,搭建數據庫服務器,開發基于網絡的軟件系統實現了數據的共享。
參考文獻
[1] 李集明,沈文海,王國復.氣象信息共享平臺及其關鍵技術研究[J].應用氣象學報,2006,17(5):621-628.
[2]李集明.基于Internet面向社會公益性共享的氣象科學數據存儲檢索策略研究[J].氣象科技,2007,35(4):589-592.
[3]劉昊鈺,馬強,常飆,等.國家級氣象資料存儲檢索系統監視分系統的設計和實現[J].應用氣象學報,2007,18(2):251-256.