基礎氣象數據管理應用系統開發

侯宜廣，趙 瑾，李冰峰，王 霄

(江蘇省徐州市氣象局，江蘇徐州 221002)

?

基礎氣象數據管理應用系統開發

侯宜廣，趙 瑾，李冰峰，王 霄

(江蘇省徐州市氣象局，江蘇徐州 221002)

基于歷史資料應用的便捷性、安全性考慮，舍棄C/S模式的庫管結構，采用B/S模式，利用高級編程語言開發一套基于B/S模式的網絡歷史地面氣象資料管理應用系統。其中系統資料導入功能可以將徐州市(含5個縣站)地面報表文件序列整編入庫，構建徐州及5個縣站1953年至現在的Oracle歷史資料庫，并分別建立時、日、旬、月、季、年歷史資料、氣候資料等數據表；編制資料庫服務器端管理軟件，實現對資料庫進行指令級的管理調度及用戶間的資源均衡分配；同時編制基于Web管理應用界面以滿足用戶對資料庫的各種檢索需要，頁面針對各氣象要素提供分時、日、旬、月、季、年及氣候資料統計查詢等應用功能，從而滿足氣象科研及社會各行各業對氣象資料統計查詢的需要。

基礎氣象數據；管理系統；Web應用；開發

徐州市歷史地面氣象資料檢索服務是氣象科技服務的重要組成部分[1-3]。氣象資料網絡共享也是氣象業務、氣象科研的迫切要求[4-5]。近年來大部分省級氣象資料文件庫已經成型，各站點A文件的歸檔庫存已經納入正常業務管理，使得利用計算機編程建立歷史地面氣象資料庫成為可能。隨著網絡技術的迅猛發展，通過網絡訪問數據庫也成為主流需求，單機人工分檢讀取數據資料文件已經是落后的代名詞，在資料檢索效率和準確性方面也無法與數據庫相提并論。據了解，現在省內行業內還沒有建立一個完整的氣象基本資料庫，資料使用還是停留在單機人工檢索查詢數據文件這一尷尬局面，基本氣象資料的科學管理、高效使用成為省內氣象人的迫切愿望[4]。為此，基于業務實用考慮，徐州市氣象局開發了“基礎氣象數據管理應用系統”，目的在于改變長期以來市局級臺站基本氣象資料“無庫”狀態，為氣象科研、氣象服務社會打開了一扇方便之門。筆者在此對該系統的整體架構、實施策略、功能、部署實施等方面進行了詳細分析。

1 系統整體架構

“基礎氣象數據管理應用系統”可以有效利用市局現有的辦公環境、設備，結合行業及社會對氣象資料的實際需求，通過對氣象資料原始文件數據格式分析，來確定系統的整體架構。系統采用J2EE技術實現B/S使用模式，架構采用MVC開發模式，中間件采用TOMCAT，數據庫使用ORACLE。這些技術的綜合應用在系統開發效率、運行速度、系統性能、可移植性等方面得到提高，也減少了系統對高性能硬件的依賴。系統在功能模塊中強化了并發控制和數據完整性質量控制機制。系統的整體架構如圖1所示。

2 系統實施策略

“基礎氣象數據管理應用系統”是氣象數據現代化管理的重要內容，它涉及數據文件多、數據類型廣，應用需求多樣性，既要考慮行業的專業需要，又要兼顧社會各行業的普遍需求。看似簡單的系統其實施難度是很大的。其中，基礎氣象數據包括120多個站點的氣象數據文件，50多項氣象要素數據。不同時期站點氣象數據的采集方式、站點氣象數據文件格式均存在差異。“基礎氣象數據管理應用系統”為了應對這些復雜的數據結構的解析及應用需求的多樣性，系統采用總體設計結構并分布實施的策略。

2.1 總體規劃分步實施策略 系統開發過程中，首先集中開發力量進行項目一期基礎功能的實現。基礎功能主要包括人工站數據解析入庫，各類氣象要素查詢，最值、極值統計，以及手機端android系統功能等。按照項目計劃，開發人員進行“徐州市基礎氣象數據管理應用系統”的軟件開發，并通過實際的人工站點氣象數據文件進行功能驗證。基礎功能開發測試完畢，對系統的功能和實用性進行驗證并逐步完善之。完成系統基礎功能開發驗證后，解決系統進階功能及高級功能的實現。進階功能主要包括自動站的數據維護、站點維護；高級功能主要包括各類數據的統計分析，氣象要素的候、旬、月、季、年相關統計，以及手機端android系統功能完善和ios系統的功能開發等。

2.2 快速原型法開發策略 在開發方法上，系統實施放棄了傳統的瀑布方法，采用快速原型方法，即在需求分析階段，通過C/S版本原型系統的試用啟發，解析氣象數據文件進行需求確認和詳細分析；在開發過程中，也是首先快速開發出基本的原型系統框架，在系統的試運行工程中不斷根據需求調整設計和編碼，結合系統測試人員的測試意見反饋，最終形成完全滿足實際需要的系統軟件。通過快速原型法的實施，容易快速得到真實的需求，縮短了系統的開發周期，減少了開發成本。

2.3 開發工具 系統業務處理采用B/S模式體系結構,對此利用MyEclipse等開發工具進行JAVA WEB應用的開發。應用服務器考慮部署維護便捷性，采用Tomcat6.X版本。

3 系統功能

“基礎氣象數據管理應用系統”主要解決以下幾方面問題：①收集整理徐州市轄區內6個觀測站所有歷史資料文件；②收集整理轄區內多要素自動站(共120多站)歷史資料文件；③按照53個氣象要素建立一個包含6個站的歷史資料庫，同時從零起步將轄區內的所有多要素自動站氣象數據維護進歷史資料庫；④征集各個氣象資料使用部門意見，匯總歷史資料使用需求；⑤根據歷史資料使用需求建立一個B/S模式的資料管理、檢索功能豐富的應用平臺，對內網、外網授權提供歷史資料檢索應用服務。

3.1 系統基本功能 由系統數據交互功能(圖2)可見，數據庫是整個系統服務的核心模塊，為應用服務提供數據支持，應用服務為微機用戶和手機用戶提供具體的系統功能。目前系統的主要功能模塊包括A類氣象文件管理、天氣預報管理。其中，A類氣象文件管理功能菜單包括單要素查詢、統計分析及多要素查詢，單要素查詢又包括氣壓、海平面氣壓、氣溫、濕球溫度、水汽壓、相對濕度、露點溫度、定時風向風速、10 min風向風速、云狀、實測云高、總云量、低云量、能見度、電線積冰、降水量、每小時降水量、草(雪)面溫度、0 cm地溫、5 cm地溫、10 cm地溫、15 cm地溫、20 cm地溫、40 cm地溫、80 cm地溫、160 cm地溫、320 cm地溫、小型蒸發、大型蒸發、日照時數等30多項要素查詢功能；統計分析包含要素值統計、天氣現象出現次數及天氣現象年度最早最遲日期等統計項。另外，系統還具有站點維護、數據導入、天氣預報查詢及統計查詢結果導出等功能。

3.2 系統數據庫 數據庫管理系統是計算機管理信息系統中最重要的組成部分。隨著系統需求的不斷提高，以往基于文件管理小型化、簡單化的數據庫管理系統(如dBase、PoxBase、FoxPro等)已經不能滿足現代數據應用要求。系統數據庫平臺的選型應滿足：①分布式。支持各服務器節點的透明性和分布式事務處理的完整性。②并發處理。要求能夠實現多個客戶端應用程序同時并發訪問數據庫。③完整性、一致性。整個數據庫系統要保持高度的數據庫完整性、一致性。④數據共享。各個應用子系統能同時使用或訪問網上統一邏輯數據庫。

基于數據管理的大型化、功能完備的數據庫管理系統(如Oracle、Sybase、DB2等)，正逐漸成為數據庫應用領域的主流。在綜合考慮了系統的安全性、并發性、可移植性以及售后服務和培訓機制等多方面因素之后，選擇了Oracle數據庫作為該系統的數據庫平臺。

3.3 系統重點功能 作為該系統的數據最初來源，數據導入功能(即數據文件的讀取解析入庫)是所有其他功能的基礎環節。由于數據文件中的氣象數據類型繁多，不同種類數據的格式相互獨立，同一類數據因年份不同數據格式也有差異。這些因素直接影響到文件的解析難度。如何減少代碼量，保證數據質量和解析效率，應對未知的可變因素，提高軟件的擴展性，是此功能最為核心的解決內容。系統數據處理流程如圖3所示。

功能設計的核心類有如下幾個：①ADataImpController。控制層，接收前臺發起的導入操作請求，啟動數據文件讀取和解析。②ADataService。業務層接口，負責提供氣象數據的業務操作接口。③ADataDao。數據層接口，負責提供數據模型信息入庫接口。④CommonBean。數據模型類，作為所有類型氣象數據的父類，主要定義站點、時間等信息。⑤BeanHandler。核心處理器接口，提供數據文件內容封裝到具體數據模型的算法。⑥A_DATA_TYPE_PARAM。數據類型、數據對象、數據處理器對應關系設置表(圖3)。控制層、業務層、數據層3層分離的設計，實現不同操作的功能解耦；使用接口編程，可靈活設置具體類型數據的操作；統一的父類定義，便于控制層、業務層和數據層的對象引用和傳遞。其中，ADataImpController類中，savedaydata方法是整個解析數據并進行封裝的核心。savedaydate方法對應的程序代碼如下：

private void savedaydata(String datastr, YFBean yfbean, Adatatypeparam param, Map> datatypemap) {

try {

List commonbeanlist = datatypemap.get(param.getItem());

if(commonbeanlist == null){

commonbeanlist = new ArrayList();

}

String javabeanclassname = param.getClassname();

String handlerclassname = param.getHandler();

CommonBean commonbean = (CommonBean) Class.forName(javabeanclassname).newInstance();

BeanHandler handler = (BeanHandler) Class.forName(handlerclassname).newInstance();

int cursize = commonbeanlist.size()+1;

圖1為Cloumn-Bot實物，底層為機器人行走系統，由驅動單元、遙控單元和紅外測距傳感器組成；下層為機器人的數據采集系統、信息遠端通信系統及語音識別系統，數據采集系統由傳感器單元組成，信息遠端通信系統由藍牙模塊與Wifi模塊組成，語音識別系統由語音識別單元與Arduino uno單片機組成；中部為機器人智能抓取系統，由機械臂及舵機驅動單元組成；頂層為機器人人機交互系統與主控系統，人機交互系統由UART觸控屏與舵機單元(用于控制屏幕位置與朝向)組成，主控系統由Aruino mega 2560及各系統總線與組成；主控與各系統間通信使得機器人得以實現其功能.

String curday = cursize<10?("0"+cursize):(cursize+"");

commonbean.setFilename(yfbean.getFilename());

commonbean.setSta_id(yfbean.getSta_id());

commonbean.setSta_ym(yfbean.getYear()+yfbean.getMonth()+curday);

commonbean.setDatatype(param.getItem());

if(datastr.trim().endsWith(".") && !"W0".equalsIgnoreCase(param.getItem())){

handler.handledata(commonbean, datastr.replaceAll(".", ""), param.getItem());

}else{

handler.handledata(commonbean, datastr, param.getItem());

}

commonbeanlist.add(commonbean);

} catch (Exception e) {

e.printStackTrace();

}

}

該方法從A_DATA_TYPE_PARAM表中獲取數據類型、數據對象、數據處理器對應關系，初始化當前解析數據文件月份的所有數模，通過java反射機制得到具體數據類型的數模類、核心處理器類，初步處理數據文件內容后，開始數據封裝操作。封裝完成的數據對象，作為文件內容的信息載體，在應用服務中傳遞，經由數據層做最后的數據持久化，完成數據庫層的數據存儲。

3.4 PC端功能 系統PC端Web應用主頁界面如圖4所示。PC端功能涵蓋歷史資料解析入庫、氣象數據查詢、氣象數據統計分析、web功能展示、手機端數據接口等部分。其中，解析存儲功能包括解析算法維護、資料庫設計、文件上傳、文件手動解析入庫、文件自動解析入庫、文件解析日志查看；數據查詢功能包括站點查詢(查看數據文件涉及到的站點)、文件數據查詢(時間區間內查看導入文件的數據)、指定要素查詢(時間區間內查看選定要素的數據)、氣象數據查詢(時間區間內查看各類氣象數據)、多要素綜合檢索(要素間查詢條件為與、否、或)、站點維護、氣象數據維護；統計分析功能包括要素值統計(時間區間內的要素值合計、平均、極值及關聯時間)、氣象數據統計(時間區間內的氣象編碼時間及次數)、氣象數據年度分析(時間區間內的氣象編碼最早和最遲出現日期)；Web展示是指統計功能中的圖形化展示(折線圖、柱狀圖、餅狀圖、玫瑰圖)；數據接口是指手機端數據查詢接口；數據導出是指導出文件(文件格式excel、txt)。

3.4.1 系統應用基本檢索功能。系統應用基本檢索功能包括：①按指定時間段輸出用戶選定的所有要素及用戶指定的統計值(合計、平均、最高、最低或關聯時間)。②用戶指定的年份區間、指定日期區間、指定要素值輸出及用戶指定的統計值(合計、平均、最高、最低或關聯時間)，如1980～2000年4月1～15日的所有日平均氣溫值及相關統計值。③用戶指定的年份區間、指定日期區間、指定時次區間、指定要素值輸出及用戶指定的統計值(合計、平均、最高、最低或關聯時間)，如2010～2013年3月15～30日21：00～次日08：00所有風向風速值。④用戶指定的年份區間、指定日期區間、輸出用戶指定的指定天氣現象或天氣現象編碼的出現日期及日數合計，如1980～1992年11月1日～12月15日把所有出現霾編碼05的日期輸出及日數合計。⑤用戶指定的年度區間、指定要素或天氣現象(天氣現象編碼)在各年度中最早和最遲出現的日期輸出(除了霜、結冰、凍土、雪、霰、冰粒、米雪、雪深、雪壓、電線結冰是以7月1日～次年6月30日為一個年度外，其余均按1月1日～12月31日正常年度來統計)。

3.4.2 系統應用綜合檢索功能。系統應用綜合檢索功能包括：①能夠單要素按數值范圍、按用戶設定時間區間查詢。②能夠實現兩要素按用戶設定的數值范圍、按用戶設定時間區間查詢，兩要素的查詢條件可以是“與”，也可以是“或”或是“非”的關系。③能夠實現三要素按用戶設定的數值范圍、按用戶設定時間區間查詢，三要素的查詢條件可以是“與”，也可以是“或”或是“非”的關系。④對于天氣現象、云狀來說，做特殊查詢處理，如天氣現象可以按編碼按日期范圍查詢，云狀可以日期范圍查詢。⑤風向查詢，2004年12月31日及之前風向按17個方位、按4次定時記錄值來查詢，2005年1月1日及之后風向按方位度數范圍并可按小時來查詢。⑥電線結冰查詢可以按日期范圍按要素記錄是否為空來查詢，不為空的全部輸出。⑦對于能見度查詢來說，1979年12月31日及之前的要素記錄是按級別來量化，與其后的記錄不可合并統計比較，已另作特殊處理，如用戶查詢中涉及到1979年能見度記錄時能給出提示，并指導其正確查詢輸出結果。3.5 手機端功能 系統的手機客戶端啟動界面如圖5所示。手機端僅涉及安卓系統功能，只實現查詢功能。手機端安卓系統具有查詢功能和實時提醒功能，其中查詢功能包括全市氣象數據查詢(氣溫、風向風速、相對濕度、0 cm地面溫度)、氣象數據累計查詢(降水量、蒸發量)、平均氣溫和氣溫極值查詢(平均氣溫、最高氣溫或最低氣溫)、氣象要素極值、均值查詢。實時提醒是指實時天氣預報。

4 系統部署實施

“基礎氣象數據管理應用系統”部署的網絡環境是以徐州氣象局中心網絡為基礎，通過百兆接入互聯網實現應用系統的網絡連接訪問。

4.1 服務器環境及部署文件 系統的可靠運行關系著業務的正常運轉，因此對數據庫服務器和應用服務器操作系統有較高的要求，同時還要考慮到易于使用、易于維護等因素。建議采用一臺配置性能較高的服務器，安裝server 2008操作系統，數據庫采用 oracle 10 G 大型關系型數據庫。客戶機操作系統為Windows XP/Win7/Win8等，支持TCP/IP協議即可。系統部署實施會涉及兩類文件,一是數據庫文件，一般是sql腳本和dmp類型的數據庫文件；二是系統軟件部署文件，文件為jsp和jar類型的java開發的web項目的部署文件。

4.2 系統軟件環境及所需服務 系統涉及的軟件環境及版本主要包括oracle(10 G)、jdk(1.6以上)、tomcat(6.0以上)。系統正常運轉和訪問需要這樣幾種服務支持：數據庫服務，提供數據的讀取和寫入；應用服務，提供系統的應用訪問服務；Internet服務，系統需支持外網訪問，否則手機應用及公網用戶將無法使用。

5 總結

5.1 系統整體特色 系統開發中注重數據流程化管理，借鑒工作流模式，將各項系統功能按數據類型和使用過程進行流程化編程控制管理；系統管理及應用強化操作便利性，系統提供多種數據管理方式，使得數據操作更便捷靈活；系統兼顧了無紙化辦公的需求，系統可以將各種應用查詢結果直接導出為用戶文件；系統設置了權限管理功能，通過對系統中重點數據操作的身份驗證，實現對敏感操作的控制，這不僅加強數據的安全性，同時防范無關人員的惡心攻擊；系統開發中注入了柔性化設計理念，對系統代碼、系統參數等多種信息提供參數化、個性化功能，使系統具有良好的彈性和擴展性，充分適應管理的發展和變化要求，從而延長系統生命周期。

5.2 系統各項性能指標

5.2.1 系統輸入、輸出數據精度。日期型數據精確到“日”，日期范圍在1900～2099年；時間型數據精確到“毫秒”；其他數據類，依據氣象行業規范要求，分別采取不同精度[6-9]。系統數據傳輸過程中時間類數據精確到“分”，其他類數據保留原有精度。

5.2.2 系統的時間指標。響應時間，簡單的查詢少量數據時間在1 s以內；復雜的多重的查詢少量數據時間在2 s以內；簡單的批量的查詢數據時間在3 s以內；一般性的統計查詢時間在10 s以內。系統更新一條記錄的時間在1 s以內；更新批量記錄(指一次可能輸入的最大記錄數)的時間不超過10 s。系統連接數據庫(包括確認身份、操作權限認證)一般在3 s內完成。

5.2.3 系統的總體性能。用戶界面風格一致、友好，滿足業務需求；操作靈活方便，具有詳細的操作手冊；事務處理在客戶、服務器端分布合理，系統運行穩定；具有相關的系統維護功能，保證管理模式發生變化時系統不受影響；充分保證數據的安全性、一致性、正確性和低的冗余度。

[1] 管杰裕.地面氣象信息化資料處理系統[J].廣西氣象,2005(2):53-56.

[2] 高峰.數據庫實時監控系統的設計與實現[J].氣象,2005(3):81-84.

[3] 沈文海,趙芳,高華云.國家級氣象資料存儲檢索系統的建立[J].應用氣象學報,2004(6):727-736.

[4] 高梅,接連淑,張文華.氣象科研數據共享系統建設[J].應用氣象學報,2004(Z1):17-25.

[5] 高梅,張文華,接連淑.WebGIS技術在氣象科研數據共享系統中的應用嘗試[J].應用氣象學報,2004(Z1):168-170.

[6] 中國氣象局.地面氣候資料30年整編常規項目及其統計方法(國標)QX/T22-2004[S].北京:中國標準出版社,2005.

[7] 俞衛平.地面氣象觀測數據文件和記錄簿表格式[M].北京:氣象出版社,2005.

[8] 俞衛平.地面氣象觀測規范[M].北京:氣象出版社,2003.

[9] 成秀虎.地面氣象測報業務系統軟件操作手冊[M].北京:氣象出版社,2005.

Development of Basic Meteorological Data Management Application System

HOU Yi-guang, ZHAO Jin, LI Bing-feng et al

(Xuzhou Meteorological Bureau, Xuzhou, Jiangsu 221002)

Based on considerations of convenience, safety of historical data applications, abandoning database management structure C / S mode, using B / S model, a historical meteorological data network management application system based on B / S mode was developed with high-level programming language. System data import function which can be Xuzhou (including five county station) report file sequence reorganization ground storage, Xuzhou Construction of the station in 1953, and five counties to history now Oracle database, and were established, day, ten-day, month , quarter, year historical data, weather information and other data tables. Preparation of database server management software, to achieve a balanced distribution of resources database management scheduling and instruction-level users. At the same time preparing a Web-based management application interface to meet the user needs to retrieve a variety of repositories, page provides time-sharing, day, ten-day, monthly, quarterly, annual and climate statistics query and other applications for each meteorological elements. To meet the needs of all sectors of society for meteorological research and statistical weather data queries.

Basic meteorological data; Management system; Web applications; Development

侯宜廣(1965- )，男，江蘇徐州人，工程師，從事天氣預報方面研究。

2015-04-21

S 164

A

0517-6611(2015)17-219-04