基于空間數據庫的氣象數據存儲及實時更新

陳晴，呂終亮，鄭衛江，胡永亮，滕舟（.浙江省氣象信息網絡中心，杭州　3007；.中國氣象局國家氣象中心預報系統與開放實驗室，北京0008）

?

基于空間數據庫的氣象數據存儲及實時更新

陳晴1，呂終亮2，鄭衛江2，胡永亮1，滕舟1
（1.浙江省氣象信息網絡中心，杭州310017；2.中國氣象局國家氣象中心預報系統與開放實驗室，北京100081）

摘要：

關鍵詞：

Model Builder建模技術；柵格數據；空間數據庫引擎（ArcSDE）

0　引言

地理信息系統（Geographic Information System，GIS）是以采集、存儲、管理、顯示與分析地球表面與空間位置、地理分布有關數據的計算機信息系統，是一種分析和處理海量空間數據的技術[1］。隨著GIS系統在更加復雜化、集成度更高和并發性更強等方面的應用需求，系統所需的空間數據量急劇地增長，用戶對空間數據并發的需求也日漸突出。GIS中用于存儲和管理空間數據的數據庫，經歷了從文件系統到關系型數據庫擴展、到面向對象數據庫、再到對象-關系數據庫的演變歷程[2］。空間數據庫技術是GIS的底層支撐技術，而空間數據庫引擎是GIS前端訪問空間數據庫的必經橋梁。隨著GIS技術的不斷發展，各種類型的空間數據引擎層出不窮。目前，國內外大型GIS的空間數據引擎產品在設計和實現方面各有所長。主要有ESRI公司的ArcSDE、MapInfo公司的SpatialWare以及國內SuperMap公司的XSDE等。

目前，基于GIS的氣象信息化研究已經比較普遍[3-5］，我們在“氣象應急服務系統中”嘗試應用ArcSDE和Oracle關系型數據庫對氣象空間數據和屬性數據進行統一管理，方便基于GIS技術應用系統進行數據訪問。本文基于COM的GIS二次開發技術和ArcGIS Model Builder建模技術，開發組件構建模型，結合ArcSDE的工作機制對氣象自動出圖系統進行改進，系統通過自動調用模型對各類實時的氣象數據進行處理，形成柵格數據后存儲到ArcSDE中，增強了氣象數據的共享和訪問能力。

1　系統設計

1.1氣象自動出圖系統總體架構

氣象自動出圖系統是一套基于GIS技術，以后臺運行的方式自動生成氣象專題地圖，滿足氣象服務材料制作需求的系統[6］。系統總體框架由服務器、數據服務層以及客戶端這三層結構組成，其總體架構如圖1所示。

1.2業務處理流程

基于ComGIS的二次開發技術開發組件，利用ArcGIS Model Builder技術制作模型獲取氣象領域的多格式數據源（文件），對數據進行轉換、分析處理，將數據上傳到ArcSDE中，向數據庫添加執行成功記錄。

圖1　氣象自動出圖系統總體架構

系統后臺通過任務配置管理用戶設置的時間，定時運行模型。前臺通過用戶界面，對后臺模型運行狀況進行監測，出現異常時給用戶一個友好的提示。系統同時具有捕捉錯誤的功能，并將不同的錯誤分為兩類（致命錯誤、一般錯誤）記錄在系統自帶的數據庫中，系統針對不同的錯誤進行相應處理。對于嚴重錯誤，系統將重啟服務器；對于一般錯誤，系統將重置任務，隔段時間后再次執行模型。用戶也可以使用手動運行功能設置模型參數并運行模型。主要流程如圖2所示。

2　系統實現的關鍵技術

2.1基于COM的GIS二次開發技術

ComGIS基于GIS技術與COM技術，是一種面向對象技術和構件式技術的GIS軟件。其基本思想是把GIS的各種功能模塊進行分類，劃分為不同類型的控件，每個控件完成各自相應的功能，各GIS控件之間以及GIS控件與其他非GIS控件之間，通過可視化的開發工具集成起來。組件式GIS基于組件對象平臺，具有標準的接口，允許跨語言應用，因而使GIS軟件的可配置性、可擴展性和開放性更強，使用更靈活，二次開發更方便[6］。

系統基于.NET Framework開發環境，以ArcGIS Desktop、ArcObjects和ArcGIS Engine為開發平臺，利用COM組件庫和ActiveX控件開發基于GIS的組件。

2.2基于ArcGIS Model Builder的氣象數據轉換

ArcGIS Desktop是ESRI公司推出的為企業構建完整地理信息系統的綜合GIS軟件平臺，是一系列整合的應用程序的總稱。ArcGIS Model Builder作為其中的一個應用程序，是一種高效的機制，它為設計和實現空間處理模型（包括工具、腳本和數據）提供了一個圖形化的建?？蚣躘7］，通過對模型的創建、編輯和處理工作實現復雜的GIS任務。模型類似于數據流程圖，通過直接拖拽的方式將工具和數據按照有序地組織成完整流程并執行。在Model Builder中，方法和流程可以共享。

圖2　業務流程圖

MICAPS數據是目前氣象領域較為廣泛的數據應用格式，不能直接被地理信息系統共享及訪問。從數據結構上來說，矢量數據與柵格數據是GIS中兩種主要的空間數據結構。矢量數據分為點、線、面三種類型，同類型的矢量數據可以形成矢量圖層[5］。MICAPS數據中，不同類型的信息可存儲在一個圖層中，而常用的GIS軟件特別是ArcGIS的數據組織中不允許將類型不同的矢量數據表達在同一圖層中的。因此要使MICAPS數據在ArcGIS軟件中共享和訪問，首先要解決MICAPS氣象資料數據的轉換問題。以MICAPS4類（如云圖、雷達以及模式輸出產品等）數據作為例子，首先需要將MICAPS4類文件轉換柵格數據（如Grid文件），將轉換后的數據重新進行組織形成多個圖層[5］，在ArcGIS軟件中應用。

在構建模型過程中，除了應用空間數據導入組件、數據合并組件等ArcGIS自身提供的地理處理組件外，還利用COM組件庫和ActiveX控件開發基于GIS的處理氣象數據的模型組件，完成整個數據處理流程。其中，ImportRadar組件和ImportCloudy組件分別實現了雷達、衛星云圖的氣象數據到GIS支持的柵格數據格式的轉換[5］。圖3為云圖原始文件（二進制文件格式）經過加工轉換錄入空間數據庫的過程。

圖3　云圖數據的加工轉換過程

2.3空間數據庫引擎ArcSDE

ArcSDE（Spatial Database Engine）是美國ESRI公司推出的空間數據庫引擎，是結合客戶/服務器模式和數據庫管理技術創建的一種技術[8］。ArcSDE是數據庫系統中管理地理數據庫的接口，允許往關系數據庫中加入空間數據，提供地理要素的空間位置及形狀等信息。ArcSDE處于應用程序和關系數據庫管理系統之間，利用關系數據庫在數據存儲、數據完整性等方面的先進技術手段[9］，將海量空間數據（包括矢量數據、柵格數據和元數據）有機地組織和管理起來，通過長事務處理、空間索引、版本管理等機制[10］，提供對空間數據的多用戶高效的并發訪問。ArcSDE支持矢量、柵格、CAD等數據的存儲，將數據移植到一個空間數據及屬性數據集成的關系數據庫管理系統（RDBMS）中，如SQL Server，DB2，Sybase，Oracle等[11］。

系統中對于以文件形式存儲的氣象數據，如實時獲取的雷達、云圖等柵格數據，采用空間數據庫技術進行統一管理，利用空間索引機制提高數據的訪問效率。服務器端的ArcSDE連接到Oracle數據庫后，利用ArcGIS Desktop中的ArcCatalog功能模塊管理空間數據，應用程序通過空間數據庫引擎ArcSDE訪問Oracle中的氣象數據，數據經過轉換處理后進入空間數據庫。

3　系統改進建議

3.1問題描述

我們在ArcGIS Model Builder平臺上利用自己開發的組件和ArcGIS自帶的組件根據需求搭建模型。在對數據進行更新處理時先刪除SDE中的原數據，然后同名上傳新數據。在模型處理時，將ArcGIS Desktop自帶的刪除SDE中的柵格數據組件delete（management）和向SDE拷貝柵格數據組件copy Raster（management）放置在不同的模型中，以避免SDE中數據刪除不成功時，上傳新數據也不成功。

在實現的過程中，當其他用戶對SDE中的柵格數據進行操作時，SDE中的該數據被鎖住，就無法對ArcSDE中的數據進行刪除，新的數據就無法覆蓋原數據。事實上，當對ArcSDE中的數據進行刪除操作時，已經與SDE空間數據庫進行了連接，當刪除不成功時，連接并沒有斷開。氣象數據轉變成柵格數據的包括雷達OHP、雷達DBZ、云圖等多種氣象數據，而且這些數據每半小時或每小時都需要更新。建立連接是一個費時的活動，系統需要分配其內存資源。如果某些數據庫連接后，不能保證使用完它后能被正確關閉，將導致數據庫系統中的內存泄漏、連接數超過設定，最終將不得不重啟ArcSDE空間數據庫引擎。

3.2對氣象自動出圖系統的改進措施

當ArcSDE中的數據被鎖住時，編寫一個del.sql文件刪除Oracle的process_information表里除本機用戶外的其他用戶的進程，刪除SDE空間下tables_lock表里面的記錄。編寫執行del.sql的批處理文件del.bat。

將模型部署到氣象自動出圖系統（MeteoCarto-Builder）上，當ArcSDE中的數據被鎖住時捕捉錯誤，根據返回的錯誤類型執行del.bat批處理，重新執行模型。以下是部分代碼的實現：

public static string m_strSpeError = "特殊錯誤"；

public string Execute（）

｛…

try｛…

GP.Execute（m_ModelName，parameters，null）；//執行模型

…｝

catch（Exception ex）

｛…

m_exeResult = "模型調用失?。。? " + Return-Messages（GP）+ ex.ToString（）；//捕捉GP執行時返回的錯誤消息

String strDisMethod = DealwithExeResult（strDis-Method，strIsError，exeType）；//通過調用函數獲取解決錯誤的方法

if（strDisMethod== "刪除SDE進程信息并重新執行模型"）

｛This.Execute（）；｝

…｝

｝

private string DealwithExeResult（string strDisMethod，string strIsError）//根據錯誤類型執行相應處理

｛…

if（GetErrorType（ExeResult）== m_strSpeError）//根據錯誤信息得到錯誤類型

｛System.Diagnostics.Process.Start（"delpath\ del.bat"）；

strDisMethod = "刪除SDE進程信息并重新執行模型"；

…

return strDisMethod；

｝

｝

通過對系統的改進，當ArcSDE中的數據死鎖時，系統自動解鎖，通過對模型的調用，實現自動對各類實時的氣象數據進行處理，上傳到ArcSDE中。云圖數據在ArcSDE中顯示的效果如圖4所示。

圖4　云圖的柵格數據

4　結語

本文基于COM的ArcObject組件的二次開發技術和ArcGIS Model Builder建模技術，完成各類氣象數據的導入、轉化、分析處理，形成相應的柵格數據存儲到ArcSDE中。并從ArcSDE的工作機制出發解決當ArcSDE中的數據被鎖住時，根據捕捉到的錯誤，自動解鎖，實現ArcSDE中數據的實時更新，自動用新數據同名覆蓋原數據，提高了氣象數據查詢、檢索的效率，以實現其在Internet環境下的高效組織和便捷服務[13］。與此同時氣象數據可訪問性更好，利于目前較多基于GIS技術應用系統的訪問。

參考文獻：

[1］肖邱勇，李光強.空間數據性能對比實驗分析[J］.計算機工程與應用，2014，50（21）：139-142.

[2］祝青，胡奇光.空間數據庫引擎技術研究[J］.軟件導刊，2009，8（3）：165-166.

[3］張永華，肖文名，何婉文，等.基于ArcGIS和VML的氣象信息發布平臺[J］.應用氣象學報，2011，22（4）：498-504.

[4］鄭衛江，吳煥萍，羅兵，等.GIS技術在臺風預報服務產品制作系統中的應用[J］.應用氣象學報，2010，21（2）：250-255.

[5］孫利華，吳煥萍，鄭金偉，等.基于Flex的氣象信息網絡發布平臺設計與實現[J］.應用氣象學報，2010，21（6）：745-761

[6］吳煥萍，羅兵，王維國等.GIS技術在決策氣象服務系統建設中的應用[J］.應用氣象學報，2008，19（3）：380-383.

[7］An Overview of Model Builder.http:// webhelp.esri.com/arcgiSDEsktop/9.3/index.cfm？TopicName=An_overview_of_ModelBuilder.

[8］張晶晶.基于ArcSDE的水土保持遙感數據庫系統研究與實現[J］.武漢：華中科技大學，2007.

[9］張紅忠，趙強.ArcSDE數據庫連接池技術在WebGI中的應用[J］.計算機系統應用，2008，17（5）：90-93.

[10］熊麗華，楊峰.基于ArcSDE的空間數據庫技術的應用研究[J］.計算機應用，2004，24（3）：90-96.

[11］Robert WEST.Understanding ArcSDE[R］.Californ -ia USA：ESRI，2001.

[12］李航，岳麗華.基于COM和ArcSDE的遙感圖像數據庫開發[J］.計算機應用，2005，25（5）：1212-1214.

[13］李集明.基于Internet面向社會公益性共享的氣象科學數據存儲檢索策略研究[J］.氣象科技，2007，35（4）：589-592.

According to the business requirement of meteorology service products in China Meteorological Administration emergency platform，discusses the secondary development of GIS based on COM technology and ArcGIS Model Builder modeling technology，builds models similar to work flow diagrams.Then MeteoCartoBuilder is used to call models to process multiform meteorological data to form raster data and store the raster data into the Spatial Database Engine（ArcSDE）.At the same time，updates the raster data in ArcSDE in real time，thus the data of meteorological product can be updated automatically，managed conveniently and have a strong real-time to meet the needs of real-time update of data in another system.

Keywords：

Model Builder Modeling Technology；Raster Data；Spatial Database Engine（ArcSDE）

The Storage and Real-Time Updating of Meteorologic Data in Spatial Database

CHEN Qing1，LV Zhong-liang2，ZHENG Wei-jiang2，HU Yong-liang1，TENG Zhou1
（1.Zhejiang Provincial Meteorological Information and Network Center，Hangzhou 310017；2.Forecast System and Open Laboratory of National Meteorological Center，China Meteorological Administration，Beijing 100081）

Abstract：

結合中國氣象局應急平臺氣象服務產品生成業務的需要，詳細討論基于COM的GIS二次開發技術和ArcGIS Model Builder建模技術，以類似工作流的方式構建模型，通過氣象自動出圖系統（MeteoCartoBuilder）自動調用模型對各類氣象數據進行處理加工，形成柵格數據后存儲到空間數據庫引擎ArcSDE中，同時實現ArcSDE中柵格數據的實時更新。達到氣象產品數據自動化更新，管理方便，具有很強的實時性，以滿足第三系統數據實時更新的需要，在氣象服務產品制作中表現出較強的應用能力。

文章編號：1007-1423（2016）15-0051-05

DOI：10.3969/j.issn.1007-1423.2016.15.013

作者簡介：

陳晴（1984-），女，浙江杭州人，碩士研究生，工程師，研究方向為計算機網絡技術、計算機支持的協同工作、氣象數據加工處理

收稿日期：2016-03-24修稿日期：2016-05-15