王家樂,徐亮亮,于溥天
(內蒙古自治區氣象信息中心,內蒙古 呼和浩特010010)
在海量氣象數據的快速應用需求、快速數據解析與數據高速訪問的業務背景下,MICAPS4(Meteorology Information Comprehensive Analysis Process System Version 4)數據環境應運而生,其采用分布式存儲技術定制研發,滿足了多樣異構數據的存儲需求。作為預報核心業務系統的支撐數據環境,目前只能通過MICAPS4客戶端查看數據,沒有統一的數據服務接口來支撐其他業務系統及科研等擴展應用數據需求;本地越來越多的單位和個人已經習慣了基于MUISC(Meteorological Unified Service Interface Community)統一服務接口的標準實現數據的檢索和下載。因此,需以實際業務需求為出發點,基于MUSIC開放平臺完成屏蔽底層數據庫的數據接口開發,發布面向業務科研人員的統一、標準、豐富的數據統一服務接口,實現MICAPS4數據環境資料的接口調用。
內蒙古自治區MICAPS4數據環境建設工作起步比較早,在數據接入和數據環境推廣工作開展過程中,將MICAPS4客戶端在全區推廣。客戶端是MICAPS4數據環境與業務人員交互的核心工具,也是氣象數據集中展示的載體,為用戶提供高分辨數據的高效顯示,矢量數據的動畫顯示以及數據高效并行計算功能。但是在應用過程中,仍然存在著一定的問題和不便之處,主要表現在以下幾個方面:①作為預報核心業務系統的支撐數據環境,目前只能通過MICAPS4客戶端查看數據,而MICAPS4客戶端采用的是CS架構,用戶需在本地計算機安裝客戶端才可以使用;②MICAPS4數據環境資料種類繁多,沒有一個直觀的可視化頁面展示資料清單;③MICAPS4客戶端不能按照用戶需求批量下載資料,不能很好地實現數據歸檔需求;④目前MICAPS4格式數據僅局限于在MICAPS4客戶端內應用,沒有統一的數據服務接口來滿足其他業務系統及科研等擴展應用數據需求。
MICAPS4數據環境采用的是Cassandra分布式數據庫,其是面向高性能并發讀寫的KEY-VALUE數據庫,具有極高的并發讀寫性能。通過研究Cassandra分布式數據庫存儲和調用規則,實現屏蔽底層數據庫的數據接口應用;基于MUSIC開放平臺,發布面向業務科研人員的數據資料清單和統一訪問接口,總體架構如圖1所示。

圖1總架構
隨著MUSIC應用范疇不斷擴大,目前的MUSIC無法滿足MICAPS4數據環境的數據資源發布需求,MUSIC開放平臺是對MUSIC數據服務接口的升級和完善,主要目標是提高氣象數據的服務能力、豐富接口服務功能、增強氣象數據及接口服務的科學管理能力。開放平臺由國家氣象信息中心專家開發,在內蒙古本地完成安裝部署。開放平臺由前端交互平臺、后端支撐中心以及后臺數據存儲三部分組成。主要用于MICAPS4數據環境的資料清單和接口清單的注冊、管理和發布,為氣象技術人員提供接口服務發布,實現用戶快速獲取氣象數據的需求。
開放平臺由2臺虛擬機服務器組成,軟硬件環境如表1所示。

表1開放平臺服務器硬件配置
經過前期調研和對MICAPS4客戶端研究,將MICAPS4數據環境資料按照數據類型分為地面資料、高空資料、數值模式資料、雷達資料和衛星資料五大類。為了清晰地區分各類資料及便于后續統一服務接口開發工作開展,MICAPS數據環境資料代碼的定義規則是:CIMISS資料代碼_MICAPS數據環境存儲表名,資料清單詳情如表2所示。

表2資料清單
數據統一服務接口由通用功能接口和定制檢索接口組成。通用功能接口為內部接口,是在服務端實有的函數,不會面向用戶調用,主要實現底層Cassandra分布式數據庫的檢索和格點要素解析等功能;定制檢索接口是面向用戶的主要接口,無需開發,只需根據業務場景配置(配置其參數與某個通用功能接口的映射關系)。定制接口的描述中,只需定義其功能和檢索條件參數,而不需定義其返回形式和對象。用戶調用接口時,把接口名稱、接口的參數及其參數值、返回形式、數據的裝載對象,傳遞給通用的調用方法即可。實現一個定制接口有多種不同的返回形式,滿足不同的開發模式和編程習慣。接口服務架構如圖2所示。

圖2數據統一服務接口服務架構
資料與接口采用XML文件方式配置,文件的樹結構主要由根元素和若干子元素組成。其中資料的根要素包含1個datacode子元素,用來定義不同資料的資料代碼。datacode子元素又包含了tableName、timeFormat、hour、dataeles和suffix子元素,用來定義該類資料的屬性,本地共發布16小類資料,其中地面資料1類、高空資料1類、衛星資料1類、雷達資料1類和數值模式資料12類;接口的根要素包含1個interfaceid子元素,用來定義不同資料的接口代碼。interfaceid子元素又包含了requestType、methodType和apiparams子元素,用來定義該類接口的請求方式,本地共發布21小類資料,其中地面資料接口6個、高空資料接口6個、衛星資料接口2個、雷達資料接口2個和數值模式資料接口5個資料接口。
開放平臺是MICAPS數據環境資料和服務接口統一發布管理的渠道,為業務人員提供信息查詢,包含資料的信息、接口的信息、接口的調用示例和在線測試等。資料清單和接口清單展示頁面如圖3和圖4所示。

圖3資料清單

圖4接口清單
進入用戶空間,選擇MICAPS數據產品節點,以地面資料為例調取數據,結果包含文件名稱、文件格式、文件大小和文件下載地址,如圖5所示。
MICAPS4數據環境的統一服務接口采用的是B/S架構,一級部署三級應用,實現了系統的集約化,可在任意一臺內網計算機方便快捷地實現資料調用;基于開放平臺發布了多種標準、豐富、高效的數據訪問接口,業務人員可以根據自身需求批量將數據下載到本地歸檔,并通過標準接口完成與其他業務系統的無縫對接,大大發揮了分布式數據庫的效益,滿足了業務人員對MICAPS4數據的使用需求。

圖5地面資料調用樣例