貴州省自有數據接入CIMISS流程介紹

李從英，王 彪，金石聲，郭 茜

(貴州省氣象信息中心，貴陽 550002)

全國綜合氣象信息共享平臺(China integrated meteorological information service system,下簡稱CIMISS)[1]作為中國氣象局和省級氣象部門統一的數據資源環境，為各業務單位用戶提供強有力的數據支撐服務，解決了重復投資，資源浪費，數據標準不統一等問題。現階段各省氣象信息中心大力推進CIMISS系統與各單位業務系統對接工作，以接口應用為突破口，加快對接工作。為了解決貴州省自有數據接入和接口服務問題，建立全省業務數據共享流程，需要完成省級自有資料的解碼、入庫，并通過對API接口的研究提供省級自有資料的定制開發。

災害性天氣短臨預報預警系統(severe weather auto nowforecasting 下簡稱SWAN)可提供豐富的實況監測和短臨預報產品，是當前我國各級氣象臺站開展短時臨近預報業務的主要平臺。目前該系統的架構數據仍采用目錄共享方式，數據共享存在系統安全及效率低下問題，因此在對CIMISS系統進行技術框架研究前提下，以SWAN產品接入為例，詳細介紹了非結構化資料的接入流程，為該項技術的應用提供參考。

1 設計原理

結構化數據和非結構化數據的接入處理流程不同。SWAN產品屬于非結構化資料。非結構化數據接入到CIMISS涉及到到數據收集與分發(China telecommunication system，下簡稱CTS[1-4])、數據加工處理系統(data processing center，下簡稱DPC[1-4])、數據存儲管理系統(service-oriented data storage system 下簡稱SOD[1-4])，以及氣象數據統一服務接口(meteorological unified service interface community ，下簡稱MUSIC)部分。CTS收集到數據后，根據配置將文件信息通過消息隊列推送到DPC，同時將文件推送給CTS與DPC的接口目錄；DPC根據配置，對SWAN產品進行重命名；將重命名產品信息通過消息隊列推送到SOD，將產品文件推送到DPC與SOD接口目錄；SOD接收到消息之后，根據入庫和存儲策略進行入庫；最后通過配置MUSIC[5]，為用戶提供可檢索到相關數據的接口。

下面以接入變分法定量估測降水產品為例，介紹具體的設計過程。

2 具體設計

2.1 數據收集與分發

SWAN產品存放在專用服務器上，其框架是一個程序調度平臺，用來按照條件調度服務器模塊，并發送結果通知給對應的客戶端。因此SWAN產品接入CIMISS系統，需要通過FTP將數據推送給CTS。CTS系統根據表1中的四級編碼和對應的文件名(定量估測降水產品對應的原始文件名為Z_QPF_yyyymmddhhmmss. F030.bin. bz2，重命名后文件名為RADA_BEGY_DOR_L3_SWAN-QPF-F030-yyyyMMddHHmmss. bin. bz2，其中30表示30 min數據。)規則進行傳輸配置調整和文件名模板配置。

表1 變分法定量估測降水產品不同模塊對應的編碼

2.2 數據加工處理

DPC收到消息隊列之后，需要根據以下四個配置文件對產品重命名，主要包括原始資料處理配置文件rawdatajudge.xml，重命名原始信息配置文件rawfileinfo.xml，重命名產品信息配置文件rawfilerename.xml，產品處理配置文件prodatajudge.xml。其中rawdatajudge.xml中rename為1，其他參數為0；prodatajudge.xml中storage為1，其余為0。根據原始文件名，在重命名原始信息配置文件rawfileinfo.xml中添加如下配置。

J.0013.0008.R001

rawfileinfo.xml會將原始文件的文件名按分隔符(- _.)劃分成不同的字段，賦值給不同的變量名；重命名時會使用其中的某些字段。由于該類資料有60 min數據和30 min數據，因此F030位置用一個變量JG來代替。

根據重命名后的文件名信息，在重命名產品信息配置文件rawfilerename.xml中添加以下重命名規范。

J.0013.0008.R001

RADA_BEGY_DOR_L3_SWAN-QPF-

JG

-

YYYYMMDDHHmmSS

.

BIN

.

BZ

配置好之后，重啟DPC系統，使以上配置生效。

2.3 數據存儲管理系統

新接入非結構化資料后，SOD系統需要調整支撐SOD應用系統的數據庫、創建存儲結構和入庫策略。其中支撐庫調整包括新增資料信息表dmin_data_type_tab，要素屬性信息表dmin_column_tab，資料要素對應關系信息dmin_data_element_tab。

2.3.1 支撐庫調整 新增資料信息，需在dmin_data_type_tab增加資料信息(表2)；在dmin_data_element_tab表中增加要素對應關系信息(表3)。為了方便顯示和查詢不同時間屬性的資料，在dmin_column_tab要素屬性信息表中增加V_PROD_H字段，用來表示產品時間標識符。

表2 dmin_data_type_tab新增資料信息

表3 dmin_data_element_tab表中新增信息

2.3.2 創建存儲結構 在存儲管理業務系統界面創建存儲結構，根據貴州省具體情況確定入基礎庫位置，資料存儲類型選擇文件目錄類型，管理字段類型選擇雷達文件9，表名為RADA_CHN_DOR_L3_SWAN創建目錄策略為年月日。并為表添加一個唯一索引和一個一般索引。

2.3.3 建入庫策略 根據重命名后的文件名格式,設計入庫策略以RADA_BEGY_DOR_L3_SWAN-QPF-F030-yyyyMMddHHmmss. bin. bz2文件為例，入庫策略配置如表4。配置完成后，重啟調度，使入庫策略生效。

2.4 接口配置

2.4.1 更新支撐庫的三張元數據表 為了更新資料的四級編碼與資料中文名稱對應關系，資料四級編碼與存儲的數據表名的對應關系，數據表名與數據表要素字段的對應關系，需要更新支撐庫中對應的三張元數據表(DMIN_DATA_ID_DEFINE、DMIN_DATA_ID_TABLE、DIMN_DATA_TABLE_FIELD)。即將新接入的資料信息加入到這三張表中。

表4 入庫策略配置信息

2.4.2 定義資料別名 在MUSIC接口支撐庫中，增加新接入的變分法定量估測降水產品資料的定義。使用USR_GDS_API賬戶登錄支撐庫，將新增資料信息更新至api_data_define表。根據實際情況填寫表中各個字段的信息。

2.4.3 為新增資料配置適用接口 進入接口后臺管理網站，點擊“氣象資料”—“ 氣象資料定義”，找到新增的雷達資料，并點擊右側的查詢按鈕，進入對該資料進行配置界面，在上方有相應的讀寫接口的配置，勾選合適的接口類別。配置完成后，在接口前臺可以獲取相應的數據。

3 結語

將SWAN產品接入CIMISS統一的數據環境中，為SWAN產品提供統一管理，同時用戶可以通過接口準確定位產品。其他非結構化數據可參照SWAN產品的接入方法接入CIMISS，豐富接口數據，為用戶提供更快捷、更全面的服務。

[1] 熊安元，趙芳，王穎，等.全國綜合氣象信息共享系統的設計與實現[J].應用氣象學報，2015，26(4)：500-512.

[2] 國家氣象信息中心.全國綜合氣象信息共享平臺總體設計總論卷[Z].2009.

[3] 國家氣象信息中心.全國綜合氣象信息共享平臺(CIMISS)總體設計架構[Z].2011.

[4] 國家氣象信息中心.全國綜合氣象信息共享平臺內部技術規范：氣象數據共享分級及其用戶分類[Z].2010.

[5] 史彩霞，李穎智，張許斌.基于CIMISS的廣西氣象服務信息綜合業務系統的設計與實現[J].氣象研究與應用,2016，37(4)：82-85.