陜西省精細(xì)化氣象格點預(yù)報數(shù)據(jù)環(huán)境的設(shè)計與實現(xiàn)

何 林，薛春芳，鄧鳳東，賈晨剛，王建鵬

(1.陜西省氣象信息中心，西安 710014；2.陜西省氣象局，西安 710014；3.陜西省氣象臺，西安 710014)

陜西省精細(xì)化氣象格點預(yù)報數(shù)據(jù)環(huán)境的設(shè)計與實現(xiàn)

何 林1，薛春芳2，鄧鳳東1，賈晨剛1，王建鵬3

(1.陜西省氣象信息中心，西安 710014；2.陜西省氣象局，西安 710014；3.陜西省氣象臺，西安 710014)

為了有效支撐陜西省精細(xì)化氣象格點預(yù)報業(yè)務(wù)運行，從底層架構(gòu)和數(shù)據(jù)流分析入手，提出了基于CIMISS標(biāo)準(zhǔn)框架的精細(xì)化格點預(yù)報數(shù)據(jù)環(huán)境的設(shè)計方案。包括硬件平臺、數(shù)據(jù)清單、數(shù)據(jù)存儲、數(shù)據(jù)共享、數(shù)據(jù)管理等關(guān)鍵環(huán)節(jié)，并遵循“冷熱分離、讀寫分離、集中化管理、多樣化共享”的原則，給出了優(yōu)化實現(xiàn)方法。

精細(xì)化格點預(yù)報；CIMISS；數(shù)據(jù)環(huán)境；共享管理

隨著社會經(jīng)濟的發(fā)展及信息化水平的不斷提高，傳統(tǒng)的城鎮(zhèn)、鄉(xiāng)鎮(zhèn)站點預(yù)報已經(jīng)不能完全適應(yīng)防災(zāi)減災(zāi)工作的需求，以時空分辨率更高、要素定量化和多樣化、預(yù)報精準(zhǔn)、服務(wù)貼心、無縫隙、智能化為特征的精細(xì)化格點(智能網(wǎng)格)預(yù)報技術(shù)將是未來天氣業(yè)務(wù)發(fā)展的主要方向。為了推進(jìn)和支撐精細(xì)化格點預(yù)報技術(shù)研究及業(yè)務(wù)運行，需要搭建規(guī)范、合理的基礎(chǔ)數(shù)據(jù)環(huán)境。該數(shù)據(jù)環(huán)境除了滿足預(yù)報業(yè)務(wù)的需求外，還需要符合全國綜合氣象信息共享平臺(China integrated meteorological information sharing system,簡稱“CIMISS”)標(biāo)準(zhǔn)框架[1]，為天氣業(yè)務(wù)數(shù)據(jù)資源納入省級集約化數(shù)據(jù)環(huán)境奠定基礎(chǔ)。

1 數(shù)據(jù)環(huán)境介紹

陜西省精細(xì)化氣象格點預(yù)報數(shù)據(jù)環(huán)境旨在建立以基礎(chǔ)數(shù)據(jù)接收、加工處理、存儲管理、共享服務(wù)功能于一體的標(biāo)準(zhǔn)數(shù)據(jù)流程及支撐平臺。該流程和平臺具備結(jié)構(gòu)化和非結(jié)構(gòu)化資料相結(jié)合、存取高效、管理便捷、交互性強、可快速擴展的特點；在保證數(shù)據(jù)質(zhì)量和穩(wěn)定性的前提下，不斷提升訪問效率。主要包括構(gòu)建原始數(shù)據(jù)庫、降尺度格點數(shù)據(jù)庫、格點背景場數(shù)據(jù)庫、省市格點預(yù)報編輯庫、預(yù)報產(chǎn)品庫、解析產(chǎn)品庫等六大模塊。同時，在CIMISS的標(biāo)準(zhǔn)框架內(nèi)實現(xiàn)數(shù)據(jù)接入和管理，并梳理整個精細(xì)化格點預(yù)報業(yè)務(wù)的數(shù)據(jù)清單及優(yōu)化數(shù)據(jù)流程(圖1)。

圖1 陜西精細(xì)化格點預(yù)報數(shù)據(jù)流程

2 基礎(chǔ)平臺架構(gòu)

精細(xì)化格點預(yù)報數(shù)據(jù)環(huán)境基礎(chǔ)平臺部署在陜西省氣象局自建的統(tǒng)一虛擬化資源池之上。此外，為滿足精細(xì)化格點預(yù)報系統(tǒng)所存在的大量文件交互、高并發(fā)讀寫的個性化功能需求，在虛擬資源池中設(shè)立了邏輯專區(qū)，引入VMware公司發(fā)布的分布式存儲技術(shù)。虛擬化網(wǎng)絡(luò)存儲空間(virtual store area network，簡稱VSAN)，是VMware全新的軟件定義的存儲層，可擴展vSphere虛擬化管理程序以將計算和直連存儲池化。通過建立服務(wù)器直連硬盤和固態(tài)硬盤集群，創(chuàng)建專門針對虛擬機設(shè)計和優(yōu)化的分布式共享數(shù)據(jù)存儲[2]。

通過資源池底層的改造，構(gòu)建了分布式的數(shù)據(jù)存儲環(huán)境，將精細(xì)化格點預(yù)報對數(shù)據(jù)的加工處理及存儲全部遷移到基于VSAN的分布式平臺上，從而有效解決了數(shù)據(jù)環(huán)境的性能瓶頸。同時，遵循“冷熱分離”原則，存儲架構(gòu)采用了混合模式[3]，分為以實時處理、高頻訪問為特征的熱數(shù)據(jù)區(qū)和以備份、回算、檢驗為目的的冷數(shù)據(jù)區(qū)。其中，冷數(shù)據(jù)區(qū)建立在SATA(serial advanced technology attachment)硬盤構(gòu)成NAS集中式存儲之上，熱數(shù)據(jù)建立在以SATA+SAS(serial attached SCSI)硬盤構(gòu)成的VSAN分布式存儲之上。圖2為基礎(chǔ)平臺架構(gòu)圖。

圖2 陜西精細(xì)化格點預(yù)報基礎(chǔ)平臺架構(gòu)圖

3 數(shù)據(jù)接入與數(shù)據(jù)清單

原始數(shù)據(jù)無論從種類還是數(shù)量，都占據(jù)了整個數(shù)據(jù)環(huán)境的主體部分，成為支撐精細(xì)化預(yù)報的基礎(chǔ)環(huán)節(jié)。資料范圍涵蓋了精細(xì)化格點預(yù)報所需的地面觀測站點實況資料，國內(nèi)外的數(shù)值預(yù)報模式或集合預(yù)報產(chǎn)品資料，格點實況和預(yù)報產(chǎn)品，雷達(dá)、衛(wèi)星、閃電定位等資料。原始數(shù)據(jù)來源主要分為CIMISS、CMACAST衛(wèi)星廣播系統(tǒng)、國家氣象信息中心實時數(shù)據(jù)共享平臺、國家氣象中心數(shù)據(jù)共享服務(wù)器、區(qū)域中心推送區(qū)域模式產(chǎn)品、國家數(shù)值預(yù)報云等。接入方式包括CIMISS接口、FTP下載、衛(wèi)星廣播等途徑。通過對不同數(shù)據(jù)來源的分析對比，選取最優(yōu)的數(shù)據(jù)接入方式，如表1。

中間數(shù)據(jù)主要包括處理后不同格式的站點實況、對各類模式產(chǎn)品進(jìn)行解碼和降尺度處理后生成的數(shù)據(jù)。加工產(chǎn)品主要包括多模式動態(tài)交叉取優(yōu)得到的格點背景場客觀產(chǎn)品，為地市共享的MICAPS格式的格點、站點預(yù)報產(chǎn)品，省市預(yù)報員基于客觀產(chǎn)品進(jìn)行主觀訂正生成的預(yù)報產(chǎn)品，最終確認(rèn)預(yù)報產(chǎn)品，預(yù)報解析產(chǎn)品(基于規(guī)則庫一鍵生成并發(fā)布的專題預(yù)報服務(wù)產(chǎn)品及材料)，預(yù)報檢驗數(shù)據(jù)等。

表1 原始數(shù)據(jù)清單及接入方式

4 數(shù)據(jù)組織結(jié)構(gòu)

遵循對數(shù)據(jù)“集中化管理”的原則，將所有原始數(shù)據(jù)、中間數(shù)據(jù)、加工產(chǎn)品都存放在統(tǒng)一規(guī)劃的服務(wù)器上，只是數(shù)據(jù)組織結(jié)構(gòu)和存儲形式不同。

將精細(xì)化格點預(yù)報數(shù)據(jù)環(huán)境中的所有數(shù)據(jù)按組織結(jié)構(gòu)分為兩大類：結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。典型的結(jié)構(gòu)化數(shù)據(jù)如地面觀測資料、站點信息、預(yù)報檢驗數(shù)據(jù)以及一些配置信息都以記錄的方式存儲在數(shù)據(jù)庫中，本數(shù)據(jù)環(huán)境選用了Oracle數(shù)據(jù)庫存儲結(jié)構(gòu)化數(shù)據(jù)。除此之外的絕大部分資料都是以文件、圖片等非結(jié)構(gòu)化的形式存儲，這些數(shù)據(jù)可直接保存于文件系統(tǒng)中[4]。此外，為了提高訪問效率和用戶體驗，對交互頻次較高的數(shù)據(jù)，將其存儲索引以記錄的形式在Redis內(nèi)存數(shù)據(jù)庫中保留一份。

對于原始的結(jié)構(gòu)化觀測數(shù)據(jù)，為方便預(yù)報檢驗算法的使用，需要將其轉(zhuǎn)換為MICAPS格式的文本文件。這種由結(jié)構(gòu)化向非結(jié)構(gòu)化的數(shù)據(jù)組織形式的轉(zhuǎn)換，通過使用數(shù)據(jù)統(tǒng)一服務(wù)接口對原始觀測數(shù)據(jù)進(jìn)行二次加工得以實現(xiàn)。氣象數(shù)據(jù)統(tǒng)一服務(wù)接口(meteorological unified service interface community，簡稱“MUSIC”)，基于國家級-省級統(tǒng)一的CIMISS數(shù)據(jù)環(huán)境，面向氣象業(yè)務(wù)和科研，提供了統(tǒng)一、標(biāo)準(zhǔn)、豐富、具有多種調(diào)用形式的數(shù)據(jù)訪問服務(wù)和應(yīng)用編程接口，為各級應(yīng)用系統(tǒng)提供直接支撐的數(shù)據(jù)接入服務(wù)[5](圖3)。

圖3 調(diào)用MUSIC實現(xiàn)數(shù)據(jù)組織形式轉(zhuǎn)換范例流程

5 數(shù)據(jù)管理

5.1 數(shù)據(jù)存儲策略

由于存儲空間并不是無限提供的，因此為了保持?jǐn)?shù)據(jù)環(huán)境存儲空間的動態(tài)平衡，需設(shè)置合理的數(shù)據(jù)存儲策略，包括備份和清除兩種情況。數(shù)據(jù)備份是指將生產(chǎn)環(huán)境中的熱數(shù)據(jù)保存若干日后向備份區(qū)遷移，成為冷數(shù)據(jù)。數(shù)據(jù)清除是指將生產(chǎn)環(huán)境的熱數(shù)據(jù)保存若干日，超過使用時效后直接刪除，以釋放存儲空間。適配不同存儲策略的基本原則根據(jù)資料的重要性以及單日的數(shù)據(jù)量評級確定，除個別試驗性資料需特殊配置外，基本策略如表2所示。

備份策略可編寫腳本程序或借助第三方備份軟件實現(xiàn)。數(shù)據(jù)清除策略，記錄級的數(shù)據(jù)使用SQL語言中的刪除語句實現(xiàn)，文件系統(tǒng)中的數(shù)據(jù)則根據(jù)操作系統(tǒng)的不同，可使用如下參考命令并配置定時任務(wù)實現(xiàn)。參考命令中的Path表示數(shù)據(jù)存儲目錄，NDay表示數(shù)據(jù)保存的日數(shù)。

Windows平臺：forfiles /p "Path" /s /m *.* /d -NDay /c "cmd /c del @path"

Linux平臺：find . -type f -mtime +NDay -exec rm -f {} ;

5.2 訪問控制策略

為了保證數(shù)據(jù)安全，對文件服務(wù)器上存儲的數(shù)據(jù)進(jìn)行了分級的用戶權(quán)限管理，以實現(xiàn)對數(shù)據(jù)的訪問控制。遵循“讀寫分離”原則，將訪問權(quán)限分為三級。首先，使用超級管理員賬戶創(chuàng)建了多個的操作系統(tǒng)賬戶，并將其設(shè)置為管理員屬組，分配給研究人員使用。研究人員使用各自用戶生成的數(shù)據(jù)文件具備可讀寫操作權(quán)限，同時，生成的數(shù)據(jù)對管理員屬組的各個成員皆可見。對有交互的成員可讀可寫，對無交互成員只讀。其次，使用超級管理員創(chuàng)建一個用戶，設(shè)置為普通用戶屬組，用于對最終發(fā)布產(chǎn)品的共享。該用戶具備只讀權(quán)限，可以查看和下載數(shù)據(jù)。最后，超級管理員對文件服務(wù)器上的所有數(shù)據(jù)具有完全控制權(quán)限，可以做讀寫、刪除、修改、執(zhí)行等操作，以便于實施備份和清除等數(shù)據(jù)存儲策略。

表2 陜西省精細(xì)化格點預(yù)報數(shù)據(jù)環(huán)境的數(shù)據(jù)存儲策略

5.3 共享服務(wù)策略

對于保存在文件服務(wù)器上最終發(fā)布的預(yù)報產(chǎn)品、解析產(chǎn)品以及其他需要提供給用戶使用的數(shù)據(jù)，遵循“多樣化共享”原則，提供FTP、磁盤映射、標(biāo)準(zhǔn)API接口三種訪問方式[6]。為緩解服務(wù)端壓力，目前不提供主動的訂閱式推送服務(wù)。共享用戶權(quán)限參考訪問控制策略中設(shè)置的三級用戶，賦予分級的數(shù)據(jù)共享級別。

[1] 熊安元,趙芳,王穎,等.全國綜合氣象信息共享系統(tǒng)的設(shè)計與實現(xiàn)[J].應(yīng)用氣象學(xué)報,2015,26(4)：500-512.

[2] 于耳.一種基于 VSAN的分布式存儲系統(tǒng)構(gòu)建和應(yīng)用[J].中國教育信息化,2014(16)：72-75.

[3] 朱海亞.數(shù)據(jù)存儲中分級存儲管理研究[J].數(shù)字化用戶,2013(4)：55-59.

[4] 何婉文,孫周軍,肖文名.基于CIMISS的廣東省現(xiàn)代農(nóng)業(yè)氣象業(yè)務(wù)數(shù)據(jù)環(huán)境建設(shè)[J].成都信息工程學(xué)院學(xué)報,2012(4)：210-217.

[5] 張正陽,朱倩雨.基于CIMISS環(huán)境的氣象數(shù)據(jù)統(tǒng)一訪問接口簡介[J].沙漠與綠洲氣象,2015,9(1)：134-136.

[6] 何林,吉慶.氣象-環(huán)保數(shù)據(jù)交換共享方案的設(shè)計與實現(xiàn)[J].陜西氣象,2016(4)：36-39.

1006-4354(2017)04-0017-05

2017-03-15

何林(1987—)，男，漢族，陜西武功人，工程師，碩士，從事氣象信息軟件研發(fā)、集約化氣象數(shù)據(jù)環(huán)境建設(shè)。

陜西省氣象局青年科研基金項目(2016Y-11)；中國氣象局氣象預(yù)報業(yè)務(wù)關(guān)鍵技術(shù)發(fā)展專項YBGJXM(2017)03-13； 陜西省氣象局研究型業(yè)務(wù)重點科研項目(2015Z-6)

P409

B

何林,薛春芳,鄧鳳東,等.陜西省精細(xì)化氣象格點預(yù)報數(shù)據(jù)環(huán)境的設(shè)計與實現(xiàn)[J].陜西氣象，2017(4)：17-21.