氣象大數(shù)據(jù)的服務(wù)框架與建設(shè)設(shè)想

宋月旻

摘 要 氣象大數(shù)據(jù)不僅是一座價(jià)值巨大的寶庫(kù)，其應(yīng)用和研究?jī)r(jià)值都極其重要。文章介紹了氣象大數(shù)據(jù)的服務(wù)框架，如基礎(chǔ)設(shè)施層、應(yīng)用平臺(tái)、數(shù)據(jù)應(yīng)用、大數(shù)據(jù)服務(wù)、大數(shù)據(jù)服務(wù)用戶等，并對(duì)氣象大數(shù)據(jù)的工程建設(shè)提出了一些設(shè)想，無(wú)論是氣象大數(shù)據(jù)框架設(shè)計(jì)與規(guī)劃，還是強(qiáng)化氣象大數(shù)據(jù)的操作管理，提升氣象大數(shù)據(jù)質(zhì)量，以及建立氣象大數(shù)據(jù)風(fēng)險(xiǎn)評(píng)估安全體系都有著重要的意義。

關(guān)鍵詞 氣象大數(shù)據(jù)；服務(wù)框架；建設(shè)設(shè)想

中圖分類號(hào) TP3 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 1674-6708（2018）206-0131-02

目前，我國(guó)科學(xué)技術(shù)飛速發(fā)展，推動(dòng)并不斷加速氣象信息化前進(jìn)步伐，長(zhǎng)期積累的氣象數(shù)據(jù)正呈現(xiàn)不斷增加的趨勢(shì)。我國(guó)國(guó)家氣象局歷史積累的氣象數(shù)據(jù)達(dá)到PB級(jí)的總存量，單純年新增量，也將達(dá)PB級(jí)這樣一個(gè)數(shù)值。氣象數(shù)據(jù)種類豐富，有地面觀測(cè)、衛(wèi)星、雷達(dá)和數(shù)值預(yù)報(bào)產(chǎn)品等內(nèi)容，全部由觀測(cè)站點(diǎn)來(lái)完成收集任務(wù)。上述觀測(cè)點(diǎn)據(jù)權(quán)威部門的統(tǒng)計(jì)可知其中自動(dòng)觀察點(diǎn)5萬(wàn)多個(gè)，地面氣象觀測(cè)站點(diǎn)2？000多個(gè)，其他類型的觀測(cè)站點(diǎn)1？000多個(gè)。上述觀測(cè)站點(diǎn)從建站以來(lái)采集的數(shù)據(jù)累計(jì)，另外加上實(shí)時(shí)氣象數(shù)據(jù)，統(tǒng)稱為氣象大數(shù)據(jù)。不僅十分重要的檔案材料，也是無(wú)價(jià)之寶，其數(shù)據(jù)庫(kù)則是一座價(jià)值巨大的寶庫(kù)，其應(yīng)用和研究?jī)r(jià)值都極其重要。為讀者提供各類氣象數(shù)據(jù)服務(wù)奠定了物質(zhì)基礎(chǔ)，其服務(wù)對(duì)象主要集中在氣象部門，包括本系統(tǒng)內(nèi)部業(yè)務(wù)需要、科研需要和公眾需要等方面。系統(tǒng)內(nèi)部業(yè)務(wù)主要指本系統(tǒng)工作人員所從事的業(yè)務(wù)工作，可以是氣象數(shù)據(jù)查詢，也可以是為預(yù)報(bào)產(chǎn)品制作提供數(shù)據(jù)，還有就是將氣象數(shù)據(jù)處理入庫(kù)；氣象科研需要，主要是開(kāi)展氣象大數(shù)據(jù)數(shù)值分析，提供氣象災(zāi)害風(fēng)險(xiǎn)評(píng)估所需數(shù)據(jù)；公共氣象處理和分析工作主要集中在對(duì)氣象觀測(cè)大數(shù)據(jù)方面。同時(shí)還兼顧到人們?nèi)粘Ｉa(chǎn)、生活、海洋、農(nóng)業(yè)和交通等領(lǐng)域。由于大數(shù)據(jù)技術(shù)的先進(jìn)性和巨大的功能，不論涉及到大數(shù)據(jù)管理和高可靠存儲(chǔ)，還是涉及到其數(shù)據(jù)的分析、處理和檢索等面臨著技術(shù)轉(zhuǎn)化問(wèn)題。

1 如何看待大數(shù)據(jù)

《國(guó)務(wù)院關(guān)于印發(fā)促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要的通知》于2015年9月5日正式發(fā)布后，極大地推動(dòng)了我國(guó)大數(shù)據(jù)發(fā)展進(jìn)程。我國(guó)大數(shù)據(jù)科學(xué)研究工作和應(yīng)用呈現(xiàn)出浪潮洶涌澎湃的現(xiàn)狀，其影響不僅涉及到每一個(gè)行業(yè)，也涉及到很多單位和企業(yè)。為了實(shí)現(xiàn)先入為主的策略，不少單位和企業(yè)研究出臺(tái)了一系列激勵(lì)政策和措施來(lái)“搶占大數(shù)據(jù)制高點(diǎn)”，

并設(shè)置了專門機(jī)和專項(xiàng)任務(wù)；氣象部門則以氣象大數(shù)據(jù)庫(kù)建設(shè)為出發(fā)點(diǎn)力爭(zhēng)立項(xiàng)。氣象部門面對(duì)大數(shù)據(jù)技術(shù)，應(yīng)理性對(duì)待，聘請(qǐng)專家學(xué)者就大數(shù)據(jù)是否適用于氣象部門進(jìn)行科學(xué)論證，氣象部門領(lǐng)導(dǎo)決策層要以科學(xué)論證結(jié)果為依據(jù)進(jìn)行思考、分析和論證并做出科學(xué)判斷，其目的是為了減少誤判導(dǎo)致的失敗，有效規(guī)避風(fēng)險(xiǎn)。

2 氣象大數(shù)據(jù)服務(wù)框架

1）基礎(chǔ)設(shè)施層。有效開(kāi)展大數(shù)據(jù)服務(wù)，必須建設(shè)好其硬件環(huán)境，其中配套設(shè)備應(yīng)該含有存放和處理氣象大數(shù)據(jù)硬件設(shè)施，如計(jì)算機(jī)處理系統(tǒng)，網(wǎng)絡(luò)環(huán)境，控溫環(huán)境，照明制冷環(huán)境和相應(yīng)工作場(chǎng)地等基礎(chǔ)設(shè)施。為了滿足大數(shù)據(jù)技術(shù)發(fā)展的需要，原有基礎(chǔ)設(shè)施層硬件需要改造，需要基于“云計(jì)算”環(huán)境下進(jìn)行處理，獲得基礎(chǔ)設(shè)施資源庫(kù)，逐步夯實(shí)氣象大數(shù)據(jù)基礎(chǔ)設(shè)施，建成計(jì)算資源和存儲(chǔ)資源服務(wù)框架，為氣象系統(tǒng)內(nèi)部業(yè)務(wù)和科研人員服務(wù)，從而實(shí)現(xiàn)歷年來(lái)和動(dòng)態(tài)形式下氣象數(shù)據(jù)資源的完全整合，為提高歷年來(lái)的氣象數(shù)據(jù)資源應(yīng)用率服務(wù)。

2）平臺(tái)。該操作應(yīng)用平臺(tái)的作用，是基于利用“云計(jì)算”技術(shù)基礎(chǔ)之上建設(shè)工作設(shè)施，從而實(shí)現(xiàn)搭建氣象服務(wù)工作平臺(tái)?！癏adoop”分布式文件系統(tǒng)也有不少單位采用，是分布式文件冗余可以實(shí)現(xiàn)存儲(chǔ)；分布式數(shù)據(jù)庫(kù)“HBase”，是動(dòng)態(tài)氣象大數(shù)據(jù)分布式，常使用的數(shù)據(jù)索引；而分布式計(jì)算模型Map？Reduce，是數(shù)據(jù)并行計(jì)算使用時(shí)最有效形式；數(shù)據(jù)倉(cāng)庫(kù)Hive，往往是靜態(tài)氣象數(shù)據(jù)實(shí)現(xiàn)存儲(chǔ)和便捷索引的途徑。只要相應(yīng)平臺(tái)層建成，已經(jīng)完成對(duì)應(yīng)用層的技術(shù)支撐任務(wù)。

3）應(yīng)用。該層的技術(shù)特點(diǎn)是利用平臺(tái)層的軟件工具，對(duì)相關(guān)應(yīng)用進(jìn)行開(kāi)發(fā)工作。而站點(diǎn)監(jiān)控，其重點(diǎn)為氣象監(jiān)測(cè)點(diǎn)和監(jiān)測(cè)設(shè)備等內(nèi)容；其監(jiān)控和管理的對(duì)象主要是區(qū)域氣象數(shù)據(jù)中心的服務(wù)器節(jié)點(diǎn)，其實(shí)現(xiàn)途徑是動(dòng)態(tài)監(jiān)管；有針對(duì)性提供氣象服務(wù)內(nèi)容。

4）大數(shù)據(jù)服務(wù)。大數(shù)據(jù)服務(wù)，要密切關(guān)注應(yīng)用層的實(shí)際需要，為深度挖掘和開(kāi)發(fā)各種類型應(yīng)用單位和企業(yè)，提供大數(shù)據(jù)服務(wù)。常見(jiàn)的有站點(diǎn)監(jiān)控和云平臺(tái)監(jiān)控功能，使用最多的是“HBase”實(shí)時(shí)數(shù)據(jù)檢索，為相關(guān)單位或企業(yè)提供氣象業(yè)務(wù)服務(wù)；預(yù)報(bào)數(shù)據(jù)及預(yù)報(bào)產(chǎn)品，可選用分布式數(shù)據(jù)處理模型Map？Reduce技術(shù)來(lái)完成，同時(shí)還要考慮給氣象科研及公共氣象提供必要的服務(wù)。

5）用戶。氣象大數(shù)據(jù)提供服務(wù)面不寬，其主要用戶局限于氣象系統(tǒng)的業(yè)務(wù)人員、氣象科研人員和其他行業(yè)。上述各類人員要獲得氣象數(shù)據(jù)服務(wù)的途徑，就是訪問(wèn)氣象大數(shù)據(jù)相連接的網(wǎng)絡(luò)，以期獲得氣象大數(shù)據(jù)服務(wù)；科研工作者則可以利用互聯(lián)網(wǎng)，也能獲得相關(guān)數(shù)據(jù)；其他關(guān)聯(lián)人員要獲得相關(guān)數(shù)據(jù)，互聯(lián)網(wǎng)也是最佳途徑。

3 氣象大數(shù)據(jù)工程建設(shè)設(shè)想

3.1 氣象大數(shù)據(jù)框架設(shè)計(jì)與規(guī)劃

大數(shù)據(jù)框架設(shè)計(jì)工作，是氣象大數(shù)據(jù)建設(shè)工作的基礎(chǔ)和保證。如大數(shù)據(jù)框架設(shè)計(jì)不不清晰、不完整，其結(jié)果必然達(dá)不到預(yù)期目標(biāo)?？梢?jiàn)，氣象大數(shù)據(jù)框架設(shè)計(jì)工作必須優(yōu)先實(shí)行。在設(shè)計(jì)大數(shù)據(jù)框架時(shí)，可更多考慮氣象系統(tǒng)自身業(yè)務(wù)發(fā)展戰(zhàn)略，從分析研究現(xiàn)有數(shù)據(jù)架構(gòu)開(kāi)始，進(jìn)一步完善氣象大數(shù)據(jù)概念和定義，組織優(yōu)秀專家研究團(tuán)隊(duì)。先從簡(jiǎn)單開(kāi)始，最后深入到復(fù)雜層面進(jìn)大數(shù)據(jù)模型設(shè)計(jì)，適當(dāng)融入優(yōu)化后的數(shù)據(jù)模型，適當(dāng)?shù)厝谌脒^(guò)去的數(shù)據(jù)體系。充分考慮各種數(shù)據(jù)業(yè)務(wù)實(shí)際分布情況，其最終結(jié)果必須滿足業(yè)務(wù)和管理雙重需求，科學(xué)地規(guī)劃設(shè)計(jì)數(shù)據(jù)的系統(tǒng)分布。

3.2 氣象大數(shù)據(jù)開(kāi)發(fā)工作必須堅(jiān)決執(zhí)行

氣象大數(shù)據(jù)開(kāi)發(fā)管理工作要順利實(shí)施，必須建立起嚴(yán)格的制度作保證，并在實(shí)踐中堅(jiān)決落實(shí)，從源頭上消除一切影響大數(shù)據(jù)順利管理的不利因素。要從嚴(yán)開(kāi)發(fā)新的應(yīng)用系統(tǒng)，處于研究階段，就要廣泛收集資料，對(duì)獲得的各種數(shù)據(jù)進(jìn)行系統(tǒng)性分析，尋找解決能滿足實(shí)際需要的應(yīng)用系統(tǒng)各項(xiàng)指標(biāo)數(shù)據(jù)，如果找不到必須實(shí)行一票否決。面對(duì)一些已經(jīng)成熟的應(yīng)用系統(tǒng)，要從數(shù)據(jù)源模型、數(shù)據(jù)產(chǎn)品模型和數(shù)據(jù)流程規(guī)范等方面進(jìn)行考核，其應(yīng)用系統(tǒng)是否能滿足實(shí)際需要，否則一律納入數(shù)據(jù)治理內(nèi)容，在實(shí)施治理時(shí)也應(yīng)按輕、重、緩和急進(jìn)行排序，對(duì)其全面治理。

3.3 要循序漸近地治理氣象大數(shù)據(jù)

開(kāi)展治理大數(shù)據(jù)工作，其目標(biāo)主要是解決氣象大數(shù)據(jù)領(lǐng)域中存在的問(wèn)題。其工作核心應(yīng)緊緊圍繞制度、崗位和行政管理等內(nèi)容，只有這樣才能實(shí)現(xiàn)治理工作的目標(biāo)。從而順利解決各種涉及到大數(shù)據(jù)問(wèn)題。當(dāng)然，單位或企業(yè)則要為治理大數(shù)據(jù)者提供保障和方便。應(yīng)當(dāng)將其列入單位或企業(yè)推進(jìn)信息化建設(shè)的重要內(nèi)容加以重視。

3.4 強(qiáng)化氣象大數(shù)據(jù)操作管理

針對(duì)CRUD處理具體操，事先要制訂一整套科學(xué)的管理操作規(guī)范，而在實(shí)踐過(guò)程中，不按操作規(guī)范進(jìn)行操作的不乏其人?；谏鲜霈F(xiàn)狀，數(shù)據(jù)操作管理急需整治和強(qiáng)化。實(shí)際操作時(shí)，可選擇管控強(qiáng)化用戶權(quán)限和標(biāo)準(zhǔn)數(shù)據(jù)應(yīng)用接口的實(shí)際應(yīng)用和普及方面，也需要選擇科學(xué)的大數(shù)據(jù)操作技能，規(guī)范實(shí)際操作行為。

3.5 提升氣象大數(shù)據(jù)質(zhì)量

氣象大數(shù)據(jù)質(zhì)量是工作的重點(diǎn)，在實(shí)際工作中，不僅要強(qiáng)化現(xiàn)有工作基礎(chǔ)，而且要依照其重要程度，循序拓寬氣象大數(shù)據(jù)涉及面，相關(guān)技術(shù)指標(biāo)，選擇方法，只有在成熟時(shí)進(jìn)行推進(jìn)。業(yè)務(wù)工作必須規(guī)范，氣象大數(shù)據(jù)收集必須完整，研發(fā)人員的業(yè)務(wù)能力必須保證。選擇對(duì)氣象大數(shù)據(jù)進(jìn)行治理的目的，是優(yōu)化氣象大數(shù)據(jù)結(jié)構(gòu)，消除沒(méi)有保存價(jià)值的數(shù)據(jù)，有效防止大數(shù)據(jù)庫(kù)存在冗余數(shù)據(jù)，提升氣象主大數(shù)據(jù)質(zhì)量，科學(xué)地儲(chǔ)存優(yōu)質(zhì)氣象大數(shù)據(jù)。

3.6 建立氣象大數(shù)據(jù)風(fēng)險(xiǎn)評(píng)估安全體系

大數(shù)據(jù)安全問(wèn)題必須優(yōu)先考慮，納入氣象部門整體安全管理體系中，成為氣象大數(shù)據(jù)信息安全體系統(tǒng)一設(shè)計(jì)和管理重要內(nèi)容。風(fēng)險(xiǎn)評(píng)估安全體系，涉及到主數(shù)據(jù)、一般數(shù)據(jù)和參考數(shù)據(jù)三部分內(nèi)容。實(shí)行風(fēng)險(xiǎn)評(píng)估時(shí)將其納入重點(diǎn)評(píng)估內(nèi)容，要滿足數(shù)據(jù)安全、針對(duì)性的和整體策略需要。只有這樣才能收獲預(yù)期目標(biāo)。

4 結(jié)論

氣象大數(shù)據(jù)服務(wù)是信息化技術(shù)發(fā)展的必然結(jié)果。也是氣象行業(yè)服務(wù)的目標(biāo)和方向，同樣是國(guó)家信息化重要內(nèi)容之一。氣象大數(shù)據(jù)可以幫助完成氣象服務(wù)產(chǎn)品的制作工作，滿足社會(huì)和人們的實(shí)際需要。選擇Map？Reduce分布式處理技術(shù)，能迅速解決氣象大數(shù)據(jù)的處理與分析的難題。當(dāng)然，要順利執(zhí)行，必須選擇“云”環(huán)境下的氣象大數(shù)據(jù)服務(wù)框架，才能順利完成氣象大數(shù)據(jù)服務(wù)指標(biāo)，實(shí)現(xiàn)單位或企業(yè)內(nèi)部信息共享目標(biāo)，夯實(shí)信息化時(shí)代氣象服務(wù)a基礎(chǔ)。

參考文獻(xiàn)

[1]沈文海.再析氣象大數(shù)據(jù)及其應(yīng)用[J].中國(guó)信息化，2016（1）：85-96.

[2]劉巍巍，劉壽東，范秋丹.互聯(lián)網(wǎng)時(shí)代下的氣象數(shù)據(jù)應(yīng)用分析[J].管理現(xiàn)代化，2016（1）：64-66.

[3]張潔，薛勝軍.云計(jì)算環(huán)境下氣象大數(shù)據(jù)服務(wù)的應(yīng)用[J].安徽農(nóng)業(yè)科學(xué)，2016（5）：298-301.