大數據時代氣象數據資源庫建設新趨勢探討

汪華 李波 李玨 王彪

摘 要：近年來，互聯網技術的快速發展和普及應用使各行各業發生了翻天覆地的變化，各種信息的產生和傳播速度正在越來越快。而這些海量的信息數據也越來越成為一種重要的資源推動著社會經濟快速發展，一個大數據時代正在悄然到來。在新時代環境下，氣象行業也應積極轉變理念，以數據思維和技術來加快推動氣象服務的轉型升級。本文圍繞大數據時代下氣象數據資源庫建設的相關議題進行了探討，概述了大數據時代的數據思維特征，分析了氣象數據的特點和構成，論述了大數據時代氣象大數據資源庫建設的新趨勢，旨在不斷提升我省氣象服務的數據分析技術水平，以更自信的姿態來迎接數據時代各項氣象工作挑戰，更好地為社會民眾提供科學精準的氣象服務。

關鍵詞：大數據;氣象數據;數據應用

中圖分類號：P413 文獻標識碼：A 文章編號：1671-2064（2019）04-0047-02

0 引言

隨著數據時代的來臨，數據的價值也越發體現。在氣象行業中，無論是氣象業務還是氣象科研都離不開氣象數據，這些氣象數據為氣象決策、管理以及服務等方面提供了重要的基礎支持。目前，我省所保持管理的各類氣象數據已經超過了1.2PB，增長速度呈現上升趨勢，這些數據不僅數量多，而且涵蓋了地面、高空、輻射、農氣、雷達、衛星以及預報等多個類別。在新的時代內，如何更好地把握氣象數據技術應用的趨勢，使氣象數據發揮出更多的價值是當下氣象部門及工作人員的全新挑戰。

1 大數據時代的數據思維特征

1.1 大數據概述

大數據這一概念最初源自IT行業，指的是巨量數據的集合。隨著大數據概念的提出以及數據技術的不斷落地，大數據的含義也從狹義向著廣義的方向發展，同時大數據的特征也越發凸顯[1]。比如被大眾所一致接受和認可的5V特征：

（1）數據呈現海量的特征;（2）數據處理速度更快的特征;（3）數據類別多樣化的特征;（4）數據價值與數據密度正相關的特征;（5）數據客觀性和真實性更高的特征。面對這些全新的數據特征，人們借助傳統的數據分析、數據統計以及數據管理模式和方法已經不能滿足數據技術研究和應用的要求，必須借助新的設備、方法和手段來對這些數據進行分析和處理，以發揮出它們潛在的信息資源價值。

1.2 大數據時代的思維變革

大數據時代的思維變革主要是沿著大數據時代的發展階段來轉變的。從本質上來說，大數據時代是互聯網時代的升級版。互聯網時代為大數據時代創造了基礎設施環境和條件。在大數據時代的初始階段，人們只是積累和存儲了一定的數據，對于數據的加工和利用并沒有深入的理解，在這一階段人們的思維更多是雜亂的，并沒有對大數據的應用有清晰的目標和路徑。而隨著大數據時代的發展和推移，行業或市場的變化速度越來越快，這時候的人們開始越來越意識到數據的重要性，并開始將它作為一種更高效地面對行業變化或市場變化的重要資源。這一階段，始作俑者是互聯網企業，如阿里、騰訊等平臺型企業，在這些企業中涌現出了越來越多的數據“加工”技術，并嘗試將這些技術應用到自身企業的實際發展和應用中，來更好地面對市場變化，更高效地滿足客戶的需求，自此，大數據技術開始與實際生活有了真正意義上的聯系。隨著大數據技術的發展和應用，社會上也出現了越來越多的專業數據技術和服務公司，這些創新型公司一方面具有專業的數據處理技術，一方面試圖尋找更好的落地行業和領域，推動著大數據技術進入了快速發展和應用的階段。至此，大數據技術才漸漸走入大眾的視線，成為真正影響人們日常生產和生活的一種新資源和新技術[2]。

目前大數據技術已經進入了快速發展和應用的階段，它的理念也影響著人們的思維發生變化，主要的變化有三個方面[3]：（1）人們過去對少量數據的精確度給與很高的關注，而現在人們更多地關注大量數據所表現出的概率或趨勢，在這一概率或趨勢基礎上實現盡可能的精準。（2）過去人們對數據往往是基于主觀來進行定性，判斷哪些是“正確”的，哪些是“有誤”的，而現在人們摒棄過去的主觀性，更多地依托數據技術和數據方法來進行判斷和決策，完全尊重數據分析結論的客觀性。（3）過去人們會對數據進行主觀性的篩選，將數據歸為“可用”的，或者是“無用”的，而現在人們對于采集到的所有數據都一視同仁，并沒有好壞之分，有用無用之分，反而采集的數據量越大對數據分析結果的準確性越有利，即使有部分數據對當下的工作或研究是“無用”的，也同樣將之存儲保留，這一思維的轉變也預示著人們對數據資源巨大的潛在價值有更多的期待。

2 氣象數據的特點與構成

2.1 氣象數據的特點

對于氣象數據來說，除了具備大數據的所有特征之外，還具有行業內的四大顯著特點。

（1）氣象數據不僅量大，而且增長速度快。由于氣象數據涉及到時間和空間維度內的物理量觀測或模擬，而每個維度內又包含多項指標或參數，因此每時每刻都會產生大量的數據，同時隨著觀測設備和技術的更新升級，數據增長速度也呈現指數爆發態勢。（2）氣象數據來源多，種類多，范圍廣。氣象數據的獲取有著多種渠道，如各地區的地面站、測風站、探空站、輻射站、火箭站、氣象站、農氣站等，這些不同類別的站點都為氣象機構部門提供了新鮮的氣象數據。而氣象數據的范圍也非常廣泛，包括地面數據、邊界層數以及高空數據三大類別。其中在每一大類數據范圍內又包含更細的種類，如地面數據類別內又包含氣壓、氣溫、濕度、風速、風向、能見度、日照、降水等等內容指標。（3）氣象數據的時效性高。由于氣象信息時刻發生變化，因此氣象數據的采集、分析、處理也需要在盡可能短的時間內完成，以滿足氣象工作的預見性，為廣大民眾的生產生活預留更多的準備時間做好氣候或天氣變化的措施應對。（4）氣象數據的潛在價值高。對于氣象數據來說，目前最主要的應用是為大眾提供有效的氣象預報及相關服務工作。而隨著時代的發展，越來越多的行業和領域的技術融合性更強。如氣象數據與水文數據、地質數據等融合為相關部門的研究和決策提供更全面的信息支持。此外，隨著物聯網技術的發展，基于氣象信息服務的商業應用場景也越來越多，如在旅游、交通、航天、生產、養殖等領域內，更加個性化的氣象信息服務也將迎來一定的市場空間，與多個相關領域加深融合，發揮出氣象數據越來越多的商業價值。

2.2 氣象數據的構成

傳統時代的氣象數據主要包括氣候數據和天氣數據，而大數據時代的氣象數據在構成內容上也有所增加，氣象大數據不僅包括傳統的氣象數據，還包括氣象部門及研究人員針對這些數據進行分析和處理后所得到的過程數據和結果數據。隨著氣象行業與其他相關行業的深入融合，氣象大數據的構成體系中也將有越來越多的相關分支內容，由單一的氣象數據系統逐漸向著以氣象數據為中心向著相關相關領域分支不斷延伸的氣象大數據體系。而這也是未來物聯網時代各學科數據融合應用的重要趨勢和體現。

3 大數據時代氣象大數據資源庫建設的新趨勢

3.1 氣象大數據資源庫的構建

氣象大數據資源庫的構建主要圍繞5大系統+1套資源池的架構進行建設。5大系統包含：產品交換系統、挖掘分析系統、存儲與服務系統、業務監控系統、交換及質控系統，1套資源池由專有云+公有云的混合云架構組成[4]。

3.2 氣象大數據的多元數據存儲適配技術

大數據時代的氣象數據增長量巨大，如何高質量高效率地對存儲海量的數據是當下氣象信息部門需要解決的重要問題。我們針對不同數據庫產品的多源數據存儲采用了不同的適配技術：（1）分布式關系型數據庫存儲適配模型，基于關系型數據庫連接池相關組件，建立統一的氣象結構化數據存儲適配模型，不同的存儲技術通過加載不同的驅動實現數據連接，通過標準SQL語句獲取不同數據庫中存儲的氣象數據，支持常用的MySQL、Oracle語法;（2）分布式表格系統存儲適配模型。基于對分布式表格系統數據存儲結構設計成果，建立統一的氣象實時交互應用庫數據存儲適配模型，提供統一的插件接口，不同的存儲技術加載不同的組件，支持Cassandra、OTS等表格系統存儲插件;（3）分布式文件存儲/對象存儲適配模型，建立統一的氣象非結構化數據文件訪問適配模型，提供文件數據訪問統一的數據獲取方式;（4）服務接口數據檢索、計算自動優化適配，根據數據存儲管理系統的元數據信息，獲取數據存儲的位置和結構，分析性能最優的數據檢索和計算所需的數據庫，從不同的數據庫中快速獲取數據和計算結果并進行聚合，提供高效服務。目前，針對不斷出現的各類氣象大數據難題，我們主要從系統架構的科學設計以及數據算法的優化來進行攻克，這也是未來氣象數據存取的重要研究方向[5]。

3.3 氣象大數據的挖掘

氣象數據的潛在價值并不外顯，可以說如果沒有有效的工具和方法，這些數據很多都是無意義和無價值的，因此想要充分利用好這一寶藏，我們必須借助各種技術工具和處理方法來對數據進行深度挖掘，使潛在價值得到顯性的發揮。針對我省氣象大數據的開發和利用現狀，通過挖掘分析框架和相關智能算法等挖掘分析工具對我省氣象大數據進行挖掘分析，整個挖掘分析流程包含了評估發布、挖掘訓練、模型編排、智能算法集成、數據準備等。為我省氣象各級部門及研究人員所用[6]。

3.4 氣象信息的發布

隨著互聯網技術設施的普遍應用，人們之間的聯系越來越便捷，越來越高效。目前在氣象領域內，多種移動軟件涌現出來，如天氣通、墨跡天氣等APP，為用戶提供了便捷的氣象資訊，讓用戶能夠隨時隨地了解到各地區的氣象信息。隨著用戶使用需求的不斷變化，未來這些氣象軟件的應用功能也將越來越廣，不僅為用戶提供氣象情報，同時還與用戶的衣食住行等領域建立密切的聯系。如可以根據用戶的大量的使用和操作記錄建立用戶畫像，為用戶提供更有針對性的資訊和服務，滿足用戶更多的日常需求。此外，隨著共享理念的發展，用戶不再僅僅是氣象服務的使用者和消費者，同時也會成為氣象資訊的提供者和分享者，這種氣象信息的發布在氣象災害的防御工作上起到十分積極的作用。

4 結語

總之，在大數據時代，氣象數據的應用將于人民的生產和生活有著越來越密切的聯系。我們氣象部門必須加快探索各種氣象數據分析技術和應用技術的步伐，解決目前氣象數據分析應用的各個難題，更自信地迎接數據時代的全面到來，為社會民眾提供更優質高效地氣象服務。

參考文獻

[1] 沈文海.氣象數據的“大數據應用”淺析——《大數據時代》思維變革的適用性探討[J].中國信息化，2014（11）：20-31.

[2] 李社宏.大數據時代氣象數據分析應用的新趨勢[J].陜西氣象，2014（2）：41-44.

[3] 沈文海.再析氣象大數據及其應用[J].中國信息化，2016（1）：85-96.

[4] 汪惜今.淺析氣象大數據的未來應用服務趨勢[J].信息通信，2017（4）：290-291.

[5] 徐繼華，馮啟娜，陳貞汝.智慧政府：大數據治國時代的來臨[M].北京：中信出版社，2014.

[6] 王星.大數據分析：方法與應用[M].北京：清華出版社，2013.