常規氣象格點數據規范化格式的研究

舒紅平 沈晨笛 張殿超

摘要：常規氣象格點數據主要由氣象衛星、天氣雷達及數值預報產品等三部分構成，目前確定的規范數據格式包括：Grib、NetCDF和HDF三種。Grib格式碼表十分規范，較適用于對規范要求嚴格的各項業務;NetCDF及HDF由于其自身的靈活特征，有眾多應用的支持，較適用于對規范要求嚴格的各項業務;NetCDF及HDF由于其自身的靈活特性，有眾多應用的支持，較適用于各種科研類工作。

關鍵詞：氣象格點數據;規范化數據格式

中圖分類號：X16 文獻標識碼：A 文章編號：2095-672X（2019）06-0-02

DOI：10.16647/j.cnki.cn15-1369/X.2019.06.151

Abstract： The conventional meteorological grid data is mainly composed of three parts： meteorological satellite， weather radar and numerical forecasting products. The current standardized data formats include Grib， NetCDF and HDF. The Grib format code table is very standard and is more suitable for various services that require strict specifications. NetCDF and HDF are supported by numerous applications due to their flexible features. They are more suitable for various services that require strict specifications; NetCDF and HDF Due to its flexible nature， it is supported by many applications and is suitable for various scientific research work.

Keywords： Meteorological grid data; Normalized data format

隨著社會的進步和全球氣候變暖的加劇，人們對氣象預報和服務的需求越來越迫切，而氣象格點數據是氣象業務和科研等各種專業工作中不可缺少的重要數據內容。

目前氣象業務和科研工作使用的氣象格點數據主要有三大類：氣象衛星數據、天氣雷達數據、數值預報產品數據。中國氣象局于2017年頒布的《氣象數據格式應用指南》確定的六種數據格式中，有三種適用于氣象格點數據的存儲管理，分別是：Grib2（General Regularly-distributed Information in Binary from2）、NetCDF（network Common Data Form）、HDF5（Hierarchical Data File5）。隨著天氣雷達網建設的全面展開以及風云系列氣象衛星的不斷升空，氣象格點數據的體量正以每日數十TB的增量迅速膨脹。如何有效地運用規范化數據格式來適應不同氣象專業工作的特點，是一個不容忽視的問題。本文將簡要介紹常規氣象格點數據，概述并分析比較這三種格點數據編碼格式。

1 常規氣象格點數據

1.1 氣象衛星數據

氣象衛星[4]（meteorological satellite）分為極軌衛星與靜止衛星兩類，這兩類衛星的數據概述如下：

1.1.1 極軌衛星

極軌衛星數據在掃描時遠點與星下近點的格點間距不同。極軌衛星掃描后的格點數據形狀一般都是帶狀的，雖然并不規則但存在一定規律。此外，由于極軌衛星呈勻速飛行，相鄰兩條掃描線之間的距離是相等的。具體掃描圖像如下圖：

1.1.2 靜止衛星

靜止氣象衛星所產生的遙感數據是由從北到南的逐條掃描線組合而成的，每條掃描線由西向東逐點橫向掃描，形成覆蓋地球一側的圓盤格點數據及圖像。與極軌氣象衛星同樣的，由于地球表面的曲率，每條掃描線中相鄰兩點間的距離不盡相同，但有規律可循。具體衛星的掃描圖像如下：

1.2 天氣雷達數據

天氣雷達是以體掃方式收集數據的，雷達原始數據是采用球坐標形式的格點數據，其數據呈圓臺形，在頂部有一個圓錐形的鏤空，這是由于雷達在體掃時的特點所造成的。在一些應用中人們常利用一定的插值方法，將球坐標系下的雷達原始資料插值到笛卡爾坐標系下的規則三維網格點上。在經過插值后進行存儲的這類數據多數都是4維的，有著3維的長寬高以及1維的時間。

1.3 數值預報產品

數值預報是基于天氣預報的，由觀測獲得的當前大氣狀態出發，借助于現代電子計算機，采用數值方式求解控制大氣運動的流體力學方程組，從而對未來天氣或氣候變化做出預報。

數值預報產品數據是最為經典的格點數據，其格點形式根據數值模式和處理方案的不同而彼此各異，諸如：等距格點、蘭勃特投影、麥卡托投影、經緯度等距格點等多種格點方案，由于種類繁多，不與贅述。

2 規范化格式描述

2.1Grib2和NetCDF

鑒于Grib2和NetCDF已有不少文獻予以介紹，感興趣者請參見參考文獻，此處不再贅述。

2.2HDF5

HDF5是一種用于存儲科學數據的文件格式，它被設計用來滿足科學數據存儲量不斷增加和數據處理不斷變化的需求。為了充分利用當今計算機系統的能力和特點，HDF5具有一個強大與靈活的數據模板，其支持管理的文件大小大于2GB，同時還支持并行I/O，線程和具備現代操作系統與應用程序所要求的其他特性，而且數據模型也變得更為簡單，概括性更強。HDF5邏輯格式如下圖：

HDF5格式只有兩種基本結構：組（group）和數據集（dataset），組包含0個或多個數據集，在HDF5中用一個小數據集Attribute表示注釋信息，其中：

（1）HDF5 group：按照組織結構包含零個組或多個組或數據集的實例，同時它還支持元數據（metadata）;

（2）HDF5 dataset：數據元素的多維數組，支持元數據。

HDF的具體優勢與特性請參見參考文獻，此處不再贅述。

3 格式的比較分析

3.1Grib與NetCDF

Grib與NetCDF在數據本身的存儲上并沒有什么太大的不同，都是進行了一定簡單的壓縮方法后使用數組存儲，然而雙方在數據的描述方面存在較大差異。

Grib由WMO推薦，使用非常嚴格的碼表來描述要素，用模板來描述和存儲數據，為此WMO幾乎每年都會專門針對這些碼表召開相關會議，用以確認是否需要修改或擴充，從而使得這個碼表本身的變動變得較為困難。這種情況在一定程度上限制了Grib2的適用范圍，由于其碼表的內容具有嚴格的限制，一般來說Grib2只能使用在氣象行業，存儲一些衛星、雷達與數值預報產品數據。GRIB2數據格式的優勢在于，由于碼表和模板的規范性，任何用戶均可根據要素碼和模板代碼等格式信息，通過參考手冊或對照表而明了存儲數據的基本信息，從而使得用戶可以在沒有任何復雜說明只有一張對照表的情況下使用數據。

NetCDF在這一點上與之不同。NetCDF在數據描述方面有著很高的自由性，以要素而言，它既可以用碼表描述，也可以用文字描述，這就造就了NetCDF極高的通用性與靈活性，用戶非但可以使用NetCDF存儲氣象格點數據，而且也可存儲其他專業領域的格點數據。同時在可存儲的維度方面，NetCDF也比Grib有著更多的選擇，從1維到n維，從單一離散數據到格點數據，NetCDF都可予以便利的存儲管理。相比較而言，Grib2只能存儲二維及二維以上的氣象格點數據，應用范圍被局限在氣象領域之內。兩者在使用范圍上的差異是由于這兩種格式對于數據描述方式的不同所造成的。

3.2NetCDF與HDF5

NetCDF與HDF5對數據的描述方法相近，都可以采用碼表或場描述，又可以采用文字描述，數據的通用性也很好，基本滿足了大部分格點數據對數據存儲的需求。由于這兩種格式的版本繁多，在這里我們主要采用NetCDF-4與HDF5進行論述。

NetCDF-4文件是使用HDF5庫創建的，并且是各種方式的HDF5文件，無需NetCDF-4接口即可讀取。

NetCDF-4文件中的組對應于HDF5組。NetCDF中的變量與HDF5中具有相同名稱的數據集共同使用，屬性類似。

由于NetCDF文件中的元數據多于HDF5文件，因此使用特殊數據集來保存NetCDF元數據。

同時HDF5具有NetCDF-4不支持的一些功能，并且會導致互操作性問題：

（1）HDF5允許組既是另一組的“祖先”又是“后代”，在子組圖中創建循環。HDF5還允許一組的多個“父母”。在NetCDF-4數據模型中，組形成一個沒有循環的樹，因此每個組（頂級未命名組除外）都具有唯一的父級。

（2）HDF5支持“引用”，類似于指向文件中對象和數據區域的指針。NetCDF-4數據模型省略了引用。

（3）HDF5支持NetCDF-4數據模型中未包含的一些原始類型，包括H5T_TIME和H5T_BITFIELD。

（4）HDF5支持數據對象的多個名稱，如數據集（NetCDF-4變量），沒有可分辨名稱。NetCDF-4數據模型要求每個變量，屬性，維度和組都具有單個可分辨名稱。

（5）HDF5（如NetCDF）支持標量屬性，但NetCDF-4無法讀取標量HDF5屬性（除非它是字符串屬性）。

由此可以看出HDF與NetCDF主要是一個包含關系。

3.3 結論

在氣象領域種，3種格式都可以獨立管理所有常規氣象格點數據，但從能力范圍的角度來看，他們互相之間是一種包含關系，即：NetCDF包含Grib，HDF包含NetCDF。

4 總結

在常規氣象格點數據所使用的幾種格式中，Grib是一種專門為了氣象格點數據所量身定制的格式，對于常規的氣象格點數據來說，是最為規范化的一種格式，但在平時的使用中，因為其拓展性與通用性不足，使得Grib的應用范圍相對較窄，所適用的應用軟件（包括繪圖軟件）相對有限;而NetCDF與HDF的使用十分簡單，很多應用軟件都支持這兩種格式，這與他們的通用性與靈活性是分不開的。

GRIB碼作為WMO推薦使用的專用于存儲管理氣象格點數據的表格驅動碼，在氣象格點數據的業務工作中（尤其是數據交換過程中），有其特有的嚴格和規范等特點;而NetCDF格式則由于其靈活的存儲方案以及十分廣泛的應用適用范圍，很適合氣象科研領域的工作特點。

因此，在規范性要求嚴格的業務工作中，Grib相對更為適合作為規范化管理的依據;而在對自由度、靈活性要求更高的科研工作中，NetCDF作為規范化管理的統一格式相對是一個較好的選擇。

參考文獻

[1]范振林，鄭寶鋒，吳斌.氣象數據服務在地質調查安全生產管理保障系統中的應用[J].安全與環境工程，2018，25（04）：156-159.

[2]顧洪，李昀英.NC格式氣象數據無損壓縮研究[J].計算機工程與應用，2012，48（09）：90-91+148.

[3]張林.中國氣象百科全書[J].氣象，2017，43（02）：248.

[4]黃云仙，張英.多普勒天氣雷達數據插值方法比較研究[J].遙感應用，2008（2）：39-45.

[5]陳甫，舒秦.GRIB2資料解讀[J].電腦知識與技術，2014，10（14）：3201-3203.

[6]劉媛媛，應顯勛，趙芳.GRIB2介紹及解碼初探[J].氣象科技，2006（S1）：61-64.

[7]賈俊濤，孟嬋媛，宋海英，魯強，譚冀川.基于NetCDF的海底地形網格數據模型創建與調度[J].海洋測繪，2007（05）：22-25.

[8]顧洪，李昀英.NetCDF格式數據無損壓縮[J].數據采集與處理，2010，25（S1）：87-91.

[9]李繼祥，于立，陳龍泉，姚仁太，郝宏偉，范丹，呂明華.NetCDF格式在Windows及Linux平臺下的讀寫[J].安徽農業科學，2014，42（33）：11942-11945.

[10]王玲，龔健雅.基于HDF文件的組織方式與影像提取[J].測繪通報，2003（4）：35-37.

[11]李振鋒，李五生，祿永旭，王衛平，馬馳.利用HDF5數據格式構建氣象預報業務平臺數據庫[J].氣象與環境科學，2014（8）：114-119.

[12]呂梁，陳晴，滕舟.基于NetCDF的數值預報產品存儲和應用[J].現代計算機（專業版），2015（16）：47-50+55.

收稿日期：2018-12-04

作者簡介：舒紅平（1974-），男，漢族，研究生學歷，計算機應用技術專業博士學位，中國科學院大學兼職博士導師，研究方向為數據庫與知識工程、計算機在制造業中的應用、氣象信息共享軟件技術。

通信作者：沈晨笛（1994-），男，漢族，在讀研究生，研究方向為氣象信息化。