面向分片地圖的多分辨率格點數據統一存取方法

王葉晨梓, 杜震洪*, 張豐, 劉仁義

(1.浙江大學 浙江省資源與環境信息系統重點實驗室， 浙江 杭州 310028；2.浙江大學 地理信息科學研究所， 浙江 杭州 310027)

面向分片地圖的多分辨率格點數據統一存取方法

王葉晨梓1,2, 杜震洪1,2*, 張豐1,2, 劉仁義1,2

(1.浙江大學 浙江省資源與環境信息系統重點實驗室， 浙江 杭州 310028；2.浙江大學 地理信息科學研究所， 浙江 杭州 310027)

不同的海洋環境要素對象、數據文件格式及數據分辨率使得對異構且離散的場數據訪問和應用受到了限制.設計了面向分片地圖的統一數據多級存儲組織架構，定義了適用于不同分片地圖對象的海洋場數據組織方式，提出了多分辨率格點場數據分層和分塊方法，并通過建立索引編碼，實現將多要素、多時次、多深度、多高度的海洋環境場數據按統一維度的小區塊存儲并管理于多級組織架構中.該方法在海洋環境預報綜合信息服務平臺的應用中有效支持了異構場數據的整合、時空統計分析及可視化表達等.

海洋環境；場數據；分片地圖；統一架構；分層；分塊

0 引 言

快速發展的立體海洋環境監測技術催生了空間覆蓋范圍廣、時空分辨率高、更新頻率快的超海量觀測數據，涵蓋了海洋表面及其表層以上大氣環境和以下水體環境.同時，基于獲取的多時空分辨率、點線面結合的實時觀測數據，可運用多種有效的預報方法進行不同模式下的數值模擬及反演，得到準實時的多要素、多時次、多深度、多高度的海洋環境預報數據.

海量異構多維時空場數據的復雜性與多樣性，對海洋數據本身的綜合應用提出了更高的要求和挑戰.為確保信息的完整性以及數據存儲和傳輸效率，原始的海洋環境時空場數據基本以規則或非規則格點數值形式進行組織.因此，如何對不同的描述對象、科學數據文件格式及數據分辨率的異構離散數據進行有效整合，并構建統一的數據模型以實現異構數據的統一存取是關鍵所在.中國科學院海洋環境研究所研發的“SDG”新型格網數據格式，在結構層面上整合了數十家研究機構的異構數據資源，構建了跨數據庫的海洋監測數據統一訪問平臺[1].張志遠等[2]提出了以網絡通用數據格式(簡稱NetCDF)為核心的數據訪問和存儲策略，將其他格式數據轉換成NetCDF標準格式后在不同模式間進行通信，并利用數據切分算法實現并行讀寫，最終生成結果文件用于存儲.NetCDF Operators[3]可實現對NetCDF格式文件內容的常用查詢，為支持時空監測數據的組織和在線綜合分析服務，SWAMP項目[4]則在多計算節點內實現NetCDF Operators的并行查詢.ZHAO等[5]將NetCDF等文件格式轉換成通用描述語言(CDL)格式，并將大規模CDL文件存放在Hadoop分布式文件系統(HDFS)中.但從某種意義上說，轉換后的數據塊在頻繁訪問原始數據時其相互間關聯性維持、解析應用效率及可擴展性并不優于直接使用NetCDF接口函數庫[6].

本文著眼于異構數據的一體化高效存儲和組織，提出了一種面向分片地圖服務的多分辨率格點數據統一存取方法，實現多分辨率格點場數據的統一分層、分塊、編碼管理，以打通跨數據文件和多數據塊的綜合應用，有效支持分片地圖的相關數據服務和計算服務.

1 面向分片地圖的統一數據多級存儲組織架構

NetCDF、HDF(hierarchical data file)等是多時空分辨率格點場數據的主要文件存儲格式，均基于多維數組模型，雖可通過標識在文件內部的索引號對不同數據塊進行快速定位[7]，但難以實現數據的有效壓縮、可擴展存儲及高效傳輸[8].另一方面，部分數據分析及綜合應用須提取或合并若干個場數據文件中的相關邏輯單元.當前大多采用跨原始場數據文件訪問多個數據塊的方式實現按需實時調取數據，該過程須重復調用異構文件數據訪問接口，且無法真正克服數據分散、應用割離、管理成本高等瓶頸問題.

當前海洋環境場數據的常用可視化表達形式大多采用單幅圖片格式的專題圖，因此缺少完整的地理空間信息，空間分析能力及應用受到限制.運用GIS技術可直觀描述多尺度多維度對象的空間分布特征和時間變化趨勢.分片地圖技術在WebGIS及桌面端GIS中的應用已十分廣泛，充分提高了地圖繪制和傳輸效率[9].為進一步豐富地圖服務內容，設計面向分片地圖服務的數據多級存儲架構，可統一將多源異構的海量場數據有機組織成與分片地圖相適應的管理模式，并建立各場數據塊間的索引，高效支持海洋環境多要素間的時空關聯查詢分析和應用服務.

面向分片地圖服務的統一數據多級存儲組織架構采用與地圖切片相似的組織方式，按照與目標分片地圖相一致的空間分辨率進行分級，各級別由若干行和列的小區塊容器構成相同的完整區域.各層級容器包含的各小區塊容器具有既定的相同數據分辨率，且小區塊容器間符合一定的命名規則和組織順序，各級共同組成多分辨率層次的類分片金字塔模型容器，用于映射和存放一定空間范圍內不同海洋環境要素和不同分辨率的數據，從容器的底層到頂層，分辨率逐漸降低，而所覆蓋的空間范圍不變.

谷歌地圖、百度地圖、天地圖等均采用分片地圖技術進行發布，雖然采用的縮放級別(包含各級分辨率)及索引方法各異，但是以上分片數據的地理空間覆蓋面廣，各類分片均遵循TMS標準、WMTS標準或者經簡單變化后進行組織.因此它們作為地理底圖被廣泛應用于桌面端GIS和WebGIS.類分片金字塔模型容器具備無縫、多尺度層級結構特征，具有與目標地理底圖相同的數據切分方法、坐標原點、坐標系統、層級關系及各層切片分辨率等組織形式，搭建架構須定義以下內容.

(1)完整模型容器的坐標原點及全覆蓋的投影坐標范圍[x1,y1,x2,y2]，其中，x1、x2分別為經向最小、最大投影坐標值，y1、y2分別為緯向最小、最大投影坐標值.以Google切片地圖作為目標地理底圖為例，將容器在Web Mercator投影下經緯度均為0°的方位點定義為坐標原點(0,0)；完整容器具有完整經緯度地理空間，范圍為[-85.05, -180.00, 85.05, 180.00]，對應Web Mercator投影下的坐標范圍為[-20 037 508.34, -20 037 508.34, 20 037 508.34, 20 037 508.34].

(2)各層級的所有小區塊容器默認具有統一的像素分辨率px*py，單個像素代表的實際空間范圍為d*d，且滿足下列條件：

(1)

以Google切片地圖作為目標地理底圖為例，默認容器中各小區塊容器均為正方形，其像素分辨率均為256pixel*256pixel；單像素代表的實際距離為156 543.033 9 m.

(3)完整模型容器的層級數、層級編號及層級間關系.一般對僅包含完整區域范圍的單個小區塊容器所在層級進行初始編號，隨著空間分辨率的增大，層級號依次增加.確定層級間關系即是對各層級容器的空間分辨率進行定義.以Google切片地圖作為目標地理底圖為例，模型容器分為20個層級，且在相同區域范圍內第L級正方形小區塊容器經向與緯向的空間分辨率分別是第(L-1)級的2倍.

圖1 數據多級存儲組織架構

(4)小區塊容器間索引機制按照行列順序對各層級小區塊容器進行遞增編碼.以Google切片地圖作為目標地理底圖為例，各層分別以左上角的第1個小正方形作為起始區塊，起始塊編碼為(0,0)，則經向第m列、緯向第n行的小區塊可編碼為(m-1,n-1).圖1所示為類金字塔模型的數據多級存儲組織架構示意圖.

2 多分辨率格點數據分層分塊方法

結合分片地圖的具體應用，建立統一的數據多級存儲組織架構后，地理空間范圍和數據分辨率各異的多時次、多高度、多深度、多環境要素格點場數據可有機整合至該統一架構中.圖2為對任意分辨率格點數據進行分層分塊處理的流程圖.

圖2 格點數據分層分塊處理方法

對任意空間分辨率的格點數據，首先，獲取數據所覆蓋的地理空間范圍，然后，在不缺失原始格點數據精度的基礎上，計算最小分辨率層級作為格點數據塊在統一數據存儲組織架構中的存放層級，確定該層級下存放數據塊內容的小區塊容器編號范圍，最后，在相同空間范圍內將插值和缺省值填充后的數據矩陣按照統一分辨率的小區塊容器邊界劃分進行組織和存儲.該多分辨率格點數據分層分塊方法實現了不同分辨率格點數據的統一分層、分塊、編碼管理，以支持多源數據的快速檢索、復雜分析及并行處理.

3 最小分辨率層級下的覆蓋范圍計算

獲取任意空間分辨率的格點數據經緯度范圍，將經緯度坐標轉換為目標分片地圖所使用的投影坐標，并計算格點數據所覆蓋空間區域在最小分辨率層級容器上包含的像素范圍.

假設獲取任意一個空間分辨率為n行m列的規則格點數據，該數據的經度范圍為[Lonmin, Lonmax]，緯度范圍為[Latmin, Latmax].以Google切片地圖作為目標地理底圖為例，將元數據中描述的WGS84地理坐標轉換為Web Mercator投影坐標，坐標范圍分別為[wLonmin,wLonmax]及[wLatmin,wLatmax].利用公式(1)～ (3)計算格點數據所覆蓋空間區域在最小分辨率層級容器上包含的像素范圍.

(2)

(3)

p代表該格點數據在最小分辨率層級容器經向的像素列數，q代表數據在最小分辨率層級容器緯向的像素行數，對p、q暫不進行取整操作.

4 基于精度維持的數據塊存放層級及分塊集合核定

根據統一存儲組織架構的層級關系，從最小分辨率層級起依次計算在不同層級容器上覆蓋的像素范圍，直至經向及緯向的像素分辨率均不小于原始格點數據的分辨率.滿足以上條件時將所對應的層級作為格點數據塊存放層級，同時應確保不缺失原始數據精度.以Google切片地圖作為目標地理底圖為例，相同區域范圍內第L級正方形小區塊容器經向與緯向的空間分辨率分別是第(L-1)級的2倍.通過計算格點數據所覆蓋空間區域在最小分辨率層級容器上包含的像素范圍得到p、q，并取最小整數level的值作為數據塊存放層級號，當且僅當同時滿足式(4)和(5)：

p*Pow(2,level)≮m,

(4)

q*Pow(2,level)≮n.

(5)

根據格點數據地理空間范圍及數據塊存放層級，確定在level層級下涵蓋原始數據范圍的所有小區塊容器編碼集合.利用式(6)～(9)計算該層級下小區塊容器編碼最值，以快速定位邊界小區塊的相對位置.

，

(6)

(7)

(8)

(9)

其中，ymin為所有小區塊容器中最小行編號，ymax為小區塊容器中最大行編號，xmin為小區塊容器中最小列編號，xmax為小區塊容器中最大列編號；Floor(x)為向下取整函數.則涵蓋原始數據空間范圍的所有小區塊容器編號分別為(xmin,ymin)，(xmin+1,ymin)，…，(xmax,ymin)，(xmin,ymin+1)，…，(xmax,ymin+1)，…，(xmin,ymax)，…，(xmax,ymax)，即由(xmax-xmin+1)*(ymax-ymin+1)個連續且無縫的小區域分塊組成規則大數據塊[xmin,ymin,xmax,ymax].

5 可存取的統一分辨率數據切片構造

由于各格點數據的原始數據精度存在差異，為實現數據的統一整合及存放，基于相同地理空間范圍，將原始格點數據空間插值成與統一數據多級存儲組織架構相一致的數據矩陣.

通過運用上述分層分塊方法，可得到不小于數據塊實際空間覆蓋范圍的小區塊容器集合，且各小區塊容器具有統一的數據存儲維度和容量.以Google切片地圖作為目標地理底圖為例，可選用不同的空間插值方式，在相同空間范圍內將n行m列的原始格點數據插值成(q*2level)行(p*2level)列的數據矩陣.

依照各小區塊容器的地理區位及邊界，將插值后得到的數據矩陣分割成若干鄰接的數據分塊，對應存放在各小區塊容器中.并且在各小區塊容器中剩余的無值區域使用缺省值進行填充，使得包含數據的小區塊容器均按照統一分辨率的數據矩陣進行組織和存儲.以Google切片地圖作為目標地理底圖為例，所有數據切片通過插值和缺省值填充后均為256*256的數據矩陣.經切片分割后的相鄰切片邊界過渡自然，保持了良好的數值穩定性[10].

最終，以提取時間、高度/深度、環境要素、層級、列號、行號等作為編碼信息建立數據切片間的索引機制.由于與目標分片地圖的組織方式相似，構造的數據切片無須再經預處理即可支持基于多級比例尺地圖的多關鍵字檢索、跨數據塊的時空分析、并行化高效處理以及多維多尺度可視化表達.圖3為數據切片構造效果示意圖.

圖3 數據切片構造過程

6 應用實例

基于面向分片地圖服務的多分辨率格點數據統一存取方法已應用于中國近海海洋環境預報綜合信息服務平臺.海洋環境數值預報對象各異、參數繁多、預報更新速度快，平臺基于Google分片地圖，運用HBase分布式數據庫建立預報對象元信息表(MEF_OBJ_CLASS)用于存儲各類數值預報數據元信息；建立預報數據元信息表(MEF_FILE_LRYSET)用于記錄各類預報數據塊存儲及預報產品制作情況；以不同的目標預報對象為獨立單位動態建立預報對象數據表(MEF_OBJ_VAR)，分別用于記錄各類數據多個預報對象參數的數據切片內容及產品訪問路徑.此表結構可一體化存儲海洋環境預報數據的元數據信息及具體數據塊內容，具體表結構和相互間的邏輯關系如圖4所示.

圖4 數據庫表結構及邏輯關系Fig.4 The structure and logical relationship of tables in database

該平臺中分別存儲和整合了4類不同經緯度范圍及不同數據分辨率的海洋氣象數值預報格點數據，涵蓋了我國周邊海域、印度洋北部海域等地區不同海面高度的風速風向及不同水深的流速流向信息， 表1所示為4類海洋氣象預報數據基本信息.分別將4類數據的WGS84地理坐標轉換為Web Mercator投影坐標，計算數據各自所包含的空間區域在第0級分片地圖上覆蓋的像素范圍，直至經向及緯向的像素分辨率均大于原始格點數據的分辨率，確定所對應的數據塊存放層級，以及涵蓋原始數據空間范圍的小區塊容器集合，最終構造數據切片存儲至分布式數據庫中.如第1類數據塊存放在第3級，其小區塊集合內編號分別是(6,2)、(6,3)、(6,4)、(7,2)、(7,3)、(7,4).

在統一的數據多級存取架構下，平臺客戶端可快速檢索不同地理范圍海域和數據分辨率的數值預報產品，實現了多源數據的綜合應用和一體化信息服務.圖5和6分別為第1類和第3類海洋環境氣象預報數據在某預報時次下海面10 m高處的風向標產品及大風區域產品的疊加可視化表達效果.

圖5 第1類風場數據檢索及可視化表達Fig.5 The retrieve and visualization of the first type of wind field data

另一方面，數據統一存儲架構同樣可靈活支持基于地圖的交互式、跨數據塊時空檢索分析.例如，基于起報時間和空間位置信息，按需獲取或通過空間插值計算得到目標預報參數在多目標層次下的預報信息，并以統計圖表的形式展示該地理位置的相關預報參數在不同層次下隨預報時間的變化情況.圖7為中國近海地區某方位點水體在不同深度時的海流流速及流向預報時序圖.

表1 4類海洋氣象預報數據相關參數信息

圖6 第3類風場數據檢索及可視化表達

圖7 跨多時次、多深度場數據檢索及統計分析

7 結 語

針對多源異構數據難以整合的問題，提出了一種面向分片地圖服務的多分辨率格點數據統一存取方法，通過多分辨率格點數據的分層、分塊、編碼管理，實現將異構多分辨率場數據融合至統一數據存取模型中，以更靈活的方式支持時空統計分析及復雜應用處理，有效解決了在存儲和處理海量異構場數據方面的局限性.該方法所建立的統一場數據存取模型適用于不同分片地圖，根據分片地圖對象可相應調整和確定模型的組織方式.下一步，筆者將在此基礎上著手研究并優化海量場數據塊檢索策略[11]，進一步擴展數據的高性能處理和場數據動態可視化[12]應用.

[1] 邵黨國.網格數據庫系統的設計及應用研究[D].成都：四川大學,2006. SHAO D Y.GridDatabaseSystemDesignandAppliedResearch[D].Chengdu: Sichuan University,2006.

[2] 張志遠,張翔,張權,等.面向海洋環境數值預報的支撐平臺框架設計與實現[J].計算機工程與科學,2014(12):2251-2256. ZHANG Z Y, ZHANG X, ZHANG Q, et al.Design and implementation of supporting platform construction oriented to numerical marine environment forecast[J].ComputerEngineeringandScience,2014(12):2251-2256.

[3] SEO S, YOON E J, KIM J, et al.HAMA: An efficient matrix computation with the MapReduce framework[C]//CloudComputing,SecondInternationalConference-CloudCom2010. Indiana: IEEE Computer Society,2010:721-726.

[4] WANG D L, ZENDER C S, JENKS S F.Clustered workflow execution of retargeted data analysis scripts[C]//IEEEInternationalSymposiumonCLUSTERComputingandtheGrid.Lyon：IEEE，2008:449-458.

[5] ZHAO H, AI S Y, LYU Z H, et al.Parallel accessing massive NetCDF data based on MapReduce[C]//WebInformationSystemsandMining.Berlin /Heidelberg： Springer，2010:425-431.

[6] GENG Y, HUANG X, ZHU M, et al.SciHive: Array-based query processing with HiveQL[C]//201312thIEEEInternationalConferenceonTrust,SecurityandPrivacyinComputingandCommunications.Melbourne：IEEE Computer Society,2013:887-894.

[7] 胡勇,羅文,俞肇元,等．多維時空場數據的多模式張量表達模型[J]．武漢大學學報:信息科學版,2015,40(7):977-982. HU Y, LUO W, YU Z Y, et al.Multi-mode tensor expression model of multidimensional spatio-temporal field data[J].GeomaticsandInformationScienceofWuhanUniversity,2015,40(7):977-982.

[8] 徐勝華,劉紀平,王想紅,等.基于三維GIS的海洋標量場數據動態可視化[J].測繪通報,2014(10):50-53.

XU S H, LIU J P, WANG X H, et al.Three dimensional dynamic visualization for marine scalar field data based on 3D GIS[J].BulletinofSurveyingandMapping,2014(10):50-53.

[9] 黃夢龍.瓦片地圖技術在桌面端GIS中的應用[J].地理空間信息,2011(4):149-151. HUANG M L.Application of tile map technology in desktop GIS[J].GeospatialInformation,2011(4):149-151.

[10] 李將云,楊勛年,汪國昭.分割圖像插值的一種局部算法[J].浙江大學學報:理學版,2002,29(1):55-62. LI J Y, YANG X N, WANG G Z.Local algorithm for segmented image interpolation[J].JournalofZhejiangUniversity：ScienceEdition,2002,29(1):55-62.

[11] ELDAWY A, MOKBEL M F, ALHARTHI S, et al.SHAHED: A MapReduce-based system for querying and visualizing spatio-temporal satellite data[C]//IEEEInternationalConferenceonDataEngineering. Seoul: IEEE,2015:1585-1596.

[12] DU Z, FANG L, BAI Y, et al.Spatio-temporal visualization of air-sea CO2, flux and carbon budget using volume rendering[J].Computers&Geosciences,2015,77:77-86.

WANG Yechenzi1,2, DU Zhenhong1,2, ZHANG Feng1,2, LIU Renyi1,2

(1. Zhejiang Provincial Key Lab of GIS, Zhejiang University, Hangzhou 310028, China; 2. Department of Geographic Information Science, Zhejiang University, Hangzhou 310027, China)

The wide variety of marine environmental objects and multi-resolution scientific data bring challenges to the current approaches of data storage and processing. This paper proposes a unified architecture of marine environmental field data storage and organization for tiled map. The diversified multi-resolution field data can be organized into multiple blocks with the unified dimensions after stratification and partitioning. These blocks can be stored and managed in the architecture by index encoding. Its application to the service platform for marine environmental forecasting information shows that the proposed method supports efficiently the heterogeneous data integration, temporal-spatial statistical analysis and visualization.

marine environment; field data; tiled map; unified architecture; stratification; partitioning

P 208

：A

：1008-9497(2017)05-584-07

2016-06-17.

國家自然科學基金資助項目(41471313)；國家科技基礎性工作專項(2012FY112300)；海洋公益性行業科研專項經費資助(201505003，201305012)；浙江省科技攻關項目(2015C33021)；中央高校基本科研業務費專項(2016XZZX004-02，2016QNA3015).

王葉晨梓(1991-)，ORCID：http://orcid.org/0000-0003-4310-2691,男，碩士研究生，主要從事時空數據管理及可視化等相關技術研究.

*通信作者，ORCID：http://orcid.org/0000-0001-9449-0415,E-mail：duzhenhong@zju.edu.cn.

10.3785/j.issn.1008-9497.2017.05.014

Aunifiedaccessingmethodofmulti-resolutiongridpointdatafortiledmapservices.Journal of Zhejiang University (Science Edition)2018，44(5)：584-590