地理信息空間數據管理的對象存儲研究

劉素茹，陳鑫祥，吳錦超

（1.廣東省國土資源技術中心，廣東 廣州 510075）

解決地理信息空間數據長期存放問題的重要性正逐年提升，一方面測繪成本較高，一個典型的測繪項目通常花費千萬，數據丟失的代價很高；另一方面測繪數據不可重現，若某些歷史測繪數據丟失，則無法再呈現當時的情況；而且測繪成果數據為眾多政府相關部門和社會公眾提供服務，有重大的使用價值。呂雪鋒[1]等認為分布式集群化存儲是海量數據存儲技術的發展趨勢；馬澤[2]則認為云存儲技術是未來的趨勢，且需從GIS數據特有的角度開發更友好Web應用界面。

針對海量地理空間數據存放與管理的特點、痛點和難點，本文提出了基于分布式對象存儲的解決方案，從而實現了地理信息基礎數據存、管、用的一體化管理，為廣東省自然資源信息化應用打下了扎實的數據基礎。

1 需求分析

近年來，隨著智慧廣東時空信息云平臺、應急測繪保障、地理國情監測、第三次全國國土調查、不動產登記信息管理基礎平臺等項目的開展，數字航片、DOM、DEM、DLG、DRG、土地類、礦產、空三加密、外業、航片掃描、航片、衛片、切片等數據類型的廣東省自然資源廳地理信息數據呈爆炸式增長。其主要原因為：①地理信息數據獲取手段不斷增加，數據來源日益豐富，出現“空、天、地”多種來源；②測量次數和測量精度逐年提升，隨著空間分辨率的不斷提高（從幾米到1 m、0.5 m、0.2 m，將來可能達到0.1 m）以及測量次數的不斷增加（從幾年一次到一年幾次），數據增長非常快；③根據《測繪地理信息業務檔案管理規定》，重要的測繪地理信息業務檔案數據需要永久保存，其他數據保存時間也達到10～30 a不等。作為廣東省自然資源數據管理單位，廣東省國土資源技術中心（以下簡稱技術中心）每年接收的需長期保存的成果數據可達300 TB以上，如何有效地保存和使用數據成了當前課題。

1.1 現狀分析

技術中心存儲資源池架構根據數據應用場景的不同，分為結構化存儲、非結構化存儲[3]和災備存儲三大區域。結構化存儲主要為不動產、大數據、基礎地理信息平臺等應用系統提供存儲空間，這部分數據主要通過數據庫或虛擬平臺以結構化的形式存放；非結構化存儲存放的是入庫前文件數據或成果數據，如各地市上交的基礎地理信息成果數據、作業科室完成的生產成果數據等，這些數據以非結構化純文件的方式存儲[4]；為了保證數據的安全，采用在線與離線分級存儲[5]，設立了備份用途的離線存儲區，用于備份數據[2]，如圖1所示。需要長期保存的數據主要集中在非結構化存儲和災備存儲。

圖1 存儲基本情況

1.2 存在的問題

現狀非結構化存儲及其災備方案在存、管、用方面存在的主要問題為：

1）文件存儲擴展性差。以RAID實現數據保護的NAS存儲擴展能力差。

2）一方面異構現象嚴重，影響使用和管理效率，多臺NAS存儲型號、品牌多樣，不同產品劃分不同的存儲空間，數據量大的項目文件只能拆分存放，不利于數據管理；另一方面備份工作量大，多異構產品備份功能需要專門的備份軟件，備份軟件對存儲文件系統有兼容性要求，難以實現全自動備份，人工備份耗時費力，且容易出錯。

3）一方面文件查詢能力差，NAS以文件夾層次的方式存放數據，文件查詢層層深入、效率較低，且層次太深或文件名太長時無法查詢；另一方面缺乏版本控制，NAS存儲沒有版本控制功能，存在誤刪后無法恢復的風險。

2 解決思路

在選擇和構建適應廣東省自然資源廳地理信息數據長期保存存儲與保護平臺的過程中，技術中心的數據存儲管理經歷了從傳統架構到創新架構的一次飛躍。

2.1 存儲技術比對

為了解決上述存、管、用問題，本文對比了目前兩大類主流的文件存儲產品（NAS存儲和對象存儲），如圖2所示。兩種存儲的區別主要在于接口和數據組織結構，其技術對比如表1所示。

圖2 兩種文件存儲產品對比

表1 存儲技術對比

2.2 對象存儲解決地理信息數據存、管、用問題

針對日益增長的地理信息海量數據，本文利用對象存儲分布式架構[7]的容量、性能線性擴展以及先進的設備替換機制，搭建了成果數據云平臺，實現了地理信息數據的統一存放和管理；同時搭建了數據平臺的雙活容災系統，進一步提升了數據的可用性。

2.2.1 總體架構

總體架構由兩級存儲構成，一級存儲包括HDI、G400和EMC VNX5100仲裁盤，提供NAS讀寫功能，以滿足少量熱數據的快速讀寫和基于NAS的舊應用需求；二級存儲由兩套HCP組成成果數據主備平臺，兩套HCP存儲之間雙向復制，每套均可讀寫，以滿足海量數據長期存放的需求，如圖3所示。兼顧性能與容量需求、優化成本，由生命周期管理策略驅動冷熱數據在一級存儲HDI和二級存儲HCP之間合理擺放，從而減輕人工管理負擔；采用分布式架構，客戶端通過云盤服務器或S3客戶端直接對數據節點進行訪問[8]。

圖3 總體架構

2.2.2 軟件選擇

為了滿足超大規模地理信息空間數據上傳、下載的要求，本文分別采用HDS云盤服務器軟件和S3客戶端軟件直接訪問對象存儲兩種方式進行傳輸性能測試。客戶機硬盤采用固態SSD硬盤和機械HDD硬盤兩種作對比，結果如表2所示，可以看出，采用S3客戶端軟件性能更優；固態SSD硬盤的上傳、下載峰值約為560 MB/s，均值在300 MB/s以上；機械HDD硬盤的上傳、下載峰值為175 MB/s，均值在100 MB/s以上。

表2 數據傳輸速率測試/(MB/s)

2.2.3 解決“存”的問題

1）超大容量單目錄，滿足地理信息大數據量存儲需求。傳統NAS存儲采用文件系統技術，單個文件系統容量普遍在幾十TB級，而數據量大的LiDAR點云項目約有300 TB數據，就需要掛載多個文件系統目錄，將帶來很多非增值的運維工作。對象存儲采用扁平化的文件名唯一定位方式，單個目錄或存儲空間能達到數十甚至數百PB級，可滿足地理信息系統整個生命周期的存儲容量需求，無需掛載目錄和調整業務系統，使用戶更加關注地理信息業務價值本身。

2）擴展靈活。分布式架構設計避免了性能和容量的瓶頸，訪問節點（元數據節點G10）和高密度的存儲節點（S10）均可獨立橫向擴展，從而實現容量和性能的線性提升。整個系統對外是一個統一的存儲資源池，且通過多副本[9]和糾刪碼技術實現硬盤級、節點級的冗余保護，避免了物理單點故障造成的業務中斷。系統內置了靈活的數據遷移功能，添加新存儲節點后，可在系統內部將數據快速遷移到新設備，從而安全卸載舊設備，整個過程無需人工干預，前端業務也不受影響，滿足了地理信息數據增長快的現實需求。2018—2019年擴容了3次，總容量從1.2 PB增長到3.6 PB，采用單獨擴展存儲節點的方式，所有容量始終保持為單個文件系統，對地理信息數據和業務沒有影響，每次的升級時間只需0.5 d，比原來NAS升級的2 d時間提升了3倍擴容效率。如需提升性能，可單獨擴展訪問節點。

3）數據長期保存。通過一次寫入多次讀取的WORM寫保護技術，保證數據在指定時間周期內不被刪除與篡改，充分滿足相關法規對數據長期保存的合規要求；且誤刪或誤修改的數據可通過版本控制技術找回，更好地滿足了地理信息歷史數據不可重現的保護要求。

2.2.4 解決“管”的問題

1）數據保護能力。對象存儲自帶多重數據保護機制，數據無需備份。數據保護/備份是為了在發生數據丟失時恢復數據，數據丟失情況可分為物理故障、邏輯錯誤和站點災難。在這些情況下，對象存儲系統將通過其智能的數據保護方案去保障數據：①訪問節點里的元數據時，采用在多個節點中保存多個元數據副本[9]的方式實現冗余保護，還可備份元數據到后端的存儲節點；②后端的存儲節點采用糾刪碼的方式保護硬盤，一個存儲節點同時發生6塊硬盤故障也不會導致數據丟失；③兩套HCP之間的自動復制能確保數據始終在兩套對象存儲系統中保存雙份，兩套系統均可同時進行讀寫操作，任何一套系統發生宕機都不會導致數據丟失。

2）容災能力。利用軟件定義存儲架構建設兩個站點，生產站點用于數據存放和讀取，災備站點提供生產站點發生故障時的容災措施，站點間采用存儲雙活復制技術，靈活規劃災備時間。2018—2019年技術中心地理信息空間數據約增長600 TB，包括LiDAR點云數據、2000國家大地坐標系轉換數據、高分辨率航空影像數據、地理國情監測數據、數字城市數據等。若采用傳統NAS方式，大小文件混合的600 TB數據，按100 M/s的高速傳輸速率，每天8 h工作量計算，需要約208個工作日來做容災；而利用對象存儲站點間的雙活技術，容災自動完成，大大減少了工作量。

3）數據一致性。當文件存入HCP后端的存儲節點時，系統將針對每個糾刪數據塊產生唯一的Hash值[2'10]（也稱數字指紋），同時不斷在后臺運行Hash驗證服務，確保每個糾刪塊的Hash值與初始的Hash值相匹配，若不匹配，則自動執行修復操作，從而保證讀出文件與寫入文件的一致性。同時，根據Hash值的唯一性特點，通過比較該數據即可判別數據的重復性，實現數據去重以節省硬盤空間和數據備份帶寬[11]。

2.2.5 解決“用”的問題

1）創新的索引技術，解決海量文件保存和查詢難題。海量文件的存儲，尤其是海量的小文件，是業界公認的難題。傳統存儲采用文件目錄樹的方式構建索引，只能適合千萬級別的文件存儲和查詢；而對象存儲采用分布式數據庫保存文件索引，且內嵌搜索引擎，結合描述地理數據的標識、覆蓋范圍、質量、空間和時間模式、空間參照系、分發、項目和時間等自定義元數據內容，可輕松實現千億級別的文件保存和歷史文件的快速查詢。

2）統一數據管理。基于S3接口的數據存儲和查詢管理系統，統一了數據上傳/下載、審核確認、權限管理等功能，同時擴展了自定義元數據管理功能，以更好地利用后端的HCP對象存儲平臺，不僅能通過文件名、時間、自定義的元數據等進行文件檢索[1]，而且能根據業務應用特點添加自定義的元數據屬性，允許自由添加描述空間數據集的內容、質量、狀態和其他特性的特殊完全說明數據[12]，形成特定資源或信息的規則集合描述[13]，便于全文內容檢索和大數據分析。

3）結合業務系統管理。結合基礎地理信息數據管理系統，直接調用對象存儲S3接口，利用簡單的PUT、GET語句實現數據的上傳、下載，系統功能和業務工作流程與對應數據的關聯、調用，實現各類成果數據上交(接收)、數據申請、數據分發與借閱、匯總統計、資源目錄在線發布等功能。

3 結語

立足于測繪和地理信息等海量數據的管理，對基于分布式架構的海量數據存儲與應用進行了詳細分析和闡述。通過這套私有云存儲平臺，不僅真正解決了測繪成果等非結構化數據高速增長的存儲難題，而且為數據在未來產生更大價值奠定了堅實的基礎。系統上線后通過架構的高可靠性避免了業務中斷隱患，通過訪問節點和存儲節點的獨立橫向擴展能力實現了靈活的擴容，通過存儲架構的數據自愈功能避免了數據霉變后無法讀出的風險，通過多層面的數據保護功能實現了數據的免備份，通過自定義元數據功能為自然資源大數據分析搭建了數據溝通橋梁。