一種面向遙感影像的分布式存儲方法

聶 沛,陳廣勝,景維鵬

(1. 東北林業大學 信息與計算機工程學院，黑龍江 哈爾濱 150040；2. 黑龍江省林業生態大數據存儲與高性能(云)計算工程研究中心，黑龍江 哈爾濱 150040)

遙感是從人造衛星、飛機或其他飛行器上收集地物目標的電磁輻射信息的技術，在資源調查、環境評估、災害預測、國土管理、城市規劃、交通運輸等幾乎所有領域都涉及到遙感技術的應用[1]。隨著高分辨率對地觀測時代的到來，獲取到的影像數據以TB級的速度增長，如何將海量影像數據進行高效存儲成為近年來的研究熱點。傳統的影像數據存儲基于關系型DBMS實現的空間數據庫，這種集中式的文件存儲管理能很好地適應各種復雜影像數據結構，但系統擴展性和單服務器容易成為瓶頸[2]。為了解決該問題，很多專家學者提出多種解決方案[3-8]。但仍存在不足之處，主要有以下兩點：當前研究往往將關注重點放在影像像元數據，沒有對元數據的存儲進行合理高效的設計，常規的方案往往將像元數據與元數據分開存儲，增加系統耦合性與層次，降低系統內聚性；影像分塊固定，沒有提供靈活可變的數據分塊存儲策略，靈活可變的數據分塊對于上層復雜影像算法處理至關重要。因此，為了解決存儲系統層次復雜、分塊策略較固定等一系列問題，基于HDFS設計實現一種高效的面向遙感影像分布式存儲模型-MapImage，模型存儲充分考慮影像像元數據、影像金字塔、元數據之間的聯系，同時針對處理算法訪問特性，提供靈活可變的數據分片策略以供選擇，提高系統的可用性。

1 遙感影像特性分析

高光譜遙感影像數據結構復雜、數據量大，一般的處理方法是將單幅影像進行分層分塊，再利用編碼映射到一維空間[9]，從而減少與客戶端的單次數據量交互，提高讀取效率，同時由于遙感影像數據處理在不同程度上具有數據相關性，如何合理地數據分塊以適應上層處理算法的存取要求也是存儲的關注點之一[10]。

1.1 影像數據模型

遙感影像數據包括影像像元數據和影像元數據，影像像元數據是遙感影像的主體，記錄地物對于光波的反射情況，元數據作為數據查詢與處理的重要依據，在此基礎上，將海量遙感影像按照不同分辨率進行切分，建立分層分塊影像金字塔，數據模型如圖1所示。

由圖1可見，影像數據模型包括3部分，分別為：①波段數據。不同波段數據代表地物對不同光波反射情況，在各波段上對數據進行分塊組織，在圖1中將波段數據等分為16塊。②元數據。元數據是關于影像數據特征的表述，是關于數據的數據，元數據描述與圖像獲取有關的參數及后處理相關參數[11]，影像元數據詳細內容如圖2所示，元數據的存儲由于數據量較小，且結構化程度高，一般采取關系型數據庫或XML文件的形式存儲。③影像金字塔。影像金字塔通過對原始影像進行重采樣形成不同分辨率的多層數據，再對分辨率由粗到細、數據量由小到大的金字塔在每一層上進行數據分塊，實現應用層對于不同規格數據的快速訪問。這一技術現今已經十分成熟，在GoogleMap、Bing Map、百度地圖、高德地圖中都被廣泛應用[12]。

圖1 遙感影像數據模型

圖2 影像元數據

1.2 遙感影像數據訪問

在遙感影像處理算法中，計算往往具有不同程度的相關性，如某像素或某局部區域的數據處理需要其相鄰的空間位置的數據、其它光譜波段或其他時間維度的圖像數據共同參與計算，而計算與遙感圖像數據在不同維度上的相關性使得遙感數據處理算法的數據訪問模式變得復雜，其數據訪問請求除了常規的連續數據訪問外，還存在非規則的不連續數據訪問模式，如列訪問、矩形塊訪問，這種數據訪問模式困難在于算法通常需要訪問文件視圖上大量具有多種空間間隔和尺寸的數據片[13]。因此，在影像數據存儲時，需要將上層不同訪問模式考慮進來，在對數據按波段存儲的基礎上，提供各種不連續訪問的分塊接口，如自定義大小的矩形分塊存儲、按行按列進行存儲等。

2 遙感影像分布式存儲模型設計與實現

現有方案一般應用分布式NoSQL數據庫或分布式文件系統直接進行影像數據塊的存儲，元數據與影像像元數據分離，以關系型數據庫表或XML文件存儲。為了解決當前研究中的不足，基于分布式文件系統HDFS設計實現一種高效可用的分布式影像存儲模型，滿足上層各種應用的訪問需求。

2.1 分布式文件系統

分布式文件系統是指文件系統管理的物理存儲資源不一定直接連接在本地節點上，而是通過計算機網絡與存儲節點相連，設計目標是在通用、廉價的硬件平臺上構建大容量、高吞吐率和可伸縮性的分布式存儲架構。具有代表性的分布式文件系統有GFS、HDFS、NFS、DFS等，這些分布式文件系統基本采用Master/Slave結構，將目錄、文件名或文件數據塊等的元數據信息存放在主節點的內存中，是針對大型數據集的存儲而優化，對于海量影像塊小文件的存儲，易造成主節點性能瓶頸[14]。HDFS是一個開源的分布式文件系統，HDFS集群由一個名稱節點和多個數據節組成，名稱節點是用以管理文件命名空間和調節客戶端文件訪問的主服務器，文件以數據塊的形式存儲在數據節點。對于小文件的存儲，HDFS提供兩種類型的容器，分別是SequenceFile和MapFile，而SequenceFile的每條記錄是可序列化的鍵值對記錄。MapFile是排序后的SequenceFile，MapFile由兩部分組成，分別是data和index，MapFile結構如圖3所示；index作為文件的數據索引，主要記錄了每個記錄的key值，以及該記錄在文件中的偏移位置。在MapFile被訪問的時候,索引文件會被加載到內存，通過索引映射關系可迅速定位到指定Record所在文件位置，因此，相對SequenceFile而言，MapFile的檢索效率是高效的，缺點是會消耗一部分內存來存儲index數據[15]。

圖3 Mapfile結構示意圖

2.2 MapImage分布式存儲模型

影像數據模型包括影像像元數據、影像金字塔、元數據3部分，如何高效地組織這3部分數據是影像數據存儲的核心問題，在當前的研究成果中，往往將影像數據與元數據分離開，以不同的結構進行存儲，使得系統內聚性降低，而各部件間耦合性增加。

利用HDFS進行影像數據模型的存儲，基于容器Mapfile設計實現一個高效的分布式存儲模型-MapImage(見圖4)，該模型將影像數據結構捆綁在一起，大大提升系統內聚性，同時解決數據分塊產生的小文件問題，同時為支持各種數據訪問模式，提供影像數據的分塊存儲接口，只需要指定相應的分布參數，就可以對圖像各波段進行可變大小的分塊；如面向矩形塊訪問的分布式影像矩形塊存儲，將一幅影像分割成多個矩形塊，又如面向列訪問的分布式列存儲模型、面向跨多波段訪問的分波段存儲。

由圖4可見，模型利用Mapfile存儲整個影像數據模型的映像，Mapfile中的值可以存儲序列化后的二進制數據，對于異構的數據都可以很好地進行組織存儲，同時內置索引文件，對于指定的影像塊及元數據都可以進行快速檢索，模型數據分為3部分：

1)Raster Info對應影像級元數據，代表整幅影像共有的元數據。

2)Bands Info代表影像各個波段元數據信息，各波段元數據信息樣式和長度一致。

3)RasterData存儲的是影像的像元，是影像數據的主體部分，該段的組織方式由Raster Info中分布方式參數指定，分布方式有按波段分塊存儲、按行分塊存儲、按列分塊存儲、按矩形塊存儲。在MapImage中，數據都是分波段存儲，所有分布方式都是建立在此之上，每個波段以影像金字塔結構進行存儲；以按波段分布舉例，首先重采樣形成影像金字塔，對于影像數據不進行分塊切割，各層的單個波段整幅影像數據直接存儲在一個鍵值對中。

2.3 分布式存儲模型存取接口

根據不同的應用需求，對于影像應該采取特定的分塊策略，依照MapImage模型特點，設計實現相應存儲及訪問接口，存儲的過程是將本地的影像調用Mapfile接口和GDAL庫讀寫接口按指定的分布方式將影像存儲到HDFS上，接口類為PutToHDFS，該類介紹如下：

Class PutToHDFS：

Int AllocateAsBand(String filedir)

//按波段分布

Int AllocateAsRow(String filedir,int Ysize)

//按行分布，需指定每塊的列方向大小

Int AllocateAsRect(String filedir,int Xsize)

//按列分布，需指定每塊的行方向大小

Int AllocateAsCol(String filedir,int Xsize,int Ysize)

//按矩形塊分布，需指定矩形塊的長和寬

圖4 MapImage分布式存儲模型

讀取影像接口為類ReadMapImage，該類中提供一系列訪問特定數據的方法，形如GetXXX()，元數據的獲取大同小異，只需指定影像文件名或波段號，就可以進行訪問，而像元數據的獲取較為復雜，在指定文件名及波段號的基礎上，還需指定X、Y方向的索引及數據層號，同時還需創建字節數組緩存像元數據，以矩形塊讀取為例闡述接口的使用規范如下：

矩形塊讀取接口為Boolean GetRect(String filename,int band, int layer, int xIndex,int yIndex,byte[] buffer)，其中filename為待訪問的文件，而文件中存儲中的是分層的多波段數據，所以在訪問某一塊矩形數據時，需要指定波段號band以及金字塔數據層號layer，根據波段號定位到某個波段數據，而波段數據以金字塔形式存儲，包含多層數據，定位到某波段之后，再通過層號定位到金字塔的某層數據，最后通過矩形塊在橫豎方向的編號xIndex和yIndex讀取指定矩形數據塊，緩存到數組buffer中，讀取成功返回true，否則返回false。

3 實驗分析

對本文提出的模型進行編碼實現，應用不同大小的數據集進行網絡環境下的存取實驗，實驗存取流程如圖5所示，同時進行兩組實驗對比：一組以分布式NoSQL數據庫Hbase存儲影像塊，關系型數據庫存儲元數據；另一組將數據塊直接以影像文件形式存儲在HDFS，元數據以XML文件組織。

圖5 實驗存取流程

3.1 實驗環境與實驗數據

實驗所需的硬件條件、軟件環境、實驗數據見表1—表3。

表1 硬件平臺

表2 軟件環境

表3 實驗數據

3.2 實驗結果與分析

實驗采取兩種分塊策略來測試模型的存取性能：一種是矩形分塊，分塊大小為512×512；另一種按列分塊，即將圖像一列作為一個分塊進行存儲，實驗重采樣比率為4∶1，數據集從單幅影像(364 MB)至8幅影像(2 548 MB)，圖6為數據按矩形分塊時隨數據量增長存取時間變化趨勢，圖7為數據按列分塊時存取時間的變化趨勢。

從圖6(a)及圖7(a)可以看出，列分塊較矩形分塊數據粒度更小，數據切割和組織耗費更多的時間，HDFS文件存儲方案和MapImage存儲方案寫入時間較接近，這兩種方案較Hbase存儲方案寫入時間平均減少14.5%和16.3%，可見利用分布式文件系統存儲數據塊較Hbase數據庫具有更佳的寫入性能，而對于MapImage和HDFS文件這兩種方案，后者沒有對數據文件進行很好的組織，易造成名字節點的性能瓶頸；觀察圖6(b)及圖7(b)，列分塊數據粒度小，客戶端與服務器交互更頻繁，讀取耗費時間更多，Hbase方案和MapImage方案較HDFS文件方案數據讀取時間平均減少21.8%和28.8%，可見HDFS文件組織影像數據塊時讀取性能較差，Hbase方案讀取時首先需要連接關系型數據，讀取元數據，再根據元數據信息去Hbase中讀取數據塊，系統內耦合度較高，所以該方案比MapImage讀取消耗更多的時間。

通過以上的實驗及其分析，可以得到以下結論：

1)利用分布式文件系統直接存儲影像塊數據消耗的時間少，但數據塊直接以文件的形式存儲易造成HDFS小文件問題。

2)具有索引的數據結構如Mapfile和數據庫表在數據讀取時性能較好。

圖6 按矩形分塊數據存取時間

圖7 按列分塊數據存取時間

3)在對影像數據模型的存儲中，影像元數據及像元數據聯系很緊密，存儲時需要將這兩者一并進行考慮。

4)本文提出的MapImage影像分布式存儲模型，解決數據塊直接存儲時的小文件問題，較現有的遙感影像數據模型存儲方案具有更好的存取性能。

4 結束語

高光譜多波段影像具有數據量大的特點，分布式存儲是一種有效的處理方式，針對當前研究中的不足之處，本文基于分布式系統HDFS提出一種遙感影像分布式存儲模型，將影像數據模型中各部分數據存儲在同一結構中，使得系統內聚性增強；同時兼容上層各種數據訪問需求，提供各種數據分片策略，大大增強可用性。通過實驗表明該存儲模型支持多種影像數據存取模式，較傳統方案在數據寫入時效率最大提升16.3%，數據讀取時效率最大提升28.8%，具有優良的數據讀取性能，對于遙感領域具有較高的應用價值。下一步的研究重點是將底層數據存儲和并行計算框架相結合，加速數據處理。