海量地理國情普查數據分布式存儲研究

齊東蘭，向 娟，杜 鑫，魏永強，楊雨佳

（1.國家測繪地理信息局重慶測繪院，重慶 400015）

1 技術介紹

ISCSI（internet small computer system interface，網絡小型計算機系統接口）是一種在TCP/IP協議網絡上進行數據塊傳輸的標準[1]。其目的是用IP協議將存儲設備連接在一起，使服務器可以與使用TCP/IP網絡的存儲設備互相交換存儲資料[2]，它包括發起端和目標端，其工作原理是發起端將SCSI指令和數據封裝成ISCSI協議數據單元，提交給TCP，最后封裝成IP數據包在IP網絡上傳輸，到達目標端后通過解封裝還原成SCSI指令和數據，實現SCSI命令和數據在IP網絡上的透明傳輸。

ORACLE RAC（ORACLE real application clusters）通常稱作ORACLE真正應用集群[3]，其實質是使位于不同服務器系統的ORACLE實例可以同時訪問同一個ORACLE數據庫。一個ORACLE集群由多臺服務器組成，每臺服務器是一個獨立的數據庫實例[4]，用于監聽自己的網絡端口；每臺服務器有自己的ORACLE RAC服務，用于數據庫的集群訪問；所有的服務器通過自己的操作系統訪問一個共享的存儲設備，數據庫存儲在共享設備上。

GlusterFS是一個開源的分布式文件系統，能夠利用普通的存儲設備來部署可集中管理、橫向擴展、虛擬化的存儲池，使用單一全局命名空間來管理數據，支持PB存儲容量[5]，支持運行在任何標準IP網絡上標準應用程序的標準客戶端。

2 基于ISCSI技術的地理國情普查數據分布式存儲

2.1 研究路線

地理國情普查數據量大，如何有效進行管理，是必須考慮的問題。本文利用計算資源、網絡資源、存儲資源等構建數據庫服務器集群和文件服務器集群，提供分布式存儲環境。在數據庫服務器集群和文件服務器集群上結合ISCSI技術，搭建ORACLE RAC數據庫和分布式文件系統，其架構如圖1所示。根據《第一次全國地理國情普查數據庫建設技術設計》的要求，將地理國情普查的地表覆蓋、地理國情要素及其元數據等矢量數據存儲于ORACLE RAC數據庫中，地形地貌數據、遙感影像數據、遙感影像解譯樣本數據等存放在分布式文件系統中，實現海量地理國情普查數據的分布式管理，然后驗證使用ISCSI構建的存儲環境能夠滿足海量地理國情普查數據的存儲和讀取；最后通過對比驗證基于ISCSI的分布式管理和普通管理方式在數據存儲和負載均衡方面的性能。

圖1 分布式存儲架構

2.2 分布式存儲系統構建

2.2.1 基于ISCSI的ORACLE RAC數據庫

使用相同配置的兩臺服務器部署ORACLE RAC集群，集群節點同時作為數據存儲服務器，其配置信息如表1所示。基于ISCSI將服務器上的存儲資源通過網絡輸送到所有ORACLE RAC節點，再利用ORACLE 的 ASM[6]（automatic storage management，自動存儲管理）將這兩臺服務器上的存儲資源創建成共享存儲來管理地理國情普查數據，集群內部實現分布式存儲設備的維護。

表1 ORACLE RAC配置信息表

構建過程如下：

1）整體部署，包括硬件和軟件環境部署，如表1。

2）配置公共網絡和專用網絡。

3）基于ISCSI配置共享存儲。在網絡協議的基礎上，在集群節點上配置好ISCSI協議并添加ISCSI虛擬磁盤，啟動ISCSI發起程序，連接至虛擬磁盤，從而綁定磁盤，實現磁盤的本地使用，再配置成共享存儲。

4）安裝集群軟件和數據庫。

5）配置客戶端連接ORACLE RAC。

2.2.2 基于ISCSI的GlusterFS分布式文件系統

在GlusterFS中將服務器上剩余的存儲空間使用ISCSI技術虛擬發布成網絡存儲設備，并加載多個網絡存儲設備和本地存儲設備，采用兩臺配置信息如表1的服務器，搭建分布式文件系統環境。其構建過程如下：

1）將服務器上的空閑存儲資源以虛擬ISCSI Target服務的方式發布出來，形成私有的存儲區域網絡SAN。

2）在5臺存儲服務器上分別安裝GlusterFS，創建GlusterFS集群，各臺服務器上使用GlusterFS將ISCSI存儲設備或本地存儲掛載為數據塊并納入管理。

3）配置多個節點的數據存儲數據塊融合成組，合并創建成大容量的網絡存儲卷，在網絡上形成NAS存儲網絡。

4）主服務器節點，通過掛載分布式集群創建的NAS卷，使用Samba(Linux下的文件共享服務軟件)為選定的目錄建立網絡共享，將NAS卷的存儲空間提供出來，供網絡內的其他服務器進行共享訪問。

2.3 存儲性能測試

選用一臺配置為Intel(R) Core(TM)i5-2400、內存為4 GB、操作系統為Windows 7的臺式機作為客戶端，以某地地理國情普查成果數據為實驗數據，分別對本文提出的分布式存儲與普通集中式管理方式進行了存儲效率和負載均衡性能的測試。

2.3.1 存儲效率性能測試

1）選取記錄數目分別為3萬條、10萬條和100萬條的地理國情普查矢量數據，其對應的數據大小分別是50 M、200 M、1 000 M，比較導入基于ISCSI的ORACLE RAC數據庫和ORACLE數據庫的耗時，從ORACLE數據庫中查詢分別需要70 s、185 s和354 s；基于ISCSI的ORACLE RAC數據庫查詢分別需要31 s、93 s和159 s，其效率提高2.3倍，如圖2所示。

2）選取數據量分別為0.1TB、1TB、5TB的地理國情普查影像數據，比較導入基于ISCSI的分布式文件系統和普通文件系統的耗時，導入普通文件系統分別需要4min、360min和1 800min；導入基于ISCSI的分布式文件系統分別需要2min、240min和1 200min，其效率提高1.5倍，如圖2所示。

圖2 存儲性能測試

從圖2可以明顯看到，基于本文提出的分布式存儲方式具有優勢，存儲效率高于普通的數據管理方式。

2.3.2 負載均衡性能測試

在ORACLE RAC集群上，首先關閉節點1上的數據庫實例，在節點2上頻繁執行查詢操作，節點2的大量資源被占用，CPU利用率迅速升高，達到90%；再啟動節點1上的數據庫實例，此時節點1的CPU利用率升高到46%左右，節點2的CPU利用率降低到55%左右，幾分鐘之后兩個節點的CPU利用率都保持在20%左右，如圖3所示。

圖3 ORACLE RAC集群CPU使用情況

通過測試驗證，當集群某一節點的負載過高，而其他節點負載較小時，將請求分配給當前負載較小的節點上，從而實現數據交互的均衡分配。

2.4 測試結論

在反復的驗證測試中，最終得出結論，基于ISCSI的ORACLE RAC數據庫和分布式文件系統完全可以應用于地理國情普查數據的管理，且具有硬件成本低、存儲效率高、負載能力強等優勢。

3 結 語

深入研究了利用ISCSI技術構建的ORACLE RAC集群來管理地理國情普查數據，將數據分散地存儲在多個普通的存儲物理設備上，降低了硬件成本，實現了數據的高并發讀寫和海量數據存儲，提高了系統的響應效率，并且系統具備靈活的分布式體系結構，支持橫向伸縮；即便隨著地理國情普查后續工作的推進造成數據量的幾何級增長，也可以無縫擴展該存儲系統以滿足需求。