計算機存儲技術在GIS數據管理中的應用研究

萬里烘

(寧波市規劃與地理信息中心，浙江寧波 315041)

1 引言

地理信息系統(GIS)作為集計算機科學、地理學、測繪遙感學、環境科學、城市科學、信息科學和管理科學為一體的新興邊緣學科，隨著技術的不斷完善，在迅速發展中。該系統主要用以采集、存儲、管理、分析和描述整個或部分地球表面與空間和地理分布有關的數據，通過一系列空間操作和分析方法，為地球科學、環境科學和工程設計提供對規劃、管理和空間決策有用的信息。

目前GIS已經在多個行業普及，主要應用于政府、公共事業、商業和個人服務四個領域。中央和地方政府部門使用GIS制作電子地圖產品、提供地理信息服務，并用于輔助決策和政策制定。公共事業部門包括電力、燃氣、自來水、通訊等，用GIS進行資產登記、設施維護、運行監測、應急處理等。在現代化城市建設中，GIS更被視為一項重要的基礎設施，用于管理城市現狀、規劃、變遷的各類空間數據，如:地形、地貌、建筑、道路、綜合管線等以及描述這些空間特征的屬性數據，并作為一種決策手段和工具，在城市規劃、管理及資源保護中正發揮著越來越重要的作用。

隨著GIS在各行各業的廣泛使用，復雜度越來越高，早已從桌面級使用發展為部門級、企業級和公眾型系統，更加強調數據的共享和與其他系統的整合，為公眾提供更全面綜合性、專業化的地理信息服務。在復雜GIS中，各種各樣的信息在不斷地交換、融合和派生，數據越來越多，急劇膨脹。如何有效管理好這些海量數據，按要求進行快速存儲和備份恢復，成為我們應亟待解決的問題。

2 計算機存儲技術概述

2.1 RAID技術

RAID全稱為獨立磁盤冗余陣列是由一個硬盤控制器來控制多個硬盤的相互連接，使多個硬盤的讀寫同步，減少錯誤，增加效率和可靠度。簡單地說，RAID就是一種把多個獨立硬盤按不同的方式組合起來形成一個硬盤組，從而具有比單個硬盤更高的存儲性能，并能進行數據備份的技術。數據備份的功能是在用戶數據一旦發生損壞后，利用備份信息可以使損壞的數據得以恢復，從而保障用戶數據的安全性。在用戶看來，組成的磁盤組就像是一個硬盤，用戶可以對它進行分區、格式化等。不同的是，磁盤陣列的存儲速度要比單個硬盤高，而且可以提供自動數據備份。

RAID Levels就是組成磁盤陣列的不同方式，即RAID級別。經過不斷的發展，現已有從RAID 0～RAID 6這7種基本的RAID級別。不同的RAID級別代表著不同的存儲性能、數據安全性和存儲成本。常用的有RAID1和RAID5。RAID1又稱為鏡像，能最大限度保護用戶數據的可用性和可修復性。當讀取數據時，系統先從源盤讀取數據，如果讀取成功，則系統不管備份盤上的數據;如果讀取失敗，則系統自動轉而讀取備份盤上的數據，避免工作任務中斷。由于數據的完全備份，備份數據占用了總空間的一半，磁盤空間利用率低，存儲成本較高，但安全性高，適用于存放重要數據。

RAID5是一種存儲性能、數據安全和存儲成本兼顧的方案。這種方式不對存儲的數據進行備份，而是把數據和相對應的數據分布存儲于不同的磁盤上。當一個磁盤數據發生損壞后，利用剩下的數據和相應的奇偶校驗信息去恢復已損壞數據。RAID5可以為系統提供數據安全保障，但保障程度低于RAID1，而空間利用率要高于RAID1。

2.2 NAS和SAN技術

NAS即網絡附加存儲。在NAS結構中，存儲系統不通過I/O總線附屬于某一個特定的服務器或客戶機，而是直接通過網絡接口與網絡相連，由用戶通過網絡來訪問。其實質是一個瘦服務的存儲設備，類似于一個專用的文件服務器，但省去了鍵盤、鼠標等外設。用NAS進行存儲服務，可以大大降低存儲成本。另外，由于NAS控制器采用專有操作系統，并采用RAID方式進行管理，能有效防范病毒，有效保護了數據。用戶訪問NAS資源時非常方便，同訪問一臺普通服務器的硬盤資源一樣簡單。NAS上的數據沒有排他性，同一個邏輯區域可以被多個服務器讀寫和修改。接口協議為TCP/IP，價格較低，適合中小企業中央存儲。

SAN是通過專用高速網將一個或多個網絡存儲設備和服務器連接起來的專用存儲系統，主要采取數據塊的方式進行數據和信息的存儲。目前主要使用于以太網和光纖通道兩類環境中，可分為FCSAN和IPSAN兩種。SAN上的數據是放在LUN上的，同一個區域需要鎖管理控制，不允許同時寫。接口協議為FC相關協議集，價格較高，適合關鍵應用的核心存儲系統。

FC SAN通過光纖通道技術實現的SAN互聯，可以為存儲網絡用戶提供高速、高可靠性安全傳輸。光纖通道技術是基于美國國家標準而創建的基于塊的網絡方式，該技術詳細定義了在服務器、存儲系統之間建立網絡結構所需的連接和信號。由于光纖通道結合了高速度與低延遲的特點，適合在時間敏感或交易處理環境中使用。

IP SAN即在傳統IP以太網上架構的SAN存儲網絡把服務器與存儲設備連接起來的存儲技術。該技術具有節約成本、可擴展性強的優點。普通服務器只需具備網卡，即可共享和使用大容量的存儲空間。IP SAN其實是把iSCSI協議完全封裝在IP協議中實現。iSCSI是基于IP協議的，它能容納所有IP協議網路的部件。通過iSCSI用戶可以穿越標準的以太網，在需要的地方創建實際的SAN環境。由于沒有光纖通道對傳輸距離的限制，iSCSI可以實現異地間的數據交換，使遠程鏡像和災備成為可能。

2.3 磁帶庫虛擬和數據遷移技術

磁帶庫是專業的備份設備，主要由庫體、磁帶驅動器、磁帶槽位、磁帶交換口、控制面板、機械手和電子控制單元組成。庫體內的大部分空間用于放置磁帶，一臺或多臺驅動器用于讀寫磁帶。帶庫工作時，機械手在管理軟件和電子控制單元的控制下移動，通過安裝在機械臂上的條碼讀取器尋找相應的磁帶，然后將其抓取到驅動器內;讀寫操作完成后，再由機械手將磁帶取出，放回磁帶槽位。一個帶庫可以安裝多個驅動器，支持并發任務，對于一個大的備份任務，就可以分配到多個驅動器上并行讀寫，提高備份效率。隨著SAN和LAN－Free備份技術的完善，很多帶庫提供了光纖通道的接口，可以直接連接到SAN上作為共享的存儲資源。

虛擬磁帶庫(VTL)是使用磁盤陣列模仿標準磁帶庫的一種產品。VTL通過光纖連接到備份服務器，為數據存儲備份提供高速、高效和安全的解決方案，極大地縮短了數據備份所需要的時間。并通過冗余和熱插拔設計保證系統不停頓及備份工作的聯系進行。隨著ATA、SATA磁盤陣列的出現，磁盤成本已逐漸接近磁帶，磁盤有取代磁帶成為備份主流介質的趨勢。通過VTL設備，可以提供給操作系統和管理軟件模擬成磁帶庫結構的磁盤設備。具有以下特點:數據讀寫是對裸設備的讀寫，不通過文件系統轉換，占用系統資源少;按順序方式讀寫，速度極快;裸設備上的數據不易更改和損壞。

數據遷移技術也稱分層存儲管理，是將離線存儲與在線存儲整合的技術。在磁盤介質替代離線存儲介質的同時，磁帶介質也借該技術，向在線存儲領域發展。一般離線數據是靜態無法實時訪問，通過該技術將離線數據與在線數據統一調度，從而實現所有數據的實時訪問。簡單地說，就是將大量不經常訪問的數據存放在磁帶庫中，在磁盤陣列上只保存少量訪問頻率高的數據。當那些磁帶介質上的數據被訪問時，系統自動地把這些數據回遷到陣列中。而陣列中很久沒有訪問的數據將自動遷移到磁帶介質中。

3 GIS數據管理中應解決的問題及對策

眾所周知，GIS中最基礎的也是最重要的部分是地理數據。例如基礎地理數據就包含:大地控制成果、數字線劃圖、數字正射影像圖、數字高程模型、SPOT影像和IKONOS影像等矢量和影像數據。這些數據含有大量的圖形圖像和文字，具有類別多、海量、高密級、生產和使用部門多的特點。特別是近年來，隨著三維技術在GIS中的深入應用，各類生產數據呈TB級增長。如何做好數據的統一存儲、有效共享和快速容災恢復已成為數據管理中越來越重要的內容。在具體實施時，應充分利用計算機存儲技術的優點，根據GIS數據自身的特點，構建GIS存儲備份系統，同時注重系統的安全性和可擴展性。具體說來，主要注意下列問題:

3.1 對海量數據的集中存儲

目前存儲方式難以滿足數據集中存儲和管理需要。GIS系統越來越復雜，功能越來越強大，通常采用服務器集群方式，集中讀取數據。數據必須被所有的服務器獲取，數據儲存的容量是爆炸式的增長，傳統的存儲設備無法進行支持。應配置磁盤陣列產品，進行統一存儲。

3.2 對海量數據的有效訪問

GIS的矢量數據通常通過ArcSDE直接存放到Oracle數據庫中。用戶需要頻繁操作該部分數據，因此在確定存儲方式時，應選用FC SAN光纖存儲。充分發揮光纖SAN存儲高速度與低延遲的特點，實現對矢量圖形數據的高性能訪問。

由于航拍和衛星影像數據具有海量的特點，傳輸帶寬要有一定保證，否則并發沖突增多，網絡被嚴重諸塞，系統將不能正常使用。該部分數據一般以文件方式被訪問，訪問用戶較多時，易被用戶電腦中病毒的破壞。因此在確定存儲方式時，應選用NAS存儲，充分利用其支持并發和瘦服務器的優點，提高影像數據訪問的安全性。

3.3 對數據的有效備份

數據在不斷的更新中，有一定的使用生命周期，對這些數據進行有效的存儲備份和歸檔，是整個城市地理信息系統必不可或缺的一環。傳統的存儲方式如:增加磁盤數量和容量，使用磁帶機進行存儲備份日益突顯其不足。備份數據慢，對應用網絡影響大。大量數據通過應用網絡進行備份，這種沖擊阻塞對網絡傳輸效率的影響將令人難于接受。而且基于應用程序和數據庫級別的備份，隨著數據量的增加，準確性大大降低。一旦數據備份時發生中斷，由于不支持斷點續傳，備份需重新啟動，效率低下。如果數據在備份中發生修改，很容易引起備份的不一致，恢復時將報錯。因此需配置專業的數據庫和文件備份軟件，制定備份規則，采用LAN Free備份方式，定期向磁盤陣列或磁帶庫備份數據。

在選定備份介質時，如果GIS數據量過大，可采用三種方式進行優化:

(1)采用磁帶庫虛擬技術，將數據壓縮存放到磁盤陣列中，需調閱數據時，可通過索引快速恢復。

(2)采用磁帶庫數據遷移技術，合理分配在線和離線空間，保障訪問頻率高數據的存儲效率。

(3)采用磁盤重復刪除技術，消除存儲系統中重復的數據，使系統中實際存儲的數據或者通過網絡傳送的數據以幾何級別遞減，大幅削減存儲以及傳輸成本。

3.4 對數據的異地災備

傳統管理模式，不能實現服務器與遠程存儲設備的連接，無法進行異地災備。一旦發生遇到自然災害或人為破壞，沒有保留一份完整的數據，后果將是災難性和不可挽回的。因此數據的容災，是數據管理重要的組成部分。進行數據異地定期備份，將有效降低數據發生災難的風險。根據目前網絡的連接線狀，可以選擇IP SAN，結合防火墻VPN加密通道，實現與遠程災備機房的數據交換。

使用先進的計算機存儲技術將很好克服上述缺點。以SAN網絡架構為基礎，可擴展性好，能夠提供靈活的計算組織環境，實現存儲資源的合理配置和有效利用。同時，能夠對SAN網內存儲資源實施集中、統一的管理，并方便實現數據的高可用性和容災性，目前已成為最理想的存儲管理和應用模式。

4 建立GIS存儲備份系統的技術路線

4.1 存儲系統建設

結合GIS數據的特點，采用光纖存儲網絡(SAN)結合NAS技術來實現海量數據的有效存儲備份。

具體實施步驟如下:

(1)安裝配置磁盤陣列庫，可配置FC磁盤陣列和SATA磁盤陣列。通過配置RAID和熱備盤增強容災能力。并可根據需要配置快照和復制許可，增強數據的安全性。

(2)磁盤陣列將分成LUN提供給服務器使用。通過陣列管理軟件，屏蔽掉多余的硬盤，避免誤操作。

(3)分配好磁盤空間給NAS控制器，連接到SAN中。設定好NAS服務器IP地址和訪問目錄，授權用戶訪問。

(4)配置光纖交換機，通過光纖跳線將磁盤陣列庫連接到光纖交換機上，并使用雙通路進行冗余。

(5)服務器上安裝光纖卡，通過光纖跳線連接到光纖交換機上。非關鍵服務器也可直接使用IP SAN。

4.2 備份系統建設

備份軟件的安裝，根據備份內容的不同使用的備份模塊有所不同。可分為三種:服務器端、客戶端和備份節點端。服務端程序用來控制整個備份過程，當客戶端發起備份請求時，備份請求信息先發送到備份服務器，備份服務器根據請求，檢測磁帶庫，準備就緒后，發送處理信息給客戶端，客戶端通過光纖網直接將數據備份到磁盤陣列中。備份節點端是一類特殊的客戶端，可對SQL SERVER和Oracle數據庫進行直接備份。根據實際需要，對備份設備進行優化。如:配置數據遷移、重復刪除模塊。

4.3 災備系統建設

如果異地容災機房的陣列與新增陣列為同一系列的設備，可通過租用運營商的裸光纜，連接兩地SAN存儲。通過陣列自帶模塊如MirrorView/Synchro模塊功能，將規劃局存儲上的生產數據遠程同步到容災機房的陣列上。該種方式能實現數據的實時同步，最大限度保護數據。但需要租用專用的光纖線路，并要求災備中心的陣列與本地陣列為同一系列的同構陣列，不易滿足。

也可采用數據冷備份復制方式。將本地陣列中生產的數據，備份到本地災備服務器的磁盤中。并通過電子政務專網或其他IP網絡，將災備服務器連接到異地容災點的網絡中。將該服務器中數據通過軟件或腳本定期備份到容災陣列共享的磁盤空間中。采用該種方式，只能進行數據的異步復制，由于數據是在一般的IP網絡中傳輸，備份和恢復的時間較長。但實現的方式簡單，具有較強的可操作性。具體實施步驟如下:

(1)通過電子政務專網或租用專用網絡，連通本地機房和災備中心機房。

(2)在網絡連接處，各架設1臺防火墻，設定網絡訪問規則，建立VPN通道，加密傳輸數據。

(3)將本地陣列中生產的數據，通過腳本定期備份到本地災備服務器的磁盤中。

(4)在災備服務器上，部署復制軟件，如:Symantic的VRTSREPLICATION EXEC產品，通過設定備份策略后，直接將服務器上的數據定期傳輸到災備中心的共享空間中。

(5)災備中心的服務器部署相應的復制軟件，可將其需要備份的數據發送到本地共享空間，實現雙向備份。

(6)如果需要恢復數據，先將正向復制作業停止，創建一個反向復制作業并運行即可。

(7)具體拓撲圖如圖1所示。

圖1 災備系統拓撲結構圖

5 結語

隨著信息技術的突飛猛進，尤其是計算機存儲技術的日趨成熟。應用該技術加強GIS數據的管理，將大大提高數據的安全性和可用性，為GIS技術的應用和發展拓展更廣闊的空間。

［1］ 邊馥苓.地理信息系統原理與方法［M］.北京:測繪出版社，2000

［2］ 謝希仁.計算機網絡(第三版)［M］.大連:大連理工大學出版社，2001

［3］ Richard Barker.存儲區域網絡精華－深入理解SAN［M］.北京:電子工業出版社，2004