茂名技師學(xué)院 楊曉娣
存儲虛擬化技術(shù)在網(wǎng)絡(luò)海量GIS數(shù)據(jù)存儲中的應(yīng)用
茂名技師學(xué)院 楊曉娣
通過發(fā)現(xiàn)GIS數(shù)據(jù)儲存的特性,并列舉和介紹GIS數(shù)據(jù)儲存擁有的一些特點(diǎn),與虛擬化技術(shù)所擁有的優(yōu)勢有效的進(jìn)行結(jié)合,再利用當(dāng)前網(wǎng)絡(luò)儲存的狀況,提出一個數(shù)據(jù)儲存方案,方案的主要基礎(chǔ)是利用現(xiàn)有的網(wǎng)絡(luò)儲存虛擬化技術(shù),設(shè)計的儲存方案關(guān)于在GIS數(shù)據(jù)方面的,通過利用實驗研究方案實行的可能性,對當(dāng)前數(shù)據(jù)儲存方面存在的問題進(jìn)行有效分析,并針對問題的細(xì)節(jié)提出能夠解決的方案,這樣才能夠有效的解決網(wǎng)絡(luò)環(huán)境下關(guān)于GIS數(shù)據(jù)儲存和管理方面出現(xiàn)的問題。
網(wǎng)絡(luò)存儲;存儲虛擬化;SAN;GIS數(shù)據(jù)
網(wǎng)絡(luò)化和信息化已經(jīng)滲透到生活的方方面面,與GIS數(shù)據(jù)儲存有關(guān)的數(shù)據(jù)種類和數(shù)據(jù)量都在迅速的上漲,大量的數(shù)據(jù)在存儲方式上由單一的設(shè)備儲存變化為網(wǎng)絡(luò)儲存,而且在操作管理方式進(jìn)入自動化領(lǐng)域在逐步的實現(xiàn)和進(jìn)行整合,但是儲存的透明化仍然沒有完全實現(xiàn),用戶在儲存管理的時候依舊需要對儲存設(shè)備進(jìn)行分別掌控,所以,要通過對儲存虛擬化技術(shù)的使用,在物理細(xì)節(jié)方面對儲存設(shè)備進(jìn)行屏蔽,讓用戶體驗到集中一致的儲存管理。
1.1網(wǎng)絡(luò)儲存技術(shù)的產(chǎn)生與變化
隨著科學(xué)技術(shù)的不斷發(fā)展和進(jìn)步,網(wǎng)絡(luò)儲存技術(shù)在不斷的進(jìn)行轉(zhuǎn)變和創(chuàng)新,從最開始的儲存硬盤和磁帶儲存,到現(xiàn)在的儲存網(wǎng)絡(luò)系統(tǒng)。舊的儲存形式是以直接儲存為主要方式,通過連接與某一個服務(wù)器的儲存設(shè)備進(jìn)行儲存,這種儲存方式因為技術(shù)的限制存在著很多不便,因為通過這種儲存方式存儲的數(shù)據(jù)會被限制在連接的主機(jī)設(shè)備下,這種儲存方式來進(jìn)行的儲存已經(jīng)難以滿足當(dāng)下企業(yè)不斷開拓業(yè)務(wù)現(xiàn)狀的需要,在這種市場需求的環(huán)境下便產(chǎn)生了網(wǎng)絡(luò)儲存技術(shù)。
1.2網(wǎng)絡(luò)儲存技術(shù)
網(wǎng)絡(luò)儲存技術(shù)理解起來就是把網(wǎng)絡(luò)的技術(shù)和儲存的技術(shù)結(jié)合起來進(jìn)行使用,通過利用網(wǎng)絡(luò)技術(shù)的尋址優(yōu)勢和隨用隨插的優(yōu)勢,以及網(wǎng)絡(luò)自身的靈活特性和連接特性,在結(jié)合利用存儲技術(shù)的效率優(yōu)勢和性能優(yōu)勢,結(jié)合兩項技術(shù)的優(yōu)勢和特性,在網(wǎng)絡(luò)的基礎(chǔ)上提供能夠滿足需求的數(shù)據(jù)存儲和提取,以及數(shù)據(jù)的網(wǎng)絡(luò)共享,這種技術(shù)能夠?qū)身椉夹g(shù)的特征充分有效的發(fā)揮,對于之前的技術(shù),網(wǎng)絡(luò)儲存技術(shù)的優(yōu)勢在大型數(shù)據(jù)的儲存和管理方面能夠明顯的發(fā)揮其優(yōu)勢。
1.3網(wǎng)絡(luò)附加儲存和儲存區(qū)域網(wǎng)
兩種比較典型的網(wǎng)絡(luò)儲存技術(shù),一種是網(wǎng)絡(luò)附加儲存,也叫NAS技術(shù),另外一種是儲存區(qū)域網(wǎng),也叫SAN技術(shù)。網(wǎng)絡(luò)附加儲存指的是把儲存設(shè)備放到網(wǎng)上,這樣有利于數(shù)據(jù)的開放和共享,但是因為和LAN共享一個網(wǎng)絡(luò),容易造成網(wǎng)絡(luò)擁堵,所以也降低在企業(yè)儲存中的使用率。儲存區(qū)域網(wǎng)是利用光纖進(jìn)行存儲的機(jī)構(gòu)體系,就是把數(shù)據(jù)在網(wǎng)絡(luò)上獨(dú)立起來單獨(dú)進(jìn)行儲存,降低服務(wù)器和網(wǎng)絡(luò)的負(fù)荷,因為與LAN是獨(dú)立分開的,所以在性能和業(yè)務(wù)的處理上擁有自己獨(dú)特的優(yōu)勢。
2.1關(guān)于GIS數(shù)據(jù)的概況
一般情況下,GIS數(shù)據(jù)主要包括兩個組成部分,分別是屬性數(shù)據(jù)與空間數(shù)據(jù),其中與其他數(shù)據(jù)庫的區(qū)分的地方是空間數(shù)據(jù)的儲存。地理上的實體坐標(biāo)數(shù)據(jù)和實體之間的空間聯(lián)系,以及關(guān)于幾何信息,這些都是屬于空間數(shù)據(jù)的范疇,他們適合于二維分布與三維分布方面對于域的現(xiàn)象進(jìn)行呈現(xiàn),甚至在多維分布對域的現(xiàn)象方面也能進(jìn)行描述。空間數(shù)據(jù)類型比較多,數(shù)據(jù)在輸出時的方式比較多樣,數(shù)據(jù)的量比較大,所以空間數(shù)據(jù)相對于日常數(shù)據(jù)處理起來比較麻煩。
2.2GIS數(shù)據(jù)儲存方式
第一種是文件儲存方式,就是把空間數(shù)據(jù)和屬性數(shù)據(jù)都存儲到一個或者多個文件里,優(yōu)勢是相對比較靈活,缺點(diǎn)是要用自己開發(fā)的工具進(jìn)行更新、查找等方面的操作,最大的缺點(diǎn)是不能進(jìn)行多個用戶同時操作。其次是利用文件與數(shù)據(jù)庫對空間數(shù)據(jù)共同進(jìn)行管理。最后一種方式是利用數(shù)據(jù)庫對兩種數(shù)據(jù)進(jìn)行儲存,不但空間數(shù)據(jù)能夠利用關(guān)系數(shù)據(jù)技術(shù)來進(jìn)行數(shù)據(jù)的儲存,并且屬性數(shù)據(jù)也能利用這項技術(shù)儲存數(shù)據(jù)。
2.3GIS數(shù)據(jù)儲存面臨的困難
因為GIS自身存在的存儲特征,使其面臨很多的困難,第一,在數(shù)據(jù)產(chǎn)生的過程中,很多不一樣的存儲設(shè)備和存儲體系摻雜其中,造成數(shù)據(jù)在進(jìn)行轉(zhuǎn)換的時候比較復(fù)雜,不能對數(shù)據(jù)進(jìn)行一致的管理。第二,由于GIS數(shù)據(jù)主要用局域網(wǎng)進(jìn)行數(shù)據(jù)的傳輸,過分依靠服務(wù)器,安全性能相對較低,數(shù)據(jù)傳輸?shù)男室膊桓摺5谌瑢?shù)據(jù)進(jìn)行備份時,過程比較復(fù)雜,難以進(jìn)行自動化操作。想要更好的解決這些問題,就要引進(jìn)網(wǎng)絡(luò)儲存虛擬化技術(shù)。
3.1儲存虛擬化技術(shù)的概況
儲存虛擬化技術(shù)就是把不同的存儲設(shè)備進(jìn)行映射,映射的結(jié)果是成為單獨(dú)唯一的存儲資源,這樣就能透明化的對用戶進(jìn)行呈現(xiàn),讓客戶能夠進(jìn)行互相操作。利用虛擬化技術(shù)的特性,用戶通過利用自己的設(shè)備,將SAN中的資源進(jìn)行統(tǒng)一,利用一些常見的技術(shù),將這個大的儲存體先進(jìn)行切割,在進(jìn)行分配,以便保證現(xiàn)有投資的安全。同時根據(jù)不同企業(yè)的業(yè)務(wù)需求,服務(wù)器的動態(tài)情況可以通過儲存池進(jìn)行透明的變化呈現(xiàn),甚至能夠在儲存區(qū)域網(wǎng)與儲存區(qū)域網(wǎng)之間實現(xiàn)虛擬化。
3.2存儲管理的智能化和自動化
通過利用儲存虛擬化技術(shù),將儲存數(shù)據(jù)進(jìn)行映射,最后成為一個單一的儲存體,對用戶呈現(xiàn)一個視圖透明的儲存。單一的儲存設(shè)備,在速度和容量這些物理上的特征都會被屏蔽。所以,不管后臺的實體儲存是什么樣的,客戶在儲存設(shè)備上看到的都是熟悉的映像。而且,管理員不用在意后臺的儲存,只需要關(guān)注儲存空間的管理,與現(xiàn)有的SAN對比,儲存管理相對來說比較簡單,對系統(tǒng)進(jìn)行升級,擴(kuò)容存儲的空間,以及磁盤的建立和分配都能夠簡單的進(jìn)行操作。
3.3儲存虛擬化技術(shù)對于儲存效率的提高
虛擬化儲存技術(shù)能夠解除被限制的容量,提高使用率的水平。目前,企業(yè)用戶面臨著儲存設(shè)備使用效率難以提高的問題。比如以磁盤作為例子來說,因為數(shù)據(jù)的不斷提高,45%左右的磁盤容量都沒有用過。虛擬化儲存技術(shù)能夠把分開的儲存組織起來,組成一個能夠逐步編址的儲存空間,讓用戶能夠幾乎100%的利用起磁盤存量,因為儲存池擴(kuò)展的時候可以自己進(jìn)行新的數(shù)據(jù)分配,在加上通過快照的利用,大大減少容量的需要,這樣便能夠?qū)Υ尜Y源的使用效率提升上來。
4.1系統(tǒng)的實驗環(huán)境
為了檢驗方案實行的可能性,通過構(gòu)建以SAN的GIS數(shù)據(jù)儲存虛擬化為基礎(chǔ)的試驗系統(tǒng)。實驗程序主要以空間數(shù)據(jù)的存儲管理為重心,通過建構(gòu)的GIS平臺來達(dá)到數(shù)據(jù)的管理和虛擬化儲存的目的。實驗用的元數(shù)據(jù)服務(wù)器是利用特殊的服務(wù)器來實現(xiàn),讓邏輯儲存池形象的呈現(xiàn)在客戶面前,利用SAN的管理窗口來對虛擬SAN的運(yùn)行情況進(jìn)行觀察和管理。在客戶端安裝簡易的瀏覽器,激活客戶端選擇注冊的程序,這樣能夠主動注冊有關(guān)的信息,再根據(jù)不同的用戶授予不同的權(quán)限。
4.2系統(tǒng)的實現(xiàn)和分析
客戶端通過授權(quán)后利用用戶界面讀取數(shù)據(jù)。這些客戶端可以同時進(jìn)行數(shù)據(jù)請求,必須馬上進(jìn)行辦理的數(shù)據(jù)請求信息,通過管理員的操作向服務(wù)器遞交信息,在直接反映給客戶端。與舊的方式比較來說,SAN的儲存虛擬化GIS系統(tǒng)能夠在很多方面擁有明顯的優(yōu)勢,比如數(shù)據(jù)儲存和傳輸速度上都會明顯提高。本實驗的系統(tǒng)通過統(tǒng)一管理儲存網(wǎng)絡(luò)以及對儲存設(shè)備之間的負(fù)載進(jìn)行平衡,大大提高用戶并發(fā)訪問數(shù)據(jù)的能力。
虛擬化儲存技術(shù)的應(yīng)用,在儲存管理方面能夠?qū)鹘y(tǒng)的手工操作的形式轉(zhuǎn)變提升為自動化的操作水平,并且能夠智能化的進(jìn)行運(yùn)行,大大的降低了服務(wù)器在儲存設(shè)備方面的運(yùn)行負(fù)擔(dān),把不同的儲存系統(tǒng)進(jìn)行整合,形成一個便于管理和單一的儲存池,并且,對不同的客戶的不同需要,為使用的用戶進(jìn)行個人定制,針對客戶的情況和存在的需求制定相應(yīng)的數(shù)據(jù)應(yīng)用,所以,儲存虛擬化技術(shù)在以后的使用前景上前途是非常廣闊。
[1]崔鐵軍.地理空間數(shù)據(jù)庫原理[M].北京:科學(xué)出版社,2007.
[2]金偉,謝長生.一種SAN非對稱網(wǎng)絡(luò)級儲存虛擬化實現(xiàn)方式的設(shè)計和實現(xiàn)[J].計算機(jī)工程與科學(xué),2004,26(8).
[3]王繼周,李成名,付俊娥.面向分布式異構(gòu)數(shù)據(jù)庫的WebGIS連接池服務(wù)研究[J].地理與地理信息科學(xué),2003,19(3):18-21.
[4]張書彬,韓冀中,劉志勇,等.基于MapReduce實現(xiàn)空間查詢的研究[J].高技術(shù)通訊,2010,20(7):719-726.
楊曉娣(1985-),女,廣東茂名人,大學(xué)本科,現(xiàn)供職于茂名技師學(xué)院,計算機(jī)操作與維修一級實習(xí)指導(dǎo)教師,研究方向:計算機(jī)系統(tǒng)結(jié)構(gòu)。