摘要:根據(jù)新興的下一代互聯(lián)網(wǎng)基于對(duì)象存儲(chǔ)的思想,提出了一種基于對(duì)象存儲(chǔ)理念的Web遙感影像數(shù)據(jù)管理與發(fā)布系統(tǒng)的體系結(jié)構(gòu),并闡述了其工作原理、關(guān)鍵技術(shù)和數(shù)據(jù)流程。
關(guān)鍵詞:遙感影像; 基于對(duì)象存儲(chǔ); 下一代互聯(lián)網(wǎng); Web; 存儲(chǔ)架構(gòu)
中圖法分類號(hào):TP79;TP393文獻(xiàn)標(biāo)識(shí)碼:A
文章編號(hào):1001-3695(2007)01-0120-04
隨著社會(huì)的發(fā)展,信息已經(jīng)對(duì)人類的生產(chǎn)生活產(chǎn)生越來(lái)越大的影響力。在數(shù)字地球、數(shù)字城市的浪潮陣陣襲來(lái)和信息高速公路蓬勃發(fā)展之時(shí),信息的及時(shí)更新和獲取也成了當(dāng)務(wù)之急。遙感影像作為一種超高容量的信息載體,因其能及時(shí)、可靠、方便地提供多種信息, 從而已經(jīng)在軍事、資源、環(huán)境和防災(zāi)等許多領(lǐng)域起著不可替代的作用。利用衛(wèi)星拍攝的高分辨率的遙感影像,人們可以迅速得到幾周前甚至幾天前的最新更新數(shù)據(jù),使數(shù)據(jù)更加真實(shí)準(zhǔn)確。 然而遙感影像信息的數(shù)據(jù)量非常大,每天都有大量的遙感影像被獲取,并且隨著影像分辨率的提高呈幾何級(jí)遞增,達(dá)到上百吉字節(jié)(GB) 甚至數(shù)十太字節(jié)(TB),而且這個(gè)數(shù)字隨著時(shí)間的推移和衛(wèi)星技術(shù)、航測(cè)技術(shù)的發(fā)展還將持續(xù)快速增加下去。如何去存儲(chǔ)、組織、管理和發(fā)布這些海量的遙感數(shù)據(jù),使影像數(shù)據(jù)能夠更好地為實(shí)際應(yīng)用服務(wù),就成了一個(gè)很迫切的問題。同時(shí)當(dāng)前的存儲(chǔ)科學(xué)正在擺脫文件和塊的束縛向基于對(duì)象存儲(chǔ)的理念發(fā)展,并且已經(jīng)有了成熟的商用系統(tǒng)。
由此,本文提出了一種新的基于下一代網(wǎng)絡(luò)對(duì)象存儲(chǔ)理念的Web遙感影像數(shù)據(jù)管理與發(fā)布系統(tǒng)的體系結(jié)構(gòu),并探討其中一些關(guān)鍵的實(shí)現(xiàn)技術(shù),包括基于對(duì)象存儲(chǔ)的體系、數(shù)據(jù)的讀寫流程等。
1基于對(duì)象存儲(chǔ)的基本理念
隨著遙感影像數(shù)據(jù)爆炸性的增長(zhǎng),要求信息存儲(chǔ)系統(tǒng)向無(wú)限的帶寬、無(wú)限的容量和無(wú)限的處理能力(Infinite Bandwidth,Infinite Capacity,Infinite Processing Capability),即“3I”方向發(fā)展。只有向存儲(chǔ)智能化、管理自動(dòng)化,即向智能存儲(chǔ)網(wǎng)絡(luò)系統(tǒng)方向發(fā)展,才能迎接這種挑戰(zhàn)。
2003年,美國(guó)卡內(nèi)基梅隆大學(xué)的Mike Mesnier教授等人[1]開辟了基于對(duì)象存儲(chǔ)的時(shí)代。基于對(duì)象存儲(chǔ)系統(tǒng)的總體結(jié)構(gòu)如圖1所示。
圖1基于對(duì)象存儲(chǔ)系統(tǒng)總體結(jié)構(gòu)圖
對(duì)象存儲(chǔ)系統(tǒng)的核心是將數(shù)據(jù)通路(數(shù)據(jù)讀或?qū)懀┖涂刂仆罚ㄔ獢?shù)據(jù))分離,并且基于對(duì)象存儲(chǔ)設(shè)備(Objectbased Storage Device,OSD)構(gòu)建存儲(chǔ)系統(tǒng)。對(duì)象存儲(chǔ)文件系統(tǒng)通常由以下五部分組成:
(1)對(duì)象。
對(duì)象是本文所述系統(tǒng)中數(shù)據(jù)存儲(chǔ)的基本單位,一個(gè)對(duì)象實(shí)際上就是文件的數(shù)據(jù)和一組屬性的組合,這些屬性可以定義基于文件的RAID參數(shù)、數(shù)據(jù)分布和服務(wù)質(zhì)量等。通常,一個(gè)對(duì)象是可變長(zhǎng)的并且能被用于存儲(chǔ)任何類型的數(shù)據(jù),包括文件、數(shù)據(jù)庫(kù)記錄、醫(yī)學(xué)圖像和多媒體信息等。一個(gè)簡(jiǎn)單的對(duì)象甚至能被用來(lái)存放整個(gè)文件系統(tǒng)或數(shù)據(jù)庫(kù)。
(2)對(duì)象存儲(chǔ)設(shè)備。
它具有一定的智能,有自己的CPU、內(nèi)存、網(wǎng)絡(luò)和磁盤系統(tǒng)。基于對(duì)象的存儲(chǔ)設(shè)備OSD能夠以多種形式存在,范圍從一個(gè)單一的磁盤驅(qū)動(dòng)器到具有陣列驅(qū)動(dòng)器的存儲(chǔ)控制器。OSD與傳統(tǒng)的基于塊的設(shè)備的主要區(qū)別不是介質(zhì),而是接口。如圖1所示,在基于對(duì)象的存儲(chǔ)中,用戶部件不變,而存儲(chǔ)管理部件被下遷到存儲(chǔ)設(shè)備,設(shè)備接口由塊接口變成對(duì)象接口。下遷元數(shù)據(jù)到存儲(chǔ)設(shè)備,使得不同存儲(chǔ)應(yīng)用之間的數(shù)據(jù)共享變得很容易。OSD提供數(shù)據(jù)存儲(chǔ)、智能分布、對(duì)象元數(shù)據(jù)的管理和安全性管理四個(gè)主要功能。
(3)元數(shù)據(jù)服務(wù)器。
MDS控制Client與OSD對(duì)象的交互,主要提供以下幾個(gè)功能:對(duì)象存儲(chǔ)訪問,文件和目錄訪問管理,Client Cache一致性管理。
(4)客戶端分布式文件系統(tǒng)。
為了客戶端通過(guò)OSD設(shè)備直接讀寫對(duì)象,必須有一個(gè)可安裝的文件系統(tǒng),這個(gè)分布式文件系統(tǒng)在基于對(duì)象存儲(chǔ)的體系結(jié)構(gòu)中提供POSIX文件系統(tǒng)接口,提供高速緩存,提供RAID分塊,使Client能夠通過(guò)這個(gè)分布式文件系統(tǒng)讀寫下層的存儲(chǔ)設(shè)備。
(5)連接網(wǎng)絡(luò)。
網(wǎng)絡(luò)是基于對(duì)象存儲(chǔ)系統(tǒng)的重要元素之一,它提供了把OSD,MDS和客戶端組織在一起的連通性結(jié)構(gòu)。
2基于對(duì)象存儲(chǔ)的遙感影像數(shù)據(jù)管理系統(tǒng)的架構(gòu)
2.1當(dāng)今空間信息存儲(chǔ)管理模式歸納
基于空間信息的Web發(fā)布的存儲(chǔ)管理模式基本上有四種,如圖2所示。①基于文件存儲(chǔ)管理。瀏覽器通過(guò)Web服務(wù)器直接讀寫網(wǎng)絡(luò)存儲(chǔ)器中的數(shù)據(jù),影像數(shù)據(jù)以文件的形式存儲(chǔ)在網(wǎng)絡(luò)存儲(chǔ)器上。②基于數(shù)據(jù)庫(kù)存儲(chǔ)管理。影像數(shù)據(jù)全部入庫(kù),由專門的大型數(shù)據(jù)庫(kù)進(jìn)行管理,瀏覽器通過(guò)Web服務(wù)器與數(shù)據(jù)庫(kù)服務(wù)器通信,同數(shù)據(jù)庫(kù)之間進(jìn)行數(shù)據(jù)交換。③文件數(shù)據(jù)庫(kù)混合存儲(chǔ)管理。由數(shù)據(jù)庫(kù)存儲(chǔ)影像數(shù)據(jù)的元數(shù)據(jù)信息和索引信息,實(shí)際影像數(shù)據(jù)以文件方式存儲(chǔ)在文件服務(wù)器上,瀏覽器通過(guò)Web服務(wù)器與數(shù)據(jù)庫(kù)進(jìn)行通信,獲取實(shí)際所需文件的信息,然后根據(jù)此信息與文件服務(wù)器進(jìn)行數(shù)據(jù)交互。④網(wǎng)絡(luò)化的集群高性能存儲(chǔ)。在Web服務(wù)器下架設(shè)集群存儲(chǔ)網(wǎng)絡(luò),國(guó)際上主要有兩類網(wǎng)絡(luò)化存儲(chǔ)架構(gòu),即存儲(chǔ)區(qū)域網(wǎng)SAN(Storage Area Network)和附網(wǎng)存儲(chǔ)NAS(Network Attached Storage),瀏覽器通過(guò)Web服務(wù)器與存儲(chǔ)網(wǎng)絡(luò)中的數(shù)據(jù)進(jìn)行交互。
圖2當(dāng)今基于Web的存儲(chǔ)管理模式圖
2.2當(dāng)前遙感影像的管理發(fā)布系統(tǒng)的局限性
當(dāng)今用于提供遙感影像的Web發(fā)布模式不論底層的結(jié)構(gòu)是基于數(shù)據(jù)庫(kù)的還是基于文件或者是附屬網(wǎng)絡(luò)存儲(chǔ)的,它們都有一個(gè)必不可少的設(shè)備,這就是Web服務(wù)器。當(dāng)今基于瀏覽器/Web服務(wù)器/存儲(chǔ)服務(wù)器的三層分布式體系結(jié)構(gòu)已經(jīng)成為此類系統(tǒng)架構(gòu)的主流方式。在B/S模式中,將Web 服務(wù)器作為中間層,把復(fù)雜的胖PC 客戶端改造成為瘦客戶端,把復(fù)雜的應(yīng)用程序移到Web 服務(wù)器上。這樣對(duì)用戶就更加方便,無(wú)需安裝其他的專業(yè)配套客戶端軟件,只需要用戶能擁有普通的瀏覽器即可。但是這種B/S模式在方便了用戶使用網(wǎng)絡(luò)資源的同時(shí)也產(chǎn)生了一個(gè)瓶頸——Web服務(wù)器瓶頸。
在用戶使用瀏覽器的時(shí)候,輸入的網(wǎng)址或者域名經(jīng)過(guò)解析以后都會(huì)發(fā)送到所對(duì)應(yīng)IP地址的Web服務(wù)器,然后由Web服務(wù)器返回用戶請(qǐng)求的超文本或者處理網(wǎng)頁(yè)上各種腳本發(fā)來(lái)的請(qǐng)求并返回相應(yīng)的結(jié)果。接著Web服務(wù)器直接與后臺(tái)的存儲(chǔ)服務(wù)器或者數(shù)據(jù)庫(kù)服務(wù)器通信,網(wǎng)絡(luò)上所有瀏覽器請(qǐng)求的數(shù)據(jù)都要從后臺(tái)存儲(chǔ)設(shè)備經(jīng)由唯一的Web服務(wù)器通過(guò),如果同時(shí)請(qǐng)求數(shù)據(jù)的瀏覽器數(shù)量很大,那么這時(shí)Web服務(wù)器就會(huì)成為系統(tǒng)的一個(gè)瓶頸,嚴(yán)重阻礙數(shù)據(jù)的傳輸速率和效率。
2.3基于對(duì)象存儲(chǔ)的遙感影像數(shù)據(jù)管理系統(tǒng)架構(gòu)的提出
在基于Web的技術(shù)領(lǐng)域中,當(dāng)今流行的微軟ASP技術(shù)是一種新型的服務(wù)器端腳本編寫環(huán)境,它可以與常規(guī)HTML 集成,簡(jiǎn)單而有效。同時(shí),ASP 支持ActiveX Server Components ,并可與任何ActiveX Script語(yǔ)言兼容。ActiveX以微軟的COM為基礎(chǔ),可以由任何編程語(yǔ)言來(lái)編寫, 并可在任何Windows 平臺(tái)上運(yùn)行。使用ActiveX 可建立獨(dú)立的業(yè)務(wù)邏輯處理單元,將其嵌入到所需的ASP Web頁(yè)面中,用戶訪問該頁(yè)面時(shí)將下載該控件并自動(dòng)在本地注冊(cè)運(yùn)行。
根據(jù)ActiveX控件的特性和前面提到的基于對(duì)象存儲(chǔ)系統(tǒng)的架構(gòu),筆者提出一個(gè)新的體系結(jié)構(gòu):用ASP頁(yè)面+ActiveX控件取代基于對(duì)象存儲(chǔ)系統(tǒng)的Client客戶端,然后添加上Web服務(wù)器作為輔助設(shè)備,從而構(gòu)成新的基于對(duì)象存儲(chǔ)的遙感影像數(shù)據(jù)管理系統(tǒng)。
整個(gè)系統(tǒng)由兩大部分組成,即Web服務(wù)系統(tǒng)和基于對(duì)象存儲(chǔ)系統(tǒng)。所有的互聯(lián)網(wǎng)用戶并不需要安裝特殊的客戶端軟件,只需要有通用的Web瀏覽器即可實(shí)現(xiàn)所有功能。在網(wǎng)頁(yè)中嵌入ASP腳本,可以根據(jù)用戶需要提供動(dòng)態(tài)的內(nèi)容供用戶瀏覽,同時(shí)在瀏覽器中嵌入ActiveX控件,它們就相當(dāng)于脫離服務(wù)器而運(yùn)行在瀏覽器中的一個(gè)程序。在ActiveX控件中實(shí)現(xiàn)基于對(duì)象存儲(chǔ)結(jié)構(gòu)中的網(wǎng)絡(luò)客戶端分布式文件系統(tǒng),從而為瀏覽器客戶端提供了POSIX文件系統(tǒng)接口,使瀏覽器能夠通過(guò)這個(gè)接口和下層存儲(chǔ)設(shè)備進(jìn)行數(shù)據(jù)交互,這樣瀏覽器就相當(dāng)于前文所說(shuō)的基于對(duì)象存儲(chǔ)系統(tǒng)中的網(wǎng)絡(luò)客戶端了。整個(gè)系統(tǒng)架構(gòu)如圖3所示。
圖3基于對(duì)象存儲(chǔ)架構(gòu)的遙感影像管理發(fā)布系統(tǒng)結(jié)構(gòu)圖
3基于對(duì)象存儲(chǔ)的遙感影像數(shù)據(jù)管理系統(tǒng)的工作原理
3.1遙感影像數(shù)據(jù)的對(duì)象化
一般來(lái)說(shuō),存儲(chǔ)應(yīng)用決定對(duì)象中存儲(chǔ)的內(nèi)容,與塊I/O不同,在存儲(chǔ)設(shè)備中建立對(duì)象是通過(guò)一個(gè)類似文件系統(tǒng)的具有豐富內(nèi)容的接口來(lái)實(shí)現(xiàn)的,并且由于對(duì)象可以動(dòng)態(tài)地變大和縮小,因此存儲(chǔ)設(shè)備也需要負(fù)責(zé)管理對(duì)象全部?jī)?nèi)部空間。在存儲(chǔ)設(shè)備中,所有對(duì)象都有一個(gè)對(duì)象標(biāo)志ID,標(biāo)志存儲(chǔ)設(shè)備和該設(shè)備的各種屬性,組對(duì)象是存儲(chǔ)設(shè)備上共享資源管理策略的對(duì)象集合。比如在遙感影像管理發(fā)布系統(tǒng)中,可以把一幅原始遙感影像數(shù)據(jù)用金字塔結(jié)構(gòu)進(jìn)行分層,分塊處理,然后把所有分塊后的分辨率不同的影像塊當(dāng)作一個(gè)對(duì)象進(jìn)行存儲(chǔ)。這樣就擺脫了以往此類系統(tǒng)中,把一系列遙感影像分塊分層后的圖片進(jìn)行編號(hào)索引再入庫(kù)管理的麻煩,更大地提高了系統(tǒng)的靈活性。
這樣的遙感影像數(shù)據(jù)對(duì)象被存儲(chǔ)在OSD設(shè)備上。OSD管理對(duì)象數(shù)據(jù)并將它們放置在標(biāo)準(zhǔn)的磁盤系統(tǒng)上,OSD不提供塊接口訪問方式,Client請(qǐng)求數(shù)據(jù)時(shí)用對(duì)象ID、偏移進(jìn)行數(shù)據(jù)讀寫。例如,遙感影像數(shù)據(jù)在進(jìn)入OSD后分別都有自己的ID號(hào),不論影像范圍是大還是小、影像圖片之間是否重疊,它們都有自己的ID,而OSD可以對(duì)其進(jìn)行智能的管理。
OSD用其自身的CPU和內(nèi)存優(yōu)化數(shù)據(jù)分布,并支持?jǐn)?shù)據(jù)的預(yù)取。由于OSD可以智能地支持對(duì)象的預(yù)取,從而可以優(yōu)化磁盤的性能。例如,當(dāng)上海某地的瀏覽器經(jīng)常會(huì)調(diào)取武漢某地的遙感影像數(shù)據(jù),而這批影像數(shù)據(jù)存儲(chǔ)的OSD網(wǎng)絡(luò)距離又距上海客戶較遠(yuǎn),那么OSD就能智能地將這批上海用戶經(jīng)常請(qǐng)求的遙感影像數(shù)據(jù)分布到網(wǎng)絡(luò)距離上海較近的OSD上,從而可以減少網(wǎng)絡(luò)傳輸時(shí)間,提高調(diào)取效率。
OSD同時(shí)也管理存儲(chǔ)在其上對(duì)象的元數(shù)據(jù),這里所指的元數(shù)據(jù)并不是遙感影像的元數(shù)據(jù),而是基于對(duì)象存儲(chǔ)中的概念。該元數(shù)據(jù)與傳統(tǒng)的Inode元數(shù)據(jù)相似,通常包括對(duì)象的數(shù)據(jù)塊和對(duì)象的長(zhǎng)度。而在傳統(tǒng)的NAS系統(tǒng)中,這些元數(shù)據(jù)是由文件服務(wù)器維護(hù)的,對(duì)象存儲(chǔ)架構(gòu)將系統(tǒng)中主要的元數(shù)據(jù)管理工作由OSD來(lái)完成,降低了Client的開銷。元數(shù)據(jù)服務(wù)器通過(guò)定期地與OSD設(shè)備進(jìn)行交互來(lái)構(gòu)造、管理描述每個(gè)文件分布的視圖,同時(shí)構(gòu)建一個(gè)文件結(jié)構(gòu),包括限額控制、目錄和文件的創(chuàng)建和刪除、訪問控制等。
3.2基于對(duì)象存儲(chǔ)的遙感影像數(shù)據(jù)管理系統(tǒng)的工作流程
(1)Web瀏覽器向Web服務(wù)器發(fā)送服務(wù)請(qǐng)求。
當(dāng)用戶打開Web瀏覽器的時(shí)候,瀏覽器開始通過(guò)域名查找Internet上的Web服務(wù)器,并發(fā)出讀取存儲(chǔ)在Web服務(wù)器上網(wǎng)頁(yè)內(nèi)容的請(qǐng)求。
(2)Web服務(wù)器向Web瀏覽器返回?cái)?shù)據(jù)。
Web服務(wù)器中的服務(wù)引擎處理瀏覽器通過(guò)HTTP發(fā)來(lái)的請(qǐng)求,然后把處理的結(jié)果傳送到Web客戶端,當(dāng)瀏覽器通過(guò)Web服務(wù)器下載了ActiveX控件并通過(guò)注冊(cè)以后,ActiveX控件就脫離Web服務(wù)器而運(yùn)行,同時(shí)在瀏覽器端客戶機(jī)上開辟緩存,為未來(lái)要到達(dá)的數(shù)據(jù)做準(zhǔn)備。這樣Web瀏覽器就具有了基于對(duì)象存儲(chǔ)系統(tǒng)中Client的POSIX文件系統(tǒng)接口,這時(shí)它就相當(dāng)于獨(dú)立的Client,能夠單獨(dú)地與基于對(duì)象存儲(chǔ)系統(tǒng)進(jìn)行通信和數(shù)據(jù)交互。
(3)Web瀏覽器初連元數(shù)據(jù)服務(wù)器。
一旦ActiveX控件從Web服務(wù)器下載到Web瀏覽器客戶端,其中的分布式文件系統(tǒng)軟件就已經(jīng)在瀏覽器運(yùn)行了。瀏覽器通過(guò)DNS域名或者IP地址用RPC遠(yuǎn)程過(guò)程調(diào)用連接到元數(shù)據(jù)服務(wù)器。瀏覽器在存儲(chǔ)系統(tǒng)中為生成目錄列表讀取根目錄對(duì)象,然后得到目錄名列表。這時(shí),瀏覽器端知道了存儲(chǔ)系統(tǒng)的拓?fù)浣Y(jié)構(gòu),并且能夠連接到元數(shù)據(jù)服務(wù)器。這一步在整個(gè)存儲(chǔ)系統(tǒng)中是由元數(shù)據(jù)服務(wù)器(或元數(shù)據(jù)服務(wù)器組)來(lái)控制管理存儲(chǔ)策略的。
(4)元數(shù)據(jù)服務(wù)器返回對(duì)象列表和安全認(rèn)證。
在收到瀏覽器客戶端存取對(duì)象的請(qǐng)求后,元數(shù)據(jù)服務(wù)器參考它的對(duì)象視圖通過(guò)IP地址返回一個(gè)OSD列表。考慮到文件可能非常大,同時(shí)OSD的數(shù)量將同文件塊的大小有關(guān)系,這樣做就給了瀏覽器直接訪問OSD的自主權(quán)。
元數(shù)據(jù)服務(wù)器同時(shí)發(fā)送了安全認(rèn)證給瀏覽器,它批準(zhǔn)瀏覽器在特定的設(shè)置、特定的誤差范圍和特定的時(shí)間段內(nèi)可以訪問特定的對(duì)象,這就可以阻止網(wǎng)絡(luò)上不可信的或惡意的連接請(qǐng)求。
元數(shù)據(jù)服務(wù)器同時(shí)發(fā)送反饋給瀏覽器端,告知是否現(xiàn)在有另一個(gè)瀏覽器用戶正在修改當(dāng)前所請(qǐng)求的文件數(shù)據(jù),如果瀏覽器端收到這個(gè)反饋,它必須重新回到元數(shù)據(jù)服務(wù)器來(lái)更新它的文件讀取通路,然后通過(guò)OSD更新它本地的緩存。這就允許了互聯(lián)網(wǎng)上所有使用瀏覽器的客戶通過(guò)這個(gè)系統(tǒng)獲得一致性的緩存,而不需要去求助于現(xiàn)在大型系統(tǒng)中造成瓶頸的中心緩存鎖管理器。
(5)在得到認(rèn)證的情況下,Web瀏覽器直接發(fā)送請(qǐng)求給OSD。
瀏覽器打包讀取已經(jīng)獲得認(rèn)證授權(quán)數(shù)據(jù)的請(qǐng)求,然后通過(guò)Internet網(wǎng)絡(luò)發(fā)送給OSD。這個(gè)請(qǐng)求包里同時(shí)也包括瀏覽器端的安全認(rèn)證信息,OSD會(huì)核查請(qǐng)求者是否是通過(guò)元數(shù)據(jù)服務(wù)器獲得讀取數(shù)據(jù)授權(quán)。
(6)在瀏覽器端和OSD端的直接數(shù)據(jù)傳輸。
舉例來(lái)說(shuō),一幅原始遙感數(shù)據(jù)影像圖片在經(jīng)過(guò)金字塔分層分塊后當(dāng)作一個(gè)數(shù)據(jù)對(duì)象被分布保存在十個(gè)OSD上,瀏覽器要讀取影像數(shù)據(jù)到本地緩存并顯示。瀏覽器同時(shí)發(fā)送讀請(qǐng)求到這十個(gè)OSD上,然后所有的OSD開始并行傳輸被要求的遙感影像數(shù)據(jù)對(duì)象組。每一個(gè)OSD可以產(chǎn)生40MBps~400MBps的傳輸速率和最高1 000個(gè)的 I/O 操作,而10個(gè)OSD并行數(shù)據(jù)傳輸就將產(chǎn)生高達(dá)4 000MBps的傳輸速率和10 000個(gè)的 I/O 操作。與傳統(tǒng)的基于塊的系統(tǒng)相比,基于對(duì)象的結(jié)構(gòu)能提供更有效的數(shù)據(jù)通信并實(shí)現(xiàn)OSD對(duì)數(shù)據(jù)請(qǐng)求的智能化響應(yīng)。傳統(tǒng)系統(tǒng)為了在緩存中找到所需的數(shù)據(jù)塊必須預(yù)讀鄰近的數(shù)據(jù)塊,而OSD知道全部的所需對(duì)象組所在的位置,而不用考慮磁盤上數(shù)據(jù)塊的物理位置,所以它可以以更高的效率來(lái)讀取數(shù)據(jù)。
4系統(tǒng)測(cè)試結(jié)果及整體性能分析
基于前文構(gòu)想,本文以普通PC機(jī)作為Web服務(wù)器,微軟的IIS作為Web服務(wù)引擎,使用IE 6.0作為瀏覽器,以IBM高端服務(wù)器作為元數(shù)據(jù)服務(wù)器,用兩臺(tái)磁盤陣列作為OSD設(shè)備,在普通的Internet環(huán)境下搭建了基于對(duì)象存儲(chǔ)的遙感影像數(shù)據(jù)管理系統(tǒng)。經(jīng)過(guò)測(cè)試和分析,整個(gè)系統(tǒng)表現(xiàn)出來(lái)的優(yōu)勢(shì)體現(xiàn)在以下幾個(gè)方面:
(1)所有遙感影像數(shù)據(jù)對(duì)象化。基于對(duì)象的管理和存儲(chǔ)更面向直接的應(yīng)用,省去了原始圖像和重采樣后的影像金字塔文件的索引建立和數(shù)據(jù)結(jié)構(gòu)組織的過(guò)程,使所存儲(chǔ)的數(shù)據(jù)保存了語(yǔ)義上的整體性和應(yīng)用的直觀性。
(2)擺脫了Web服務(wù)器的瓶頸限制。整個(gè)數(shù)據(jù)交換期間,瀏覽器不通過(guò)Web服務(wù)器與OSD進(jìn)行交互,大大減輕了傳統(tǒng)Web服務(wù)器的負(fù)擔(dān),同時(shí)提高了數(shù)據(jù)傳輸速率和效率。
(3)數(shù)據(jù)的并行存取。每個(gè)瀏覽器可以同時(shí)與多個(gè)OSD進(jìn)行通信,在相同的網(wǎng)絡(luò)環(huán)境下,數(shù)據(jù)的傳輸速率和效率比傳統(tǒng)的系統(tǒng)有了很大的提高。
(4)較高的存儲(chǔ)帶寬。由于元數(shù)據(jù)服務(wù)器的參與,控制信息與數(shù)據(jù)信息相分離,元數(shù)據(jù)的信息量很小,在帶內(nèi)傳輸模式下,數(shù)據(jù)信息的丟失往往引起控制信息的丟失,網(wǎng)絡(luò)的重新傳輸機(jī)制將導(dǎo)致網(wǎng)絡(luò)帶寬的降低;而控制信息和數(shù)據(jù)信息在不同通道中傳輸,互不影響,從而保證了存儲(chǔ)的帶寬。
(5)安全性的提升。相比傳統(tǒng)的此類系統(tǒng),基于對(duì)象存儲(chǔ)的安全性有了很大保證,每次數(shù)據(jù)交換,瀏覽器都需要獲取元數(shù)據(jù)服務(wù)器的認(rèn)證,通過(guò)三方通信機(jī)制保證了系統(tǒng)的安全性。
(6)輕松擴(kuò)容能力。面對(duì)爆炸性增長(zhǎng)的海量遙感影像數(shù)據(jù),相比傳統(tǒng)的存儲(chǔ)模式,本系統(tǒng)更加顯示出了輕松擴(kuò)容的優(yōu)勢(shì)。物理上的任意位置增加OSD不但不會(huì)給元數(shù)據(jù)服務(wù)器增加負(fù)擔(dān),反而會(huì)分擔(dān)更多的元數(shù)據(jù)管理任務(wù),在擴(kuò)容的同時(shí)能顯著地提高并行存取速率。
5結(jié)論
本文根據(jù)當(dāng)前在完成國(guó)家“973”計(jì)劃項(xiàng)目“下一代互聯(lián)網(wǎng)信息存儲(chǔ)的組織模式和核心技術(shù)研究”中基于對(duì)象存儲(chǔ)的分布式體系結(jié)構(gòu)的應(yīng)用的實(shí)際需求,提出了一種基于對(duì)象存儲(chǔ)架構(gòu)的遙感影像管理發(fā)布系統(tǒng),分析了系統(tǒng)的技術(shù)特性和組成架構(gòu),并詳細(xì)討論了其數(shù)據(jù)交換流程。該體系結(jié)構(gòu)采用了國(guó)際上領(lǐng)先的基于對(duì)象存儲(chǔ)的基本思想,并與當(dāng)今的Web技術(shù)和互聯(lián)網(wǎng)技術(shù)相結(jié)合,打破了遙感影像發(fā)布系統(tǒng)與Web服務(wù)器和數(shù)據(jù)庫(kù)緊密結(jié)合的現(xiàn)狀,使Web瀏覽器直接與OSD通信、進(jìn)行數(shù)據(jù)交互,擺脫了Web服務(wù)器和數(shù)據(jù)庫(kù)服務(wù)器的瓶頸限制,使所有的OSD與瀏覽器客戶端能夠進(jìn)行并行數(shù)據(jù)交互,顯著提高了遙感影像在網(wǎng)絡(luò)上的存取速率和效率。同時(shí)基于OSD的智能性和極優(yōu)的可擴(kuò)展性,國(guó)家“973”項(xiàng)目計(jì)劃系統(tǒng)將完成數(shù)百太字節(jié)(GB)甚至拍字節(jié)(PB)級(jí)的存儲(chǔ)容量,如此大容量的遙感影像存儲(chǔ)管理如果用以前的管理體系結(jié)構(gòu)勢(shì)必會(huì)在效率和管理上有所欠缺,而本文所提出的系統(tǒng)架構(gòu)則更能適應(yīng)新時(shí)代的海量遙感影像數(shù)據(jù)存儲(chǔ)管理需求。
參考文獻(xiàn):
[1]Mike Mesnier, Gregory R Ganger, Erik Riedel, et al.ObjectBased Storage[J]. Seagate Research,IEEE Communications Magazine,2003,41(8):8490.
[2]R Goldman, J McHugh, J Widom. From Semi Structured Data to XML: Migrating the Lore Data Model and Query Language[C]. Proceedings of the 2nd International Workshop on the Web and Databases, Philadelphia: ACM Press,1999.100105.
[3]Robert Grimm, Michael M Swift,Henry M Levy. Revisiting Structured Storage: A Transactional Record Store[R]. Technical Report UWCSE00-0401, University of Washington, Department of Computer Science and Engineering,2000.
[4]張新長(zhǎng),馬林兵,張青年.地理信息系統(tǒng)數(shù)據(jù)庫(kù)[M].北京:科學(xué)出版社,2005.130175.
[5]張永生,鞏凡超.高分辨率遙感衛(wèi)星應(yīng)用[M].北京:科學(xué)出版社,20-04.195270.
[6]朱慶,鐘若飛,李德仁.基于Web的海洋遙感信息管理與發(fā)布系統(tǒng)的設(shè)計(jì)[J].海洋學(xué)報(bào),2003,24(s1):191199.
[7]楊超偉,李琦,承繼成,等. 遙感影像的Web發(fā)布研究與實(shí)現(xiàn)[J].遙感學(xué)報(bào),2000,4(1):7175.
[8]張悠慧,鄭緯民.一種新的網(wǎng)絡(luò)對(duì)象存儲(chǔ)設(shè)備研究[J].電子學(xué)報(bào),2003,31(5):679682.
作者簡(jiǎn)介:
張毅(1982),男,河南信陽(yáng)人,碩士,主要研究方向?yàn)槎嗝襟w通信技術(shù);
喻占武(1969),男,湖北武漢人,教授,博導(dǎo),主要研究方向?yàn)橥ㄐ排c信息系統(tǒng)、多媒體通信、視頻壓縮和軟件工程;
李銳(1974),女,湖北武漢人,博士研究生,主要研究方向?yàn)橥ㄐ排c信息系統(tǒng)。
注:本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文