基于P2P分布式開放資源管理服務(wù)的云存儲方案研究

陳 敏

（廣東電網(wǎng)公司，廣東廣州 510600）

1 概述

安全存儲以及備份數(shù)據(jù)一直是人們在計算機(jī)存儲領(lǐng)域關(guān)注的焦點(diǎn)。人們經(jīng)常把數(shù)據(jù)存儲于自己的單體計算機(jī)上。可是，單體計算機(jī)數(shù)據(jù)丟失的風(fēng)險很大，比如系統(tǒng)錯誤、物理損傷、病毒感染、人為錯誤等，所以時常丟失重要的文件和數(shù)據(jù)。而且，單體計算機(jī)的存儲容量是比較有限的，且擴(kuò)張能力受到了很大的限制[1]。

分布式存儲系統(tǒng)的問世使得存儲方式從上述的集中式存儲系統(tǒng)的缺點(diǎn)中得到了優(yōu)化。分布式系統(tǒng)從某個角度來看有點(diǎn)同于把雞蛋放進(jìn)不同籃子里的理念。這其實(shí)是很多年前人類就有的意識，而非是新概念，并且可以追溯到工業(yè)控制領(lǐng)域由集散型控制變化至分布式控制的進(jìn)程。這原理可以解釋為在不同的服務(wù)器上形成大量的存儲文件，它可以顯著提高所存儲的文件的安全性。分布式存儲系統(tǒng)實(shí)際上是建立在網(wǎng)絡(luò)存儲系統(tǒng)（圖1所示）中。該系統(tǒng)具有高透明性，不僅可以為用戶提供高安全性，并能提供更高的可伸縮性。而分布式文件系統(tǒng)也有很多技術(shù)難點(diǎn)，其中有不同的接口和數(shù)據(jù)標(biāo)準(zhǔn)化、元數(shù)據(jù)集群的負(fù)載均衡以及快照備份等。實(shí)際上，計算、儲存以及標(biāo)準(zhǔn)接口是所有的云系統(tǒng)建設(shè)成功的最基本的保證[2]。

圖1 分布式文件系統(tǒng)框圖

由于廣域網(wǎng)的分布式存儲系統(tǒng)通常僅限于局域網(wǎng)，并以構(gòu)建分布式系統(tǒng)存儲在更大范圍內(nèi)，網(wǎng)絡(luò)文件系統(tǒng)理所當(dāng)然地被提了出來；這是通過互聯(lián)網(wǎng)聯(lián)通的網(wǎng)格，融入整個網(wǎng)絡(luò)可以實(shí)現(xiàn)資源存儲、信息數(shù)據(jù)資源、以及其他資源全面協(xié)作共享。該協(xié)議GirdFTP是存儲服務(wù)器使用更多的控制權(quán)后在FTP上的優(yōu)化結(jié)果，所以，網(wǎng)格文件系統(tǒng)恰是分布式文件系統(tǒng)的擴(kuò)張。

Google文件系統(tǒng)GFS就是Google公司應(yīng)對大規(guī)模文件處理存儲需要的結(jié)果，其結(jié)構(gòu)如圖2所示。GFS的主要組成部分有一個主服務(wù)器（mas?ter）、多個訪問客戶端（clients）以及多個塊服務(wù)器（chunkserver）。而GFS實(shí)際上不具備多個主服務(wù)器，因此本質(zhì)上是屬于DCS分散控制系統(tǒng)，因此不可避免地存在單點(diǎn)故障[3]。

圖3 服務(wù)端功能組圖

圖2 GFS的體系結(jié)構(gòu)圖

2 P2P云存儲方案

2.1 系統(tǒng)目標(biāo)

通過采用現(xiàn)有的網(wǎng)路存儲服務(wù)，將其整理，這樣就有了資源服務(wù)“云”，一個分布式資源管理服務(wù)系統(tǒng)由此形成。通過分散聚合和管理存儲服務(wù)點(diǎn)，從而使原來的點(diǎn)被整合在各種存儲服務(wù)中，形成關(guān)聯(lián)的面至點(diǎn)的服務(wù)模式。可以在運(yùn)行中把自己的系統(tǒng)規(guī)模放大。

一個好的云存儲安全系統(tǒng)的建設(shè)有許多技術(shù)上的困難。其中有必不可少的較好的硬件系統(tǒng)、可靠的服務(wù)器和存儲設(shè)備、安全的客戶端程序、應(yīng)用軟件以及公共訪問端口等。以可靠的存儲設(shè)備為基礎(chǔ)，通過軟件程序支持從而最終構(gòu)成一個可以對外進(jìn)行訪問和數(shù)據(jù)存儲服務(wù)的復(fù)雜系統(tǒng)[4]。

2.2 功能模塊組態(tài)

該系統(tǒng)首先需要獲取和管理存儲服務(wù)。這些存儲服務(wù)可以通過各種方法得到。再者，要創(chuàng)建網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，需要整合各種存儲服務(wù)。該系統(tǒng)一共有兩個基礎(chǔ)任務(wù)，即通過服務(wù)接口和客戶端的配合，進(jìn)行數(shù)據(jù)的共享處理和存儲管理。

（1）服務(wù)端

服務(wù)端的組成部分有：存儲服務(wù)管理、元數(shù)據(jù)管理、調(diào)度模塊以及存儲服務(wù)選擇模塊等。主要是用來提供數(shù)據(jù)存儲管理服務(wù)，如圖3。各功能模塊定義如下：

存儲服務(wù)管理器——用于管理存儲群的效率，最大限度地提高存儲點(diǎn)、存儲組；

元數(shù)據(jù)管理——用于記錄元數(shù)據(jù)，管理處理信息系統(tǒng)和期望的狀態(tài)，以及和文件共享客戶端共同處理共享任務(wù)。

（2）客戶端

客戶端的構(gòu)成部分有：資源定位模塊、本地數(shù)據(jù)管理模塊、文件處理等模塊，如圖4所示。各功能模塊定義如下：

資源定位模塊——以元數(shù)據(jù)為基礎(chǔ)，通過系統(tǒng)的當(dāng)前狀態(tài)判斷和定位資源所在區(qū)域；

本地數(shù)據(jù)管理模塊——接受服務(wù)器數(shù)據(jù)，存儲于內(nèi)存，緩解了服務(wù)器壓力；

文檔處理模塊——可以用不同的方式對不同屬性的文件進(jìn)行共享。

由客戶端來構(gòu)建P2P覆蓋網(wǎng)絡(luò)，這樣每個用戶都相互共享文件，最終一定程度上解決了存儲服務(wù)任務(wù)太重的問題。客戶端通過保存一部分信息，如客戶文件保存信息、客戶的臨接點(diǎn)。客戶的操作記錄等信息可以更好的維護(hù)覆蓋網(wǎng)絡(luò)。

（3）服務(wù)器—客戶端功能模塊配置

具體配置如圖5所示。

圖4 客戶端組件功能

2.3 標(biāo)準(zhǔn)的數(shù)據(jù)傳輸接口

圖5 服務(wù)器-客戶端功能模塊配置圖

為了整合各種網(wǎng)絡(luò)上的獨(dú)立存儲服務(wù)，系統(tǒng)需要接觸到各種不同的應(yīng)用協(xié)議，也就是說，需要設(shè)計一個標(biāo)準(zhǔn)的接口，這樣它甚至可以解決多種數(shù)據(jù)集的幀格式。而且，出于長遠(yuǎn)性發(fā)展的考慮，標(biāo)準(zhǔn)接口應(yīng)該是易于擴(kuò)展的。本標(biāo)準(zhǔn)接口可以被看作是一個廣泛適用的“編譯器”，它可以在不同的幀格式下屏蔽不同協(xié)議的異質(zhì)性。

2.4 數(shù)據(jù)共享的網(wǎng)絡(luò)覆蓋

每個節(jié)點(diǎn)以延遲量為基本依據(jù)來維護(hù)一個Meridian多解析同心結(jié)構(gòu)。組播組節(jié)點(diǎn)應(yīng)用就是基于這種環(huán)的結(jié)構(gòu)。Meridian實(shí)際上是一個松散的非結(jié)構(gòu)化網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。在Meridian中，每個節(jié)點(diǎn)負(fù)責(zé)維護(hù)若干相鄰節(jié)點(diǎn)，而一個通信的多個解析環(huán)則是根據(jù)延遲量組織而成，如圖6所示。Meridian通過上述方法不僅保證了連接，并且把相對較小等待時間的內(nèi)部節(jié)點(diǎn)放在一起，確保了多組節(jié)點(diǎn)低延遲特征。應(yīng)用層組播網(wǎng)絡(luò)節(jié)點(diǎn)實(shí)際在拓?fù)浣Y(jié)構(gòu)上和Gnutella非常相似。

圖6 拓?fù)浣Y(jié)構(gòu)

系統(tǒng)必須要添加新節(jié)點(diǎn)，添加新的節(jié)點(diǎn)的過程如下所述：向服務(wù)器發(fā)出調(diào)度服務(wù)請求，然后將請求發(fā)送到在調(diào)度中的其他節(jié)點(diǎn)，調(diào)度節(jié)點(diǎn)通過程序在自己的維護(hù)的各環(huán)中選擇幾個節(jié)點(diǎn)，通過各種子節(jié)點(diǎn)和新加入節(jié)點(diǎn)之間的測速，利用信息的延遲時間，找到最合適的種子節(jié)點(diǎn)。

新節(jié)點(diǎn)通過定期在其環(huán)結(jié)構(gòu)中更新調(diào)度節(jié)點(diǎn)，新節(jié)點(diǎn)向調(diào)度節(jié)點(diǎn)發(fā)送種子節(jié)點(diǎn)請求信息，重復(fù)一個新節(jié)點(diǎn)被添加的過程系統(tǒng)，更新每層環(huán)結(jié)構(gòu)的方法則是測試種子節(jié)點(diǎn)之間的延遲信息。一旦有節(jié)點(diǎn)退出，該節(jié)點(diǎn)所在環(huán)結(jié)構(gòu)中心節(jié)點(diǎn)會發(fā)現(xiàn)與其之間的消息不通，從而將其刪除出隊列。

共享信息路由是通過應(yīng)用層多播組轉(zhuǎn)發(fā)的。不同節(jié)點(diǎn)的應(yīng)用層多播組挑選節(jié)點(diǎn)的位置是自己維護(hù)的多解析環(huán)結(jié)構(gòu)部分的最內(nèi)層的環(huán)中。開始時應(yīng)用層多播組中沒有節(jié)點(diǎn)，選擇中心節(jié)點(diǎn)與多解析環(huán)結(jié)構(gòu)中延遲相對最小的一組候選節(jié)點(diǎn)作為新的應(yīng)用層多播節(jié)點(diǎn)。應(yīng)用層組播組的策略是心跳機(jī)制，它使用定期查詢反饋以確保節(jié)點(diǎn)的活躍。一旦發(fā)現(xiàn)組內(nèi)的死亡節(jié)點(diǎn)，系統(tǒng)便會把其刪除，然后再用上述方式補(bǔ)充新節(jié)點(diǎn)。如果系統(tǒng)發(fā)現(xiàn)最內(nèi)層多解析環(huán)結(jié)構(gòu)為空，系統(tǒng)將延遲一個時間長度，以使多解析環(huán)結(jié)構(gòu)維護(hù)和填充最里面的環(huán)，延遲結(jié)束后如果發(fā)現(xiàn)時間后最里面的環(huán)還未空，便要刺激解析環(huán)結(jié)構(gòu)，然后通過系統(tǒng)服務(wù)器調(diào)度重建環(huán)狀結(jié)構(gòu)。

2.5 數(shù)據(jù)復(fù)制以及對策

如果系統(tǒng)要建立自動復(fù)制數(shù)據(jù)的更有效的機(jī)制，系統(tǒng)需要看兩個因素，即：數(shù)據(jù)開始復(fù)制的時間和數(shù)據(jù)復(fù)制的價值。

對節(jié)點(diǎn)的操作進(jìn)行比較準(zhǔn)確的預(yù)測是確定啟動復(fù)制時機(jī)的核心。但是，準(zhǔn)確預(yù)測的難度是很大的，這其中的一個主要原因便是網(wǎng)絡(luò)中各個客戶的操作有很大的隨機(jī)性和不確定性。為了解決這個問題，一個基本的方法便是通過獲取用戶歷次會話情況從而得到會話長度的平均值。通過分析用戶會話時長的平均值和當(dāng)前在線時間的某種關(guān)聯(lián)特征，利用這種特點(diǎn)判斷預(yù)測用戶節(jié)點(diǎn)的退出時間。雖然不能做到十分準(zhǔn)確，但是可以提高準(zhǔn)確性，最終減少數(shù)據(jù)復(fù)制的頻度。

而估計數(shù)據(jù)的復(fù)制價值需要引入供給系數(shù)和需求系數(shù)。也就是說數(shù)據(jù)塊的需求系數(shù)和被請求訪問的數(shù)量成正比；供給系數(shù)和數(shù)據(jù)塊副本數(shù)量成正比。最終，復(fù)制價值和需求系數(shù)成正比，和供給系數(shù)成反比。

綜上，數(shù)據(jù)的供給系數(shù)相對于需求系數(shù)對于系統(tǒng)數(shù)據(jù)主動復(fù)制機(jī)制來講是一個更重要的參數(shù)，這是由于一個數(shù)據(jù)塊即使需求系數(shù)高，但該數(shù)據(jù)有了很多備份拷貝文件，從而復(fù)制價值反而可能比較低；而用戶節(jié)點(diǎn)會話時間平均值與當(dāng)前在線時間的某種關(guān)系，其結(jié)論也僅僅具一定的統(tǒng)計價值，不過這確實(shí)能夠減少服務(wù)器的負(fù)擔(dān)。

數(shù)據(jù)塊數(shù)據(jù)的準(zhǔn)確性和數(shù)據(jù)的準(zhǔn)確定位的一個重要因素便是數(shù)據(jù)塊在數(shù)據(jù)庫中的緩存信息和數(shù)據(jù)塊的快照信息的一致程度。而畢竟客戶機(jī)的存儲能力有限度，因而需要留下新數(shù)據(jù)去除舊的復(fù)制價值最小的數(shù)據(jù)。

為了保障當(dāng)前緩存的狀態(tài)能夠正確無誤地反映于快照信息，緩存服務(wù)器進(jìn)行所有數(shù)據(jù)塊的添加或刪除操作都應(yīng)該和該數(shù)據(jù)所屬文件快照信息更新操作進(jìn)行緊密結(jié)合。而任何一個數(shù)據(jù)庫的添加或刪除的失誤操作都會觸發(fā)數(shù)據(jù)操作的恢復(fù)和回滾。

為了保護(hù)緩存反映快照正確的信息的工作狀態(tài)，緩存服務(wù)器添加或刪除所有的數(shù)據(jù)塊應(yīng)和提交的信息的快照進(jìn)行實(shí)時的信息交流。添加或刪除任何數(shù)據(jù)庫錯誤都將觸發(fā)操作回滾和恢復(fù)。

3 結(jié)論

本文設(shè)計的開放資源管理服務(wù)系統(tǒng)，通過把孤立分散的網(wǎng)上存儲服務(wù)資源進(jìn)行統(tǒng)一管理，從而為用戶提供了可靠、快速、低成本的存儲服務(wù)；本系統(tǒng)一定程度上解決了系統(tǒng)數(shù)據(jù)復(fù)制任務(wù)太重的問題，提出了合理的措施，可以高效地管理服務(wù)器的存儲空間，而且降低了數(shù)據(jù)復(fù)制任務(wù)的壓力。該系統(tǒng)利用的是網(wǎng)上容易獲取的存儲資源，本系統(tǒng)采用的存儲資源可以在網(wǎng)上獲取，而且采用的是面到點(diǎn)的服務(wù)，規(guī)模可以后續(xù)伸縮，性價比高。

［1］金海，袁平鵬.語義網(wǎng)數(shù)據(jù)管理技術(shù)及應(yīng)用［M］.北京：科學(xué)出版社，2010.

［2］Hayes B.Cloud Computing ［J］.Communications of the ACM，2008，51（7）：9-11.

［3］ NAMJOSHI J，GUPTE A.Service Oriented Architecture for Cloud Based Travel Reservation Software as a Service［A］.Proceedings of the 2009 IEEE International Con?ference on Cloud Computing （CLOUD’ 09）［C］.USA：IEEE Computer Society，2009：147-150.

［4］王慶波，金涬，何樂，等.虛擬化與云計算［M］.北京:電子工業(yè)出版社，2009.