基于云計算的分布式存儲系統(tǒng)的研究

林碧洪

摘要：當前，中國正處于深化布局戰(zhàn)略性新興產(chǎn)業(yè)關鍵時期，云計算作為最具有活力與革新性的戰(zhàn)略性新興產(chǎn)業(yè)，與之相關聯(lián)的應用市場也呈現(xiàn)了快速發(fā)展的勢頭，整體產(chǎn)業(yè)未來的發(fā)展前景不可限量。本文從云計算環(huán)境下分布式存儲技術的需求出發(fā)，分析其結構，并簡述云計算環(huán)境下幾項關鍵的分布式存儲技術。

關鍵詞：云計算；分布式存儲；關鍵技術

互聯(lián)網(wǎng)正面臨著一場新的變革，移動互聯(lián)與三網(wǎng)合一使得網(wǎng)絡涵蓋范圍更廣泛，云計算的產(chǎn)生使得一個平臺多種應用成為可能。同時隨著網(wǎng)絡帶寬等網(wǎng)絡技術的發(fā)展，通過網(wǎng)絡訪問非本地的計算服務的條件越來越成熟，更加促進了云計算技術的發(fā)展。本文研究云計算環(huán)境下的分布式存儲具有很高的應用價值。

一、云計算與分布式存儲

云計算是網(wǎng)格計算、分布式計算、并行計算、效用計算、網(wǎng)絡存儲、虛擬化、負載均衡等傳統(tǒng)計算機和網(wǎng)絡技術發(fā)展融合的產(chǎn)物。廣義云計算指服務的交付和使用模式，指通過網(wǎng)絡以按需要、易擴展的方式獲得服務。這種服務可以是IT軟件和互聯(lián)網(wǎng)相關服務，也可是其他服務。狹義云計算指IT基礎設施的交付和使用模式，指通過網(wǎng)絡以按需、易擴展的方式獲得所需資源。云計算技術在很多領域都有極其重要的作用，如計算機科學領域、商業(yè)計算領域，已逐漸成為社會各界關注的焦點。

隨著信息時代的到來，計算機技術得到了廣泛的應用，已經(jīng)逐漸的運用到社會的各領域之中。故此其數(shù)據(jù)量也得到了快速的增長，而大量的數(shù)據(jù)如果僅僅是單獨的存儲在計算機上，就難以滿足信息化的發(fā)展要求。在這種環(huán)境之下，云計算應運而生，使得數(shù)據(jù)存儲的要求得到了解決。云計算環(huán)境下的分布式存儲主要是控制和管理數(shù)據(jù)中心，分布式存儲是云計算環(huán)境下的關鍵設施。

二、云計算環(huán)境下分布式存儲技術的需求

分布式存儲技術作為云計算的基礎，主要研究數(shù)據(jù)在數(shù)據(jù)中心中如何存儲、組織和管理。由于數(shù)據(jù)量和數(shù)據(jù)規(guī)模非常大，其在可擴展性、容錯性、成本控制等方面都面臨著非常嚴峻的技術需求。第一，可擴展性。云計算數(shù)據(jù)中心的節(jié)點規(guī)模通常是十萬級以上的，其上存儲的數(shù)據(jù)往往達到PB級甚至EB級，而且數(shù)據(jù)中心的規(guī)模和存儲的數(shù)據(jù)規(guī)模會隨著應用的拓展快速增長，因此，這就對云環(huán)境下數(shù)據(jù)存儲技術的擴展性提出了高要求，不僅要求數(shù)據(jù)中心網(wǎng)絡具備良好的可擴展性，數(shù)據(jù)組織結構也要具備可擴展性，以適應應用需求的擴展。第二，成本可控。傳統(tǒng)的分布存儲數(shù)據(jù)規(guī)模較小，對數(shù)據(jù)存儲能耗的考慮不夠全面。而在云計算環(huán)境下，存儲的數(shù)據(jù)規(guī)模巨大，能耗開銷也非常高；在7*24 小時不間斷運行模式下，能耗便成為數(shù)據(jù)中心存儲開銷的重要組成部分，唯有降低能耗才達到降低成本的目標。第三，容錯性。在云計算環(huán)境下，龐大的節(jié)點規(guī)模和數(shù)據(jù)規(guī)模直接提高了失效出現(xiàn)的頻率，失效會給云服務提供商以及用戶帶來嚴重的損失。然而提高物理拓撲結構的容錯性及提高數(shù)據(jù)的容錯性，能有效提高云計算環(huán)境下分布式存儲的容錯性。

三、云計算環(huán)境下分布式存儲技術的結構

1、以服務器為核心的結構

服務器作為云計算的核心，這種結構是利用網(wǎng)線將其他的服務器中安裝的多個網(wǎng)卡進行相互連接。對于這種結構來說，在使用的過程中服務器需要對數(shù)據(jù)進行及時處理和存儲，還需要將數(shù)據(jù)包的轉發(fā)功能完全負責。像這種以服務器為核心的計算結構，在線路的鏈接和結構組成方面是比較簡單的，這里不存在交換技術，所以可以很好地是服務器和底層的網(wǎng)絡進行交互，方便開發(fā)者高效實用路由算法。但是任何事物都存在兩面性，這種結構雖然簡單但是也有一定的弊端性，例如使用這種結構的時候，運行過程中服務器中的資源占用率比較大，由于服務器的負載壓力過大，很容易會導致整個服務器的計算效率降低，這些問題都會增加成本支出以及損壞計算器性能。

2、以交換機為核心的結構

在傳統(tǒng)的數(shù)據(jù)存儲技術中都是使用交換機進行的，然而在云計算技術還沒有大規(guī)模使用之前，許多用戶都是以交換機為核心的數(shù)據(jù)存儲技術進行數(shù)據(jù)交換的，即用戶將數(shù)據(jù)中心和網(wǎng)絡體系通過交換機為紐帶，兩者連接在一起。這種以交換機為橋梁的數(shù)據(jù)存儲技術基本采的是屬性結構，包括聚合層、邊緣層及核心層三個部分。這種樹形結構的方法的主要特點是其操作方法簡單，數(shù)據(jù)連接比較容易，數(shù)據(jù)擴展性強的特點。但是這種以交換機為核心的技術也由于一些缺點，例如，其存儲容量有限、存儲技術相對比較落后，然而這種技術在數(shù)據(jù)存儲過程中的操作卻很靈活，存儲效率高，所以可以通過一些優(yōu)化技術提高其使用空間。

3、以服務器與交換機混合結構

隨著網(wǎng)絡技術的飛速發(fā)展，單一的結構已經(jīng)無法滿足需求，不論是以服務器為核心的結構亦或是以交換機為核心的結構都存在或多或少的弊端，為了揚長避短，可以將二者混合使用，互補不足。在網(wǎng)絡結構、路由的費用、可擴展性以及構建的成本等方而均能體現(xiàn)出混合式結構的優(yōu)點。在網(wǎng)絡結構方而，服務器、交換機混合使用可以同時使用交換機與服務器在進行數(shù)據(jù)提供時的轉發(fā)功能，它讓網(wǎng)絡結構更加的自由，靈活性也更高；從擴展性方而來說，該種結構讓每個服務器所安裝的網(wǎng)卡受到限制；而成本構建這塊，混合結構集合了交換機與服務器結構的優(yōu)點，在同等性能甚至是提升性能的同時降低了成本。

四、云計算環(huán)境下分布式儲存關鍵技術

1、數(shù)據(jù)中心網(wǎng)絡構建技術

建立將交換機作為網(wǎng)絡構架中心結構的方式。利用該種方式進行互聯(lián)網(wǎng)絡系統(tǒng)數(shù)據(jù)中心構建，其所堅持的思想是建立在系統(tǒng)思維上的。利用對提供網(wǎng)絡服務功能互聯(lián)網(wǎng)絡計算機交換器之間的有效連接，將可促使整個系統(tǒng)中的數(shù)據(jù)與信息均可實現(xiàn)相互傳遞與溝通，從而帶來整個系統(tǒng)服務器實現(xiàn)對數(shù)據(jù)進行有效儲存、收發(fā)及傳遞的功能。建立將服務器作為數(shù)據(jù)中心主要結構的構建模式。這種結構所堅持的設計理念與第一種之間存在顯著差異，其主要是將服務器作為網(wǎng)絡數(shù)據(jù)中心的重要節(jié)點，進而通過在現(xiàn)有各類數(shù)據(jù)中心服務連接點中安裝網(wǎng)卡，利用其所具有的數(shù)據(jù)分析與傳遞功能實現(xiàn)對整個數(shù)據(jù)中心各區(qū)域之間的網(wǎng)線連接。

2、數(shù)據(jù)容錯技術

數(shù)據(jù)容錯技術作為分布式存儲技術當中的關鍵技術之一，對于系統(tǒng)可用性與可靠性程度以及數(shù)據(jù)訪問效率等的影響不言而喻。數(shù)據(jù)的容錯技術一般都通過增加數(shù)據(jù)冗余來實現(xiàn)，因為冗余的數(shù)據(jù)能夠讓失效以及丟失的數(shù)據(jù)被找到，而與此同時，也加大了存儲資源的消耗，因此，為了在保障容錯的同時，最大程度地提高存儲資源的利用率，又能夠降低成本，就變得刻不容緩，現(xiàn)階段，最常用的數(shù)據(jù)容錯技術主要有兩種，一種是基于復制的容錯技術，另一種是基于糾刪碼的容錯技術。

3、節(jié)能技術

節(jié)能、環(huán)保與可持續(xù)發(fā)展已經(jīng)成為當代各行業(yè)中的熱門議題。對云計算時代而言同樣如此，作為時代中扮演重要角色的分布儲存關鍵技術而言，其龐大數(shù)據(jù)庫的運行將會帶來整體的巨大增加。相較于傳統(tǒng)信息儲存技術而言，在不斷提升云計算的功能性特點基礎上，有效降低其所消耗的能源，將成為今后研究的重要方向。對于當前該環(huán)境下儲存技術的節(jié)能技術而言，通常包括硬件與軟件兩個部分。硬件部分主要是通過節(jié)能體系與結構得以實現(xiàn)節(jié)能。對于軟件部分而言，其通常是使用節(jié)點動態(tài)運作的方式，實現(xiàn)對能耗的有效節(jié)約。

參考文獻：

[1]劉月，云計算環(huán)境下分布存儲關鍵技術研究[J]，江蘇科技信息，2015（9）

[2]宋國、平邱陽，云計算環(huán)境下的分布存儲關鍵技術[J]，吉林廣播電視大學學報，2014（9）

[3]譚鵬許，云計算環(huán)境下安全分布式存儲架構與容錯技術研究[D]，解放軍信息工程大學，2013endprint