基于云計(jì)算的分布式存儲技術(shù)研究

王茱 東北石油大學(xué)

基于云計(jì)算的分布式存儲技術(shù)研究

王茱 東北石油大學(xué)

隨著信息技術(shù)的快速發(fā)展，出現(xiàn)一種新的計(jì)算模式“云計(jì)算”，并且已逐漸趨于成熟穩(wěn)定，被廣泛運(yùn)用到各個行業(yè)領(lǐng)域中。基于云計(jì)算的存儲系統(tǒng)，大都采用其關(guān)鍵設(shè)施“分布式存儲”。本文主要從對當(dāng)前基本云計(jì)算的分布式存儲技術(shù)的內(nèi)容進(jìn)行分析，并提出其未來發(fā)展方向。

云計(jì)算 分布式存儲 技術(shù)

云計(jì)算是一種以網(wǎng)絡(luò)為中心，通過構(gòu)建一個甚至是多個網(wǎng)絡(luò)設(shè)備相互連接的數(shù)據(jù)中心，把海量的數(shù)據(jù)都存儲到數(shù)據(jù)中心上并向上提供安全、有效的的信息存儲和計(jì)算的服務(wù)。云環(huán)境下，為了解決海量數(shù)據(jù)的可擴(kuò)展存儲問題，分布式存儲技術(shù)應(yīng)運(yùn)而生。與集中式存儲技術(shù)不同，分布式存儲技術(shù)并不是將數(shù)據(jù)存儲在某個或多個特定的節(jié)點(diǎn)上，而是通過使用互聯(lián)網(wǎng)上的每臺設(shè)備上的磁盤空間，并且將這些分散的資源數(shù)據(jù)構(gòu)成一個虛擬的存儲設(shè)備，數(shù)據(jù)分散的存儲在各個設(shè)備上。

1 云環(huán)境下分布式存儲技術(shù)概述

1.1 基本機(jī)構(gòu)

首先，以服務(wù)器為核心的網(wǎng)絡(luò)結(jié)構(gòu)。這種結(jié)構(gòu)主要是利用網(wǎng)線將所有的服務(wù)器上面安裝的相應(yīng)網(wǎng)卡進(jìn)行相互連接，在操作使用的過程中，服務(wù)器對數(shù)據(jù)進(jìn)行及時存儲、處理，數(shù)據(jù)包的轉(zhuǎn)發(fā)功能也完全由服務(wù)器負(fù)責(zé)而不是通過交換機(jī)使得整個結(jié)構(gòu)和線路的鏈接上面變得更簡單清晰化。這種結(jié)構(gòu)有利于服務(wù)器和底層網(wǎng)絡(luò)的直接互交，但也有一定的不足，由于在運(yùn)行過程中極大地占用了服務(wù)器資源，使服務(wù)器的負(fù)荷量過大，導(dǎo)致計(jì)算機(jī)運(yùn)行速度變慢、效率降低，甚至?xí)p壞計(jì)算的相關(guān)性能。其次，以交換機(jī)為核心的結(jié)構(gòu)。這種結(jié)構(gòu)主要是以交換機(jī)為中心紐帶，將多個服務(wù)器互連起并承擔(dān)數(shù)據(jù)包的轉(zhuǎn)發(fā)功能。其操作方法簡單方便，數(shù)據(jù)可擴(kuò)展性較大，但存儲容量教小，存儲技術(shù)相對落后，對下層服務(wù)器的利用率較低。最后，以服務(wù)器和交換機(jī)為核心的混合結(jié)構(gòu)。這種混合結(jié)構(gòu)其實(shí)就是將兩種結(jié)構(gòu)巧妙地結(jié)合起來，揚(yáng)長避短，通過交換機(jī)連接各個服務(wù)器并在所有的服務(wù)器上面安裝網(wǎng)卡從而構(gòu)成一個更加靈活、方便的網(wǎng)絡(luò)結(jié)構(gòu)，更有利于數(shù)據(jù)的存儲和轉(zhuǎn)發(fā)，根據(jù)服務(wù)器與節(jié)點(diǎn)之間的關(guān)系在服務(wù)器上實(shí)行節(jié)點(diǎn)互聯(lián)的方法來更快捷地完成數(shù)據(jù)之間的傳遞。這種混合模式結(jié)構(gòu)具有操作簡便靈活、可擴(kuò)展性大、降低成本等特點(diǎn)。

1.2 主要技術(shù)內(nèi)容

第一種，節(jié)能技術(shù)。主要分為硬件節(jié)能技術(shù)和軟件節(jié)能技術(shù)，其中，硬件節(jié)能技術(shù)又可以分為兩種，一種是通過改進(jìn)硬件設(shè)備、優(yōu)化節(jié)能體系與結(jié)構(gòu)從而降低計(jì)算機(jī)存儲能耗達(dá)到節(jié)能的目的，例如：ARM體系結(jié)構(gòu)。另一種是從數(shù)據(jù)中心出發(fā)，通常在構(gòu)建數(shù)據(jù)中心的過程中，使用低性能耗的硬件設(shè)備避免高性能耗的設(shè)備，降低數(shù)據(jù)中心能耗從而實(shí)現(xiàn)節(jié)能減耗的目的。例如在芯片的研究上，研究如何把低能耗同時性能也較低的芯片應(yīng)用到數(shù)據(jù)中心上，產(chǎn)生能滿足任務(wù)需要的更高性能需求。軟件節(jié)能技術(shù)主要是通過一定的軟件方法，在不不影響性能的前提下，使用節(jié)點(diǎn)動態(tài)的運(yùn)作方式，使數(shù)據(jù)中心內(nèi)部的節(jié)點(diǎn)進(jìn)入低能耗的狀態(tài)，從而實(shí)現(xiàn)對能耗的有效節(jié)約。

第二種，數(shù)據(jù)容錯技術(shù)。主要分為基于復(fù)制的容錯技術(shù)和基于糾刪碼的容錯技術(shù)。糾刪碼容錯技術(shù)主要指通過對多個數(shù)據(jù)對象進(jìn)行編碼而產(chǎn)生編碼對象，實(shí)現(xiàn)有序排列數(shù)據(jù)對象的技術(shù)，使數(shù)據(jù)在傳遞過程中簡單化，還達(dá)到了降低通過完全復(fù)制帶來的巨大存儲開銷支出的目的。該技術(shù)能夠容忍多個數(shù)據(jù)信息的丟失，避免了對個別丟失信息的過于依賴，弱化個體強(qiáng)化整體，以系統(tǒng)觀的思想傳遞數(shù)據(jù)。復(fù)制容錯技術(shù)，主要是指對一個數(shù)據(jù)對象同時創(chuàng)建多個相同的數(shù)據(jù)副本，并把這些相同的數(shù)據(jù)副本分散到各個存儲節(jié)點(diǎn)上。這種技術(shù)可以實(shí)現(xiàn)數(shù)據(jù)的快速補(bǔ)充，從而快速修復(fù)數(shù)據(jù)中心出現(xiàn)的錯誤。該技術(shù)相對于糾刪碼容錯技術(shù)，雖然能能保證整體數(shù)據(jù)的高質(zhì)量但存儲成本更大。

2 分布式存儲技術(shù)未來發(fā)展方向

2.1 加大研究基于糾刪碼的技術(shù)

如今，云計(jì)算環(huán)境下，例如機(jī)架無關(guān)、相關(guān)、隨機(jī)放置等數(shù)據(jù)放置方法都比較簡單，且都主要針對于復(fù)制容錯技術(shù)。現(xiàn)有的工作中卻很少有針對基于糾刪碼的放置技術(shù)的研究策略。實(shí)際操作中，不同的放置方法同樣對基于糾刪碼的容錯技術(shù)的容錯性和數(shù)據(jù)訪問效率具有很深遠(yuǎn)的影響。這就要求我們要根據(jù)數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)的特點(diǎn)和具體操作應(yīng)用特點(diǎn)，設(shè)計(jì)研究出針對于基于糾刪碼的容錯技術(shù)的放置策略，且可以從節(jié)能減耗的目標(biāo)下，深入研究該技術(shù)的數(shù)據(jù)放置策略。

2.2 改善數(shù)據(jù)網(wǎng)絡(luò)結(jié)構(gòu)

根據(jù)存儲應(yīng)用的訪問模式的多樣性，設(shè)計(jì)出一個能夠高效組織和管理數(shù)據(jù)的數(shù)據(jù)網(wǎng)絡(luò)中心結(jié)構(gòu)從而達(dá)到均衡鏈路負(fù)載、提高系統(tǒng)吞吐率的目的。

2.3 降低能耗成本

為了減少數(shù)據(jù)中心網(wǎng)絡(luò)的能耗成本，且達(dá)到節(jié)能的目的，可以分析研究存儲應(yīng)用的數(shù)據(jù)訪問模式以及流量特征，在不影響數(shù)據(jù)容錯性能和效率的前提下，關(guān)閉數(shù)據(jù)中心網(wǎng)絡(luò)中一些不必要的鏈路和交換機(jī)。

3 小結(jié)

總之，云計(jì)算是信息技術(shù)發(fā)展的產(chǎn)物，應(yīng)用廣泛。其分布存儲技術(shù)也面臨著巨大的挑戰(zhàn)需要我們在未來的發(fā)展研究中不斷完善。

[1]陳大偉,張清,劉敏.試論云計(jì)算環(huán)境下的分布式存儲技術(shù)[J].科技展望,2016,(31):16

[2]唐京偉.基于云計(jì)算的分布式存儲技術(shù)[J].中國傳媒科技,2013,(15):106-110