數(shù)據(jù)庫大數(shù)據(jù)分布式存儲技術(shù)研究

洪成斌

（銅陵職業(yè)技術(shù)學(xué)院 安徽 銅陵 244061）

0.引言

數(shù)據(jù)庫是存儲數(shù)據(jù)的主要載體，也是管理數(shù)據(jù)的主要工具。 在大數(shù)據(jù)時代，數(shù)據(jù)量快速增長，傳統(tǒng)數(shù)據(jù)庫和集中式存儲技術(shù)已經(jīng)不能適應(yīng)現(xiàn)代信息數(shù)據(jù)處理的需要，數(shù)據(jù)處理效率較低，數(shù)據(jù)處理速度較慢，大數(shù)據(jù)分布式存儲技術(shù)應(yīng)運(yùn)而生，解決了大數(shù)據(jù)處理中的種種問題，滿足了大數(shù)據(jù)處理的特殊需求。由于分布式存儲技術(shù)的多種優(yōu)點(diǎn)，使得其受到眾多企業(yè)的歡迎， 已經(jīng)成為了主要的大數(shù)據(jù)存儲技術(shù)，推動了大數(shù)據(jù)技術(shù)的發(fā)展。

1.分布式存儲技術(shù)簡述

1.1 分布式存儲技術(shù)概念

分布式存儲技術(shù)是一種新型的數(shù)據(jù)處理技術(shù)，主要是將數(shù)據(jù)分布存儲，同時在分布存儲的數(shù)據(jù)之間構(gòu)建聯(lián)系，從而構(gòu)建一個虛擬的存儲設(shè)備。 這種技術(shù)將數(shù)據(jù)分布存儲到網(wǎng)絡(luò)之中，并將網(wǎng)絡(luò)中分散的數(shù)據(jù)連為一個整體，有效的節(jié)約了存儲空間。 分布式存儲技術(shù)最早應(yīng)用于氣候研究和物理研究，由于研究人員的地理位置分布的不同，所以數(shù)據(jù)存儲也呈現(xiàn)出分布式特征。 隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，分布式存儲技術(shù)的應(yīng)用范圍也越來越廣，提升了網(wǎng)絡(luò)存儲資源的利用率，滿足了人們存儲數(shù)據(jù)的需求，同時為人們提供了數(shù)據(jù)共享通道，方便了人們之間的數(shù)據(jù)交換。

1.2 分布式存儲技術(shù)與集中式存儲技術(shù)的區(qū)別

分布式存儲技術(shù)是相對于集中式存儲技術(shù)來說的數(shù)據(jù)存儲技術(shù)，兩者主要有三個不同之處：第一個不同之處是數(shù)據(jù)存儲量。 集中式存儲技術(shù)將信息數(shù)據(jù)存儲在一個數(shù)據(jù)庫中，數(shù)據(jù)存儲量相當(dāng)有限，只能存儲T 級別以下的數(shù)據(jù)，不能滿足高級別數(shù)據(jù)存儲的需求。 分布式存儲技術(shù)將數(shù)據(jù)存儲在零散的網(wǎng)絡(luò)空間中，可以存儲海量數(shù)據(jù)，能夠滿足多種級別的數(shù)據(jù)存儲需求。 第二個不同之處是防御性。 集中式存儲技術(shù)的防御性低，這是因?yàn)樾畔?shù)據(jù)全部集中存儲在服務(wù)器中，而服務(wù)器一旦遭受黑客攻擊或是感染網(wǎng)絡(luò)病毒， 全部的數(shù)據(jù)就會丟失、損壞。分布式存儲技術(shù)的防御性高，這是因?yàn)閿?shù)據(jù)分布存儲在網(wǎng)絡(luò)之中，部分?jǐn)?shù)據(jù)受損不會影響其他數(shù)據(jù)的使用，有效保證了信息安全。 第三個是并發(fā)性能。 集中式存儲技術(shù)的并發(fā)性能低，不能同時讀寫信息數(shù)據(jù)，在查詢大量數(shù)據(jù)時速度非常慢。分布式存儲技術(shù)的并發(fā)性能好，能夠同時對海量數(shù)據(jù)進(jìn)行讀寫操作。

1.3 分布式存儲系統(tǒng)

分布式存儲系統(tǒng)是應(yīng)用分布式存儲技術(shù)的數(shù)據(jù)存儲系統(tǒng)，主要是將數(shù)據(jù)存儲在多臺設(shè)備當(dāng)中，而且多臺設(shè)備互相并不干擾，每臺設(shè)備都能獨(dú)立工作。 相對于傳統(tǒng)的存儲系統(tǒng)來說，分布式存儲系統(tǒng)的可靠性更高，安全性更好，擴(kuò)展性更強(qiáng)，能夠滿足大數(shù)據(jù)時代人們存儲管理數(shù)據(jù)的需求。 分布式存儲系統(tǒng)當(dāng)中主要應(yīng)用了兩種技術(shù):第一種技術(shù)是彈性擴(kuò)展技術(shù)。可擴(kuò)展性是存儲系統(tǒng)的首要特性。在大數(shù)據(jù)時代，一個存儲系統(tǒng)的性能主要取決于系統(tǒng)的可擴(kuò)展性。分布式存儲系統(tǒng)的可擴(kuò)展性非常好，這主要得益于彈性擴(kuò)展技術(shù)。 第二種技術(shù)是元數(shù)據(jù)管理技術(shù)。元數(shù)據(jù)即描述數(shù)據(jù)的數(shù)據(jù)，隨著信息數(shù)據(jù)量的不斷增長，元數(shù)據(jù)量也在不斷增加。 元數(shù)據(jù)管理是存儲系統(tǒng)首先要完成的工作，因此存儲系統(tǒng)必須要有良好的元數(shù)據(jù)管理能力。分布式存儲系統(tǒng)具有一流的元數(shù)據(jù)管理能力，并且不需要專門的元數(shù)據(jù)服務(wù)器，減輕了企業(yè)的成本開支。

2.數(shù)據(jù)庫大數(shù)據(jù)分布式存儲技術(shù)

2.1 低成本分布式存儲技術(shù)

在大數(shù)據(jù)時代，信息數(shù)據(jù)飛速增長，致使存儲成本不斷提高。低成本分布式存儲技術(shù)的出現(xiàn)解決了存儲成本過高的問題，有效的節(jié)約了存儲成本。 在多種低成本分布式存儲技術(shù)中，節(jié)約效果最好的當(dāng)屬基于對象的分布式存儲技術(shù)， 這種存儲技術(shù)主要通過使用Web 協(xié)議實(shí)現(xiàn)數(shù)據(jù)傳輸通道與數(shù)據(jù)控制通道的分離，提升了數(shù)據(jù)傳輸?shù)男省?基于對象的分布式存儲系統(tǒng)為用戶提供兩個ID，一個為存儲對象ID，一個為存儲空間ID，兩個ID 互相對應(yīng)，實(shí)現(xiàn)了數(shù)據(jù)的定向存儲，同時系統(tǒng)的存儲空間處于平級，互不干擾，不會發(fā)生連帶故障現(xiàn)象，有效防止了數(shù)據(jù)的丟失。 除此之外，基于對象的分布式存儲系統(tǒng)還壓縮了硬件存儲成本，主要通過網(wǎng)絡(luò)來實(shí)現(xiàn)數(shù)據(jù)的存儲和管理，可靠性非常高，能夠保障用戶的信息安全。 最為經(jīng)典的低成本分布式存儲系統(tǒng)為Swift，這個系統(tǒng)主要有兩部分組成，一部分是數(shù)據(jù)訪問，一部分是數(shù)據(jù)管理，能夠多節(jié)點(diǎn)查詢信息，節(jié)省了查詢時間。

2.2 極限數(shù)據(jù)分布式存儲技術(shù)

在大數(shù)據(jù)時代，極限數(shù)據(jù)出現(xiàn)的次數(shù)越來越頻繁，需要數(shù)據(jù)庫存儲系統(tǒng)有非常良好的極限數(shù)據(jù)處理能力。極限數(shù)據(jù)分布式存儲技術(shù)滿足了極限數(shù)據(jù)處理需求，能夠同時處理多樣的、大量的數(shù)據(jù)，主要應(yīng)用于各類購物網(wǎng)站和購票網(wǎng)站的存儲系統(tǒng)之中。在現(xiàn)有的極限數(shù)據(jù)分布式存儲系統(tǒng)中，最為主要的有三種：Hadoop、NoSQL、NewSQL，這三種處理系統(tǒng)的核心原理是一致的， 都是通過零散的存儲空間來存儲數(shù)據(jù)，以此實(shí)現(xiàn)存儲資源的優(yōu)化配置。 NewSQL 存儲系統(tǒng)相對于其他兩種存儲系統(tǒng)來說，兼容性更好，能夠滿足用戶的多種存儲需求，數(shù)據(jù)處理速度更塊，是傳統(tǒng)數(shù)據(jù)的十倍，為用戶提供了優(yōu)質(zhì)的信息存儲管理服務(wù)。 除此之外，GemFire 系統(tǒng)也是一種非常受歡迎的極限數(shù)據(jù)分布式存儲系統(tǒng)，已經(jīng)應(yīng)用到我國的12306 鐵路訂票網(wǎng)站之中。

3.大數(shù)據(jù)分布式存儲技術(shù)面臨的難題和解決措施

3.1 大數(shù)據(jù)管理人才缺乏問題和解決措施

大數(shù)據(jù)管理人才是大數(shù)據(jù)的主要管理者，直接影響著大數(shù)據(jù)的管理和使用。目前，我國普遍缺乏大數(shù)據(jù)管理人才，許多大數(shù)據(jù)管理人員對大數(shù)據(jù)分布式存儲技術(shù)了解不足，認(rèn)識不深，不能主動的應(yīng)用大數(shù)據(jù)分布式存儲技術(shù)，大數(shù)據(jù)管理效率較低，讓信息數(shù)據(jù)失去了使用價值。為了解決這個問題，我國就要重視大數(shù)據(jù)分布式存儲技術(shù)的應(yīng)用，引導(dǎo)我國高校開設(shè)大數(shù)據(jù)相關(guān)專業(yè)，增強(qiáng)學(xué)生大數(shù)據(jù)分布式存儲技術(shù)的使用能力。 企業(yè)要做好員工招聘和培訓(xùn)工作，不僅要通過多種考核挑選能力最優(yōu)的應(yīng)聘者，還要通過多種培訓(xùn)提升員工的技術(shù)水平和綜合素質(zhì)，最終促進(jìn)企業(yè)的發(fā)展。大數(shù)據(jù)管理人員要端正工作態(tài)度，主動學(xué)習(xí)大數(shù)據(jù)分布式存儲技術(shù)，提升數(shù)據(jù)管理效率，提升自身工作水平，深度挖掘信息數(shù)據(jù)，發(fā)揮出大數(shù)據(jù)的作用。

3.2 大數(shù)據(jù)分布式存儲系統(tǒng)的安全性問題和解決措施

在大數(shù)據(jù)時代，信息數(shù)據(jù)的重要性逐漸凸顯，但是網(wǎng)絡(luò)威脅也隨之出現(xiàn)。黑客攻擊、病毒感染都威脅著用戶的數(shù)據(jù)安全，而現(xiàn)有的大數(shù)據(jù)分布式存儲系統(tǒng)還不能完全抵擋病毒、黑客，也就無法全面保障用戶的信息數(shù)據(jù)，因此，信息數(shù)據(jù)安全問題是使用大數(shù)據(jù)的各行各業(yè)首先要解決的問題，也是必須要解決的問題。為了解決這個問題，大數(shù)據(jù)存儲系統(tǒng)的開發(fā)者就要加強(qiáng)研究力度，增強(qiáng)系統(tǒng)的防御能力，同時提升系統(tǒng)的內(nèi)部自檢能力，以此來應(yīng)付外部黑客的攻擊和內(nèi)部病毒的感染。 大數(shù)據(jù)存儲系統(tǒng)的使用者要做好兩方面工作：一方面要提升信息保護(hù)意識，要自覺主動的保護(hù)信息數(shù)據(jù)，要為系統(tǒng)設(shè)置密碼，為使用者劃分等級，以此來確保信息的安全性。另一方面要制定系統(tǒng)使用守則，以此來規(guī)范使用者的行為，確保使用者能夠正確使用系統(tǒng)，防止信息數(shù)據(jù)外泄。

3.3 大數(shù)據(jù)分布式存儲系統(tǒng)的適用性問題和解決措施

大數(shù)據(jù)分布式存儲系統(tǒng)的適用性是系統(tǒng)使用價值的具體體現(xiàn)，適用性越高，使用價值越高。 但是我國目前的大數(shù)據(jù)分布式存儲系統(tǒng)都還存在一些問題，也就是說系統(tǒng)還有可以提升的空間。 為了提升大數(shù)據(jù)分布式存儲系統(tǒng)的適用性，系統(tǒng)的開發(fā)者首先要了解用戶需求和市場需求，通過分析得出用戶和市場實(shí)際需要的系統(tǒng)類型和功能，然后制定出完整的系統(tǒng)設(shè)計(jì)計(jì)劃。 在設(shè)計(jì)系統(tǒng)時，要不斷的增加系統(tǒng)的功能，提升系統(tǒng)的數(shù)據(jù)處理能力，提升系統(tǒng)的數(shù)據(jù)處理效率，提升用戶喜愛度。 在系統(tǒng)銷售之后，還要對系統(tǒng)定期維護(hù)，確保系統(tǒng)能夠正常運(yùn)行，保證系統(tǒng)中的信息不被竊取，同時要根據(jù)用戶的需求優(yōu)化系統(tǒng)，提升用戶的忠誠度。

4.結(jié)語

數(shù)據(jù)庫大數(shù)據(jù)分布式存儲技術(shù)是一種新型的大數(shù)據(jù)存儲技術(shù)，主要通過零散的網(wǎng)絡(luò)空間分布存儲數(shù)據(jù)，有效的節(jié)約了存儲成本，提升了數(shù)據(jù)管理效率。大數(shù)據(jù)分布式存儲系統(tǒng)是以大數(shù)據(jù)分布式存儲技術(shù)為基礎(chǔ)的存儲系統(tǒng)，能夠滿足用戶的多樣化需求，加快了信息數(shù)據(jù)的處理速度，提升了數(shù)據(jù)管理人員的工作水平，具有非常高的應(yīng)用價值。大數(shù)據(jù)分布式存儲技術(shù)和存儲系統(tǒng)應(yīng)當(dāng)受到人們的歡迎和使用，這樣才能帶動大數(shù)據(jù)的發(fā)展，才能讓大數(shù)據(jù)的價值得以顯現(xiàn)。