999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

基于海量數(shù)據(jù)優(yōu)化管理的分布式文件存儲系統(tǒng)應(yīng)用研究

2020-06-22 13:11:01高尚建魏國楊功
科技創(chuàng)新與應(yīng)用 2020年18期

高尚建 魏國 楊功

摘? 要:大數(shù)據(jù)時代數(shù)據(jù)成為了企業(yè)非常有價值的資源,對實時產(chǎn)生的海量大數(shù)據(jù)進行價值最大化挖掘成為了企業(yè)當(dāng)前非常重要的一項工作和追求目標(biāo)。而針對如此海量的數(shù)據(jù),首先要解決的一個問題就是采取何種方式進行存儲。基于此,文章結(jié)合當(dāng)前大數(shù)據(jù)時代企業(yè)經(jīng)營數(shù)據(jù)信息的實際,就如何管理好這些海量大數(shù)據(jù)進行了分布式文件存儲系統(tǒng)的應(yīng)用研究,以期通過充分發(fā)揮分布式文件存儲系統(tǒng)的優(yōu)勢實現(xiàn)對海量數(shù)據(jù)資源處理的水平和能力,讓企業(yè)數(shù)據(jù)資源發(fā)揮了最有效的價值。

關(guān)鍵詞:海量數(shù)據(jù);分布式文件存儲;優(yōu)化管理

中圖分類號:TP311.1? ? ? ? 文獻標(biāo)志碼:A? ? ? ? ?文章編號:2095-2945(2020)18-0181-02

Abstract: The data of big data era has become a very valuable resource for enterprises, and it has become a very important work and goal for enterprises to maximize the value of the massive big data generated in real time. In view of such a large amount of data, the first problem to be solved is how to store it. Based on this, combined with the reality of enterprise management data information in big data era, this paper makes a research on the application of distributed file storage system on how to manage these massive big data well. In order to achieve the level and ability to deal with massive data resources by giving full play to the advantages of distributed file storage system, so that enterprise data resources play the most effective value.

Keywords: massive data; distributed file storage; optimal management

前言

對于企業(yè)信息化數(shù)據(jù)的存儲來說,以往由于企業(yè)的數(shù)據(jù)量不是很大,傳統(tǒng)的集中式存儲以其功能豐富、穩(wěn)定可靠性高優(yōu)勢就可以很好的實現(xiàn)數(shù)據(jù)存儲,然而隨著數(shù)字化時代的到來,企業(yè)每天都實時產(chǎn)生了相當(dāng)?shù)臄?shù)據(jù),這些數(shù)據(jù)海量冗雜且實時更新,數(shù)據(jù)量也從GB級一直往ZB級上飆升,再用傳統(tǒng)的集中式存儲就出現(xiàn)了各種問題,主要表現(xiàn)為存儲系統(tǒng)難以橫向擴展、硬件成本居高不下、數(shù)據(jù)有效連通性不足等,導(dǎo)致企業(yè)數(shù)據(jù)存在諸多孤島,難以有效實現(xiàn)數(shù)據(jù)管理。而以云存儲為代表的分部署存儲則有效避免了因為常規(guī)集中式存儲難以高效的處理海量數(shù)據(jù)所出現(xiàn)的問題,不僅實現(xiàn)了數(shù)據(jù)管理的高效化,也大大降低了企業(yè)數(shù)據(jù)管理運行成本。因此,針對當(dāng)前大數(shù)據(jù)時代企業(yè)的數(shù)據(jù)管理應(yīng)用分布式文件存儲系統(tǒng)非常合適且必要。

1 分布式存儲的定義

數(shù)據(jù)的存儲按照物理存儲形態(tài)的分類來說在應(yīng)用中最多的就是集中式存儲以及分布式存儲。作為一種數(shù)據(jù)存儲的技術(shù),兩種存儲的實現(xiàn)方式完全不同,傳統(tǒng)的集中式存儲主要是通過設(shè)備的增加來增大數(shù)據(jù)容量,而分布式存儲則主要以軟件服務(wù)的方式來完成,是服務(wù)器、服務(wù)、軟件的綜合體,它是通過非標(biāo)準(zhǔn)協(xié)議的方式整合企業(yè)各類服務(wù)器上的存儲資源,并進行存儲資源池化和虛擬化處理,最后呈現(xiàn)給用戶某種形式(塊存儲或者文件存儲)的存儲空間。具體來說就是將企業(yè)中分散在每臺機器設(shè)備上的磁盤空間數(shù)據(jù)通過網(wǎng)絡(luò)和運行存儲軟件的形式整合起來形成一個可以擴展的結(jié)構(gòu)系統(tǒng)在進行的一種存儲服務(wù),其可以讓這些服務(wù)器都可以對數(shù)據(jù)存儲進行負荷承擔(dān),這樣不僅對數(shù)據(jù)的處理能力大大提高,而且更加高效更加實用更加節(jié)約成本。

2 分布式文件存儲系統(tǒng)的主要特征分析

傳統(tǒng)的集中式存儲主要是通過存儲矩陣來實現(xiàn)數(shù)據(jù)存儲管理,其雖然功能豐富,穩(wěn)定性和可靠性也都很不錯,但是在應(yīng)對海量數(shù)據(jù)時卻缺陷明顯,不僅無法針對各類數(shù)據(jù)進行有機銜接,同時需要花更多的成本來進行硬件存儲設(shè)備的購置,這些都導(dǎo)致了數(shù)據(jù)處理的效率低下和成本居高不小。然而分布式文件存儲系統(tǒng)就很好的避免了這些問題的出現(xiàn),因為分布式文件存儲系統(tǒng)并不是完全靠存儲設(shè)備來實現(xiàn)對數(shù)據(jù)的管理的,它主要是以非標(biāo)準(zhǔn)協(xié)議的方式來對企業(yè)各類設(shè)備上的數(shù)據(jù)進行有效的資源整合,并通過專業(yè)的存儲軟件來實現(xiàn)數(shù)據(jù)的有效存儲和管理,徹底解決了數(shù)據(jù)孤島和設(shè)備硬件成本高的問題。

總結(jié)起來說,分布式文件存儲系統(tǒng)具有以下幾個方面的特性:

2.1 可拓展性

分布式文件存儲系統(tǒng)的一個顯著特點就是可拓展,這是傳統(tǒng)集中式存儲系統(tǒng)無法比擬的,它通過將企業(yè)內(nèi)所有的存儲有數(shù)據(jù)的設(shè)備有機連接起來,其可以通過擴展性將數(shù)據(jù)存儲資源擴展形成數(shù)百臺甚至幾千臺的設(shè)備存儲集群,并且通過擴展性讓存儲系統(tǒng)性能呈線性增長。

2.2 成本較低

一般的常規(guī)服務(wù)器就可以滿足分布式文件存儲系統(tǒng)的需要,存儲設(shè)備要求比較低,常規(guī)的就能有效利用,這也是分布式存儲系統(tǒng)優(yōu)勢的具體體現(xiàn),那就是具有的自動負載均衡、自動容錯機制。由于在常規(guī)的普通服務(wù)器上既可有效的運行分布式存儲系統(tǒng),那么數(shù)據(jù)存儲運行成本就大大降低了。此外,擴展性的優(yōu)勢也降低了分布式存儲系統(tǒng)對設(shè)備服務(wù)器的需求,進一步降低了成本。

2.3 性能優(yōu)越

分布式文件存儲系統(tǒng)高性能是其運行的一個顯著特點,在企業(yè)數(shù)據(jù)管理中,無論是單一的服務(wù)器應(yīng)用還是整個企業(yè)數(shù)據(jù)集群存儲應(yīng)用,分布式文件存儲系統(tǒng)數(shù)據(jù)存儲能力及效果都非常明顯。

2.4 實用性強

對于用戶來說,實現(xiàn)分布式存儲系統(tǒng)的應(yīng)用簡單便捷是其性能發(fā)揮的又一特點,但是要想使這個系統(tǒng)使用起來非常實用便捷高效,對外接口的設(shè)計非常重要,在進行分布式存儲系統(tǒng)選擇使用時需要對用戶提供簡單好用的接口。此外,為了更好的與其它系統(tǒng)進行集成,可以提前設(shè)置好監(jiān)控、運維等工具系統(tǒng)。

2.5 容錯性

對服務(wù)器故障能夠?qū)崿F(xiàn)快速的檢測,并且能夠?qū)崿F(xiàn)對發(fā)生故障服務(wù)器上的數(shù)據(jù)進行自動化遷移。

分布式文件存儲系統(tǒng)雖然具有諸多的優(yōu)勢,但是在文件數(shù)據(jù)存儲管理過程中也面臨著一定調(diào)整,那就是持久化的保持數(shù)據(jù)和數(shù)據(jù)信息狀態(tài),這是因為分布式存儲系統(tǒng)比較復(fù)雜的存儲拓撲結(jié)構(gòu),這樣就會增加系統(tǒng)出現(xiàn)故障的機率。要避免這樣的問題發(fā)生,數(shù)據(jù)一致性是首先要解決的問題,而要確保數(shù)據(jù)的一致性,需要系統(tǒng)在自動容錯、自動遷移以及并發(fā)讀寫的過程中來實現(xiàn),并且要提前實現(xiàn)基于網(wǎng)絡(luò)控制下的數(shù)據(jù)保護、數(shù)據(jù)冗雜、數(shù)據(jù)容錯等功能,這就可以確保在企業(yè)設(shè)備各種服務(wù)器、磁盤或者交換機等出現(xiàn)故障或者某些異常情況時存儲系統(tǒng)仍能保持非常好的可靠性和可用性。

3 常用的分布式文件存儲系統(tǒng)

目前在用的分布式文件存儲系統(tǒng)比較多,它們在各個領(lǐng)域的應(yīng)用中其側(cè)重的點不盡相同,在市場中應(yīng)用中較多的為企業(yè)應(yīng)用級,系統(tǒng)級的相對不多,主要的有GFS、HDFS、Lustre、Ceph、GridFS、mogileFS、TFS、FastDFS等等。

4 典型的分布式文件存儲的架構(gòu)

在眾多的分布式文件存儲系統(tǒng)的應(yīng)用中,開源的應(yīng)用最為廣泛,本文以hadoop的HDFS為例,就其系統(tǒng)結(jié)構(gòu)的設(shè)計進行了詳細闡述。

Hadoop是當(dāng)前應(yīng)用非常廣泛的一種文本搜索庫系統(tǒng)之一,它的來源是Apache Nutch,由Doug Cutting開發(fā),其是Doug Cutting開發(fā)的Apache Lucene項目中的一部分,作為Google系統(tǒng)的重要組成部分,其實現(xiàn)的是網(wǎng)絡(luò)搜索引擎開源化。其中的Aapche Hadoop架構(gòu)作為一種開源應(yīng)用,其根本算法是MapReduce。Hadoop實現(xiàn)了一個分布式文件系統(tǒng)(Hadoop Distributed File System),簡稱HDFS。作為一個容錯性非常高的分布式文件系統(tǒng),其一般會被優(yōu)化設(shè)計而在常規(guī)的機器設(shè)備上就可以運行的,特別是一些同樣的硬件設(shè)備都可以高效的運行,其性能的發(fā)揮主要體現(xiàn)在通過應(yīng)用在規(guī)模龐大的數(shù)據(jù)集上而表現(xiàn)出訪問吞吐量非常高的價值體現(xiàn)。

4.1 大規(guī)模數(shù)據(jù)集

在HDFS系統(tǒng)上進行文件存儲系統(tǒng)的運行,數(shù)據(jù)集規(guī)模龐大是最顯著的特點,特別是對于大文件的存儲尤其為特點,并且能有效實現(xiàn)高數(shù)據(jù)帶寬的功能。一個單一的HDFS就可以支持以千萬量級計的文件,這些文件的大小通常都在G字節(jié)至T字節(jié)。

4.2 簡單的一致性模型

為確保HDFS系統(tǒng)進行文件存儲時進行海量數(shù)據(jù)的訪問,文件訪問模型的建立非常關(guān)鍵,模型形式具體是“一次寫入多次讀取”,而且這個模型通常在進行了創(chuàng)建、寫入和關(guān)閉操作之后就不需要進行改變了,同時這個模型是一個相對簡化的模型。現(xiàn)在各分布式文件存儲系統(tǒng)都進一步提升了這個模型的實用性,可以在此基礎(chǔ)上對模型進行優(yōu)化,使之可以對支持的文件進行寫操作處理。

4.3 異構(gòu)軟硬件平臺間的可移植性

文件存儲系統(tǒng)對文件數(shù)據(jù)進行存儲時就對平臺的可移植性進行了結(jié)構(gòu)設(shè)計,這樣的功能就對于提高HDFS系統(tǒng)的應(yīng)用具有明顯的優(yōu)勢,特別是在海量大數(shù)據(jù)的存儲方面具有突出的優(yōu)勢。

5 結(jié)束語

通過分布式文件存儲系統(tǒng)的應(yīng)用,有效的實現(xiàn)了企業(yè)海量數(shù)據(jù)的管理和利用,避免了數(shù)據(jù)孤島及數(shù)據(jù)分散的問題,同時由于可以彈性擴展使數(shù)據(jù)儲存空間的利用率大大提高,大大降低了軟硬件運行成本,非常適合數(shù)字化時代企業(yè)大數(shù)據(jù)存儲。

參考文獻:

[1]王梅,張四平.基于分布式系統(tǒng)的大數(shù)據(jù)管理平臺技術(shù)架構(gòu)研究[J].電腦與電信,2019(10):10-13.

[2]喬萌萌.基于Hadoop的云存儲技術(shù)在檔案館的應(yīng)用研究[J].信息與電腦,2019(24):163.

[3]王大志.基于HDFS的跨集群分布式文件系統(tǒng)研究[J].信息技術(shù)與信息化,2018(08):230.

主站蜘蛛池模板: 一区二区自拍| 欧美日韩国产在线播放| 日本午夜视频在线观看| www.av男人.com| 成年网址网站在线观看| 亚洲精品人成网线在线| 久精品色妇丰满人妻| P尤物久久99国产综合精品| 99热这里只有精品免费| 国产幂在线无码精品| 亚洲自拍另类| 成人国产三级在线播放| 久久永久免费人妻精品| 天天综合网色| 国产丝袜无码一区二区视频| 青青青视频蜜桃一区二区| 熟妇丰满人妻| 91蜜芽尤物福利在线观看| 中国一级特黄大片在线观看| 欧美狠狠干| 亚洲一区二区三区麻豆| 亚洲制服中文字幕一区二区| 这里只有精品在线播放| 在线观看av永久| 国产二级毛片| 国产成人福利在线| 亚洲视频免费在线看| 国产制服丝袜91在线| 香蕉久久国产超碰青草| 嫩草国产在线| 中文字幕免费在线视频| 亚洲国产高清精品线久久| 国产精品偷伦视频免费观看国产| 免费中文字幕在在线不卡| 国产一区二区三区在线观看视频| 91视频免费观看网站| 色婷婷视频在线| 欧美.成人.综合在线| 777国产精品永久免费观看| 欧美在线黄| www精品久久| 欧美中文字幕无线码视频| 97亚洲色综久久精品| 午夜福利视频一区| 精品无码一区二区三区电影| a级毛片一区二区免费视频| 精品成人一区二区| 美女视频黄又黄又免费高清| 亚洲欧美一区二区三区图片| 国产精品无码翘臀在线看纯欲| 国产免费羞羞视频| 不卡视频国产| 国产69精品久久久久孕妇大杂乱| 国产一区二区三区日韩精品| 天堂在线视频精品| 夜精品a一区二区三区| 免费A级毛片无码无遮挡| 国产亚洲视频免费播放| 国产精品9| 18禁高潮出水呻吟娇喘蜜芽| 操操操综合网| 97在线公开视频| 国产一二三区视频| 国产小视频网站| 久热中文字幕在线| 国产乱子伦手机在线| 亚洲成人在线网| 91精品啪在线观看国产91| 精品国产免费观看一区| 香蕉精品在线| 一级毛片免费观看久| 无码国内精品人妻少妇蜜桃视频 | 久久久噜噜噜| 欧美视频在线播放观看免费福利资源| 午夜欧美理论2019理论| 大乳丰满人妻中文字幕日本| 99精品视频九九精品| 国产精品尤物在线| 欧美综合在线观看| 在线观看国产网址你懂的| 久久精品娱乐亚洲领先| 国产自在自线午夜精品视频|