關于云計算和云數據管理技術的研究

劉靜

摘要：在新的時代背景下，信息技術在不斷的發展和進步。隨著數據量的不斷增多，人們對計算機計算能力的要求也逐漸提高，而云計算是一個十分熱門的研究方向，面對海量數據，云計算可以充分發揮自身的優勢，實現對數據的有效管理。云數據管理屬于云計算的一個分支，是一個全新的研究領域。本文以云數據管理技術為研究對象，主要探討了云數據管理中的一些關鍵技術。

關鍵詞：云計算 云數據管理 GFS技術

中圖分類號：TP311.13 文獻標識碼：A 文章編號：1007-9416（2016）12-0103-01

在本次研究中，筆者關注的是云計算和云數據管理技術，首先介紹了和云計算相關的概念，接下來系統的闡述了一些云數據管理技術，最后對云數據管理進行了透徹的分析，并提出了云數據管理的未來發展趨勢。

1 云計算

云計算的理論基礎主要有三個，分別是分布式處理、并行處理以及網格計算。云計算的最大特點就是將計算資源配置到分布式的計算機中，使用者可以按照自己的實際需求對相關資源進行訪問處理。通俗的講，傳統的計算方式就相當于單臺發電機供電方式，而云計算則相當于現代的集中供電方式。云計算從出現開始就受到了人們的重視，好多企業將云計算作為重點研究的項目。經過一段時間的發展，現在市面上已經有很多以云計算為基礎的應用，如Google Apps等。但是，總的說來，云計算還處于發展期，很多與此相關的技術還需要進一步完善。

2 云數據管理技術

對云數據的管理是十分重要的，云數據一般都是海量的，如何更加有效的管理云數據是非常值得研究的一個問題。現階段，比較常見的云數據管理技術主要有GFS、Dynamo技術、BigTable技術以及MapReduce技術。

2.1 云數據管理數據特點

云數據管理主要具有下述特點：

第一，數據量十分巨大。在信息時代，隨著各種信息技術的不斷發展，人們可以采集到的數據越來越多，數據量也越來越大。如何更好的處理海量數據是人們十分關心的問題。

第二，異構性。不同行業產生的數據所有區別，主要體現在兩個方面：一方面，數據的形態是不一樣的；另一方面，數據的結構也有所不同。一般來講，人們會利用傳感器采集數據，然而傳感器的種類有很多，如溫度傳感器、振動傳感器等，不同類型傳感器采集到的數據格式是不一樣的，這就帶來了數據的異構性問題。

第三，非確定性。云數據具有一定的不確定性，因此，研究人員需要對云數據進行一定的處理，以得到數據中的有效信息。

2.2 GFS技術

GFS技術的本質是一個分布式文件系統，GFS的主要作用是支持云數據的存儲。GFS系統中一共包括三個部分，分別是客戶端、主服務器以及數據塊服務器。其中，客戶端的本質是訪問接口。而GFS系統中最為關鍵的一部分則是主服務器，它相當于整個GFS系統的大腦。數據塊服務器的主要作用就是對系統中的信息進行儲存操作。

2.3 MapReduce技術

MapReduce技術的本質是一個編程模型，該模型中主要有兩個函數，第一個是map函數；第二個是reduce函數。map函數的主要作用是對接收的任務開展分解操作，將完整的大任務劃分成幾個小任務，從而利用節點對其進行操作。而reduce函數的主要作用是對map函數的處理結果—“值/對”開展進一步的處理，主要指的就是歸并處理。

2.4 BigTable技術

BigTable技術的提出者是Google，該技術的理論基礎是MapReduce技術和GFS技術。BigTable技術實際上就是一個分布式的數據庫，結束展數據處理之后，會得到一個大大的表格。目前，BigTable技術的應用相對比較廣泛，好多模型都使用了BigTable技術，如Google Earth等。

2.5 Dynamo技術

Dynamo技術實質上是一個結構化存儲系統，該系統的最大特點體現在將數據庫和分布式Hash表的特點結合起來?，F階段，Dynamo技術已經在一些應用中得到了實現，比較典型的代表是Project Voldemort等。

3 云數據管理技術分析

目前，云數據管理技術正處于關鍵的發展時期。現有的云數據管理技術主要將管理過程劃分成了四個層次，包括數據組織和管理、數據集成和管理、分布式并行處理以及數據分析。下面分別介紹一下：

第一，數據組織和管理。在此過程中主要借助的是一些分布存儲技術，從而可以實現對海量數據的并行管理。

第二，數據集成和管理。在此過程主要借助的是分布式數據管理方法，主要是為了解決數據的不確定性問題。

第三，分布式并行處理。在此過程主要借助的是云計算的并行編程方式，將完整的任務劃分成多個小的任務，從而更好的實現對節點的配置。

第四，數據分析。開展云數據管理的主要目的就是方便后續數據分析工作的開展，在數據分析時主要使用的是一些數據挖掘方法，從海量的數據中挖掘有用的信息。

4 云數據管理展望

隨著時代的不斷發展，云計算要面對的挑戰逐漸增多。同樣的，云數據管理也會迎來新的挑戰，同時這也是云數據管理的發展機遇。具體的挑戰有：第一，如何處理預載海量數據集的問題；第二，如何從結構化的數據中獲取信息，或者是如何從半機構化的數據中獲得信息等。云數據管理具有巨大的發展潛力，相關人員應該緊抓發展機遇，不斷迎接挑戰。

5 結語

在本次研究中，筆者主要關注的是云計算和云數據管理問題。主要探討了云數據管理中的一些關鍵技術，并對云數據管理技術進行了分析，希望可以為相關人員帶來一定的參考。

參考文獻

[1]周治宇.云計算和云數據管理技術分析與探討[J].信息通信，2015，03：134-135.

[2]高偉.淺淡云計算和云數據管理技術[J].無線互聯科技，2013，02：29.

[3]李海秋.關于云數據管理系統中查詢技術研究[J].電腦知識與技術，2013，12：2761-2763.

[4]張旭輝.關于云計算數據中心大數據安全技術分析[J].中國新通信，2016，17：48.