基于云平臺的數據儲存與文件管理研究

辛躍華

摘 要 當前數字信息和互聯網技術快速發展，基于互聯網的應用和服務層出不窮，隨之而來的是，網絡之間需要處理的數據也是呈現出幾何倍數增長。對大量數字信息和服務數據給予及時處理，并且向用戶提供安全有效的網絡服務，變得極為關鍵。隨著云計算的出現，為數據的處理方式提供了有效的方案，利用虛擬機、網絡資源池、共享存儲存儲器等技術，用戶可以便捷的進行應用的遷移和擴展，進而使得傳統的PC機作為處理模式的方式逐漸被淘汰。不過伴隨著云計算的逐漸使用，如何獲得高效率、低成本的存儲空間與管理云端大數據逐漸成為很多研究人員關注的熱點問題，這需要具有良好的云端平臺以及優化的數據庫結構、處理模式設計。

關鍵詞 數字信息 云計算 數據庫

中圖分類號：TP311.52 文獻標識碼：A DOI：10.16400/j.cnki.kjdks.2016.10.024

Abstract The digital information technology and the Internet have rapid development， the use of the Internet to is used to provide service to all kinds. At the same time， the network between the need to deal with the data is also showing a geometric ratio growth. For a large number of service information and data to give treatment， and to provide users with safe and effective network services， has become extremely critical. With the advent of cloud computing， making for processing of these data for the effective solution to provide its proposed use of fast and convenient Internet technology and has a high security data storage technology， which makes the traditional PC as a way of processing mode is gradually phased out. But with the growing use of cloud computing， to obtain high efficiency and low cost of storage and management of a cloud of data gradually become a lot of enterprises and researchers have paid attention to the problem， which need to have good cloud platform and database structure， and the process model of the design.

Keywords digital information； cloud computing； database

0 引言

在信息化快速發展的今天，互聯網內部的數據越來越多，其服務的種類也是越來越多，伴隨著數字技術和智能終端技術的進步，以及網絡帶寬的擴展，網絡通訊量爆炸式增長，給互聯網系統帶來嚴重負擔。目前存在一個問題，即在互聯網內部系統資源利用效率不高，一些應用需要大量的計算與儲存資源，而另外一些系統的資源大部分處于空閑狀態。對這些問題，解決的要點是實現資源與計算能力的虛擬化，解決海量數據的管理和存儲，通過分布式共享機制提升服務質量。云計算自提出以來，受到了業界的普遍關注，很大程度上改變了整個IT技術發展的方向。

云計算是一種全新的計算方式，基于網絡基礎架構的虛擬化，使之具有安全可靠的數據存儲與處理能力，進而使得傳統的PC作為基礎的信息處理模式發生了很大變化。因為云計算技術具有分布式、可擴展、高性能、高可靠等優勢，較以往以數據庫為中心的計算模式，具有很好的發展潛力與優越的性能。伴隨著企業信息化的不斷發展，大部分數據開始在網絡上多個節點中分散存儲，網絡間對這些數據的快速傳播逐漸成為人們越來越關注的問題。由于云計算逐步廣泛應用，對這些數據的管理以及存儲如何實現快速和較低成本，也是人們關注與研究的熱點問題。特別是針對那些對云計算有著專門研究的相關機構，其首先要解決的問題就是要擺脫傳統的存儲模式，其原因就是大量的新增數據出現，那些舊的存儲方式以及信息處理模式已經無法為新的業務和計算流程提供服務。針對上述問題，本文設計一種新的數據存儲解決方案，能夠利用云計算技術，以及文件虛擬化管理模式，為面向爆炸式增長的數據提供快速訪問和讀寫服務。

1云計算平臺中數據存儲方式

1.1數據模型

存在于云計算平臺的大部分數據都屬于半結構化數據或是結構化數據，利用分布式數據庫管理保存這些數據。分布式數據庫必須為每個數據集建立一個稀疏的、長期儲存的、多維度的映射表格。用戶將數據存儲在表格內部，在每一行里面都含有一個排序的主鍵以及任意多個數列。不過因為稀疏程度不同，在一張表格的內部每行數據都是不同列進行排列。例如對名字的格式定義為<族>和<標簽>，利用的都是字符串的基本結構模式，每一張數據表格都是具有一個合集，這樣合集模式不會改變，等同于關系表基本關系結構模型。但是label數值對所有行都能夠進行有效變更，通過改變表面結構來實現有關變化。

針對分布式數據庫來說，每一個關系表都擁有一個目錄，其對應的表數據文件都存儲在該目錄下，對文件的操作都屬于數據庫內部封閉操作，即我們能夠將每一行當作是一個原子元素，對所有元素都能夠實施加鎖。在更新每一個關系表的時候要標記好更新時間。在更新數據后會進行新版本的獲取，同時在數據內部還會留有原來版本，這樣的數值就是能夠以時間為依據來開始有關設置，比如說針對兩個最新的版本，或者就是要對近四天的版本進行保存。在客戶端能夠對距離某時間最近的版本進行選擇利用，或是對所有版本進行一次獲取。

如圖1所示，每一行的主鍵名是一個反向URL，例如cn.com.wanfangdata.g，在基本陣列族存放網頁內容，錨點列族存放網頁鏈接文本，例如wanfangdata的主頁被企業信息網（http：//www.ei86.net）的主頁所利用，因為該行含有名叫做“錨點：www.ei86.net”的列。對于每一個錨鏈只具有一個版本，利用的標記裝置為時間戳，比如具有t9以及t8等，但是對于內容表項，具有的版本可以多項化，例如圖1中劃分了三個時間戳，標記為t3、t5以及t6。

1.2分布式數據庫體系結構

在服務器所具備的體系結構中，需要以主從服務器具備的基本結構為依據，借助于服務器節點集群的資源，并通過Master來管理操作分布式數據庫。節點服務器所具備的主要功能是節點訪問模式，對于內部slave服務器節點，在主master服務器內會將這些節點進行同時注冊。此時若是主服務器出現故障，則會導致整個系統癱瘓，我們采用雙備份冗余機制來避免此類問題的發生。由主master服務器切換到從master服務器，并獲取slave服務器列表。節點同主服務器的關系保存在節點內部，其他類型節點被分配到不同服務器中。同時依據數據列表含有的特征函數，主服務器需要時刻感知節點所在位置，用戶可以在自己的客戶端上獲得相關節點的元數據信息和具體位置信息。云計算的數據表格與傳統關系數據庫存在非常大的不同，云計算屬于稀疏分布類型，其中存在的映射和排序非常多，而傳統關系數據庫則相反。所有以模式為基礎的映射數據庫僅能夠進行鍵-數據的映射模式的表示，這對數據庫的結構進行了極大簡化。

2數據的處理結構

在文件分布式存儲問題上面，利用并行數據處理引擎MapReduce軟件可以很好的解決這類問題，其可以對海量數據給予非常好的處理，并且根據編程模式，能夠有效處理大規模數據的并行運算過程。這種處理模式有著非常多的優點：

首先就是對容錯、并行處理模式的封裝，并且針對計算進行本地化的處理，使得那些比較小的節點也是可以獲得均衡的負載，同時在外部還具有強大功能的數據接口。然后就是擁有良好的通用性。最終使其能夠對很多不同問題給予有效解決。MapReduce實現的機制如圖2所示。

MapReduce的主要處理流程包括以下操作。其一是分割，首先把輸入文件切分成若干小份，數據塊大小為16M-4MB不等，其可以通過用戶設定的參數來獲得，集群能夠對有關操作進行實現，啟動集群內部大部分任務。第二就是能夠借助于Map/Reduce來對有關任務進行初始化并執行，在大部分執行程序中來進行管理主控程序的主機，其他部分中存在的工作機都是通過制定的模式完成的。對于主控程序來說，主要任務就是指派空閑的工作機來完成相關任務。其三為對程序的讀取，對于指派的Map任務來說讀取相關數據，在輸入數據內部獲得相關的數值，這些數值被用戶定義的Map函數處理之后被轉存到緩存區域。其四為本地寫入，針對向內存進行緩存的中間鍵值會以函數存在的周期特點為依據，分別放入R個不同區域，并且在本地磁盤之中進行寫入。第五為在遠端讀取，對于執行規約任務的工作機被通知這些鍵數值具體的位置之后，可以利用遠程控制的模式來獲得Map任務工作機里面具有的本地緩存的數據。第六位對文件數據給予傳輸，對Reduce工作的判別是通過其所有的中間數據來實現的，該中間數據借助于唯一一個中間關鍵字來同其所發送的關鍵字進行對應，并通過中間數值為Reduce函數進行定義。在完成Reduce任務以及Map任務后，在管理機構會執行有關程序，并向程序使用起點進行返回，接著開展前面的程序操作。

3.云存儲平臺的數據庫設計

3.1系統基本結構

依據云計算系統具有的基本結構，本文設計的云存儲平臺主要功能模塊以及基本結構如圖3所示。在這個結構里面，管理節點對所有子節點和用戶端關鍵信息進行存儲，主要包括文件塊信息、文件目標還有系統的元數據。客戶端發出對文件元數據的讀寫請求，管理節點接收到該指令后，會以請求的信息為依據讀取客戶端的數據信息并返回。在客戶端獲取到源文件數據后，便能夠在子節點連接所需數據，來實現數據的輸入和輸出，同時其還能對子節點以及節點間的聯系進行管理，保持暢通，在對數據進行輸入時，管理節點能夠借助于操作指令來降低子節點的資源占用率，子節點會向管理節點進行變更信息的返回。

對于文件的存儲組織模塊，利用的基本單元是數據塊。一個文件可以具有很多的塊，在每一個塊里面僅可對一個文件內容給予有效存儲，文件大小是64M。該種選擇存在很多優勢：首先可以減少訪問量，進而使得客戶端與管理節點之間的交互大大減少，同時如果用戶需要對同一個文件塊進行讀寫操作的時候只需要向客戶端管理節點提出請求，就可以完成相關的操作。其次，能夠有效降低網絡內部消化，能夠在對大文件持續訪問時，借助于保持節點數據TCP長連接來對網絡開銷給以有效降低，最終使得管理節點的管理得以減少。

3.2云計算中文件分布式存儲流程

在實現命令數據以及信息數據的傳輸的時候是要借助不同計算機進行的。命令數據的CMD作用主要就是有效管理節點以及子節點，借助于命令數據對其需要實現的任務進行判斷。信息數據系統可對每一個任務實現數據的拷貝，比如對文件信息部分以及具有的信息功能進行相關的描述，不過這些數據一般具有比較大的數據量。我們通過將計算遷移到存儲的方式，降低傳輸壓力，在系統中用戶文件數據的傳出是非常少的，這極大的提高了系統的運行效率。在進行文件的存儲的時候，系統應該先借助于客戶端同管理節點的連接對其含有的root.dat文件來說通過數據模式來讀取，提供給用戶的是有效節點位置的IP地址信息。在利用node.dat文件來獲得相關的位置信息，由于管理節點對子節點的IP地址列表來獲得相關的信息，利用上面具有的信息對多線程的數據進行啟動與連接等活動，同時還可以對這些數據進行分別存儲，最后最終對username表進行更新以此來在訪問過程中進行文件分布狀況的重新獲取。在某個節點上進行username文件的存儲，管理節點便以現存username文件的分布狀況為依據，將節點的IP地址分配給用戶來進行username文件的存放，文件名便成為用戶的用戶名，因為系統中用戶名具備唯一特性，因此所有的username都是唯一的，具體見圖4。

在圖4中，主要借助消息傳遞機制，利用基礎函數接口對MPI程序進行描述來完成為文件的并行寫入和分割，MPI程序能夠快速獲取機器名和進程標志，并對比較阻塞的信息進行傳遞，實現復雜數據結構的傳遞，以此來有效實現Map/Reduce并行計算功能。

4 結束語

本文針對在云計算環境下存在的文件管理以及數據存儲的安全模式進行深入研究，在對云計算服務進行有效利用的基礎上，對其優勢：高性能和低成本以及彈性計算和存儲能力給予充分發揮，使得云計算平臺中存在的成本較低和高速的數據存儲問題進行有效解決，針對存在的云儲存問題提出了一種靈活的解決方案。

參考文獻

[1] 王德文. 基于云計算的電力數據中心基礎架構及其關鍵技術[J]. 電力系統自動化，2012，v.36；No.48911：67-71，107.

[2] 曲朝陽，朱莉，張士林. 基于Hadoop的廣域測量系統數據處理[J]. 電力系統自動化，2013，v.37；No.50604：92-97.

[3] 王德政，申山宏，周寧寧. 云計算環境下的數據存儲[J]. 計算機技術與發展，2011，v.21；No.16804：81-84，89.

[4] 董浩浩，韓德志. 一種基于大數據處理的異構私有云系統[J]. 數學的實踐與認識，2014，v.4405：157-165.

[5] 費賢舉，王樹鋒. 基于云環境下的海量大數據存儲系統設計[J]. 計算機測量與控制，2014，v.22；No.19007：2259-2261，2273.