云計算在大數據中心建設的研究與應用

張占昭，王玉紅

(1.承德石油高等專科學校 計算機與信息工程系，河北 承德 067000；2.解放軍第266醫院，河北 承德 067000)

?

云計算在大數據中心建設的研究與應用

張占昭1，王玉紅2

(1.承德石油高等專科學校 計算機與信息工程系，河北 承德 067000；2.解放軍第266醫院，河北 承德 067000)

分析了云計算技術的原理和優越性以及當前面臨的主要技術問題，從“云數據中心”的角度，給出云計算技術下大數據中心建設的建構方案，并在應用方面如虛擬計算、虛擬存儲、虛擬網絡、虛擬服務、虛擬安全等方面進行了詳細的闡述，重點描述了虛擬存儲技術里的改進LRU算法。

云計算；數據中心；私有云

隨著國內外在云計算技術方面的不斷研究和應用，云計算技術日趨成熟，與此同時，2016年，承德成功承接了“國家綠色大數據中心”建設的任務，任務的核心內容之一是建立一流的大數據中心，并且把云計算技術作為大數據中心建設的關鍵技術，因此需要對云計算技術進行不斷的創新。

1 云計算和大數據中心

1.1 二者之間的關系

大數據中心如何根據需求對計算機及存儲系統進行訪問以及按需要自由轉換到實際應用上是新一代大數據中心建設的關鍵所在，而云計算的核心旨在將大量離散的計算機和服務器資源有效整合以實現高效的計算，這樣我們就可以將云計算運用到大數據中心建設中去，使得大數據中心的運行像互聯網一樣，從根本上解決新一代大數據中心的關鍵問題。基于云計算的大數據中心可以讓數據更安全可靠、數據共享更輕松、客戶端需求更低、網絡資源使用提供更多可能。

1.2 云計算相關技術

依據提供云服務的對象范圍大小不同，我們可以將云計算大致分成公有云、私有云、混合云。公有云即互聯網上的；私有云即私有環境中的，如政府機關、高校、企業等。云計算從面相服務的方面最大化的實現了資源的共享以及資源的重復利用，從而達到IT資源的按需分配，具體技術包括資源高度整合技術、資源虛擬化技術、智能決策技術等，其中虛擬化技術是核心技術，特別是在基于私有云的大數據中心建設中起著至關重要的作用。虛擬化技術的核心是將計算機硬件以及底層設備進行直接或者間接虛擬(系統管理程序)，從另一個角度也可以理解為對硬件平臺和操作系統的虛擬抽象。而間接虛擬中的系統管理程序某種程度上就是操作系統(如Linux)，它的客戶端即虛擬機。虛擬化技術可以大大提高資源的利用率、數據整合效率，帶來節能減排的效果。

2 基于云計算的大數據中心解決方案

基于云計算的大數據中心設計思路采用“虛擬化”的概念設計整個軟件和硬件系統，將云計算的大數據中心分為虛擬計算、虛擬存儲、虛擬網絡、虛擬服務、虛擬安全五部分，每個部分所涉及的資源可以根據實際需求動態的調整，采用支持云計算的操作系統來架構整個信息系統，可以提高系統實施的效率，為以后系統的擴展提供足夠的伸縮性，以云計算為基礎的開發平臺還可以降低運維成本(大數據中心的成本主要是能源消耗)、將資源虛擬化后隨意共享(云計算的核心是利用虛擬化技術將數據中心的資源轉換成隨意取用的共享資源)、提高數據中心的利用效率，從而達到大數據中心的靈活性和安全性。

2.1 虛擬計算

虛擬計算利用物理資源如服務器、網絡、存儲系統虛擬為超級計算機，將每個單一的性能模塊轉變為虛擬的整體性能，提高物理設備的實用性和整合性。服務器虛擬化利用VMware軟件(vSphere 和 view)，在服務器硬件設備上運行UCS能將計算、存儲等操作整合到一個綜合平臺上。這樣一來，利用虛擬化軟件的功能就能保證不停機，為應用系統的實時性提供保障；利用UCS就是能夠消除人工計算；利用無狀態計算技術實現物理設備的隨意遷移，使大數據中心的管理更加靈活以及虛擬服務器的使用更加安全。

2.2 虛擬存儲

數據存儲的關鍵是如何架構網絡化存儲，從而實現數據的統一存儲，虛擬存儲技術可以真正解決數據存儲這一關鍵問題，它的本質是通過網絡協議建設一個可以供服務器使用的支持數據、文件、數據塊等的網絡存儲結構。虛擬存儲不僅具有提升數據中心存儲容量、提高數據的利用效率、存儲方式靈活以及可以為服務器虛擬化提供保障等特點，而且還具備解決大數據中心的性能瓶頸問題、統一存儲服務(真正實現整體存儲)、存儲速度和性能等方面的優勢。

在虛擬存儲中的實際應用當中，算法起著至關重要的作用，其中常見的有OPT、LFU、FIFO、LRU等，每種算法都有其自身的優點，但是每種又有其不足之處，下面介紹一種改進的LRU算法，力求在原有算法基礎上進一步提升存儲的時間和空間。

傳統的LRU算法(最近最少使用算法)思想是離節點最近并且沒有使用的時間最長的頁面首先刪除，實際操作是將每個頁面號初始化放在棧里，當有新的訪問時，新訪問指向的頁面號不斷進入棧頂，沒有被訪問的頁面號進入棧底，隨著新訪問不斷地增加，最終導致由于容量不夠，棧最底的頁面號被刪除。

舉例：e,h,a,h,b,a,b,c,b,c,g

結果： e

e h

e h a

e a h

e a h b

e h b a

e h a b

e h a b c

e h a c b

e h a b c

h a b c g

通過實例我們可以看出傳統LRU算法會帶來兩個比較嚴重的問題：其一由于每個訪問都會帶來棧或者鏈表的變動，因此實現并發訪問將十分困難，甚至會遇到瓶頸；其二LRU算法不能準確地衡量到底是哪個頁面最近是被訪問的，遇到特殊操作情況時如重復性頁面訪問和突發性頁面訪問時會帶來命中率不高，甚至下降嚴重的問題。

針對傳統LRU算法所帶來的兩個問題，改進的LRU算法思想是將經常訪問的頁面標記為熱點頁面，將不經常訪問的頁面標記成冰點頁面，劃分熱點和冰點的訪問次數一般定為大于等于2。這樣一來既可以有效保留訪問次數較多的頁面，還可以提高刪除訪問較少頁面的速度，進而提升命中率。如表1所示：

表1 熱點、冰點表

熱點 冰點

abcdefghij

在表1中，其中a,b,c,d,e為熱點元素，f,g,h,i,j為冰點元素，實際操作過程中：添加時如果空間不滿則直接插入熱點端即可，如果空間滿則刪除后添加在冰點端即可；刪除時從冰點端開始判斷，如果大于等于2則移動到熱點端(清零后移動)，如果判斷結果為1或者0則直接刪除；由于是計數訪問，保證了其并發性，提高了效率。測試結果如表2所示：

表2 測試結果

從測試結果中可以看出，改進LRU算法較傳統LRU算法各個方面都有了較大的提升。

2.3 虛擬網絡

網絡虛擬技術核心的工作是將分散的各種形態的網絡進行統一架構，從技術上能夠實現讓網絡的速度更快、延時更低、帶寬更高、管理更方便等優勢，并且能最大限度的降低網絡建設成本以及優化網絡結構。虛擬網絡技術包括虛擬設備系統技術、虛擬端口通道技術、覆蓋傳輸虛擬化技術等。

2.4 虛擬安全及服務

在云計算時代進行網絡架構，硬件都進行了不同程度虛擬化，如果仍然按照原有的方案進行安全架構，將會出現大量的安全漏洞，進而影響大數據中心的性能和效率。從服務器及應用程序層面上要求其自身有自動防御能力的安全策略；從技術層面上為了能讓數據安全可靠，應采用可靠的數據刪除技術以及容災技術。

3 結語

總之，采用云計算機技術進行大數據中心建設，可以充分利用硬件資源，更好的提高硬件資源的效率，減少硬件投資成本，同時云計算技術的大量應用使得大數據中心無論從數據的備份、刪除、更新，還是整個應用系統的架構及恢復都十分的高效快捷，從而提升了大數據中心應用系統的性能。

[1] 楊靜.面向云計算的虛擬機動態遷移關鍵技術及優化[D].長沙：中南大學 ，2012.

[2] 程國江.云計算簡介及應用前景[J].中國新技術新產品，2013(8): 23-24.

[3] 林秀.虛擬化技術在企業數據中心中的應用[J].電信快報，2011(5):9-11.

[4] 王學軍. 數據挖掘聚類算法在斜井抽油扶正器設計中的應用[J].承德石油高等專科學校學報，2013，15(2):20-23.

Research and Application of Cloud Computing in Construction of Large Data Center

ZHANG Zhan-zhao1, WANG Yu-hong2

(1.Department of Computer and Information Engineering, Chengde Petroleum College, Chengde 067000, Hebei, China； 2.No.266 Hospital of PLA, Chengde 067000, Hebei, China)

This paper analyzes the principle and advantages of cloud computing technology and main technical problems from the “cloud data center” perspective, provides the construction scheme of large computing data center construction technology under the cloud, explains applications such as virtual computing, virtual memory, virtual network, virtual services, security and other aspects in detail, and describes the improvement of LRU algorithm in virtual storage technology.

cloud computing; data center; private cloud

2016年度承德市社會科學發展研究課題(基于云計算的承德大數據中心建設研究)：Z20162020

2016-05-01

張占昭(1978-)，男，河北保定人，承德石油高等專科學校計算機與信息工程系講師，碩士，主要研究方向為物聯網技術、嵌入式系統。

TP308

B

1008-9446(2016)05-0052-04