大型數據中心中云計算技術的實現原理及應用

徐詠綺

（俐奧特（上海）商務咨詢有限公司，上海 200000）

計算機技術和互聯網技術在快速發展的過程中，大數據技術和云計算技術隨之產生，尤其是在進入到數據信息化時代以后，大數據技術在人們日常生產和生活中發揮出了重要的作用。隨著云計算技術的不斷成熟，各行各業對云計算技術的研究更加深入。在建設大型數據中心的過程中，使用的核心技術為云計算技術，實現了云計算技術的改革與創新，深度挖掘大數據技術的潛在價值，為人類社會進步作出了突出的貢獻。

1.云計算技術

在互聯網平臺上新增加的交互模式為云計算技術，云計算技術的虛擬化資源以網絡動態拓展為依托，網絡和互聯網被比喻為云。云服務被劃分多種類型，分別為混合云、私有云和公有云等，公有云主要是指公共網的整體和整個互聯網；私有云指的是私有的網絡信息環境，最為常見的有政府或者是企業的信息集；混合云將私有云和公有云集合在一起。在使用云計算技術以后，資源再利用和信息共享成為可能，IT結構變得更加優化，加快了職能決策技術、虛擬技術和資源整合技術的發展速度。云計算技術的核心為虛擬技術，在數據處理和數據挖掘的過程中發揮了重要的作用。

云計算的主要特征是“云”，具有大規模的特征。云計算支持用戶在任何位置使用各種終端獲取應用服務，請求的資源來自“云”。多副本數據容錯、計算節點同構可互換等措施保證服務，比使用本地計算機更可靠，它支持多個不同類型的應用程序同時運行，具有通用性的特點，并具有很高的可擴展性，以滿足應用程序的擴展和用戶的增加。用戶按需購買服務，節省了軟件和硬件的早期投資，用戶獲得低成本、高自動化服務，節能環保，接受“云” 另一端最專業團隊的管理、運維服務。

2.大型數據中心和云計算間的關系

在建設大型數據中心時，其最終的目標為以信息存儲系統和用戶需求為依托完成訪問任務，使應用和切換變得更加自由，快速提升數據的使用效率和挖掘效率，這就是大型數據中心建設的核心內容。云計算技術利用服務器和計算機完成海量數據信息的高效整合，使數據信息的計算效率發生根本性的改變。在建設大型數據中心的過程中，使用云計算技術以后功能變得更加強大，大型數據中心能夠像互聯網一樣完成信息資源的自由搜尋，使得大型數據中心建設過程中遇到的各類問題迎刃而解。將云計算技術融入大型數據中心建設中以后，大數據系統的數據共享速度變得更快，安全級別也更高，同時也會使網絡資源的使用效率變得更加快速，對客戶端的要求隨之下降。

3.大型數據中心建設中使用云計算技術

3.1 虛擬計算與存儲模塊

虛擬計算模塊能夠使功能模塊高效地轉化成為虛擬網絡，充分發揮超級計算機、網絡、存儲和服務器的各項功能，使得物流設備資源的利用效率和整合速度變得更加強大。虛擬化服務器使用的主要軟件類型為VM ware軟件，UCS在硬件系統中運行，將計算機的計算功能和存儲功能高效整合到虛擬平臺里，利用虛擬化的軟件平臺，真正實現不停機操作使系統運行的實時性得到保證。使用UCS能夠將人為因素的影響降到最低，無狀態計算機技術能夠隨時遷移物理設備，使大型數據中心管理變得更加便捷，虛擬服務器的使用安全也得到了保證。

所謂虛擬存儲以云存儲的存儲方案為依據，使得數據信息資源的統一存儲變成可能，使用虛擬存儲技術以后，物理存儲的弊端被高效的解決，超大容量的存儲成為可能，如果條件允許，無限存儲也會存在。以網絡協議為依托，創建能夠被服務器調用的存儲網絡架構，使數據信息的存儲功能得以實現。在虛擬存儲系統里，算法占據著核心位置，主流算法包含的具體形式有FIFO、LRU、LFU、OPT等，不同算法的優勢和劣勢也存在著很大的差別，本文對LRU算法設計工作給予了重點的論述，以原有算法為基礎，優化升級了數據存儲的效率和空間。對于傳統的LRU算法來說，其機理為距離節點比較近，長時間頁面的先刪除被省略，在操作的過程中，初始化頁面以后，能夠實現快速的存儲，假如出現了新的訪問需求， 能夠直接對棧頂進行訪問，沒有被訪問的則會直接移動到棧底。隨著訪問量的不斷增加，會有容量不足的情況發生，棧底信號會出現被刪除的情況。在LRU實現升級改造以后，高頻率訪問的頁面會被標記成為熱點頁面，那些長時間沒有人訪問的頁面則會成為冰點頁面，顯著提升了運行的實效性。

3.2 虛擬網絡及安全服務

虛擬網絡能夠使分散的網絡架構被重新的整合到一個全新的網絡架構里，使信息的操作效率和信息的共享率得到明顯提高。從技術層面分析，使用虛擬網絡以后，網絡的運行速度變得更加快捷，將大數據中心建設成本投入控制到最低，優化升級原有網絡資源。虛擬技術包含的內容比較多，最核心的內容為虛擬傳輸、虛擬端口通道和虛擬設備系統等，這也是大型數據中心通信模塊的核心內容[1]。在大型數據中心建設的過程中，使用云計算技術以后，其網絡架構真正實現了不同程度的虛擬化。在對大型數據中心性能進行衡量時，不再使用硬件這一標準進行衡量，需要從多個方面著手。假如仍然使用以硬件為基礎的安全架構模式，網絡安全漏洞就會隨之產生，給大型數據中心的安全性和運行效率造成不同程度的影響。從應用層面和服務器的角度分析，在互聯網中，虛擬安全與服務的安全功能和防御策略最先進，利用虛擬技術使得大型數據中心變得更加安全、可靠。

4.大型數據中心中云計算技術的實現原理

4.1 云架構建設

銀行信息服務需求對云架構起到了強有力的推動作用，使用冗余、并行等模式，使系統的可靠性和安全性得到快速提升。在使用彈性云以后，資源分配能夠對數據處理需求進行實時的滿足，對系統負載動態變化進行了最大程度的適應，使得IT基礎架構的可擴展性得以實現。云管理包含的內容非常多，比如應急處置、風險防控、資源分配以及運行維護等，使得投入產出比變得更加合理、科學。

（1）云服務平臺。云架構作為數據處理環境，其具有較強的基礎性和統一性。某中資商業銀行數據中心對行內外業務數據資源進行了高效的整合，積極開展企業級數據模型設計工作，使得平行可拓展的云服務平臺得以構建。云服務平臺主要包含3個層次的內容，分別為應用服務層、平臺服務層和基礎設施服務層等。基礎設施服務層將管理功能組件和硬件資源進行了高效的集合，通過虛擬化技術對集群、存儲和網絡等資源進行抽象，使得內部資源管理自動化得以真正的實現。平臺服務層處于應用服務層和基礎設施服務層的中間，具有可復用性和通用性的軟件資源全部集中于此，使云應用的開發、運行、管理和監控等平臺環境得以保證。應用服務層處于平臺服務層和基礎設施服務層的上面，對云架構中的應用軟件進行了高效的集合，利用網絡資源對用戶提出的所有應用服務需求進行滿足。云服務平臺對Hadoop平臺、海量并行計算、開放式PC Server集群等技術進行了充分的利用，使基礎環境變得更加高效、穩定，使得IT基礎架構變得更加靈活、易于拓展和低成本投入[2]。云服務平臺的基礎為數據架構，將數據整合和數據覆蓋進行全包含。從數據覆蓋的角度分析，將某中資商業銀行所有的應用系統和行外數據信息進行了全部覆蓋，使得數據的集中存放成為可能。從數據整合的角度分析，在高效的整合內外各類數據以后，使得設計數據模型描述的內容變得更加清晰，為后續的數據信息管理、使用和存儲提供便利。

（2）核心技術。云服務平臺在構建基礎環境時，使用的主要技術類型為大規模分布式存儲、海量數據處理、并行部署和虛擬化等，使得基礎環境便于管理，顯著提升了其擴展性和可靠性。

1）虛擬化。云計算技術的核心特點為虛擬化，實現對物理資源的高效整合與劃分。某中資商業銀行數據中心抽取的數據作用量能夠達到8萬多個，作業間的關系非常復雜。云服務平臺在使用虛擬化技術以后，對物理資源實現了高效的整合和靈活的調配，使作業監控和調度得到不斷地增強，數據并發處理效率發生了明顯的提升，使得云服務平臺的運行變得更加平穩和安全。

2）并行部署。隨著物理資源的不斷吃緊，并行部署技術也顯得格外的重要。云服務平臺在使用并行部署技術以后，對以往使用的串行部署方式進行了有效的改變，使其改變成為并行部署方式，完成對多個部署任務的執行，在多個物理機上完成虛擬機的有效部署，將部署所需時間降到最低，顯著提升部署過程的速度[3]。

3）海量數據處理。在處理海量數據信息時，使用由眾多PC服務器構成的集群來高效的處理海量數據信息，這也是整個行業中普遍存在的問題。某中，資商業銀行在使用Map Reduce編程模型和Hadoop集群以后，并行處理大量的數據信息資源，Task Tracker和Job Tracker共同構成了Map Reduce編程模型，一個任務被分解成為多個能夠單獨執行的任務，以各個計算節點的處理能力為核心，在多個服務器集群上并行處理分配的各項任務，將整個任務的完成時間縮減到最短。

4）大規模分布式存儲技術。云服務平臺在存儲數據信息資源時，使用的服務器數量比較多，將Hadoop分布式文件系統（HDFS）部署在底層，實現了統一管理和抽象表示。分布式文件系統在通用硬件上運行以后，在HDFS易拓展性和高容錯率的影響下，能夠在上千個服務器集群上發揮出積極的促進作用，數據信息資源的高速輸入輸出得以真正的實現。

4.2 云服務平臺運維管理

某中資商業銀行數據中心從實際需求的角度出發，在保證系統穩定運行的情況下，增強動態資源優化管理、創建集中監控系統和集中運維管理平臺以后，使基礎架構的精細化、自動化管理水平得到顯著的提升，并使整個系統的風險費防范能力和實時報警功能變得更加強大。

（1）高效管理。創建集中運維管理平臺以后，各類資源的自動備份和配置部署得以真正的實現，在與數據中心管理程序協同運轉時，集群內部管理模塊發揮出了積極的促進作用，集群的資源調整、節點啟停和實時遷移得以高效的實現。集中運維管理平臺使用增量備份與全量備份、虛擬集群外部備份與內部備份等相結合的方式，高效的處理了Hadoop分布式文件系統（HDFS）數據備份時遇到的各類復雜問題，將備份時間縮減到最短，節省了大量的存儲空間，從而使運維管理的效率發生了明顯的提升[4]。

（2）集中監控。積極創建高效的集中監控系統，對開發的接口規范進行不斷地明確，使網絡、應用和系統等集成得以實現，對代碼質量和系統運行結構進行優化升級，使得集中監控系統運行的可靠性和穩定性得到快速的提升。使用功能全面、自動高效的監控工具，集中監控全行各類數據信息資源，并對作業流程和運行狀態進行高效的管理。

（3）動態優化。做好云平臺資源全生命周期管理工作，科學分析和整合各類數據資源，使其與實際的需求保持高度的統一。以業務需求和服務級別目標為依托，做好資源優化配置工作，顯著提升云服務平臺的綜合實力。對今后云計算技術的發展方向進行預測和分析，做好數據資源的動態調整工作，在確保系統有序運行的背景下，對客戶的體驗感進行不斷提升，使得各類資源的集中、統一管理得以真正的實現。

5.云計算應用的思考

云計算強大的計算能力解決了很多問題，能夠真正存儲和處理海量數據資源。但是，實際上，如何在計算分布式環境中設計正確的大規模數據模擬器仍然是一個很大的問題。合理地平衡使用資源是必要的，并且具有高效率，安全性和數據庫可靠性。當人們想要充分利用 云計算技術來幫助解決一些其他傳統IT方法無法解決的問題時，還需要考慮產品和服務的兩個出發點，深入思考產品設計和不同地區的差異，想想自己的服務可能的優勢和劣勢，以及如何通過自己的創新，各種層次的產品和服務來構建不同的規模。如今，云計算的安全性已被研究和討論。安全性不僅是一個單獨的概念，而且還需要在平臺運行時得到補充和解決。對于 “云計算” 來說，安全性和可靠性是平臺正常運行的基礎，這需要大量的實際研究和工作來證明。當前，要進一步深化對網絡虛擬化的探索和研究，學習和運用網絡虛擬化的相關技術，正確地將網絡虛擬化應用于云計算服務，正確認識云計算網絡虛擬化的各種特點和優勢。

6.結語

在建設大型數據中心的過程中，云計算技術發揮著至關重要的作用，使得硬件資源的使用效率發生明顯的改變，同時將成本投入控制到最低，顯著提升運行效能。在使用云計算技術以后，大型數據中心的所有性能都發生了明顯的改變，數據共享、更新、備份等功能也隨之發生了明顯的變化，促使大型數據中心架構朝著更加便捷、高效的方向發展。