大數據應用在云計算平臺的優化部署與調度策略研究

曾怡

摘要：隨著科技的發展與社會進步，大數據應用越來越廣泛，與各行各業緊密結合，成為當代社會不可缺少的組成部分。近年來，基于云計算平臺的大數據運用在資源配置層面實現了靈活性的有效提升，在進行大數據應用過程中，云計算平臺能夠根據大數據對平臺的需求變化做出相應反映，同時，云服務下的收費大多以“按需獲取”的模式進行，符合現代社會用戶消費模式，尤其對于中小規模的用戶，這一業務方式格外適用。應當注意的是，基于云計算平臺的大數據運用也有著一些問題，大數據在云計算平臺的性能即是其中較為核心的問題之一。文章以大數據在云計算平臺的性能為核心展開探討，對大數據進行分層優化與調度進行深入研究，并提出相應的優化部署與調度策略。

關鍵詞：大數據；云計算平臺；優化

1 大數據與云計算平臺

伴隨著互聯網的興起與廣泛運用，21世紀進入了信息化時代，以社交網絡、電子商務等一系列互聯網技術與應用的普及，相應數據的處理與整合成為數據處理與應用亟待解決的問題。多樣化的應用伴隨而來的即是數據在規模與種類的飛速增長，數據處理及分析技術的改進勢在必行。因而，各類大數據處理框架的開發與應用層出不窮，在一定程度上提高了對數據處理的效率，緩解了數據處理的壓力。但這些數據處理框架往往對相應的軟硬件要求較高，需要相應規模的計算機集群予以支持，這就對一些規模較小、資源有限的用戶造成的一定困難。

為了解決這一問題，云計算平臺為廣大用戶提出了一個最為經濟、適用性最廣的進行大數據應用的基礎性平臺。云計算平臺主要是以服務為主，面向用戶提供計算資源與計算功能，可以實現用戶的“按需訪問”，并以“按需付費”的業務模式進行，很大程度上同時解決了用戶對資源的需求與硬件要求的矛盾。云計算平臺可以實現大數據應用的遷移，彌補了傳統大數據應用的運行缺陷：在技術層面上，云計算平臺基于虛擬化技術，一方面，降低了大數據處理在軟硬件的要求與成本投入，另一方面，云計算平臺將地層平臺資源與上層應用服務進行一定程度的耦合，提高了云計算平臺中的資源調度的靈活性，在滿足用戶需求方面有著更大的空間；在業務模式上，云計算平臺作為第三方，將大數據應用進行集中化，并提供專業的服務、維護與管理，以服務向用戶收取費用，在這一業務運行模式下，用戶無需對大數據應用進行維護與管理，只需按照自己的目的在云計算平臺上接受服務，降低了用戶成本，提高了用戶的可用資源范圍。

2 大數據應用在云計算平臺的優化部署與調度策略研究

1.1 資源層優化部署策略研究

在資源層優化過程中，主要是針對云計算平臺上虛擬計算資源性能的優化。在實際操作中，由于優化目標的差異，優化部署也不盡相同。從整體上看，主要可分為兩類優化部署。其一是對虛擬集群通信性能進行優化，這一優化目標在于實現不同的虛擬機之間數據傳輸效率的提高；其二是以虛擬集群計算性能為核心的優化部署，其目標在對針對各個獨立的虛擬機的數據處理性能的提升。

（1）資源層通信性能優化部署

在資源層通信性能優化中，主要針對云計算平臺的數據通信性能進行，具體來說是針對云計算平臺中的各項網絡資源的配置、計算節點等的優化部署，其最終目的旨在實現云計算平臺的虛擬集群的通信性能，優化內容主要是數據在虛擬機之間的傳輸時間。在傳統的資源層分配中，虛擬機之間的通信耗時并不在研究范圍之內，但在逐漸發展過程中，這一因素被加入其中并進行深入研究。例如，M.Li等人在研究MapReduce應用過程中，就數據本地化與任務本地化問題，對云計算平臺數據節點、計算節點的部署與優化，設計出CAM這一基于MapReduce應用的優化部署策略。

（2）資源層計算性能優化部署

在資源層計算性能優化部署策略研究過程中，由于大數據作業框架及相關應用的差異及特性，在優化過程中，對云計算平臺的虛擬機優化配置、位置部署、虛擬機群規模等參數差異較大，最終也是根據云計算平臺的服務需要進行。

具體來說，是針對云計算平臺上虛擬機分配、分布，虛擬計算節點與數據節點的位置等參數進行優化，以此達到資源層優化的最終目的。但就目前的優化部署來看，存在一定的缺陷。首先，資源層的優化部署目的明確，但過程過于片面化，僅僅局限于計算集群的計算性能與通信新能，而忽略了優化部署策略對整個云計算平臺中大數據應用的影響，例如，是否會造成目前數據處理與傳輸需求的效率的降低問題。事實上，大數據應用在云計算平臺上的優化并非是區域性的，而是會造成連鎖反應進而影響全局，因此，片面地進行優化部署大多是不適用于整體性能優化的。其次，優化過程中成本問題的考量存在缺陷。

1.2 平臺層優化部署策略研究

平臺層的部署重點在于在云計算平臺下，將不同的軟件應用的鏡像部署其中，并在資源層部署的基礎上，將虛擬資源合理分配，共同形成能夠執行特定任務的虛擬平臺。在針對平臺層進行優化部署的過程中，研究重點在于應用副本的優化部署策略。大體上看，部署模式存在差異，導致優化部署策略主要分為兩個方向，分別為針對本地計算節點的優化與存儲平臺的優化。

（1）本地計算節點優化部署策略

在本地計算節點應用部署模式下，應用副本將被直接整合進入虛擬鏡像，跟隨虛擬機的工作進行相應的作業。在這一部署模式下，其優化重點在于針對軟件應用的邏輯架構進行，應用組件的差異將導致與計算平臺優化部署的不同，以此提高不同組件的優化效果及最終的可靠性。

（2）存儲平臺優化部署策略

在存儲平臺優化部署過程中，將以獨立的應用副本在不同的存儲技術構件下的云計算平臺的優化為重點進行優化部署策略的制定。在這一部署模式下進行的優化，虛擬機可實現對相同應用的重復執行，只需將應用副本掛載至現有的虛擬機即可，提高了執行方式的靈活性，同時也提高了虛擬機作業的效率。

1.3 作業層調度策略研究

作業層的調度策略并非是對單作業執行方式的考量，而是需要對多作業性能的綜合性優化，在多作業請求的場景下綜合考慮相關應用及云計算平臺的需求與特性，調度策略更加具有綜合性，對多作業模式下的作業請求的執行順序與分流方式進行合理規劃，其目的在于從整體上提高作業流的效率與整體性能。目前，作業調度策略主要針對作業請求的執行順序與分配策略兩方面進行優化。二者在進行調度程度過程中，其優化目標所設定的參數各不相同，能夠在一定程度上實現優化，但也存在一些不足。目前，作業層調度策略的優化缺乏兩階段調度共同優化理念，往往僅僅針對某一階段設計優化，也因此導致作業調度性能的整體評估無法進行。因此，在進行作業層調度策略優化時，應當考慮其在不同場景下的兩階段組合調度策略的最優化選擇。

3 結語

綜上所述，基于云計算平臺的大數據應用日益廣泛，并將在未來的更多領域中起到重要作用，但就目前應用情況看，仍舊存在一些問題亟待解決。文章以大數據應用在云計算平臺的優化為核心展開，探討了大數據應用在云計算平臺中資源層、平臺層及作業層的優化問題及相關的一些建議，基于此旨在為我國未來云計算平臺上大數據應用的優化提供些許參考。

參考文獻

[1]徐聰.大數據應用在云計算平臺的優化部署與調度策略研究[D].清華大學，2015.

[2]王寧.云計算環境下數據管理與任務調度優化策略研究[D].北京科技大學，2015.

[3]郭力爭.云計算環境下資源部署與任務調度研究[D].東華大學，2015.endprint