云計算環境下大規模圖數據處理技術研究

阜新市大數據管理中心 劉 沛

圖數據是一種在信息數據當中的重要組成部分，同時也能夠幫助形成較為抽象的數據結構，例如一些常規的線性語言，在其語言表達的過程中，如能夠結合圖形，也將更加復雜多變。伴隨著時代的發展與進步，使得圖數據的處理呈現處理大規模的特征，在相關處理技術的發展中，需要及時更新換代，這樣才可以進一步滿足時代的發展與進步。

1 云計算概念及特征

1.1 概念

云計算就是一種在當下互聯網技術的發展背景下，研發出的一種全新技術方式，基于互聯網上海量的數據信息，可以實現大數據的整合與分析。最早由美國IBM公司提出元計算理念，并將其應用在系統憑條上，滿足各種應用程序的計算需求。

1.2 特征

（1）虛擬化

用戶在使用的過程中，由于基于網絡環境當中，因此可以利用多種類型的工具，享受到云計算的服務，從而及時完成各種類型的計算任務。在當下云計算服務器的處理中，一般都是基于集群的方式，提供各種類型的服務項目。在處理的過程中，都是基于虛擬形式開展，因此并不會存在實體。

（2）通用性與可擴展性

在云計算當中往往有著大量的群集系統，因此在相同的平臺上，往往可以為用戶提供不同功能性的服務。在這樣的系統當中，實現了對特定應用的處理，同時也需要基于用戶的實際需求出發，充分的保障各種不同類型應用的運行中，可以同時進行處理。云計算群集處理過程中，也相應保障了搜索性能。其次，在云計算群集的處理中，系統能夠動態化的展現出不同的功能，因此即使應用的功能性比較大，系統仍然能夠充分發揮擴展性，為功能的實現提供保證。

（3）經濟性

當下應用云計算的過程中，首先需要結合起大量的計算機任務，因此這樣的群體計算規模往往有著較大的影響。在云計算服務的開展過程中，為了實現對數據以及信息的優化處理，有關人員需要基于谷歌的云計算方式，為用戶提供相關服務，可以在實際的運行過程中，為200萬臺計算機同時提供服務，甚至為其他服務商提供服務。在當下云計算群及服務器當中，所使用的不同設備成本都相對比較低，因此便可以保障計算機自身容錯能力的提升。在實際的運行過程中，往往能夠構建出較為低廉的服務，因此充分的發揮出了云計算的成本優勢性。

2 云計算技術

伴隨著科學技術的高速發展，使得在各行各業的發展中，信息技術都起到了較為重要的作用。其中計算機技術在實際的應用中，圖像是一種十分重要的數據信息，因此，務必提升對其圖像數據方面的處理能力，才能夠為工作人員提供更加全面具體的信息數據。本文的分析中，就圍繞著云計算環境下大規模圖數據處理技術進行詳細的研究與闡述。

2.1 海量分布式存儲技術

對于這種技術而言，就是一種在實際的運行過程中，使用分布式存儲技術的技術原理。在使用這樣的技術之后，就能全面的提升技術的準確性，同時發揮出經濟性的優勢。在應用中，利用了各種先進的新型軟件，以此避免受到傳統硬件能力不足的相關問題。云計算系統當中的用戶，由于用戶群體規模比較大，使得在數據處理中，面臨著較大的壓力。用戶數據傳輸的過程中的速率方面提出了更多的要求。只有保障全面的提升數據存儲的水平，才可以為各種用戶提供各種不同的服務。

2.2 數據管理技術

在當下云計算的過程中，需要及時完成用戶提交的計算任務。其中，元計算的數據管理過程中，要全面的結合其大數據的相關技術，進而全面的提升數據的管理能力。另一方面，還需要結合起數據當中用戶所需要的常用數據信息，實現高效率的數據處理。云計算數據管理的過程中，所經常使用的兩個不同的軟件，但是在使用哈希算法的過程中，其實際的超塊換分算法中，會比拓撲優化程度較高。

2.3 并行編程模式

當下云計算用戶較多，因此在實際的操作過程中，就會使得會同時提交大量的數據信息，使得云計算的過程中，其編程模型有著較為復雜的運算，同時還需要對調度任務進行針對性的執行分析。在進行處理的過程中，就需要充分的利用云計算的資源，使得可以在數據方面達到簡化流程的目的。在數據的編程的過程中，就需要采用更多針對性的解決方式，以此發揮出自身的成本優勢。

3 云計算環境下的大規模圖數據處理技術

圖是一種非線性的數據結構，因此在實際的應用過程中，往往會出現多堆垛的結構類型。而在圖數據當中，不同的元素當中，往往有著多個不同的效果，特別是在處理的過程中，不同的元素當中都有著較高的處理效果。同時，數據處理過程中，其表達的含義方面也有著較為明顯的處理效果。圖數據的處理量較大，因此，在進行全面的大規模圖數據處理的過程中，就會凸顯出一定的技術局限性。為了滿足在當下進行處理的過程中，可以滿足當下信息化時代的發展需求，就需要充分的完善當下圖數據的處理平臺。

3.1 云計算圖數據存儲方式

當下在對海量的數據信息進行分析與研究后，一般情況下都需要采用單圖數據模型，以及采用超圖數據模型，基于不同的模型，就需要實現針對性的處理。對于這兩種存儲方式而言，往往存在著一定的差異性。其次，云計算分布式的數據分析中，就需要實現針對性的模型構建，其模型要有著較高的靈活性，保持較高的存儲水平。

3.2 云計算圖數據分割

在實現條數據的大規模的處理環節，往往要首先進行分布式的處理。為了全面的保障圖數據的處理效率。就需要在各個圖形之間的耦合度，都能夠得到有效的降低。因此，在對圖進行分割的過程中，還需要對分析圖進行全面的邏輯結構分析，進而充分的保障能夠實現結構性方面的良好分析，之后在對每一個子系統，進行針對性的計算與分析。在這樣的環節中，還需要對大圖進行針對性的分割處理，盡管全面的結合其圖規模與均衡性，這樣就可以保障圖內部的整體連貫性。

3.3 云計算圖數據計算模型

當下在云計算的過程中，其使用最為廣泛的模型，基本上采用的是Map Eeduce，以及采用BSP模型。

首先對于Map Eeduce模型（圖1）而言，jushi基于獨立的單元進行詳細分析，此外，也可以同時處理多個分析內容。在實際的作業階段，基本上也分為兩種不同的階段，首先需要對任務進行科學合理的分配，之后再與相應數據進行合理的計算分析，最后對Key值進行輸出。這樣的結果下，使得可以將得到的數據信息輸入到系統當中，并將其反饋到任務欄中。其次，在第二個階段當中，每一個階段都需要進行聚集的處理，因此就可以在進行處理的過程中，及時得到妥善處理。其次，在處理中需要對獲取數據結果，進行數據方面的及時保存，因此在其分布式的文件系統當中，有著大量的數據出現。

圖1 Map Eeduce模型

而采用了BSP模型當中，在執行了消息通信的各項操作中，可以避免出現死鎖的問題，因此也保障避免數據計算方面的良好分析。在長期的使用過程中，對于該技術還需要進行更加全面的分析與處理。

3.4 圖數據查詢

在當下云計算的過程中，其實現大規模的圖數據處理，主要是利用主動遍歷模式的方式，以及采用被動遍歷模式，進行針對性的操作分析。而在主動的遍歷模式當中，其普適性能有著較高的可靠性，特別是在處理的過程中，其需要進行針對性的處理，特別是在一些特殊的應用中，則需要使用查詢功能，保障功能并不會出現浪費的問題。另一方面，在處理函數的過程中，也并不需要進行針對性的調節，因此這樣的計算模式下，可以降低定點的調用效果，從而使得資源可以得到全面節約。

總結：綜上所述，為了順應信息技術的高速發展，使得在處理的過程中，為了能夠實現對圖數據的良好處理，就要保障在實際的處理中，能夠有效的提升查詢當中的處理效果，同時在資源方面避免出現浪費的問題，并提升技術的實用性與效率性，最大程度上提升技術優勢。