云計算環境下大規模圖數據處理技術的相關思考

劉 磊

（連云港市人力資源和社會保障局，江蘇 連云港 222006）

圖數據是計算機科學中最為常見的一種抽象數據類型，內容復雜，表述能力強，而且需要處理的元素多，難度高。尤其是在現如今的大數據時代，各種圖數據層出不窮，其中包含眾多無效數據，形成了大規模的圖數據資源。為了高效、準確地進行圖數據處理，必須對圖數據處理技術進行創新與優化。云計算環境下，給圖數據處理技術的應用提供了更多的便利條件，同時帶來了技術的優化，很大程度上提高了處理技術應用有效性，在大規模圖數據處理中發揮出更好的作用。

1 云計算及圖數據

“云計算”又稱“網格計算”，是對復雜計算過程進行分布式分解，解決任務分發，再將計算結果進行合并，得到最終的計算結果。云計算與傳統的網絡應用模式進行比較，應用優勢包括虛擬化技術、動態可擴展、靈活性高、可靠性高、按需部署、可擴展性及性價比高等優勢與特點[1]。云計算可以提供基礎設施即服務、平臺即服務以及軟件即服務三類服務類型，通過體系結構、資源監控、自動化部署等關鍵技術實現計算過程。云計算的框架以及應用過程需要依托先進互聯網技術，形式眾多，主要包括網絡服務、平臺服務、互聯網整合、商業服務以及管理服務提供商等。

“圖數據”一般代表的是圖形數據，包括圖元、圖段，其中圖元包括點、線、面、字符、符號等，圖段由多個圖元構成，例如房屋門、窗等。隨著互聯網的快速發展，圖數據規模越來越大，圖數據處理的難度也隨之升高，對圖數據處理技術應用效率與質量均提出新的要求，以此推動圖數據處理技術的優化。在云計算環境下，為大規模圖數據處理技術帶來了技術應用優勢，使其可以提高處理效率，對于大規模圖數據處理有重要意義。

2 云計算環境下大規模圖數據技術優勢

2.1 大規模圖數據存儲、維護

大規模圖數據對存儲空間的要求非常多，其中最重要的一點就是需要一個很大的存儲空間，達到GB級別，甚至PB級別，數據量非常大。較大的數據占用空間，就給大規模圖數據處理造成了困難，因為想要處理大規模的圖數據，首先要有足夠大的空間進行數據存儲，然后才能對可查找和調用的圖數據進行處理，獲得其中有效的信息，將無效圖數據刪除等[2]。大規模圖數據所需要的存儲空間是傳統文件的數倍、幾十倍乃至上百倍，對數據庫內存的要求遠遠大于傳統文件，使得大規模圖數據在傳統文件數據庫中無法被直接運用。云計算環境下，大規模圖數據技術的應用，可以利用云計算的分布式存儲形式，將大規模的圖數據存儲起來，根據圖數據處理的實際情況，將目前需要使用的圖數據集中起來并進行統一存儲，對暫時不需要的圖數據可以進行額外存儲，從而使得對大規模圖數據進行存儲的時候不需要很大的內存空間，即可實現圖數據使用和處理。另外，在云技術環境下對大規模圖數據進行處理的時候，進行圖數據維護過程中可以實現一致性與統一性，對大規模圖數據統一備份并保存在云端，避免電腦系統故障造成圖數據丟失、損壞，保證了圖數據的安全性。

2.2 大規模圖數據處理耦合性

大規模圖數據之間存在著大量互相關聯的內部信息，且圖數據的計算也存在相互關聯關系。而利用傳統的圖數據處理技術進行大規模圖數據計算時，只能進行低運算狀態，對于圖數據內存訪問表現比較低級，使得大規模圖數據處理具有一定局限性。云計算環境下，大規模圖數據處理技術應運而生，將大規模圖數據的計算準確性有效提升，同時也獲得更高的可行性[3]。云計算環境下大規模圖數據處理技術實際運用時，可以準確計算任何一個頂點之間的圖數據，并通過分割圖數據將其轉變為完全獨立的子圖數據，再進行處理分析，提高了圖數據處理效率。在對大規模圖數據進行處理時，可以通過云計算圖數據處理模式來實現，在分割大規模圖數據時將子圖數據之間的耦合性盡量降低。同時可以在處理大規模圖數據時將任務調度開銷減少，利用圖數據處理模式減少因為迭代過程中對任務的反復啟動而出現的開銷。云計算環境下大規模圖數據處理技術的應用，實現了對圖數據的單項信息逐條處理與計算，再通過分割圖數據，獲得子圖數據進行有效信息提取和處理，提高圖數據處理效率，節省處理時間，獲得更高的效益。

2.3 大規模圖數據處理可靠性

大規模圖數據處理技術在應用的過程中，技術人員需要花費很長時間去處理圖數據的計算任務，導致圖數據處理效率低下，并降低了云計算節點對大規模圖數據處理的可靠性[4]。以處理PageRsnK的過程為例，在進行圖數據計算時一般需要迭代處理工序30次左右，計算期間資源消耗以及時間消耗都非常大。在云計算環境下，可以借助云計算的技術應用優勢以及計算框架、模式，對圖數據計算過程中遇到的各種問題進行全面解決，創新圖數據處理技術應用方案，提高處理效率。普通計算機可以組成云計算節點，在對大規模圖數據進行計算和處理期間，如果個別計算機出現運行故障，就會形成節點故障、癱瘓，對云節點使用的可靠性造成嚴重影響。云計算環境下大規模圖數據處理技術的優化與應用，在遇到云計算節點中斷時，可以從斷點處或者其他合適位置對圖數據的計算處理繼續執行，解決了云計算節點發生故障后圖數據處理中斷的問題[5]。同時，以往圖數據處理過錯中容易在計算任務間出現強耦合性干擾，子圖數據計算任務失敗會直接關聯其他正在運行的任務。云計算大規模圖數據處理技術的應用實踐，則可通過容錯管理機制的設定，將子圖數據之間的強耦合性問題減少，使得云計算節點可靠性提升。

2.4 圖數據處理靈活性高

在云計算環境下，對大規模圖數據進行處理的過程中，利用云計算的技術原理以及技術優勢，在實現對圖數據快速存儲的基礎上，還可以對圖數據進行快速處理，在獲取圖數據的同時，在短時間內從大規模圖數據中獲得有效的數據信息，提取關鍵信息。另外，在云計算技術支撐下，大規模圖數據的處理靈活性得到提高，針對不同的大規模圖數據可以采取與之相對應的處理方式，數據量彈性提高，在普通計算機的使用下即可完成復雜、大量的圖數據處理。與此同時，對大規模圖數據進行處理時，還可以根據實際需求對圖數據規范進行擴大，擴展數據存儲能力，使得計算機在處理大規模圖數據過程中的消耗降低。

2.5 提升圖數據處理能力

云計算環境下進行大規模圖數據的處理，可以實現圖數據的平行處理，借助圖數據分割模式對大規模圖數據進行簡化處理，將較大的圖數據根據一定規則分割為若干個較小的圖數據，一方面可以方便云空間、計算機內存對圖數據的存儲，一方面降低了圖數據處理過程中的計算難度，提升了計算機對圖數據的處理能力，提高了處理效率，并且為更大規模的圖數據處理提供了便捷條件。

3 云計算環境下大規模圖數據處理技術應用

3.1 大規模圖數據存儲技術應用

云計算環境下大規模圖數據處理技術應用獲得良好發展，其中大規模圖數據存儲技術應用解決了大規模圖數據傳統管理模式下存儲空間不足問題，并且可以獲得更加安全的存儲效果。大規模數據包括單圖數據、超圖數據2種模型，在對圖數據進行處理的過程中，可以通過有向圖方式，或者無向圖方式進行處理應用。云計算環境下大規模圖數據存儲技術可以將圖數據以分布式文件、分布式數據庫2種形式對大規模圖數據進行存儲[6]。GFS以及HDFS是分布式文件系統的主要代表形式，可以將鄰接表、矩陣等不同結構的圖數據進行直接存儲。Big、Hbase是分布式數據庫存儲形式的代表，可以通過數據庫模型將大規模圖數據分為文檔存儲和KV存數模型等。文檔存儲具有較強的靈活性，以及較高的便捷度，在非結構化圖數據存儲中比較適用。文本中涉及的大規模圖數據存儲則適用于KV存儲模型，主要特點是模式簡單，可以進行海量存儲。以鄰接表形式圖數據的存儲為例，通過KV存儲模型對其存儲時，可以將圖數據源頂點設置為Key，將點的值與出邊信息以Value為設定，使得圖數據的合并處理、遷移處理都更加容易，對原有空間局部性進行提升，并使得圖數據讀取和查詢期間的次數減少，提高圖數據整體處理效率。

3.2 大規模圖數據計算技術應用

云計算環境下大規模圖數據處理技術應用中，計算技術應用最為廣泛，可以利用的云計算包括Map Reduce模型、BSP模型2種類別，使得大規模圖數據計算效率與質量顯著提升[7]。第一，在對大規模圖數據進行計算時，應用Map Reduce模型，可以將計算過程劃分為Map與Reduce兩個獨立任務實現，對大規模圖數據的計算處理也被劃分為2個階段。其中Map計算階段可以將任務分配的數據進行逐一計算，并將key值輸出。key值得到確認后會在相對應的Reduce任務中進行數據映射。Reduce階段則會在任務階段接收到由Map傳遞的數據處理請求，并對圖數據進行聚集，從中得到輸出結果，并在分布式文件系統中存儲。應用BSP模型進行大規模圖數據計算時，可以避免死鎖、圖數據競爭問題，是一種以消息通信為基礎的數據計算、執行模式。云計算環境下大規模圖數據計算的主要技術應用就是Map Reduce模型、BSP模型，適用范圍稍有不同。兩種模式之間存在互補關系，在迭代處理的執行效率上BSP模式的優勢更大。

3.3 大規模圖數據分割技術應用

云計算環境下大規模圖數據處理一般需要進行圖數據分割，以此實現圖數據的分布式存儲并行計算。大規模圖數據的分割及處理都需要借助云計算分布式模式，并且利用圖數據之間的連通性，降低子圖之間的耦合性，以此提高圖數據處理效率。子圖數據的耦合性降低主要通過分割技術實現，首先需要在大規模圖數據基礎上，對其進行有邏輯、結構完整的大圖分割，并將分割后的圖數據在云計算分布式存儲系統中的各個節點進行分別放置[8]。其次，啟動與所有子圖數據對應的分布式計算任務，完成大規模圖數據的分布式計算。在獲得處理結果并完成輸出以后，大圖數據的處理已經完成。在對大規模圖數據進行處理的過程中，圖數據分割是一個重要環節，分割效果理想，是保證大規模圖數據處理成功的前提保障與關鍵所在。因此在對大規模圖數據進行分割處理時，需要對圖數據內部的連通性以及子圖之間的規模均衡情況進行全面考慮。一方面需要減少子圖之間的連通性，使得云計算分布式并行處理的應用得到提升；一方面還需要確保子圖規模均衡，減少因為偏斜而影響圖數據計算任務的同步性，降低處理效率與質量。

3.4 大規模圖數據查詢技術應用

云計算環境下，對大規模圖數據進行查詢的過程中，需要使用到的模式主要包括遍歷模式，其又分為主動遍歷模式與被動遍歷模式。與傳統的大規模圖數據查詢技術部相比，圖數據遍歷查詢技術的應用普遍適用性更強，且可以不對處理函數進行調用就實現大規模圖數據的查詢[9]。從本質上看，云計算環境下大規模圖數據的查詢技術應用，無論是主動遍歷模式與被動遍歷模式，其針對的圖數據查詢對象都是圖頂點，也就是將圖頂點設定為圖數據處理的核心。分開來看，對大規模圖數據使用主動遍歷模式進行查詢處理的過程中，主要優勢是對絕大多數圖數據均適用，適用范圍廣，適用性強。但是主動遍歷圖數據查詢模式在實際應用時，在一些特定應用環節中，可能出現資源浪費問題。而對大規模圖數據進行查詢處理時，應用被動遍歷模式主要優勢在于不需要對處理函數進行調用，可以將圖頂點調用處理過程中不必要的開銷去除，節省自愿。主動遍歷查詢模式與被動遍歷查詢模式在功能上相輔相成，并且形成了模式互補，可以根據大規模圖數據查詢的具體需求進行合理選擇，提高查詢效率的同時，盡可能減少圖數據查詢過程中的開銷。

3.5 大規模圖數據處理平臺

在云計算環境下，對大規模圖數據進行處理的過程中可以借助虛擬化技術為大規模圖數據處理創造一個規模龐大、消耗低的處理平臺，即將大規模圖數據的存儲、計算、應用、網絡等資源變為虛擬化實體，將抽象閑散的數據處理資源轉變為完全獨立的個體進行應用。首先可以對圖數據進行參數化配置，定制相應的處理平臺。然后對數據處理后的存儲與計算自愿進行配置，將計算流程與資源配置文件寫入，分配計算流程。最后將部署的工具借助網絡接入計算節點，進入計算流程，對大規模圖數據進行相應的處理。在大規模圖數據處理平臺上，存儲資源與計算資源的分配與執行均通過代碼實現，啟動相關的部署計算節點后，通過網絡向不同的計算節點發送圖數據處理指令，以此實現對圖數據處理的工作調度以及流程進展，為大規模圖數據處理提供了一個可執行、簡單、消耗小的處理平臺。

4 結束語

總而言之，云計算環境下大規模圖數據處理技術得到有效優化與創新，在圖數據存儲與維護、圖數據耦合性降低以及圖數據處理可靠性方面有明顯優勢。同時，云計算背景下大規模圖數據處理技術的應用，在圖數據存儲、圖數據計算、圖數據分割、圖數據查詢4個方面的廣泛應用，提高了圖數據處理效率，并降低了處理開銷，在很大程度上提高了大規模圖數據處理的技術水平與應用效果，推動圖數據處理技術的持續發展與進步。