云計算下的大數據

文| 陳宇輝

云計算下的大數據

文| 陳宇輝

隨著云計算、物聯網等計算機技術的興起，各類智能移動終端設備不斷被研發，互聯網數據量大大增加，而“大數據”是指增長迅速、規模巨大且與傳統數據處理架構不相適應的信息數據，通過對其進行數據分析，人們可以從中發現有價值的相關信息。本文主要深入分析云計算下的大數據處理技術。

大數據“4V”特征

數據量巨大 (Volume Big)。就目前而言，大數據的數據儲存量已高達PB級別，部分已達到ZB級別，其儲存容量比傳統數據庫大好幾倍，因此，大數據的數據量被稱為“超量數據”。由于量變過程最終會導致質變產生，隨著海量數據的增長速度不斷加快，傳統數據技術必然無法滿足巨大數據量的管理和存儲需求。

數據類型多樣 (Variable Type)。大數據還具有數據類型多樣的顯著特點，大數據中包括大量結構化數據、半結構化數據和非結構化數據等，這些數據一般以圖表、文本、視頻、語音、動態數據、傳感器數據、移動終端數據等形式存在，且多樣數據間的關系也十分復雜。

數據價值高、密度低 (Value High and Low Density)。在大數據的處理分析過程中，很可能需要同時處理一部分沒有意義的數據，經過大量的沒有意義的數據分析處理，才有可能會得出無意義數據中所包含的那一部分高價值數據，進而得出高價值的數據分析結果。

數據具有動態性 (Velocity)。科學技術的飛速發展，促使計算機、傳感器設備、移動終端設備、的數據搜集頻率和上傳速度不斷加快，導致大數據中包含的各類數據無時無刻都在實時更新和增加，即大數據中的數據信息具有顯著的實時動態性。

大數據與云計算的關系

云計算技術是指根據按需分配的原則通過集中式遠程計算機數據資源池向終端用戶提供強大而廉價的計算服務技術。作為一種數據處理技術，云計算技術具有如下特點：① 從物理方面分析，數據資源池對終端用戶是完全透明的，用戶可根據自己所需從資源池中獲取相應數據；② 云計算技術可以為各行各業提供優質的規模化計算服務，而且其服務能力具有重大發展潛力；③ 云計算技術應用部署迅速便捷，能根據終端用戶對服務方式和服務質量的要求進行定制，具有強大的彈性伸縮能力；④ 用戶可輕易獲取云端數據，同時可實現資源共享，數據使用成本低。

縱觀現今各種計算機數據處理技術，云計算技術可謂是目前最大型的信息數據存儲、傳輸和處理平臺，它能為大數據處理提供優質服務，是大數據處理的必然之選。首先，云計算可以為大數據提供接近“無限”的存儲空間，數據處理速度快速，可滿足大數據的超大容量存儲要求和復雜數據分析處理需求，而這一點正是傳統數據存儲方式無法實現的。其次，云計算技術注重數據的計算處理，而大數據正是需要強大的數據處理能力，因此，云計算能滿足大數據的需要，促進云計算的數據處理類型的多樣化發展。

云計算下的大數據分析過程

數據采集。大數據的采集過程是整個數據分析過程的重要基礎，目前，互聯網技術的發展日新月異，隨著各種終端設備的不斷普及，數據產生速率越來越高，數據產量也日益增多，數據間關系變得更為復雜，唯有全面提高數據采集速度和精度才能滿足大數據的處理需求。

數據處理與集成。大數據的處理與集成是對采集到的數據進行一定的格式化處理、去噪處理和進一步的集成存儲處理。由于采集到的數據具有多樣化，且各類數據的結構也不統一，對后續的數據分析進行有一定阻礙。因此，需要對數據進行處理，將無效數據預先去除，提高后續數據分析的可靠性和精度。

數據分析。完成對數據的采集和初步處理后，必須對數據進行分析，以得出大數據中的重要價值。數據分析過程的對象是經初步處理與集成的具有統一格式的數據，該過程能夠根據用戶所需的數據應用需求和價值體現方向進一步對原始樣本數據進行深入處理和分析。

數據解釋。數據解釋是指對分析后得出的數據結果進行解釋并向用戶展現，在數據處理過程中，對數據結果的解釋是指需要進行大數據分析的用戶能夠直觀了解分析結果的過程。傳統的數據分析結果顯示方式通過文本方式體現的，但由于數據量的迅速增加，傳統數據分析的結果也變得越來越復雜，傳統的數據顯示方法根本無法滿足這樣的大數據分析結果展示，而大數據中的可視化技術則能夠有效解決這一問題。

云計算下的大數據處理關鍵技術分析

采集技術。事實上，數據的采集方式有兩種，包括集中式和分布式，從靈活性考慮，分布式較集中式好；從全局性考慮，集中式較分布式好。基于云計算的大數據采集對象一般為組織系統內部及各自相互獨立組織系統間的各類數據，而云計算恰好具備數據并行處理的顯著特點，因此，大數據通過云計算可以采用混合式采集方式實現數據的高效采集。

具體工作原理為：大數據在組織系統內部應用集中式數據采集方式，并以組織系統內部的數據配置中心服務器作為集中式數據的注冊機構，全面實現組織內部數據的存儲和共享。而在各自相互獨立組織系統間，基于云計算的虛擬化技術、集群技術等在各自相互獨立的組織系統中心服務器內通過分布式采集方式對數據進行采集、對接和共享。由于大數據中包含多樣化數據，在應用云計算技術的前提下，采用分布式采集方式時，也可以依靠云計算的超強擴展性同化數據池內的數據信息，再進一步對數據實行分類存儲。

存儲技術。信息爆炸時代下的數據具有超大體量、復雜、離散的特點，使得傳統數據存儲方式已無法滿足大數據的存儲要求。

首先，在數據容量方面，單結點的數據庫無法滿足每日呈幾何速度增長的數據量；在運行效率方面，也無法達到大數據的分析處理效率要求。其次，傳統數據庫采用的是按行存儲方式，需要大量存儲空間，雖然能為用戶提供大容量數據的索引和視圖，但在實際操作應用中，需花費大量時間。

云計算技術采用的是列式存儲方式，不僅可以區分數據的不同屬性，還能根據數據的不同屬性將其單獨存放。云計算技術這種存儲方式能讓用戶在投影數據時，只需查詢到其屬性列就可以準確查找數據位置，全面提升系統處理量和處理效率。另一方面，這種存儲方式還可以按照數據屬性對其進行列式存儲，若相鄰列數據相似性很高，系統就會對其進行進一步壓縮，全面提高數據壓縮率，有效節約存儲空間。

挖掘技術。數據挖掘技術則是一種基于聯機分析的技術，它能從海量數據庫中精確提取出數據中的隱含價值信息，并利用多媒體系統表達各數據信息間的規律、概念及模型特性。基于云計算的大數據挖掘采用的是分布式并行挖掘技術，對比各類數據串行方式，該技術借助機器集群對分布式系統中的并行任務進行拆分，再將經拆分后的各個任務分別交由到不同的機器去進行進一步處理，真正實現對大數據的規模性處理，節省數據分析處理成本和時間。

可視化技術。基于云計算的可視化技術可將經挖掘技術處理后的有價值信息進行具體化，將數據及與數據相關的信息直觀全面地表示出來。可視化技術就是指應用圖像表示手法將存儲空間的數據庫信息表現出來，同時采用其他分析方法進一步獲取圖像中的隱含未知信息。可視化技術不僅可以對非空間數據進行多維度的圖像顯示，還有利于數據圖形的直觀表現，讓用戶能更好地挖掘和理解數據信息，有效提高數據檢索效率。

總之，在信息技術發展的大力推動下，基于云計算的大數據分析已逐步成為有效解決大數據問題的有效手段，為體現大數據海量信息所累積的高效價值，在全面部署云計算下的大數據分析平臺時，必須充分考慮系統硬件、計算機網絡、應用軟件等各方面的集成，全面發揮云計算技術的優質性能，確保大數據分析具備高效性和準確性。

中共哈爾濱市平房區委統戰部）