云計算背景下的大數據處理技術分析

史志杰

(山西職業技術學院 計算機工程系,山西 太原 030006)

0 引言

在各行業與各產業向著信息化方向發展的過程中,各產業從監控、傳感器等信息化設備中獲取的復雜信息內容,讓各產業需要處理的信息規模不斷擴大。各地的地質數據狀況、氣候變動情況、人口大數據統計等詳細信息都產生了大量的數據處理需求。 而在各產業生產與經營的過程中,對產品生產線的監控、對用戶商業購買情況的記錄等大數據內容也在影響著各企業在經營策略與運營方向上的轉變。 因此,大數據處理技術對于各行業與產業而言都是非常重要的,如今的時代可以被稱為信息化時代,也可以被稱為大數據時代。

1 大數據處理技術概述

大數據處理技術是在云計算技術之后信息科技領域出現的一個研究焦點。 在信息化時代,隨處可見的傳感器和微處理器成了數據的主要來源,且其涉及各個領域與學科。 如在科學研究領域,氣象數據、地理數據、生物信息數據等是傳統的海量數據集;在制造業領域,很多機器上都安裝了一個或多個微處理器來采集生產數據;在商業消費領域,網上購買記錄、消費評價等數據。 各國政府的海量統計數據和文件也因計算機技術的發展而成為亟待分析處理的大數據問題。 有研究報告稱,2011 年全球被創建和被復制的數據總量為1.8 ZB,而到了2020 年,全球數據總量則達到了驚人的35 ZB。 在大數據時代,如何合理利用大數據處理技術就成了社會廣泛關注的焦點。

目前為止,世界范圍內針對大數據的具體定義尚不統一,信息處理領域的頭部企業及機構均對大數據進行了定義,其主要包含以下幾種:一是麥肯錫。 麥肯錫將大數據定義為超過了傳統概念尺度的數據信息,即常規的數據庫技術難以實現捕捉、存儲、管理和分析的數據信息。 二是IBM。 IBM 認為,大數據具有規模性、多樣性和高速性的基本特征。 規模性指的是大數據的整體規模較大,超過了PB 級別;多樣性是指大數據的數據來源廣泛,種類多樣,且涉及了多個領域與學科;高速性指的是大數據對于數據處理技術的要求較高,數據處理技術必須達到較高的速度才能夠滿足大數據的實際需求。 三是EMC。 EMC 簡單使用“大”字對大數據處理技術進行概括。 “大”本身就是大數據處理技術的基本特征,常規的數據庫規模一般超過10 TB。 多用戶把多個數據集放在一起,形成PB 級的數據量。 同時這些數據來自多種數據源,以實時、迭代的方式來實現。

2 云計算技術與大數據處理技術的聯系

云計算技術是通過網絡,將供應方龐大的數據處理與存儲資源提供給用戶在網絡云端使用。 這樣的特性讓云計算技術擁有可靠性較高且運營成本較低的特點。 同時,以云計算技術為基礎,誕生專屬于云端技術的數據處理方式,也讓數據云端化發展的優勢逐漸明顯。 從某種角度來看,大數據技術是在云計算技術基礎上延伸發展出來的新型技術。 對于一般的數據處理技術而言,由于數據信息的樣本數量較少,計算難度較低,其對于技術本身的要求也相對較低。 但是,大數據技術自身的大規模特征就決定了一般的計算技術無法滿足其實際的計算需求,而云計算技術的出現卻能夠有效滿足大數據技術的基本需求。 整體大量數據的傳輸與運算,也讓大數據可以更順利地進行處理,不僅解決了大數據處理技術對數據量與存儲大小的要求,也讓大數據分析系統的安全性與穩定性有了對應的保障。

總體上來看,云計算與大數據之間處于相互合作但又相對獨立的狀態。 云計算負責為大數據處理技術提供較強的運算能力,而大數據則可發揮數據量龐大的特點,讓計算出的結果能夠為單一產業或企業提供在經營方向、風險預測等方面的信息化數據內容,以便于企業進行風險問題的規避與處理,以此形成一套完整的對數據處理與分析系統。

3 云計算技術與大數據處理技術內容分析

3.1 Hadoop 技術與Open Stack 技術

Hadoop 技術屬于大數據分布式處理技術,這一技術就是利用云計算的高算力與大數據處理技術數據量龐大的特點。 同時向數據的多個目標方向進行計算與處理,若發生計算失敗的情況,就迅速對失敗情況加以處理,并重新選擇計算處理目標,以此來實現對龐大信息數據的迅速處理與管理。 這一方式的應用對于提升數據處理效率有一定的幫助,且可以讓各平臺更順利的利用大數據處理技術。 Open Stack 是對各類型構件技術進行組合使用的數據處理平臺,這一平臺所涉及的模塊化技術包括NOVA,SWIFT 等內容,將此平臺與Hadoop 技術加以結合后,就可以讓數據信息的利用率得以提升,減少因為單項運算出現失敗而導致數據信息內容浪費的情況。

3.2 大數據采集技術

數據采集就是通過軟件或硬件的形式將單一設備內所產生的數據加以收集的技術。 在全面信息化發展的當下,信息采集技術會采集到大量精確度高、涉及范圍廣的信息內容,這些信息會應用于大數據分析工作,為需求方提供相應的幫助。 從某種角度來看,大數據處理技術的核心在于對大量數據的標準化處理,依據處理結果總結規律或者分析現象,進而為實現某種既定目標奠定數據基礎。 而想要實現這一目標,基本的前提條件就是實現數據信息的收集工作,收集到的信息總量越大則意味著分析結果的準確性越高,收集信息的速度越快則意味著數據分析過程的耗時越短。

信息采集的方法分為集中式與分布式。 其中,集中式采集是在統一的數據庫內直接進行數據信息的收集與分析,在信息的處理上更注重信息內容的綜合性與全面性。 而分布式采集則是先根據需求,將數據內容劃分為不同的區域類型,然后在不同的區域內開展數據的收集與分析。 這一方式能夠對各類型數據進行針對性的挖掘,更注重數據在單一方向的信息深度。這兩種信息采集方式在通過云計算后,就可以在云端進行全程的數據處理與信息存儲,是大數據處理技術最基礎的應用。 另外,因為云計算技術在進行數據收集時,并不會過度侵犯用戶的隱私狀況,所以也能夠避免用戶對頻繁的信息采集產生厭煩。

3.3 大數據存儲技術

傳統的數據存儲方式屬于單點式存儲,整體雖然在信息數據的索引與閱讀方面存在一定優勢,但因為大數據時代對數據存儲量的要求不斷提高,這種單點式存儲方式已經很難應對。 單點式存儲在信息響應速度上也較為遲緩,進行大量數據的訪問與處理時經常會造成時間上的延誤,已經不符合信息化時代對信息存儲的需求。 而云計算憑借自身的運算能力,會在進行存儲時,自動將數據內容劃分到不同的信息列中存儲,需要進行訪問時,根據訪問關鍵詞,就能夠直接訪問對應的信息列,不僅避免了大量數據造成的訪問壓力,也讓數據的處理效率得到了明顯的提升,使存儲系統的性能得到優化。 同時,各信息列之間的排列也會按照相關性進行分配,具備相關性的信息列會存在一定的數據互通性,在進行大數據分析時,就會根據信息列之間的共同數據進行綜合性分析,避免分析結果存在信息局限性,確保信息內容的處理足夠全面。

3.4 大數據聯機分析技術

大數據聯機分析技術是在傳統數據聯機分析技術的基礎上,通過技術層面的遞進發展,降低了技術層面的難度,可以對一些數據量龐大,且數據關系復雜的信息內容進行綜合性分析的技術。

大數據聯機分析技術在應用時,會對整體的數據內容進行綜合性分析,并結合大數據信息內容的關聯性,建立起相應的信息結構模型,通過模型來判斷信息數據間的相對關系。 通過這一技術的應用,就可以在數據分析的過程中,避免因為信息復雜程度較高對數據分析結構造成的影響,對于大數據處理技術的發展有著重要的意義[1]。

3.5 大數據挖掘技術

大數據挖掘技術是采取云計算與大數據相結合的方式,在大量重復性高、可利用價值低的信息數據中,提取出對企業或個人有一定價值的數據信息,并對這些信息進行二次的數據加工,讓信息內容具備實際應用價值的一種方式。 這一技術是以大數據龐大的數據庫與云計算強大的數據分析能力為基礎運行的。 在處理的過程中會更加注重信息的整體性,一般會將大量信息進行全面的處理,并對可能存在價值的信息進行存儲與整合,對整合結果加以優化,以此得到存在價值的信息內容[2]。

因為大數據挖掘技術所消耗的運算能力與存儲空間較為龐大,所以在信息挖掘前,首先需要明確信息挖掘的方向,讓大數據分析能夠擁有一個整體的方向,以這一方向作為判斷信息有效性的基礎,確保大數據挖掘可以正常展開。 整體方向越清晰,其挖掘結果的針對性與準確性就越強。 確立方向后,應當選擇具體的挖掘方式,挖掘方式可以簡單地劃分為直接與間接兩種,直接就是根據數據算法對信息內容進行簡單的運算與加工,并直接得出數據挖掘的結果。 間接就是在信息基礎算法的基礎上利用網絡等信息算法技術對信息進行二次加工,可以得到處理結果更為精準的大數據信息內容。

3.6 大數據可視化技術

對于大數據的分析也不能僅僅停留在數據分析的層面上。 利用大數據處理技術與云計算的方式,可以將數據性的內容以視圖的形式,更形象地加以展現,利用這一技術的企業可以在數據分析的基礎上,加以圖像化的內容與立體的建模方式,更全面地展現數據內容。 避免因為傳統數據信息復雜性強的特性,導致信息判斷的結果產生一定遺露,使大數據分析的結果更具應用的價值。 讓信息的分析工作不再局限于大數據與云計算單純的數據分析,將信息在圖像層面與建模層面的內容進行進一步的分析與挖掘,全面了解大數據信息內容。 從某種角度來看,大數據可視化技術的原理與一般的數據可視化技術的原理相同,但是由于大數據的數據總量較大,其對數據處理和歸類整理能力提出了較高的要求。 此外,大數據可視化技術所采取的樣本總量巨大,這也意味著最終的分析結果將更為精確,精度級別更高。

3.7 大信息安全技術

云計算因為依托于網絡,所有的信息訪問與信息處理對于應用技術的企業而言,無論是數據的傳輸還是處理都會存在一定的風險,這也是大數據與云計算技術目前最具爭議的信息安全性問題,對云計算技術的發展有著一定的制約作用。 一般對于網絡傳輸的數據內容,都會使用信息提供方的信息加密算法進行加密處理,以這種方式來確保上傳云端的數據內容足夠安全,這一方式也是目前大部分信息的安全處理手段,主要應用于對信息內容進行單純的加密處理的情況,當需要對信息進行重復訪問并重復加密時,這一普通的信息加密方式在易用性與安全性上會受到影響,需要采取雙向加密的方式,在確保數據安全性的同時,讓信息可以得到有效應用[3]。

企業在進行云計算信息加密時,最常見的就是內容感知加密技術。 這一技術的優勢在于可以由企業自行選擇信息加密的具體內容與使用的加密形式,讓關鍵信息的安全性有一定的保障。 這一技術的實用性與安全性較高,且應用難度較低,是較為主流的加密形式[4]。

內容感知加密技術在成熟應用的基礎上,進一步的發展就是保格式加密技術。 格式加密技術可以自行判斷數據內容所需要的加密形式,并以非常高的效率完成全部文件的加密,且不同加密內容之間在內容獨立的同時,能夠同時進行大數據處理技術與云計算技術的處理與存儲,讓信息處理效率得到了進一步的提升,且在這一過程中也不會出現數據丟失等情況,無論對于數據安全還是完整性都有較好的保護效果[5]。

4 結語

通過云計算與大數據處理技術的應用,企業可以通過更簡單的方式完成數據的存儲與管理,并對數據的信息內容加以分析,為企業的發展提供實質性的幫助。 因此,企業需要積極地利用云計算技術與大數據處理技術,讓企業的數據處理能力能夠符合大數據時代的需求,推動企業發展。