大數據時代下數據分析技術研究

佘朝兵

摘 要：近年來，隨著我國云計算技術和互聯網技術的不斷發展，網絡中的數據增長速度非常快，每天產生的數據量非常龐大，我國已經進入了大數據時代。在大數據時代，需要充分挖掘數據的隱藏價值，對數據加強分析。在大數據時代，采用傳統的數據庫已經不能對數據進行有效處理，因此，需要采用更先進的數據處理方式。主要闡述了大數據的概念和特點，并分析了大數據下的數據分析理念，闡述了相關的數據分析技術。

關鍵詞：大數據；數據分析；計算機；互聯網

中圖分類號：TP311.13 文獻標識碼：A DOI：10.15913/j.cnki.kjycx.2017.07.045

數據分析是數據處理的核心流程，通過數據分析可以充分挖掘數據的價值。在大數據的背景下，數據量非常龐大，因此，對數據的查詢、儲存和分析的要求都越來越高。在實際操作中，需要針對大數據時代的特點探究有效的數據分析模式和技術。

1 大數據的概念和特點

可以將大數據看作處理能力非常強的計算機，也可以認為是對大量數據進行分析和處理的技術，即在規定的時間內對大量的數據進行分析和整合，充分挖掘數據的價值，總結出重要的信息。此外，還可以將大數據看作在規定的時間內對數據的信息分析和拆解技術。

大數據具有廣泛性的特點，在大數據時代下，人們的生活方式和思想方式發生了巨大的改變，計算機和互聯網已經成為了人們生活中不能缺少的部分，因此，對大數據的處理、整合和分析都在不斷變化。在大數據時代下，這些數據往往是公開和透明的，很多領域都可以運用。對于這些數據的分析結果，對人們的生活、學習和工作都有很大的幫助。

大數據具有社會性的特點。大數據時代將大量的信息都匯聚在一起，通過互聯網將各種數據連接在一起，充分挖掘數據的價值，促進了社會的進一步發展，因此，大數據具有社會性。此外，大數據還具有動態性的特點，在大數據的時代下，各種數據和信息都時刻發生著變化，在任何時間都會產生數據信息。

2 大數據下的數據分析技術

2.1 大數據的具體分析過程

在大數據時代下，對數據分析和處理需要按照一定的規定和流程。在實際生活中，各種數據已經在每一個領域和每一個行業都有所滲透，且這些數據在不同的地區與不同的行業之間發生著轉變。大數據時代的數據分析與以往的數據分析要求不同，因此，大數據分析已經逐漸代替了原來的傳統數據分析技術。在大數據時代下的數據分析技術要從社會的各個領域和地區搜集各種信息，然后將這些信息轉化為有效的數據，再采用數據分析技術對數據加以分類、整合和分析。在對數據分析時，要將沒有用的信息刪除，對有用的信息進行深層分析和處理，并運用到實際生活和工作中，發揮數據的各種優勢。

2.2 大數據的分析模式

根據數據的來源對其進行劃分，可以將大數據分為以下幾種：①我國不同行業和不同領域的各種統計數據。②在互聯網上用戶對各種信息和資源的點擊率和瀏覽次數，且包括動態網站網頁和社會網站上的各種信息的變化。在對這一類的數據搜索時，通過網絡的實時監控數據和搜索關鍵詞的搜索量就可以獲得各種互聯網中的數據。③通信領域的數據。包括個人用戶的信息、通話記錄時間等相關數據。④用戶的行為以及用戶對系統的操作等日志數據。

由于大數據的數量非常多，且來源于不同的領域和行業，可通過各種途徑獲取。對于非結構化的數據，在對其分析時，對于通信領域的數據，可以采用查詢和歸納統計的方式來實現，可以在較短的時間內獲取有價值的信息。對于這種數據處理，采用查詢式的分析模式。

對于日志數據，可以對用戶的點擊瀏覽行為分析，從而了解日志和系統的運行行為。如果是在互聯網中產生的數據，則應通過搜索引擎來對數據進行檢索、處理和分析。由于我國的科學技術在不斷進步，大數據的分析引擎已經變得非常便捷和準確，可以在海量的信息中獲取最有價值和最有用的數據。對于網頁數據和日志數據而言，在實際處理過程中比較接近，通過對數據的仔細分析就可以得到有價值的信息。

國民經濟中非常重要的數據主要通過實時監控來分析。這種數據分析模式稱之為實時數據分析處理模式。無論是哪種數據分析模式，都可以采用關聯規則、回歸分析、分類和神經網絡等來處理。

2.3 大數據分析技術

在大數據時代下，數據量非常龐大，且其來源非常復雜，這些數據資源是不斷變化的，為了從不斷變化和迅速增張的數據中分析和得出有利用價值的信息，要采用先進的數據分析技術。只有這樣，才能處理數據量非常大的數據。由于數據的結構和種類非常多，而主要的數據類型為非結構化的數據類型和半結構化的數據類型，因此，可以采用基于MapReduce的大數據處理技術來處理分析技術。

在實際的對數據處理的過程中，對于基于MapReduce的連接算法，其可以有效提高對相關數據的查詢效率。在大數據時代，數據量非常龐大，采用這種連接算法，可以提高算法的執行效率，對提高查詢效率有很好的作用，通過加入索引的方式使網絡的傳輸量減小，提高查詢任務的效率和質量。

基于MapReduce的迭代算法是數據挖掘的一種重要方式，尤其是在大數據時代，采用這種方式，可以有效處理海量數據的分布式計算框架，可以采用局部線性的方式避免運行延遲出現，從而有效提升運算執行效率和速度。

基于MapReduce的調度算法，對其優化可以有效提升上層算法的效率。在一般的數據處理中，常見的調度機制是推測執行調度策略。但在異構的環境下，這種方式并不好，而大數據背景下的數據很多都為異構數據，因此，需要對基于MapReduce的調度算法進行優化，采用容量調度策略和公平調度策略。在對任務查詢時，可以重新組合，對模型優化。

3 結束語

大數據時代需要分析的數據在數量上非常多，且有多種來源，很多數據都非常復雜，因此，在分析時要降低維度、將其逐層抽象，然后對多種類型和來源數據進行解讀和概括。在實際的數據分析中，需要針對不同來源的數據采用不同的分析模式，具體分析時采用基于MapReduce的數據分析技術可以滿足大數據時代數據分析要求。

參考文獻

[1]單海波.淺談大數據時代的數據分析與挖掘[J].科技創新與應用，2016（24）.

[2]程學旗，靳小龍，王元卓.大數據系統和分析技術綜述[J].軟件學報，2014（09）.

[3]張學敏.大數據時代的數據分析[J].電子世界，2014（16）.

[4]朱建平，章貴軍，劉曉葳.大數據時代下數據分析理念的辨析[J].統計研究，2014（02）.

〔編輯：張思楠〕