基于大數據的智能數據分析技術

張玉伽

【摘要】 由于多媒體等多種技術的發展與應用，各領域都發生了很大的變化，每天不僅產生大量的數據，而且數據更新換代的速度極快。人們在處理以及分析數據的過程中，繼續使用傳統的智能數據分析技術已經難以實現理想的效果，專家開始意識到必須盡快開發新的技術。這就需要了解典型理論和技術，掌握不同種方法的特點，這樣才能有效的避免各自的劣勢，充分發揮優勢達到互補的作用。本文在分析不同種傳統數據智能分析方法的基礎上，分析了結合新平臺開發的新型分析方法。

【關鍵詞】 大數據 智能數據 技術分析

一、前言

當前世界依然迎來了大數據時代，隨著多媒體等多種技術的應用，社會中的相關領域時刻都涌現大量的數據，增加了技術處理以及分析的難度。通常情況下大數據具有復雜性，而且還具有數量大、分布式的特點，這樣就必須要采取新的技術方法對數據進行處理，因此智能分析技術在數據的處理中具有非常重要的意義。

二、幾種常見的智能數據分析法

雖然在大數據時代傳統的智能數據分析法已經不能適應當前的需求，但是依然有一定的相似性，相關理論和技術依然可以沿用，幾種常見數據分析法：第一種方法是決策樹。這種數據分析方法需要基于信息論基礎上，這種方法實現的輸出結果容易理解，精確度較高，效率也較快，但是它不能用來對復雜的數據進行處理與分析[1]。第二種方法是關聯規則。這種方法主要是用于事物數據庫中，通常帶有大量的數據，當今使用這種方法來削減搜索空間。第三種方法是粗糙集。這種數據分析方法能夠對數據進行主觀評價，只要通過觀測數據，就可以清除冗余的信息。第四種方法是模糊數學分析。這種數據分析方法能夠對實際問題進行模糊的分析，與其他的分析方法相比，能夠取得更為客觀的效果。第五種方法是人工神經網絡。這種數據分析方法具有自學習功能，在此基礎上還具有聯想存儲的功能。第六種方法是混沌和分形理論。這兩種理論主要是用來對自然社會中存在的現象進行解釋，一般用來進行智能認知研究，還能應用于自動控制等眾多領域中[2]。第七種方法是自然計算分析方法。這種數據分析方法根據不同生物層面的模擬與仿真，通?？梢苑譃橐韵氯N不同類型的分析方法：一是群體智能算法，二是免疫算法，三是DNA算法。群體智能主要是對集體行為進行研究，免疫算法具有多樣性，經典的主要有反向、克隆選擇等，而DNA算法主要使屬于隨機化搜索方法，它可以進行全局尋優，在實際的運用中一般都能獲取優化的搜索空間，在此基礎上還能自動調整搜索方向，在整個過程中都不需要確定的規則。當前DNA算法普遍應用于多種行業中，并取得了不錯的成效。

三、大數據背景下的智能數據分析技術

大數據具有一定的復雜性，只有通過使用新的智能分析技術才能對數據進行有效處理。目前已經有專家針對大數據提出了新的智能分析技術方案，例如HAVEn、Teradata Aster分析平臺，經過研究發現推出的一系列分析方案，基本上離不開Hadoop分析平臺。Hadoop主要分為以下兩大部分，其中一個部分是分布文件系統，專家稱之為HDFS，另一部分是分布計算系統，專家稱之為MapReduce。一般來說HDFS主要是表現為主/從結構，其中主結構稱為名字節點，主要功能是管理元數據，從結構通常稱為數據節點。主要功能是用來存放，或者管理相關的應用數據[3]。一個HDFS系統能夠支持的數據非常龐大，一般能夠達到10PB數量級，因此HDFS系統能夠應用于大數據處理分析中。同時為了能夠更好的支持大數據，在HDFS系統的基礎上，還繼續構建Hbase系統，該系統的接口語言色設為Pig。并且還構建了Hivi系統，該系統主要是屬于數據倉庫。此外還構建了機器學習軟件包，稱為Mahout，這樣就可以對大數據進行有效管理以及分析。這些新的智能數據分析融合了多種傳統的技術，能夠對大數據進行更為全面、高效的分析。

四、結語

傳統中可應用的數據智能分析技術多種多樣，常用的主要有七種方法，每一種方法都有自身的優勢以及局限性，如果在大數據中單一使用一種方法，根本就不能達到理想的效果。但是憑借當前的技術水平還不能找到通用的智能分析技術方法，這就需要將傳統的多種方法結合起來，這樣就可以彌補各自的缺陷，而且還能充分發揮優勢，這是當前大數據智能分析技術的重要研究方向。沿著這個方向，目前已經開發了hadoop，這個系統不僅集合了傳統的方法，而且還結合了新型平臺，是一種全新的技術，未來需要專家不斷的進行探索與研究，繼續開發更好的數據智能分析方法。

參 考 文 獻

[1]楊舒林.智能分析技術發展現狀及應用[J].中國公共安全.2015，08（14）：207-209.

[2]顧君忠.大數據與大數據分析[J].軟件產業與工程，2013（4）：117-121.

[3]符新雙.淺析智能分析技術在集成領域的應用與發展[J].中國安防.2014，10（12）：105-107.