大數據分析技術概覽

互聯網、物聯網、無線傳感網絡、社交網絡等新興技術趨勢促使人類社會的數據種類和規模正以前所未有的速度增長，大數據時代正式到來。數據正從簡單的記錄對象開始轉變為一種基礎性甚至戰略性的資源，從海量的低價值密度的結構化和非結構化數據中獲取有價值的信息，已經成為各行業迅速關注的焦點。

什么是大數據？我們通常用四個維度的特征來定義大數據，即數據的規模（Volume）、數據產生的速度（Velocity）、數據的多樣性（Variety）和數據的價值（Value）。亞馬遜的大數據科學家John Rauser的定義比較直接：超過單臺計算機處理能力的數據量則為大數據。但是，大數據并非是簡簡單單的數據體量龐大，其更重要的價值在于對大數據的分析和處理。只有通過深層分析才能獲取很多潛在的、有價值的信息和知識。

在大數據之中有一個重要概念，那就是數據相關性。大數據不是教機器像人一樣思考，而是將復雜的數學算法用在海量數據上，讓數據自己說話。但數據相關性并不是表面的、顯式的，而是需要通過數據分析和邏輯疊加使其展現。挖掘這些規模巨大、形態各異、價值密度低以及快慢不一的數據流之間的相關性是大數據最重要的內涵。

大數據需要新處理模式才能具有更高的價值，轉化為具備洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。從數據的類別上看，大數據無法使用傳統流程、工具處理或分析的信息，它超出正常處理范圍和大小，迫使用戶采用非傳統的處理方法，使用大數據技術（例如分布式存儲、數據相關性挖掘、離線數據分析、機器學習和集群計算等）來解決各個特定行業的問題。

通常所說的大數據不僅指數據本身的規模，也包括采集數據的工具、平臺和數據分析手段。解決大數據問題的核心是大數據技術，強調從各種各樣類型的巨量數據中快速獲得有價值的信息。大數據技術涵蓋很多方面，包括數據采集、數據存取和處理的基礎架構、統計分析、數據建模和預測等。

在大數據分析的平臺和基礎架構方面，對于想用低成本（包括軟硬件）實現集群計算和海量數據分析平臺，Hadoop集群是首選的對象。Hadoop是google的云計算系統的開源實現，可以運行在異構環境下，編程簡單，不必關心底層實現細節，可以有效提高大規模數據分析工作的效率。

大數據分析的理論核心是各類數據分析算法，各種數據分析算法基于不同的數據類型和特征，能夠更加科學地呈現出數據本身具備的特點。被全世界統計學家所公認的各種統計方法很多都被用于底層數據分析，其價值得到了公認。另外一方面，也正是因為有了大量的高效數據分析算法，大數據的處理才能成為可能。如果一個算法得花上好幾年才能得出結論，那大數據的價值也就無從說起了。

通用的數據分析和挖掘很大一類屬于探索性數據分析，一般沒有什么預先設定好的主題，主要是在現有數據上面進行基于各種算法的計算，從而起到預測的效果，并實現一些高級別數據分析的需求。其中最熱門的技術趨勢之一就是機器學習，它也將在未來的大數據中發揮重要作用，可以說機器學習處于大數據革命的最前沿。探索性數據分析的特點和挑戰主要是用于分析的算法很復雜，并且計算涉及的數據量和計算量都十分龐大。

大數據分析一個重要的應用領域之一就是預測性分析，從大數據中挖掘出特點，通過分析建立數據模型，之后便可以通過模型帶入新的參數，從而預測未來的趨勢。例如，高頻交易是大數據應用比較多的領域，大數據算法被應用于交易決定；美國安全局利用大數據進行恐怖主義打擊，甚至監控人們的日常生活；企業則應用大數據技術了解客戶、滿足客戶服務需求；警察應用大數據工具捕捉罪犯；信用卡公司應用大數據工具來監控欺詐性交易等。預測分析已在商業和社會的各個方面中得到廣泛應用，隨著越來越多的數據被記錄和整理，未來預測分析必定會成為很多領域的關鍵技術。

數據不僅僅是信息時代的石油或者黃金，它更是血液，貫穿每個人一生中的各個階段。當前從醫療健康、金融、零售、廣告，到交通、教育、農業等領域，大數據與智能化已經滲透到幾乎每一個行業及業務職能，大數據已經從概念走向了價值。與此同時，數據將越來越開放，壟斷性的數據將越來越有價值；大數據安全逐漸得到重視，但個人敏感信息泄露事件也頻頻發生；大數據將催生一批新的工作崗位和相應的專業，同時也將終結一批傳統職業。大數據正從多方位改善我們的生活，為我們帶來機遇的同時也帶來了全新的挑戰。