大數(shù)據(jù)綜述

陳強

摘要：當下我們已經(jīng)進入了大數(shù)據(jù)時代，大數(shù)據(jù)與我們的日常生活息息相關(guān)。本文介紹了常見的大數(shù)據(jù)分析方法，大數(shù)據(jù)如何收集處理數(shù)據(jù)，以及大數(shù)據(jù)以直觀有價值的信息呈現(xiàn)的可視化，最后本文分析了大數(shù)據(jù)發(fā)展過程中的機遇與挑戰(zhàn)

關(guān)鍵詞：大數(shù)據(jù)、數(shù)據(jù)可視化、大數(shù)據(jù)分析算法

一、大數(shù)據(jù)的介紹

隨著社會的發(fā)展，如今我們已經(jīng)進入了互聯(lián)網(wǎng)時代，[1]圖靈獎的獲得者杰姆·格雷（Jim Gray）提出了著名的摩爾定律即每十八個月全球新增的信息量時有史以來所有信息的總和，我們在進入互聯(lián)網(wǎng)時代的同時也進入了大數(shù)據(jù)時代。在傳統(tǒng)的生產(chǎn)方式下，數(shù)據(jù)的記錄是通過人工記錄下來的。人們進入信息時代后，數(shù)據(jù)的產(chǎn)生是自動化的。[2]大數(shù)據(jù)的產(chǎn)生伴隨著4V+1C地特征。（1）數(shù)據(jù)量大（Volume）：存儲數(shù)據(jù)的特別巨大，在大數(shù)據(jù)時代數(shù)據(jù)的數(shù)量級PB級是常態(tài)。（2）多樣（Variety）：大數(shù)據(jù)時代數(shù)據(jù)來源不同于傳統(tǒng)的數(shù)據(jù)收集，數(shù)據(jù)的來源多種多樣數(shù)據(jù)的格式也非常多，除了傳統(tǒng)地結(jié)構(gòu)化數(shù)據(jù)之外，還有半結(jié)構(gòu)化以及非結(jié)構(gòu)化數(shù)據(jù)，此外，隨著人類活動的擴展和科學(xué)技術(shù)的發(fā)展，數(shù)據(jù)的格式將會更加多樣（3）快速（Velocity）：當下的數(shù)據(jù)增長速度非常快，并且越新的數(shù)據(jù)價值越大（4）價值密度低（Value）：大數(shù)據(jù)環(huán)境下收集的信息多種多樣，有實際價值的數(shù)據(jù)比例較低，需要對收集的數(shù)據(jù)進行處理，通過數(shù)據(jù)分析處理挖掘數(shù)據(jù)中的價值，因此，在大數(shù)據(jù)環(huán)境下需要一種成本可接受的條件下，在通過分析和發(fā)現(xiàn)，從大量的數(shù)據(jù)中提取數(shù)據(jù)價值。

二、大數(shù)據(jù)的分析方法

在當下流行的大數(shù)據(jù)應(yīng)用中，關(guān)鍵的問題在于如何使用統(tǒng)一的數(shù)學(xué)模型去表示數(shù)據(jù)以便進行數(shù)據(jù)挖掘和分析任務(wù)，對于不同的表示格式，處理起來十分繁瑣，所以需要對大數(shù)據(jù)的可行性與實用性進行分析。

2.1統(tǒng)計分析

在大數(shù)據(jù)的時代，快速進步的大型數(shù)據(jù)倉庫與算法，數(shù)據(jù)挖掘的也越來越重要，對數(shù)據(jù)進行數(shù)據(jù)挖掘會使分析結(jié)果比傳統(tǒng)的抽樣統(tǒng)計更加可靠。在傳統(tǒng)的統(tǒng)計學(xué)領(lǐng)域也更新觀念，學(xué)習(xí)大數(shù)據(jù)時代下的統(tǒng)計學(xué)，創(chuàng)造出適合大數(shù)據(jù)環(huán)境下的統(tǒng)計方法。大數(shù)據(jù)時代的統(tǒng)計學(xué)特點對抽樣分析的方法提出了巨大挑戰(zhàn)，對抽樣分析得到的結(jié)果是否具有代表性是否具有可靠性提出質(zhì)疑。

在如今的大數(shù)據(jù)時代下，傳統(tǒng)的統(tǒng)計分析應(yīng)該轉(zhuǎn)換方法，統(tǒng)計方法應(yīng)該與時俱進。當下的科學(xué)技術(shù)飛速發(fā)展，如何使用統(tǒng)計學(xué)原理對已經(jīng)儲備的大量數(shù)據(jù)進行全樣本的分析，應(yīng)該作為大數(shù)據(jù)時代統(tǒng)計分析的切入點。

使用大數(shù)據(jù)分析當下各個產(chǎn)業(yè)的經(jīng)濟價值，已經(jīng)開始涉及到社會的許多方面了。同時，大數(shù)據(jù)的快速發(fā)展也對包括統(tǒng)計學(xué)在內(nèi)的諸多傳統(tǒng)領(lǐng)域發(fā)出了挑戰(zhàn)，傳統(tǒng)的醫(yī)學(xué)領(lǐng)域也要迎來大數(shù)據(jù)與人工智能的結(jié)合對疾病診斷預(yù)測的挑戰(zhàn)。

2.2數(shù)據(jù)挖掘

近些年來互聯(lián)網(wǎng)爆炸式發(fā)展，移動互聯(lián)網(wǎng)更是深入千家萬戶，在大數(shù)據(jù)的時代下，數(shù)據(jù)存儲PB級別是常態(tài)，摩爾定律顯示每年的數(shù)據(jù)以百分之七十的速度增長。如何從現(xiàn)有的數(shù)據(jù)中挖掘出數(shù)據(jù)的潛在價值是人們當下面對的一個巨大挑戰(zhàn)。

2.21數(shù)據(jù)挖掘的定義

[3]數(shù)據(jù)挖掘是對現(xiàn)有的數(shù)據(jù)庫已經(jīng)收集的數(shù)據(jù)信息分析處理提取隱含的有價值信息，并在處理后將其轉(zhuǎn)換為其他系統(tǒng)方便使用的結(jié)構(gòu)。其主要的特點是收集的數(shù)據(jù)庫數(shù)據(jù)進行抽取、處理、分析得到的結(jié)果最后再進行模型化處理，對得到的模型輔助商業(yè)決策。數(shù)據(jù)挖掘?qū)Ω鱾€鄰域都可以提取潛在對社會發(fā)展有意義的信息。

2.3數(shù)據(jù)可視化

在大數(shù)據(jù)時代到來之前在各個鄰域就已經(jīng)有了相應(yīng)的數(shù)據(jù)可視化過程，但是如果將傳統(tǒng)的數(shù)據(jù)可視化技術(shù)應(yīng)用于大數(shù)據(jù)，在有效性與效率方面面臨巨大問題，如何將傳統(tǒng)的數(shù)據(jù)可視化技術(shù)與現(xiàn)在大數(shù)據(jù)環(huán)境結(jié)合是一個非常值得深入研究的方向。

2.3.1分布式并行可視化算法

在大數(shù)據(jù)時代之前，各個領(lǐng)域?qū)⒖梢暬惴☉?yīng)用在較小規(guī)模地計算機集群中，其規(guī)模一般在幾百個計算節(jié)點，但是在大數(shù)據(jù)環(huán)境下實際需要的節(jié)點應(yīng)該在數(shù)千個以上乃至上萬個計算節(jié)點，才能滿足大數(shù)據(jù)的規(guī)模

2.3.2可視化的分析算法

大數(shù)據(jù)的可視化首先要考慮的就是龐大的數(shù)據(jù)規(guī)模，其次高效的算法可以減少許多運算量從而減少大量計算時間。再得到結(jié)果后也需要將結(jié)果以新穎、有價值的方式傳遞給用戶。用戶的需求以及偏好各不相同需要將自動學(xué)習(xí)算法合理使用，這樣可視化并且滿足用戶需求的輸出具有高度的適應(yīng)性。[4]可視化算法具有大量的控制參數(shù)搜索空間，可以減少探索以及數(shù)據(jù)分析的成本并且降低這個過程的難度。

三、大數(shù)據(jù)處理流程

3.1數(shù)據(jù)采集

傳統(tǒng)的數(shù)據(jù)收集不能滿足大數(shù)據(jù)環(huán)境下的數(shù)據(jù)量，大數(shù)據(jù)的收集需要借助傳感器或者專業(yè)的軟件采集和處理收集到的數(shù)據(jù)，從而把收集到的數(shù)據(jù)轉(zhuǎn)換為有價值的數(shù)據(jù)，再通過數(shù)據(jù)挖掘變?yōu)橹庇^的有價值的信息呈現(xiàn)到用戶眼前。

3.2數(shù)據(jù)分析與挖掘

大數(shù)據(jù)存儲的數(shù)量級巨大，處理大數(shù)據(jù)的系統(tǒng)需要強大的存儲、傳輸數(shù)據(jù)、處理數(shù)據(jù)的能力。傳統(tǒng)的硬件設(shè)施價格十分昂貴，云計算平臺將實體的計算機資源和計算資源虛擬化，用戶按需請求分配，大大降低了大數(shù)據(jù)處理的商業(yè)化成本。

四、大數(shù)據(jù)面臨的挑戰(zhàn)

現(xiàn)在我們已經(jīng)進入了大數(shù)據(jù)時代，大數(shù)據(jù)經(jīng)歷了預(yù)期膨脹階段、資本炒作階段現(xiàn)如今正在轉(zhuǎn)入理性發(fā)展和大數(shù)據(jù)落地應(yīng)用的時期，社會也對大數(shù)據(jù)有了初步的理性認知。未來大數(shù)據(jù)還面臨以下諸多挑戰(zhàn)。各個企業(yè)政府部分之間收集各自的數(shù)據(jù)，相互之間數(shù)據(jù)不連通，導(dǎo)致企業(yè)內(nèi)部數(shù)據(jù)孤島，大數(shù)據(jù)的價值不能充分利用；各個行業(yè)對本行業(yè)數(shù)據(jù)收集沒有統(tǒng)一規(guī)范，數(shù)據(jù)可用性低，數(shù)據(jù)質(zhì)量低，數(shù)據(jù)處理分析十分復(fù)雜；數(shù)據(jù)安全意識低下，數(shù)據(jù)泄露風(fēng)險高；用戶的個人隱私與大數(shù)據(jù)有沖突相關(guān)法律法規(guī)不完善.

參考文獻：

[1] 王萬森. 人工智能原理及其應(yīng)用[ M] . 北京： 電子工業(yè)出版社， 2002.

[2] 陳良臣.大數(shù)據(jù)可視分析的若干關(guān)鍵技術(shù)研究[J].數(shù)字技術(shù)與應(yīng)用，2015（11）：98.

[3] 楊杰，胡英，全勇. 結(jié)合數(shù)據(jù)融合和數(shù)據(jù)挖掘技術(shù)的信息智能處理平臺[ J] .高技術(shù)通信.2003.（1）

[4] 吉根林，帥克， 孔志揮. 數(shù)據(jù)挖掘技術(shù)及其應(yīng)用 [ J] .南京師大 學(xué)報（自然科學(xué)版）.2000.（2）.

[5] Alexandros Labrinidis，H.V.Jagadish.Challenges and opportunities with big data[J].Proceedings of the VLDB Endowment，2012，5（12）：2032-2033.