淺析大數(shù)據(jù)的發(fā)展與應(yīng)用

胡雨欣

摘要：21世紀(jì)是數(shù)據(jù)信息大發(fā)展的時代，“大數(shù)據(jù)”時代已經(jīng)降臨，這是一場革命，龐大的數(shù)據(jù)資源使得各個領(lǐng)域開始了量化進(jìn)程，無論學(xué)術(shù)界、商界還是政府，所有領(lǐng)域都將開始這種進(jìn)程。大數(shù)據(jù)幫助人們開啟了循“數(shù)”管理的模式，也是我們當(dāng)下“大社會”的集中體現(xiàn)。

關(guān)鍵詞：大數(shù)據(jù) 云計算 數(shù)據(jù)隱私 智慧城市

一、前言

半個世紀(jì)以來，隨著計算機(jī)技術(shù)全面融入社會生活，信息爆炸已經(jīng)積累到了一個開始引發(fā)變革的程度?；ヂ?lián)網(wǎng)、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、GPS、醫(yī)學(xué)影像、安全監(jiān)控、金融、電信都在瘋狂產(chǎn)生著數(shù)據(jù)。大數(shù)據(jù)時代對人類的數(shù)據(jù)駕馭能力提出了新的挑戰(zhàn)，也為人們獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。

二、大數(shù)據(jù)的簡介

（一）大數(shù)據(jù)的定義

大數(shù)據(jù)（Big Data）是指需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。它對數(shù)據(jù)規(guī)模和傳輸速度要求很高，或者其結(jié)構(gòu)不適合原本的數(shù)據(jù)庫系統(tǒng)，因此超過了傳統(tǒng)數(shù)據(jù)庫系統(tǒng)處理的能力。

（二）大數(shù)據(jù)的4V特征

1.大量化（Volume）：數(shù)據(jù)體量巨大，從TB級別躍升到PB級別。

2.多樣化（Variety）：數(shù)據(jù)類型繁多，數(shù)據(jù)多樣性的增加主要是由新型多結(jié)構(gòu)數(shù)據(jù)，以及包括網(wǎng)絡(luò)日志、社交媒體、互聯(lián)網(wǎng)搜索、手機(jī)通話記錄及傳感器網(wǎng)絡(luò)等數(shù)據(jù)類型造成。

3.高速化（Velocity）：處理速度快，1秒定律，可從各種類型的數(shù)據(jù)中快速獲得高價值的信息，這一點也和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。

4.價值（Value）：只要合理利用數(shù)據(jù)并對其進(jìn)行正確、準(zhǔn)確的分析，將會帶來很高的價值回報。

三、全球各國大數(shù)據(jù)的發(fā)展現(xiàn)狀

美國希望利用大數(shù)據(jù)技術(shù)實現(xiàn)在多個領(lǐng)域的突破，包括科研教學(xué)、環(huán)境保護(hù)、工程技術(shù)、國土安全、生物醫(yī)藥等。擁有世界第二多人口的印度，近兩年也持續(xù)運用大數(shù)據(jù)，期許打造出一個更便利、更親民的智慧城市。日本在新一輪IT振興計劃中，將發(fā)展大數(shù)據(jù)作為國家戰(zhàn)略層面提出，重點關(guān)注大數(shù)據(jù)應(yīng)用技術(shù)。目前，全球至少擁有大大小小的數(shù)據(jù)開放網(wǎng)站50余個。

（一）歐盟大數(shù)據(jù)的發(fā)展

目前，歐盟及其成員國已經(jīng)明確制定大數(shù)據(jù)發(fā)展戰(zhàn)略，其在大數(shù)據(jù)方面的活動主要涉及以下四方面內(nèi)容：數(shù)據(jù)價值鏈戰(zhàn)略計劃；資助“大數(shù)據(jù)”和“開放數(shù)據(jù)”領(lǐng)域的研究和創(chuàng)新活動；實施開放數(shù)據(jù)政策；促進(jìn)公共資助科研實驗成果和數(shù)據(jù)的使用及再利用。

（二）亞洲大數(shù)據(jù)的發(fā)展

整體來說，相比歐洲，亞洲大數(shù)據(jù)發(fā)展相對落后，在大數(shù)據(jù)發(fā)展過程中，更多的還是探索學(xué)習(xí)階段。目前，亞洲的很多大數(shù)據(jù)公司都在海外進(jìn)行了相關(guān)市場開拓。未來，亞洲市場將有望成為大數(shù)據(jù)業(yè)務(wù)的主戰(zhàn)場。

四、全球大數(shù)據(jù)的市場與應(yīng)用

（一）全球大數(shù)據(jù)交易現(xiàn)狀

對于海量并且瞬息萬變的大數(shù)據(jù)來說，存儲已然不是最終目標(biāo)，如何從數(shù)據(jù)中獲得包括商業(yè)價值在內(nèi)的紅利，才是其真正的意義所在。

目前全球大數(shù)據(jù)企業(yè)主要分為兩大陣營。一部分屬于單純以大數(shù)據(jù)技術(shù)為核心的創(chuàng)新型公司，希望為市場帶來創(chuàng)新方案并推動技術(shù)發(fā)展。另有一些則是以數(shù)據(jù)庫/數(shù)據(jù)倉儲業(yè)務(wù)為主的知名公司，利用自身資源與技術(shù)優(yōu)勢地位沖擊大數(shù)據(jù)領(lǐng)域。

全球主要大數(shù)據(jù)企業(yè)有IBM、惠普公司、戴爾公司、Opower公司、Teradata公司、Oracle公司、微軟公司、亞馬遜公司、Google公司、SAP公司和EMC公司等。

（二）全球大數(shù)據(jù)市場規(guī)模

目前全球大數(shù)據(jù)總體加速發(fā)展趨勢不變且呈現(xiàn)出應(yīng)用成為新增長動力、競爭態(tài)勢愈加激烈、融資并購成為市場熱點、產(chǎn)業(yè)生態(tài)不斷優(yōu)化和基礎(chǔ)設(shè)施建設(shè)更加合理等特點，預(yù)計2020年全球大數(shù)據(jù)市場規(guī)模將達(dá)到1263.21億美元，大數(shù)據(jù)已成為全球IT支出新的增長點。

（三）全球大數(shù)據(jù)市場結(jié)構(gòu)及應(yīng)用領(lǐng)域

全球大數(shù)據(jù)市場結(jié)構(gòu)從壟斷競爭向完全競爭格局演化，企業(yè)數(shù)量迅速增多，產(chǎn)品和服務(wù)的差異度增大，技術(shù)門檻逐步降低，市場競爭越發(fā)激烈。全球大數(shù)據(jù)市場中，行業(yè)解決方案、計算分析服務(wù)、存儲服務(wù)、數(shù)據(jù)庫服務(wù)和大數(shù)據(jù)應(yīng)用為市場份額排名最靠前的細(xì)分市場。

（四）大數(shù)據(jù)的影響

大數(shù)據(jù)可以幫助人們開啟循“數(shù)”管理的模式，也是我們當(dāng)下“大社會”的集中體現(xiàn)：大數(shù)據(jù)促進(jìn)了政府職能變革；大數(shù)據(jù)能夠幫助我們打造“智慧城市”；大數(shù)據(jù)將促進(jìn)商業(yè)模式創(chuàng)新。

五、大數(shù)據(jù)的發(fā)展趨勢

大數(shù)據(jù)將成為重要戰(zhàn)略資源，與云計算深度融合，與此同時數(shù)據(jù)分析方法將發(fā)生變革，以數(shù)據(jù)為中心的解決方案與應(yīng)用將興起。網(wǎng)絡(luò)安全問題也將凸顯，數(shù)據(jù)隱私標(biāo)準(zhǔn)也會隨之出臺。

六、大數(shù)據(jù)發(fā)展的機(jī)遇和挑戰(zhàn)

大數(shù)據(jù)時代的來臨，除了推動現(xiàn)有的信息技術(shù)產(chǎn)業(yè)的改革創(chuàng)新，其對我們生產(chǎn)生活的方式也將產(chǎn)生重大影響。從個人視角來看，不管是日常工作中遇到的海量郵件或是從網(wǎng)上獲取的社交、購物、娛樂、學(xué)習(xí)、理財?shù)刃畔?，還是生活中最常見的手機(jī)存儲，大數(shù)據(jù)已經(jīng)滲透到我們?nèi)粘Ｉ畹姆椒矫婷?，極大地方便了我們的生活。對企業(yè)而言，互聯(lián)網(wǎng)公司已開始采用大數(shù)據(jù)來沖擊傳統(tǒng)行業(yè)，精準(zhǔn)營銷與大數(shù)據(jù)驅(qū)動的產(chǎn)品快速迭代，促進(jìn)企業(yè)商業(yè)模式創(chuàng)新。在社會公共服務(wù)方面，教育、醫(yī)療、交通等行業(yè)在大數(shù)據(jù)的影響下，出現(xiàn)了各種新的應(yīng)用：數(shù)據(jù)化、社交化的新媒體平臺、智能交通與城市數(shù)字監(jiān)管系統(tǒng)，以及病歷存儲調(diào)用的醫(yī)療云等。此外，政府還可以通過大數(shù)據(jù)來高效完成信息采集，這樣可優(yōu)化升級管理運營。

然而大數(shù)據(jù)在給我們展示前所未有的發(fā)展機(jī)遇的同時，也給國家信息安全、信息技術(shù)、人才等方面帶來了很大的挑戰(zhàn)。大數(shù)據(jù)讓大規(guī)模生產(chǎn)、分享和應(yīng)用數(shù)據(jù)成為可能，將信息存儲和管理集中化，這也使得我們一方面享受了“大數(shù)據(jù)”帶來的諸多便利，但另一方面無處不在的“第三只眼”卻在時刻監(jiān)控著我們的行動。面對大數(shù)據(jù)在信息安全方面存在的隱憂，我們在技術(shù)上要應(yīng)對其“大容量、多類別、高時效”的三大挑戰(zhàn)。在人才方面，無限增長的數(shù)據(jù)需要相應(yīng)增加IT人員，且專業(yè)化技術(shù)人才和管理人才的需求開始加大，而目前傳統(tǒng)的教育模式很難培養(yǎng)出這種既精通業(yè)務(wù)又能進(jìn)行大數(shù)據(jù)分析的人才，同時IT人員本身配備不足的現(xiàn)狀與迫切的人才需求矛盾會更加突出。

參考文獻(xiàn)：

[1]吳偉.海量存儲系統(tǒng)元數(shù)據(jù)管理的研究[D].華中科技大學(xué)，2010.

[2]任崇廣.面向海量數(shù)據(jù)處理領(lǐng)域的云計算及其關(guān)鍵技術(shù)研究[D].南京理工大學(xué)，2013.

[3]王乾.論大數(shù)據(jù)分析的方法論意義[D].武漢科技大學(xué)，2015.

[4]張?zhí)m廷.大數(shù)據(jù)的社會價值與戰(zhàn)略選擇[D].中共中央黨校，2014.

[5]王鈞超.大數(shù)據(jù)時代產(chǎn)業(yè)經(jīng)濟(jì)信息分析在宏觀決策中的應(yīng)用[D].中國地質(zhì)大學(xué)（北京），2016.