淺析大數(shù)據(jù)的應(yīng)用及發(fā)展

陸放++馬蒞杰

摘 要： 二十一世紀(jì)，數(shù)字地球、數(shù)字城市、物聯(lián)網(wǎng)、智慧校園不斷演繹信息化建設(shè)的一個(gè)又一個(gè)高潮。最近又有一個(gè)新的信息化熱詞閃亮登場(chǎng)，就是大數(shù)據(jù)。本文闡述了大數(shù)據(jù)的概念特點(diǎn)和應(yīng)用，并針對(duì)未來(lái)大數(shù)據(jù)發(fā)展趨勢(shì)提出了獨(dú)到的見解。

關(guān)鍵詞：大數(shù)據(jù) 應(yīng)用 發(fā)展

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1003-9082（2016）10-0012-01

一、大數(shù)據(jù)的應(yīng)用

1.大數(shù)據(jù)的概念

大數(shù)據(jù)是規(guī)模非常巨大和復(fù)雜的數(shù)據(jù)集，傳統(tǒng)數(shù)據(jù)庫(kù)管理工具處理起來(lái)面臨很多問(wèn)題，如獲取、存儲(chǔ)、檢索、共享、分析和可視化，數(shù)據(jù)量達(dá)到PB、EB和ZB的級(jí)別。

2.大數(shù)據(jù)的特點(diǎn)

2.1數(shù)據(jù)體量巨大。從TB級(jí)別，躍升到ZB級(jí)別。

2.2數(shù)據(jù)處理速度快。高速度的數(shù)據(jù)I/O，1秒定律，與傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。

2.3數(shù)據(jù)類型多樣化。包含網(wǎng)絡(luò)日志、視頻、圖片、音頻、地理位置信息等。

2.4數(shù)據(jù)價(jià)值大。以視頻為例，連續(xù)不間斷監(jiān)控過(guò)程中，可能有用的數(shù)據(jù)僅僅有一兩秒。

3.大數(shù)據(jù)的應(yīng)用

美國(guó)互聯(lián)網(wǎng)數(shù)據(jù)中心指出，互聯(lián)網(wǎng)上的數(shù)據(jù)每年將增長(zhǎng)50%，每?jī)赡陮⒎环?，而目前世界?0%以上的數(shù)據(jù)是最近幾年才產(chǎn)生的。此外，數(shù)據(jù)又非單純指人們?cè)诨ヂ?lián)網(wǎng)上發(fā)布的信息，全世界的工業(yè)設(shè)備、汽車、電表上有著無(wú)數(shù)的數(shù)碼傳感器，隨時(shí)測(cè)量和傳遞著有關(guān)位置、運(yùn)動(dòng)、震動(dòng)、溫度、濕度乃至空氣中化學(xué)物質(zhì)的變化，也產(chǎn)生了海量的數(shù)據(jù)信息。

數(shù)據(jù)充斥所帶來(lái)的影響遠(yuǎn)遠(yuǎn)超出了企業(yè)界。在科學(xué)和體育、廣告和公共衛(wèi)生等其他許多領(lǐng)域中，都在朝著數(shù)據(jù)驅(qū)動(dòng)型 的發(fā)現(xiàn)和決策的方向發(fā)生轉(zhuǎn)變。在公共衛(wèi)生、經(jīng)濟(jì)發(fā)展和經(jīng)濟(jì)預(yù)測(cè)等領(lǐng)域中，“大數(shù)據(jù)”的預(yù)見能力正在被開發(fā)中，而且已嶄露頭角。研究者發(fā)現(xiàn)，曾有一次他們發(fā)現(xiàn)“流感癥狀”和“流感治療”等詞匯在谷歌上的搜索查詢量增加，而在幾個(gè)星期以后，到某個(gè)地區(qū)醫(yī)院急診室就診的流感病人數(shù)量就有所增加。

4.大數(shù)據(jù)的戰(zhàn)略意義

大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息民，而在于對(duì)這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提高對(duì)數(shù)據(jù)的“加工能力”，通過(guò)“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。

二、大數(shù)據(jù)的發(fā)展

1.大數(shù)據(jù)對(duì)社會(huì)的影響

大數(shù)據(jù)用戶行為反映真實(shí)需求。簡(jiǎn)單來(lái)說(shuō)，從各種各樣的數(shù)據(jù)中快速獲取有價(jià)值的信息能力，即為大數(shù)據(jù)。大數(shù)據(jù)時(shí)代，軟件價(jià)值體現(xiàn)在帶來(lái)的數(shù)據(jù)規(guī)模、流量與活性；公司價(jià)值在于其擁有數(shù)據(jù)的規(guī)模、活性以及收集、運(yùn)用數(shù)據(jù)的能力，決定公司的核心競(jìng)爭(zhēng)力。以國(guó)家層面看，國(guó)家數(shù)據(jù)主權(quán)體現(xiàn)在對(duì)數(shù)據(jù)的占有和控制。數(shù)字主權(quán)將是繼邊防、海防、空防之后，另一個(gè)大國(guó)博弈的空間。

2.國(guó)際大數(shù)據(jù)發(fā)展現(xiàn)狀

大數(shù)據(jù)產(chǎn)業(yè)已成為全球高科技產(chǎn)業(yè)競(jìng)爭(zhēng)的前沿領(lǐng)域，以美國(guó)、日本、歐洲為代表的全球發(fā)達(dá)國(guó)家正在展開以大數(shù)據(jù)為核心的新一輪信息戰(zhàn)略。

2012年3月29日，美國(guó)政府啟動(dòng)“Big Data Research and Development Initiative”計(jì)劃，6個(gè)部門撥款2億美元，爭(zhēng)取增加100倍的分析能力從各種語(yǔ)言的文本中抽取信息。

英國(guó)政府也宣布投資1.89億英鎊推進(jìn)大數(shù)據(jù)和節(jié)能計(jì)算；法國(guó)政府在《數(shù)字化路線圖》中列出了五項(xiàng)將會(huì)大力支持的戰(zhàn)略性高新技術(shù)，將投入1150萬(wàn)歐元進(jìn)行支持，而“大數(shù)據(jù)”就是其中一項(xiàng)。

2013年6月，日本第二次安倍內(nèi)閣正式公布的新IT戰(zhàn)略--“創(chuàng)建最尖端IT國(guó)家宣言”。這篇宣言全面闡述了2013至2020年期間以發(fā)展開放公共大數(shù)據(jù)和大數(shù)據(jù)為核心日本新IT國(guó)家戰(zhàn)略。至此，全球掀起了一股大數(shù)據(jù)的浪潮。

3.國(guó)內(nèi)大數(shù)據(jù)發(fā)展趨勢(shì)

中國(guó)有著龐大的人群和應(yīng)用市場(chǎng)，復(fù)雜性高、充滿變化，如此龐大的用戶群體，構(gòu)成了世界上最為龐雜、最為繁復(fù)的數(shù)據(jù)。解決這種由大規(guī)模數(shù)據(jù)引起的問(wèn)題，探索以大數(shù)據(jù)為基礎(chǔ)的解決方案，是中國(guó)產(chǎn)為升級(jí)、效率提高的重要手段。

IDC發(fā)布的《中國(guó)大數(shù)據(jù)技術(shù)與服務(wù)市場(chǎng)2012-2016年預(yù)測(cè)與分析》顯示，中國(guó)大數(shù)據(jù)技術(shù)與服務(wù)市場(chǎng)規(guī)模將會(huì)從2011年的7760美元增長(zhǎng)到2016的6.17億美元，未來(lái)5年的復(fù)合增長(zhǎng)率達(dá)51.4%，市場(chǎng)規(guī)模增長(zhǎng)近7倍。

2012年中國(guó)大數(shù)據(jù)的產(chǎn)值達(dá)到120億美元。隨著從事數(shù)據(jù)的機(jī)構(gòu)和相關(guān)企業(yè)的增多，今后國(guó)內(nèi)數(shù)據(jù)采集成本也會(huì)降低。比如，基因數(shù)據(jù)庫(kù)分析的相關(guān)數(shù)據(jù)，5年前100萬(wàn)美元才可以買到，現(xiàn)在只要1000美元就足夠了。

目前來(lái)說(shuō)，我國(guó)的大數(shù)據(jù)開發(fā)以及應(yīng)用還僅僅局限在商業(yè)領(lǐng)域中，尤其以百度、阿里巴巴、騰訊、新浪為首的互聯(lián)網(wǎng)公司為代表。他們可以利用多年來(lái)積累的數(shù)據(jù)優(yōu)勢(shì)進(jìn)行自主開發(fā)。

三、大數(shù)據(jù)時(shí)代的機(jī)遇與挑戰(zhàn)

1.大數(shù)據(jù)的國(guó)家戰(zhàn)略

大數(shù)據(jù)不僅是企業(yè)競(jìng)爭(zhēng)和增長(zhǎng)的引擎，而且對(duì)于提高發(fā)達(dá)國(guó)家和發(fā)展中國(guó)家的生產(chǎn)率、創(chuàng)新能力和整體競(jìng)爭(zhēng)力都有著重要作用。在大數(shù)據(jù)中心建設(shè)上，應(yīng)將大數(shù)據(jù)管理上升到國(guó)家戰(zhàn)略層面，從國(guó)家戰(zhàn)略層面予以重視。特別要強(qiáng)調(diào)以下幾點(diǎn)。

第一政府要由責(zé)任部門牽頭進(jìn)行專項(xiàng)研究，從國(guó)家層面通盤考慮我國(guó)大數(shù)據(jù)發(fā)展的戰(zhàn)略。

第二大數(shù)據(jù)從數(shù)據(jù)生成、信息收集到數(shù)據(jù)的發(fā)布、分析和應(yīng)用，牽涉各個(gè)層面。目前，我國(guó)在數(shù)據(jù)的收集、使用上還存在一定的法律空白和欠缺，為保證大數(shù)據(jù)中心建設(shè)的持續(xù)健康發(fā)展，應(yīng)通過(guò)立法或立規(guī)，妥善處理政府、企業(yè)信息公開與公民隱私權(quán)利保護(hù)之間的矛盾，重點(diǎn)是推動(dòng)數(shù)據(jù)公開和加強(qiáng)隱私保護(hù)。

第三重視人才培養(yǎng)。在大數(shù)據(jù)處理環(huán)節(jié)中，數(shù)據(jù)人才是能否點(diǎn)燃大數(shù)據(jù)價(jià)值的關(guān)鍵。大數(shù)據(jù)時(shí)代更呼喚創(chuàng)新人才。中國(guó)能理解與應(yīng)用大數(shù)據(jù)的創(chuàng)新人才更是稀缺資源，這方面的人才缺口更大。

2.大數(shù)據(jù)的新時(shí)代挑戰(zhàn)

鑒于數(shù)據(jù)的復(fù)雜性，大數(shù)據(jù)處理面臨著一系列的新時(shí)代挑戰(zhàn)。比如在類似文本或視頻的非結(jié)構(gòu)化數(shù)據(jù)上，如何去理解及使用；該如何在數(shù)據(jù)產(chǎn)生時(shí)捕獲最重要的部分，并實(shí)時(shí)地將它交付給正確的人；鑒于當(dāng)下的數(shù)據(jù)體積和計(jì)算能力，該如何儲(chǔ)存、分析及理解這些數(shù)據(jù)；缺乏大數(shù)據(jù)專業(yè)人才；其他一固有的挑戰(zhàn)，如隱私、訪問(wèn)安全以及部署等。

總之，我國(guó)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展需要政府倡導(dǎo)、扶持。政府需要身先士卒，政府才是大數(shù)據(jù)的最大客戶。政府帶頭，才能帶動(dòng)我國(guó)大數(shù)據(jù)健康快速發(fā)展。所以我們應(yīng)緊跟國(guó)際科技新時(shí)代，盡快實(shí)施大數(shù)據(jù)國(guó)家戰(zhàn)略，提前做好準(zhǔn)備，才能在這新一輪的大數(shù)據(jù)之戰(zhàn)中處于有利地位，實(shí)現(xiàn)經(jīng)濟(jì)新增長(zhǎng)。