大數(shù)據(jù)時代正式到來

大數(shù)據(jù)是近兩年最熱門IT概念之一。

進(jìn)入2012年以來，這個領(lǐng)域的風(fēng)潮逐漸從專業(yè)IT人士和數(shù)據(jù)分析師，擴(kuò)散到所有關(guān)注科技、互聯(lián)網(wǎng)以及營銷領(lǐng)域的人群中，甚至還包括政界人士。而2013年，也被許多國外媒體和專家稱為“大數(shù)據(jù)元年”，如此看來，2012年應(yīng)該是大數(shù)據(jù)正式啟蒙之年，而一系列標(biāo)志性事件的發(fā)生和建立，讓人們越發(fā)感覺到大數(shù)據(jù)時代的力量。

回到2012年2月，《華爾街日報》發(fā)表文章《科技變革即將引領(lǐng)新的經(jīng)濟(jì)繁榮》，文中罕見地做出大膽預(yù)見：“我們再次處于三場宏大技術(shù)變革的開端，它們可能足以匹敵20世紀(jì)的那場變革，這三場變革的震中都在美國，他們分別是大數(shù)據(jù)、智能制造和無線網(wǎng)絡(luò)革命。”

在中國硅谷之稱的中關(guān)村，大數(shù)據(jù)產(chǎn)業(yè)已經(jīng)納入《中關(guān)村戰(zhàn)略性新興產(chǎn)業(yè)集群創(chuàng)新引領(lǐng)工程（2013-2015年）》，將開展云運(yùn)營和大數(shù)據(jù)示范應(yīng)用，建設(shè)云計算應(yīng)用支撐平臺、虛擬化平臺，支持開展海量數(shù)據(jù)存儲、數(shù)據(jù)挖掘和分析等技術(shù)的行業(yè)應(yīng)用，以及大規(guī)模云運(yùn)營服務(wù)和大數(shù)據(jù)挖掘服務(wù)。甚至2012年12月13日被命名為首個“中關(guān)村大數(shù)據(jù)日”，中關(guān)村示范區(qū)接連成立大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟、發(fā)布三支產(chǎn)業(yè)投資基金，支持中國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展。

這并不稀奇。事實(shí)上美國奧巴馬政府已經(jīng)把“大數(shù)據(jù)”上升到了國家戰(zhàn)略的層面。今年3月，奧巴馬政府宣布投資2億美元啟動“大數(shù)據(jù)研究和發(fā)展計劃”，希望增強(qiáng)收集海量數(shù)據(jù)、分析萃取信息的能力。另據(jù)一份報告顯示，英國政府通過高效使用公共大數(shù)據(jù)（Big Data）每年可節(jié)省330億英鎊。這個數(shù)字相當(dāng)于英國每人每年節(jié)省500英鎊。事實(shí)上在國家層面，大數(shù)據(jù)已經(jīng)成為繼邊防、海防、空防之后，第四個大國博弈的空間。

一個關(guān)于大數(shù)據(jù)價值的核心的邏輯是，這種背景下，在商業(yè)、經(jīng)濟(jì)、政府及其他領(lǐng)域中，決策行為將日益基于數(shù)據(jù)和分析而作出，而并非基于經(jīng)驗和直覺；而在公共衛(wèi)生、經(jīng)濟(jì)預(yù)測等領(lǐng)域中，“大數(shù)據(jù)”的預(yù)見能力也已經(jīng)嶄露頭角。

數(shù)據(jù)商業(yè)與技術(shù)爆發(fā)

關(guān)于大數(shù)據(jù)領(lǐng)域最經(jīng)典的案例再也不是老掉牙的“啤酒與尿布”，而是來自一位美國少女。

今年年初，美國一名男子闖入了他家附近的Target店鋪（美國一家零售連鎖超市）。“你們怎么能這樣！”男人向店鋪經(jīng)理大吼到，“你們竟然給我17歲的女兒發(fā)嬰兒尿片和童車的優(yōu)惠券，她才17歲啊！”店鋪經(jīng)理不知道發(fā)生了什么，立刻向來者道歉，表明那肯定是個誤會。然而，經(jīng)理沒有意識到，公司正在運(yùn)行一套大數(shù)據(jù)系統(tǒng)。但高潮是，一個月后，這個憤怒的父親打來電話道歉，因為Target發(fā)來的嬰兒用品促銷廣告并不是誤發(fā)，他的女兒的確懷孕了。

在這個案例中我們看到，數(shù)據(jù)的力量，不僅讓商家提升了自己的業(yè)績，還讓客戶為之心甘情愿買單。據(jù)報道，Target創(chuàng)建了一套女性購買行為在懷孕期間產(chǎn)生變化的模型，不僅如此，如果用戶從他們的店鋪中購買了嬰兒用品，Target在接下來的幾年中會根據(jù)嬰兒的生長周期情況定期給這些顧客推送相關(guān)產(chǎn)品，使這些客戶形成長期的忠誠度。

事實(shí)上在商業(yè)零售領(lǐng)域，諸如沃爾瑪、Tesco等巨頭已從數(shù)據(jù)中獲得了巨大的利益，也因此鞏固了自己在業(yè)界的長盛不衰。

在互聯(lián)網(wǎng)行業(yè)中，大數(shù)據(jù)更是為電商、廣告商們提供了豐厚的回報。雅虎于 2008 年初便開始啟用大數(shù)據(jù)技術(shù)，每天分析超過 200PB 的數(shù)據(jù)，使得雅虎的服務(wù)變得更人性化，更貼近用戶和客戶。它與雅虎 IT 系統(tǒng)的方方面面進(jìn)行協(xié)作，包括搜索、廣告、用戶體驗和欺詐發(fā)現(xiàn)等。AOL 也設(shè)立了 300 節(jié)點(diǎn)的服務(wù)器集群，將在其下屬系列網(wǎng)站（如 AOL.com、Huffington Post、MapQuest 等）中每天 500TB 的用戶瀏覽信息收集起來，分析和預(yù)測這些用戶的行為，以便有針對性的為每個月 1.8 億獨(dú)立用戶進(jìn)行個性化廣告服務(wù)。

當(dāng)然，視數(shù)據(jù)為生命的不僅限于這些每天產(chǎn)生海量數(shù)據(jù)的零售和互聯(lián)網(wǎng)行業(yè)，在生物醫(yī)藥、運(yùn)動產(chǎn)品、能源甚至政務(wù)領(lǐng)域，數(shù)據(jù)越來越成為最不可或缺的價值。而支持其被后爆發(fā)的，則是大數(shù)據(jù)技術(shù)的迅猛發(fā)展。

一方面，數(shù)據(jù)量的爆發(fā)增長和數(shù)據(jù)結(jié)構(gòu)的多樣性，使得傳統(tǒng)的關(guān)系型數(shù)據(jù)庫技術(shù)已無法滿足這些需求，但上世紀(jì)末出現(xiàn)的NoSQL技術(shù)一開始并未得到廣泛應(yīng)用，直到2009年，在搜索引擎、社交網(wǎng)絡(luò)等互聯(lián)網(wǎng)應(yīng)用盛行使得數(shù)據(jù)量迅猛增加后，才開始為人們所重視并投入使用。發(fā)展到今天，NoSQL技術(shù)已經(jīng)形成了一系列不同用途的數(shù)據(jù)庫管理系統(tǒng)，

2004年初，Google開始研發(fā)BigTable非關(guān)系型數(shù)據(jù)庫系統(tǒng)，它是建立在Google文件系統(tǒng)之上的一種壓縮的、高擴(kuò)展的數(shù)據(jù)庫技術(shù)，可以讓Google對于自身新增業(yè)務(wù)處理進(jìn)行低成本的擴(kuò)展。而BigTable這一模型，啟發(fā)了眾多“后來者”的數(shù)據(jù)技術(shù)。目前最為火熱的Hadoop便是其中一員。這個由雅虎的前員工Doug Cutting（現(xiàn)任職于Cloudera公司）最初負(fù)責(zé)開發(fā)的項目，已成為大數(shù)據(jù)行業(yè)的技術(shù)中心。

在Hadoop生態(tài)中，2008年成立的Cloudera是最早將其商用的公司，它為合作伙伴提供Hadoop的商用解決方案，其中包括IBM、甲骨文（Oracle）、微軟、EMC、Teradata等行業(yè)領(lǐng)先的數(shù)據(jù)解決方案提供商，使得NoSQL技術(shù)成為現(xiàn)存SQL數(shù)據(jù)解決方案的強(qiáng)有力補(bǔ)充；同時IBM、SAP、EMC等巨頭也紛紛推出相應(yīng)產(chǎn)品，來適應(yīng)其客戶數(shù)據(jù)業(yè)務(wù)的爆發(fā)增長。時至今日，Hadoop技術(shù)以及被廣泛應(yīng)用了各大互聯(lián)網(wǎng)公司，這個名單包括Facebook、亞馬遜、蘋果、AOL、Ebay、Twitter、Netflix、淘寶、百度等等。

數(shù)據(jù)資產(chǎn)與“金融風(fēng)暴”

在今年年初的瑞士達(dá)沃斯論壇上，一份題為《大數(shù)據(jù)，大影響》（BigData，BigImpact）的報告宣稱，數(shù)據(jù)已經(jīng)成為一種新的經(jīng)濟(jì)資產(chǎn)類別，就像貨幣或黃金一樣。在這個邏輯下，在大數(shù)據(jù)時代，傳統(tǒng)的商業(yè)思想正在被顛覆。

在過去，衡量企業(yè)最重要的資產(chǎn)無外乎土地、流動資金和人才等幾個要素，如今，數(shù)據(jù)作為企業(yè)一項更加重要的資產(chǎn)將直接關(guān)系到企業(yè)的發(fā)展?jié)摿Α＿@意味著，在完成對企業(yè)智商和核心資產(chǎn)的重塑之后，數(shù)據(jù)資產(chǎn)正在當(dāng)仁不讓地成為現(xiàn)代商業(yè)社會的核心競爭力。

但大數(shù)據(jù)時代數(shù)據(jù)本身的資產(chǎn)價值也許還不止于此。

國內(nèi)資深I(lǐng)T人士、大數(shù)據(jù)研究專家謝文撰文稱，大數(shù)據(jù)將逐漸成為現(xiàn)代社會的基礎(chǔ)設(shè)施的一部分，和公路，鐵路，港口，水電，通訊網(wǎng)絡(luò)一樣不可或缺。謝文表示，就其價值特性而言，大數(shù)據(jù)卻和這些物理化的基礎(chǔ)設(shè)施不同，不會因為人們的使用而折舊和貶值。例如，一組DNA可能會死亡或毀滅，但數(shù)據(jù)化的DNA卻永存。所以，舍恩伯格贊同許多物理學(xué)家的看法，世界的本質(zhì)就是數(shù)據(jù)。謝文認(rèn)為，大數(shù)據(jù)時代的經(jīng)濟(jì)學(xué)、政治學(xué)、社會學(xué)和許多科學(xué)門類會發(fā)生巨大的甚至是本質(zhì)上的變化和發(fā)展，進(jìn)而影響人類的價值體系，知識體系和生活方式。

2011 年 11 月，曾投資Facebook、DropBox、Cloudera、沃爾瑪?shù)?00多家公司的硅谷著名風(fēng)投機(jī)構(gòu)阿克塞爾合伙人公司（Accel Partners），宣布成立一個金額 1 億美金的大數(shù)據(jù)基金，專注于投資兩種類型的數(shù)據(jù)創(chuàng)業(yè)公司：建設(shè)包括存儲、安全和管理在內(nèi)的新型架基礎(chǔ)構(gòu)類公司，以及在基礎(chǔ)架構(gòu)之上進(jìn)行如 BI、行業(yè)應(yīng)用、移動應(yīng)用等開發(fā)的公司。

事實(shí)上從2008年起，美國IT領(lǐng)域有關(guān)數(shù)據(jù)服務(wù)相關(guān)的投資、收購案例開始迅速爆發(fā)，總價值超過千億美元，包括SAP、IBM、EMC、甲骨文等IT巨頭都在這個領(lǐng)域下了重注。而在2012年資本寒冬期，大數(shù)據(jù)成為唯一一個綠意盎然的領(lǐng)域。今年 4 月，成立于 2003 年的數(shù)據(jù)軟件公司Splunk在納斯達(dá)克以16億美元的市值上市，更是給大數(shù)據(jù)行業(yè)打了一管興奮劑。

人才市場的動向也頗具說服力。根據(jù)麥肯錫旗下研究部門麥肯錫全球?qū)W會（McKinsey Global Institute）2011年發(fā)布的一份報告顯示，預(yù)計美國需要14萬-19萬名擁有“深度分析”專長的工作者，以及150萬名更加精通數(shù)據(jù)的經(jīng)理人，無論是已退休人士還是已受聘人士。而Gartner近期一份報告則預(yù)測，由于大數(shù)據(jù)熱潮的出現(xiàn)，全球大約會新增440萬個IT職位，這個數(shù)字十分驚人，但“不是所有需求都會滿足，數(shù)據(jù)分析人才缺口仍然很大。”

數(shù)據(jù)價值與預(yù)測未來

全球范圍來看，大數(shù)據(jù)體現(xiàn)的巨大經(jīng)濟(jì)價值，成功地獲得了金融界和政界的親睞。

據(jù)麥肯錫報道，大數(shù)據(jù)為美國的醫(yī)療服務(wù)業(yè)每年節(jié)省3000億美元，為歐洲的公共部門管理每年節(jié)省2500億歐元，為全球個人位置數(shù)據(jù)服務(wù)提供商貢獻(xiàn)1000億美元，幫助美國零售業(yè)凈利潤增長60％，幫助制造業(yè)在產(chǎn)品開發(fā)、組裝等環(huán)節(jié)節(jié)省50%的成本。

此外，全新的、更具競爭力的商業(yè)智能服務(wù)，這也是大數(shù)據(jù)最為吸引人的地方之一。傳統(tǒng)數(shù)據(jù)倉庫的性能已無法應(yīng)付龐大的信息，但是大數(shù)據(jù)（Big Data）技術(shù)使我們能夠訪問和使用這些寶貴的、大規(guī)模數(shù)據(jù)集以應(yīng)對越來越復(fù)雜的數(shù)據(jù)分析和更好的商業(yè)決策制定——大數(shù)據(jù)將改變商業(yè)智能 （BI）的布局，并能為企業(yè)提供一種有價值的數(shù)據(jù)源，這在當(dāng)下已經(jīng)成為了一種趨勢。

在此之上，則是關(guān)于“預(yù)測未來”的想象空間，但這并非神話——全球復(fù)雜網(wǎng)絡(luò)權(quán)威巴拉巴西則認(rèn)為，人類行為93%是可以預(yù)測的。

一個經(jīng)典的“預(yù)測未來”案例來自在數(shù)據(jù)領(lǐng)域久負(fù)名氣的ParAccel。它最成功的案例之一是向美國執(zhí)法機(jī)構(gòu)提供數(shù)據(jù)分析能力——ParAccel通過了一些渠道獲得不少犯罪數(shù)據(jù)，并對15000個有犯罪前科的人進(jìn)行跟蹤，從而向執(zhí)法機(jī)構(gòu)提供了參考性較高的犯罪預(yù)測。所以ParAccel也被成為“犯罪的預(yù)言者”。

5月18日Facebook上市時，社交媒體監(jiān)測平臺DataSift宣布：Twitter上每一次情感傾向的轉(zhuǎn)向都會影響Facebook股價的波動，延遲情況只有幾分鐘到20多分鐘——它成功預(yù)測Facebook上市當(dāng)天股價的走勢。

另一個“恐怖”的斷言是：“大數(shù)據(jù)”所能帶來的巨大商業(yè)價值，將引領(lǐng)一場足以匹敵20世紀(jì)計算機(jī)革命的巨大變革——這個結(jié)論并沒得到所有人的認(rèn)可，但似乎沒人否認(rèn)，2012年，大數(shù)據(jù)時代已經(jīng)“降臨”。