大數(shù)據(jù)競(jìng)爭(zhēng)前沿動(dòng)態(tài)

大數(shù)據(jù)以其“淺顯易懂”的概念和巨大的應(yīng)用前景，正成為繼云計(jì)算、物聯(lián)網(wǎng)之后信息技術(shù)領(lǐng)域的又一熱點(diǎn)。為把握大數(shù)據(jù)帶來(lái)的新機(jī)遇，需要全面深入地理解大數(shù)據(jù)，并在此基礎(chǔ)上推動(dòng)大數(shù)據(jù)發(fā)展與應(yīng)用。

大數(shù)據(jù)在當(dāng)前為何受到前所未有的重視

大數(shù)據(jù)的概念并非近期才出現(xiàn)。20世紀(jì)90年代初，數(shù)據(jù)倉(cāng)庫(kù)之父比爾·恩門(mén)就對(duì)此津津樂(lè)道。2005年，約翰·韋伯斯特和克里斯·斯塔庫(kù)提斯聯(lián)合撰寫(xiě)的書(shū)籍《無(wú)所不包的數(shù)據(jù)》中，講述了大規(guī)模收集數(shù)據(jù)如何改變企業(yè)的業(yè)務(wù)和人們的生活。但受限于當(dāng)時(shí)的信息技術(shù)水平，大數(shù)據(jù)的理念未能真正落地。之所以大數(shù)據(jù)在當(dāng)前受到前所未有的重視，歸納起來(lái)有三方面原因。

首先，大數(shù)據(jù)已成為一種普遍現(xiàn)象。全球的數(shù)據(jù)總量正呈指數(shù)增長(zhǎng)，過(guò)去3年間產(chǎn)生的數(shù)據(jù)量超過(guò)以往總和。2011年，全球被創(chuàng)建和被復(fù)制的數(shù)據(jù)總量達(dá)1.8ZB；預(yù)計(jì)2020年將增至35.2ZB。同時(shí)，企業(yè)級(jí)用戶的數(shù)據(jù)擁有量快速增長(zhǎng)，搜索引擎企業(yè)百度擁有的數(shù)據(jù)總量已達(dá)到100PB，每天要處理30PB的數(shù)據(jù)量；電子商務(wù)網(wǎng)站淘寶每天的活躍數(shù)據(jù)量已經(jīng)超過(guò)50TB。隨著移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等的迅速發(fā)展，新的數(shù)據(jù)源將不斷出現(xiàn)，GPS、傳感器等數(shù)據(jù)會(huì)持續(xù)、大量產(chǎn)生。而數(shù)據(jù)產(chǎn)生成本、獲取成本、存儲(chǔ)成本和處理成本的下降，也推動(dòng)了數(shù)據(jù)體量的膨脹。

其次，發(fā)展大數(shù)據(jù)已成為經(jīng)濟(jì)增長(zhǎng)的重要途徑。麥肯錫全球研究院于2011年6月發(fā)布題為《大數(shù)據(jù)：下一個(gè)創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的前沿》的研究報(bào)告，提出“大數(shù)據(jù)時(shí)代已經(jīng)到來(lái)”，并指出，數(shù)據(jù)正成為與物質(zhì)資產(chǎn)和人力資本相提并論的重要生產(chǎn)要素，大數(shù)據(jù)的使用將成為未來(lái)提高競(jìng)爭(zhēng)力、生產(chǎn)力、創(chuàng)新能力以及創(chuàng)造消費(fèi)者盈余的關(guān)鍵要素，成為領(lǐng)軍企業(yè)與其他企業(yè)之間最顯著的差別。與之相呼應(yīng)，各類(lèi)企業(yè)也越來(lái)越重視對(duì)規(guī)模化數(shù)據(jù)的分析和使用。電信、金融等行業(yè)已經(jīng)達(dá)到“數(shù)據(jù)就是業(yè)務(wù)本身”的發(fā)展階段；社交媒體、電子商務(wù)、云計(jì)算、物聯(lián)網(wǎng)等新應(yīng)用的興起，要求企業(yè)不能再僅對(duì)價(jià)值鏈單個(gè)環(huán)節(jié)的數(shù)據(jù)進(jìn)行分析。這種情況下，企業(yè)用戶迫切需要借助大數(shù)據(jù)戰(zhàn)略，更為全面地了解運(yùn)營(yíng)情況及運(yùn)營(yíng)環(huán)境，獲得更多經(jīng)濟(jì)價(jià)值。

第三，發(fā)展大數(shù)據(jù)已成為國(guó)家發(fā)展的重要戰(zhàn)略。2012年3月，美國(guó)奧巴馬政府宣布“大數(shù)據(jù)的研究和發(fā)展計(jì)劃”，涉及6個(gè)聯(lián)邦政府部門(mén)，承諾投資超過(guò)2億美元。如此興師動(dòng)眾，是因?yàn)槊绹?guó)政府認(rèn)為大數(shù)據(jù)技術(shù)事關(guān)美國(guó)國(guó)家安全、科學(xué)和研究的步伐。美國(guó)對(duì)大數(shù)據(jù)的重視引發(fā)了世界各國(guó)的廣泛關(guān)注，各國(guó)均認(rèn)為，未來(lái)國(guó)家層面的競(jìng)爭(zhēng)力將部分體現(xiàn)為一國(guó)擁有數(shù)據(jù)的規(guī)模、活性以及解釋、運(yùn)用的能力，數(shù)字主權(quán)將成為繼邊防、海防、空防之后另一個(gè)大國(guó)博弈的空間。美國(guó)奧巴馬政府宣布投資大數(shù)據(jù)領(lǐng)域，是大數(shù)據(jù)從商業(yè)行為上升到國(guó)家戰(zhàn)略的分水嶺，表明大數(shù)據(jù)正式提升到戰(zhàn)略層面，大數(shù)據(jù)在經(jīng)濟(jì)社會(huì)各個(gè)層面、各個(gè)領(lǐng)域都開(kāi)始受到重視。

大數(shù)據(jù)的內(nèi)涵應(yīng)當(dāng)是數(shù)據(jù)、技術(shù)與應(yīng)用三者的統(tǒng)一

盡管“大數(shù)據(jù)”一詞已被廣泛使用和討論，但目前尚無(wú)統(tǒng)一的定義，不同廠商、不同用戶，所處角度不同，對(duì)大數(shù)據(jù)的理解也不一樣。全面來(lái)看，大數(shù)據(jù)應(yīng)當(dāng)是數(shù)據(jù)、技術(shù)與應(yīng)用三者的統(tǒng)一。

其一，從對(duì)象角度看，大數(shù)據(jù)是大小超出傳統(tǒng)軟硬件采集、儲(chǔ)存、管理和分析等能力的數(shù)據(jù)集合。大規(guī)模的數(shù)據(jù)集合是大數(shù)據(jù)分析的對(duì)象和基礎(chǔ)，正是由于使用常規(guī)的軟硬件技術(shù)和產(chǎn)品無(wú)法對(duì)大數(shù)據(jù)進(jìn)行全面處理，所以必須采用新技術(shù)。但同時(shí)，大數(shù)據(jù)也是一個(gè)相對(duì)的概念，沒(méi)有一個(gè)嚴(yán)格的標(biāo)準(zhǔn)限定多大規(guī)模的數(shù)據(jù)集合才稱得上是大數(shù)據(jù)。事實(shí)上，隨著時(shí)間推移和數(shù)據(jù)管理與處理技術(shù)的進(jìn)步，符合大數(shù)據(jù)標(biāo)準(zhǔn)的數(shù)據(jù)集合的規(guī)模也在并將繼續(xù)增長(zhǎng)。而對(duì)于不同行業(yè)領(lǐng)域和不同應(yīng)用而言，“大數(shù)據(jù)”的規(guī)模也不統(tǒng)一。這就要求不能簡(jiǎn)單地用PB、EB等規(guī)模標(biāo)準(zhǔn)去衡量大數(shù)據(jù)。

其二，從技術(shù)角度看，大數(shù)據(jù)技術(shù)是從各種各樣類(lèi)型的大數(shù)據(jù)中，快速獲得有價(jià)值信息的技術(shù)及其集成。“大數(shù)據(jù)”與“大規(guī)模數(shù)據(jù)”、“海量數(shù)據(jù)”等類(lèi)似概念間的重要區(qū)別之一，就在于“大數(shù)據(jù)”這一概念中包含著對(duì)數(shù)據(jù)對(duì)象的處理行為。為能從大數(shù)據(jù)對(duì)象中快速挖掘更多有價(jià)值的信息，使大數(shù)據(jù)對(duì)象“活起來(lái)”，就需要綜合運(yùn)用先進(jìn)的、多學(xué)科的技術(shù)方法，包括數(shù)據(jù)分析、數(shù)據(jù)挖掘、分布式處理等，而這就需要擁有對(duì)各類(lèi)技術(shù)、各類(lèi)軟硬件的集成應(yīng)用能力。可見(jiàn)，大數(shù)據(jù)技術(shù)是使大數(shù)據(jù)中所蘊(yùn)含的價(jià)值得以發(fā)掘和展現(xiàn)的重要工具。

其三，從應(yīng)用角度看，大數(shù)據(jù)是對(duì)特定的大數(shù)據(jù)集合，集成應(yīng)用大數(shù)據(jù)技術(shù)，獲得有價(jià)值信息的行為。一方面，“大數(shù)據(jù)”本身和“數(shù)據(jù)挖掘”、“智能分析”等技術(shù)都已存在較長(zhǎng)時(shí)間，所以大數(shù)據(jù)成為當(dāng)前熱點(diǎn)，就在于各個(gè)行業(yè)領(lǐng)域具有了對(duì)大數(shù)據(jù)分析和利用的巨大現(xiàn)實(shí)需求和具體應(yīng)用需求。如果不與具體應(yīng)用相聯(lián)系，大數(shù)據(jù)的作用和價(jià)值就無(wú)從談起。另一方面，由于業(yè)務(wù)需求存在差異，對(duì)于不同領(lǐng)域、不同業(yè)務(wù)，甚至同一領(lǐng)域不同企業(yè)的相同業(yè)務(wù)來(lái)說(shuō)，由于數(shù)據(jù)集合和分析挖掘目標(biāo)存在差異，所運(yùn)用的大數(shù)據(jù)技術(shù)和大數(shù)據(jù)分析處理系統(tǒng)也可能存在相當(dāng)大不同。正由于與具體應(yīng)用緊密聯(lián)系，甚至是一對(duì)一的聯(lián)系，才使“應(yīng)用”成為大數(shù)據(jù)不可或缺的內(nèi)涵之一。

可見(jiàn)，對(duì)象、技術(shù)與應(yīng)用是相互關(guān)聯(lián)、互為支撐的，忽視了任何一個(gè)，大數(shù)據(jù)的價(jià)值就無(wú)法充分發(fā)揮。

國(guó)內(nèi)大數(shù)據(jù)領(lǐng)域已顯示出或多或少的“泡沫”

在各界的加倍關(guān)注中，國(guó)內(nèi)大數(shù)據(jù)領(lǐng)域的明顯進(jìn)展未現(xiàn)，卻已經(jīng)顯示出或多或少的“泡沫”。借大數(shù)據(jù)之名圈錢(qián)、圈地或進(jìn)行重復(fù)建設(shè)的苗頭已然出現(xiàn)。這種情況下，需要清醒認(rèn)識(shí)大數(shù)據(jù)發(fā)展與應(yīng)用的重點(diǎn)。

第一，大數(shù)據(jù)發(fā)展的重點(diǎn)在于對(duì)數(shù)據(jù)對(duì)象的分析與應(yīng)用。有專(zhuān)家建言，建設(shè)大規(guī)模數(shù)據(jù)中心，開(kāi)展數(shù)據(jù)存儲(chǔ)業(yè)務(wù)，就是發(fā)展大數(shù)據(jù)產(chǎn)業(yè)；也有機(jī)構(gòu)提出發(fā)展大數(shù)據(jù)必須重點(diǎn)加強(qiáng)基礎(chǔ)設(shè)施建設(shè)。這些觀點(diǎn)都偏離了大數(shù)據(jù)的本意。

從根本上看，“大數(shù)據(jù)”并非一個(gè)科學(xué)、嚴(yán)格的概念，它來(lái)自于對(duì)數(shù)據(jù)規(guī)模的爆炸性增長(zhǎng)這一現(xiàn)象的歸納。但在“海量數(shù)據(jù)”、“大規(guī)模數(shù)據(jù)”等概念已經(jīng)存在的前提下，之所以還要提出新的概念，就是因?yàn)樾枰獙?duì)數(shù)據(jù)對(duì)象的處理和應(yīng)用包含進(jìn)來(lái)。再者，就數(shù)據(jù)的整個(gè)生命周期看，大數(shù)據(jù)的重點(diǎn)不在于對(duì)數(shù)據(jù)的傳輸、收集、存儲(chǔ)，而是重在對(duì)數(shù)據(jù)的分析挖掘，并由此獲得憑直覺(jué)難以發(fā)現(xiàn)的有用信息。可見(jiàn)，不盲目追求數(shù)據(jù)掌握量，而是將重點(diǎn)放在數(shù)據(jù)的分析挖掘與應(yīng)用上，才能最大程度地實(shí)現(xiàn)大數(shù)據(jù)的真正價(jià)值。

第二，大數(shù)據(jù)對(duì)象的重點(diǎn)在于獲取與使用。若僅就大數(shù)據(jù)對(duì)象而言，有專(zhuān)業(yè)機(jī)構(gòu)提出，應(yīng)做好源數(shù)據(jù)集合的建設(shè)。這種觀點(diǎn)有一定道理，但也不完全正確。例如，要想運(yùn)用大數(shù)據(jù)手段實(shí)現(xiàn)智能交通，需要有城市的道路規(guī)劃、車(chē)輛、停車(chē)場(chǎng)等數(shù)據(jù)，這些數(shù)據(jù)多由政府部門(mén)所掌握，對(duì)相應(yīng)數(shù)據(jù)庫(kù)確實(shí)需要加強(qiáng)建設(shè)。但是，要想根據(jù)實(shí)際情況實(shí)時(shí)、靈活地管理交通，還必須隨時(shí)跟蹤和整理道路流量數(shù)據(jù)、停車(chē)場(chǎng)容量數(shù)據(jù)、天氣數(shù)據(jù)、道路事故信息等，而這些數(shù)據(jù)，不僅可以來(lái)自于交管等政府部門(mén)，還能夠通過(guò)微博、微信等渠道獲取，甚至很多時(shí)候從微博上獲取信息要比從管理部門(mén)更加迅速。而眾所周知，微博等信息源是開(kāi)放式的，任何部門(mén)都無(wú)法“擁有”這些數(shù)據(jù)，惟一能做的就是盡力抓取，盡快收集整理。

通過(guò)類(lèi)似的事例可以發(fā)現(xiàn)，由微博、社交網(wǎng)絡(luò)、搜索引擎等公開(kāi)來(lái)源動(dòng)態(tài)、實(shí)時(shí)獲取的“外部數(shù)據(jù)”能夠讓數(shù)據(jù)使用部門(mén)所掌握的內(nèi)部數(shù)據(jù)發(fā)揮更大價(jià)值。因此，對(duì)于大數(shù)據(jù)所涉及的數(shù)據(jù)對(duì)象，必須分類(lèi)對(duì)待。對(duì)政府部門(mén)、公共服務(wù)機(jī)構(gòu)、企業(yè)等所掌握和持續(xù)更新的數(shù)據(jù)，需要加強(qiáng)建設(shè)，作為大數(shù)據(jù)應(yīng)用的基礎(chǔ)。但同時(shí)，必須重視微博、微信、社交網(wǎng)絡(luò)、搜索引擎等新興數(shù)據(jù)源，做好對(duì)相關(guān)數(shù)據(jù)的跟蹤、抓取、整理和應(yīng)用。

第三，大數(shù)據(jù)作用的重點(diǎn)在于啟發(fā)與輔助決策。社會(huì)關(guān)注大數(shù)據(jù)，是期望能夠由其帶來(lái)經(jīng)濟(jì)社會(huì)方面的收益，但同時(shí)，不應(yīng)也不能苛求大數(shù)據(jù)分析結(jié)果的完全準(zhǔn)確，更不能因?yàn)槠洳煌耆珳?zhǔn)確而否定其重要作用。

從數(shù)據(jù)對(duì)象看，大數(shù)據(jù)涉及微博數(shù)據(jù)、社交網(wǎng)絡(luò)數(shù)據(jù)、搜索引擎數(shù)據(jù)等，其中不可避免地包括錯(cuò)誤數(shù)據(jù)和無(wú)用數(shù)據(jù)。雖然能夠通過(guò)一定的數(shù)據(jù)清洗、數(shù)據(jù)過(guò)濾手段去篩選，但也無(wú)法完全確保其真實(shí)性和準(zhǔn)確性。這是客觀存在的事實(shí)。

從分析結(jié)果看，大數(shù)據(jù)所完成的是數(shù)據(jù)與數(shù)據(jù)之間關(guān)聯(lián)規(guī)則的發(fā)現(xiàn)，而非對(duì)規(guī)則的論證，它對(duì)研究人員、對(duì)決策者的價(jià)值，在于能夠引導(dǎo)和啟發(fā)大數(shù)據(jù)應(yīng)用者的創(chuàng)新思維，輔助決策。簡(jiǎn)單點(diǎn)說(shuō)，若是處理一個(gè)問(wèn)題，通常人能夠想到一種方法，而大數(shù)據(jù)能夠提供十種參考方法，哪怕其中只有三種可行，也將解決問(wèn)題的思路拓展了三倍。正如淘寶網(wǎng)給用戶提供的產(chǎn)品推薦，不一定完全準(zhǔn)確，但可以幫助用戶更方便地選擇商品一樣。

大數(shù)據(jù)發(fā)展的策略

大數(shù)據(jù)領(lǐng)域的革新，標(biāo)志著國(guó)家、行業(yè)、企業(yè)對(duì)于數(shù)據(jù)的應(yīng)用需求和應(yīng)用水平都在進(jìn)入新的發(fā)展階段。面對(duì)我國(guó)“大國(guó)、大市場(chǎng)”所天然具有的對(duì)大數(shù)據(jù)的分析應(yīng)用需求，我們需要將大數(shù)據(jù)作為新一輪科技競(jìng)爭(zhēng)和產(chǎn)業(yè)競(jìng)爭(zhēng)的戰(zhàn)略重點(diǎn)和制高點(diǎn)，順應(yīng)社會(huì)應(yīng)用需求和產(chǎn)業(yè)發(fā)展趨勢(shì)，加快大數(shù)據(jù)應(yīng)用示范，推動(dòng)經(jīng)濟(jì)社會(huì)各領(lǐng)域的大數(shù)據(jù)開(kāi)發(fā)與利用。

一是選擇百度、阿里巴巴、騰訊等擁有豐富數(shù)據(jù)資源和技術(shù)優(yōu)勢(shì)的互聯(lián)網(wǎng)信息服務(wù)企業(yè)，開(kāi)展大數(shù)據(jù)挖掘、分析、應(yīng)用，并以之為基礎(chǔ)面向公眾提供各種類(lèi)型的信息服務(wù)。支持互聯(lián)網(wǎng)信息服務(wù)企業(yè)與專(zhuān)門(mén)的數(shù)據(jù)服務(wù)機(jī)構(gòu)、企業(yè)合作，開(kāi)展對(duì)互聯(lián)網(wǎng)上的公開(kāi)源數(shù)據(jù)的初步分析整理，開(kāi)放數(shù)據(jù)整理與數(shù)據(jù)初步挖掘成果，促進(jìn)各領(lǐng)域大數(shù)據(jù)的應(yīng)用。

二是結(jié)合智慧城市建設(shè)，以政府和醫(yī)療衛(wèi)生、文化教育、交通運(yùn)輸、公共安全等社會(huì)服務(wù)機(jī)構(gòu)為切入點(diǎn)，加速各部門(mén)、各領(lǐng)域信息資源的融合共享，并接入微博、微信、社交網(wǎng)絡(luò)等公開(kāi)信息，為智慧城市各個(gè)領(lǐng)域提供強(qiáng)大決策支持，強(qiáng)化社會(huì)管理與服務(wù)的科學(xué)性和前瞻性。例如，通過(guò)對(duì)城市地理信息和經(jīng)濟(jì)、社會(huì)、文化、人口等人文社會(huì)信息的挖掘，為城市規(guī)劃提供輔助；通過(guò)對(duì)城市道路、車(chē)輛信息和實(shí)時(shí)道路交通信息的挖掘，支持交通管理，緩解交通擁堵；通過(guò)對(duì)自然災(zāi)害歷史信息和實(shí)時(shí)天氣信息的挖掘，提高對(duì)自然災(zāi)害的安全防范能力和應(yīng)急處理能力。

三是選擇能源、金融、電信、交通、商業(yè)零售、工業(yè)制造、現(xiàn)代農(nóng)業(yè)等領(lǐng)域的重點(diǎn)企業(yè)或機(jī)構(gòu)，鼓勵(lì)其基于企業(yè)積累的數(shù)據(jù)進(jìn)行挖掘，為企業(yè)戰(zhàn)略制定提供幫助，提高經(jīng)營(yíng)決策水平和業(yè)務(wù)效率，提升創(chuàng)新能力和服務(wù)質(zhì)量，降低運(yùn)營(yíng)成本。例如，零售企業(yè)可通過(guò)對(duì)數(shù)據(jù)的實(shí)時(shí)分析掌握市場(chǎng)動(dòng)態(tài)并迅速做出應(yīng)對(duì)，通過(guò)精準(zhǔn)營(yíng)銷(xiāo)增加營(yíng)業(yè)收入；工業(yè)制造企業(yè)可通過(guò)整合來(lái)自研發(fā)、工程和制造部門(mén)的數(shù)據(jù)，實(shí)行并行工程，顯著縮短產(chǎn)品上市時(shí)間并提高質(zhì)量。各類(lèi)企業(yè)還可從產(chǎn)品開(kāi)發(fā)、生產(chǎn)和銷(xiāo)售的歷史大數(shù)據(jù)中找到創(chuàng)新的源泉，從客戶和消費(fèi)者的大數(shù)據(jù)中尋找新的合作伙伴，以及從售后反饋大數(shù)據(jù)中發(fā)現(xiàn)額外的增值服務(wù)，從而改善現(xiàn)有產(chǎn)品和服務(wù)，創(chuàng)新業(yè)務(wù)模式。

（作者為工業(yè)和信息化部賽迪智庫(kù)軟件與信息服務(wù)業(yè)研究所所長(zhǎng)）

責(zé)編/袁靜 美編/李祥峰