大數(shù)據(jù)產(chǎn)業(yè)生態(tài)

工業(yè)和信息化部電信研究院日前發(fā)布了《大數(shù)據(jù)白皮書（2014）》?！洞髷?shù)據(jù)白皮書（2014）》對(duì)大數(shù)據(jù)產(chǎn)業(yè)生態(tài)做了詳細(xì)的分析。

隨著大數(shù)據(jù)技術(shù)不斷演進(jìn)和應(yīng)用持續(xù)深化，以數(shù)據(jù)為核心的大數(shù)據(jù)產(chǎn)業(yè)生態(tài)正在加速構(gòu)建。從實(shí)踐情況看，大數(shù)據(jù)產(chǎn)業(yè)生態(tài)中主要包括大數(shù)據(jù)解決方案提供商、大數(shù)據(jù)處理服務(wù)提供商和數(shù)據(jù)資源提供商三個(gè)角色，分別向大數(shù)據(jù)的應(yīng)用者提供大數(shù)據(jù)服務(wù)、解決方案和數(shù)據(jù)資源。

當(dāng)前大數(shù)據(jù)產(chǎn)業(yè)還處于構(gòu)建的初期，呈現(xiàn)規(guī)模很小、增速快的特點(diǎn)。據(jù)Wikibon公司的報(bào)告，2013年全球大數(shù)據(jù)市場(chǎng)總體規(guī)模為181億美元，年度增幅達(dá)61%，預(yù)計(jì)到2017年還將維持30%的年增速。

傳統(tǒng) IT 廠商加快向大數(shù)據(jù)解決方案提供商轉(zhuǎn)型

大數(shù)據(jù)解決方案提供商面向企業(yè)用戶提供大數(shù)據(jù)一站式部署方案，覆蓋數(shù)據(jù)中心和服務(wù)器等硬件、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)庫等基礎(chǔ)軟件、大數(shù)據(jù)分析應(yīng)用軟件以及技術(shù)運(yùn)維支持等方面內(nèi)容。其中，大數(shù)據(jù)基礎(chǔ)軟件和應(yīng)用軟件是大數(shù)據(jù)解決方案中的重點(diǎn)內(nèi)容。當(dāng)前，企業(yè)提供的大數(shù)據(jù)解決方案大多基于Hadoop開源項(xiàng)目，例如，IBM基于Hadoop開發(fā)的大數(shù)據(jù)分析產(chǎn)品BigInsights、甲骨文融合了Hadoop開源技術(shù)的大數(shù)據(jù)一體機(jī)、Cloudera的Hadoop商業(yè)版等。

大數(shù)據(jù)解決方案提供商中，主要包括傳統(tǒng)IT 廠商和新興的大數(shù)據(jù)創(chuàng)業(yè)公司。傳統(tǒng)IT 廠商主要有IBM、HP等解決方案提供商以及甲骨文、Teradata等數(shù)據(jù)分析軟件商。它們大多以原有IT 解決方案為基礎(chǔ)，融合Hadoop，形成融合了結(jié)構(gòu)化和非結(jié)構(gòu)化兩條體系的“雙?！狈桨浮Ｍㄟ^一系列收購來提升大數(shù)據(jù)解決方案服務(wù)能力，成為這些IT巨頭的主要策略。

國際上也誕生了一批專門提供非結(jié)構(gòu)化數(shù)據(jù)處理方案的新興創(chuàng)業(yè)公司。這些公司包括Cloudera、Hortonworks、MapR等，它們主要基于Hadoop開源項(xiàng)目，開發(fā)Hadoop商業(yè)版本和基于Hadoop的大數(shù)據(jù)分析工具，單獨(dú)或者與傳統(tǒng)IT 廠商合作提供企業(yè)級(jí)大數(shù)據(jù)解決方案。這些新興大數(shù)據(jù)企業(yè)成為資本市場(chǎng)的熱點(diǎn)。

國內(nèi)華為、聯(lián)想、浪潮、曙光等一批IT 廠商也都紛紛推出大數(shù)據(jù)解決方案。但總體上，國內(nèi)大數(shù)據(jù)解決方案提供商實(shí)力較弱，產(chǎn)品一些關(guān)鍵行業(yè)還未形成影響力，新興大數(shù)據(jù)解決方案初創(chuàng)企業(yè)也鳳毛麟角。

云服務(wù)商成為大數(shù)據(jù)處理服務(wù)提供商的主體

大數(shù)據(jù)處理服務(wù)提供商主要以服務(wù)的方式為企業(yè)和個(gè)人用戶提供大數(shù)據(jù)海量數(shù)據(jù)分析能力和大數(shù)據(jù)價(jià)值挖掘服務(wù)。按照服務(wù)模式進(jìn)行劃分，大數(shù)據(jù)處理服務(wù)提供商可以分為以下四類。第一類是在線純分析服務(wù)提供商。此類服務(wù)商主要是互聯(lián)網(wǎng)企業(yè)、大數(shù)據(jù)分析軟件商和新創(chuàng)企業(yè)等，通過SaaS或PaaS云服務(wù)形式為用戶提供服務(wù)。典型的服務(wù)如谷歌提供的大數(shù)據(jù)分析工具Big Query、亞馬遜提供的云數(shù)據(jù)倉庫服務(wù)RedShift、微軟的AzureHDInsigh1010data提供的商業(yè)智能服務(wù)等。國內(nèi)一些云服務(wù)商也逐步開始提供大數(shù)據(jù)相關(guān)云服務(wù)，如阿里云的開放數(shù)據(jù)處理服務(wù)、百度的大數(shù)據(jù)引擎、騰訊的數(shù)據(jù)云等。

第二類是既提供數(shù)據(jù)又提供分析服務(wù)的在線提供商。此類服務(wù)商主要是擁有海量用戶數(shù)據(jù)的大型互聯(lián)網(wǎng)企業(yè)，主要以SaaS形式為用戶提供大數(shù)據(jù)服務(wù)，服務(wù)背后以自有大數(shù)據(jù)資源為支撐。典型的服務(wù)如如谷歌Facebook的的自助式廣告下單服務(wù)系統(tǒng)、Twitter基于實(shí)時(shí)搜索數(shù)據(jù)的產(chǎn)品滿意度分析等。國內(nèi)百度推出的大數(shù)據(jù)營銷服務(wù)“司南”就屬于此類。

第三類是單純提供離線分析服務(wù)的提供商。此類服務(wù)商主要為企業(yè)提供專業(yè)、定制化的大數(shù)據(jù)咨詢服務(wù)和技術(shù)支持，主要集中為大數(shù)據(jù)咨詢公司、軟件商等，例如專注于大數(shù)據(jù)分析的奧浦諾管理咨詢公司（Opera Solutions）、數(shù)據(jù)分析服務(wù)提供商美優(yōu)管理顧問公司（MuSigma）等。

第四類是既提供數(shù)據(jù)又提供離線分析服務(wù)的提供商。此類服務(wù)商主要集中在信息化水平較高、數(shù)據(jù)較為豐富的傳統(tǒng)行業(yè)。例如日本日立集團(tuán)（Hitachi）于2013年6月初成立的日立創(chuàng)新分析全球中心，其廣泛收集汽車行駛記錄、零售業(yè)購買動(dòng)向、患者醫(yī)療數(shù)據(jù)、礦山維護(hù)數(shù)據(jù)和資源價(jià)格動(dòng)向等龐大數(shù)據(jù)信息，并基于收集的海量信息開展大數(shù)據(jù)分析業(yè)務(wù)。又如美國征信機(jī)構(gòu)Equifax基于全球8000億條企業(yè)和消費(fèi)者行為數(shù)據(jù)，提供70余項(xiàng)面向金融的大數(shù)據(jù)分析離線服務(wù)。

大數(shù)據(jù)資源提供商應(yīng)運(yùn)而生

既然數(shù)據(jù)成為了重要的資源和生產(chǎn)要素，必然會(huì)產(chǎn)生供應(yīng)與流通需求。數(shù)據(jù)資源提供商因此應(yīng)運(yùn)而生，它是大數(shù)據(jù)產(chǎn)業(yè)的特有環(huán)節(jié)，也是大數(shù)據(jù)資源化的必然產(chǎn)物。數(shù)據(jù)資源提供商，包括數(shù)據(jù)擁有者和數(shù)據(jù)流通平臺(tái)兩個(gè)主要類型。

數(shù)據(jù)擁有者可以是企業(yè)、公共機(jī)構(gòu)或者個(gè)人。數(shù)據(jù)擁有者通常直接以免費(fèi)或有償?shù)姆绞綖槠渌行枨蟮钠髽I(yè)和用戶提供原數(shù)據(jù)或者處理過的數(shù)據(jù)。例如美國電信運(yùn)營商Verizon 推出的大數(shù)據(jù)應(yīng)用精準(zhǔn)營銷洞察，將向第三方企業(yè)和機(jī)構(gòu)出售其匿名化和整合處理后的用戶數(shù)據(jù)。國內(nèi)阿里巴巴公司推出的淘寶量子恒道、數(shù)據(jù)魔方和阿里數(shù)據(jù)超市等屬于此種類型。

數(shù)據(jù)流通平臺(tái)是多家數(shù)據(jù)擁有者和數(shù)據(jù)需求方進(jìn)行數(shù)據(jù)交換流通的場(chǎng)所。按平臺(tái)服務(wù)目的不同，可分為政府?dāng)?shù)據(jù)開放平臺(tái)和數(shù)據(jù)交易市場(chǎng)。

政府?dāng)?shù)據(jù)開放平臺(tái)：主要提供政府和公共機(jī)構(gòu)的非涉密數(shù)據(jù)開放服務(wù)，屬于公益性質(zhì)。目前全球不少國家已經(jīng)加入到開放政府?dāng)?shù)據(jù)行動(dòng)，推出公共數(shù)據(jù)庫開放網(wǎng)站，例如美國數(shù)據(jù)開放網(wǎng)站Data.gov目前已有超過37萬個(gè)數(shù)據(jù)集、1209個(gè)數(shù)據(jù)工具、309個(gè)網(wǎng)頁應(yīng)用和137個(gè)移動(dòng)應(yīng)用，數(shù)據(jù)源來自171個(gè)機(jī)構(gòu)。國內(nèi)地方政府?dāng)?shù)據(jù)開放平臺(tái)開始出現(xiàn)，如國家統(tǒng)計(jì)局的國家數(shù)據(jù)網(wǎng)站、北京市政府和上海市政府的信息資源平臺(tái)等數(shù)據(jù)開放平臺(tái)正在建設(shè)過程中。

數(shù)據(jù)交易市場(chǎng)：商業(yè)化的數(shù)據(jù)交易活動(dòng)催生了多方參與的第三方數(shù)據(jù)交易市場(chǎng)。國際上目前比較有影響力的有微軟的AzureData Marketplace、被甲骨文收購的BlueKai、DataMarket、Factual、Infochimps、DataSift等等，主要提供地理空間、營銷數(shù)據(jù)和社交數(shù)據(jù)的交易服務(wù)。大數(shù)據(jù)交易市場(chǎng)發(fā)展剛剛起步，在市場(chǎng)機(jī)制、交易規(guī)則、定價(jià)機(jī)制、轉(zhuǎn)售控制和隱私保護(hù)等方面還有很多工作要做。國內(nèi)，2014年2月，在北京市和中關(guān)村管委會(huì)指導(dǎo)下，中關(guān)村大數(shù)據(jù)交易產(chǎn)業(yè)聯(lián)盟成立，將在國內(nèi)推動(dòng)國內(nèi)大數(shù)據(jù)交易相關(guān)規(guī)范化方面開展工作。