開源力量主導(dǎo)大數(shù)據(jù)發(fā)展

蒲松濤

隨著互聯(lián)網(wǎng)的加速普及及應(yīng)用，基于互聯(lián)網(wǎng)的企業(yè)業(yè)務(wù)發(fā)展和技術(shù)創(chuàng)新持續(xù)加速。在技術(shù)創(chuàng)新方面，可匯集全球各地各類智力資源的開源模式日益成熟，并受到全球主要科技企業(yè)和發(fā)達(dá)國(guó)家的大力支持。隨著全球各大科技巨頭的競(jìng)相加入，開源模式正逐漸成為推動(dòng)大數(shù)據(jù)等各領(lǐng)域技術(shù)創(chuàng)新的主導(dǎo)力量。

從大數(shù)據(jù)的發(fā)展歷程可以看出，大數(shù)據(jù)源于開源，并基于開源不斷演進(jìn)發(fā)展，自身就已具備了開源基因。經(jīng)過若干年的發(fā)展，開源軟件和開源工具已經(jīng)覆蓋到了大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的各個(gè)環(huán)節(jié)，基于開源軟件企業(yè)可以快速地構(gòu)建大數(shù)據(jù)應(yīng)用平臺(tái)，提供豐富的大數(shù)據(jù)開發(fā)和應(yīng)用工具。根據(jù)統(tǒng)計(jì)，大數(shù)據(jù)領(lǐng)域的開源軟件已涵蓋了計(jì)算軟件、存儲(chǔ)軟件、查詢軟件、基礎(chǔ)平臺(tái)、平臺(tái)管理、系統(tǒng)工具、數(shù)據(jù)應(yīng)用等多種類型。此外，與云計(jì)算類似，在大數(shù)據(jù)處理平臺(tái)這個(gè)基礎(chǔ)性并處于核心地位的環(huán)節(jié)，開源技術(shù)的作用至關(guān)重要，不管是Hadoop生態(tài)，還是Spark生態(tài)，抑或是其他支線平臺(tái)，其絕大多數(shù)都屬于開源軟件，典型代表包括Hadoop生態(tài)的Hadoop、Pig、HBase、ZooKeeper、Hive、Yarn和Impala；Spark生態(tài)的Spark、Shark、Spark Streaming、Bagel、GraphX和Spark SQL；Hypertable、Cassandra、Dryad、S4、Kalka、Haloop、Storm等支線平臺(tái)。當(dāng)前，從小型初創(chuàng)企業(yè)到行業(yè)科技巨頭，各種規(guī)模的企業(yè)都在使用開源軟件和工具處理大數(shù)據(jù)和基于數(shù)據(jù)的預(yù)測(cè)分析。開源不僅驅(qū)動(dòng)著大數(shù)據(jù)技術(shù)的創(chuàng)新演進(jìn)，也推動(dòng)著大數(shù)據(jù)產(chǎn)業(yè)的不斷進(jìn)步，對(duì)繁榮大數(shù)據(jù)應(yīng)用生態(tài)起到不可忽視的作用。

表面上看，大數(shù)據(jù)基礎(chǔ)平臺(tái)和主要環(huán)節(jié)的技術(shù)創(chuàng)新均是基于開源模式推動(dòng)的，全球各界人士均有平等的參與和應(yīng)用機(jī)會(huì)。但是，從技術(shù)演進(jìn)的確定權(quán)和影響力來看，大數(shù)據(jù)領(lǐng)域的技術(shù)創(chuàng)新離不開全球主要科技企業(yè)的參與。科技企業(yè)既是大數(shù)據(jù)技術(shù)創(chuàng)新的主要力量，同時(shí)也圍繞開源世界的游戲規(guī)則不斷擴(kuò)大行業(yè)影響力，緊抓技術(shù)創(chuàng)新前沿，搶占大數(shù)據(jù)技術(shù)發(fā)展和標(biāo)準(zhǔn)制定的話語權(quán)，培育發(fā)展形成以企業(yè)核心競(jìng)爭(zhēng)力為中心、以開源為主要方式的新型產(chǎn)業(yè)生態(tài)。一方面，科技企業(yè)是推動(dòng)大數(shù)據(jù)基礎(chǔ)平臺(tái)演進(jìn)發(fā)展的主導(dǎo)力量，Hadoop的發(fā)展離不開谷歌，Impala和Cassandra的主要貢獻(xiàn)者分別為Cloudera和Facebook，S4則主要由雅虎來主導(dǎo)。另一方面，在數(shù)據(jù)存儲(chǔ)和計(jì)算等大數(shù)據(jù)產(chǎn)業(yè)鏈中的重點(diǎn)環(huán)節(jié)中，科技企業(yè)均加大了布局力度，特別是在鍵值存儲(chǔ)和表格存儲(chǔ)等關(guān)鍵方向，幾乎在所有的開源項(xiàng)目背后都有大型科技企業(yè)的支持。其中，我國(guó)的阿里巴巴就是Tair存儲(chǔ)引擎和OceanBase數(shù)據(jù)庫(kù)的主導(dǎo)者。

綜上可見，開源已經(jīng)成為了大數(shù)據(jù)技術(shù)創(chuàng)新的主要模式，而且全球各大科技企業(yè)均積極基于開源模式建立產(chǎn)業(yè)發(fā)展新生態(tài)，構(gòu)筑技術(shù)創(chuàng)新的主動(dòng)權(quán)和產(chǎn)業(yè)發(fā)展的制高點(diǎn)。為推動(dòng)我國(guó)大數(shù)據(jù)產(chǎn)業(yè)健康發(fā)展，提高我國(guó)企業(yè)在大數(shù)據(jù)領(lǐng)域的競(jìng)爭(zhēng)優(yōu)勢(shì)，掌控產(chǎn)業(yè)發(fā)展的主動(dòng)權(quán)，提出以下建議。

一是加強(qiáng)開源理念傳播和前沿技術(shù)跟蹤，要不斷加強(qiáng)研究和跟蹤，加大對(duì)開源模式的引導(dǎo)和宣傳，使行業(yè)企業(yè)更好地認(rèn)識(shí)開源、熟悉開源、融入開源。

二是提升開源技術(shù)的應(yīng)用和反饋水平，既要通過建立公共技術(shù)服務(wù)平臺(tái)促進(jìn)成熟開源技術(shù)的應(yīng)用和融合，也要鼓勵(lì)我國(guó)企業(yè)通過主動(dòng)開源和積極反饋等方式提升我國(guó)企業(yè)在全球主要開源項(xiàng)目中的影響力。

三是優(yōu)化基于開源的技術(shù)創(chuàng)新環(huán)境，積極發(fā)展我國(guó)本土的開源社區(qū)，促進(jìn)形成開源式的技術(shù)創(chuàng)新模式，促進(jìn)開源項(xiàng)目和實(shí)踐應(yīng)用的對(duì)接。同時(shí)，要構(gòu)建綜合性的完善的第三方服務(wù)體系，促進(jìn)形成圍繞開源技術(shù)創(chuàng)新和應(yīng)用的良性產(chǎn)業(yè)發(fā)展生態(tài)體系。