大數(shù)據(jù)應(yīng)把握核心技術(shù)話語權(quán)

大數(shù)據(jù)是當(dāng)下繼云計算之后最熱門的話題之一。在2011年，有關(guān)大數(shù)據(jù)的討論充斥著各種研討會，各大主流IT廠商紛紛推出與其相關(guān)的產(chǎn)品和服務(wù)。然而，在眾多關(guān)于大數(shù)據(jù)的討論中，中國研究機(jī)構(gòu)和企業(yè)在數(shù)據(jù)管理的新一輪變革中很少有自己的聲音。

2012年1月6日，在北京舉行的“中國非結(jié)構(gòu)化數(shù)據(jù)管理高峰論壇暨‘核高基’科技重大專項課題成果發(fā)布會”上，記者了解到，大數(shù)據(jù)時代中國研究機(jī)構(gòu)已把握了先機(jī)。本次會上發(fā)布了“核高基”項目——非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)的最新研究成果，并就如何推動中國非結(jié)構(gòu)化數(shù)據(jù)管理技術(shù)的研究和創(chuàng)新、加速國產(chǎn)非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)的產(chǎn)業(yè)化進(jìn)程進(jìn)行了探討。

提前為大數(shù)據(jù)準(zhǔn)備

大數(shù)據(jù)問題的核心是非結(jié)構(gòu)化數(shù)據(jù)的處理。根據(jù)“核高基”非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)課題組的定義，非結(jié)構(gòu)化數(shù)據(jù)是指那些顯示數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)，典型的例子像文本、網(wǎng)頁、郵件、格式文檔、圖型圖像、視音頻等。

非結(jié)構(gòu)化數(shù)據(jù)處理非常困難，因為其種類繁多且不斷推陳出新，不同種類數(shù)據(jù)需要不同的操作方式進(jìn)行處理。

相關(guān)數(shù)據(jù)顯示，大數(shù)據(jù)已成為當(dāng)下諸多公司，尤其是互聯(lián)網(wǎng)公司的必需品，一些公司待處理的非結(jié)構(gòu)化數(shù)據(jù)已達(dá)ZB(10萬億億字節(jié))級別，如互聯(lián)網(wǎng)公司的網(wǎng)絡(luò)訪問日志等。

“迄今為止，軟件行業(yè)經(jīng)歷了三次大的浪潮：第一次始于上世紀(jì)70年代操作系統(tǒng)、數(shù)據(jù)庫的出現(xiàn)；第二次始于上個世紀(jì)90年代中期，半自動化數(shù)據(jù)文本處理軟件的出現(xiàn)；現(xiàn)在已經(jīng)進(jìn)入大數(shù)據(jù)時代，表現(xiàn)為非結(jié)構(gòu)化數(shù)據(jù)的大量涌現(xiàn)。”北京航空航天大學(xué)李未院士在演講中表示，“中國企業(yè)在第一次浪潮中是跟蹤學(xué)習(xí)，第二次則是主動參與，在第三次浪潮中要有自己的一席之地，所以我們要早做準(zhǔn)備。”

記者了解到，為了把握新型數(shù)據(jù)管理領(lǐng)域發(fā)展的先機(jī)，特別是在大數(shù)據(jù)時代中國能擁有話語權(quán)，國家“核高基”科技重大專項中提前部署，于“十一五”期間設(shè)立了“非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)”課題。

“‘十一五’期間，中國部署了兩個相關(guān)課題，一個是關(guān)系數(shù)據(jù)庫管理系統(tǒng)，另一個是非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)。其中，關(guān)系數(shù)據(jù)庫管理系統(tǒng)面向傳統(tǒng)市場，而非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)是作為下一代技術(shù)儲備，瞄準(zhǔn)未來的新型數(shù)據(jù)管理應(yīng)用市場。”課題組成員清華大學(xué)王建民教授介紹說。

據(jù)悉，圍繞“核高基”的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)研究課題形成了三個主要的研究團(tuán)隊，分別由北京航天大學(xué)、清華大學(xué)、浙江大學(xué)組成。“應(yīng)該說，在非結(jié)構(gòu)化數(shù)據(jù)管理領(lǐng)域形成的這三個集產(chǎn)、學(xué)、研、用為一體的核心科研創(chuàng)新團(tuán)隊，為未來的中國非結(jié)構(gòu)化數(shù)據(jù)管理的創(chuàng)新發(fā)展積累了寶貴的人才資源。”王建民如是評價。

致力于掌握核心技術(shù)

非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)研究課題組經(jīng)過兩年多的科研攻關(guān)，取得了豐碩的成果。在大會上，課題組發(fā)布了三項重點研究成果，包括四面體數(shù)據(jù)模型、分布式柔性事物管理模型、跨媒體計算理論與方法。這些都是非結(jié)構(gòu)化數(shù)據(jù)處理方面非常核心的技術(shù)。

“非結(jié)構(gòu)化數(shù)據(jù)管理有四個核心問題需要解決，即模型問題、系統(tǒng)問題、管理問題以及應(yīng)用問題。”清華大學(xué)孫家廣院士解釋說。

所謂模型問題是數(shù)據(jù)的建模，也就是如何統(tǒng)一表達(dá)結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)；系統(tǒng)問題是指如何彈性地應(yīng)對數(shù)據(jù)和負(fù)載的動態(tài)變化來構(gòu)造一個系統(tǒng)，以支撐不同的操作行為；管理問題就是如何有效地存儲和操作海量數(shù)據(jù)；應(yīng)用問題就是如何在大型數(shù)據(jù)之上支持這個分析型和事物型的應(yīng)用。比如，由北京航空航天大學(xué)牽頭的研究團(tuán)隊推出的四面體模型解決的就是數(shù)據(jù)的建模問題，也是非結(jié)構(gòu)化數(shù)據(jù)管理中最核心的問題之一。該四面體模型合理地表達(dá)了非結(jié)構(gòu)化數(shù)據(jù)的基本屬性、語義特征、底層特征以及原始數(shù)據(jù)等組成部分，以及各組成部分之間的內(nèi)在聯(lián)系。

值得一提的是，非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)研究課題的部分研究成果已形成應(yīng)用成果——3款自主的非結(jié)構(gòu)化管理系統(tǒng)產(chǎn)品，并成功地應(yīng)用于盤古搜索、新華微博、天宇輿情分析等典型海量數(shù)據(jù)管理領(lǐng)域，不僅彰顯了中國非結(jié)構(gòu)化數(shù)據(jù)管理技術(shù)的核心競爭力與廣闊市場前景，而且推動了非結(jié)構(gòu)化數(shù)據(jù)產(chǎn)業(yè)發(fā)展。

“未來，課題組還會致力于形成非結(jié)構(gòu)化數(shù)據(jù)管理自主規(guī)范和國家標(biāo)準(zhǔn)，并建立非結(jié)構(gòu)化數(shù)據(jù)管理公共測試平臺，以促進(jìn)非結(jié)構(gòu)化數(shù)據(jù)管理軟件產(chǎn)品的市場推廣以及非結(jié)構(gòu)化數(shù)據(jù)管理技術(shù)轉(zhuǎn)移與產(chǎn)業(yè)化，最終促進(jìn)新型數(shù)據(jù)管理產(chǎn)業(yè)鏈的形成。”王建民表示。