大數(shù)據(jù)應(yīng)把握核心技術(shù)話語權(quán)

大數(shù)據(jù)是當下繼云計算之后最熱門的話題之一。在2011年，有關(guān)大數(shù)據(jù)的討論充斥著各種研討會，各大主流IT廠商紛紛推出與其相關(guān)的產(chǎn)品和服務(wù)。然而，在眾多關(guān)于大數(shù)據(jù)的討論中，中國研究機構(gòu)和企業(yè)在數(shù)據(jù)管理的新一輪變革中很少有自己的聲音。

2012年1月6日，在北京舉行的“中國非結(jié)構(gòu)化數(shù)據(jù)管理高峰論壇暨‘核高基’科技重大專項課題成果發(fā)布會”上，記者了解到，大數(shù)據(jù)時代中國研究機構(gòu)已把握了先機。本次會上發(fā)布了“核高基”項目——非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)的最新研究成果，并就如何推動中國非結(jié)構(gòu)化數(shù)據(jù)管理技術(shù)的研究和創(chuàng)新、加速國產(chǎn)非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)的產(chǎn)業(yè)化進程進行了探討。

提前為大數(shù)據(jù)準備

大數(shù)據(jù)問題的核心是非結(jié)構(gòu)化數(shù)據(jù)的處理。根據(jù)“核高基”非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)課題組的定義，非結(jié)構(gòu)化數(shù)據(jù)是指那些顯示數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)，典型的例子像文本、網(wǎng)頁、郵件、格式文檔、圖型圖像、視音頻等。

非結(jié)構(gòu)化數(shù)據(jù)處理非常困難，因為其種類繁多且不斷推陳出新，不同種類數(shù)據(jù)需要不同的操作方式進行處理。

相關(guān)數(shù)據(jù)顯示，大數(shù)據(jù)已成為當下諸多公司，尤其是互聯(lián)網(wǎng)公司的必需品，一些公司待處理的非結(jié)構(gòu)化數(shù)據(jù)已達ZB(10萬億億字節(jié))級別，如互聯(lián)網(wǎng)公司的網(wǎng)絡(luò)訪問日志等。

“迄今為止，軟件行業(yè)經(jīng)歷了三次大的浪潮：第一次始于上世紀70年代操作系統(tǒng)、數(shù)據(jù)庫的出現(xiàn)；第二次始于上個世紀90年代中期，半自動化數(shù)據(jù)文本處理軟件的出現(xiàn)；現(xiàn)在已經(jīng)進入大數(shù)據(jù)時代，表現(xiàn)為非結(jié)構(gòu)化數(shù)據(jù)的大量涌現(xiàn)。”北京航空航天大學李未院士在演講中表示，“中國企業(yè)在第一次浪潮中是跟蹤學習，第二次則是主動參與，在第三次浪潮中要有自己的一席之地，所以我們要早做準備。”

記者了解到，為了把握新型數(shù)據(jù)管理領(lǐng)域發(fā)展的先機，特別是在大數(shù)據(jù)時代中國能擁有話語權(quán)，國家“核高基”科技重大專項中提前部署，于“十一五”期間設(shè)立了“非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)”課題。

“‘十一五’期間，中國部署了兩個相關(guān)課題，一個是關(guān)系數(shù)據(jù)庫管理系統(tǒng)，另一個是非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)。其中，關(guān)系數(shù)據(jù)庫管理系統(tǒng)面向傳統(tǒng)市場，而非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)是作為下一代技術(shù)儲備，瞄準未來的新型數(shù)據(jù)管理應(yīng)用市場。”課題組成員清華大學王建民教授介紹說。

據(jù)悉，圍繞“核高基”的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)研究課題形成了三個主要的研究團隊，分別由北京航天大學、清華大學、浙江大學組成。“應(yīng)該說，在非結(jié)構(gòu)化數(shù)據(jù)管理領(lǐng)域形成的這三個集產(chǎn)、學、研、用為一體的核心科研創(chuàng)新團隊，為未來的中國非結(jié)構(gòu)化數(shù)據(jù)管理的創(chuàng)新發(fā)展積累了寶貴的人才資源。”王建民如是評價。

致力于掌握核心技術(shù)

非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)研究課題組經(jīng)過兩年多的科研攻關(guān)，取得了豐碩的成果。在大會上，課題組發(fā)布了三項重點研究成果，包括四面體數(shù)據(jù)模型、分布式柔性事物管理模型、跨媒體計算理論與方法。這些都是非結(jié)構(gòu)化數(shù)據(jù)處理方面非常核心的技術(shù)。

“非結(jié)構(gòu)化數(shù)據(jù)管理有四個核心問題需要解決，即模型問題、系統(tǒng)問題、管理問題以及應(yīng)用問題。”清華大學孫家廣院士解釋說。

所謂模型問題是數(shù)據(jù)的建模，也就是如何統(tǒng)一表達結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)；系統(tǒng)問題是指如何彈性地應(yīng)對數(shù)據(jù)和負載的動態(tài)變化來構(gòu)造一個系統(tǒng)，以支撐不同的操作行為；管理問題就是如何有效地存儲和操作海量數(shù)據(jù)；應(yīng)用問題就是如何在大型數(shù)據(jù)之上支持這個分析型和事物型的應(yīng)用。比如，由北京航空航天大學牽頭的研究團隊推出的四面體模型解決的就是數(shù)據(jù)的建模問題，也是非結(jié)構(gòu)化數(shù)據(jù)管理中最核心的問題之一。該四面體模型合理地表達了非結(jié)構(gòu)化數(shù)據(jù)的基本屬性、語義特征、底層特征以及原始數(shù)據(jù)等組成部分，以及各組成部分之間的內(nèi)在聯(lián)系。

值得一提的是，非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)研究課題的部分研究成果已形成應(yīng)用成果——3款自主的非結(jié)構(gòu)化管理系統(tǒng)產(chǎn)品，并成功地應(yīng)用于盤古搜索、新華微博、天宇輿情分析等典型海量數(shù)據(jù)管理領(lǐng)域，不僅彰顯了中國非結(jié)構(gòu)化數(shù)據(jù)管理技術(shù)的核心競爭力與廣闊市場前景，而且推動了非結(jié)構(gòu)化數(shù)據(jù)產(chǎn)業(yè)發(fā)展。

“未來，課題組還會致力于形成非結(jié)構(gòu)化數(shù)據(jù)管理自主規(guī)范和國家標準，并建立非結(jié)構(gòu)化數(shù)據(jù)管理公共測試平臺，以促進非結(jié)構(gòu)化數(shù)據(jù)管理軟件產(chǎn)品的市場推廣以及非結(jié)構(gòu)化數(shù)據(jù)管理技術(shù)轉(zhuǎn)移與產(chǎn)業(yè)化，最終促進新型數(shù)據(jù)管理產(chǎn)業(yè)鏈的形成。”王建民表示。