GBase8aMPP：一種新型關(guān)系數(shù)據(jù)庫的設(shè)計(jì)和實(shí)踐

李　瀚　天津南大通用數(shù)據(jù)技術(shù)股份有限公司解決方案技術(shù)總監(jiān)

?

GBase8aMPP：一種新型關(guān)系數(shù)據(jù)庫的設(shè)計(jì)和實(shí)踐

李瀚天津南大通用數(shù)據(jù)技術(shù)股份有限公司解決方案技術(shù)總監(jiān)

摘要：隨著行業(yè)大數(shù)據(jù)應(yīng)用的迅速發(fā)展，對基于海量數(shù)據(jù)的行業(yè)大數(shù)據(jù)的存儲、處理和管理提出了更高要求，傳統(tǒng)的小機(jī)+存儲陣列的架構(gòu)已經(jīng)無法滿足海量數(shù)據(jù)增長和系統(tǒng)擴(kuò)展性的要求。本文總結(jié)了一種基于MPP架構(gòu)+列式存儲設(shè)計(jì)的新型關(guān)系數(shù)據(jù)庫技術(shù)的產(chǎn)品——GBase8aMPP的技術(shù)設(shè)計(jì)思路，這些技術(shù)有效解決了傳統(tǒng)架構(gòu)下的擴(kuò)展性問題和大規(guī)模并行計(jì)算問題，并且通過內(nèi)部高可用機(jī)制實(shí)現(xiàn)在低價計(jì)算平臺上的大數(shù)據(jù)平臺可靠性。

關(guān)鍵詞：大數(shù)據(jù)；MPP（大規(guī)模并行計(jì)算）關(guān)系數(shù)據(jù)庫；列式存儲；關(guān)系運(yùn)算

1　引言

關(guān)系數(shù)據(jù)庫是20世紀(jì)70年代基于關(guān)系代數(shù)理論發(fā)展的數(shù)據(jù)管理技術(shù)，它將數(shù)據(jù)以表為單位組織，每個表的數(shù)據(jù)表現(xiàn)為一個實(shí)體，并通過基于范式的數(shù)據(jù)組織和關(guān)聯(lián)運(yùn)算使用SQL言語實(shí)現(xiàn)對數(shù)據(jù)的動態(tài)關(guān)系生成，這種數(shù)據(jù)管理概念最大程度反映了應(yīng)用的實(shí)際需求，簡化了信息系統(tǒng)開發(fā)時從模型設(shè)計(jì)到計(jì)算程序開發(fā)的流程，所以在信息處理領(lǐng)域具有重大的意義。在過去40年的關(guān)系數(shù)據(jù)庫發(fā)展中，數(shù)據(jù)庫一直基于集中存儲和集中計(jì)算的計(jì)算模式來實(shí)現(xiàn)其架構(gòu)，因?yàn)檫@種模式十分適合關(guān)系計(jì)算的特征。早期的關(guān)系數(shù)據(jù)庫應(yīng)用主要適用于金融等典型的交易型領(lǐng)域，后隨著關(guān)系數(shù)據(jù)庫應(yīng)用的發(fā)展，應(yīng)運(yùn)產(chǎn)生了數(shù)據(jù)倉庫應(yīng)用和BI等相關(guān)領(lǐng)域，關(guān)系數(shù)據(jù)庫的應(yīng)用到達(dá)了一個頂峰。……