新一代企業(yè)級高并發(fā)混合負(fù)載大數(shù)據(jù)解決方案
——易鯨捷融合分布式數(shù)據(jù)庫

一、前言

物聯(lián)網(wǎng)行業(yè)面臨兩大難題：海量數(shù)據(jù)的無線傳輸和海量數(shù)據(jù)的實(shí)時分析。隨著5G的推出，并計(jì)劃2020年實(shí)現(xiàn)全面商用，數(shù)據(jù)傳輸?shù)膯栴}已經(jīng)有望解決；而對海量數(shù)據(jù)進(jìn)行實(shí)施分析的難題，迫切需要有能夠支持高密度可連接設(shè)備高頻采集數(shù)據(jù)并實(shí)時寫入和分析的數(shù)據(jù)庫做支撐，對于在全球多元化環(huán)境中運(yùn)作的物聯(lián)網(wǎng)應(yīng)用而言，如何選擇一款合適的數(shù)據(jù)庫，變得極具挑戰(zhàn)性。

同時，在大數(shù)據(jù)推動行業(yè)發(fā)展的年代，為了滿足不同業(yè)務(wù)需求，大型企業(yè)級應(yīng)用往往選擇多種數(shù)據(jù)庫產(chǎn)品，但是這種組合式解決方案需要精細(xì)的控制數(shù)據(jù)流轉(zhuǎn)和一致性問題，使用難度頗高，系統(tǒng)間的數(shù)據(jù)同步和冗余帶來了很高的成本開銷，限制了企業(yè)級應(yīng)用的發(fā)展。

針對以上市場現(xiàn)象，美國知名咨詢公司Gartner在2014年提出融合數(shù)據(jù)庫技術(shù)HTAP (Hybrid Transactional/Analytical Processing)架構(gòu)，即一個數(shù)據(jù)庫既支持在線事務(wù)處理（OLTP），又支持在線分析處理（OLAP），能滿足所有數(shù)據(jù)模型的需求，能處理所有工作負(fù)載（OLTP和OLAP）。支持高并發(fā)、高吞吐量事務(wù)和分析混合的任務(wù)流，這正是物聯(lián)網(wǎng)等超高業(yè)務(wù)量的應(yīng)用負(fù)載所需要的數(shù)據(jù)庫技術(shù)。HTAP技術(shù)能很好的解決物聯(lián)網(wǎng)業(yè)務(wù)場景中數(shù)據(jù)庫面臨的難題，并進(jìn)行實(shí)時的分析查詢，形成數(shù)據(jù)流的閉環(huán)反饋系統(tǒng)。

二、EsgynDB產(chǎn)品介紹

易鯨捷融合分布式數(shù)據(jù)庫(下稱“EsgynDB”)是貴州易鯨捷信息技術(shù)有限公司于2015年推出的，全球極少數(shù)符合Gartner提出的HTAP先進(jìn)概念的國產(chǎn)數(shù)據(jù)庫產(chǎn)品，比阿里和騰訊同類產(chǎn)品早推出2-3年。其底層基于主流的Hadoop大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)，兼?zhèn)浣灰仔秃头治鲂蛿?shù)據(jù)庫能力，涵蓋大部分企業(yè)級數(shù)據(jù)庫應(yīng)用，能夠一站式解決當(dāng)今使用傳統(tǒng)數(shù)據(jù)庫所造成的成本高、運(yùn)維復(fù)雜、大數(shù)據(jù)處理慢等眾多問題。同時能夠替代國外頂級數(shù)據(jù)庫，撼動其在我國的市場壟斷地位，真正意義上實(shí)現(xiàn)數(shù)據(jù)庫的國產(chǎn)化。

EsgynDB數(shù)據(jù)庫具有以下特點(diǎn)：

● 基于Hadoop技術(shù)：符合大數(shù)據(jù)行業(yè)生態(tài)發(fā)展趨勢；

● HTAP混合業(yè)務(wù)：為實(shí)時的商業(yè)分析以及企業(yè)決策提供支持，解決物聯(lián)網(wǎng)場景下高頻采集數(shù)據(jù)、實(shí)時寫入和分析的難題；

● 支持分布式事務(wù)：高效的并發(fā)讀寫控制；

● 數(shù)據(jù)量越大讀寫越快：提供無上限、可線性擴(kuò)展的高并發(fā)、高吞吐的集群處理能力，大數(shù)據(jù)量下隨機(jī)寫入和復(fù)雜查詢性能優(yōu)越，支持每秒數(shù)百萬個數(shù)據(jù)點(diǎn)采集；

● 跨數(shù)據(jù)中心部署：支持跨多個數(shù)據(jù)中心、多個Hadoop集群，保證在任意可用區(qū)宕機(jī)時，數(shù)據(jù)不丟失且服務(wù)自動切換；

● 云化數(shù)據(jù)庫：底層通過Kubernetes、Docker、多租戶等技術(shù)，實(shí)現(xiàn)數(shù)據(jù)層面資源最有效的隔離、分配和調(diào)度。提供故障自動恢復(fù)、一鍵擴(kuò)容、滾動升級等功能，使運(yùn)維更簡便，成本更低；

圖1 易鯨捷融合分布式數(shù)據(jù)庫

圖2 EsgynDB特性圖

● 全數(shù)據(jù)類型處理：結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)分析能力；

● 符合SQL標(biāo)準(zhǔn)：提供全面ANSI SQL語言支持；

● 聯(lián)邦跨數(shù)據(jù)庫訪問：支持跨異構(gòu)數(shù)據(jù)庫表之間關(guān)聯(lián)訪問，如支持Trafodion表、原生HBase表、原生Hive表、Oracle表、MySQL表之間的關(guān)聯(lián)訪問。

三、現(xiàn)階段取得成果

EsgynDB迄今已取得18項(xiàng)軟件著作權(quán)，申請了5項(xiàng)發(fā)明專利，成功在國內(nèi)外大數(shù)據(jù)主流行業(yè)中應(yīng)用場景最為復(fù)雜、數(shù)據(jù)量相對較大的企業(yè)如金融（銀聯(lián)）、電信（國內(nèi)三大運(yùn)營商）、互聯(lián)網(wǎng)（亞馬遜云上最大的數(shù)據(jù)安全公司W(wǎng)ebroot）、能源（國家電網(wǎng)、南方電網(wǎng)）等公司的核心業(yè)務(wù)系統(tǒng)中實(shí)現(xiàn)了應(yīng)用。今年將與富士康和華中科技大學(xué)合作推出物聯(lián)網(wǎng)場景中面向智能制造的高端精密機(jī)床新一代智能維護(hù)系統(tǒng)。

隨著中國在國際標(biāo)準(zhǔn)制定方面的影響力和話語權(quán)日益增強(qiáng)，中國標(biāo)準(zhǔn)成為國際標(biāo)準(zhǔn)的通道已經(jīng)建立。EsgynDB填補(bǔ)了中國數(shù)據(jù)庫的技術(shù)空白,代表數(shù)據(jù)庫技術(shù)的發(fā)展趨勢，是最有可能成為全球下一代數(shù)據(jù)庫技術(shù)標(biāo)準(zhǔn)的產(chǎn)品之一?！?/p>