基于架構的關系數據庫與云端數據庫比較分析

摘要:針對關系數據庫在處理海量的視頻、音頻、圖像及復雜數據類型時所暴露的缺陷， 該文對基于架構的關系數據庫和以Bigtable為代表的云端數據庫進行比較分析，表明了云端數據庫在處理海量數據及復雜數據時要比關系數據庫更占優勢。隨著云端數據庫技術的發展，云端數據庫將會取代關系數據庫成為數據庫的主流。

關鍵詞:關系數據庫;云端數據庫;Bigtable;時間戳

中圖分類號:TP399文獻標識碼:A文章編號:1009-3044(2009)25-7090-03

Comparison and Analysis for Relational Database and Cloud Database Based on Architecture

ZHANG Zhen-yong， WEN Jing-hua

(Guizhou College of Finance and Economics， Guiyang 550004，China)

Abstract: Aiming at the shortcoming that relational database processes a large number of video，audio，images and complex data types， this thesis compared and analyzed relational database and Bigtable representing cloud database and based on architecture. The results showed that cloud database was more advantageous than relational database in precessing a great mass of data and complex data types. With the development of the cloud database technology，cloud database will be superseding the relational database as the mainstream of the database.

Key words: ralational database; cloud database; bigtable; timestamp

關系數據庫從1970年發展至今，雖功能日趨完善，但對數據類型的處理大多采用數字、字符等基本數據類型，對多媒體信息的處理只是停留在簡單的二進制代碼文件的存儲。隨著信息技術的發展，互聯網上數據量高速增長，非結構化數據的應用日趨擴大，再加上用戶應用需求的提高、硬件技術的發展和Web2.0提供的多彩的多媒體交流方式，用戶對多媒體處理的要求從簡單的存儲上升為識別、檢索和深入加工等高級應用。關系數據庫在處理這類數據時，逐漸暴露出了一些缺陷。

如何來高效處理占數據總量70%的聲音、圖像和視頻等復雜數據類型是目前互聯網界亟待解決的問題。正是在這種狀態下，云端數據庫便應運而生并開始發展起來。目前云端數據庫技術在云計算中的應用有Google的Bigtable系統[1]、Amazon公司的Dynamo系統、Hadoop的一個子項目Hbase、微軟的Live Mesh系統等等。無論是Bigtable還是Hbase都是采用通用的云端數據庫架構，只是核心技術不同。所以本文就以Google的Bigtable架構為代表與傳統的關系數據庫架構進行比較和分析。

1關系數據庫

1.1關系數據庫概念及特點

關系數據庫在一個給定的應用領域中，所有實體及實體之間聯系的關系的集合。它是建立在集合代數基礎上，應用數學方法來處理數據庫中的數據，現實世界中的各種實體以及實體之間的各種聯系均用關系模型來表示，也就是說關系數據庫是建立在關系模型基礎上的數據庫[2]。

關系數據庫具有數據結構化、最低冗余度、較高的程序與數據獨立性、易于擴充、易于編制應用程序等優點，目前較大的應用軟件系統都是建立在結構化數據庫設計之上的。

1.2關系數據庫系統的架構

關系數據庫的架構包括六個部分[3]:

1) 查詢語言接口

查詢語言接口通過使用SQL語言對數據庫進行特設查詢數據。

2)交互式查詢工具

交互式查詢工具是用于訪問，修改以及更新一個或多個關聯的數據表，并以視圖的方式返回給用戶。

3) 核心軟件

該核心軟件用于控制查詢處理，存取數據路徑，用戶訪問管理，存儲管理，索引，交易處理和讀取/更新信息。

4) 公用機制

公用機制主要用于輸入/輸出/備份調整工具及參數/報告撰寫。

5) 存儲機制

存儲機制主要進行數據庫寫入，歸檔，用戶管理器，服務器管理，重做日志文件。

6) 數據庫

數據庫的特點是以數據文件的方式對數據對象進行物理存儲，包含了系統目錄即數據目錄，一個或多個數據文件以結構化形式存儲組成集合即二維表，并將不同數據集通過主鍵和外鍵進行關聯。

關系數據庫的架構如圖1所示。

1.3關系數據庫的缺陷

通過對關系數據庫架構的分析，可以發現關系數據庫的一些不足，概括如下四點:

1) 數據類型表達能力差

因為關系數據庫所處理的是結構化的數據，所以關系數據庫缺乏直接構造與現代軟件應用有關的信息的類型表達能力。隨著信息技術的飛速發展，圖像、視頻、音頻以及文檔等非結構化的數據已被應用到人們的日常生活當中，利用關系數據庫來處理這些非結構化的數據已經顯得有點力不從心了。因此目前大多數RDBMS產品所采用的簡單類型在重構復雜數據的過程中將會出現性能問題;數據庫設計過程中的額外復雜性;RDBMS產品和編程語言在數據類型方面的不協調，需要通過較復雜的程序化進行數據類型之間的轉換來達到數據類型的一致性。

對于工程應用來說，關系數據庫不能支持復雜數據類型的典型結果就是需要額外地分解數據結構工作，這些被分解的結構不能直接表示應用數據，且從基本成分重構時也非常繁瑣和費時間。

2) 復雜查詢功能比較差

在關系數據庫中，利用SQL語言進行查詢數據。雖然SQL語言為數據查詢提供了很好的定義方法，但是當用于復雜信息的查詢時可能會非常繁瑣。這是由于在工程應用時規范化的過程通常會產生大量的簡單表，從而降低數據的冗余度。那么在這種環境下由存取信息產生的查詢必須處理大量的表和復雜主鍵和外鍵之間的聯系以及連接運算，會影響系統的查詢效率。

3) 支持長事務能力差

由于RDBMS記錄鎖機制的顆粒度限制，對于支持多種記錄類型的大段數據的登記和檢查來說，簡單的記錄級的鎖機制是不夠的，但基于鍵值關系的較復雜的鎖機制來說卻很難推廣也難以實現。

4) 環境應變能力差

在要求系統改變的環境下，關系數據庫從一種系統移植到另一個系統上的成本高且修改困難。再加上，關系數據庫和編程語言所提供的數據類型的不一致，使得從一個環境轉換到另一個環境時需要多至30%的附加代碼。

正是由于關系數據庫的這些缺陷，才推動了數據庫技術的發展，產生了云端數據庫技術，進而彌補了關系數據庫的不足。

2 云端數據庫

2.1 Bigtable的介紹

Google在 2004 年初就開始研發了BigTable，到了2005年大概有100個左右的服務使用BigTable。BigTable 讓Google在提供新服務時的運行成本降低，最大限度地利用了計算能力。

Bigtable是一個大型，容錯，自我管理的分布式存儲系統，并用于管理分布在成千上萬臺服務器上的結構化數據[4]。它是建立在GFS分布式文件系統[5]、Scheduler分布式集群調度、Lock Service分布式的鎖服務[6]和 MapReduce編程模式[7]基礎之上的系統。

2.2 Bigtable的架構

1) Bigtable的數據模型

一個Bigtable(大表)是一個稀疏的，分布的，持續的以及多維的排序的數據映射。這個映射由行主鍵，列主鍵和時間戳進行索引[4]。每一項值在映射中是一系列不被解釋的字節元組即(row:string，column:string，timestamp:int64)→string。

在Bigtable的數據模型中，所有的數據都存放在表格單元中，每一行表示一個事物的數據內容，其所在列表示這個事物的唯一標志，其所對應的時間戳表示這個事物在某個時間上的狀態即具體的數據內容。關系數據庫只能反映當前時間上事物所處的狀態，而Bigtable不僅能顯示事物當前所處的狀態，而且還可以記錄某個事物的過去某個時間所處狀態。Bigtable的數據模型如圖2所示。

2) Bigtable的架構

與目前的關系數據庫類似，BigTable也是客戶端和服務器端的聯合設計，使得性能能夠最大程度地符合應用的需求。

BigTable系統依賴于集群系統的底層結構，一個是 Google的分布式文件系統(GFS)，一個是分布式的集群任務調度(scheduler)，還有一個分布式的鎖服務(Lock Service)。BigTable使用Lock Service來保存根數據表格的指針，即客戶端用戶可以首先從Lock Service鎖服務器中獲得根表的位置，進而對數據進行訪問。BigTable使用一臺服務器作為主服務器，用來保存和操作元數據。主服務器除了管理元數據之外，還負責對tablet服務器(即一般意義上的數據服務器)進行遠程管理與負載調配?？蛻舳送ㄟ^編程接口與主服務器進行元數據通信，與tablet服務器進行數據通信[8]。

Bigtable的架構由Bigtable master、Bigtable tablet servers和Bigtable client library三部分組成，如圖3所示。

Bigtable master存儲了許多由大量的tablets組成的表。主要負責指派tablet到tablet的各個服務器上，并檢測tablet服務器的增減和服務程序裝載滿與否，進行實時的分配任務，使tablet服務器負載均衡并回收GFS文件系統中的垃圾文件。此外，它還處理模式更改，如表和列簇的創建。

每一個tablet服務器用于管理一部分tablets，通常有10-1000個tablet和處理客戶端用戶的讀/寫請求。tablet是由大表以行為單位分隔而成的。每個tablet保存了連續的行，然后別分配到各個tablet服務器上。

Bigtable client library是客戶端用戶和Bigtable服務器通信的接口。用戶通過Bigtable client library接口來讀數據和寫數據等操作。

3 關系數據庫與云端數據庫的比較

3.1 兩者架構的區別

關系數據庫架構與云端數據庫中的Bigtable架構主要區別如表1所示。

3.2 基于架構的比較分析

通過對關系數據庫架構和云端數據庫中的Bigtable架構的分析，可以從以下幾個方面對兩者進行比較:

1) 數據模型

在關系數據庫中創建的表是一張二維表包括行和列，使用簡單的數據類型對結構化的數據進行存儲。但對于非結構化的數據的存儲，因為關系數據庫要保持數據冗余度低這一優點，所以關系數據庫的設計會比較復雜且困難。而Bigtable創建的類似于二維表，但事實上不是二維表，它是由行主鍵、列主鍵、時間戳三個域組成的多維map。雖然Bigtable存儲數據的冗余度比較高，但是Bigtable比關系數據庫的二維表多了一個域——時間戳域，時間戳域可以記錄事物的不同時間時的狀態。另外Bigtable是以一條記錄為原子對數據進行操作的，所以Bigtable不僅可以對事物的當前狀態進行更新，還可以對事物的過去狀態進行查詢。在這一點上，關系數據庫是不支持歷史查詢的。

2) 數據的存取方式

在關系數據庫中用戶對數據進行查詢、添加、修改及刪除等的操作是使用SQL語言。對于處理海量及復雜數據時，使用SQL語言對多個關聯表進行操作就可能會顯得非常繁瑣。Bigtable并非支持SQL語言的數據庫，而是以map 函數方式的，以列導向的數據庫。Bigtable對數據的存取是以一行記錄為原子進行的，不必關聯其他的表，那么數據存取的速率要比關系數據庫要高。

3) 數據遷移能力

關系數據庫提供了一些簡單的數據類型，在環境發生變化比如應用平臺或者是編程語言所提供的數據類型與關系數據庫所提供的不一致時，那么數據之間的轉化過程將會相當復雜而且還會增加成本。而Bigtable所提供的數據類型只有字符串類型，所有數據都是以字符串的形式進行處理，因此Bigtable在進行數據遷移時相比關系數據庫要容易并且成本也要比關系數據庫要低得多。

4) 支持事務

關系數據庫為了保持數據的完整性和一致性，提供了事務處理功能。關系數據庫在處理簡單事務方面，顯現出了關系數據庫的優勢。但是在處理繁瑣的事務方面，比如執行了n條SQL語句來對多個關聯的數據表進行處理，執行效率就會顯得比較低。目前，Bigtable還不支持事務處理功能，但是Google已經考慮到了該功能，一旦Bigtable支持了多行數據的事務支持，執行效率將會大大提高。

總之，云端數據庫在處理非結構化數據時要比關系數據庫的效率高，更適宜在多節點的服務器集群上工作，比關系數據庫更適應環境的變化，最大的優點是使用成本比關系數據庫要低得多。

4 結束語

本文通過對關系數據庫架構和云端數據庫架構的比較分析，可以得出云端數據庫在許多方面要比關系數據庫占優勢，也就是說云端數據庫技術具有很大的發展前景。雖然云端數據庫技術還不夠成熟，再加上各大關系數據庫供應商對關系數據庫技術的不斷改進以及對查詢算法進行優化，但是隨著云端數據庫技術的不斷成熟，將會得到廣泛的應用，進而逐步會取代關系數據庫成為數據庫中的主流。

參考文獻:

[1] Chang F，Dean J，Ghemawat S，Hsieh WC，Wallach DA，Burrows M，Chandra T，Fikes A，Gruber RE.Bigtable:A distributed storage system for structured data.In:Proc.of the 7th USENIX Symp.on Operating Systems Design and Implementation.Berkeley:USENIX Association，2006:205-218.

[2] 瞿裕忠 胡偉 鄭東棟 仲新宇. 關系數據庫模式和本體間映射的研究綜述[J].計算機研究與發展，2008，45(2):300-309.

[3] Fay Chang，Jeffrey Dean，Sanjay Ghemawat，Wilson C.Hsieh，Deborah A.Wallach Mike Burrows， Tushar Chandra， Andrew Fikes，Robert E.Gruber.Bigtable: A Distributed Storage System for Structured Data，OSDI，2006:1-5.

[4] Ghemawat S，Gobioff H，Leung ST.The Google file system.In:Proc.of the 19th ACM Symp.on Operating Systems Principles.New York:ACM Press，2003.29-43.

[5] Dean J，Ghemawat S.MapReduce:Simplified data processing on large clusters.In:

Proc.of the 6th Symp.on Operating System Design and Implementation.Berkeley:USENIX Association，2004.137-150.

[6] 陳康，鄭緯民.云計算:系統實例與研究現狀[J]. Journal of Software，2009，20(5):1337-1348.