分布式數據庫存儲子系統設計與實現

劉曉丹（陜西廣播電視大學，西安，710068）

分布式數據庫存儲子系統設計與實現

劉曉丹
（陜西廣播電視大學，西安，710068）

本文通過對分布式關系型數據庫的分析研究，開發了利用價值較高的分布式關系數據庫系統CRDB，該系統最大限度地利用網絡和磁盤的I/O能力，提高用戶體驗，并利用Linux 提供的API大大節約了系統開銷。

分布式；數據庫系統；結構化存儲

1 研究背景

互聯網自誕生以來以其獨特的魅力受到了世人的青睞，超強的影響力使其在全球范圍內迅速普及。在2014年四月份瑞典Royal Pingdom公司研究報告顯示，全球網名總量已達到了22.7億，相較于五年前的11.5億，這一數據可謂意味深遠。其中，報告還稱在亞洲人口數量多的發展中國家地區網民人數還有很大的上升空間，這就意味著網絡的競爭市場只會愈演愈烈。與此同時，大眾對于數據存儲的需求也日益增長。美國IDC公司2011年6月的數據統計顯示，僅在當年，全球的數據產生量已達到了1.8ZB，未來十年可能會增長50倍。可以說這一龐大的數字，也就意味著信息時代也是“大數據”時代。

2 分布式關系數據庫

2.1 分布式存儲

相對于集中式存儲而言，分布式存儲是是將數據存儲在一個由網絡連通的多個結點構成的集群之上，向上層提供存儲接口的一種存儲系統。分布式存儲技術具備高性能、高擴展性等優勢，緩解了各個互聯網公司面對海量數據存儲的壓力，為其提供了大規模數據的存儲和訪問，而且由于其本非常廉價，受到了各公司企業的極大青睞。

2.2 結構化與非結構化

存儲系統按其存儲數據方式和提供的存取接口，一般地可分為非結構化存儲和結構化存儲，鍵值存儲系統屬于典型的非結構化存儲系統，它只負責基于 key-value 的存取，無法對value進行解析。而結構化存儲系統則不同，典型的就是關系型數據庫，它能夠利用系統所提供的接口在數據上進行計算并得到計算的結果。當用戶使用它所提供的存取接口也就是SQL語言時，可實現對存儲的表進行各種操作，然后再將操作后的結果返回給用戶。

2.3 關系數據模型

關系數據模型、層次數據模型以及網狀數據模型稱為三大數據模型，而關系數據模型是三者中應用最為廣泛、研究也最為成熟的數據模型，數據庫的類型也是根據數據模型來劃分的，分布式關系數據庫提供的是基于關系數據模型的數據存儲。此外，經過多年的發展，SQL已成為表述關系操作的標準語言。

3 系統分析

3.1 CRDB系統

該系統是用于存儲海量結構化數據的分布式關系型數據庫，與傳統數據庫相比較，CRDB系統能夠在其基礎上提供額外的高可靠性、高擴展性、高并發和對分布式事務的處理。CRDB系統主要由網關——Gateway、認證服務器——CA、本地數據庫——LDB、索引服務器——IS、元數據服務器——MDSS、分布式事務執行服務器——DTE等幾部分構成，各部分之間關系密切、不可分割。

本文針對LDB存儲子系統重點討論，雖然該系統在整個系統中擔任最底層的存儲結點的角色，但是實際上CRDB整個系統的性能在很大程度上取決于LDB存儲子系統的性能。關鍵在于LDB負責完成用戶對數據的查詢。而且從性能來看，涉及到數據的操作最終都會由某個LDB來完成。

3.2 需求分析

在CRDB系統中，LDB能夠在其他子系統處于運行狀態時，任意時刻運行并添加到系統中。當剛啟動系統時，數據存儲量較小，若要滿足數據存儲的需求，只需底層一個LDB即可；當運行時間加長時，數據量會增大，為了避免系統一段時間內不可用，LDB必須能夠動態第添加到系統中增加系統的存儲能力。而且，當系統存儲需求擴大時，管理員只需要針對一臺新添加的服務器配置好XML文件，LDB便可動態地添加到正在運行的系統中，同時也不影響系統的正常運行。

4 系統總體設計與實現

4.1 系統模塊劃分

圖1所示即LDB存儲子系統模塊圖。

圖1 系統模塊圖

觀察圖2可知LDB存儲子系統主要包括四個模塊。一是網絡通信模塊，該模塊負責LDB子系統與其他子系統和其他LDB之間的通信，通過該模塊DTE能夠為LDB發起任務執行計劃，接收任務并完成情況的回復。而Gateway若與LDB相連則需要通過此模塊，如此LDB才可以將結果集發送給Gateway。二是任務管理模塊，該模塊負責對LDB接收到的任務的執行情況進行管理，一個LDB同時可能對多個來自不相同或是相同的DTE任務進行執行。此外，該模塊有一個計時器子模塊，主要為執行的任務計時，一旦超出預期值，該模塊會將此次任務取消。三是線程調度模塊，該模塊主要實現的是一種異步I/O機制，筆者及團隊經過分析選擇了非阻塞復用I/O編程框架，并做出了自行實現異步I/O的決定。四是數據庫連接池模塊，當任務在執行時需要對數據庫進行訪問時，可由數據庫連接池分配一個已建立的連接，當任務結束后，連接由數據庫連接池維護，如此可大大節省由連接和關閉所帶來的開銷。

4.2 系統框架設計

圖2所示即LDB存儲子系統架構圖。

觀察圖2我們可知，LDB對于整個分布式數據庫系統來說至關重要，它負責整個系統的底層存儲，而且網絡模塊監聽了來自Gateway、DTE以及其他LDB的連接，一旦它們的被監聽的連接上有了可讀或者可寫的事件發生，任務管理模塊的TaskManager會對這個事件進行處理，并且會根據其是否是新任務對其進行不同的處理方式。

當事件的處理不涉及數據庫的訪問，主線程可對這個事件進行直接處理，同時對下一個事件做出監聽。反之，為了避免阻塞主線程，事件的處理將會交由線程池來處理。

4.3 系統的實現

在LDB上，包括網絡的讀寫，任務的調度以及計時器的響應都是基于epoll實現的，它對網絡讀寫事件和管道讀寫事件都可進行監聽。在LDB實現上，將epoll對的操作接口三種操作都封裝到EpollEvent類里面，這個類對此驅動模型需要的數據的操作進行了封裝。

5 結語

綜上所述，分布式關系型數據庫的研發是一項復雜的工程，本文僅對此做出了初步的設計，最終將理論應用于實踐還需要更深入的探索和研究。

牛園園.分布式數據庫有關連接查詢優化算法的研究[D].長沙理工大學2010

Distributed database storage subsystem design and implementation

Liu Xiaodan
（Shaanxi Radio and TV University，Xi'an，710068）

This paper analyzes the research on distributed relational database,developed the use of highervalue distributed relational database system CRDB,the system is to maximize the use of the network and disk I/O capacity,improve user experience,and using Linux API provides significant savings in overhead.

distributed;database system;structured storage

圖2 LDB架構圖