基于并行數據庫的海量商務數據管理系統研究

（華南理工大學 計算機軟件學院， 廣州 510640）



摘 要：

為了使海量商務數據得到高效、穩定、安全的處理，提出了一種針對基于并行數據流技術的海量數據管理系統，詳細探討了該系統中并行數據加載模塊和并行數據查詢模塊的關鍵技術及具體體系結構，并對其中的并行查詢技術提出相關的優化方案。

關鍵詞：海量商務數據； 數據管理系統； 并行數據流技術； 并行數據查詢； 并行數據加載

中圖分類號：TP393 文獻標志碼：A

文章編號：1001-3695(2009)02-0614-03



Research of parallel technology in massive commerce data management system



PENG Hong， DU Nan

（School of Computer Software Engineering， South China University of Technology， Guangzhou 510640， China）



Abstract:In order to perform the massive commerce data in an effective and stable way， this paper designed a type of massive data management system which was based on the parallel technology data flow technology. And detailed the main technology and the architecture in the parallel data loading module and the parallel data query module in this system， and suggested ways to improve them.

Key words：massive commerce data； data management system； parallel technology data flow technology； paralled data query； paralled data loding



0 引言

隨著經濟全球化的不斷發展，國際性的大型企業不斷涌現，數以億萬計來自全球各地的用戶通過互聯網進行商務活動，以致其業務數據量空前龐大，產生了TB甚至PB級的海量數據。例如，全球著名的拍賣/購物網站eBay擁有2億4百萬注冊用戶，每一刻鐘有6億份清單生成，每天有超過10億次的頁面瀏覽，每天有260億次的SQL查詢，而其以每周增加10TB的速度增加其內存。如何對海量商務數據進行有效的存儲、及時加載和高效查詢成為亟待解決的問題。

海量商務信息數據具有的高速性、連續性、即時性等特性，給海量數據的管理帶來了前所未有的巨大挑戰，并行數據庫技術是目前存儲和管理海量信息比較有效的技術手段。

本文基于并行數據庫技術，提出了海量商務數據管理系統。該系統是一種用于解決海量數據加載和查詢的并行任務調度的系統[1]。

1 商務海量數據管理系統的體系結構

圖1描述了商務海量數據管理系統的系統結構。

商務海量數據管理系統采用客戶機/服務器(C/S)的結構模式。在這種模式中，所有客戶端與應用服務器連接，再由應用服務器與數據庫服務器相連接。所有對數據庫的訪問均由應用服務器統一管理。客戶端負責與用戶地交互，收集用戶信息，向應用服務器提交各種請求。

本文主要研究商務海量數據管理系統中的并行處理技術，包括并行加載技術及并行查詢技術[2，3]。

2 并行數據加載服務

為了保證系統的加載速度，本系統采用了并行加載功能，對需要加載的記錄先進行緩沖。當緩沖區滿時，將數據分布到多個加載對象上，這些加載對象可同時對不同的數據庫加載。

數據加載的加載服務流程如圖2所示。

2. 1 數據的并行加載

當系統開始運行后，所有服務對象向容錯及負載平衡模塊提出注冊。用戶的初次加載請求注冊后，通過容錯及負載平衡模塊發送到數據劃分模塊；之后該模塊根據數據分布策略以及業務特點(是否是分布式事務)，返回至對象容錯及負載平衡模塊，在那里選擇與數據庫節點對應的若干個對象分配模塊；然后分配對象模塊再選擇一個加載模塊，通過數據連接池執行加載至數據庫，至此加載線路建立完畢。該數據劃分模塊與其他DBMS之間的加載線路也類似建立。一旦線路建立之后就相對穩定，下次與該劃分模塊和DBMS相關的加載請求就無須再重新通過容錯及負載平衡模塊建立線路。

在加載過程中，當容錯及負載平衡模塊發現某個服務對象負載過重時，會選取負載較輕的服務器，調整相關連接。由此可見，整個并行加載中間件結構的特點是多層次、松耦合。整個加載過程被分成三個階段:數據劃分階段(決定待加載數據應送往哪一個數據庫節點，由數據劃分模塊完成)→分配對象階段(尋找合適的表加載服務器，由分配對象模塊完成)→數據加載階段(對相應的數據庫進行加載操作，由加載模塊完成)。各個分段之間可以獨立執行，整個過程實現了流水化，從而使并行最大化，有利于大量數據的高速加載。

本系統在加載模塊中使用了兩個緩沖文件，最大程度地降低了耦合，提高了并行度。如圖3所示，數據加載模塊對每個要加載的文件建立兩個緩沖文件：A和B。首先，加載模塊把文件寫入緩沖文件A；然后根據特定的算法將緩沖文件A更名為B，再加載到數據庫中。緩沖文件中的數據要與后臺數據庫進行信息交互。為了防止頻繁出現數據庫連接的創建和取消，在緩存隊列與數據庫之間采用數據庫連接池技術。數據到達數據庫后，對數據的處理采用線程池技術，以滿足業務處理的并行性。采用這種方法可以降低寫入數據與加載數據之間的耦合，使得接收數據和加載數據可以流水執行[4]。

2. 2 數據劃分

本系統其中一個主要目的是使加載速度得到較快的響應速度。一般來說，批量加載功能可以很大程度上提高數據加載速度。但測試結果表明，單個用戶的批量加載速度也就是幾百條到幾千條記錄，而且同時進行的其他操作(如查詢等)將極大地限制批量加載速度。所以使用合適的數據庫系統數據劃分策略和并行策略，可以進一步提高系統的加載速度。但這種并行化很有限，因此需要通過多個數據庫系統并行工作，以提高系統加載速度，使之滿足本系統需求。高效處理海量商務數據是本系統的特點之一。而單個數據庫系統的規模不能滿足本系統的規模需求，所以本文采用了多數據庫系統實現海量信息存儲。采用多數據庫系統就必須涉及數據劃分。在如圖2所示的加載服務流程圖中，在分配對象模塊中可以使用以下幾種數據劃分方式[4]:

a)Round robin。均衡劃分方式，將表的記錄均勻分布在其并行域所包含的數據庫節點中。

b)Hash。通過hash函數計算記錄相應的屬性值，以確定存儲該記錄的數據庫節點。

c)Range partition。將記錄依據屬性范圍分組，將不同的組分別存儲在不同的數據庫節點中。

3 數據的并行查詢服務

商務海量數據管理系統中一個關鍵服務是查詢服務。該服務系統需要及時有效地響應大量并發用戶的查詢請求。如何在持續、海量的情況下，維持高效的工作率，提高查詢性能，滿足用戶的需求是十分重要的。

并行數據庫的查詢不同于傳統數據庫的查詢。在傳統數據庫中，如果用戶提出一個查詢，查詢優化算法只要自動匹配其中一個最小工作量的執行算法，這樣的計劃必然擁有最短的執行時間。然而在并行數據庫的查詢優化服務中，問題則會復雜得多。在并行數據庫的查詢服務中，擁有最小工作量的執行算法可能擁有很強的固有順序，難以進行并行處理，其響應時間很可能并不是最短的。而查詢優化的主要目的就是找到最小響應時間的查詢執行計劃。所以，并行數據庫的查詢需要一種能適應其并行特性的數據庫查詢優化方法。

3. 1 簡單并行數據流方法

關系查詢可以作為并行數據流執行。圖4為一個SQL查詢語句及其執行過程中的數據流圖。圖中scan A和scan B即表示關系A和B，也表示A和B的操作。如果為圖中每個操作分配一個處理機，并按數據流圖執行給定的查詢，則可以使insert和join按流水線方式并行執行，join和兩個scan按流水線方式并行執行，兩個scan獨立并行執行，實現了該查詢的并行執行[5]。

如果為這個并行數據流圖中的每個節點分配一個處理機，并按照規定的執行次序執行查詢語句，則實現了這個查詢語句的并發執行，縮短了查詢響應時間[6]。

實現并行數據流所需的查詢處理機的結構如圖5所示。

a)并行處理器的語義緩存模塊利用語義為將來的查詢提供解答。語義緩存的理論是建立在用戶查詢的語義局部性上的，即用戶查詢之間的語義相關性，以重用緩存數據。

b)并行處理器的簡單數據流圖生成模塊把順序執行的查詢語句轉換為并行數據流圖，對于數據流圖中的每個節點，根據執行算法的特點判定其是否可以按流水方式并行執行。

c)并行處理器的處理機分配模塊為數據流圖中的各個節點分配處理機，并生成并行查詢執行計劃。

d)并行處理器的查詢執行模塊協調多個處理機完成查詢任務[7，8]。

3. 2 優化后的并行查詢服務

在上述處理機結構和功能的基礎上，添加數據字典和語法分析器，進一步提高了查詢性能。

在經過優化后的并行查詢中，查詢服務首先對SQL語句進行語法分析，并行查詢通過語法分析器提取查詢語句的并行敏感信息，從數據字典中讀取此次查詢的表分布狀況和屬性，重寫查詢語句。經過重新優化后的查詢語句可以發送至各個節點執行，以提高查詢性能。

為了滿足多用戶并發查詢請求的需要，并行查詢服務使用了連接池的連接模式。連接池是對多個連接對象的緩沖存儲池，它在并行查詢服務初始化時創建，所有對后端并行數據庫的連接都提交至連接池，根據連接池內部的一套管理機制，對數據庫連接進行共享、分配、管理等操作[6]。

最終，優化后的并行查詢整體結構如圖6所示。

4 結束語

本文基于并行數據庫技術，針對當前傳統關系數據庫處理海量商務數據能力的不足，提出了一種并行的海量商務數據管理系統。該系統適用于批量處理海量商務數據，使得數據的管理，以及數據處理、分析和過程的綜合再現更加準確、方便和安全。

并行加載模塊和并行查詢模塊是海量商務數據管理系統的關鍵功能模塊。其中多路并行加載技術提供了高性能的加載，并在模塊內采用了數據劃分技術，使得加載效率進一步提高；并行查詢技術對于海量商務數據的聚集查詢進行了優化，提高了查詢速度。下一步的工作將主要著眼于并行加載模塊中索引管理技術的應用和并行查詢模塊中語義緩存技術的研究，使其性能進一步優化和提高。

參考文獻：

[1]SILBERSCHATZ A，KORTH H F， SUDARSHAN S. 數據庫系統概念[M ].楊冬青，馬秀莉，唐世渭，等譯.北京:機械工業出版社， 2002.

[2]張麗，楊樹強，李愛平，等.海量數據管理平臺MDMP中并行加載與查詢技術研究[J].計算機研究與發展，2007，44（10）:475-480.

[3]李建中，孫文雋.并行關系數據庫管理系統引論[M].北京：科學出版社， 1998.

[4]杜凱，楊樹強，賈焰，等.基于CORBA的海量數據加載中間件的研究與實現[J].計算機科學，2003，30（增）:116-119.

[5]LI Jian-zhong， SRIVASTAVA J， ROTEM D. CMD: a multidimensional declustering method for parallel database systems[C]//Proc of the 18th International Conference on Very Large Databases. San Mateo: Morgan Kaufman Publishers Inc， 1992，3-14.

[6]黃鎧.可擴展并行計算技術、結構與編程[M]. 陸鑫達，徐志偉，譯. 北京:機械工業出版社， 2000.

[7]ULLMAN J D. Principles of database and knowledge-base systems[M]. New York:Computer Science Press Inc， 1988.

[8]李建中，李金寶.處理并行數據庫查詢的簡單并行數據流方法[J].黑龍江大學自然科學學報，1998，15（4）：43-50.