一種基于網格的新型數字圖書館體系結構

摘 要：針對當前數字圖書館的開發周期很長，異構數字圖書館間資源共享困難的問題，提出了一種基于網格的虛擬數字圖書館（Virtual Digital Library-VDL）的體系結構，它以網格為基礎，由數字圖書館服務和一些基礎服務設施組成，其中的網格結點采用自組織的方式進行管理，因此在不同負載情況下可以采用不同的資源發現方法，虛擬數字圖書館是依照用戶的要求動態組合各種服務而形成的，因此具有靈活的共享機制和較高的服務質量。

關鍵詞：虛擬數字圖書館；網格；體系結構；自動生成

中圖分類號：C93 文獻標志碼：A 文章編號：1673-291X（2011）36-0215-04

一、虛擬數字圖書館

數字圖書館一詞最早由美國學者W．Wulf于1991年提出，數字圖書館的定義也有很多種，但其基本內容一致，可以這樣理解：數字圖書館是將海量數字化資源實行分布式計算機管理的、實現網絡化存取和智能化服務的信息和知識資源共享系統。

虛擬數字圖書館是指在邏輯上存在而在實質上并不存在的一個虛擬資源。它在邏輯上具有數字圖書館的各種功能和特性，可以像一個數字圖書館一樣來滿足用戶的需求，而事實上虛擬數字圖書館是由各種資源（軟件資源和硬件資源）通過有機組合而成的，其中軟件資源主要包括各種基礎設施和各種數字圖書館服務。

數字圖書館服務包含了基本服務和第三方服務，它們都是由一些低級服務和高級服務組成。所謂低級服務是指不需要調用其他服務的底層服務，用來完成特定的功能。而高級服務是指包含其他服務并且協同來解決某個問題的高層服務。

基本服務完成了大部分數字圖書館的傳統功能，如信息檢索等。第三方服務則是為了滿足用戶特定的需求而設計的服務。

無論是基本服務、第三方服務、低級服務以及高級服務都屬于網格服務，是網格中的軟件資源。

二、VDL的體系結構

1.VDL的物理結構。事實上虛擬數字圖書館的自動生成以及賴以生存的整個體系結構從物理結構上來看并不是很復雜，只是一些計算機構成的網格結點和一些硬件資源（包括存儲資源和數據庫資源等等），它們是整套系統的基礎。

由圖1可知，各個網格結點和硬件資源用高速可靠的網絡互聯，提供良好的通訊以及數據傳輸的基礎，保障系統的正常運行。由于網格的整體與局部具有相似性這一特點使得基于網格系統的數字圖書館具有良好的擴展性，能夠在一定條件下任意的擴展系統規模，用來提高系統的性能和服務質量，這對那些需要較高計算能力的服務來說是至關重要的。

普通的計算機結點一般是用來提供各種服務和計算資源，數據存儲節點主要是一些高性能的數據庫服務器和磁盤陣列，它們用來提供有效的分布式數據存儲，提高系統數據的吞吐量，解決數據分析中的數據存儲問題。另外的一些資源結點主要是根據用戶的特殊需求而加入網格環境中的。

從圖1中我們不難發現，連接網格結點的網絡的可靠性和性能基本上決定了系統的整體服務質量，它是系統的一個重要基礎。另外各個網格結點基本上不相互影響，保證當個別網格結點出現錯誤而癱瘓時整個系統依然能夠正常運行，當然這只是一個基礎，還需要從軟件技術方面進行支持，相關內容見第三部分。

2.VDL的模型結構。網格本身決定了該系統是面向服務的，也就是說系統實際上是由一個個網格服務按照一定的規則，在特定的上下文環境中再加上一些硬件資源包括數據庫服務器、文件服務器等形成的。

圖2展示了從服務角度來看時的系統模型結構，網格系統就像是一個巨大的服務容器池，里面包含著各種各樣的服務，包括低級服務，高級服務以及用戶定制的特殊服務，數字圖書館的各種服務就是由他們所組成，還有就是系統的基礎設施服務，用來保證系統正常安全的運行。

虛擬數字圖書館是系統根據用戶設計的數字圖書館配置文件以及相關的資源配置文件、結構文件對現有可用的服務進行動態組合而形成的邏輯上的服務資源組。由于這種資源組合具有著不同的服務屬性、服務質量或者服務方式以及使用的資源對象的不同，從而也就形成了各種各樣的虛擬數字圖書館。

值得注意的是虛擬數字圖書館系統調用的服務具體存在于哪個網格結點上是不確定的，在用戶定制數字圖書館的時候也不能指定哪個結點上的哪個服務用于該數字圖書館實例，只是告訴系統要生成的數字圖書館包含哪些服務，具有哪些要求，只有當該服務真正執行的時候才會由基礎服務確定哪個結點上的服務被執行，也就是說一個用戶在不同時間調用同一個服務，服務的宿主結點可能是不一樣的。

具體過程如下：當整個網格系統啟動的時候，所有已經經過設計的數字圖書館被初始化，也就是生成數字圖書館的實例，網格系統根據用戶的數字圖書館設計文件向數字圖書館實例提供該實例被指定擁有的各種服務的引用，同一類服務可能存在多個實體，也就是說會有數個網格結點都提供該類服務，但是服務質量不盡相同，當需要某類服務執行時，虛擬數字圖書館實例才會根據當時提供該類服務的網格結點的負載情況以及服務要求（如時間要求）來動態決定調用哪個網格結點上的服務實例。這樣做的目的就是能夠給用戶提供最可靠的、滿足用戶要求的最合適的服務。

3.VDL的服務組成。了解了虛擬數字圖書館的基本結構之后，看一下該系統服務的邏輯結構（如圖3所示）：該系統總共分成了以下幾個邏輯組成部分：

用戶接口層：也可以叫做服務包裝層，對最終用戶來說虛擬數字圖書館是由數字圖書館的設計和數字圖書館的應用兩大部分組成。數字圖書館的設計是為用戶定制滿足自身要求的數字圖書館提供可視化界面，此處是由高級服務根據用戶的具體要求設計出令用戶滿意的可視化界面，向用戶提供各種所需要的功能，包括基本服務（如檢索、瀏覽等）以及特殊服務（主要是第三方定制的完成特殊功能的服務）。其二是數字圖書館界面，它是根據個性化信息生成合適的界面。

應用服務層：該部分主要包含了數字圖書館的高級服務、低級服務和用戶定制的特殊服務以及一些基礎的服務設施。

其中高級服務主要包括以下幾種服務：（1）虛擬數字圖書館設計工廠。它直接對用戶接口層的虛擬數字圖書館的定制設計提供功能支持，也可以說用戶接口層的該部分功能是虛擬數字圖書館設計工廠的可視化表現。用戶使用它就可以實現虛擬數字圖書館的設計，由它生成了一個虛擬數字圖書館的設計文檔，包括功能設計、資源使用、虛擬組織、共享策略以及數據庫結構映射等等。（2）虛擬數字圖書館組裝工廠。它主要負責初始化并啟動已經設計好的虛擬數字圖書館。首先它根據設計工廠生成的設計文檔來實例化一個虛擬數字圖書館實例，按照一定的規則（比如：用戶的需求、網格結點的負載情況以及網格結點的硬件配置等）選擇合適的網格結點作為宿主結點，啟動服務，等待用戶的請求。（3）數字圖書館管理服務。這個服務主要是負責數字圖書館實例的管理功能，包括用戶的管理、資源的管理和數字圖書館結構功能的管理。另外該部分還能處理一些系統錯誤，保證系統的正常運行。（4）其他高級服務。主要是輔助完成上面幾種服務。

基礎服務設施主要包括：（1）訪問控制服務。該服務主要是進行用戶的授權和安全性檢查。包括了對用戶身份的認證和對資源使用的權限檢查。（2）資源索引服務。該服務主要是負責管理和索引網格中的各種資源，包括計算資源、存儲資源、數據庫資源以及其他的特殊資源。（3）資源動態自組織服務。該服務主要是為了將網格服務進行合理的組織，形成特定結構的拓撲結構，提高系統的服務發現效率和系統的穩定性能。（4）存儲資源映射服務。該服務負責解決系統數據的存儲問題，即數據放到何處和如何放置以及如何重新獲取數據。（5）數據庫結構映射服務。該服務主要是解決異構數據庫的資源共享問題，通過數據庫結構和標準結構進行映射，完成資源的共享。（6）其他基礎服務設施。包括數據傳輸控制等完成網格系統運作的必須服務功能。

用戶定制服務主要是針對有特殊要求的用戶而設計的接口服務，便于系統的擴展。

低層服務層：低層服務層一般來講主要是面向高層服務層提供基本的、單一功能服務，并且直接與物理資源層進行交互，是整個系統的基礎部分，可以說是系統服務核心的基礎，它在一定程度上限制了系統高層服務的功能。

三、VDL中的關鍵技術

1.數據庫的映射

整個虛擬數字圖書館的生成過程實際上分為兩大部分即設計與初始化啟動。設計也就是綜合考慮數字圖書館中所需要的功能結合系統中現有服務生成一個數字圖書館的結構文檔，根據這個文檔去初始化數字圖書館實例。那么在這兩部分中間如何進行無縫結合、各個低級服務之間如何進行協調、服務如何理解操作者的意圖，所有這些問題都依賴于XML技術。

用戶設計的數字圖書館結構用XML來存儲，程序通過分析XML文件來獲得用戶的意圖，并且用一個標準的XML定義文檔與用戶設計的數據庫結構和數字圖書館結構進行關聯映射，應用服務通過這種方法來實現一般服務向特殊服務的轉化，滿足用戶多種多樣的需求，比如，當一個具有幾個數據庫使用權限的用戶來使用數字圖書館，用戶只需要提交一次查詢就可以對多個屬于不同數字圖書館的數據庫進行查詢，從而實現了數字圖書館的底層共享。

2.VDL中數據的存儲。虛擬數字圖書館的生成過程中會產生大量的配置文檔以及輔助文檔，這些文檔是虛擬數字圖書館的邏輯組織形式，另外，由于數字圖書館處理的是海量數據，如何安全有效的管理使用這些數據就成為了虛擬數字圖書館中要解決的一個關鍵問題。為此借助于GT4中的GridFTP設計了一種管理模式（如圖5 所示）：

海量數據的存儲利用一個索引服務來統一規劃，服務查詢索引定位資源，然后利用GridFTP進行傳輸，提供給請求者。其中配置文件十分重要，一旦損壞則整個虛擬數字圖書館就有可能癱瘓，因此要對其進行備份，首先對配置文件進行壓縮，然后利用GridFTP將壓縮的配置文件傳送到備份存儲資源上。之所以要對其進行壓縮是為了便于傳輸和存儲，提高服務質量。

3.VDL中的資源發現。在虛擬數字圖書館設計以及初始化的時候需要動態的發現資源（包括結點資源和結點上的服務資源）。因此采用一種自組織的方式進行組織和檢索。首先各個服務根據自身的特點（包括服務性能、宿主負載情況等）自動加入相應的虛擬組，并且每組之中動態選出一個主索引結點，然后再由主索引節點選出全局索引結點。

由圖6 可知，所有網格結點都能夠直接連到全局索引結點，組內結點是雙向連接的，保持信息的雙向交互。系統中分組的個數由只能控制模塊控制，利用反饋機制試圖達到系統性能的最佳點。

在資源發現的模式選擇上也是由智能控制部分進行檢測管理。集中式的資源發現在特定的條件下有著極高的性能，但是當系統負載過高的時候性能就會急劇下降，所以智能模塊監視系統的負載，一旦負載超過閾值就改變發現模式，由集中式轉為分層的分布式，在最早高的情況下采用純分布式的資源發現模式，最大限度地提高資源發現的效率。

利用這種模型進行資源的發現可以提高系統的穩定性，即使部分網格結點出現問題整個系統仍然能構正常運行，另外能夠提高系統的性能。

結束語

本文主要介紹了在網格環境下的數字圖書館的體系結構模型和虛擬數字圖書館的自動生成過程，然后介紹了其中的一些關鍵技術，包括數據映射、資源發現和管理以及數據存儲等。

由于基于網格技術的數字圖書館的自動生成的研究目前還很少，在國內更是一片空白，因此其中的很多問題都有待于進一步研究，雖然數字圖書館的自動生成還面臨很多的問題，但是他的前景十分廣闊，它不但可以提高現有數字圖書館的服務質量以及資源的共享，最主要的是它提供生成瞬時數字圖書館的能力，滿足一些臨時研究項目的要求。

參考文獻：

[1] DILIGENT項目 DILIEGNT Project Overview http：//diligentproject.ors/，2006.

[2] EGEE-DILIGENT Interaction Report.4，2005.

[3] Padmanabhan，A.，Shaowen Wang，Ghosh，S.，Briggs，R.：A self-organized grouping (SOG) method for efficient Grid resource discovery

Grid Computing，2005.The 6th IEEE/ACM International Workshop on13-14 Nov. Page(s)：6 pp.

[責任編輯 王玉妹]