數字圖書館的云存儲性能研究與研討

陳 茫

（桂林理工大學圖書館，廣西 桂林 541004）

1 引言

信息技術的變革帶了各種信息數字化的狂潮，面對新的數據和 Web應用服務，如何方便的存儲信息，如何提高存儲信息的效率是數字圖書館研究的一個重要的課題。數字圖書館的研究人員面臨存儲時，總是無法回避兩個問題：（1）如何用最小的資源消耗，最大限度的滿足用戶的實際需求；（2）如何減少設備經費和管理成本的支出，同時提高存儲資源的利用效率[1]。云計算技術[2-3]的出現給我們帶來了新的曙光，基于云環境下的數字圖書館存儲建設研究掀起了又一輪新的浪潮。

本文的研究正式基于上述的出發點而完成的。首先分析比較云環境下的構架及部署；結合開放源碼的云構架軟件和云存儲管理工具，針對不同的云存儲關鍵技術，建立一個切實可行的云存儲解決方案。最后，從系統實施、系統效率、資源消耗、數據安全和現實可用性等多方面分析對比不同云環境下的存儲性能，并得出響應的測試結果和測試結論。

2 相關背景研究

云存儲的概念源自于云計算的研究，它是從云計算延伸和發展而來的，所謂的云存儲服務就是指以服務的形式為用戶提供數據存儲服務和訪問，即網上的應用服務和數據中心的軟硬件設施。云存儲通過集成計算機集群技術、分布式文件系統、網格技術、Web2.0技術和存儲虛擬化技術等現代信息技術，并將不同的存儲設備以應用軟件的虛擬化來協同工作，并實現數據存儲和訪問的系統[4]。

云存儲具有以下四個優勢：

（1）按需使用。即用戶不需要對存儲介質容量定量，可以快速部署存儲，按需存儲；

（2）易于管理。云存儲的管理由響應的軟件進行專業化的管理，無另需專人維護，管理簡單；

（3）成本低廉。即應用較少的硬件資源，就可達到費用高額的專用存儲設備的性能；

（4）容災性強。即不受停電和升級等的外部因素影響，可提供不間斷服務和數據快速恢復；

（5）災難防范。一旦災難發生,異地備份數據自動啟動恢復，容災性更高。

目前，關于云存儲的實際應用案例還是比較多的，例如：亞馬遜公司的云存儲S3，就是一個很好的例子，它是云存儲解決方案可行性應用的先驅，其云存儲的數據存儲速率可根據用戶的數據量和用戶需求而定[5]；美國國會圖書館與DuraSpace公司的DuraCloud項目也是一個很不錯的數字圖書館云存儲案例[6][7]，它為廣大的數字圖書館用戶提供了一個可實現的有效保存與訪問的解決方案；此外，百度公司的“百度云”[8]、杭州格暢科技的“格子云 2.0”[9]等都是不錯的公共云存儲設施。這些具體的云存儲，為我們提供了可行的云環境，使構建符合自身特點的數字圖書館云存儲成為了可能。

3 云存儲的基本構架

3.1 構建依據

計算機硬盤驅動器，相對云存儲而言，在應用的過程中，還是存在較高的故障率。為了數據的安全，通過評估不同的復制機制，多種級別的數據存儲的可擴展性和容錯性，我們選用了云存儲的構架，該構架通過結合私有云和公共云來創建混合的云存儲環境。

目前，常用的、穩定的、開源的而且免費云環境管理工具有：Open Nebula[10]、Eucalyptus[11]和 OpenStack[12]等。在此選擇 OpenStack作為構架的原型，同時，這個原型的目標是設計并實現可擴展和兼容性高的分布式存儲構架。此外，應用的云存儲環境本身是免費的、通用的和開源的構建工具。綜上所述，這種體系結構也是數字圖書館可以采用構建云存儲環境時，可行的資金和技術解決方案。

3.2 云存儲構架

本文構建的云環境下的數字圖書館云存儲構架，如圖1所示，其中相關的核心的組件和模塊描述如下。

（1）虛擬機（Virtual Machine）：縮寫為VM，指通過軟件模擬的具有完整硬件系統功能的、運行在一個完全隔離環境中的完整計算機系統。通過虛擬機軟件，可以在一臺物理計算機上模擬出二臺或多臺虛擬的計算機，這些虛擬機完全就像真正的計算機那樣進行工作，例如可以安裝操作系統、安裝應用程序、訪問網絡資源等等。為了創建合適的數字圖書館云存儲虛擬機，分析了諸如KVM和XEN等不同的開源虛擬機代碼[13]。相關分析數據顯示KVM的性能要高于XEN，所以，選擇KVM作為主虛擬機，虛擬機包括Apache Web服務器，一個PHP模塊，基本的工具DISOC Web應用程序等，每個虛擬機能夠通過數據訪問模塊透明地訪問磁盤池。

（2）虛擬機管理器模塊（Virtual Machine Manager Module）：縮寫為VMMM，是VMM 實現的中樞，所有其他 VMM 組件通過它進行交互和通信，它運行命令、傳輸文件并控制其他 VMM 組件和所有虛擬主機及 VMM 庫服務器的通信。

（3）數據庫訪問模塊（Data Access Module）：縮寫為DAM，主要是負責數據的訪問，簡單的說法就是實現對數據表的Select（查詢），Insert（插入），Update（更新），Delete（刪除）等操作。虛擬機所需的虛擬磁盤空間通過數據訪問接口模塊（Data Access Module Interface，以下縮寫為DAM-I）獲得，并通過DAM-I調用DAM，DAM則負責整個云存儲服務器上的文件分配、檢索及存儲。

（4）負載均衡模塊（Load Balancer Module）：縮寫為LBM，將負載（工作任務）進行平衡、分攤到多個操作單元上進行執行，例如Web服務器、FTP服務器、企業關鍵應用服務器和其它關鍵任務服務器等，從而共同完成工作任務。這里主要是指分配負載在不同虛擬機所組成的實例化物理服務器的私有云。

（5）負載均衡器（Load Manager）：縮寫為LM，這里它是負責隨時監視發生在私有云上的負載狀況。

（6）分布式云存儲（Distributed Storage on the Cloud）：縮寫為DISOC，這是一個基于Web的網絡文件云存儲系統，它是云存儲構架的實例。

4 關鍵復制技術及測試環境構建

4.1 云存儲關鍵復制技術

在云存儲服務的部署過程中，數據的高可用性是一項十分重要的評價指標。選擇適當的數據復制技術是實現數據高可用性最為有效的方式。在云存儲的構架中，數據庫訪問模塊 DAM為我們提供了不同級別的數據可用性組件，其關鍵技術有以下幾種復制技術：無復制、總復制、鏡像和IDA復制。

（1）無復制：數據文件只有原始的版本存在于云中的磁盤中，并遵循磁盤循環的分配策略；同時，受自身的最小服務器容錯需求的影響，該策略規定，一個文件將被分割并分配到不同的存儲虛擬機上。由于所有的數據都僅只有一份，雖然它的硬件資源消耗最小，但是該復制技術的數據可用性和容錯水平是所有技術中最低的。

（2）總復制：與無復制技術相反，數據文件在每臺服務器中都有相應的拷貝，且均可用。雖然，它是數據級別可用性最高的方法，但是，其代價是它占據了最高的磁盤空間消耗，通常不被大家采用。

（3）鏡像：數據文件在存儲的過程中，DAM將實時的產生一個數據備份，而這個備份被分塊放置不同的存儲虛擬機上。它是一種較為簡單的復制技術方法，可以確保在資源消耗不高的同時，也具有較高數據的可用性。

（4）IDA復制：基于數據分片備份容錯算法的復制技術，也是文章中采用的數據復制技術，其基本思想是將一個長度為L 的原始文件F分成n個分塊Fi ( 1≦i≦n)，每個分塊的長度為L /m，從Fi中任取m個分塊都能還原文件F。從空間上看，n個分塊Fi的總和是原來文件的n/m倍(n/m≧1)。IDA復制技術，有點類似于獨立磁盤冗余陣列（RAID 5），一旦發生磁盤故障，它不要重新復制整個文件到文件服務器上，而只需要復制文件K個損壞的片段（k＜m）至云存儲上即可，它是一種塊級的條帶化的存儲技術，能根據不同的策略選擇2到n存儲服務器的分布式環境中的數據進行數據重建。故而，它較之其它的復制技術，具有更高的數據可用性和更少的資源消耗。

4.2 測試環境構建

在測試相關的數據之前，需要搭建現實的云存儲環境[14]，其基本的云構建如圖2所示。本地的私有云，選用8臺相同配置的聯想商用計算機構成；同時，在構建和測試混合的云存儲環境中，通過 DAM-I負責透明的訪問外部公共云存儲平臺，其中選用公共云存儲商的公共云存儲設施是:百度公司的“百度云”和杭州格暢科技的“格子云2.0”。

DAM數據訪問云存儲和單個存儲設備的性能比較時，采用集中式的版本進行分析，數據訪問模塊只需訪問云存儲的主節點虛擬機或是單個文件服務器。在測試私有云和混合云的性能時，運用分布式的版本，8臺分布式存儲系統采用分布式的處理。

在測試云存儲的工作負載時，運用云存儲原型中的并發客戶端程序，來進行多并發的文件上傳和文件下載請求測試。在私有云的環境中，將并發數設定為100個、150個和200個，進行測試；在公共云的性能時，如果測試的并發數過多，會被公共云服務商認為是惡意的攻擊行為，所以，此項測試的并發數設置為10個、15個和20個。通過詳細的測試，能夠準確的分析不同數據復制技術之間的數據處理能力。

針對測試的項目，選用以下兩個主要指標數據作為測試的指標。一是響應時間，即用戶上傳或下載文件開始到文件加載或下載完成的時間；二是服務時間，即 DAM組件讀取文件時從找到文件開始到讀取文件完成所需的時間。測試的行為選取的操作是：文件上傳和文件下載。

5 實證測試與分析

在構建完成所需的云存儲現實環境后，本文對以下幾項相關性能做出測試。其中測試的工具選取開源 Web性能測試工具Autobench[15][16]。通過，生成動態的網頁請求數據，模擬服務器上的數據處理時間。

5.1 單臺服務器和云存儲的性能對比

本項測試的對象是單個服務器和由多個服務器組成的云存儲環境之間的性能對比。在測試圖中，橫軸表示評價時間，即不同客戶端對存儲設備的請求時間；縱軸表示響應時間，即獲得請求后發送到存儲服務后的平均響應時間，其性能的測試結果如圖3所示。

通過分析不難發現，當開始處理請求時，當負載較低時，單臺服務器比云存儲具有更快的響應性能；然而，一旦負載加重，云存儲就表現較好的響應時間。特別是在測試的最后，可以清楚的看到，單臺服務器已經無法完成客戶端的測試請求，然而出乎意料，云存儲卻提供能完成工作量更好的響應時間。

5.2 私有云存儲的性能測試

本項測試的是不同復制技術下自建的私有云存儲的數據性能，具體如圖 4所示。通過分析不難得出，雖然無復制的響應時間和服務時間總是最短的，但是，由于在上面的介紹中說到，這種技術沒有備份數據，其數據遇到故障時，數據安全性最低。而 IDA復制在所有的復制技術中，其的數據可用性、響應時間、服務時間和容錯能力上較其他的復制技術，具有很強的競爭力，值得重點考慮。全復制技術和鏡像復制技術，資源消耗資源相對 IDA復制較高，響應及服務時間也較長。

5.3 IDA復制技術在不同公共云存儲的性能對比

由于在上面的分析中，分別對比了單臺服務器和云存儲的性能和不同復制技術在私有云環境的存儲性能，且性能的數據反映了云存儲和 IDA復制具有良好的性能。故而，本項測試選用的是混合云存儲環境下 IDA復制技術在不同公共云存儲的性能對比。同時，選用的公共云服務平臺是：百度的“百度云”平臺和杭州格暢科技的“格子云2.0”平臺，進行相關的對比分析。

同樣，DAM訪問相應的存儲環境，具體的分析數據，仍然選用文件上傳和文件下載的響應和服務時間作為參考，其具體的測試結果如圖5所示。在測試的過程中，執行IDA復制的 DAM模塊從公共云獲得文件的片段，同時建立與私有云之間的聯系，在測試的結果中不難發現，在該云環境的 IDA復制模式下，“百度云”和“格子云 2.0”雖然表現了相似的性能，但是，“百度云”還是比“格子云 2.0”略勝一籌。其原因可能跟百度的API程序比較成熟或者百度的網絡環境有關。

6 結論

組件故障、數據丟失、人為操作失誤、自然災害、攻擊和管理失誤等因素，是數據的長期存儲的最大威脅，會給數據的保存帶來不小的難題。云存儲技術作為現今科技時代圖書館重要的技術手段之一，為大數據環境和極端條件下的數據存儲，提供了有力、可靠和安全的數據保障。本文云構架方式、開源構架工具、IDA復制技術、Web數據測試工具以及公共云平臺等都是免費的、成熟的、開源的云存儲解決方案，大家可以根據上述的云存儲的相關性能，采用或研究適合自身業務系統、應用系統的云存儲方式構建自身的云平臺，也希望本文能給廣大云計算研究人員提供些許幫助。

在以后的工作中，將進一步的從以下兩個方面來改進：（1）根據不同云存儲的性能對比，在實際具體的應用系統的實施中，確立更加科學的云存儲構架的選型和應用。（2）在實際的云存儲應用中，根據應用系統出現的問題，改進云存儲的相關流程，提高云存儲的安全性和存儲效率。

[1] 胡昌平,谷斌.數字圖書館建設及其業務拓展戰略—國家可持續發展中的圖書情報戰略分析(4)[J].中國圖書館學報,2005(5):13-16,33.

[2] Yan Han. On the Clouds: A New Way of Computing[J].Information Technology & Libraries,2010(29,no.2): 87-92.

[3] Tom Ipr. Where the Cloud Meets the Commons[J]. Journal of Web Librarianship,2011(5,no.2):132-41.

[4] Michael Armbrust,Armando Fox, Rean Griffith, etc. Above the clouds : A Berkeley View of Cloud Computing[M]. UC Berkeley Reliable Adaptive Distributed Systems Laboratory,2009.

[5] Jose L. Gonzalez, Ricardo Marcelin-Jimenez. Phoenix: A Fault-Tolerant Distributed Web Storage Based on URLs[C].In Proceedings of the IEEE 9th International Symposium on Parallel and Distributed Processing with Applications.ISPA,2011:282-87.

[6] What is DuraCloud?. [EB/OL].[2013-12-16].http://www.duracloud.org/tour.

[7] 高建秀,吳振新,孫碩.云存儲在數字資源長期保存中的應用探討[J].現代圖書情報技術,2010(6):1-6.

[8] 百度云. [EB/OL]. [2013-12-16]. http: //yun. baidu. com/1t?= home.

[9] 格子云2.0. [EB/OL].[2013-12-16]. http: // www. gleasy.com /.

[10] OpenNebula Project.[EB/OL].[2013-12-16]. http: //opennebula.org/.

[11] Eucalyptus Cloud. [EB/OL]. [2013-12-16]. http://www.eucalyptus.com/.

[12] Open source software for building private and public clouds.[EB/OL].[2013-12-16]. http://www.openstack.org/.

[13] XenVsKVM. Linux Virtualization Wiki, last updated 29 Jul 2008.[EB/OL].[2013-12-16].http://virt.kernelnewbies.org/XenVsKVM.

[14] 劉曉剛,張紅.基于開源云計算的圖書資料信息系統探究.情報科學[J].2011(6):906-909,923.

[15] Hussam Abu-Libdeh, Lonnie Princehouse,and Hakim Weatherspoon. RACS: A Case for Cloud Storage Diversity[C].In Proceedings of the 1st ACM Symposium on Cloud Computing. New York:ACM,2010:229-40.

[16] 赫建營,晏海華,等.一種有效的Web性能測試方法及其應用[J].計算機應用研究,2007(1):275-277,285.