數字圖書館云存儲應用系統研究與實現

●馬曉亭 a，陳 臣 b（蘭州商學院 a．信息工程學院；b．網絡中心，蘭州 730020）

1 引言

隨著云計算技術的成熟，建設安全、可靠、經濟、高效的云圖書館成為數字圖書館發展的必然方向。云存儲技術是支撐云圖書館的關鍵技術，如何利用集群應用、網格技術和分布式文件系統等技術，通過應用軟件將云數據中心建設成為一個多設備、多應用、多服務協同工作的高效云圖書館集合體，按用戶需求為訪問者提供云虛擬化、個性化和可定制的數據存儲和業務訪問服務，是提高云環境下圖書館數字用戶滿意度的前提。

與傳統數字圖書館相比，云圖書館有先進的云計算與云存儲技術支撐，云系統具備較高的計算、存儲效率，安全的運營環境與強健的自身魯棒性。但云系統處于不安全的網絡環境中，云系統的復雜性、云業務的多樣性、非法用戶的惡意攻擊行為，對云圖書館云數據存儲的永久性、可靠性、高效性、真實性帶來嚴峻挑戰。

本文針對云環境下數字圖書館云存儲策略性能要求和云圖書館業務特點，結合云計算與云存儲技術標準與行業規范，從云系統可擴展性、支持協同共享、支持備份和遷移、建設與運營經濟性等幾個方面出發,提出了一種具有技術前瞻性及符合標準化、規范化的新的數字圖書館云存儲方案。［1］

2 云圖書館存儲方案特點

云計算與云存儲在資源管理上具備高效性特點，可以動態、靈活地根據用戶服務需求對資源動態進行擴展和分配，使云圖書館在建設和管理上更高效、經濟、安全、穩定，更有利于支持數字圖書館各項云服務及增值業務的開展。

2.1 支持海量存儲與動態擴展

與傳統的數字圖書館存儲業務相比，云圖書館所保障的用戶數和數字資源規模海量倍增。傳統數字圖書館通常采用DAS（直連式存儲）和SAN（光纖存儲區域）存儲方式，隨著云環境下數字資源存儲數量及并發數據不斷增大，存儲性能受網絡與系統I/O傳輸瓶頸制約而降低。

云圖書館通過租賃云空間建立存儲系統。云存儲空間位于世界不同地域，云存儲系統采用集群技術、P2P技術和網格技術,允許云存儲中心通過增加存儲服務器和存儲節點對存儲系統進行擴容。云系統通過高效的并行調度策略為處于世界不同地域的數字用戶指定合適的目標存儲服務器，使得云圖書館存儲服務器總體負載均衡，在確保云圖書館用戶訪問效率的基礎上達到較高的存儲利用率。此外,云存儲實現了資源的集中監控和動態管理。云圖書館所有的云應用存儲空間可根據云業務和云用戶需求任意伸縮、實時調整，避免了由于存儲空間長期空閑而造成的資源浪費。［2］

2.2 支持云圖書館存儲的虛擬化技術

云圖書館存儲虛擬化，就是為云圖書館存儲區域主機邏輯創建、劃分、管理物理存儲資源的過程。云圖書館用戶和其它云租戶共享同一個云空間,所有云用戶無法在物理邏輯上做到真正隔離。因此，對云圖書館用戶而言，云數據安全性及獨立性受到一定影響。通過存儲虛擬化技術，將云圖書館一個或者多個存儲介質（如硬盤、RAID）集合在一個存儲池中整合、管理，與其它云租戶做到云數據邏輯隔離，并按照云業務類別和用戶服務需求進行分配。存儲區域網絡可根據云圖書館數據中心存儲需求，以增加異構存儲服務器數量方法實現分布式存儲，用戶以統一模式通過訪問虛擬化后的用戶接口實現存儲能力的擴展。［3］

為確保云用戶安全、可靠地訪問云圖書館虛擬空間，除通過虛擬方式對物理存儲區域安全隔離外，新用戶訪問云圖書館存儲空間前，必須經過安全認證并獲得證書。對于一些云圖書館核心數據和用戶隱私數據，當數據存儲到云存儲系統時必須加密，確保非法用戶截獲后無法破譯。在數據管理模式上，采用級層管理模式。圖書管理員按照權限級別管理業務數據，用戶和云服務提供商則不能未經允許訪問。同時，可根據服務內容和業務量采用合理的協議和存儲管理模式，盡可能減少開啟服務器和硬盤的次數，以降低服務器和硬盤的能耗。［4］

2.3 提高了云圖書館存儲效率

傳統的數字圖書館存儲介質以磁盤或磁帶庫為主，具有存儲效率低與異地備份成本高的缺點，系統進行硬件升級時往往要求中斷數字服務。云圖書館數據存儲中心分布于世界不同地域，通過虛擬化技術將存儲設備邏輯劃分為不同的存儲區域，將所有存儲設備劃分為整體資源池統一管理維護，形成一個多存儲設備、多應用、多服務協同工作的共享存儲虛擬架構，并保證邏輯分區與存儲設備之間的安全隔離與數據可靠傳輸。

因此，云圖書館存儲區可根據業務特點與用戶需求執行安全、高效的存儲與備份策略。借助于高效的云傳輸網絡，管理員可進行云圖書館服務與用戶的創建、發布、執行和管理，輕松、高效地實現云存儲設備和存儲區域網絡間的協同工作與資源共享，有利于圖書館云數據安全保存和存儲系統間的負載均衡。當發生不可預測的數據災難、云存儲區域及網絡故障、系統數據遷移升級及對存儲架構進行更改時，確保云存儲區域數據安全與云服務的高效性與不間斷性。［5］

2.4 具有較低的建設運營成本與較高的安全性能

云圖書館不需要建立自己的數據中心，按照業務和用戶服務需要向云服務提供商購買云存儲服務，并根據用戶云存儲空間實際需求動態擴展、靈活配置。由于不用購買云存儲基礎設施，云服務提供商負責對存儲設備與系統進行管理和維護，不但提高了云圖書館數據中心管理效率，而且降低了云圖書館建設與運營、維護成本。

云圖書館存儲應用中的安全主要由認證服務、數據加密存儲、安全管理、安全日志和審計組成，通過對云圖書館用戶訪問控制服務實現用戶身份認證、授權，防止非法訪問和越權訪問。云圖書館根據用戶級別賦予不同的權限，用戶只能依據權限對特定文件、數據進行訪問、下載、修改等操作。而管理員只能對云圖書館進行用戶管理、數據備份、熱點對象遷移，而不能訪問云用戶加密了的私有數據和空間。因此，可采用去耦合技術將底層物理設備與上層操作系統、軟件分離，在降低能耗的同時提供存儲資源動態共享和靈活擴展的能力。［6］

在云圖書館網絡基礎架構中，可采用虛擬HIPS（基于主機的入侵防御系統）、支持虛擬化技術隔離的防火墻。依據用戶權限將用戶映射到不同的虛擬化用戶組中，每個虛擬化組擁有獨立、統一的安全控制策略和獨立的操作權限，對云圖書館進行管理、維護、瀏覽、下載等操作。云圖書館和其它云用戶共享同一云服務器時，要確保不同用戶運行的操作系統、應用軟件、存儲數據在邏輯上完全隔離，不能被其他虛擬化系統引擎所訪問，才能保證不降低云主機計算與存儲性能的情況下，每個云圖書館客戶虛擬機系統、虛擬化軟件、虛擬平臺之間通信的安全，保證多個虛擬平臺之間切換、數據傳輸、數據同步的安全。［7］

3 數字圖書館云存儲方案設計原則

3.1 堅持系統設計的安全性原則

和其它存儲系統相比，云存儲系統自身具備較安全的防護體系，具有更少的安全漏洞和更高的安全環節。但是，云圖書館存在于不穩定的網絡環境中，數據的安全性問題貫穿于云存儲架構的各個層次，復雜的基礎設施資源與較高的用戶服務要求對維護數字信息永久性和真實性提出較高要求。加強對云存儲設備與海量數據激增、存儲區域復雜、安全防范成本上升、非法用戶入侵、數據結構錯誤、數字資源備份與數據遷移安全等不利因素的管理，是圖書館實現云服務安全、可靠、高效、穩定的前提和保證。此外，系統自身的復雜性與服務多樣性對其工作效率與可靠性產生較大影響。因此，安全性是云圖書館存儲系統建設首要考慮的問題。［8］

3.2 提高系統數據存儲和用戶訪問效率

云圖書館具有系統用戶數量龐大，并發存取海量數據及云業務類型多的特點。如何在復雜、不穩定的環境中提高云系統基礎設施資源的利用效率和數據庫用戶訪問效率，確保安全、高效、準確、全面地存取數據，是圖書館云存儲方案設計考慮的重要因素。

云圖書館數據庫中存儲有大量的重復數據與冗余數據。通過對重復數據有效刪除，以及采用數據壓縮、虛擬化整合及有效存儲策略的方法，減少云數據存儲空間占有率，可提高云數據存儲的速度和數據管理效率。同時，加強云圖書館系統虛擬化管理、配置、操作流程的標準化、自動化水平，使云虛擬系統具備自動檢測云圖書館IT基礎架構變化，能夠按需求實現最佳操作實踐、最優業務流程、優先級自動配置及系統自我修復，實現服務的最優化交付。［9］

3.3 加強云存儲區域網絡可用性與健壯性

云存儲區域網絡是云存儲基礎設施間數據傳輸的基礎，是云數據中心對存儲區域設備監管、控制的平臺，存儲區域網絡的安全和健壯性關系到云數據存儲的安全和效率。隨著云計算與存儲技術的發展，云計算與云存儲基礎設施能夠滿足云數據安全、高速讀取的要求，但云存儲區域網絡數據傳輸能力是制約存儲區域性能的主要因素。因此，要加強云存儲區域網絡傳輸高效性、安全性、健壯性、冗余性的建設，消除云存儲區域網絡這個影響云存儲區域整體性能的瓶頸因素。

3.4 確保云存儲的可操作性和智能化

自我管理、自我復制、自我修復、自我平衡是云圖書館存儲區域可操作性和智能化的判定標準。根據云圖書館業務類型和用戶需求，系統管理員應制定高效的管理策略，由系統根據策略和運行條件自動執行，確保系統時刻處于最優化狀態。此外，文件系統執行數據檢查的校驗和判定，確保用戶發送數據與存儲中的數據一致性，減少原始數據遠程高速傳輸的誤碼率。［10］

文件系統應根據云用戶訪問和系統存儲特點，對數據存儲分散操作，最大限度減少存儲熱點，確保平衡存儲。云存儲系統還應具備智能化的業務自動部署能力，做到網絡啟動、自動加載、故障自動報告和零配置、零中斷的軟件升級，自動智能故障判斷與告警處理。為了加強管理員決策的科學性，還應進行軟件使用頻率、信息容量、分組統計等數據統計，為云圖書館管理員決策提供數據支持。

4 數字圖書館云存儲設計方案

云圖書館是一個利用存儲虛擬化、集群存儲和SAN+NAS等技術，由網絡設備、存儲設備、服務器、應用軟件、公用訪問接口、接入網、和客戶端程序等多個部分組成的存儲區域系統，通過應用軟件來對數字用戶提供數據存儲和云業務訪問服務。在數字圖書館云存儲方案設計上，系統組織架構、數據優化、安全管理是云存儲方案重點考慮的問題，也是關系到云存儲平臺安全、可靠、高效、經濟的關鍵因素。［11］

4.1 云存儲架構模型

按照云存儲平臺整體架構可劃分為4個層次，自底向上依次是存儲層、基礎管理層、應用接口層以及訪問層。云存儲系統的4層結構模型如圖1所示：

圖1 數字圖書館云存儲系統結構模型

4.1.1 云圖書館存儲層

云圖書館數據存儲中心位于世界不同地域，通過廣域網、互聯網或者FC光纖專用網絡將位于不同地域的存儲設備互連,形成統一的云存儲系統資源池。通過虛擬化技術屏蔽掉底層的硬件差異,采用統一的管理邏輯和接口,進行存儲設備的邏輯虛擬化管理、多鏈路冗余管理以及硬件設備的狀態監控和故障維護，以資源池的方式整體對外提供服務。

存儲設備可以是FC光纖通道存儲設備、NAS、iSCSI等IP存儲設備，也可以是SCSI或SAS等DAS存儲設備。采用基于對象的分布式存儲，為應用層在線存儲、備份提供專用文件訪問接口，實現對文件和目錄的標準操作并提供存儲空間，為云圖書館海量用戶提供安全、高性能、易擴展的存儲與備份需求。［12］

存儲設備之上是存儲設備管理系統，可以執行存儲設備的存儲虛擬化管理、存儲集中管理、狀態監測與控制、維護升級等操作，提供面向服務的分布式存儲系統數據管理操作。

4.1.2 云圖書館基礎管理層

基礎管理層是云存儲最核心和最難以實現的部分。應用接口層通過基礎管理層集群系統、分布式文件系統和網格計算等技術，控制多個存儲設備協同工作，以資源存儲池方式為用戶提供最優化的數據存儲、訪問服務。

云存儲系統通過集群文件系統實現后端存儲設備的集群工作，通過系統控制單元和管理單元對整個存儲系統進行管理，并對數據的分發、處理結果進行反饋。利用CDN（內容分發網絡）、數據加密技術、P2P數據傳輸技術和數據壓縮技術提高云存儲效率，降低數據傳輸帶寬和存儲空間需求。采用數據加密技術保障數據存儲和傳輸過程中的安全性，即使非法用戶截獲數據也無法還原。數據備份和容災技術可保證當不可預測的數據災難發生后，可通過遠程云存儲系統中的備份數據進行還原，保證云存儲數據庫自身的安全和穩定。［13］

4.1.3 云圖書館應用接口層

云圖書館應用接口層通過集群、分布式文件系統和網格計算等技術，實現圖書館云存儲系統多個存儲設備之間的協同工作，確保云存儲系統整體以最優化策略和效率為用戶提供云圖書館個性化服務。

云圖書館強大的云計算、云存儲與網絡傳輸性能，支持為用戶開展傳統數字圖書館不可比擬的個性化云服務。云圖書館可以根據實際業務類型，開發不同的應用服務接口，滿足云圖書館基于網絡的跨平臺協議二次應用程序開發，為用戶提供不同的應用服務。云用戶通過網絡接入云數據中心，經云認證系統身份用戶認證和權限分配后，享受云數據中心提供的各種云個性化服務。［14］

4.1.4 云圖書館訪問層

基于存儲層、基礎管理層和應用接口層的支持，云用戶不用考慮存儲區域底層硬件設施類型、數據和用戶管理策略、網絡與軟件接口等情況，授權用戶可通過標準的公用應用接口來登錄云存儲系統，根據用戶業務需求享受云存儲提供的簡單透明服務。

圖書館云用戶根據個人需求定制特色服務，使用相應的應用軟件享受不同的云服務。通過獲得云圖書館存儲服務授權，調用標準API（應用程序編程接口）就可以申請所需的存儲空間，享受云存儲上的各種應用服務。比如云圖書館數據中心安全視頻監控平臺、IPTV和視頻點播應用平臺、用戶云空間網絡硬盤平臺、云系統遠程數據備份應用平臺、聯合虛擬參考咨詢系統、在線存儲與備份系統、特色庫等系統的數據存儲及訪問控制接口等。［15］

4.2 云圖書館存儲區域網絡拓撲結構

云圖書館存儲區域網絡拓撲結構如圖2所示:

圖2 云圖書館存儲區域網絡拓撲結構圖

根據云圖書館的規模和服務類型特點劃分，云圖書館存儲中心可分布于公共云、社區云和私有云之上。根據用戶服務規模和地理位置分布特點，可建立至少兩個以上地理位置相距較遠的數據中心，確保圖書館云用戶能夠高效訪問及云圖書館數據存儲、備份安全。

存儲設備由存儲設備管理服務器負責管理，可以實現對存儲設備的存儲虛擬化管理、存儲集中管理、狀態監測與控制、維護升級等操作，提供面向服務的分布式存儲系統數據管理操作。云圖書館存儲區域上層為公共云，支持云用戶通過廣域網訪問云存儲區域。廣域云的服務器包括廣域管理器、廣域云存儲節點等。中間層為社區云，按照云圖書館存儲中心所處的地理區域（如省、地區等）來劃分。服務節點包括區域云管理器、區域云存儲節點。對于技術成熟、擁有特定用戶的云圖書館可以建立私有云，私有云按小的地理區域劃分，可運行于廣域網或局域網，用戶限于區域內的人員，服務節點包括本地管理器、私有云存儲節點。圖書館云用戶依次按照就近訪問原則、網絡連通性能與傳輸性能原則、云存儲中心工作效率原則順序判定需要訪問的云存儲中心，確保云圖書館存儲中心以最優服務效率及最佳網絡傳輸性能為用戶服務。［16］

4.3 云圖書館存儲中心系統架構

云圖書館存儲中心系統架構由云存儲區域前端網絡和云存儲區域后端網絡兩部分組成，如圖3所示。

圖3 云圖書館存儲中心系統架構

4.3.1 云存儲區域前端拓撲結構

云存儲區域前端拓撲由防火墻、高速交換機、認證服務器、用戶認證數據庫和網絡加速器組成。防火墻是將存儲區域網絡與互聯網安全隔離的屏障，可避免黑客通過互聯網絡對云存儲區惡意攻擊，同時也阻止存儲區域網絡內部用戶對外網的非法鏈接。認證服務器通過對用戶合法身份進行認證，并按照用戶級別授權，允許用戶通過高速的“前端”以太網絡進行讀取服務，對云存儲區域進行云應用程序使用及云資源的訪問與存取操作。當云存儲區域網絡并行訪問用戶數量過多時，網絡加速器對所提供的服務進行優化，提高云數字圖書館服務質量。［17］

4.3.2 云存儲區域后端拓撲結構

云存儲區域后端拓撲由應用集群服務器和云存儲節點設備組成。應用集群服務器需要有強大的處理器和內存，負責整個系統元數據和實際數據的管理和索引，提供超大容量管理，實現后端存儲設備的高性能并發訪問和數據冗余存儲等功能，確保支持多用戶對云存儲節點設備的并發讀、取操作。此外，記錄并分析云用戶的數據訪問日志，提高云圖書館用戶讀寫數據的效率。管理員也可以監視系統運行情況，管理系統用戶和制定各項管理策略等。［8］

云存儲節點系統采用高性能應用存儲設備，可內嵌云存儲系統訪問協議包、存儲節點認證許可等。設備采用高密度磁盤陣列設備，每套設備通過存儲區域網絡高速接入到云存儲系統中，進入云存儲池后再對存儲空間進行分配。對數據存儲可實現多副本、多物理設備分別保存，當容量或帶寬需要擴展時，可通過增加存儲節點來實現，并根據實際需要在線進行系統擴容。［18］

5 結束語

云計算與云存儲作為高科技時代數字圖書館建設的重要技術，為新時期云數字圖書館建設與服務提出了新的理念。特別是云存儲技術在數字圖書館中的應用，解決了影響云圖書館海量數字資源存儲高效性、保密性、快捷性、共享性的問題，為數字圖書館云服務的開展提供了有力保障。本文從云圖書館存儲區域建設存在的實際問題和云用戶需求出發，提出了一種新的數字圖書館云存儲應用系統方案，優化了云存儲區域基礎設施管理策略及網絡傳輸性能，提高了云圖書館海量數據存儲的效率、安全與數據整體讀取能力，有較強的工程應用價值。

［1］馬軍，等．基于CDN和P2P的分布式網絡存儲系統［J］．計算機應用與軟件，2010,27（2）：50－52.

［2］王國平．圖書館網絡中心各存儲技術的應用研究［J］．圖書館論壇，2009（18）：255－257.

［3］劉立坤，等．CorsairFS：一種面向校園網的分布式文件系統［J］．西安交通大學學報，2009，43（8）：43－47.

［4］李勇軍，代亞非．對等網絡信任機制研究［J］．計算機學報，2010，30（3）：390－405.

［5］ CACHINC，etal.Trusting thecloud ［J］．ACM SIGACT News，2009，40 （2）：455－461.

［6］張敬亮，等．藍鯨文件系統中元數據與數據隔離技術 ［J］．計算機工程，2010，36（2）：28－30.

［7］王慶波，等．虛擬化與云計算［M］．北京：電子工業出版社，2009.

［8］吳吉義，等．基于Kademlia的云存儲系統數據冗余方案研究 ［J］．電信科學，2011，27（2）：68－73.

［9］趙培．云計算技術及其應用［J］．中興通訊技術,2010（4）：9－11.

［10］馮丹.網絡存儲關鍵技術的研究及進展［J］．移動通信，2009（11）：32－35.

［11］劉鵬．云計算［M］．北京：電子工業出版社，2010.

［12］陳康，鄭緯民．云計算：系統實例與研究現狀［J］．軟件學報，2009（5）：1337－1348.

［13］杜海寧．基于云計算的圖書館海量數據存儲研究［J］．圖書與情報，2010（3）：99－101.

［14］孫健，賈曉菁．Google云計算平臺的技術架構及對其成本的影響研究［J］．電信科學，2010（1）：38－44.

［15］ Googledocs Online Documents，Spread sheets，Present［EB/OL］.［2010－06－02］．http://docs.google.com.

［16］陶新權，等．計算在圖書館中的應用［J］．大學圖書館學報，2010（2）：55－57.

［17］金文新．高校圖書館存儲系統的構建及其數據安全和備份方案研究［J］．情報資料工作,2009（1）：40－43.

［18］嚴莊．高校數字圖書館存儲整合研究［J］．圖書館學研究，2010（2）：34－36.