
[摘要]分析當前區域數字圖書館在數字資源存儲方面存在的問題,分析區域數字圖書館對云存儲的需求,提出利用云存儲技術既可以解決區域數字圖書館的資源存儲問題,又可以為區域數字圖書館提供多元化的存儲服務和為用戶提供按需存儲服務。結合ZADL寧波分中心的云存儲建設,分析云存儲的模型結構,探討區域數字圖書館的云存儲服務模式。
[關鍵詞]云存儲;云服務;區域數字圖書館
[中圖分類號]G250.76 [文獻標識碼]A [文章編號]1008-0821(2011)02-0128-03
區域數字圖書館為本地區的學校、科研機構、政府部門和企業用戶提供一個專業的、個性化的學習和研究服務平臺。它擁有學科門類齊全、海量的數字文獻資源,分散性的存儲在成員館的服務器或存儲設備上,數字資源存儲方式采用傳統的DAS、NAS和SAN3種存儲方式。隨著區域數字圖書館數字資源的不斷增加和現有存儲方式固有的缺陷,久而久之形成了資源存儲和服務的孤島,成為區域數字圖書館的數字資源存儲、共享、整合和服務的障礙。
云計算(Cloud Computing)是分布式處理、并行處理和網格計算的新發展。利用云計算技術,將各成員館的存儲設備通過網絡互聯起來,并虛擬成一個龐大的存儲池,為區域數字圖書館的海量信息提供存儲空間。云計算的出現為解決區域數字圖書館資源存儲、共享、服務等諸多問題提供了很好的云存儲解決方案。
1. 云存儲
1.1 云存儲的概述和特征
云存儲(Cloud Storage)是云計算的延伸和發展,云存儲是通過集群應用、網格技術和分布式文件系統等功能,將網絡中各種不同類型的存儲設備通過存儲管理軟件集合起來協同工作,共同對外提供數據存儲和業務訪問的功能。嚴格意義上講,云存儲不是存儲,是一種服務。對用戶來說,云存儲不是指某一個具體的物理存儲設備。是指由許多個服務器和存儲設備上的存儲資源連接起來形成的一個虛擬存儲池。用戶使用云存儲,不是使用某一個存儲設備,是使用虛擬化的云存儲所帶來的一種按需存儲的服務。
云存儲具有虛擬化、分布式和變粒度三大特征。虛擬化是對存儲、服務器、網絡以及計算環境的虛擬化。對內屏蔽軟硬件的差異,兼容不同設備和服務,實現各種軟硬件邏輯上的統一。對外提供統一的按需存儲服務,用戶使用存儲服務不對應到具體的物理設備。分布式指存儲服務要支持跨地域、跨設備、跨系統以及跨應用,使它成為一個高度彈性的系統。變粒度指對不同用戶、不同使用目的的存儲需求,提供不同粒度的計算和存儲服務,形成形態各異的存儲云。
1.2 云存儲與傳統存儲方式的比較
目前,國內圖書館數字資源存儲方式采用傳統的DAS、NAS和SAN3種存儲方式。其中,DAS存儲方式是存儲設備通過服務器連接在網絡上,存儲設備與服務器之間通過SCSI技術或SAS技術I/O,總線通訊。NAS存儲方式是將存儲設備通過標準的網絡拓撲結構(如以太網),連接到一群計算機上。SAN存儲方式是通過光纖交換機或光纖集線器將具有光纖通道的存儲設備和服務器群連接起來,形成一個獨立的高速光纖存儲網絡。
云存儲與傳統的存儲方式相比,它不但包括DAS、NAS、SAN及服務器等基礎存儲設備,而且包括通過集群、分布式文件系統和網格計算等技術,實現多個存儲設備之間協同工作的存儲設備管理系統,甚至還包括應用服務系統APIs接口和存儲服務功能。從功能需求來看,云存儲面向多種類型的網絡在線存儲服務,傳統存儲則面向高性能計算、事務處理等應用服務。從性能需求來看,云存儲不僅要考慮的是數據的安全、穩定、高效等因素,還要考慮用戶規模大、服務范圍廣、網絡環境復雜多變等因素。從數據管理來看,云存儲系統不僅要提供類似于POSIX的傳統文件訪問,還要能夠支持海量數據管理,提供云存儲系統后臺數據管理和維護等公共服務功能。
2. 區域數字圖書館對云存儲需求
2.1 區域數字圖書館資源存儲存在的問題
隨著區域數字圖書館數字資源不斷建設,數字資源存儲問題也逐漸暴露出來,其中比較突出的問題有以下幾個。
2.1.1 存儲設備的分散性導致資源的孤立
區域數字圖書館的資源建設是在統一規劃下進行,分別存儲在各成員館的存儲設備中,存儲的方式有DAS、NAS和SAN方式。由于存儲設備的分散性,數字資源被隔離在孤立的存儲設備內,很難實現資源統一管理、共享和協同服務。
2.1.2 資源量的增加導致獲取資源的速度下降
DAS和SAN存儲技術采用塊數據存儲技術,該技術在數字資源量小時存儲性能較好,用戶訪問資源的速度較快。但是,隨著數字資源量的增加和用戶訪問量的增加,存儲性能因受到I/O讀寫瓶頸制約而降低,用戶訪問資源的速度變慢。
2.1.3 存儲設備的容量受限導致資源無法長期保存
隨著數字資源量的增加,單個的存儲設備往往不能滿足數字資源存儲的需求。在資金缺少的情況下,通常采取的方法是將利用率不高的資源刪除,騰出空間來存放新資源。或者,因存儲設備的磁盤損壞導致數字資源丟失。為此,數字資源的長期保存受到挑戰,或者說存在資產流失的問題。
2.1.4 數據備份和遷移效率低下
區域數字圖書館的數據備份采取本地磁盤或磁帶庫進行備份,備份時間長效率低下,管理也很復雜。如果采取異地備份,需要耗費更多的代價。另外,在存儲發生故障或更替舊存儲設備需要數據遷移時,也往往需要中斷系統服務。
2.1.5 數據存儲存在安全隱患
只要擁有連有存儲設備服務器的操作權限,無需認證就可以直接在存儲設備上的存儲、訪問和刪除公共資源和私人數據,存在一定的安全隱患。
另外,小型成員館普遍受到資金困擾,無力購買和運維大容量的存儲設備,數字資源得不到有效存儲。也有的成員館因技術力量的薄弱,不能有效管理各種類型的高端存儲設備等等。
2.2 區域數字圖書館對云存儲需求
根據區域數字圖書館在數字資源存儲方面所遇到的各種問題,歸納起來,它要求未來的云存儲能夠滿足高可靠性、易擴展性、易管理性以及安全性等數據存儲需求。
2.2.1 需要高可靠性的存儲環境
區域數字圖書館的存儲服務要求能夠提供硬盤、節點和存儲域等多種級別的數據容錯技術,確保數據的可靠性。其中,硬盤要實現RAIDl和RAID5,節點要實現RAID1、RAID5、RAID6和三路鏡像,存儲域要實現遠程復制技術進行快速的異地容災和備份,存儲服務能夠實現“主——備”可靠性方式。
2.2.2 需要海量存儲空間,同時要具備易擴展性
區域數字圖書館的存儲要具有良好的擴展性,支持硬盤和節點自由增加和刪除,具各自動識別、格式化和分配數據的功能。同時,還要支持以存儲域為單位的擴容,并且能擴容到100PB以上的可管理容量。
2.2.3 需要易管理的存儲設備
為用戶提供簡單的、統一的存儲管理界面和操作命令,提供設備性能和狀態監控。支持本地和遠程的日志收集、整理、分析和導出。提供多種方式的告警,包括界面高亮閃動、短信、郵件、電話等告警方式。
2.2.4 需要高安全性的存儲環境
云存儲為用戶提供安全認證,支持用戶的注冊、授權和統一認證。用戶通過注冊可以成為合法用戶,通過授權和統一認證后才可以使用云存儲。云存儲還支持文件目錄的訪問權限的管理,為具體應用系統提供認證接口。
云存儲具有高可靠性、高可用性、低成本、高擴展性、自動容錯能力及易管理性等優點,能夠滿足區域數字圖書館對存儲的需求,能夠為區域數字圖書館提供多元化的存儲服務,能夠為區域數字圖書館的用戶提供按需存儲服務。
3. 區域數字圖書館的云存儲構建
以浙江高校數字圖書館(ZADL)寧波分中心云存儲建設為例,探討區域數字圖書館的云存儲模型結構。ZADL寧波分中心云存儲系統包括HP刀片服務器、HP光纖存儲系統和HP Blade System Matrix云管理系統,其中,HP BladeSystem Matrix是一款即插即用的基礎設施云管理系統。云存儲系統共分為四層:存儲層、基礎管理層、應用接口層和用戶訪問層,其模型結構如圖1所示。

3.1 存儲層
存儲層是云存儲的基礎。存儲層中的設備包括48臺HP BL 460c刀片服務器,2臺HP Storage Works EVA 8400、1臺Storage Works EVA 4400和1臺Storage Works EVA 4000光纖存儲系統,它們彼此之間通過FC光纖通道網絡連接在一起。
3.2 基礎管理層
基礎管理層是云存儲的核心。基礎管理層是由HPBlade System Matrix云管理系統來實現,Matrix通過InsightControl Enviroment(ICE)、Insight Dynamics-VSE、Insight Or-chestration及Insight Recovery等子系統來管理云中的存儲設備。其中,ICE提供一整套遠程管理解決方案,實現硬件狀態和性能監控、遠程控制以及靈活的配置等功能。InsightDynamics-VSE用來連續分析和優化物理與虛擬資源,可以加快存儲部署、簡化日常運維,可以前瞻性的管理數據中心容量。Insight Orchestration對存儲基礎設施的架構、分配和集成提供標準化的方法和工具,實現存儲基礎設施供應與重新配置的自動化。可快速提供業務所需的資源,可更加有效地利用存儲設備,提高系統的可靠性和一致性。In-sight Recovery可實現邏輯服務器環境的自動災難恢復以及存儲環境的協調復制,可以保證云存儲中的數據不會丟失,保證云存儲自身的安全和穩定。
3.3 應用接口層
應用接口層是云存儲的接口池。為區域數字圖書館的具體應用系統開發應用服務接口,提供不同用戶的信息存儲服務。如用戶信息存儲空間、在線論文編輯、信息歸檔服務、數據備份和容災服務以及PaaS的門戶系統、統一身份認證系統、統一檢索系統和SaaS的原文傳遞系統、聯合虛擬參考咨詢系統、特色庫等系統的數據存儲及訪問控制接口。
3.4 訪問層
訪問層是云存儲的具體應用。授權用戶可以通過公用應用接口來登錄云存儲系統,享受云存儲服務。區域數字圖書館提供的云存儲服務可以分為用戶級云存儲應用和成員館級云存儲應用。
4. 區域數字圖書館云存儲應用服務
4.1 用戶級云存儲應用
4.1.1 用戶信息存儲空間
云存儲為區域數字圖書館的用戶提供大容量網絡磁盤在線存儲服務,通過云存儲系統實現電子圖書、電子期刊、圖片、視頻文件、音頻文件等數字資源的上傳、下載、分類、共享等網絡存儲服務。另外,云存儲還支持3G手機、iPad等無線在線存儲服務。
4.1.2 在線論文編輯
區域數字圖書館為用戶提供基于云的在線論文編輯系統,用戶通過該系統直接進行學術論文或學位論文的編輯和修改等操作,并將編輯完成的論文保存在編輯系統所提供的個人存儲空間中。通過云存儲系統的權限管理功能,還有能輕松實現文檔的共享、傳送、以及版權管理。
4.2 成員館級云存儲應用
4.2.1 成員館存儲空間租賃服務
隨著數字資源的不斷建設,資源數據量巨增,有的成員館沒有財力來支撐高成本的硬件設備投入及運行維護成本和人力成本,又缺少計算機專業人員來管理和維護存儲設備。區域數字圖書館為中小型成員館提供高性能、大容量云存儲系統,為它們提供方便、快捷的存儲空間租賃服務,滿足成員館不斷增加的數字資源存儲需求。同時,共享計算機專業技術人員,保障云存儲系統安全運行,確保數據不會丟失。
4.2.2 信息歸檔服務
云存儲系統為成員館的特色庫資源、舊網站信息、舊圖書館應用系統等數據提供歸檔服務,把它們從本館的存儲設備遷移到云存儲中,整個數據遷移過程是安全、自動和快速。
4.2.3 數據備份和容災服務
成員館中數字資源的存儲不僅要有足夠的存儲空間,還要做好重要數字資源的安全備份和遠程容災。不僅要保證本地數據的安全性,還要保證當本地發生重大的災難時,可通過遠程備份或遠程容災系統進行快速恢復。區域數字圖書館通過高性能、大容量云存儲系統和遠程數據備份軟件,為成員館提供遠程數據備份和容災服務,幫助他們建立自己的遠程備份和容災系統。
4.2.4 SaaS、Paas和Daas的信息存儲
區域數字圖書館為SaaS系統和PaaS服務平臺提供數據存儲服務,其中SaaS系統包括圖書管理SaaS服務、館際互借SaaS服務、虛擬參考咨詢SaaS服務、特色庫SaaS服務、教參書管理SaaS服務、學位論文SaaS服務等。PaaS服務平臺包括門戶系統、統一檢索系統以及統一身份認真系統等公共服務平臺。DaaS包括各類數字資源的DaaS服務。
5. 小結
云存儲已經成為未來數字圖書館信息存儲發展的一種趨勢,它能夠有效的解決數字圖書館數字資源存儲和服務問題。目前,雖然云存儲在數字圖書館中的應用還處于初級階段,但是隨著云存儲技術進一步的發展和成熟,能夠為數字圖書館用戶提供服務內容更豐富、信息更安全、存取更高效、操作更簡便的存儲服務。
參考文獻
[1]杜海寧,基于云計算的圖書館海量數據存儲研究[J],圖書與情報,2010,(3):99-101.
[2]薛毅飛,云計算在數字圖書館中的應用[J],科技信息,2009,(29):372-373.
[3]李開復,云計算[J],中國教育網絡,2008,(6):34.
[4]WUSHAN 云存儲[EB].http://www.huaweisymantec.com/cn/About-Us/Company-Publication/HS-Tech/2010/01/Home/Catalog/201003/619568-38-0.htm,2010.
[5]云存儲[EB].http://baike.baidu.com/view/2044736.htm,2010.