摘要:存儲(chǔ)系統(tǒng)是數(shù)字化圖書館的核心設(shè)備,本文從高校存儲(chǔ)系統(tǒng)需求出發(fā),闡述了存儲(chǔ)系統(tǒng)的發(fā)展歷程,對(duì)新型存儲(chǔ)技術(shù)進(jìn)行了展望。提出了一些改進(jìn)高校存儲(chǔ)系統(tǒng)的觀點(diǎn)。
關(guān)鍵詞:高校圖書館;存儲(chǔ)系統(tǒng);存儲(chǔ)需求;云存儲(chǔ)
中圖分類號(hào):G250.7 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1008-0821(2012)07-0029-03
1、高校圖書館存儲(chǔ)系統(tǒng)需求分析
現(xiàn)階段高校圖書館基本都擁有各種存儲(chǔ)系統(tǒng),但在日常使用中存在很多問題,而且數(shù)字資源的不斷增加、新型服務(wù)的陸續(xù)開展,圖書館對(duì)存儲(chǔ)系統(tǒng)也有了新的需求,具體有以下幾個(gè)方面。
1.1 統(tǒng)一架構(gòu)的需求
高校圖書館缺乏統(tǒng)一架構(gòu)的存儲(chǔ)系統(tǒng)。從硬件方面講,目前高校圖書館在數(shù)字化圖書館建設(shè)中,因資金問題,在數(shù)據(jù)存儲(chǔ)子項(xiàng)建設(shè)中往往只能顧及當(dāng)下的數(shù)字文獻(xiàn)容量需求。而在“云”時(shí)代中,信息資源的增長(zhǎng)是直線遞增的,面對(duì)數(shù)字資源幾何型的膨脹和讀者大量的信息使用要求,高校圖書館只能在后續(xù)建設(shè)中不斷地增加磁盤陣列和服務(wù)器來滿足不斷遞增的數(shù)據(jù)容量,因此很多高校圖書館的存儲(chǔ)系統(tǒng)由多臺(tái)不同時(shí)期、不同技術(shù)含量和不同應(yīng)用水準(zhǔn)的存儲(chǔ)子系統(tǒng)組成。從軟件方面說,高校圖書館擁有大量的鏡像版數(shù)據(jù)庫(kù)、碩士論文提交系統(tǒng)、隨書光盤發(fā)布系統(tǒng)、自建數(shù)據(jù)庫(kù)、視頻資料庫(kù)、考試系統(tǒng)等本地信息資源,這些資源都需要獨(dú)立的發(fā)布管理平臺(tái)且互不兼容,導(dǎo)致各種不同種類的數(shù)據(jù)“散居”在獨(dú)立的存儲(chǔ)系統(tǒng)中,數(shù)據(jù)無法自由流動(dòng),更談不上通過“云”加入互聯(lián)網(wǎng)數(shù)據(jù)流為別的節(jié)點(diǎn)提供信息服務(wù)。
1.2 海量存儲(chǔ)的需求
高校圖書館作為信息服務(wù)中心需要一個(gè)海量的信息存儲(chǔ)池。如1.1中所述本地?cái)?shù)據(jù)庫(kù)資源建設(shè)都需要數(shù)據(jù)存儲(chǔ)空間來支撐;本地某些數(shù)據(jù)庫(kù)的備份、行政辦公文件的備份、自動(dòng)化管理系統(tǒng)數(shù)據(jù)的備份、各種數(shù)字資源的流通記錄、日常流通借閱記錄、外館傳遞過來的文獻(xiàn)資源等等數(shù)字信息亦需要存儲(chǔ)系統(tǒng)提供一定的空間。圖書館采購(gòu)的商業(yè)數(shù)據(jù)庫(kù)大量使用新技術(shù)提升產(chǎn)品質(zhì)量采用了全析圖文、藍(lán)光存儲(chǔ)等技術(shù),這些先進(jìn)文字圖像處理技術(shù)為讀者帶來高清文本、影像的同時(shí),也占用了大量的存儲(chǔ)空間如《中國(guó)期刊全文數(shù)據(jù)庫(kù)》,該庫(kù)1994年到2010年9月份的全文數(shù)據(jù)容量約為8.25TB;全文圖書數(shù)據(jù)庫(kù),每10萬(wàn)冊(cè)圖書需600GB(超星數(shù)字圖書館提供的參考存儲(chǔ)數(shù)據(jù));一張藍(lán)光光碟的容量達(dá)到27GB。而目前高校圖書館磁盤陣列的普遍容量為8~10TB左右,如何容納日漸龐大的商業(yè)數(shù)據(jù)庫(kù),也是圖書館要面對(duì)的現(xiàn)實(shí)問題。更重要的問題是在“云”時(shí)代圖書館巳成為“云”中一個(gè)節(jié)點(diǎn),它每天不僅要處理本館讀者大量的數(shù)據(jù)搜索請(qǐng)求,還要為“地球村”里任何一個(gè)發(fā)出請(qǐng)求的讀者提供本地信息,這些都是建立在大量的數(shù)據(jù)信息交換的基礎(chǔ)上,必須有一個(gè)性能強(qiáng)大、容量巨大的存儲(chǔ)系統(tǒng)才能滿足如此之大的數(shù)據(jù)流量,可以預(yù)見到隨著全球互聯(lián)網(wǎng)“云”向手持終端的擴(kuò)散,更多的用戶可以通過手持終端訪問圖書館,數(shù)據(jù)交換流量將進(jìn)一步擴(kuò)大。圖書館對(duì)海量存儲(chǔ)的需求更加迫切。
1.3 存儲(chǔ)安全的需求
因磁盤陣列物理特性。使用多年后因灰塵、頻繁數(shù)據(jù)讀取、斷電、主機(jī)板老化等原因,需要更換個(gè)別硬盤,雖然磁盤陣列都支持熱插拔功能,原則上只需要插入一塊容量、接口型號(hào)完全相同的硬盤,就可以保證陣列的正常工作,但實(shí)際情況往往相反,時(shí)間是把“無情的利刃”,很多事物隨著時(shí)間的推移而消失,尤其在IT業(yè)這種日新月異的行業(yè),表現(xiàn)尤甚,當(dāng)我們真正要換硬盤的時(shí)候,可能那種硬盤標(biāo)準(zhǔn)早巳在業(yè)內(nèi)停產(chǎn),整個(gè)陣列系統(tǒng)因?yàn)閭€(gè)別硬盤的損壞而徹底癱瘓。當(dāng)圖書館購(gòu)進(jìn)一套新的磁盤陣列式時(shí),我們往往發(fā)現(xiàn)原有的數(shù)據(jù)因?yàn)閿?shù)據(jù)格式、硬件讀取問題、操作系統(tǒng)差異等原因,無法將數(shù)據(jù)遷移到新陣列,稍有疏忽就會(huì)出現(xiàn)數(shù)據(jù)損壞甚至丟失。在“云”時(shí)代存儲(chǔ)系統(tǒng)已從原來所處相對(duì)封閉的環(huán)境,轉(zhuǎn)變?yōu)橐粋€(gè)無限開放的環(huán)境,在互聯(lián)網(wǎng)“云”中存儲(chǔ)系統(tǒng)隨時(shí)都會(huì)受到網(wǎng)絡(luò)病毒以及黑客程序的攻擊,造成數(shù)據(jù)丟失、系統(tǒng)癱瘓,用戶個(gè)人隱私失竊、侵犯知識(shí)產(chǎn)權(quán)等。此外各種不可抵抗的自然災(zāi)害和人為破壞都有可能造成存儲(chǔ)系統(tǒng)的崩潰,所以數(shù)據(jù)安全問題是數(shù)字圖書館面臨的巨大的挑戰(zhàn),圖書館需要一部可高效備份、平滑遷移、異地容災(zāi)、加密安全的存儲(chǔ)系統(tǒng)。
1.4 存儲(chǔ)效率的需求
“云”時(shí)代一個(gè)重要的特性就是信息資源更新和傳輸速度迅捷化,“云”中信息更新速度以毫秒計(jì),作為“云”信息服務(wù)節(jié)點(diǎn)的圖書館只有通過“云”里海量的數(shù)據(jù)存儲(chǔ)經(jīng)常修改、添加新的信息資源,才能滿足用戶對(duì)信息資源的需求?!霸啤毙畔⒎?wù)要求節(jié)點(diǎn)迅速、便捷的為來訪的用戶提供所要的信息資源,可見圖書館的存儲(chǔ)系統(tǒng)必然要面對(duì)短時(shí)間大量用戶的訪問請(qǐng)求,定會(huì)出現(xiàn)數(shù)據(jù)的批量傳輸、移動(dòng)和復(fù)制。而目前局域網(wǎng)內(nèi)的用戶從一個(gè)有上百萬(wàn)條數(shù)據(jù)的數(shù)據(jù)庫(kù)中檢索一條數(shù)據(jù)需要花幾十秒鐘,而外網(wǎng)用戶訪問本地資源往往需要數(shù)分鐘才能完成,存儲(chǔ)系統(tǒng)中央處理器資源占用率高,本地陣列存儲(chǔ)數(shù)據(jù)的格式多樣也造成數(shù)據(jù)傳輸緩慢現(xiàn)象??梢娙绾翁岣叽鎯?chǔ)系統(tǒng)響應(yīng)時(shí)間,如何智能分析用戶數(shù)據(jù)需求,是提高存儲(chǔ)系統(tǒng)效率的關(guān)鍵。
2、高校存儲(chǔ)系統(tǒng)模式
目前,高校圖書館圖書存儲(chǔ)系統(tǒng)模式主要有DAS(Di-roct Attached Storsge)直接附加存儲(chǔ),NAS(Network AttachedStorage)網(wǎng)絡(luò)附加存儲(chǔ),SAN(Storage Area Network)存儲(chǔ)局域網(wǎng)絡(luò)),NAS-SAN混合系統(tǒng)、IP存儲(chǔ)系統(tǒng)等。
2.1 DAS結(jié)構(gòu)
DAS直接附加存儲(chǔ)是指服務(wù)器與存儲(chǔ)設(shè)備之間的直接連接,存儲(chǔ)設(shè)備通過SCSI、IDE、ATA、SATA、SAS、F℃等I/0總線作為數(shù)據(jù)接口的存儲(chǔ)方式。是目前國(guó)內(nèi)出現(xiàn)最早、最成熟的數(shù)字資源存儲(chǔ)方式,具有標(biāo)準(zhǔn)統(tǒng)一、兼容性好、綜合使用成本低等優(yōu)點(diǎn),但其存在很多不可克服的缺點(diǎn)。(1)用戶需要訪問存儲(chǔ)器上的數(shù)據(jù),必須先給服務(wù)器發(fā)送請(qǐng)求信息;服務(wù)器解析這個(gè)請(qǐng)求并給存儲(chǔ)器發(fā)送訪問信息;再由存儲(chǔ)器訪問數(shù)據(jù)并發(fā)還給服務(wù)器內(nèi)存,最終由服務(wù)器將信息傳送給用戶。一旦服務(wù)器出現(xiàn)故障,DAS系統(tǒng)就不能工作。(2)共享性低,DAS無獨(dú)立操作系統(tǒng),不能提供跨平臺(tái)的文件共享功能,各服務(wù)器不能共享原有的DAS設(shè)備。
2.2 NAS結(jié)構(gòu)
NAS是指直接掛接在網(wǎng)絡(luò)上的存儲(chǔ)系統(tǒng),通過基于IP網(wǎng)絡(luò)的網(wǎng)絡(luò)文件協(xié)議進(jìn)行文件傳輸,支持異構(gòu)服務(wù)器間數(shù)據(jù)共享。與直連存儲(chǔ)相比,NAS結(jié)構(gòu)已經(jīng)在傳輸速率、可靠性等方面有很大的提升,但仍有一些不足之處。(1)NAS系統(tǒng)基于網(wǎng)絡(luò)系統(tǒng)傳輸數(shù)據(jù),要消耗較多的通信帶寬,導(dǎo)致數(shù)據(jù)傳輸速度過低,不能滿足大容量連續(xù)數(shù)據(jù)傳輸?shù)囊?。?)在原有網(wǎng)絡(luò)中增加1臺(tái)新的NAS存儲(chǔ)系統(tǒng)設(shè)備必須給其新的IP地址,不能和以前的NAS存儲(chǔ)更好的集成。增加了備份和管理難度。(3)NAS系統(tǒng)采用的是NFS和CIFS網(wǎng)絡(luò)文件訪問協(xié)議,備份時(shí)下主流的ORALCE、SQL等數(shù)據(jù)庫(kù)相當(dāng)?shù)睦щy。
2.3 SAN結(jié)構(gòu)
SAN是以光纖通道(Fiber Channd,F(xiàn)C)為傳輸媒介,獨(dú)立的、專門用于數(shù)據(jù)存取的高速局域網(wǎng)。一種高速存儲(chǔ)網(wǎng)絡(luò),SAN的核心技術(shù)是F℃,使用存儲(chǔ)系統(tǒng)內(nèi)部的FCH-BA陣列卡通過FC光纖交換機(jī)將多個(gè)存儲(chǔ)系統(tǒng)和多個(gè)服務(wù)器、網(wǎng)絡(luò)上設(shè)備互聯(lián),形成高速存儲(chǔ)子網(wǎng)絡(luò),同時(shí)局域網(wǎng)內(nèi)部所有終端都可訪問這個(gè)子網(wǎng)絡(luò),理論上傳輸速率高達(dá)1.6Gb/s,連接距離長(zhǎng)達(dá)10KM。傳輸速度、網(wǎng)絡(luò)安全性、數(shù)據(jù)庫(kù)管理能力較NAS又有進(jìn)一步的提高,盡管如此,SAN依然存在一些缺陷:(1)購(gòu)置成本高,同容量的SAN陣列價(jià)格是NAS的1.5倍,DAS的2倍。(2)構(gòu)建SAN結(jié)構(gòu)需要專門的F℃網(wǎng)絡(luò),管理SAN網(wǎng)絡(luò)需要專門的管理軟件,通用性、易用性不強(qiáng)。
2.4 NAS-SAN混合系統(tǒng)、IP存儲(chǔ)系統(tǒng)等其它新型存儲(chǔ)系統(tǒng)
NAS-SAN混合系統(tǒng)在發(fā)揮SAN優(yōu)點(diǎn)的同時(shí),又發(fā)揮了NAS的特長(zhǎng)。SAN傳輸距離不能超過10KM的缺點(diǎn),被NAS無限的IP地址所彌補(bǔ);NAS不能備份數(shù)據(jù)庫(kù)的特點(diǎn)和傳輸速率慢的“短板”也被SAN補(bǔ)全。IP存儲(chǔ)系統(tǒng)IP整合了IP網(wǎng)絡(luò)和光纖通道存儲(chǔ)網(wǎng)絡(luò),使用ISCSI將TCP/IP指令打包成光纖通道協(xié)議,而光纖通道協(xié)議再通過TCP/IP協(xié)議傳輸,讓用戶可以充分利用現(xiàn)有光纖與TCP/IP網(wǎng)絡(luò)基礎(chǔ)設(shè)施,同時(shí)擁有高速化、虛擬化、資源化和數(shù)據(jù)管理標(biāo)準(zhǔn)化的存儲(chǔ)系統(tǒng)平臺(tái)。這些新型的存儲(chǔ)系統(tǒng)改變了老式存儲(chǔ)系統(tǒng)缺點(diǎn),提高了工作效率但依然存在安全性低、協(xié)議標(biāo)準(zhǔn)不統(tǒng)一、CPU資源占用過高、實(shí)際操作困難等問題,高校圖書館還需要更先進(jìn)的存儲(chǔ)系統(tǒng)推進(jìn)數(shù)字化建設(shè)。
3、高校圖書館新型存儲(chǔ)系統(tǒng)展望
目前高校圖書館使用的存儲(chǔ)系統(tǒng)都存在一定的問題,面對(duì)“云時(shí)代”對(duì)信息計(jì)算的要求。滿足圖書館對(duì)存儲(chǔ)系統(tǒng)的需求。新型的存儲(chǔ)理念“云存儲(chǔ)”出現(xiàn)了,給我們提供了一套全新的存儲(chǔ)系統(tǒng)解決方案。
3.1 “云存儲(chǔ)”的概念
云存儲(chǔ)是在云計(jì)算(Cloud computing)基礎(chǔ)上延伸和發(fā)展出來的一個(gè)新概念。隨著云計(jì)算技術(shù)的發(fā)展而發(fā)展起來的。它通過集群應(yīng)用、網(wǎng)格技術(shù)、分布式管理系統(tǒng)、虛擬存儲(chǔ)等技術(shù),將互聯(lián)網(wǎng)“云”中大量各種不同類型的存儲(chǔ)設(shè)備通過軟件集合起來協(xié)同工作,共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問功能。其中最核心的部分是存儲(chǔ)設(shè)備與應(yīng)用軟件相結(jié)合,通過應(yīng)用軟件來實(shí)現(xiàn)存儲(chǔ)設(shè)備向存儲(chǔ)服務(wù)的轉(zhuǎn)變。對(duì)使用者來說,云存儲(chǔ)是指由許多個(gè)存儲(chǔ)系統(tǒng)和服務(wù)器構(gòu)成的集合體。而不是某一個(gè)具體設(shè)備。使用者使用云存儲(chǔ),是使用整個(gè)云存儲(chǔ)系統(tǒng)帶來的一種數(shù)據(jù)訪問服務(wù),而不是使用某個(gè)存儲(chǔ)設(shè)備。所以從本質(zhì)說云存儲(chǔ)是一種服務(wù),而不是存儲(chǔ)。云存儲(chǔ)目前主要有3種存在形態(tài):(1)公共“云”:即第三方云存儲(chǔ)服務(wù)商提供的存儲(chǔ)云?,F(xiàn)在提’供云存儲(chǔ)服務(wù)的公司與系統(tǒng)主要有AMAZON推出的彈性塊存儲(chǔ)(EBS)技術(shù)支持?jǐn)?shù)據(jù)持久性存儲(chǔ)、G00出推出的在線存儲(chǔ)服Gdricer慣等。(2)私有“云”:機(jī)構(gòu)利用自身技術(shù)力量或借助第三方技術(shù)商在機(jī)構(gòu)內(nèi)部搭建云存儲(chǔ)系統(tǒng)。面向內(nèi)部用戶和外部用戶提供存儲(chǔ)服務(wù)。企業(yè)擁有這個(gè)存儲(chǔ)環(huán)境的自主權(quán),可以根據(jù)自身存儲(chǔ)變化改變“云”環(huán)境。(3)混合“云”:機(jī)構(gòu)組織內(nèi)部及使用公共“云”存儲(chǔ)環(huán)境,也自行搭建私有“云”存儲(chǔ)環(huán)境的服務(wù)模式。
3.2 “云存儲(chǔ)”系統(tǒng)的優(yōu)勢(shì)
如前所述高校圖書館的存儲(chǔ)系統(tǒng)存在各式各樣的問題。云存儲(chǔ)的體系結(jié)構(gòu)決定了它較以往存儲(chǔ)系統(tǒng)存在以下幾方面的優(yōu)勢(shì)。
3.2.1 海量的存儲(chǔ)空間和合理的資源調(diào)度
“云存儲(chǔ)”集成使用了支持大規(guī)模存儲(chǔ)的集群技術(shù)、P2P技術(shù)和網(wǎng)格技術(shù)。允許存儲(chǔ)服務(wù)器和存儲(chǔ)節(jié)點(diǎn)同時(shí)增加。進(jìn)行并行擴(kuò)容。每個(gè)圖書館都是“云”中的一個(gè)小節(jié)點(diǎn),將每個(gè)小節(jié)點(diǎn)里的所有數(shù)字資源存儲(chǔ)在“云”中,并由“云”來管理和調(diào)度這些海量數(shù)據(jù),理論上每個(gè)節(jié)點(diǎn)擁有了云中上百萬(wàn)個(gè)存儲(chǔ)設(shè)備和服務(wù)器提供數(shù)據(jù)存儲(chǔ)和傳輸。同時(shí)利用分布式的數(shù)據(jù)存儲(chǔ)技術(shù)和與之相關(guān)的虛擬技術(shù)使得整合后的海量數(shù)據(jù)更加統(tǒng)一有序,實(shí)現(xiàn)本地?cái)?shù)字資源的完全整合。
3.2.2 虛擬化存儲(chǔ)優(yōu)勢(shì)
通過存儲(chǔ)虛擬化,所有的信息資源都運(yùn)行在“云”中,支持各種各樣的物理平臺(tái),資源的管理都將按邏輯方式進(jìn)行,完全實(shí)現(xiàn)資源的自動(dòng)化分配,便于存儲(chǔ)設(shè)備進(jìn)行集中管理,打破了存儲(chǔ)系統(tǒng)供應(yīng)商壟斷局面,本館原有的各種存儲(chǔ)系統(tǒng)都可運(yùn)用在虛擬的“云”平臺(tái)里。
3.2.3 高效的備份和實(shí)時(shí)遷移
“云存儲(chǔ)”的物理設(shè)備分布在互聯(lián)網(wǎng)“云”世界任何角落,通過虛擬化技術(shù)將物理設(shè)備進(jìn)行邏輯分區(qū),并保證邏輯分區(qū)之間的隔離,還提供了各個(gè)分區(qū)之間的通信功能。因此,云存儲(chǔ)可以迅速的幫助用戶形成多個(gè)異地容災(zāi)備份。在實(shí)施遷移的過程中,所有的物理設(shè)備都在統(tǒng)一的管理系統(tǒng)控制之下,因此一部存儲(chǔ)系統(tǒng)遷移到另一部存儲(chǔ)系統(tǒng)的整個(gè)遷移過程是無縫平滑的,其實(shí)就是在“云”這個(gè)海量的存儲(chǔ)池中自由移動(dòng),原有存儲(chǔ)系統(tǒng)安全不需要關(guān)閉服和中斷服務(wù),保證存儲(chǔ)系統(tǒng)資源安全性和可用性。
3.2.4 降低圖書館營(yíng)運(yùn)成本
“云存儲(chǔ)”特征決定了它的存儲(chǔ)空間可以是虛擬化的,高校圖書館可向SSP商家租賃一定的存儲(chǔ)空間進(jìn)行無版權(quán)糾紛的數(shù)字資源存儲(chǔ),由商家進(jìn)行數(shù)據(jù)的管理與維護(hù),即租賃空間,數(shù)據(jù)托管,也就是常說的使用公共“云”;也可有選擇性的將部分有版權(quán)保護(hù)和自建的信息資源按照自身的想法由第三方技術(shù)商利用現(xiàn)有的存儲(chǔ)系統(tǒng)搭建私有“云”存儲(chǔ)系統(tǒng)。保證現(xiàn)有投入的利用率和維護(hù)自身知識(shí)產(chǎn)權(quán)。這樣做既保護(hù)現(xiàn)有的投資又避免了過去盲目購(gòu)買存儲(chǔ)設(shè)備造成的浪費(fèi),實(shí)現(xiàn)了存儲(chǔ)系統(tǒng)效用最大化。
4、結(jié)語(yǔ)
高校圖書館存儲(chǔ)系統(tǒng)正面臨越來越大的存儲(chǔ)壓力,從高校存儲(chǔ)系統(tǒng)發(fā)展歷程看。圖書館人不斷追卻創(chuàng)新的存儲(chǔ)技術(shù)和先進(jìn)管理理念,在風(fēng)起云涌的互聯(lián)網(wǎng)“云”時(shí)代,高校圖書館只有利用好“云”存儲(chǔ)技術(shù)才能滿足數(shù)據(jù)無限增長(zhǎng)的需要?!霸拼鎯?chǔ)”作為一個(gè)新生事物在應(yīng)用過程中還有各種問題。高校圖書館只有不斷地摸索前進(jìn),方能發(fā)揮存儲(chǔ)系統(tǒng)在數(shù)字化圖書館建設(shè)中的作用。