ZADL協作框架下數字資源長期合作保存策略探索＊

□胡紹軍 劉 翔

1 前言

數字資源長期保存是對數字資源進行攝入、保存、管理，在一定條件下提供服務或轉移保存的活動［1］，近年來，數據長期保存已成為數字圖書館研究的一個重大課題。

2007年10月，參加北京iPRES會議的代表在本國或本機構長期保存的具體實踐基礎上，提出了在合作的基礎上進行長期保存的規劃，內容主要包括保存網絡的建立、職責分配及政策制定等［2］。2008年11月，在北京召開的“數字圖書館高層論壇”又發出呼吁：全國圖書館和其他文獻資源機構，積極參加全國數字文獻資源合作長期保存體系，共建共享、可信賴管理、可靠服務、公開認證，盡快實現主要數字文獻資源的長期保存［3］。

NSTL曾經對中國采購和使用數字文獻資源較多的圖書館進行了調查。結果顯示，我國圖書館界在保存模式上更傾向于合作保存，其中，大學及專業圖書館中選擇合作保存模式的機構數量占多數［4］。從目前看，國內外圖書館界對數字資源的長期保存策略更傾向于合作保存模式，其中，美國斯坦福大學領導實施的LOCKSS項目是一個遵循OAIS規范的長期保存系統，以低成本、高安全性、分布式存儲、支持協作保存、服務穩定，及遵循標準化協議的開發運行策略在歐美引起廣泛關注，中科院也在積極參與這個項目［5］。LOCKSS與ZADL在架構上具有許多相同之處，其合作保存模式對ZADL開展數字資源合作保存有借鑒意義。

2 ZADL及其體系架構

ZADL是在浙江省教育廳領導下，全省高校共同參與的浙江省高校數字圖書館建設項目，總投資1．3億元。ZADL的總體目標是要聯合全省高校圖書館，以Cernet為依托，以CALIS和CALIS華東南地區文獻信息中心為后盾，基本建成全省研究級學科文獻保障體系的基礎框架，為浙江省高等教育提供可靠的文獻信息保障。其具體目標為：建成全省高校共享的國內一流的數字化文獻信息資源庫；建立覆蓋全省高校的數字圖書館服務體系，包括省級服務中心和5個分中心，向全省高校用戶提供數字資源服務。目前，ZADL一期已經上線統一身份認證、聯合目錄、統一檢索、文獻傳遞、虛擬參考咨詢、特色數據庫6大應用系統，初步實現了全省高校文獻資源的整合與揭示。

在組織架構上，ZADL由技術組、服務組和資源組協同工作，保障ZADL日常的正常運行，為實現ZADL的聯合保存提供了組織保障。

在技術架構上，ZADL由省中心與5個分中心組成，各分中心通過與省中心的核心交換機互聯構成了一個星型的高速互聯的網絡，依托這個高速網絡和各中心的存儲資源可以構成一張基于IP SAN的網絡存儲架構，及總容量近700TB的存儲資源，為實現ZADL的聯合保存提供了硬件平臺的支撐。

在合作模式上，ZADL是一個松散型的高校圖書館聯盟組織，這與LOCKSS很相似。目前的LOCKSS已經由單個圖書館的長期保存行為擴大至圖書館之間的合作，從本質上更傾向于保障圖書館的利益［6］，這與ZADL的建設目標是一致的。

3 ZADL數字資源合作保存的技術策略

ZADL目前整合的各類數字資源總數已達428種，其中大部分資源購買的是使用權，通過授權遠程訪問獲取資源。對于浙江省高等教育文獻資源保障體系重點建設項目，數字資源的長期保存與永續使用是ZADL后續建設必須面臨和解決的課題。PREMIS認為，數字保存的目標是維持數字資源的長期可生存能力（要求被保存數字對象的比特流完整無缺并且能夠從它所存儲的載體之上讀?。?、可呈現能力（指的是能夠將比特流轉變為一種可以被人看，能夠被計算機處理的能力）和可理解能力（包括提供足夠的信息使得這些被呈現的內容可以被目標用戶理解和認識）［7］。保證數字信息的長期讀取涉及到很多方面，其中，最重要的還是數字信息保存技術策略的選擇。如圖1所示，本文將就ZADL合作保存中一些關鍵技術進行研究和探索。

圖1 ZADL數字資源合作保存數據流圖

3．1 建立ZADL元數據倉儲

元數據最基本的用途就是管理數據，從而實現查詢、閱讀、交換和共享。數字保存活動中，出現了許多用于支持數字資源長期保存的元數據規范和框架，這些已有的規范在世界各地不同行業領域得到發展。對于ZADL這種松散型的數字圖書館聯盟，可以采用基于OAI－PMH的元數據收割協議收割ZADL成員館擁有的所有數字資源的元數據及其他符合要求的有較高學術價值的免費數字資源元數據，在省中心建立元數據倉儲，存儲、管理和維護數字資源元數據，各中心、成員館作為聯盟成員都可以像對單獨一個倉儲操作一樣檢索和利用這些倉儲中的元數據。為此，需要解決以下幾個關鍵問題：

3．1．1 元數據互操作

由于不同的領域存在著多種元數據格式，當用不同元數據格式進行資源描述、檢索和利用時，就需要解決多種元數據格式間的釋讀、轉換問題，即實現元數據的互操作，達到不同元數據格式間的信息共享、轉換、跨系統檢索。ZADL數字資源體系是由文獻、圖片、視頻、音頻、圖紙等構成的主題教學、科研資源庫，涵蓋了采用不同元數據標準的多種類型的數字資源，可以通過解決資源描述過程中語義方面的差別，在語義層面上實現互操作，即采用元數據映射實現元數據的互操作。在映射過程中，被采用的標準格式應該在元素組成、元素語義定義和應用領域等方面具有普遍適應性，本身有較廣泛的應用，能被多數系統識別。

在OAI－PMH元數據采集協議中，允許不同格式的元數據結構并存，但指定以DC作為互操作的元數據，采用元數據映射方法，支持不同元數據之間的互操作，此種方式轉換脈絡清晰，便于元數據的擴展及管理。由于ZADL數字資源類型具有復雜性和多樣性，參與互操作的元數據格式會很多，映射過程也會較為復雜，因此同樣可以選擇DC作為中介元數據轉換格式，其他各種格式都向這一中心格式轉換，從而實現以中心元數據格式為中介的元數據格式轉換。

具體方法是：應用DC元數據集并擴展DC元數據核心集，建立DC與不同元數據資源映射表，由ZADL服務提供者（省中心和各分中心）選擇性收割數據提供者發布的元數據，經過整合映射后將不同的數字資源元數據盡可能映射成DC數據存放在本地，解決元數據的互操作問題。并在此基礎上，對ZADL用戶提供搜索引擎服務，實現倉儲元數據標準的統一，和跨系統的廣泛檢索，向用戶提供一個統一的數據檢索界面，確保系統對用戶的一致性服務。

3．1．2 元數據獲取

（1）自建資源元數據收割

對于ZADL成員館自建的數字資源，可以通過OAI－PMH收割元數據，包括OPAC數據庫、本校學位論文庫、學校文庫、特色資源數據庫等。由于這些數字資源由圖書館自己控制，可以通過編程的方式為這些數字資源添加OAI接口，元數據倉儲通過此接口定期批量收割元數據。ZADL特色資源數據庫目前已經實現了基于OAI－PMH協議自動收割各成員館的元數據。

（2）引進資源元數據獲取

對于開放底層數據接口的，比如超星電子圖書、Apabi電子圖書、OA資源等，可以參照自建資源元數據收割方式獲取元數據。

對于有底層數據接口，但不對外開放的，如中國期刊網、萬方數據網等，可由ZADL通過與數據商進行談判、協商、適當付費等靈活方式獲取。

對于沒有提供OAI數據接口，不能通過元數據收割方式獲取元數據的數字資源，通過談判協商等靈活方式讓數據商定期或不定期導出元數據，經過規范處理后再導入到ZADL元數據倉儲中。

3．2 存儲策略

3．2．1 建立基于SAN的三級合作存儲體系

如圖2所示，ZADL采用SAN分布式存儲策略，ZADL各中心、成員館之間的關系類似于LOCKSS聯盟中的各個Caches，彼此之間互連，呈網狀結構分布。這種結構下，只要建立相應的合作機制，就可以實現Caches間互相備份支持的目標，以及相互之間的協作保存，確保資源完整性和永久保存。

（1）自建資源合作保存：ZADL自建特色庫及隨書光盤資源，由省中心、分中心和成員館聯合保存。省中心保存全部自建資源，分中心按區域聯合保存自建資源，成員館建立高速的Cache，通過與各分中心同步保存日常本館常用的資源，形成一個三級的聯合保存模式。

（2）引進資源合作保存：由省中心——分中心——成員館按責任分工聯合保存，互為備份容災，確保資源的永續服務。

圖2 ZADL合作存儲架構

省中心——分中心——成員館三級合作保存模式，有利于ZADL及各分中心資源訪問和保存，可以實現資源的合理布局，避免重復保存，防止因數據損壞造成服務中斷，以及因信息缺失造成內容方面的遺漏。在服務上，各中心與所服務高校間的網絡狀分布，可以避免服務對象在地理布局上的“孤島”現象。

3．2．2 優化存儲資源，綠化ZADL存儲網絡

隨著數據增長率的快速上升和持續的能量匱乏，存儲系統自身的能耗狀況已引起國際上數據中心的廣泛重視，綠色存儲開始成為人們關注的焦點。美國五角大樓已經開始使用Data Domain公司的數據復制工具幫助減少了軍方數據中心的能量消耗。國際上也開始采用降低能耗的存儲技術，如：對于離線數據和長期存檔數據，繼續使用磁帶庫；采用各種RAID級別和分層存儲，最大程度地利用資源；實施高效的存儲系統支持整合等等［8］。

ZADL省中心及各分中心現擁有的SAN存儲容量約600TB左右，依托位于省中心的萬兆核心交換及存儲虛擬化技術為ZADL存儲的動態調用提供了可能，可以實現存儲資源的共享及最大化資源的利用，但同時也耗費了大量的能源。因此，在存儲冗余性和系統高效性之間，必須找到一個好的平衡點。基于目前ZADL已經建成的分布式網絡架構，可以通過構建層疊存儲來綠化ZADL存儲網絡：

（1）對于時間敏感性的資源如近年的數字資源和性能敏感性的資源如元數據存儲在ZADL省中心的SAN存儲，依托ZADL IP SAN供所有ZADL分中心共享。

（2）對于訪問量較低資源可采用磁帶庫離線存儲于各分中心；各成員館可采用低成本的SAS存儲構建本館的Cache，用于從分中心獲取常訪問的資源，提高終端用戶的訪問效率。

通過構建資源自動調度系統，對于經常訪問的離線資源可自動調入分中心的SAN存儲提高訪問效率，而分中心SAN存儲網絡中訪問量低的資源則自動調入分中心磁帶庫離線存儲，降低整個系統的能源消耗，構建ZADL綠色存儲網絡。

3．3 數據檢測與恢復

由于數字資源的載體易受到外界環境條件的影響，因此，必須對保存的數字資源進行定期檢測，以保證數據真實性和完整性。ZADL可以借鑒LOCKSS模式，通過P2P對等式的分布式保存系統，采用輪詢和評價機制對緩存內容進行輪詢（Pool）和投票（Vote），確保ZADL電子資源數據的完整性和安全性［9］。

圖3 數據檢測與恢復拓撲圖

如圖3所示，ZADL各個中心均建設了基于FC SAN和IP SAN的存儲基礎設施并通過教科網實現了高速互聯，依托這些基礎設施為探索ZADL的合作保存系統構建提供了硬件及網絡環境的保障。整個ZADL體系可以劃分為5個三角形區塊，每個三角形區塊的分中心依托ZADL的元數據倉儲來對其臨近的分中心進行數字對象的輪詢。同時，省中心會對每個分中心的數字對象進行輪詢?？紤]到對于海量的數字對象資源進行輪詢操作是非常耗費網絡和服務器資源的作業，為提高輪詢的效率采用統計學的T檢驗方法來篩選抽檢數字對象。對于丟失損壞的數字對象，立即通過IP SAN網絡補充修復，實現分中心本地資源的動態更新、損壞修復、丟失補缺等功能，形成ZADL安全穩固的數據保存系統。

在ZADL組織層面上，各中心組成緊耦合的合作保存體系，模型的5個三角形區塊可以相對獨立地運行；在系統層面上，基于統計學抽樣輪詢策略的松耦合架構不但保證運行效率而且提高了安全性。

3．4 核心數據風干（Desiccation）

在數字圖書館數據保存策略中，遷移是目前實際運行中使用比較成熟和頻繁的方法。為保證當前存儲的數字信息總能被當前系統讀取，采用數據“遷移”的方法，持續地將數字信息從舊的軟硬件環境轉換到新的計算機環境，是一種隨著技術變化定期改變信息格式的處理過程?？紤]到ZADL聯合保存所涉及的資源眾多，遷移工程量較大，同時遷移過程中會出現信息遺漏、失真等問題，因此，可依托ZADL元數據和對象數據的分布式倉儲系統，依據ZADL資源評估體系和對ZADL統一檢索系統日志數據的分析，對核心對象數據采用風干的方式予以數據風干，抽取數據的文本內容予以長期保存，通過構建專用的基于元數據的檢索系統支持在線檢索，格式化成通用文檔格式如PDF格式予以展現。當前遵循UOML協議的文檔均可方便地風干，如CAJ、PDG格式等。

3．5 安全管理策略

ZADL 采 用 SAE（Security Attribute Exchange），即安全屬性交換，也可稱為以虛擬聯合的方式實現ZADL聯盟的聯邦認證，其模式為聯邦認證的混合模式。SAE使用以SAML V2為基礎的協議集，通過HTTP GET、POST以及redirect的方式在交互方之間傳輸用戶實體信息。它實現了一種讓不同域名下應用交換認證用戶實體信息的機制，構建了浙江省高校圖書館間的認證機制。經過認證的用戶可以依托基于元數據倉儲的統一檢索系統，通過安全高效的資源調度系統獲取所需資源。其中，本分中心的資源本地獲取，其他分中心的資源依托ZADL統一檢索系統及文獻傳遞系統延時獲取。

4 ZADL合作保存中的管理策略

在數字資源長期保存中，管理是從整體上進行宏觀規劃、組織和控制，是數字資源長期保存的基礎與保障。內容主要包括：資源選擇、責任體系及合作機制、知識產權等。

4．1 資源選擇

在開展數字資源長期保存工作前，第一個需要解決的問題就是如何確定保存資源的范圍。事實上，保存所有數字資源不僅沒有必要而且也很難做到，因此如何做到恰當地選擇合適的資源作為長期保存的對象就成為了首要問題。高校圖書館的性質與任務決定了ZADL在數字資源的長期保存中，應對需保存資源的范圍進行評估與界定，如對教學、科研有特別意義的，容易丟失的、與未來有關聯的、有重要價值的數字資源及重要的科學數據，特別是“原始數據”等相關元素［10］。其次，是要建立一套評價數字資源館藏級別的模式，將數字資源分成不同的保存等級，等級的不同決定了資源的存儲介質和應履行的存儲職責的不同。如：國家圖書館就建立了長期保存、不定期保存、臨時保存三級保存制度，規定了相應的存儲介質、存儲職責［11］。

4．2 合作機制

目前，ZADL各中心都具備了適合長期保存的軟硬件環境和存檔條件，都有條件成為承擔保存任務的責任體，各自應當具備什么權限就成為考慮的核心和關鍵問題，其相互之間如何進行保存資源種類的分配，會對整個網絡的有效運行產生重要影響。因此，要建立彼此間的責任體系，形成長期保存資源和責任體之間的組合，明確各責任體之間的義務、責任與利益關系，形成相應的合作與責任分擔機制等，作為開展合作保存的組織保障。

4．3 法律問題

數字時代，出版商實行的是授權制度，也就是說目前圖書館采購的很多外購資源庫均未獲得資源的所有權，而只是以獲取“使用權”的方式購買和利用數字資源。因此，如果未獲得版權所有者的許可，也沒有法律“合理使用”、“法定許可”等條款的支持，數字資源長期保存工作就很容易觸犯知識產權法。為此，國外一些成熟的做法可以為ZADL所借鑒。

一是借鑒LOCKSS的許可證管理模式，通過ZADL與數字資源出版商進行談判與協商，由聯盟向出版商獲取建立數字館藏的法律授權（許可權），以對遠程訪問資源進行收集、保存，并允許成員對所有ZADL館藏資源進行訪問，明確資源合理使用范圍與法律責任，規避長期保存與使用上的知識產權問題。許可權一般包括［12］：收集和保護當前獲得的資料，可以使用這些與最初的許可證條款一致的資料等；允許通過ZADL獲得授權的出版商表單搜索在線電子資源，越權采集將被拒絕。

其次，ZADL可以聯盟的形式與出版商協商，在集團購買談判中增加“永久保存”協議條款，獲得對物理媒介的許可，以長期保存這些數字資源。目前，英國教育信息系統聯合委員會JISC已經制訂了數字資源采購協議模型，其中就包括長期保存條款；荷蘭國家圖書館已經與ELSEVIER、KLUWER、BIOMED等出版商簽訂了長期保存條約；NSTL也專門對資源采購中的“數字資源長期保存要求”做出規定［13］。

目前，歐美等國都在建立適應本國的數字資源長期保存政策來確保數字資源長期保存的順利開展，高校聯盟的合作保存也有了比較成功的案例，如英國的CEDARS、美國的LOCKSS項目等。我國高校數字圖書館聯盟的建設已經取得了一定的成績，但聯盟的合作保存研究和實踐目前還很少。ZADL二期建設如能在這方面做些成績，對我國高校文獻資源保障體系的可持續發展和資源的可持續利用將是一件有意義的工作。

1 張曉林等．數字文獻資源長期保存協議框架．現代圖書情報技術，2008（11）：1－6

2 吳振新等．數字資源長期保存：當前進展和最佳實踐——2007年數字資源長期保存國際會議（iPRES2007）綜述．現代圖書情報技術，2007（11）：1－5

3 全國圖書館界呼吁建設國家數字文獻資源長期保存服務體系．現代圖書情報技術，2008（11）：71

4 張玫等．中國圖書館數字文獻資源長期保存現狀調查．圖書情報知識，2009（3）：49

5 吳曉駿，黃玨．LOCKSS與電子期刊長期保存應用研究．情報資料工作，2007（5）：45

6 張艷敏，馬秀峰．中外數字資源長期保存策略比較研究．圖書館學研究，2009（6）：29

7 張智雄．如何長期保存數字資源．［2011－10－25］．http：／／www．edu．cn／bf＿6472／20080910／t20080910＿324287．shtml，2008（5）：99

8 Rich Castagna．綠色存儲?？?011－10－25］．http：／／www．searchstorage．com．cn

9 How it works．［2011－08－25］．http：／／www．lockss．org／lockss／How－It－Works＃ Collecting

10 數字資源長期保存的關鍵問題探討．［2011－10－25］．http：／／www．syue．com／Paper／Culture／Study／261975．html

11 邢軍．國家圖書館數字資源長期保存現狀與研究．［2011－10－25］．http：／／blog．sina．com．cn／s／blog＿599ea7890102dr65．html

12 Lockss：For－Librarians．［2011－08－25］．http：／／www．lockss．org／lockss／For－Librarians＃ Obtaining．2FConfirming－Publisher－Permissions－2

13 宛玲等．數字資源長期戰略保存的管理與技術策略．現代圖書情報技術，2005（1）：58