基于信息生命周期的數字圖書館館藏資源動態存儲模型

摘 要]分析了數字館藏的特點及其生命周期，以及數字館藏存儲技術#65377;結合信息生命周期理念及現代存儲技術和分級存儲管理思想，提出數字圖書館館藏資源動態存儲模型，并重點論述其中的資源利用價值評價模型及數據遷移策略#65377;

[關鍵詞]數字圖書館;動態存儲;信息生命周期;分級存儲管理;數據遷移策略

[中圖分類號]G250.76 [文獻標識碼]A [文章編號]1008-0821(2010)03-0158-05

Research on Digital Library Dynamic Information Storage Model Based on ILMLiang Daji

(School of Information Management，Wuhan University，Wuhan 430072，China)

[Abstract]The paper analyzed the features of digital storage in digital library and its lifecycle，as well as storage technology of those resources.On considering ILM(Information Lifecycle Management)and modern storage technology and the HSM(Hierarchical Storage Management)，this paper proposed a dynamic information storage model，and then focused on the resources utility value evaluation model and the data transfer policies.

[Key words]digital library;dynamic storage;ILM;HSM;data transfer policies

我國數字圖書館建設正處于加速發展階段，隨著館藏數字資源的急劇增加，不可避免地要考慮對海量數字資源進行有效管理，盡可能節約成本同時又對數字資源充分利用，為圖書館用戶提供優質高效的資源服務的問題#65377;隨著相關研究的進展，越來越多的專家學者已經意識到數字資源是有生命周期的，通過研究其生命周期規律，在不同的生命周期階段采取不同的管理策略，能夠很好地解決數字圖書館海量數字館藏的管理與服務問題#65377;

而在數字館藏管理中，存儲問題是關鍵問題之一，其對數字圖書館建設成本和資源服務都有重要影響#65377;本文將結合信息生命周期理念探討數字館藏存儲問題，提出數字館藏動態存儲模型，并重點探討其中的數據遷移策略，以期為解決海量館藏存儲管理問題提供一種思路#65377;

1 數字館藏特點及其生命周期分析

1.1 數字館藏的界定

數字圖書館尚沒有一個一致認可的統一定義，有學者這樣描述:“數字圖書館是一個系統化的信息工程，它將分散于各種載體#65380;不同地理位置的信息資源以數字化形式存儲再以網絡連接，提供及時利用，實現資源共享”[1]#65377;

而數字館藏則有狹義和廣義之分#65377;狹義的數字館藏一般指最終提供給用戶使用的信息資源，包括電子書刊#65380;文獻資料#65380;音視頻資料等;廣義的數字館藏除了上述信息資源外，還應包括為了實現對上述信息資源的管理以及提供服務而需要的各種元數據及其他管理性信息，也就是數字圖書館中需要存儲起來的所有信息資源#65377;本文討論數字圖書館的存儲問題，將從廣義的角度理解數字館藏的范圍界定#65377;

1.2 數字館藏的特點

根據學者們的研究，從存儲角度看，數字館藏具有如下一些特點:[2-3]

1.2.1 存儲容量大

圖書館是社會的知識寶庫，是高校的信息資源中心#65377;隨著數字化進程加快，數字圖書館館藏急劇增加，存儲信息的度量單位由MB#65380;GB向TB#65380;PB轉變，其存儲的數據總量達到了海量規模#65377;

1.2.2 訪問量大且呈現動態性

數字圖書館是各研究人員，學生等獲取信息資源的重要機構#65377;電子期刊#65380;電子圖書#65380;常用的鏡像站點數據庫等在圖書館中的訪問量極大，有時可同時有幾百人乃至成千人進行訪問#65377;同時，人們訪問數字圖書館在時間分布上不是均勻的，而是呈現出波浪形訪問頻率曲線#65377;

1.2.3 媒體形式多

數字館藏內容包括數字化圖書#65380;文獻#65380;碩博士論文#65380;多媒體課件#65380;音視頻資料等等#65377;其存儲格式多樣，包括文本文件#65380;位圖文件#65380;矢量圖#65380;各種音視頻文件#65380;各種數據庫特定存儲文件等等，數據類型復雜#65377;

1.2.4 數據時效性大

信息資源是有生命周期的，在不同的生命周期階段，其價值不一樣，被人們訪問利用的頻率也不一樣#65377;

1.2.5 資源分布廣且呈異構性

數字館藏包含存儲在本地的實體館藏以及存儲在遠程服務器上的虛擬館藏，存儲路徑復雜，存儲格式多樣#65377;存儲設備包括磁盤陣列#65380;磁帶庫#65380;光盤庫等，不同廠商的產品規格型號各異;主機系統包括Windows#65380;Unix#65380;Linux等#65377;因此數字館藏資源分布廣，且呈現很大的異構性#65377;

1.3 數字館藏的生命周期分析

和文獻信息擁有半衰期一樣，圖書館的數字館藏也是有其生命周期的#65377;有關數字信息資源生命周期的研究是一個較新的領域，對于信息資源生命周期的劃分，不同的學者給出了不同的劃分模型#65377;國際科技信息委員會(ICSTI)的一項研究將數字信息資源的生命周期劃分為創建#65380;采集#65380;編目/鑒別#65380;存儲#65380;長期保存#65380;訪問這6個階段[4]#65377;世界著名的存儲供應商EMC也將數據的生命周期劃分為6個階段:數字資源創建階段#65380;數字資源保護階段#65380;數字資源訪問階段#65380;數字資源遷移階段#65380;數字資源歸檔階段和數字資源回收(銷毀)階段[5]#65377;

通過分析與歸納，結合數字館藏的特點，可將數字館藏的生命周期劃分為如下6個階段:生產#65380;獲取#65380;組織#65380;存儲#65380;利用#65380;長期保存或銷毀#65377;本節對各個階段涉及的主要內容進行簡要分析#65377;

1.3.1 生產

數字館藏有不同來源，某些來源的數字館藏不涉及本階段，如網絡信息資源#65380;電子出版物和遠程數據庫都并非數字圖書館生產，因而它們在數字圖書館的生命周期中不包括生產階段#65377;此階段起主要作用的主體是數字圖書館，生產階段的數字資源不僅源于傳統館藏數字化產品，即數字圖書館對館藏的書籍#65380;文獻以及碩#65380;博士論文和教師的課件等資源的數字化，還包括對之前存入的數字資源進行的格式轉化更新#65377;

1.3.2 獲取

獲取主要是指數字圖書館從外部獲取數字資源到達本地，包括獲取網絡上的公開資源#65380;選購數字資源提供商的信息資源產品等#65377;涉及的活動包括選擇資源#65380;協商知識產權等相關問題#65380;購買#65380;取得使用權或下載資源到本地等#65377;

] No.32010年3月第30卷第3期基于信息生命周期的數字圖書館館藏資源動態存儲模型Mar.，2010Vol.30 No.31.3.3 組織

組織就是將獲取到本地的數字資源整合進數字圖書館的知識倉庫并對其進行編目和標引等操作的過程#65377;其中，元數據的創建與組織將是重要的工作#65377;元數據是關于數據的數據，數字圖書館要提供高效優質的服務，使用戶有效地獲取合適的館藏資源，則必須要有良好的元數據支撐，以滿足用戶的各種檢索及利用需求#65377;

1.3.4 存儲

存儲是數字圖書館建設#65380;數字館藏管理過程中的關鍵階段之一#65377;由于數字館藏容量巨大，不同的資源在不同的階段其利用價值不同等原因，存儲系統的好壞，將直接影響到數字圖書館的建設成本#65380;服務效率#65380;系統可靠性及穩定性等方面#65377;因此需要把存儲系統的設計作為數字圖書館建設的重要工作加以重視#65377;

1.3.5 利用

利用主要涉及用戶對數字圖書館提供的服務及資源的查詢#65380;下載或在線使用等活動，是數字圖書館所提供服務的具體體現，同時也是數字圖書館獲得用戶反饋信息從而調整各種管理策略及提供更好服務的主要途徑#65377;

1.3.6 長期保存或銷毀

經過一定時期之后，數字館藏的利用價值已經降低或消失，或其保存格式已不被軟硬件支持而難以有效提供服務，這時就需要對其進行評估，根據不同情況，對其進行轉換格式已重新利用，或將其進行長期保存以備日后查詢或將確認可銷毀的資源進行銷毀，從而釋放存儲資源#65377;

2 數字圖書館存儲技術

數據存儲和存儲管理技術起源于20世紀70年代，主要經歷了集中存儲#65380;分布式存儲和網絡存儲3個階段#65377;在數字圖書館中應用較多的主要有3種存儲技術:直接附加存儲#65380;網絡附加存儲#65380;存儲區域網絡#65377;同時，針對數字圖書館館藏容量大，動態性強等特點，分級存儲管理的思路在數字圖書館建設中也得到了廣泛應用#65377;

2.1 主要存儲技術分析

在數字圖書館中應用較多的存儲技術主要有3種[6-7]:DAS(Direct Attached Storage，直接附加存儲)#65380;NAS(Network Attached Storage，網絡附加存儲)#65380;SAN(Storage Area Network，存儲區域網)#65377;下面簡要分析這3種技術各自的優缺點及適用情況#65377;

2.1.1 DAS

DAS是指主機與存儲設備(磁盤或磁盤陣列等)之間直接連接，存儲設備通過SCSI或ATA(目前連接方式已擴展為FC#65380;USB等多種)作為數據接口的存儲方式#65377;DAS技術出現較早，具有技術成熟，標準統一，兼容性較好，價格及安裝維護成本較低等優點#65377;不足之處在于其對服務器直接依賴，不利于擴充，難以適應數據量增長迅速的數字圖書館的應用#65377;因此，DAS技術只適用于資金投入少#65380;數據流量小的小型數字圖書館#65377;

2.1.2 NAS

NAS是指直接掛接在網絡上的專業化存儲設備，具有獨立的優化存儲操作系統，不受應用服務器干預，通過網絡接口與網絡連接，數據通過網絡協議進行傳輸，支持異構服務器間共享數據#65377;NAS主要優點有方便快捷，即插即用;不依賴于服務器，擴展性較好;價格適中;跨平臺等#65377;不足之處在于其存取速度受網絡帶寬影響較大，當NAS設備增多時，其網絡性能會明顯下降;不適用于存儲音視頻等流量大的文件;由于NAS設備直接連接到網絡，因此其安全性較難保障#65377;因此，NAS適用于并發訪問數不是很大的中小型數字圖書館或者用于數據庫系統容災備份#65377;

2.1.3 SAN

SAN是一種通過集線器#65380;路由器#65380;交換機等連接設備將磁盤陣列#65380;磁帶等存儲設備與相關服務器連接起來的高速專用子網，傳輸媒介主要采用光纖通道#65377;SAN引入存儲網絡的理念，實現數據存儲的集中化;存儲網絡與應用網絡分割，不影響原有網絡性能#65377;SAN具有高速#65380;高可靠性#65380;高可擴展性，支持異構服務器，管理方便，設備位置布置靈活等優點#65377;SAN的不足主要有安裝維護費用高;數據集中存儲，共享較困難等#65377;因此，SAN技術適用于有經濟實力的大型數字圖書館#65377;

2.2 分級存儲管理

按照信息生命周期的觀點，數字資源創建之后，隨著時間的推移，其利用價值#65380;被訪問頻率會動態發生變化#65377;同時，在所有數字資源當中，不同的資源被利用頻率也不一樣，在某個階段，少部分資源被頻繁利用，大部分資源被利用頻率較少#65377;而存儲設備同樣存在著性能#65380;價格#65380;容量等方面的巨大差異，若所有數字資源均使用高速磁盤存儲，則費用高昂難以負擔;若所有數字資源均采用低端磁盤甚至關盤庫#65380;磁帶庫等廉價存儲設備，則不能滿足服務需求#65377;針對上述問題，分級存儲技術便應運而生#65377;

分級存儲一般分在線#65380;近線#65380;離線3種方式#65377;在線存儲使用高速#65380;高性能存儲設備存放被頻繁訪問的#65380;對訪問速度有較高要求的數字資源;這類設備價格較高#65377;近線存儲一般使用價格較低#65380;速度與性能一般，但存儲容量大的磁盤設備，存儲隨時需要訪問，但對訪問速度要求不是很高的大量數字資源#65377;離線存儲則使用低性能#65380;廉價#65380;大容量的存儲設備，如光盤庫#65380;磁帶庫等，存儲偶爾需要訪問的數字資源，或用于存儲備份#65377;

分級存儲管理(Hierarchical Storage Management，HSM)就是將各級存儲設備進行融合，實現統一管理的思想與技術手段#65377;分級存儲管理最重要的一項功能，是根據某種策略，實現數據在各級存儲設備中的自動遷移，同時這種遷移應該是對應用服務透明的#65377;實現分級存儲管理，既能最大限度地滿足用戶需求，又可使總體存儲成本最小化，從而達到綜合效益最高的目的[8]#65377;

3 動態存儲模型

結合信息生命周期管理理念及分級存儲管理思想，考慮數字圖書館館藏資源的特點，針對大型數字圖書館，本文提出一個數字圖書館動態存儲模型，并重點分析其中的數據遷移策略#65377;

3.1 模型總體設計

本文提出的動態存儲模型主要采用SAN存儲技術，由客戶端#65380;局域網#65380;應用服務器集群#65380;分級存儲管理服務器#65380;SAN存儲網絡組成#65377;其中，分級存儲管理服務器實現元數據管理及分級存儲管理，使資源存儲對應用透明，并實現數字資源的自動遷移#65377;模型層次結構如圖1所示#65377;

元數據數據庫是模型的重要組成部分#65377;元數據是關于數據的數據，記錄了原始資源的各種屬性及描述性信息，以及實現分級存儲管理的各種信息，包括面向應用服務器的資源邏輯地址和資源物理存儲地址之間的映射等#65377;

應用服務器接收到客戶端的查詢請求后，先從元數據服務器中查詢出相應記錄，反饋到客戶端#65377;當接收到客戶端訪問某個資源的請求后，應用服務器根據資源邏輯地址，將資源訪問請求及訪問者相關信息提交給分級存儲管理服務器，后者根據預先定義好的資源利用價值評定策略做好相應記錄，然后將資源實際地址反饋給應用服務器，從而應用服務器可獲取相應資源反饋給客戶端#65377;

實現分級存儲管理，需要預先定義資源遷移策略，包括資源利用價值的評價及自動遷移策略#65377;數據遷移策略應盡量少影響應用服務的提供#65377;對策略的管理，可通過管理終端實現遠程管理#65377;

3.2 數據遷移策略

數據遷移策略包括資源利用價值評價和自動遷移執行兩部分#65377;目前已有一些學者探討過相關問題[9-10]，但都是討論通用數據遷移策略，沒有針對數字圖書館的固有特點，而且有些因素(如文件大小)考慮得過于簡單，其在數字圖書館中的適用性不強#65377;因此，本文以高校數字圖書館為例，探討具體的數據遷移策略#65377;另外，由于本文提出的資圖1 數字圖書館存儲模型結構圖 源利用價值評價涉及到文件的大小，而高校數字圖書館所提供的主要資源為文獻資源，且文獻資源與音視頻資源文件大小相差懸殊，因此本文認為兩者需分別考慮#65377;在此本文僅以文獻資源(非音視頻資源)為對象考慮相關問題，且如下討論只針對在線資源和近線資源，對于離線資源，一旦被訪問則立即將其遷移至近線存儲設備#65377;

3.2.1 資源利用價值評價模型

數字圖書館的服務目標是為廣大用戶提供各種數字資源，以滿足用戶的信息需求#65377;因此考慮數字館藏分級存儲管理中的資源利用價值時，應主要從資源被用戶利用的角度考慮#65377;本文提出的價值評價模型涉及如下指標:利用頻率#65380;時間#65380;用戶類別#65380;文件大小#65377;

(1)簡單利用率:主要考慮數字資源本身(不包括元數據#65380;二次信息)被訪問的頻率，頻率的計算方式為:f=ΔN/Δt#65377;其中，ΔN為單位時間內該資源被訪問的總次數，時間單位為一個遷移周期，可通過經驗設定及調整#65377;

(2)時間#65377;對于剛創建的數字資源，其利用價值尚未知道，應將其存放在一級存儲設備上#65377;可設定一個初始保留時間ΔT，在資源新建后ΔT時間內，不將其遷移至下一級存儲設備上#65377;對于過了初始保留時間的資源，使用一致的公式計算其利用價值#65377;計算資源利用價值時，也需考慮到資源的訪問時間點#65377;對于越靠近下一次遷移時間點的訪問，其對資源利用價值的貢獻應越大，也就是說，在同一個判斷周期內，兩個不同資源被訪問次數同樣時，訪問次數的二分位數在訪問曲線上越靠近下一次遷移時間點，則對應的資源對于系統而言的利用價值應越大，應優先被保留在一線存儲設備上#65377;基于此，有必要考慮訪問時間點#65377;設第i次訪問時距離上一次遷移時間點的天數為Ti，其重要性呈對數曲線遞增，底數為2，則Ni=Ni-1+log2Ti#65377;其中，Ni為一累計值，表示到第i次訪問時，考慮了時間因素的資源訪問數#65377;

(3)用戶類別:數字圖書館有不同類型的用戶(如高校中有教師#65380;博士生#65380;碩士生#65380;本科生等)，各類型用戶對圖書館的重要性(服務優先級)應該是有差異的，要能更加準確地評價數字資源的利用價值，還應該考慮到使用該資源的用戶的類型#65377;具體做法為將數字圖書館的用戶分成若干類，為每類用戶設定一個權重值，某類用戶訪問數字資源時，應將訪問次數乘以權重之后再計算資源的利用頻率#65377;

(4)文件大小#65377;小而且熱的資源應優先存放在一級存儲設備上，從而更好地提高高性能存儲設備的效益#65377;而考慮到數字圖書館文獻資源大小一般從幾十KB到幾MB不等，其大小對系統而言影響不是很大，因此其對利用價值的影響不應太大#65377;所以，本文考慮文件大小對利用價值的影響時，使用的是“加法”而不是“乘法”#65377;

綜合上述討論，資源利用價值評價模型為:

資源利用價值Vu=Fw+CS=∑ni=1Wijlog2TiΔt+CS

其中，Fw為考慮了用戶類型及訪問時間點的資源加權利用率，S為文件大小(單位為KB)，C為一合適常數(根據實踐經驗確定);Wij為第i此訪問者所屬用戶類型之權重值，Ti為第i次訪問時距離上一次遷移時間點的天數#65377;

3.2.2 資源利用價值評價實現

要實現上述資源利用價值的計算，需做好相應的元數據記錄#65377;

涉及的資源元數據主要有:資源創建時間T0，資源大小S，資源加權訪問數累加器N，資源利用價值Vu#65377;其中，N在每個遷移周期開始時置為0，其后資源每次被訪問時，根據用戶所屬類型權重值及Ti值，將Wijlog2Ti的計算結果加到累加器中#65377;

當需要執行數據遷移時，計算資源利用價值Vu，然后對存在時間大于初始保留時間ΔT的資源按照指定策略執行遷移，而對存在時間小于ΔT的資源不執行遷移#65377;當遷移執行完畢之后，將N和Vu重置為0，進入下一周期的累積計算#65377;

3.2.3 自動遷移策略及流程

配置相關參數以制定自動遷移策略，包括:①自動遷移觸發條件，可指定兩種條件:一是按指定周期定時執行;二是當在線存儲設備可用空間小于指定值時(如20%);②需遷移資源的判定#65377;對于指定周期執行的遷移，將在線資源中利用價值小于指定值Vu0的資源遷移到近線存儲設備，將近線資源中利用價值大于Vu0的資源遷移到在線存儲設備，小于Vu1的資源遷移到離線存儲設備;對于存儲設備容量不足觸發的遷移，則將上一級存儲設備中利用價值低的資源遷移到下一級存儲設備，直至設備可用容量達到指定值(如30%);③自動遷移執行的時間段#65377;為了減少數據遷移對應用服務的影響，遷移執行時間段應設在沒有用戶或極少用戶使用數字圖書館的時間，如凌晨2點到6點#65377;

自動遷移過程:當訪問到離線資源時，立即將其遷移到近線存儲設備#65377;對于在線和近線資源，當達到遷移條件時，計算Vu，按照指定策略執行遷移#65377;流程分別如圖2和圖3所示#65377;

圖2 訪問不同級別資源時的處理流程圖3 在線和近線資源自動遷移流程 4 結論及展望

本文針對數字圖書館館藏資源的特點，結合信息生命周期管理理念及分級存儲管理思想，提出一個數字館藏資源動態存儲模型，并重點論述了其中的重要組成部分——數據遷移策略，對數字圖書館存儲系統建設思路具有一定價值，對信息生命周期管理的具體應用具有一定的探索意義#65377;

關于數字圖書館信息生命周期管理的研究尚處于初級階段，相關理論與實踐問題如信息生命周期階段的劃分#65380;資源價值評價等還需進一步研究與探索#65377;本文提出的動態存儲模型需進一步細化，并驗證其可行性及系統性能;資源利用價值評價模型中的參數需通過實驗與實踐加以確定#65377;這些問題將是下一步研究的重點#65377;

參考文獻

[1]陳傳夫.信息高速公路知識產權問題探討[J].圖書館學#65380;信息科學#65380;資料工作，1999，(1):64.

[2]劉妹.對高校圖書館建設數字資源存儲系統的思考[J].大學圖書館學報，2008，(6):75-78.

[3]余玲.基于網格的數字圖書館資源存儲研究[D].華中師范大學碩士學位論文，2007.

[4]Gail M.Hodge.Best Practices for Digital Archiving:An Information Life Cycle Approach[J].D-Lib Magazine，2000，6(1).

[5]索傳軍.基于ILM的數字館藏管理策略[J].圖書情報工作，2005，49(7):76-79.

[6]田立峰.圖書館存儲技術方案的選擇與應用[J].圖書館工作與研究，2006，(5):28-30.

[7]陳永生，薛四新.基于分級存儲的數字化檔案利用模式研究[J].檔案學研究，2006，(5):33-37.

[8]白廣思.信息資源分級存儲實現信息生命周期管理[J].情報雜志，2007，(1):12-14.

[9]呂帥，劉光明，徐凱，等.海量信息分級存儲數據遷移策略研究[J].計算機工程與科學，2009，(A1):163-167.

[10]熊偉偉，汪東升.T-Archive:基于分級存儲的信息生命周期管理系統[J].計算機工程與設計，2008，29(5):1041-1045.